FR3133584A1

FR3133584A1 - Procédé d’affichage des véhicules voisins, dispositif et véhicule associés

Info

Publication number: FR3133584A1
Application number: FR2202483A
Authority: FR
Inventors: Thibault Fouqueray; Thomas Hannagan
Original assignee: PSA Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2023-09-22

Abstract

Procédé d’affichage par un écran (140) dans un ego véhicule (100) automobile caractérisé en ce qu’il comporte les étapes suivantes : Détection d’une pluralité de véhicules (200, 210, 220, 240) autour de l’égo véhicule (100),Détermination, par un premier réseau de neurones, d’un identifiant d’un modèle pour chacun des véhicules de la pluralité de véhicules (200, 210, 220, 240),Affichage, sur l’écran (140), de la pluralité de véhicules (200, 210, 220, 240), et d’une information de modèle (201, 211, 221, 241) obtenue à partir de l’identifiant. Figure pour l’abrégé : figure 2

Description

Procédé d’affichage des véhicules voisins, dispositif et véhicule associés

L’invention concerne l’affichage d’information sur un écran d’un véhicule automobile.

Il existe un besoin d’afficher à l’écran d’un véhicule automobile des informations présentant toujours plus d’intérêt pour le conducteur et/ou les passagers du véhicule automobile, notamment lorsque le véhicule est conduit automatiquement.

Dans ce but, l’invention concerne un procédé d’affichage par un écran dans un ego véhicule automobile, appelé aussi véhicule égo, caractérisé en ce qu’il comporte les étapes suivantes :

Détection d’une pluralité de véhicules autour de l’égo véhicule,
Détermination, par un premier réseau de neurones, d’un identifiant d’un modèle pour chacun des véhicules de la pluralité de véhicules,
Affichage, sur l’écran, éventuellement de l’égo véhicule (autrement dit : d’une représentation de l’égo véhicule), de la pluralité de véhicules (autrement dit : d’une représentation de la pluralité de véhicules), et d’une information de modèle obtenue à partir de l’identifiant de modèle de l’un des véhicules de la pluralité de véhicules.

Ainsi, les passagers ou le conducteur de l’ego véhicule peuvent visualiser sur l’écran (et connaitre) le modèle des véhicules entourant l’égo véhicule.

L’information de modèle peut comprendre l’identifiant de modèle.

Un véhicule comprenant une carrosserie, on entend par modèle, les caractéristiques physiques, comprenant par exemple la forme (extérieure) de la carrosserie, et éventuellement les matériaux composant la carrosserie et/ou des inscriptions sur la carrosserie. Les caractéristiques physiques peuvent être également comprendre le bruit émis par un moteur de propulsion du véhicule.

Selon un mode de réalisation, la détection de la pluralité de véhicules est mise en œuvre (ou réalisée) à partir d’images vidéo (au moins) obtenues par une caméra de l’égo véhicule, et/ou d’images radar obtenues par un radar de l’égo véhicule. La détection peut également être réalisée à partir de signaux radio reçus par exemple de chaque véhicule de la pluralité de véhicules.

La détection peut comprendre l’isolation de chaque véhicule de la pluralité de véhicules dans les images video ou radar (et reconnaitre qu’il s’agit de véhicules). L’étape de détection peut comprendre la mise en œuvre d’un troisième réseau de neurones pour réaliser cette isolation (et cette reconnaissance).

Le premier réseau de neurones peut être un réseau de neurones classifieur. Il peut s’agir d’un réseau de neurones convolutif.

Par example:

La couche d’entrée du premier réseau de neurones comprend un nombre de neurones égal au nombre de pixel des images vidéo, et/ou
La couche de sortie du premier réseau de neurones comprend un nombre de neurones égal au nombre de modèles de véhicules que le réseau sait classifier.

Durant l’étape de détection, la position sur la route de chaque véhicule de la pluralité de véhicules peut être également déterminée, par exemple par rapport à l’égo véhicule (par exemple à partir des images vidéo et/ou radar). La position sur l’écran de chaque véhicule dans l’affichage peut être déterminé à partir de la position sur la route ainsi déterminée.

Selon un mode de réalisation, le véhicule ego circulant sur une route dans un sens de circulation, durant l’étape de détection de la pluralité de véhicule, la pluralité de véhicules comprend tous les véhicules qui :

Sont situés autour de l’égo véhicule, et
Sont situés à une distance inférieure à un seuil, et
Circulent dans le sens de circulation.

En variante, les véhicules stationnés au bord de la route peuvent également être détectés.

Selon un mode de réalisation, le procédé comprend une étape de détermination d’un identifiant de couleur de chacun des véhicules de la pluralité de véhicule et l’étape d’affichage comprend l’affichage à l’écran d’une information de couleur à partir de l’identifiant de couleur.

L’étape de détermination de la couleur comprend la mise en œuvre d’un deuxième réseau de neurones.

Par exemple, la couleur de chaque véhicule de la pluralité de véhicules est affichée à l’écran.

La détermination de la couleur peut comprendre une étape d’établissement d’un histogramme des couleurs (des pixels) de chaque véhicule de la pluralité de véhicules. La couleur du véhicule étant celle la plus souvent rencontrée dans l’histogramme.

Le premier réseau de neurones, le deuxième réseau de neurones et le troisième réseau de neurones sont des réseaux de neurones artificiels, préférentiellement électroniques, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié.

Selon un mode de réalisation, le procédé comprend en outre les étapes suivantes :

Transmission (par exemple, par un réseau de télécommunication) à un serveur d’une requête comprenant l’identifiant de modèle,
Réception d’une réponse à la requête comprenant l’information de modèle.

L’information de modèle reçue du serveur peut comprendre une plage de dates de fabrication du véhicule, la ou les différentes motorisations existantes, des anecdotes relatives au véhicules.

En variante, l’information de modèle est en mémoire de l’égo véhicule.

La vitesse de chaque véhicule de la pluralité de véhicules peut également être déterminée durant l’étape de détection et être éventuellement affichée par l’écran.

Selon un mode de réalisation, le procédé comprend en outre une étape où l’égo véhicule est conduit de manière automatique.

Ainsi, le procédé peut être mis en œuvre durant une étape où l’égo véhicule est conduit de manière automatique. L’attention du conducteur peut alors se porter sur les véhicules autour de l’égo véhicule.

Invitation à saisir un nom de modèle d’un premier véhicule (l’invitation comprend par exemple un message d’invitation à l’écran) de la pluralité de véhicule,
Saisie d’un nom de modèle (par exemple, par l’intermédiaire d’un clavier tactile ou d’une commande vocale),
Vérification d’une correspondance entre, d’une part, le nom de modèle, et d’autre part, l’information de modèle ou l’identifiant de modèle,
Affichage de l’information de modèle à l’écran à partir du résultat de la vérification.

En variante, pour chaque véhicule de la pluralité de véhicule, les informations de modèle et éventuellement la couleur peuvent être affichées (directement) à l’écran.

L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’invention.

Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier et/ou le deuxième réseau de neurones et/ou le troisième réseau de neurones.

Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici.

On entend qu’un élément tel que le dispositif électronique, l’écran, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés.

Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés.

D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels.

représente un dispositif électronique d’un véhicule automobile et un véhicule selon un mode de réalisation de l’invention.

et représentent un affichage selon des modes de réalisation de l’invention.

représente le procédé de l’invention, selon un exemple de réalisation, mis en œuvre notamment par le dispositif électronique et le véhicule de la .

Description détaillée d’un exemple de réalisation de l’invention

, un égo véhicule circule sur une route 300 dans le sens T1. L’égo véhicule comporte une caméra (ou une pluralité de caméras) 120, et/ou un radar (ou une pluralité de radars) 130 aptes à obtenir des images des véhicules tout autour du véhicule égo 100. L’égo véhicule 100 comporte un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111, un deuxième réseau de neurones 112, un troisième réseau de neurones 113, et un écran 140 dans l’habitacle 150 de l’égo véhicule 100. La route comprend en outre les véhicules 200, 210, 220 et 240 circulant également dans le sens T1 à une distance maximal D de l’égo véhicule 100.

Durant les étapes ci-dessous, l’égo véhicule 100 est conduit par le dispositif électronique 110 de manière automatique.

, à l’étape S10, le dispositif électronique 110 détecte tous les véhicules 200, 210, 220 et 240 autour de l’égo véhicule 100. La détection de la pluralité de véhicules 200, 210, 220 et 240 peut-être mise en œuvre (ou réalisée) à partir d’images vidéo (au moins) obtenues par la caméra 120 de l’égo véhicule 100, et/ou à partir d’images obtenues par le radar 130 de l’égo véhicule 100. Le troisième réseau de neurones 113 peut recevoir en entrée ces images vidéo et/ou radar et isoler les véhicules 200, 210, 220 et 240 (et reconnaitre qu’il s’agit de véhicules) dans les images video et/ou radar en sortie du réseau de neurones. Le dispositif 100 peut vérifier que les véhicules 200, 210, 220 et 240 sont situés à une distance inférieure à un seuil de l’égo véhicule 100, et circulent dans le sens de circulation T1 (à partir des images vidéo et/ou radar également). La position de chaque véhicule de la pluralité de véhicules 200, 210, 220, 240 est également déterminée, par exemple par rapport à l’égo véhicule 200.

Le troisième réseau de neurones peut être tel que décrit dans l’un des articles suivants :

Joseph Redmon, Ali Farhadi, YOLOv3: An Incremental Improvement (https://arxiv.org/abs/1804.02767),
Marius Cordts, Mohamed Omran, et al., The Cityscapes Dataset for Semantic Urban Scene Understanding (https://arxiv.org/abs/1604.01685).

A l’étape S20, le dispositif 110 détermine un identifiant de couleurs pour chacun des véhicules 200, 210, 220 et 240.

L’étape de détermination de la couleur est par exemple réalisée en utilisant le deuxième réseau de neurones 112.

La détermination de la couleur peut comprendre une étape d’établissement d’un histogramme des couleurs (des pixels) de chaque véhicule de la pluralité de véhicules. La couleur du véhicule étant celle la plus souvent rencontrée dans l’histogramme. La détermination de la couleur est par exemple mise en œuvre par la méthode décrite dans l’article suivant : "Multi-Class and Single-Class Classification Approaches to Vehicle Model Recognition from Images", Daniel Munroe and Michael G. Madden. Proceedings of AICS-05: Irish Conference on Artificial Intelligence and Cognitive Science, Portstewart, Sept 2005.

A l’étape S30, le réseau de neurones 111 détermine un identifiant de modèle pour chacun des véhicules 200, 210, 220 et 240 détectés à l’étape S10 à partir des images vidéo obtenues par la caméra 120.

Le premier réseau de neurones 111 peut-être un réseau de neurones classifieur. Il peut s’agir d’un réseau de neurones convolutif entrainé à partir d’une base d’image telle que décrite dans l’article :

Jonathan Krause et al., 3D Object Representations for Fine-Grained Categorization, (http://ai.stanford.edu/~jkrause/papers/3drr13.pdf).

Par example:

La couche d’entrée du premier réseau de neurones 111 comprend un nombre de neurones égal au nombre de pixel des images vidéo, et/ou
La couche de sortie du premier réseau de neurones 111 comprend un nombre de neurones égal au nombre de modèles de véhicules que le réseau sait classifier.

A l’étape S40, le dispositif 110 commande l’affichage par l’écran 140, représenté , des véhicules (ou de la représentation des véhicules) 200, 210, 220, et 240, pour chaque véhicule, dans la couleur déterminée à l’étape S20, et à une position sur l’écran déterminée à partir de la position sur la route obtenue à l’étape S10. Le dispositif 110 commande également l’affichage, à l’écran 140, d’un texte 201 (pour le véhicule 200), 211 (pour le véhicule 211), 221 (pour le véhicule 220) et 241 (pour le véhicule 240), obtenu à partir de l’identifiant de modèle pour chaque véhicule. Le texte est par exemple constitué par le nom de marque et de modèle du véhicule.

Par exemple, pour le véhicule 200, l’identifiant de modèle et le texte 201 (c’est à dire l’information de modèle) est « Maserati Grecale ».

Le texte peut comporter en outre l’année de production de chaque véhicule de la pluralité de véhicules reçue d’un serveur en réponse à une requête comportant l’identifiant transmisse au serveur (la requête et la réponse peuvent être échangés via un réseau de télécommunication mobile).

En variante, à l’étape S40, l’utilisateur ou conducteur de l’égo véhicule 100 peut être invité à saisir le nom de modèle du véhicule 200. , un halo clignotant 400 peut entourer le véhicule 200 pour indiquer que la question affichée 500 (par exemple, en 500, un texte affiche « donner le modèle du véhicule désigné ») porte sur le véhicule 200. Si l’utilisateur ou le conducteur entre (autrement dit : saisi), par exemple par commande vocale, un nom de modèle identique ou correspondant à l’identifiant de modèle du véhicule 200 déterminé à l’étape S30, par exemple « Maserati Grecale », un message (c’est-à-dire une information de modèle) « Bravo, véhicule identifié » ou « Bravo, Maserati Grecal identifié » est affiché à l’écran 140.

Claims

Procédé d’affichage par un écran (140) dans un ego véhicule (100) automobile caractérisé en ce qu’il comporte les étapes suivantes :
Détection (S10) d’une pluralité de véhicules (200, 210, 220, 240) autour de l’égo véhicule (100),

Détermination (S30), par un premier réseau de neurones (111), d’un identifiant d’un modèle pour chacun des véhicules de la pluralité de véhicules (200, 210, 220, 240),

Affichage (S40), sur l’écran (140), de la pluralité de véhicules (200, 210, 220, 240), et d’une information de modèle (201, 211, 221, 241) obtenue à partir de l’identifiant,
Le procédé étant mis en œuvre par un dispositif électronique (100) d’aide à la conduite.
Procédé d’affichage selon la revendication précédente, le véhicule ego circulant sur une route (300) dans un sens de circulation (T1), dans lequel, durant l’étape de détection de la pluralité de véhicules (200, 210, 220, 240), la pluralité de véhicules (200, 210, 220, 240) comprend tous les véhicules qui :
Sont situés autour de l’égo véhicule (100), et

Sont situés à une distance (D) inférieure à un seuil, et

Circulent dans le sens de circulation (T1).
Procédé d’affichage selon l’une quelconque des revendications précédentes comprenant en outre une étape de détermination d’un identifiant de couleur de chacun des véhicules de la pluralité de véhicule (200, 210, 220, 240) et l’étape d’affichage (S40), sur l’écran (140), de la pluralité de véhicules (200, 210, 220, 240), et d’une information de modèle (201, 211, 221, 241) comprend l’affichage à l’écran (140) d’une information de couleur à partir de l’identifiant de couleur.
Procédé d’affichage selon l’une quelconque des revendications précédentes comprenant en outre les étapes suivantes :
Transmission à un serveur d’une requête comprenant l’identifiant de modèle,

Réception d’une réponse à la requête comprenant l’information de modèle.
Procédé d’affichage selon l’une quelconque des revendications précédentes comprenant en outre une étape où l’égo véhicule (100) est conduit de manière automatique.
Procédé d’affichage selon l’une quelconque des revendications précédentes comprenant en outre les étapes suivantes :
Invitation à saisir un nom de modèle d’un premier véhicule (200) de la pluralité de véhicule (200, 210, 220, 240),

Saisie d’un nom de modèle,

Vérification d’une correspondance entre le nom de modèle et l’identifiant de modèle,

Affichage de l’information de modèle à l’écran à partir du résultat de la vérification.
Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 6.
Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 6.
Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.