FR3133097A1 - Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés - Google Patents
Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés Download PDFInfo
- Publication number
- FR3133097A1 FR3133097A1 FR2201729A FR2201729A FR3133097A1 FR 3133097 A1 FR3133097 A1 FR 3133097A1 FR 2201729 A FR2201729 A FR 2201729A FR 2201729 A FR2201729 A FR 2201729A FR 3133097 A1 FR3133097 A1 FR 3133097A1
- Authority
- FR
- France
- Prior art keywords
- analysis
- image
- duration
- result
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003703 image analysis method Methods 0.000 title 1
- 238000004458 analytical method Methods 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000003466 anti-cipated effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013531 bayesian neural network Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
Procédé d’analyse d’une première image dans un ego véhicule automobile (100), l’égo véhicule (100) étant situé dans un environnement comprenant un élément, le procédé étant caractérisé en ce qu’il comporte les étapes suivantes : Détermination d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément,Détermination d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision,Si la durée d’analyse disponible est inférieure à un seuil temporel, une première analyse de la première image par un premier réseau de neurones (111), produisant, à la fin d’une première durée, un premier résultat,Si la durée d’analyse est supérieure au seuil temporel, une deuxième analyse par un deuxième réseau de neurones (112), produisant à la fin d’une deuxième durée inférieure au seuil temporel et supérieure à la première durée, un deuxième résultat. Figure pour l’abrégé : figure 1
Description
L’invention concerne l’aide à la conduite d’un véhicule automobile.
Aujourd’hui, Il existe un certain nombre de dispositifs électroniques d’aides à la conduite (ou d’automatismes de conduite) permettant une adaptation automatique (ou semi-automatique) de la trajectoire d’un véhicule en fonction de l’environnement du véhicule.
Ces aides à la conduite nécessitent des analyses d’images complexes faisant appel à des réseaux de neurones. L’analyse d’image détermine ainsi la trajectoire (c’est-à-dire la direction et la vitesse du véhicule) donnée au véhicule par le dispositif d’aide à la conduite, ou des signaux délivrés dans l’habitacle (signaux d’avertissement).
Pour assurer la réactivité nécessaire à toutes les situations, le temps de calcul alloué à ces analyses est limité, ce qui réduit les qualités des aides à la conduite.
Pour remédier à cet inconvénient, l’invention concerne un procédé d’analyse d’une première image dans un ego véhicule automobile (appelé aussi véhicule égo) (circulant selon une première trajectoire), l’égo véhicule étant situé dans un environnement comprenant un élément (immobile, ou circulant selon une deuxième trajectoire), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes :
- Réception d’une information d’environnement (relative à l’environnement),
- Détermination d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule (s’il poursuit la première trajectoire) et l’élément (s’il demeure immobile, ou poursuit la deuxième trajectoire), à partir de l’information d’environnement,
- Détermination d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision,
- Si la durée d’analyse disponible est (par exemple, strictement) inférieure à un seuil temporel, une première analyse de la première image mettant en oeuvre (autrement dit : par) un premier réseau (111) de neurones (de l’égo véhicule automobile), la première analyse produisant, à la fin d’une première durée, un premier résultat,
- Si la durée d’analyse est supérieure (ou par exemple, égale) au seuil temporel, une deuxième analyse mettant en œuvre (autrement dit : par) un deuxième réseau de neurones (112) (de l’égo véhicule automobile), la deuxième analyse produisant à la fin d’une deuxième durée inférieure (ou égale) au seuil temporel et supérieure à la première durée, un deuxième résultat.
Ainsi, selon l’invention, l’analyse de l’image peut être améliorée lorsque le temps disponible pour réaliser cette analyse le permet, ce qui permet d’améliorer la qualité des aides à la conduite.
Le premier réseau de neurones et/ou le deuxième réseau de neurones est un réseau de neurone électronique, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié.
Le procédé peut comprendre une étape de réception de la première image. En variante, le première image est déjà en mémoire.
La première image peut être obtenue par une première caméra ou un premier radar du véhicule égo.
En variante, la première image est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule (non représenté).
Selon un mode de réalisation, l’information d’environnement est reçue de la part d’une deuxième caméra. L’information comprend par exemple des images vidéo, dans ce cas. L’information d’environnement peut être reçue de la part d’un deuxième radar de l’égo véhicule. L’information comprend par exemple des images radar, dans ce cas.
En variante, l’information d’environnement est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule.
Selon un mode de réalisation, le procédé d’analyse comprend :
- Une étape de détermination d’une distance entre l’ego véhicule et l’élément à partir de l’information d’environnement,
- Une étape de détermination d’une vitesse relative entre l’ego véhicule et l’élément à partir de l’information d’environnement.
La durée avant collision étant déterminée à partir de la distance et de la vitesse.
En variante, la durée avant collision peut être obtenue par un troisième réseau de neurones, à partir de l’information d’environnement.
La durée avant collision peut aussi prendre en compte l’accélération de l’égo véhicule ou de l’élément.
Selon un mode de réalisation, le procédé comprend une étape de réception d’une deuxième image de l’environnement (obtenue par exemple de la part d’une troisième caméra (de l’égo véhicule) et l’élément est une surface représentée par un pixel de la deuxième image.
En variante, l’élément est un véhicule, un piéton, ou objet fixe représentée par un ensemble de pixels (et le procédé peut comprendre une étape de reconnaissance de l’élément).
Lorsque l’environnement comprend une pluralité d’éléments, l’élément est préférentiellement celui pour lequel la durée avant collision est minimum parmi la pluralité d’éléments.
En variante, un risque encouru, par exemple en cas de choc entre l’égo véhicule et l’élément, peut être pris en compte pour déterminer l’élément.
Selon un mode de réalisation, la pluralité d’élément peut être représentée par tous les pixels de la deuxième image, et l’élément peut être représenté par un de ces pixels.
La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément divisée par la distance.
Selon un mode de réalisation, la durée d’analyse est égale à la durée avant collision moins un temps de sécurité.
Le temps de sécurité est par exemple le temps nécessaire à la mise en œuvre d’une mesure d’urgence en fonction du premier résultat ou du deuxième résultat. Il est par exemple de 2s.
Selon un mode de réalisation, le deuxième résultat est plus précis que le premier résultat (c’est-à-dire que le deuxième résultat est plus proche en moyenne d’une analyse de la première image manuelle (autrement dit : par un humain) que le premier résultat).
En variante, la deuxième analyse peut analyser une deuxième portion plus grande de la première image que la première analyse.
Le deuxième réseau de neurones peut être différent du premier réseau de neurones. En variante, Le deuxième réseau de neurones peut-être le premier réseau de neurones.
Le deuxième réseau de neurones peut avoir une latence (i.e. : temps avant de produire un résultat) supérieure à celle du premier réseau de neurones.
Par exemple, si la durée d’analyse est inférieure au seuil temporel, le procédé selon l’invention comprend en outre une étape de commande de la trajectoire de l’égo véhicule (ou la restitution d’un signal à l’intérieur du véhicule) à partir du premier résultat. Si la durée d’analyse est supérieure au seuil temporel, le procédé selon l’invention peut comprendre une étape de commande de la trajectoire de l’égo véhicule (ou la restitution d’un signal à l’intérieur du véhicule) à partir du deuxième résultat.
En outre, si la durée d’analyse est supérieure au seuil temporel, le procédé selon l’invention peut comprendre la première analyse, et se poursuivre, après la première analyse, par la mise en œuvre du deuxième réseau de neurones à partir du premier résultat (le deuxième réseau de neurones prenant comme entrée le premier résultat).
En variante, la première analyse n’est réalisée que si la durée d’analyse est inférieure (ou éventuellement égale) au seuil temporel.
Selon un mode de réalisation, si la durée d’analyse est supérieure au seuil temporel, le procédé d’analyse comprend la première analyse, le premier résultat comprenant une estimation d’une incertitude du premier résultat, et se poursuit, après la première analyse, par la mise en œuvre du deuxième réseau de neurones produisant (autrement dit : qui produit) le deuxième résultat à partir du premier résultat et de l’incertitude du premier résultat, de manière à ce que le deuxième résultat comporte une incertitude inférieure au premier résultat (l’incertitude du deuxième résultat n’est pas forcement calculée).
L’incertitude du premier résultat peut être obtenue de plusieurs manières. Préférentiellement, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article :
- Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016.
En variante, le premier réseau de neurones peut être un réseau de neurones bayésien.
Selon un mode de réalisation, le procédé selon l’invention, comprend les étapes suivantes :
- Classification sémantique de la première image par le premier réseau de neurones ayant pour résultat une quatrième image, (la quatrième image étant alors le premier résultat),
Et si la durée d’analyse est supérieure (ou égal) au seuil temporel :
- Estimation par le premier réseau de neurones de l’incertitude de la classification au travers de la quatrième image,
- Masquage (i.e. : ce sont les étiquettes associées à la classification qui sont supprimées ou marquées comme masquées) de parties de la quatrième image pour lesquelles l’incertitude dépasse un seuil d’incertitude,
- Complétion (autrement dit : détermination ou action de compléter) de la classification sémantique dans les parties de la quatrième image par le deuxième réseau de neurones (le résultat de la classification sémantique, l’image est alors le deuxième résultat).
Durant l’étape de classification, le premier réseau de neurones peut ajouter, à chaque pixel de la quatrième image, une étiquette indiquant une classe à laquelle appartient le pixel et, et durant l’étape d’estimation (qui peut être concomitante avec l’étape de classification), l’incertitude de la classification associée à ce pixel.
Par exemple, durant l’étape de masquage, chaque pixel de la quatrième image pour lesquels l’incertitude dépasse le seuil d’incertitude est masqué (autrement dit : supprimé, ou marqué comme masqué).
Par exemple, durant l’étape de complétion, chaque pixel masqué durant l’étape de masquage est étiqueté, par le deuxième réseau de neurones, par une étiquette indiquant une classe à laquelle appartient ce pixel.
Par exemple, le premier réseau de neurones est celui enseigné dans l’article suivant :
- Paszke, Chaurasia, Kim, Culurciello (2016), Enet: A deep neural network architecture for real-time semantic segmentation,” arXiv preprint arXiv:1606.02147.
Selon un mode de réalisation, le deuxième réseau de neurones est un réseau de neurones convolutif et/ou contextuel, par exemple celui enseigné dans l’article :
- Shin, Sagong, Yeo, Kim, Ko (2019). PEPSI++: Fast and lightweight network for image inpainting. IEEE Transactions on Neural Networks and Learning Systems 32 (1), 252-265.
Selon une variante de l’invention, le premier réseau de neurones comprend une couche d’entrée et une couche de sortie comprenant le premier résultat (i.e. : le procédé d’analyse comprend ainsi une étape de calcul de la couche de sortie à partir de la couche d’entrée par le premier réseau de neurones durant la première analyse), une dernière couche (entre la couche d’entrée et la couche de sortie) connectée directement à la couche de sortie, la deuxième analyse comprenant les deux étapes suivantes :
- Modification de la dernière couche de manière à réduire l’incertitude, à partir de la couche de sortie, (puis)
- Calcul de la couche de sortie (c’est-à-dire le deuxième résultat) à partir de la dernière couche modifiée.
Selon un mode de réalisation, ces deux étapes peuvent être répétées jusqu’à la durée d’analyse soit expirée. En variante, ces étapes peuvent être répétées un nombre prédéterminé de fois.
Par exemple, la dernière couche peut être modifiée par une méthode de descente en gradient.
Par exemple, la modification de la dernière couche s’écrit :
où :
- xtest (i.e. : un vecteur représentant) la valeur de la dernière couche, xt+1est (i.e. : un vecteur représentant) la valeur de la dernière couche modifiée,
- M est une matrice tel que xt.M ou xt+1.M est la couche de sortie,
- La matrice M est modifiée aléatoirement n fois en une matrice Mi, i variant de 1 à n, en mettant à zéro un élément de cette matrice. Mi Test la transposée de la matrice Mi.
- α est une constante représentant un pas de descente en gradient de xtde manière à réduire l’incertitude,
- yiest la valeur du neurone numéro i dans la couche de sortie,est la moyenne des yi.
Cette modification de la dernière couche est particulièrement adaptée lorsque l’incertitude est obtenue par une méthode d’abandon de Monté-carlo ( en Anglais « Monté-Carlo dropout »).
D’autres modifications de la dernière couche sont possibles, notamment en fonction de la méthode d’évaluation de l’incertitude.
Selon un mode de réalisation, le premier réseau de neurones prend en entrée (c’est-à-dire, en couche d’entrée) une image d’un conducteur de l’égo véhicule lorsqu’il conduit l’égo véhicule et produit comme premier résultat une information selon laquelle le conducteur est distrait ou pas.
Le premier réseau de neurones est dans ce cas par exemple un réseau de neurones classifieur, par exemple tel qu’enseigné dans l’article suivant :
- He, Zhang, Ren, Sun (2016) Deep Residual Learning for Image Recognition. Computer Vision and Pattern Recognition (CVPR).
L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’invention.
Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier et/ou le deuxième réseau de neurones.
Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici.
On entend qu’un élément tel que le dispositif électronique, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés.
Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés.
D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels.
Description détaillée d’un exemple de réalisation de l’invention
En référence à la et 6, à l’étape S10, un véhicule égo 100 circule sur une route 300 selon une trajectoire (autrement dit : direction et sens) T1. Le véhicule égo 100 comporte une caméra 120 et un radar 130 et un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111 et un deuxième réseau de neurones 112.
La route 300 comporte une séparation centrale 310 (terre-plein ou autre), deux glissières de sécurité 330 et 320. Sur la route 300, les véhicules 220 et 210 circulent également selon une trajectoire (autrement dit : direction et sens) T2 et T3 respectivement. Un arbre 400 est également présent sur le côté de la route.
A l’étape S20, le dispositif d’aide à la conduite 110 réceptionne l’image 4000, , de l’environnement obtenue par exemple par la caméra 120.
A l’étape S30, le dispositif 110 reçoit des images radars (successives) de la part du radar 130
A l’étape S40, le dispositif 110 détermine, à partir des images radars, pour chaque pixel de l’image 4000, une durée avant une collision avec l’ego véhicule. Le pixel PX représentant la surface PP (située à une distance D1 du véhicule égo 100) du véhicule 220 est celui pour lequel la durée avant collision est minimum parmi tous les pixels de l’image 4000.
La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément de l’environnement représenté par le pixel divisé par la distance entre l’élément de l’environnement représenté par le pixel et l’égo véhicule. La vitesse relative et la distance sont par exemple obtenues à partir des images radar.
A l’étape S50, une durée d’analyse égale à la durée avant collision moins un temps de sécurité, par exemple égal à 2 secondes est déterminée. Par exemple, la durée d’analyse est de 1,1 seconde, et la durée avant collision de 3,1 secondes.
A l’étape S60, le premier réseau de neurones 111 réalise une classification sémantique de l’image 4000 avec pour résultat une image 5000, . Dans l’image 5000, sont classifiés :
- Comme véhicules, le véhicule 210 (i.e. les pixels représentant le véhicule 210),
- Comme séparations entre voies, la séparation centrale 310 (i.e. : les pixels représentant la séparation centrale 310),
- Comme glissières de sécurité, les glissières 320 et 330 (i.e. : les pixels représentant ces éléments).
- Comme éléments extérieurs à la route : l’arbre 400 et le véhicule 220 (i.e. : les pixels représentant ces éléments).
Durant l’étape de classification, le premier réseau de neurones peut ajouter, à chaque pixel de l’image 4000, une étiquette indiquant une classe à laquelle appartient le pixel et l’incertitude de la classification associée à ce pixel, pour obtenir l’image 5000.
Par exemple, le premier réseau de neurones 111 est celui enseigné dans l’article suivant :
- Paszke, Chaurasia, Kim, Culurciello (2016) Enet: A deep neural network architecture for real-time semantic segmentation,” arXiv preprint arXiv:1606.02147.
Par exemple, la classification sémantique est réalisée par le premier réseau de neurones 111 en 0,5 seconde.
Le premier réseau de neurones en même temps que la classification, réalise une estimation d’une incertitude du premier résultat, par exemple, par une méthode d’abandon de monté-carlo ( en Anglais « Monté-Carlo dropout ») introduite dans l’article :
- Y. Gal and Z. Ghahramani. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning. In ICML, 2016.
Cette estimation peut être réalisée systématique ou uniquement si la durée d’analyse est supérieure au seuil ci-après.
A l’étape S70, la durée de d’analyse (1,1 secondes) est ensuite comparée à un seuil temporel, par exemple de 1 seconde. Si la durée d’analyse est inférieure au seuil, le dispositif électronique 110 commande la trajectoire de l’égo véhicule 100 à partir de l’image 5000. Si la durée d’analyse est supérieure au seuil, comme cela peut être le cas dans l’exemple ici ou la durée d’analyse pourrait être de 1,1 seconde et le seuil de 1 seconde, le procédé se poursuit par les étapes suivantes.
- A l’étape S80, masquage de parties de l’image 5000 pour lesquelles l’incertitude dépasse un seuil d’incertitude, pour obtenir l’image 5000’ ,
- A l’étape S90, complétion par le deuxième réseau de neurones 112 (autrement dit : détermination ou action de compléter) de la classification dans l’image 5000’ pour obtenir l’image 5000’’
Par exemple, durant l’étape de complétion S90, chaque pixel masqué durant l’étape de masquage est étiqueté, par le deuxième réseau de neurones 112, par une étiquette indiquant une classe à laquelle appartient ce pixel.
Dans l’image 5000’’, la classification est identique à celle de l’image 5000 sauf pour le véhicule 220 classifié comme un véhicule dans 5000’’.
Selon un mode de réalisation, le deuxième réseau de neurones 112 est un réseau de neurones convolutif et/ou contextuel, par exemple celui enseigné dans l’article :
- Shin, Sagong, Yeo, Kim, Ko (2019). PEPSI++: Fast and lightweight network for image inpainting. IEEE Transactions on Neural Networks and Learning Systems 32 (1), 252-265.
Par exemple, le masquage est réalisé en 0.01 secondes et la complétion est réalisé par le premier réseau de neurones 111 en 0,49 secondes.
A l’étape S100, le dispositif électronique 110 commande la trajectoire de l’égo véhicule 100 à partir de l’image 5000’’.
En référence à la et à la , selon une variante de l’invention, les étapes S110 à S150 sont identiques aux étapes S10 à S50 de l’exemple de réalisation présenté en référence à la . A l’’étape S160, le premier réseau de neurones est mis en œuvre avec pour entrée (c’est-à-dire, en couche d’entrée) une image d’un conducteur de l’égo véhicule 100 lorsqu’il conduit l’égo véhicule 100 et produit comme premier résultat une information selon laquelle le conducteur est distrait ou pas.
De la même manière que pour le procédé présenté en référence à la , le premier réseau de neurones 111 réalise une l’estimation d’une incertitude du premier résultat en même temps que la classification.
Par exemple, le premier réseau de neurones 111 comprend une couche d’entrée et une couche de sortie comprenant le premier résultat, une dernière couche connectée directement à la couche de sortie.
Les étapes suivantes sont ensuite mises en œuvre :
- A l’étape S170, modification de la dernière couche de manière à réduire l’incertitude,
- A l’étape S180, calcul de la couche de sortie (c’est-à-dire le deuxième résultat) à partir de la dernière couche modifiée
Ces deux étapes peuvent être réalisées tant que la durée d’analyse n’est pas expirée.
Par exemple, la dernière couche peut être modifiée par une méthode de descente en gradient.
Par exemple, la modification de la dernière couche s’écrit :
où
- xtest (i.e. : un vecteur réprésentant) la valeur de la dernière couche, xt+1est .(i.e. : un vecteur réprésentant) la valeur de la dernière couche modifiée,
- M est une matrice tel que xt.M ou xt +1.M est la couche de sortie,
- La matrice M est modifiée aléatoirement n fois en une matrice Mi, i variant de 1 à n, en mettant à zéro un élément de cette matrice. Mi Test la transposée de la matrice Mi.
- α est une constante représentant un pas de descente en gradient de xtde manière à réduire l’incertitude,
- yiest la valeur du neurone numéro i dans la couche de sortie,est la moyenne des yi.
Le premier réseau de neurones est dans ce cas par exemple un réseau de neurones classifieur, par exemple tel qu’enseigné dans l’article suivant :
- He, Zhang, Ren, Sun (2016) Deep Residual Learning for Image Recognition. Computer Vision and Pattern Recognition (CVPR).
Claims (10)
- Procédé d’analyse d’une première image dans un ego véhicule automobile (100), l’égo véhicule (100) étant situé dans un environnement comprenant un élément (PX), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes :
- Réception (S30) d’une information d’environnement,
- Détermination (S40) d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément (PX), à partir de l’information d’environnement,
- Détermination (S50) d’une durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision,
- Si la durée d’analyse disponible est inférieure à un seuil temporel, une première analyse (S60) de la première image mettant en oeuvre un premier réseau de neurones (111), la première analyse produisant, à la fin d’une première durée, un premier résultat (5000),
- Si la durée d’analyse est supérieure au seuil temporel, une deuxième analyse (S80, S90) mettant en œuvre un deuxième réseau de neurones (112), la deuxième analyse produisant à la fin d’une deuxième durée inférieure au seuil temporel et supérieure à la première durée, un deuxième résultat (5000’).
- Procédé d’analyse selon la revendication précédente comprenant :
- Une étape de détermination d’une distance (D1) entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement
- Une étape de détermination d’une vitesse relative entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement.
- Procédé d’analyse selon l’une quelconque des revendications précédentes dans lequel le procédé comprend une étape de réception (S20) d’une deuxième image (4000) de l’environnement et l’élément est une surface (PP) représentée par un pixel (PX) de la deuxième image (4000).
- Procédé d’analyse selon l’une quelconque des revendications précédentes dans lequel, si la durée d’analyse est supérieure au seuil temporel, le procédé d’analyse comprend la première analyse, le premier résultat (5000) comprenant une estimation d’une incertitude du premier résultat (5000), et se poursuit, après la première analyse, par la mise en œuvre du deuxième réseau de neurones (112) produisant le deuxième résultat (5000’’) à partir du premier résultat (5000) et de l’incertitude du premier résultat (5000), de manière à ce que le deuxième résultat (5000’’) comporte une incertitude inférieure au premier résultat (5000’).
- Procédé selon la revendication précédente comprenant les étapes suivantes :
- Classification sémantique (S60) de la première image (4000) par le premier réseau de neurones (111) ayant pour résultat une quatrième image (5000),
- Estimation par le premier réseau de neurones (111) d’une incertitude de la classification au travers de la quatrième image (5000),
- Masquage (S80) de parties de la quatrième image (5000) pour lesquelles l’incertitude dépasse un seuil d’incertitude,
- Complétion (S90) de la classification sémantique dans les parties de la quatrième image (5000) par le deuxième réseau de neurones (112).
- Procédé d’analyse selon la revendication 4 dans laquelle le premier réseau de neurones (111) comprend une couche d’entrée et une couche de sortie comprenant le premier résultat, une dernière couche connectée directement à la couche de sortie, la deuxième analyse comprenant les deux étapes suivantes :
- Modification de la dernière couche de manière à réduire l’incertitude, à partir de la couche de sortie,
- Calcul de la couche de sortie à partir de la dernière couche modifiée.
- Procédé d’analyse selon la revendication précédente dans lequel la modification de la dernière couche s’écrit :
où- xtest la valeur de la dernière couche, xt +1 est la valeur de la dernière couche modifiée,
- M est une matrice tel que xt.M ou xt +1.M est la couche de sortie,
- La matrice M est modifiée aléatoirement n fois en une matrice Mi, i variant de 1 à n, en mettant à zéro un élément de cette matrice. Mi Test la transposée de la matrice Mi.
- α est une constante représentant un pas de descente en gradient de xtde manière à réduire l’incertitude,
- yiest la valeur du neurone numéro i dans la couche de sortie,est la moyenne des yi.
- Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7, lorsque le programme est exécuté par un microprocesseur ou un microcontrôleur.
- Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 7.
- Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201729A FR3133097A1 (fr) | 2022-02-28 | 2022-02-28 | Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201729A FR3133097A1 (fr) | 2022-02-28 | 2022-02-28 | Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés |
| FR2201729 | 2022-02-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3133097A1 true FR3133097A1 (fr) | 2023-09-01 |
Family
ID=81648484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2201729A Pending FR3133097A1 (fr) | 2022-02-28 | 2022-02-28 | Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3133097A1 (fr) |
-
2022
- 2022-02-28 FR FR2201729A patent/FR3133097A1/fr active Pending
Non-Patent Citations (7)
| Title |
|---|
| ALEX KENDALL ET AL: "Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding", 10 October 2016 (2016-10-10), XP055719206, Retrieved from the Internet <URL:https://arxiv.org/pdf/1511.02680v2.pdf> [retrieved on 20200730], DOI: 10.5244/C.31.57 * |
| COSGUN AKANSEL ET AL: "Towards full automated drive in urban environments: A demonstration in GoMentum Station, California", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 11 June 2017 (2017-06-11), pages 1811 - 1818, XP033133947, DOI: 10.1109/IVS.2017.7995969 * |
| DAVID BENCE ET AL: "Highway Situation Analysis with Scenario Classification and Neural Network based Risk Estimation for Autonomous Vehicles", 2019 IEEE 17TH WORLD SYMPOSIUM ON APPLIED MACHINE INTELLIGENCE AND INFORMATICS (SAMI), IEEE, 24 January 2019 (2019-01-24), pages 375 - 380, XP033587758, DOI: 10.1109/SAMI.2019.8782729 * |
| LU JIALIN ET AL: "A Review on Object Detection Based on Deep Convolutional Neural Networks for Autonomous Driving", 2019 CHINESE CONTROL AND DECISION CONFERENCE (CCDC), IEEE, 3 June 2019 (2019-06-03), pages 5301 - 5308, XP033614379, DOI: 10.1109/CCDC.2019.8832398 * |
| SHIN, SAGONGYEO, KIM, KO: "PEPSI++: Fast and lightweight network for image inpainting", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 32, no. 1, 2019, pages 252 - 265, XP011829599, DOI: 10.1109/TNNLS.2020.2978501 |
| SUN YUXIANG ET AL: "FuseSeg: Semantic Segmentation of Urban Scenes Based on RGB and Thermal Data Fusion", IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 18, no. 3, 4 June 2020 (2020-06-04), pages 1000 - 1011, XP011864366, ISSN: 1545-5955, [retrieved on 20210701], DOI: 10.1109/TASE.2020.2993143 * |
| WACHENFELD WALTHER ET AL: "The worst-time-to-collision metric for situation identification", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 19 June 2016 (2016-06-19), pages 729 - 734, XP032939046, DOI: 10.1109/IVS.2016.7535468 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018146400A1 (fr) | Procédé de détection de faux-positifs relatifs à un feu de signalisation | |
| FR3133097A1 (fr) | Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés | |
| FR3133096A1 (fr) | Procédé d’analyse d’images par masquage et complétion en fonction de l’incertitude, dispositif et véhicule associés | |
| FR3133098A1 (fr) | Procédé d’analyse d’images dans un véhicule automobile, dispositif et véhicule associés | |
| FR3084867A1 (fr) | Procede d’assistance pour qu’un vehicule a conduite automatisee suive une trajectoire, par apprentissage par renforcement de type acteur critique a seuil | |
| FR3106108A1 (fr) | Procédé et dispositif de détermination de trajectoire d’une route | |
| FR3133693A1 (fr) | Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés | |
| EP2489548A1 (fr) | Procédé et dispositif de commande de commutation du système d'éclairage avant adaptatif d'un véhicule automobile | |
| FR3133475A1 (fr) | Procédé d’analyse d’images dans un véhicule automobile par génération de texte, dispositif et véhicule associés | |
| EP4277820B1 (fr) | Procédé et dispositif de contrôle d'accélération d'un véhicule | |
| FR3128177A1 (fr) | Procédé et dispositif de prédiction d’un changement de voie de circulation pour véhicule | |
| EP4170603A1 (fr) | Procédé automatique de détection d'objets dans un flux d'images | |
| FR3105961A1 (fr) | Procédé et dispositif de détermination d’un indicateur de changement de voie pour véhicule | |
| FR3121110A1 (fr) | Procédé et système de contrôle d’une pluralité de systèmes d’aide à la conduite embarqués dans un véhicule | |
| FR3136305A1 (fr) | Procédé et dispositif de contrôle de système d’aide à la conduite d’un véhicule basé sur une limite de vitesse | |
| FR3129905A1 (fr) | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. | |
| FR3129347A1 (fr) | Procédé de régulation de vitesse d’un véhicule à partir d’un objet cible. | |
| FR3135814A1 (fr) | Procédé et dispositif de contrôle d’un système de régulation de vitesse d’un véhicule en approche d’un élément de signalisation routière | |
| WO2023161571A1 (fr) | Procédé et dispositif de contrôle de sélection d'un véhicule cible d'un système de régulation adaptative de vitesse d'un véhicule | |
| EP4351946A1 (fr) | Procédé de régulation de vitesse d'un véhicule circulant sur une chaussée à partir d'un véhicule cible | |
| FR3137642A1 (fr) | Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule en fonction d’une valeur maximale d’un paramètre dynamique | |
| FR3131890A1 (fr) | Procédé et dispositif de contrôle d’un système de changement semi-automatique de voie de circulation d’un véhicule | |
| FR3144871A1 (fr) | Procédé d’affichage tête haute sur un pare-brise d’un véhicule automobile, programme d’ordinateur et véhicule automobile associés. | |
| FR3107609A1 (fr) | Optimisation du franchissement d’un système de signalisation par un égo-véhicule | |
| FR3118745A1 (fr) | Procédé et dispositif de détermination d’une accélération d’un objet mobile dans un environnement d’un véhicule |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230901 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| CD | Change of name or company name |
Owner name: STELLANTIS AUTO SAS, FR Effective date: 20240423 |