FR3133693A1 - Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés - Google Patents
Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés Download PDFInfo
- Publication number
- FR3133693A1 FR3133693A1 FR2202251A FR2202251A FR3133693A1 FR 3133693 A1 FR3133693 A1 FR 3133693A1 FR 2202251 A FR2202251 A FR 2202251A FR 2202251 A FR2202251 A FR 2202251A FR 3133693 A1 FR3133693 A1 FR 3133693A1
- Authority
- FR
- France
- Prior art keywords
- layer
- value
- image
- comparison
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 238000003703 image analysis method Methods 0.000 title 1
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 25
- 210000002569 neuron Anatomy 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000003466 anti-cipated effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S13/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Procédé d’analyse d’une première image par un premier réseau de neurones auto-encodeurs (111) comportant les étapes suivantes : Détermination d’une durée d’analyse disponible,Détermination d’une valeur de comparaison d’une couche de comparaison (10),Propagation de la valeur de comparaison depuis la couche de comparaison (10) jusqu’à une couche de prédiction (20) prenant une valeur de prédiction,Répétition des étapes suivantes jusqu’à la fin de la durée d’analyse disponible :Détermination d’une valeur de rétropropagation égale à la valeur de la couche de comparaison (10) si la valeur de prédiction avait été rétropropagée jusqu’à la couche de comparaison (10),Calcul d’une erreur à partir de la valeur de rétropropagation et de la valeur de comparaison,Modification de la valeur de prédiction pour réduire l’erreur,Propagation de la valeur de prédiction dans le premier réseau de neurones (111) jusqu’à la couche de sortie (50). Figure pour l’abrégé : figure 4
Description
L’invention concerne l’aide à la conduite d’un véhicule automobile.
Aujourd’hui, Il existe un certain nombre de dispositifs électroniques d’aides à la conduite (ou d’automatismes de conduite) permettant une adaptation automatique (ou semi-automatique) de la trajectoire d’un véhicule en fonction de l’environnement du véhicule.
Ces aides à la conduite nécessitent des analyses d’images complexes faisant appel à des réseaux de neurones. L’analyse d’image détermine ainsi la trajectoire (c’est-à-dire la direction et la vitesse du véhicule) donnée (autrement dit : commandé) au véhicule par le dispositif d’aide à la conduite, ou des signaux délivrés dans l’habitacle (signaux d’avertissement).
Pour assurer la réactivité nécessaire à toutes les situations, le temps de calcul alloué à ces analyses est limité, ce qui réduit la qualité des aides à la conduite.
Pour remédier à cet inconvénient, l’invention concerne un procédé d’analyse d’une première image par un premier réseau de neurones auto-encodeur électronique, le premier réseau de neurones comprenant :
- Une couche (de neurones) d’entrée,
- Une couche (de neurones) de sortie,
- Un premier encodeur constitué de (ou comprenant) la couche d’entrée, au moins une couche (de neurones) d’encodage et une couche (de neurones) latente, (et de connexions entre chaque couple de couches de neurones successive de l’encodeur) et configuré pour compresser une première valeur dans la couche d’entrée en une deuxième valeur dans la couche latente,
- Un premier décodeur constitué de (ou comprenant) la couche de sortie, au moins une couche (de neurones) de décodage, et d’une couche (de neurones) latente (et de connexions entre chaque couple de couches de neurones successives du décodeur), et configuré pour décompresser une première valeur dans la couche latente en une deuxième valeur dans la couche de sortie,
- Le premier réseau de neurones étant entrainé par la mise en œuvre des (deux) étapes suivantes (et ces (deux) étapes peuvent être comprises dans le procédé d’analyse et éventuellement être réalisées (préalablement à l’étape de détermination d’une valeur de comparaison) à l’extérieur de l’égo véhicule) :
- Premier entrainement non supervisé à poids liés ( en anglais « tight weights » ou « tied weights ») d’un deuxième réseau de neurones auto-encodeurs électronique comprenant le premier encodeur et un deuxième décodeur pour apprendre la fonction identité, puis
- Deuxième entrainement supervisé du premier réseau de neurones en fixant le premier décodeur (notamment, ses poids ne sont pas modifiés par le deuxième entrainement. Ainsi, les poids du premier décodeur restent identiques aux poids déterminés suite au ou par le premier entrainement),
Le procédé étant caractérisé en ce qu’il comprend les étapes suivantes, mises en œuvre dans un égo véhicule automobile :
- Détermination d’une durée d’analyse disponible pour une analyse supplémentaire de la première image,
- Détermination d’une valeur de comparaison d’une couche (de neurones) de comparaison du premier encodeur,
- Première propagation (avant) de la valeur de comparaison (autrement dit : activation) dans l’encodeur depuis la couche de comparaison jusqu’à une couche de prédiction de l’encodeur prenant (en conséquence) une valeur de prédiction,
- Répétition des (trois) étapes suivantes jusqu’à ce que la durée d’analyse disponible soit expirée :
- Détermination d’une valeur de rétropropagation égale à la valeur de (autrement dit : qu’aurait prise) la couche de comparaison si la valeur de prédiction avait été rétropropagée (autrement dit : propagée ou rétro-propagée) dans l’encodeur depuis la couche de prédiction jusqu’à la couche de comparaison, en utilisant comme (représentation des) poids des connexions entre (chacune des) deux couches de l’encodeur (lors de la rétropropagation), une matrice transposé de la matrice représentant des poids des (ou de toutes les) connexions entre ces deux couches (utilisée ou mise en œuvre) lors de la première propagation,
- Calcul d’une erreur à partir de la valeur de rétropropagation et de la valeur de comparaison (par exemple, l’erreur est la différence entre la valeur de rétropropagation et la valeur de comparaison),
- Modification de la valeur de prédiction de manière à réduire l’erreur (lors de la prochaine répétition),
Deuxième propagation (avant) de la valeur de prédiction dans le premier réseau de neurones depuis la couche de prédiction jusqu’à la couche de sortie.
Ainsi, selon l’invention, l’analyse de l’image peut être améliorée par une correction de l’erreur engendrée par le réseau de neurones, lorsque le temps disponible pour réaliser cette analyse le permet, ce qui permet d’améliorer la qualité des aides à la conduite.
Le premier réseau de neurones et/ou le deuxième réseau de neurones est un réseau de neurones artificiel, préférentiellement électronique, c’est-à-dire mis en œuvre par un circuit électronique, par exemple un microcircuit, comprenant par exemple un processeur avec une mémoire ou un circuit électronique dédié.
Selon un mode de réalisation, le procédé selon l’invention comprend une étape de commande d’une trajectoire de l’égo véhicule ou de commande d’émission d’un signal à l’intérieur de l’habitacle de l’égo véhicule à partir (de la valeur) de la couche de sortie.
Le procédé peut comprendre une étape de réception de la première image en entrée du premier réseau de neurones. En variante, le première image est déjà en mémoire dans la couche d’entrée.
La première image peut être obtenue par une première caméra ou un premier radar du véhicule égo.
En variante, la première image est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule (non représenté).
Selon un mode de réalisation :
- La couche de comparaison est la couche d’entrée, et(/ou) (dans ce cas, l’étape de détermination d’une valeur de comparaison comprend la réception des données d’entrée, à savoir de la première image),
- L’encodeur comprend, parmi ladite au moins une couche d’encodage (20), une couche (de neurones) directement connectée à la couche d’entrée (par des connexions), et la couche de prédiction est cette couche directement connectée à la couche d’entrée.
En variante, la couche de comparaison ou la couche de prédiction peut être une autre couche de l’encodeur.
Par exemple, la couche de comparaison et la couche de prédiction sont directement connectées (par des connexions) et la formule suivante est appliquée (autrement dit : mise en œuvre) durant l’étape de modification de la valeur de prédiction :
- yt +1= yt– α M (Mtyt– xt) où
- yt +1est la valeur de prédiction modifiée, xtest la valeur de comparaison (autrement dit : activation de la couche de comparaison)
- ytest la valeur de prédiction, Mtytest la valeur de rétropropagation, (Mtyt– xt) est l’erreur,
- M est une matrice qui représente les poids des connexions entre la couche de prédiction et la couche de comparaison dans le premier réseau de neurones (lors de la première propagation. Ainsi yt = M xt). Mtest la transposée de M.
On calcule ainsi un gradient, qui est le vecteur des dérivées partielles (donc « premières ») de l’erreur par rapport à chaque composante de l’erreur. Mais on pourrait aussi calculer la Hessienne, la matrice des dérivées secondes de l’erreur, qui donne plus d’information, et s’en servir pour faire une meilleure optimisation sur l‘erreur. D’autres méthodes sont bien entendu possibles pour modifier la couche de modification.
α est par exemple inférieur à 1, préférentiellement égale à 0,001.
Selon un mode de réalisation, le premier réseau de neurones est configuré pour, à partir de la première image (d’un environnement de l’égo véhicule) en couche d’entrée, produire, en couche de sortie, cette image et des boites englobant différents objets de cette image et la classe d’objets à laquelle appartient ces objets.
Par exemple, durant le deuxième entrainement, le premier réseau de neurones est entrainé pour produire une telle couche de sortie à partir d’une image en couche d’entrée.
Par exemple, les classes d’objets comprennent au moins l’une des classes suivantes : surfaces planes, humains, véhicules, constructions, objets, nature, ciel, et/ou divers.
Les images (plusieurs millions, de préférence) pour l’entrainement du premier réseau de neurones sont préférablement acquises lors de campagnes de roulages dédiées, avec labélisation manuelle ou semi-automatique.
Selon un mode de réalisation, l’égo véhicule étant situé dans un environnement comprenant un élément, le procédé selon l’invention comporte les étapes suivantes :
- Réception d’une information d’environnement,
- Détermination d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément, à partir de l’information d’environnement,
- Détermination de la durée d’analyse disponible pour l’analyse de la première image à partir de la durée avant collision.
En variante, la durée d’analyse disponible peut être estimée à partir de la position géographique de l'ego (si on est en environnement urbain, on a moins de temps pour l’analyse que si on est sur autoroute) et éventuellement de la vitesse (on a plus de temps si on roule lentement).
Selon un mode de réalisation, l’information d’environnement est reçue de la part d’une deuxième caméra. L’information comprend par exemple des images vidéo, dans ce cas. L’information d’environnement peut être reçue de la part d’un deuxième radar de l’égo véhicule. L’information comprend par exemple des images radar, dans ce cas.
En variante, l’information d’environnement est reçue par exemple par un radar ou une caméra d’autres véhicules situés dans l’environnement du l’égo véhicule.
Selon un mode de réalisation, le procédé d’analyse comprend :
- Une étape de détermination d’une distance entre l’ego véhicule et l’élément à partir de l’information d’environnement,
- Une étape de détermination d’une vitesse relative entre l’ego véhicule et l’élément à partir de l’information d’environnement.
La durée avant collision étant déterminée à partir de la distance et de la vitesse. Par exemple, il s’agit de la distance divisée par la vitesse.
En variante, la durée avant collision peut être obtenue par un troisième réseau de neurones, à partir de l’information d’environnement.
La durée avant collision peut aussi prendre en compte l’accélération de l’égo véhicule ou de l’élément.
Selon un mode de réalisation, le procédé comprend une étape de réception d’une deuxième image de l’environnement (obtenue par exemple de la part d’une troisième caméra (de l’égo véhicule) et l’élément est une surface représentée par un pixel de la deuxième image.
En variante, l’élément est un véhicule, un piéton, ou objet fixe représentée par un ensemble de pixels (et le procédé peut comprendre une étape de reconnaissance de l’élément).
Lorsque l’environnement comprend une pluralité d’éléments, l’élément est préférentiellement celui pour lequel la durée avant collision est minimum parmi la pluralité d’éléments.
En variante, un risque encouru, par exemple en cas de choc entre l’égo véhicule et l’élément, peut être pris en compte pour déterminer l’élément.
Selon un mode de réalisation, la pluralité d’élément peut être représentée par tous les pixels de la deuxième image, et l’élément peut être représenté par un de ces pixels.
La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément divisée par la distance.
Selon un mode de réalisation, la durée d’analyse est égale à la durée avant collision moins un temps de sécurité.
Le temps de sécurité est par exemple le temps nécessaire à la mise en œuvre d’une mesure d’urgence en fonction d’un résultat du procédé d’analyse auquel on peut ajouter le temps estimé pour réaliser la deuxième propagation. Il est par exemple de 2s.
L’invention concerne également un programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontroller, pour la mise en œuvre du procédé selon l’invention.
Le procédé selon l’invention est par exemple mis en œuvre par un dispositif électronique d’aide à la conduite. L’invention concerne donc aussi un dispositif électronique configuré pour mettre en œuvre les étapes du procédé selon l’invention, et un véhicule automobile comprenant le dispositif électronique. Le dispositif électronique peut comprendre le premier et/ou le deuxième réseau de neurones.
Les caractéristiques et avantages du dispositif électronique, du véhicule automobile et du programme d’ordinateur sont identiques à ceux du procédé, c’est pourquoi, ils ne sont pas repris ici.
On entend qu’un élément tel que le dispositif électronique, ou un autre élément est « configuré pour » réaliser une étape ou une opération, par le fait que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour ») réaliser l’étape ou l’opération. Il s’agit préférentiellement de moyens électroniques, par exemple d’un programme d’ordinateur, de données en mémoire et/ou de circuits électroniques spécialisés.
Lorsqu’une étape ou une opération est réalisée par un tel élément, cela implique généralement que l’élément comporte des moyens pour (autrement dit « est conformé pour » ou « est adapté pour » ou « est configuré pour ») réaliser l’étape ou l’opération. Il s’agit également par exemple de moyens électroniques, par exemple un programme d’ordinateur, des données en mémoire et/ou des circuits électroniques spécialisés.
D’autres caractéristiques et avantages de la présente invention apparaitront plus clairement à la lecture de la description détaillée qui suit comprenant des modes de réalisation de l’invention donnés à titre d’exemples nullement limitatifs et illustrés par les dessins annexés, dans lesquels.
En référence à la , un véhicule égo 100 circule sur une route 300 selon une trajectoire (autrement dit : direction et sens) T1. Le véhicule égo 100 comporte une caméra 120 et un radar 130 et un dispositif électronique d’aide à la conduite 110 comprenant un premier réseau de neurones 111.
La route 300 comporte une séparation centrale 310 (terre-plein ou autre), deux glissières de sécurité 330 et 320. Sur la route 300, les véhicules 220 et 210 circulent également selon une trajectoire (autrement dit : direction et sens) T2 et T3 respectivement. Un arbre 400 est également présent sur le côté de la route 300.
La représente le premier réseau de neurones 111 comprenant :
- Une couche de neurones d’entrée 10,
- Une couche de neurones de sortie 50,
- Un premier encodeur 1100 constitué de la couche d’entrée 10, au moins une couche (de neurones) d’encodage 20, une couche (de neurones) latente 30, et de connexions entre chaque couple de couches de neurones successives de l’encodeur 1100. Le premier encodeur 1100 est configuré pour compresser une première valeur dans la couche d’entrée 10 en une deuxième valeur dans la couche latente 30,
- Un premier décodeur 1200 constitué de la couche de sortie 50, au moins une couche (de neurones) de décodage 40, de la couche (de neurones) latente 30, et de connexions entre chaque couple de couches de neurones successives du décodeur 1200. Le premier décodeur est configuré pour décompresser une première valeur dans la couche latente 30 en une deuxième valeur dans la couche de sortie 50,
- Les connexions sont représentées par des matrices M1, M2, M3 et M4,
Par soucis de simplification, on représente un réseau de neurones 111 avec 5 couches, mais en pratique, le nombre de couches sera souvent plus élevé.
Le premier réseau de neurones est un réseau de neurones artificiel, par exemple électronique.
En référence à la , à l’étape S10, le premier réseau de neurones 111 est entrainé par la mise en œuvre des deux étapes suivantes :
- Premier entrainement non supervisé à poids liés d’un deuxième réseau de neurones auto-encodeurs électronique comprenant le premier encodeur 1100 et un deuxième décodeur pour apprendre la fonction identité (pour cela on présente en entrée 10 du réseau une image et en sortie du réseau de neurones, la même image), puis
- Deuxième entrainement supervisé du premier réseau de neurones 111 en fixant le premier décodeur 1100 (Autrement dit : les poids du premier décodeur ne sont pas modifiés, par le deuxième entrainement. Notamment les poids du premier décodeur 1100 restent identiques aux poids déterminés suite au premier entrainement),
A l’étape S20, le dispositif d’aide à la conduite 110 réceptionne l’image 4000, , de l’environnement du véhicule 100, obtenue par exemple par la caméra 120.
A l’étape S30, le dispositif 110 reçoit des images radars (successives) de la part du radar 130.
A l’étape S40, le dispositif 110 détermine, à partir des images radars, pour chaque pixel de l’image 4000, une durée avant une collision avec l’ego véhicule. Le pixel PX représentant la surface PP (située à une distance D1 du véhicule égo 100) du véhicule 220 est celui pour lequel la durée avant collision est minimum parmi tous les pixels de l’image 4000.
La durée avant collision est par exemple obtenue à partir de la vitesse relative entre l’égo véhicule et l’élément de l’environnement représenté par le pixel divisé par la distance entre l’élément de l’environnement représenté par le pixel et l’égo véhicule. La vitesse relative et la distance sont par exemple obtenues à partir des images radar.
A l’étape S50, une durée d’analyse égale à la durée avant collision moins un temps de sécurité, par exemple égal à 2 secondes, est déterminée. Par exemple, la durée d’analyse est de 0,2 secondes, et la durée avant collision de 2,2 secondes.
A l’étape S60, le premier réseau de neurones 111 reçoit en entrée l’image 4000, dans la couche de neurones 10.
A l’étape S70, l’image 4000 dans la couche de neurones 10 est propagée dans la couche de neurones 20. Le poids des connexions entre la couche 10 et la couche 20 est représenté par la matrice M1.
A l’étape S80, le dispositif 110 calcule le vecteur yt +1 à partir de la formule suivante:
- yt +1= yt– α M1 (M1tyt– xt) où
- ytest un vecteur représentant la valeur en mémoire de la couche 20,
- xtest un vecteur représentant la valeur en mémoire de la couche 10,
- M1test la matrice transposée de M1.
- Mtytest égale à la valeur de la couche 10, qu’on appelle ici valeur de rétropropagation (ou retro-propagation), si la valeur de ytdans la couche 20 avait été rétropropagée (autrement dit : propagée) dans la couche 10 en utilisant les poids représentés par la matrice M1t(qui est la transposé de M1). (Mtyt– xt) est l’erreur entre la valeur de rétropopagation et la valeur en mémoire de la couche 10, c’est-à-dire l’image 4000.
- α est un paramètre par exemple inférieur à 1, préférentiellement égale à 0,001.
A l’étape S90, le vecteur ytest remplacé par yt+1en mémoire de la couche 20.
Les étapes S80 et S90 sont répétées jusqu’à ce que la durée d’analyse de 0,2 secondes soit expirée.
A l’étape S100, la valeur de ytdans la couche 20 est propagée jusqu’à la couche de sortie 50 (au travers des couches 30 et 40) qui constitue alors le résultat de l’étape d’analyse.
Le dispositif électronique 110 commande ensuite une trajectoire de l’égo véhicule 100 à partir de la valeur de la couche 20.
L’image 5000, , est (ou représente) un exemple de la valeur de la couche 20 à la suite de l’étape S100. L’image 5000 comporte l’image 4000 et des boites 320’,210’,310’,220’, 330’, 400’ englobant respectivement les objets 320, 210, 310, 220, 330, 400 de cette image 4000 et la classe d’objets à laquelle appartient ces objets 320, 210, 310, 220, 330, 400.
Dans l’image 5000, sont classifiés :
- Comme véhicules, les véhicules 210 et 220,
- Comme délimitation de voies, la séparation centrale 310, et les glissières 320 et 330,
- Comme éléments extérieurs à la route : l’arbre 400.
Ainsi, à l’étape S10, dans ce mode de réalisation, le premier réseau de neurones est entrainé pour produire une telle image 5000.
Claims (10)
- Procédé d’analyse d’une première image (4000) par un premier réseau de neurones auto-encodeurs électronique (111), le premier réseau de neurones (111) comprenant :
- Une couche (de neurones) d’entrée (10),
- Une couche (de neurones) de sortie (50),
- Un premier encodeur (1100) constitué de la couche d’entrée (10), d’au moins une couche d’encodage (20) et d’une couche latente (30),
- Un premier décodeur (1200) constitué de la couche de sortie (50), d’au moins une couche de décodage (40), et d’une couche latente (30),
- Le premier réseau de neurones (111) étant entrainé par la mise en œuvre (S10) des étapes suivantes :
- Premier entrainement non supervisé à poids liés d’un deuxième réseau de neurones auto-encodeurs électronique comprenant le premier encodeur (1100) et un deuxième décodeur pour apprendre une fonction identité, puis
- Deuxième entrainement supervisé du premier réseau de neurones en fixant les poids du premier décodeur, les poids du premier décodeur restant identiques aux poids déterminés par le premier entrainement,
- Détermination d’une durée d’analyse (S50) disponible pour une analyse supplémentaire de la première image (4000),
- Détermination d’une valeur de comparaison (S60) d’une couche de comparaison (10) du premier encodeur (1100),
- Première propagation (S70) de la valeur de comparaison dans l’encodeur (1100) depuis la couche de comparaison (10) jusqu’à une couche de prédiction (20) de l’encodeur (1100) prenant une valeur de prédiction,
- Répétition des étapes suivantes jusqu’à ce que la durée d’analyse disponible soit expirée :
- Détermination d’une valeur de rétropropagation (S80) égale à la valeur de la couche de comparaison (10) si la valeur de prédiction avait été propagée dans l’encodeur (1100) depuis la couche de prédiction (20) jusqu’à la couche de comparaison (10), en utilisant comme poids des connexions entre deux couches de l’encodeur, une transposé (M1t) de la matrice (M1) représentant des poids des connexions entre ces deux couches lors de la première propagation,
- Calcul d’une erreur à partir de la valeur de rétropropagation et de la valeur de comparaison,
- Modification (S90) de la valeur de prédiction de manière à réduire l’erreur,
- Procédé d’analyse de la première image (4000) selon la revendication précédente dans lequel :
- La couche de comparaison (10) est la couche d’entrée, et
- L’encodeur (1100) comprend, parmi ladite au moins une couche d’encodage (20), une couche directement connectée à la couche d’entrée, et la couche de prédiction est cette couche directement connectée à la couche d’entrée.
- Procédé d’analyse de la première image selon l’une quelconque des revendications précédentes dans lequel la couche de comparaison (10) et la couche de prédiction (20) sont directement connectées et dans lequel la formule suivante est appliquée durant l’étape de modification (S90) de la valeur de prédiction :
- yt +1= yt– α M (Mtyt– xt) où
- yt +1est la valeur de prédiction modifiée, xtest la valeur de comparaison
- ytest la valeur de prédiction, Mtytest la valeur de rétropropagation, (Mtyt– xt) est l’erreur,
- M est une matrice qui représente les poids des connexions entre la couche de prédiction et la couche de comparaison, Mtest la transposée de M.
- Procédé d’analyse de la première image selon l’une quelconque des revendications précédentes dans lequel le premier réseau de neurones est configuré pour, à partir de la première image (4000) dans la couche d’entrée (10), produire, dans la couche de sortie (50), la première image (4000) et des boites (320’,210’,310’,220’, 330’, 400’) englobant différents objets (320, 210 ,310 ,220 , 330, 400) de la première image (4000) et une classe d’objets à laquelle appartient ces objets (320, 210 ,310 ,220 , 330, 400), le premier réseau de neurones étant entrainé durant le deuxième entrainement pour produire une telle couche de sortie (50) à partir d’une image en couche d’entrée (10).
- Procédé d’analyse selon l’une quelconque des revendications précédentes, l’égo véhicule (100) étant situé dans un environnement comprenant un élément (PP), le procédé étant caractérisé en ce qu’il comporte les étapes suivantes :
- Réception (S30) d’une information d’environnement,
- Détermination (S40) d’une durée avant collision jusqu’à une collision anticipée entre l’égo véhicule et l’élément (PP), à partir de l’information d’environnement,
- Détermination (S50) de la durée d’analyse disponible pour l’analyse de la première image (4000) à partir de la durée avant collision.
- Procédé d’analyse selon la revendication précédente comprenant :
- Une étape de détermination d’une distance (D1) entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement
- Une étape de détermination d’une vitesse relative entre l’ego véhicule (100) et l’élément (PP) à partir de l’information d’environnement.
- Procédé d’analyse selon l’une quelconque des revendications précédentes dans lequel le procédé comprend une étape de réception (S20) d’une deuxième image (4000) de l’environnement et l’élément est une surface (PP) représentée par un pixel (PX) de la deuxième image (4000).
- Programme d’ordinateur comprenant des instructions, exécutables par un microprocesseur ou un microcontrôleur, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7.
- Dispositif électronique (110) configuré pour mettre en œuvre les étapes du procédé selon l’une quelconque des revendications 1 à 7.
- Véhicule automobile (100) comprenant le dispositif électronique (110) selon la revendication précédente.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2202251A FR3133693A1 (fr) | 2022-03-15 | 2022-03-15 | Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2202251 | 2022-03-15 | ||
| FR2202251A FR3133693A1 (fr) | 2022-03-15 | 2022-03-15 | Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3133693A1 true FR3133693A1 (fr) | 2023-09-22 |
Family
ID=82594587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2202251A Pending FR3133693A1 (fr) | 2022-03-15 | 2022-03-15 | Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3133693A1 (fr) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200293064A1 (en) * | 2019-03-15 | 2020-09-17 | Nvidia Corporation | Temporal information prediction in autonomous machine applications |
-
2022
- 2022-03-15 FR FR2202251A patent/FR3133693A1/fr active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200293064A1 (en) * | 2019-03-15 | 2020-09-17 | Nvidia Corporation | Temporal information prediction in autonomous machine applications |
Non-Patent Citations (2)
| Title |
|---|
| MAYRAND-PROVENCHER LAURENCE: "Building an Autoencoder with Tied Weights in Keras", 18 December 2019 (2019-12-18), pages 1 - 9, XP055977539, Retrieved from the Internet <URL:https://medium.com/@lmayrandprovencher/building-an-autoencoder-with-tied-weights-in-keras-c4a559c529a2> [retrieved on 20221103] * |
| MUKHTAR AMIR ET AL: "Vehicle Detection Techniques for Collision Avoidance Systems: A Review", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 16, no. 5, 1 October 2015 (2015-10-01), pages 2318 - 2338, XP011670163, ISSN: 1524-9050, [retrieved on 20150925], DOI: 10.1109/TITS.2015.2409109 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10940863B2 (en) | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle | |
| US10068140B2 (en) | System and method for estimating vehicular motion based on monocular video data | |
| US9286524B1 (en) | Multi-task deep convolutional neural networks for efficient and robust traffic lane detection | |
| CN110850854A (zh) | 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器 | |
| US11783593B2 (en) | Monocular depth supervision from 3D bounding boxes | |
| CN111738037B (zh) | 一种自动驾驶方法及其系统、车辆 | |
| US11321815B2 (en) | Method for generating digital image pairs as training data for neural networks | |
| US11604936B2 (en) | Spatio-temporal graph for video captioning with knowledge distillation | |
| FR3133693A1 (fr) | Procédé d’analyse d’images amélioré en fonction du temps disponible, par un réseau de neurones auto-encodeur, dispositif et véhicule associés | |
| WO2022078713A1 (fr) | Détection d'objets et détermination de comportements d'objets | |
| JP6923362B2 (ja) | 操舵角決定装置、自動運転車 | |
| CN111435457B (zh) | 对传感器获取的采集进行分类的方法 | |
| FR3092546A1 (fr) | Identification de zones roulables avec prise en compte de l’incertitude par une méthode d’apprentissage profond | |
| CN113076815B (zh) | 一种基于轻量级神经网络的自动驾驶方向预测方法 | |
| FR3133097A1 (fr) | Procédé d’analyse d’images amélioré, en fonction du temps disponible, dans un véhicule automobile, dispositif et véhicule associés | |
| FR3133098A1 (fr) | Procédé d’analyse d’images dans un véhicule automobile, dispositif et véhicule associés | |
| FR3133096A1 (fr) | Procédé d’analyse d’images par masquage et complétion en fonction de l’incertitude, dispositif et véhicule associés | |
| FR3114718A1 (fr) | Dispositif de compensation du mouvement d’un capteur événementiel et système d’observation et procédé associés | |
| US20230298142A1 (en) | Image deblurring via self-supervised machine learning | |
| FR3117079A1 (fr) | Procédé et dispositif de prédiction de changement de voie de circulation d’un véhicule circulant sur une route | |
| FR3134363A1 (fr) | Procédé de prédiction de trajectoires de piétons pour le renforcement de la sécurité de la conduite autonome d’un véhicule, véhicule muni de moyens pour la mise en œuvre de ce procédé | |
| US20230085043A1 (en) | Utilizing hidden state sharing modules to prevent catastrophic forgetting | |
| EP2489548B1 (fr) | Procédé et dispositif de commande de commutation du système d'éclairage avant adaptatif d'un véhicule automobile | |
| FR3133475A1 (fr) | Procédé d’analyse d’images dans un véhicule automobile par génération de texte, dispositif et véhicule associés | |
| FR3128177A1 (fr) | Procédé et dispositif de prédiction d’un changement de voie de circulation pour véhicule |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230922 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |