FR3129905A1 - Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. - Google Patents
Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. Download PDFInfo
- Publication number
- FR3129905A1 FR3129905A1 FR2112884A FR2112884A FR3129905A1 FR 3129905 A1 FR3129905 A1 FR 3129905A1 FR 2112884 A FR2112884 A FR 2112884A FR 2112884 A FR2112884 A FR 2112884A FR 3129905 A1 FR3129905 A1 FR 3129905A1
- Authority
- FR
- France
- Prior art keywords
- pedestrians
- vehicle
- instant
- static
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003068 static effect Effects 0.000 claims abstract description 47
- 230000003044 adaptive effect Effects 0.000 claims abstract description 21
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims description 24
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims description 24
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Procédé d’aide à la conduite consistant : - à détecter (200) des piétons dans le champ de vision d’un véhicule, à un premier instant ; - à prédire (300) la position du véhicule à un deuxième instant ; - à définir (400) une zone de danger entre la positon du véhicule au premier instant et la position prédite au deuxième instant déterminé ; - à prédire (500) la position des piétons mobiles, identifiés parmi les piétons détectés, au deuxième instant déterminé ; - à prédire (600) l’intention de traverser devant le véhicule des piétons statiques identifiés parmi les piétons détectés, au deuxième instant déterminé ; et - à commander (700) le régulateur de vitesse adaptatif quand les piétons mobiles pénètrent dans la zone de danger et/ou si les piétons statiques ont l’intention de traverser dans la zone de danger. (Figure 2)
Description
La présente invention concerne de manière générale les procédés et systèmes d’aide à la conduite également désignés par systèmes ADAS (acronyme anglosaxon pour « Advanced Driver-Assistance System »).
La présente invention s’intéresse plus particulièrement à un procédé d’aide à la conduite permettant de détecter la présence de piétons et d’anticiper leur intention de traverser devant le véhicule équipé du système ADAS afin de gérer de manière proactive la vitesse longitudinale du véhicule.
Le véhicule est également désigné par « ego véhicule » ou simplement « ego ».
La gestion des piétons par un véhicule automobile consiste généralement à détecter les piétons par le véhicule, lorsqu’ils sont détectés devant le véhicule à une distance critique en faisant intervenir le freinage automatique d’urgence qui est l’une des fonctions d’assistance proposées par le système ADAS.
La gestion tardive des décélérations longitudinales entraine des freinages brusques indésirables et désagréables pour les passagers du véhicule ainsi que pour les piétons qui peuvent être surpris par le comportement du véhicule.
Ce type de gestion, par le freinage automatique d’urgence, n’est donc pas adapté dans un contexte de circulation urbaine où la cohabitation entre véhicules et piétons est omniprésente.
Il y a donc un besoin de pouvoir gérer les piétons de manière proactive et ainsi de permettre d’adapter la vitesse longitudinale du véhicule de manière anticipée en évitant les inconvénients décrits ci-dessus.
A cet effet, la présente invention a pour premier objet un procédé d’aide à la conduite pour un véhicule automobile comportant un système ADAS comportant une caméra frontale, des moyens de détection et de suivi de piétons et un régulateur de vitesse adaptatif ; ledit système ADAS comportant en outre des moyens de commande aptes à commander le régulateur de vitesse adaptatif pour gérer la vitesse longitudinale du véhicule quand des piétons sont détectés dans le champ de vision du véhicule à partir d’images captées par la caméra et des données délivrées par les moyens de détection et de suivi de piétons, ledit procédé étant mis en œuvre par les moyens de commande du système ADAS et consistant, à un premier instant déterminé de détection de piétons dans le champ de vision du véhicule :
- à prédire la position du véhicule à un deuxième instant déterminé après le premier instant déterminé, paramétrable entre 2 et 3s ;
- à définir une zone de danger dans le champ de vision du véhicule entre une première position correspondant à la positon du véhicule au premier instant et une deuxième position correspondant à la position prédite au deuxième instant déterminé, et dans la largeur de la voie de circulation sur laquelle évolue le véhicule ;
- à prédire la position des piétons mobiles, identifiés parmi les piétons détectés, au deuxième instant déterminé ;
- à prédire l’intention de traverser devant le véhicule des piétons statiques identifiés parmi les piétons détectés, au deuxième instant déterminé ; et
- à commander le régulateur de vitesse adaptatif quand au moins un des piétons mobiles est localisé dans la zone de danger et/ou si au moins un des piétons statiques a l’intention de traverser dans la zone de danger.
Selon une caractéristique, les piétons sont localisés à partir d’un algorithme de détection d’objets dans les images captées par la caméra, au premier instant déterminé ; chaque piéton étant représenté à l’intérieur d’une zone définissant un rectangle repéré dans un espace de coordonnées cartésiennes.
Selon une autre caractéristique, le véhicule est représenté par un rectangle dans le même espace de coordonnées cartésiennes ; le véhicule et chaque piéton détecté sont repérés respectivement par leurs coordonnées de position longitudinale et latérale.
Selon une autre caractéristique, la zone de danger est définie par un rectangle dont la largeur est égale à la largeur de la voie de circulation sur laquelle évolue le véhicule et la longueur est déterminée à partir de la différence entre les cordonnées longitudinales du véhicule entre les premier et deuxième instants déterminés par l’équation cinématique de mouvement rectiligne du véhicule.
Selon une autre caractéristique, pour prédire la position de chaque piéton mobile au deuxième instant, le procédé consiste à récupérer la position et les vitesses longitudinale et latérale de chaque piéton mobile à partir de la fusion des données de détection des moyens de détection et de suivi de piétons et des images captées par la caméra au premier instant déterminé, et à les utiliser comme paramètres dans des équations cinématiques de mouvements rectilignes caractérisant les mouvements des piétons mobiles et du véhicule entre les premier et deuxième instants.
Selon une autre caractéristique, le procédé consiste à mettre en œuvre un réseau de neurones CNN pour le traitement d’images et l’extraction de points d’intérêt visuels déterminés dans les images, couplé à un réseau de neurones LSTM prenant en compte ces points d’intérêt pour prédire si au moins un piéton statique a l’intention de traverser la voie de circulation dans la zone de danger.
Selon une caractéristique, les points d’intérêts sont des postures de piétons statiques pré-enregistrées traduisant leur intention de traverser une voie de circulation.
Selon une autre caractéristique, le procédé consiste à classifier les piétons statiques entre des piétons statiques pertinents et non pertinents ; un piéton statique étant considéré pertinent quand sa position longitudinale est entre une première position correspondant à la positon du véhicule au premier instant et une deuxième position correspondant à la position prédite au deuxième instant déterminé et quand sa position latérale est inférieur à une distance déterminée des bords latéraux de la voie de circulation du véhicule.
La présente invention a pour deuxième objet un produit programme d’ordinateur comportant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé tel que décrit ci-dessus.
La présente invention a pour troisième objet un véhicule automobile mettant en œuvre le procédé tel que décrit ci-dessus, caractérisé en ce qu’il comporte un système ADAS comportant une caméra frontale, des moyens de détection et de suivi de piétons et un régulateur de vitesse adaptatif ; ledit système ADAS comportant en outre des moyens de commande aptes à commander le régulateur de vitesse adaptatif, un premier module de prédiction implémentant des équations cinématiques de mouvements rectilignes et un deuxième module de prédiction comportant un réseau de neurones CNN et un réseau de neurones LSTM.
D’autres avantages et caractéristiques pourront ressortir plus clairement de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif et faite en se référant aux dessins dans lesquels :
Sur les figures, les éléments identiques ou similaires sont repérés avec la même référence alphanumérique.
La présente invention exploite avantageusement la fonction ACC (acronyme anglosaxon pour « Adaptive Cruise Control ») désignée également par « régulation longitudinale adaptative ». Cette fonction est principalement mise en œuvre par un organe dédié appelé « régulateur de vitesse adaptatif ». Ce régulateur de vitesse adaptatif, est habituellement utilisé pour aider le conducteur du véhicule à maintenir une vitesse constante et une distance de sécurité avec le véhicule qui le précède (véhicule cible) sur la même voie de circulation essentiellement sur autoroute. Un régulateur de vitesse adaptatif est piloté par un ou plusieurs calculateurs du système ADAS, recevant les informations issues de capteurs dits de perception tels qu’un RADAR ACC (ou un LASER) et une caméra frontale, généralement une caméra multifonction, tous deux embarqués dans le véhicule.
Dans le procédé selon l’invention, ce sont les piétons qui sont gérés par le système ADAS en liaison avec le régulateur adaptatif de vitesse. Le procédé selon l’invention se base sur une détection puis une localisation permanente des piétons dans le champ de vison du véhicule avec une distinction entre les piétons statiques et les piétons mobiles, puis en ce qui concerne certains piétons statiques déterminés, ceux qui sont susceptibles de traverser devant le véhicule.
La illustre sous la forme d’un schéma-bloc, un véhicule automobile 100 comportant un système ADAS 10, mettant en œuvre le procédé selon l’invention.
Le système ADAS 10 comporte un ou plusieurs capteurs d’images, tels qu’une caméra multifonction 12, une caméra infrarouge, … Il comporte par ailleurs un capteur permettant le suivi d’un d’objet mobile détecté devant le véhicule 100. C’est le cas du radar dit « RADAR ACC » 13 (ou un LASER), qui est généralement positionné à l’avant du véhicule 100 derrière le parechoc avant du véhicule 100. Il est couplé à la caméra multifonction 12, qui elle, est disposée au niveau du rétroviseur de l’habitacle en haut du pare-brise du véhicule 100.
Le RADAR ACC 13 coopère ainsi avec la caméra 12 pour mesurer précisément en permanence, la distance (et donc la vitesse) des piétons qui sont détectés puis localisés dans les images captées par la caméra 12.
Par champ de vision du véhicule 100, tel qu’introduit ci-dessus, on entend le champ de vision de la caméra 12 associé à la portée du RADAR ACC 13.
Le système ADAS 10 comporte au moins un calculateur ADAS 14 appelé également ECU (Electronic Control Unit). Ce calculateur 14 reçoit les données délivrées par le RADAR ACC 12 et la caméra 13 après leur traitement d’abord par des moyens 15 implémentant un ou plusieurs algorithmes d’analyse d’images permettant d’extraire des informations pertinentes à partir des images (ou séquences d’images) captées par la caméra 12 et des moyens 16 permettant d’exploiter les données de distance et de vitesse des objets pour effectuer un suivi des objets ou cibles (piétons) détectés par le RADAR ACC 13. Ces informations sont fusionnées dans un module de fusion de données 17 pour être ensuite traitées par un premier module de prédiction 18 implémentant un algorithme de prédiction basé sur des équations cinématiques de mouvements rectilignes et par un deuxième module de prédiction 19 utilisant des réseaux de neurones 20 et 21 pour prédire la position du véhicule 100 et celle des piétons, et leur intention, dans le champ de vision du véhicule 100. Le calculateur ADAS 14 récupère toutes ces informations et commande le régulateur de vitesse adaptatif 22 en conséquence.
La position et les vitesses longitudinale et latérale des piétons mobiles sont obtenues à partir du module 17 de fusion des données délivrées par le RADAR ACC 13 et la caméra 12, et sont utilisées comme paramètres dans les équations cinématiques de mouvements rectilignes du module de prédiction 18 qui serviront à prédire la position des piétons dans les 2 à 3 secondes suivant le premier instant de détection des piétons dans le champ de vision du véhicule 100.
Le module de prédiction 19 utilise entre autres la posture du corps des piétons pour estimer via un réseau de neurones à convolution appelé CNN 20 (acronyme anglosaxon pour Convolution Neuronal Networks) l’intention des piétons statiques de traverser, corrélée à d’autres données issues d’une base de données de roulages en ville, qui contient un ensemble de préenregistrements (séquences d’images) de situations dans lesquelles les piétons sont impliqués dans des traversées de route quelques secondes avant leur traversée effectives. L’introduction de l’effet mémoire (informations pertinentes venant du passé) dans le comportement des piétons avant de traverser, est gérée par un réseau de neurones 21 appelé LSTM (Long Short Term Memory) couplé au réseau CNN 20. Ainsi, si un piéton statique tourne la tête successivement dans un sens puis dans l’autre sens avant de traverser, la séquence d’images correspondant à ce comportement, sera comparée avec des séquences d’images d’autres comportements similaires préenregistrées dans la base de données pour en déduire son intention imminente de traverser la route.
Le procédé mis en œuvre par est illustré par le logigramme de la .
Il consiste, quand des piétons mobiles et statiques sont détectés et localisés dans une première étape 200, devant le véhicule 100 à un premier instant déterminé (t=0s) :
- dans une deuxième étape 300, à prédire la position du véhicule 100 à un deuxième instant déterminé après le premier instant déterminé, paramétrable entre 2 et 3s, typiquement t = 2s ;
- dans une troisième étape 400, à définir une zone de danger s’étendant devant le véhicule 100, entre une première position correspondant à la positon du véhicule 100 au premier instant (t = 0s) et une deuxième position correspondant à la position prédite au deuxième instant déterminé (t = 2s) ;
- dans une quatrième étape 500, à prédire la position des piétons mobiles, identifiés parmi les piétons détectés à l’étape 200, au deuxième instant déterminé (t = 2s),
- dans une cinquième étape 600, à prédire l’intention de traverser la voie de circulation devant le véhicule 100 de piétons statiques pertinents (la pertinence est déterminée à l‘étape 610) identifiés parmi les piétons statiques détectés à la première étape 200, au deuxième instant déterminé (t = 2s) ; et
- dans une sixième étape 700, à commander le régulateur de vitesse adaptatif 22 quand la position des piétons mobiles prédite à l’étape 500, est détectée à l’étape 410, dans la zone de danger définie à l’étape 400 et/ou si l’intention des piétons statiques, identifiés comme pertinents à l’étape 610 et prédite à l’étape 600, est de traverser dans la zone de danger ZD.
Le procédé est maintenant décrit graphiquement en référence aux figures 3 à 6. Sur ces figures, les piétons et le véhicule sont représentés dans un espace à coordonnées cartésiennes selon les axes X et Y. Les axes X et Y correspondent respectivement aux directions longitudinales et transversales du véhicule 100 qui est considéré suivant une vue de dessus. Sur ces figures, le véhicule 100 est représenté par un rectangle qui est centré dans sa voie de circulation V qui, à la , est la voie centrale d’une chaussée à trois voies. La voie de circulation V est délimitée respectivement, sur sa gauche et sa droite, par des lignes droites discontinues. Ces lignes sont facilement identifiables par un algorithme de reconnaissance de formes dans l’image, associé à la caméra 12. Une zone latérale T à droite de la chaussée (par exemple, un trottoir) est dédiée à la circulation des piétons.
La illustre graphiquement, la première étape 200 du procédé qui consiste à détecter les piétons mobiles et statiques dans l’environnement proche du véhicule 100, à l’avant du véhicule 100 dans le champ de vision du véhicule 100. On a représenté des premier et un deuxième piétons mobiles qui ont été détectés par le RADAR ACC 13 et la caméra 12 du véhicule 100. Le premier piéton, désigné par «PT», est localisé sur la chaussée à gauche de la voie de circulation V du véhicule 100. Le deuxième piéton, désigné par « PL » est localisé sur une zone dédiée aux piétons (trottoir), sur le bord droit de la chaussée.
Le procédé consiste, dans un premier temps, à représenter la zone de détection de chaque piéton PT, PL dans le flux d’images captées par la caméra 12, par une forme géométrique rectangulaire encadrant chaque piéton PT, PL qui sont ainsi repérés dans l’espace par quatre points de coordonnées cartésiennes.
Chaque piéton PT, PL est caractérisé par ses coordonnées longitudinale et latérale de position dans le temps et et sa vitesse longitudinale et latérale et .
De même, le véhicule (ou ego) 100, représenté également par un rectangle, est repéré par ses coordonnées longitudinale et latérale de position dans le temps et , sa vitesse longitudinale et latérale et ainsi que son accélération .
La figure 4 illustre graphiquement, les deuxième 300 et quatrième 400 étapes du procédé qui consistent à prédire la position des piétons mobiles PT, PL (représentés par leurs zones de détection rectangulaire respectives) et du véhicule 100 après une durée déterminée paramétrable, typiquement de 2 secondes ( ), suivant la première détection d’un piéton. Cette durée doit être à la fois, suffisamment courte pour pourvoir anticiper le freinage et suffisante en termes de temps de calcul (le temps de réaction du système ADAS dépendant de la vitesse du véhicule qui en zone urbaine varie généralement entre 30 Km/h et 50 Km/h) . Sur la , les piétons PT et PL sont tous les deux des piétons mobiles. Le piéton PT se déplace suivant une direction transversale (selon Y) par rapport à la direction de déplacement longitudinale (selon X) du véhicule 100 et le piéton PL se déplace suivant une direction longitudinale (selon X) parallèlement à la direction longitudinale (selon X) du véhicule 100.
Pour cela, le procédé consiste à récupérer les vitesses longitudinale et latérale des piétons mobiles PT et PL à partir des données issues du module 17 de fusion des données délivrées respectivement par la caméra 12 et le RADAR ACC 13, pour prédire leurs positions dans les 2 secondes ( ) suivant l’instant de détection calculées à partir des équations de cinématique du mouvement rectiligne à accélération constante.
Pour le véhicule (ego) 100, l’équation cinématique à la forme de :
et :
Pour les piétons mobiles PT et PL :
Et :
Pour exploiter les positions des piétons mobiles PT et PL par rapport à la position du véhicule 100, le procédé consiste à déterminer (étape 400) une zone dite de danger ZD entre la position du véhicule 100 à et la position du véhicule 100 à .
Cette zone ZD est dite de danger car si les piétons pénètrent dans cette zone, il y a un risque de collision entre le véhicule 100 et les piétons. Elle est délimitée, sur les figures 5 et 6, par un contour rectangulaire fermé en trait interrompu.
La zone de danger ZD est représentée par un rectangle dont la largeur « l » est égale à la largeur de la voie de circulation V sur laquelle évolue le véhicule 100. La voie de circulation V peut être délimitée entre deux lignes blanches discontinues ( ) ou entre une ligne blanche continue et une ligne blanche discontinue ( ) qui sont reconnaissables par l’algorithme de traitement d’images 16. La longueur « L » de la zone de danger ZD est calculée à partir de l’équation cinématique (1) du véhicule 100.
Pour déterminer (étape 410) si un piéton mobile PT, PL entre dans la zone de danger ZD entre l’instant et l’instant , le procédé exploite la position et les vitesses longitudinale et latérale de chaque piéton mobile PT, PL à partir de la fusion (module 17) des donnés délivrées par le RADAR ACC 13 et la caméra 12. Ces données sont ensuite injectées dans les équations cinématiques suivantes pour alimenter l’algorithme du module de prédiction 18 et déterminer la position de chaque piéton mobile PT, PL dans les 2 secondes suivant la première détection des piétons mobiles PT, PL :
Et
Le procédé consiste ensuite à vérifier si
Avec
Et
Alors, si le piéton mobile PT, PL est localisé dans la zone de danger ZD, le procédé commande (étape 700) le régulateur de vitesse adaptatif 22 du véhicule 100 en conséquence.
La figure 6, illustre graphiquement une étape, ou pré-étape, 610 qui précède l’étape 600 (cinquième étape) du procédé selon l’invention qui consiste à prédire l’intention de traverser des piétons statiques. Un piéton est statique quand sa vitesse longitudinale selon Y et sa vitesse latérale selon X sont nulles : et
A l’étape 610, le procédé classifie les piétons statiques détectés dans la première étape 200, entre piétons statiques « pertinents » et piétons statiques « non pertinents » en considérant les positions longitudinale et latérale de chaque piéton statique.
La notion de pertinence dépend des positions longitudinale et latérale des piétons statiques par rapport à la zone de danger ZD ( ).
Ainsi, un piéton statique est considéré « pertinent » quand sa position longitudinale est inférieure à la longueur « L » de la zone de danger ZD (suivant X), et quand sa position latérale est très proche des bords latéraux de la voie de circulation V du véhicule 100. Par bords latéraux de la voie de circulation V, on entend respectivement les lignes droites délimitant la voie de circulation V, et s’étendant longitudinalement de manière rectiligne selon X, à gauche et à droite de la voie de circulation V du véhicule 100. La distance séparant les deux bords latéraux de la voie de circulation V correspond à la largeur « l » de la zone de danger ZD. Par position latérale très proche, on entend une distance, ou seuil de pertinence « s », séparant la position latérale du bord de la voie de circulation du véhicule, comprise entre s = 0,5 et s = 0,7 mètre.
Sur la , on a représenté plusieurs piétons statiques PS détectés dans le champ de vision du véhicule 100. Chaque piéton statique PS est identifié par sa zone de détection rectangulaire. Sur cette figure, les piétons statiques « pertinents » sont représentés par leur zone rectangulaire en trait plein et les piétons statiques « non pertinents » par leur zone rectangulaire en trait interrompu.
Seuls deux piétons statiques PS remplissent les conditions de pertinence à savoir : avoir une position latérale (selon, Y) sous le seuil de pertinence « s » et une position longitudinale (selon X) dans la longueur « L » de la zone de danger ZD.
La classification des piétons statiques sur la base de la pertinence des piétons permet de réduire le nombre d’objets (piétons) à traiter, permettant de réduire la charge en mémoire vive (RAM : Random Access Memory) et en temps de calcul processeur ou CPU (Central Processor Unit).
Après avoir éliminé les piétons statiques non pertinents, le procédé selon l’invention consiste dans la cinquième étape (étape 600), à prédire l’intention des piétons statiques pertinents en fonction de leur comportement pour commander le régulateur de vitesse adaptatif 22, à l’étape 700.
Cette prédiction se base sur un des comportements typiques des piétons statiques avant de traverser une voie de circulation. Ce comportement typique qui se répète chez tous les piétons statiques confrontés à la traversée d’une voie de circulation, consiste à tourner la tête successivement dans un sens puis dans l’autre pour vérifier que la voie est libre pour pouvoir traverser sans danger. A ce comportement typique viennent s’ajouter d’autres indicateurs physiques de posture, comme par exemple : pencher le buste vers l’avant, avancer un pied, …, indicateurs désignés également par « points d’intérêt » qui sont collectés et préenregistrés dans des bases de données à partir de précédentes situations de vie du véhicule, dites de roulage. On dispose ainsi d’une pluralité de scénarii de comportements de piétons qui traversent la route, collectés au cours de précédentes situations de roulage des véhicules. La mise en œuvre d’un réseau de neurones CNN 20 pour le traitement d’images et l’extraction de « points d’intérêt » visuels dans la séquence vidéo, couplé à un réseau de neurones LSTM 21 qui prendra en compte ces points d’intérêt pour prédire si le piéton statique a l’intention ou non de traverser la voie de circulation, permet d’implémenter le procédé selon l’invention qui est proactif dans la régulation de la vitesse et permet ainsi de gagner quelques secondes de temps de réaction du système ADAS 10 qui peuvent être déterminantes pour la sécurités des piétons.
En synthèse, le procédé selon l’invention met en œuvre, avantageusement, un traitement séparé pour les piétons statiques et les piétons mobiles, ce qui permet d’économiser en taille mémoire et en charge de calcul. En effet, pour la prédiction de la position des piétons mobiles, il suffit d’exploiter les équations de la cinématique de mouvement rectiligne à accélération constante (ce type de prédiction est suffisamment fiable et déterministe) et de réserver la mise en œuvre des réseaux de neurones CNN et LSTM consommateurs en mémoires RAM et en charge de calcul, pour la prédiction de l’intention de traverser des piétons statiques pertinents (il n’est pas possible d’utiliser les équations de mouvement pour des piétons statiques). Pour la prédiction de l’intention de traverser, on pourrait se contenter d’une détection de la posture du haut du corps, de la tête et des jambes en utilisant le réseau CNN. Cependant, se limiter à une détection de posture ne permet pas de prendre en compte toutes les situations de vie. Pour cela, le procédé selon l’invention robustifie la prédiction d’intention de traverser en couplant un réseau de neurones LSTM à un réseau CNN.
Le procédé implémente un produit programme d’ordinateur comportant des instructions pour l’exécution des étapes du procédé décrit ci-dessus.
Ce programme est implémenté par exemple par un ou plusieurs calculateurs (ou processeurs) du système ADAS (superviseur ADAS) du véhicule en lien avec un ou plusieurs calculateurs (ou processeurs) du système IVI (In-Vehicle Infotainment) qui est l’organe central du véhicule dédié au traitement des données et à la communication avec le conducteur.
Un tel programme pourra être mis à jour avec possibilité d’ajout de fonctions en utilisant une mise à jour par voie d’ondes de type OTA « Over The Air ».
Claims (10)
- Procédé d’aide à la conduite pour un véhicule automobile (100) comportant un système ADAS (10) comportant une caméra frontale (12), des moyens de détection et de suivi de piétons (13) et un régulateur de vitesse adaptatif (22) ; ledit système ADAS (10) comportant en outre des moyens de commande (14) aptes à commander le régulateur de vitesse adaptatif (22) pour gérer la vitesse longitudinale du véhicule (100) quand des piétons sont détectés dans le champ de vision du véhicule (100) à partir d’images captées par la caméra (12) et des données délivrées par les moyens de détection et de suivi de piétons (13), ledit procédé étant mis en œuvre par les moyens de commande (14) du système ADAS (10) et consistant, à un premier instant déterminé de détection (200) de piétons dans le champ de vision du véhicule (100) :
- à prédire (300) la position du véhicule (100) à un deuxième instant déterminé après le premier instant déterminé, paramétrable entre 2 et 3s ;
- à définir (400) une zone de danger (ZD) dans le champ de vision du véhicule (100) entre une première position correspondant à la positon du véhicule (100) au premier instant et une deuxième position correspondant à la position prédite au deuxième instant déterminé, et dans la largeur (l) de la voie de circulation (V) sur laquelle évolue le véhicule (100) ;
- à prédire (500) la position des piétons mobiles (PT, PL), identifiés parmi les piétons détectés, au deuxième instant déterminé ;
- à prédire (600) l’intention de traverser devant le véhicule (100) des piétons statiques (PS) identifiés parmi les piétons détectés, au deuxième instant déterminé ; et
- à commander (700) le régulateur de vitesse adaptatif (22) quand au moins un des piétons mobiles (PT, PL) est localisé dans la zone de danger (ZD) et/ou si au moins un des piétons statiques (PS) a l’intention de traverser dans la zone de danger (ZD). - Procédé selon la revendication précédente, dans lequel les piétons sont localisés à partir d’un algorithme de détection d’objets dans les images captées par la caméra (12), au premier instant déterminé ; chaque piéton étant représenté à l’intérieur d’une zone définissant un rectangle repéré dans un espace de coordonnées cartésiennes (X, Y).
- Procédé selon la revendication précédente dans lequel le véhicule est représenté par un rectangle dans le même espace de coordonnées cartésiennes (X, Y) ; le véhicule (100) et chaque piéton détecté sont repérés respectivement par leurs coordonnées de position longitudinale (X) et latérale (Y).
- Procédé selon la revendication précédente dans lequel la zone de danger (ZD) est définie par un rectangle dont la largeur est égale à la largeur (l) de la voie de circulation (V) sur laquelle évolue le véhicule (100) et la longueur (L) est déterminée à partir de la différence entre les cordonnées longitudinales (X) du véhicule (100) entre les premier et deuxième instants déterminés par l’équation cinématique de mouvement rectiligne du véhicule (100).
- Procédé selon la revendication précédente, dans lequel il consiste, pour prédire la position de chaque piéton mobile (PT, PL) au deuxième instant, à récupérer la position et les vitesses longitudinale et latérale de chaque piéton mobile (PT, PL) à partir de la fusion des données de détection des moyens de détection et de suivi de piétons (13) et des images captées par la caméra (12) au premier instant déterminé, et à les utiliser comme paramètres dans des équations cinématiques de mouvements rectilignes caractérisant les mouvements des piétons mobiles (PT, PL) et du véhicule (100) entre les premier et deuxièmes instants.
- Procédé selon l’une des revendications précédentes, consistant à mettre en œuvre un réseau de neurones CNN (20) pour le traitement d’images et l’extraction de points d’intérêt visuels déterminés dans les images, couplé à un réseau de neurones LSTM (21) prenant en compte ces points d’intérêt pour prédire si au moins un piéton statique (PS) a l’intention de traverser la voie de circulation (V) dans la zone de danger (ZD).
- Procédé selon la revendication précédente, dans lesquels les points d’intérêts sont des postures de piétons statiques pré-enregistrées traduisant leur intention de traverser une voie de circulation.
- Procédé selon l’une des revendications précédentes, consistant à classifier les piétons statiques (PS) entre des piétons statiques (PS) pertinents et non pertinents ; un piéton statique étant considéré pertinent quand sa position longitudinale est entre une première position correspondant à la positon du véhicule (100) au premier instant et une deuxième position correspondant à la position prédite au deuxième instant déterminé et quand sa position latérale est inférieur à une distance (s), déterminée des bords latéraux de la voie de circulation (V) du véhicule (100).
- Produit programme d’ordinateur comportant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une des revendications 1 à 7.
- Véhicule automobile (100) mettant en œuvre le procédé selon l’une des revendications 1 à 8, caractérisé en ce qu’il comporte un système ADAS (10) comportant une caméra frontale (12), des moyens de détection et de suivi de piétons (13) et un régulateur de vitesse adaptatif (22) ; ledit système ADAS (10) comportant en outre des moyens de commande (14) aptes à commander le régulateur de vitesse adaptatif (22), un premier module de prédiction (18) implémentant des équations cinématiques de mouvements rectilignes et un deuxième module de prédiction (19) comportant un réseau de neurones CNN (20) et un réseau de neurones LSTM (21).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2112884A FR3129905A1 (fr) | 2021-12-03 | 2021-12-03 | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2112884 | 2021-12-03 | ||
| FR2112884A FR3129905A1 (fr) | 2021-12-03 | 2021-12-03 | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3129905A1 true FR3129905A1 (fr) | 2023-06-09 |
Family
ID=80448790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2112884A Pending FR3129905A1 (fr) | 2021-12-03 | 2021-12-03 | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3129905A1 (fr) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210129871A1 (en) * | 2019-11-01 | 2021-05-06 | Honda Motor Co., Ltd. | System and method for future forecasting using action priors |
-
2021
- 2021-12-03 FR FR2112884A patent/FR3129905A1/fr active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210129871A1 (en) * | 2019-11-01 | 2021-05-06 | Honda Motor Co., Ltd. | System and method for future forecasting using action priors |
Non-Patent Citations (1)
| Title |
|---|
| FANG ZHIJIE ET AL: "Is the Pedestrian going to Cross? Answering by 2D Pose Estimation", 2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 26 June 2018 (2018-06-26), pages 1271 - 1276, XP033423312, DOI: 10.1109/IVS.2018.8500413 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6592074B2 (ja) | 車両制御装置、車両制御方法、プログラム、および情報取得装置 | |
| EP2642464B1 (fr) | Procédé de détermination d'information | |
| WO2017194890A1 (fr) | Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol | |
| EP3223098B1 (fr) | Contrôleur, procédé de commande d'entraînement et support d'enregistrement lisible par ordinateur non transitoire mémorisant un programme | |
| CN114074681A (zh) | 基于概率的车道变更决策和运动规划系统及其方法 | |
| FR3048113B1 (fr) | Dispositif et procede d'aide a la conduite d'un vehicule automobile | |
| WO1999020481A1 (fr) | Procede de regulation de la distance entre deux vehicules mobiles | |
| FR3106918A1 (fr) | Procédé et dispositif de reconstruction des voies | |
| EP3630570B1 (fr) | Assistance a la conduite d'un vehicule automobile a l'approche d'une barriere de peage | |
| WO2020193438A1 (fr) | Procédé de commande du positionnement d'un véhicule automobile sur une voie de circulation | |
| WO2022175034A1 (fr) | Procédé d'activation d'un système d'évitement d'obstacle pour véhicule automobile | |
| EP3931056B1 (fr) | Régulation de la vitesse d'un véhicule lors d'un dépassement en virage | |
| FR3129905A1 (fr) | Procédé d’aide à la conduite pour véhicule automobile en présence de piétons. | |
| US11718293B2 (en) | Driver assistance apparatus | |
| WO2018020044A1 (fr) | Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile | |
| FR3098778A1 (fr) | Procédé et dispositif embarqué d’aide à la conduite avec tracé de contour de voie dépassé | |
| EP4146513B1 (fr) | Assistance a la conduite d'un vehicule automobile | |
| FR3080345A1 (fr) | Amelioration de la detection par le suivi d’un vehicule eclaireur | |
| US11462020B2 (en) | Temporal CNN rear impact alert system | |
| FR3125495A1 (fr) | Dispositif et procédé de détection d’une sortie de voie d’un véhicule | |
| FR3080344A1 (fr) | Detection fiabilisee d’un objet par un vehicule | |
| EP4251485A1 (fr) | Procédé et dispositif de détermination d'une ligne virtuelle de délimitation entre deux voies de circulation | |
| EP3931741A1 (fr) | Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées | |
| WO2021122649A1 (fr) | Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome | |
| WO2023214138A1 (fr) | Procédé et dispositif de contrôle d'un système d'aide à la conduite de véhicule en fonction de la détection d'un panneau de signalisation et d'un changement de voie |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230609 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |