FR3119480A1 - Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. - Google Patents
Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. Download PDFInfo
- Publication number
- FR3119480A1 FR3119480A1 FR2101048A FR2101048A FR3119480A1 FR 3119480 A1 FR3119480 A1 FR 3119480A1 FR 2101048 A FR2101048 A FR 2101048A FR 2101048 A FR2101048 A FR 2101048A FR 3119480 A1 FR3119480 A1 FR 3119480A1
- Authority
- FR
- France
- Prior art keywords
- vehicle
- pedestrian
- intention
- cross
- roadway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013145 classification model Methods 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006403 short-term memory Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 241000897276 Termes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
L’invention concerne un procédé et un dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. Le procédé comprend l’obtention (10) d’au moins une donnée contextuelle d’un environnement routier impliquant au moins un piéton dans lequel circule le véhicule et d’au moins une information relative à au moins un piéton ; l’obtention (20) d’au moins une séquence de donnée à partir de ladite au moins une donnée contextuelle et de ladite au moins une information relative à l’identification d’au moins un piéton ; la prédiction (30) de l’intention que ledit au moins un piéton a de traverser la chaussée à partir d’un modèle de classification par apprentissage alimenté en entrée par ladite au moins une séquence de donnée ; et l’adaptation (40) du comportement du véhicule en fonction de l’intention ainsi prédite dudit au moins une piéton de traverser la chaussée. Figure pour l’abrégé : Figure 1
Description
L’invention concerne les procédés et dispositifs de contrôle d’un véhicule, notamment un véhicule autonome, à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule.
Arrière-plan technologique
Le développement des technologies dans le domaine automobile permet aujourd’hui de concevoir des systèmes d’aide à la conduite de véhicules, éventuellement autonomes, qui tiennent compte de l’environnement routier dans lequel circulent ces véhicules. Ces systèmes permettent de contrôler un véhicule de manière plus ou moins autonome.
Pour cela, ces véhicules embarquent des calculateurs qui analysent des données capturées par des systèmes de capteurs embarqués de ces véhicules pour déterminer, notamment, si un piéton a l’intention de traverser les chaussées sur lesquelles circulent ces véhicules.
Déterminer l’intention qu’à un piéton de traverser une chaussée sur laquelle circule un véhicule revient à modéliser le contexte dans lequel le véhicule et le piéton évoluent tout en tenant compte des ressources matérielles embarquées du véhicule. En effet, il est nécessaire que l’intention d’un piéton soit déterminée en temps réel pour laisser un temps de réaction suffisant au conducteur d’un véhicule et/ou à un véhicule autonome pour changer de comportement si nécessaire.
Il est connu des méthodes pour prédire l’intention d’un piéton de traverser une chaussée qui sont basées sur des modèles de classification mettant en œuvre des réseaux de neurones. Ces réseaux de neurones utilisent en entrée des images qui appartiennent à une base de données lors de l’apprentissage ou qui sont capturées par des systèmes de caméras dédiés et embarqués d’un véhicule. Utiliser de telles méthodes implique l’installation de cette ou ces systèmes de caméras dédiées sur le véhicule d’où un surcoût d’équipement. De plus, dans l’hypothèse où des systèmes de caméras embarquées du véhicule seraient adaptés pour produire des images requises en entrée de ces réseaux de neurones, la mise en œuvre de ces méthodes de prédiction de l’intention d’un piéton de traverser une chaussée impliquent de mettre en œuvre des algorithmes de traitement d’images pour extraire, notamment, des caractéristiques requises par ces réseaux de neurones. De tels algorithmes sont très souvent complexes et requiert des ressources de calcul et de mémoire qui ne sont pas adaptées à celles embarquées d’un véhicule.
Prédire qu’un piéton a l’intention (ou pas) de traverser une chaussée sur laquelle circule un véhicule tout en limitant le coût des équipements et les ressources de ce véhicule qui sont nécessaires à la mise en œuvre de cette prédiction est un problème à résoudre.
Un objet de la présente invention est de prédire l’intention d’au moins un piéton de traverser une chaussée sur laquelle circule un véhicule.
Un autre objet de la présente invention est d’améliorer les systèmes d’aide à la conduite existants.
Un autre objet de la présente invention est d’améliorer la sécurité routière de véhicule autonome circulant sur une chaussée.
Selon un premier aspect, l’invention concerne un procédé de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule, comprenant les étapes suivantes :
- obtention d’au moins une donnée contextuelle d’un environnement routier impliquant au moins un piéton dans lequel circule le véhicule et d’au moins une information relative à au moins un piéton ;
- obtention d’au moins une séquence de donnée à partir de ladite au moins une donnée contextuelle et de ladite au moins une information relative à l’identification d’au moins un piéton ;
- prédiction de l’intention que ledit au moins un piéton a de traverser la chaussée à partir d’un modèle de classification par apprentissage alimenté en entrée par ladite au moins une séquence de donnée ; et
- adaptation du comportement du véhicule en fonction de l’intention ainsi prédite dudit au moins une piéton de traverser la chaussée.
- obtention d’au moins une donnée contextuelle d’un environnement routier impliquant au moins un piéton dans lequel circule le véhicule et d’au moins une information relative à au moins un piéton ;
- obtention d’au moins une séquence de donnée à partir de ladite au moins une donnée contextuelle et de ladite au moins une information relative à l’identification d’au moins un piéton ;
- prédiction de l’intention que ledit au moins un piéton a de traverser la chaussée à partir d’un modèle de classification par apprentissage alimenté en entrée par ladite au moins une séquence de donnée ; et
- adaptation du comportement du véhicule en fonction de l’intention ainsi prédite dudit au moins une piéton de traverser la chaussée.
Selon un exemple de réalisation particulier, une information relative à un piéton est une boîté englobant ledit piéton définie dans un repère associé au véhicule.
Selon un exemple de réalisation particulier, ladite au moins une donnée contextuelle est relative à au moins l’une des informations suivantes :
nombre de voies de circulation de la chaussée ;
intersection d’une voie de circulation de la chaussée avec une autre voie de circulation ;
direction du trafic ;
vitesse, tangage, lacet, roulis du véhicule ;
angle du véhicule par rapport à une voie de circulation de la chaussée.
Selon un exemple de réalisation particulier, le modèle de classification est de type réseau de neurones.
Selon un exemple de réalisation particulier, le réseau de neurones est de type LSTM.
Selon un exemple de réalisation particulier, le comportement du véhicule est adapté par commande d’au moins un calculateur du véhicule.
Selon un exemple de réalisation particulier, le procédé comporte en outre une étape d’information d’un conducteur du véhicule de l’intention d’un piéton ainsi prédite de traverser la chaussée.
Selon un deuxième aspect, l’invention concerne un dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule, le dispositif comprenant une mémoire associée à un processeur configuré pour la mise en œuvre des étapes du procédé selon le premier aspect de l’invention.
Selon un troisième aspect, l’invention concerne un véhicule, notamment autonome, par exemple de type automobile, comprenant un dispositif tel que décrit ci-dessus selon le deuxième aspect de l’invention.
Selon un quatrième aspect, l’invention concerne un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé selon le premier aspect de l’invention, ceci notamment lorsque le programme d’ordinateur est exécuté par au moins un processeur.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
Selon un cinquième aspect, l’invention concerne un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon le premier aspect de l’invention.
D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur.
D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Brève description des figures
D’autres caractéristiques et avantages de l’invention ressortiront de la description des modes de réalisation non limitatifs de l’invention ci-après, en référence aux figures 1 à 3 annexées, sur lesquelles :
Un procédé et un dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 3. Des mêmes éléments sont identifiés avec des mêmes signes de référence tout au long de la description qui va suivre.
L’invention porte sur un procédé d’intelligence artificielle pour l’aide à la conduite d’un véhicule éventuellement autonome. Le procédé permet de prédire l’intention d’un piéton de traverser (ou pas) une chaussée sur laquelle circule un véhicule.
Pour ce faire, le procédé utilise des données contextuelles qui sont issues de systèmes de capteurs embarqués du véhicule pour alimenter un réseau de neurones dont l’apprentissage a été préalablement réalisé sur une base de données regroupant des environnements routiers avec au moins un piéton circulant le long de chaussées.
La prédiction de l’intention d’un piéton de traverser ou non une chaussée peut ainsi être obtenue avec des ressources très limitées du véhicule circulant sur cette chaussée. Sa mise en œuvre ne requiert pas l’ajout d’équipements particuliers telles que de nouvelles caméras ou de nouveaux processeurs ou autres calculateurs.
Dans une première étape 10, au moins une donnée contextuelle d’un environnement routier impliquant au moins un piéton dans lequel circule le véhicule et d’au moins une information relative à l’identification d’au moins un piéton sont obtenues.
Dans une deuxième étape 20, au moins une séquence de donnée est obtenue à partir de ladite au moins une donnée contextuelle et de ladite au moins une information relative à l’identification d’au moins un piéton.
Dans une troisième étape 30, l’intention que ledit au moins un piéton a de traverser la chaussée est prédite à partir d’un modèle de classification par apprentissage alimenté en entrée par ladite au moins une séquence de donnée.
Par exemple, une information binaire peut valoir 0 pour indiquer qu’un piéton n’a pas l’intention de traverser la chaussée et 1 pour indiquer que le piéton a l’intention de traverser. Le modèle de classification fournira alors une information binaire pour chaque piéton identifié par les informations .
Dans une quatrième étape 40, le comportement du véhicule est adapté en fonction de l’intention ainsi prédite dudit au moins un piéton de traverser la chaussée.
Lorsqu’une intention d’un piéton de traverser une chaussée est prédite à l’étape 30, au moins une commande peut être envoyée à au moins un calculateur embarqué du véhicule pour adapter le comportement du véhicule selon l’intention du piéton de traverser la chaussée. Ledit au moins un calculateur assurant une ou plusieurs fonctions telles que par exemple la gestion de l’aide à la conduite, dite ADAS (de l’anglais « Advanced Driver-Assistance System » ou en français « Système d’aide à la conduite avancé »), de l’antipatinage, de la répartition électronique du freinage, ou encore la commande d’actionneurs pour assurer le fonctionnement optimal du moteur du véhicule. Cette commande peut se présenter sous la forme d’une consigne de vitesse par exemple ou encore comme une commande de freinage d’urgence.
Selon un exemple de réalisation particulier, le procédé comporte en outre une cinquième étape 50 d’information du conducteur du véhicule de l’intention ainsi prédite d’un piéton de traverser la chaussée.
Selon un exemple de réalisation particulier de l’étape 10, au moins une des données contextuelles est relative à l’une des informations suivantes :
- nombre de voies de circulation de la chaussée ;
- intersection d’une voie de circulation de la chaussée avec une autre voie de circulation ;
- direction du trafic ;
- vitesse, tangage, lacet, roulis du véhicule ;
- angle du véhicule par rapport à une voie de circulation de la chaussée.
Ce dernier exemple de réalisation particulier est avantageux car les données contextuelles sont à la fois disponibles à partir de systèmes de capteurs équipant classiquement un véhicule et sont présentes dans la base de données PIE (Pedestrian Intention Estimation en anglais) défini par l’article de Amir Rasouli et al. (Amir Rasouli, Iuliia Kotseruba, Toni Kunic, and John K. Tsotsos. Pie: A large-scale dataset and models for pedestrian intention estimation and trajectory prediction. In International Conference on Computer Vision (ICCV), 2019), utilisée pour l’apprentissage du modèle de classification.
Selon une variante, au moins une des données contextuelles est relative à l’une des informations suivantes :
- signalisation le long de la chaussée tels que la présence de passage piéton, de feux de circulation ou encore la présence d’une intersection ;
- voie de circulation à sens unique ou à double sens.
Par exemple, le nombre de voies de circulation de la chaussée ou encore l’angle du véhicule par rapport à une voie de circulation de la chaussée peuvent être obtenus à partir de marquage au sol détectés par analyse d’images capturées par le véhicule. La mise en œuvre d’un détecteur de marquage au sol requiert des moyens embarqués d’un véhicule tel qu’un système de caméras, un processeur/calculateur et des mémoires. L’intersection d’une voie de circulation de la chaussée avec une autre voie de circulation, la direction du trafic, la signalisation le long de la chaussée tels que la présence de passage piéton, de feux de circulation ou encore la présence d’une intersection ou encore une voie de circulation à sens unique ou à double sens, peuvent être obtenus à partir de systèmes de navigation embarqués du véhicule et/ou à partir de données cartographiques. Les vitesse, tangage, lacet, roulis d’un véhicule peuvent être obtenus par des systèmes de capteurs classiquement embarqués d’un véhicule tels que des systèmes de capteur LIDAR (en anglais Light detection and ranging) et des gyroscopes par exemple.
Selon un exemple de réalisation de l’étape 10, une information relative à l’identification d’un piéton est une boîte englobante définie dans un repère associé au véhicule.
Selon un exemple de réalisation de l’étape 10, une information relative à l’identification d’un piéton sont des coordonnées et le centre d’une boîte englobante définis dans un repère associé au véhicule.
Par exemple, les coordonnées d’une boîte englobante sont obtenues par détection de piéton dans des images. Des algorithmes de détection d’objets, largement connus de l’état de l’art sont utilisés. Ces algorithmes sont mis en œuvre par des équipements standard d’une véhicule. On peut citer, par exemple, l’algorithme de Redmon et al. (Joseph Redmon, Santosh Kumar Divvala, Ross B. Girshick, and Ali Farhadi. You only look once: Unified, real-time object detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 779–788, 2016). On peut citer aussi celui de Fang et al. (Hao-Shu Fang, Shuqin Xie, Yu-Wing Tai, and Cewu Lu. Rmpe : Regional multi-person pose estimation. 2017 IEEE International Conference on Computer Vision (ICCV), Oct 2017).
Selon un exemple de réalisation particulier de l’étape 30, le modèle de classification par apprentissage est de type réseau neuronal.
Selon un exemple de réalisation particulier de l’étape 30, le réseau de neurones est de type LSTM (Long Short Term Memory) (Sepp Hochreiter et Jürgen Schmidhuber, Long short-term memory". Neural Computation. 9 (8): 1735 1780.doi:10.1162/neco.1997.9.8. 1735. PMID 9377276).
Un réseau de neurones de type LSTM est constitué de cellules (neurones) interconnectées interagissant non-linéairement. La sortie d'une cellule est une combinaison non linéaire de ses entrées. Le réseau de neurones de type LSTM selon l’invention est prévu pour prédire temporellement l’intention d’au moins un piéton de traverser une chaussée sur laquelle circule un véhicule.
L'idée associée à un réseau de neurones à mémoire court terme et long terme est que chaque cellule est liée à deux états internes ; l’un dit état caché ( ) et l’autre dit état de la cellule ( ) qui joue le rôle de mémoire. Le passage d’un état d’entrée d’une cellule à un instant temporel (t-1) à un état de sortie à un instant temporel suivant t se fait par transfert à gain constant et égal à 1. De cette façon les erreurs se propagent aux pas antérieurs (jusqu'à 1 000 étapes dans le passé) sans phénomène de disparition de gradient. L'état de la cellule peut être modifié à travers une porte qui autorise ou bloque la mise à jour (input gate ). De même une porte contrôle si l'état de cellule est communiqué en sortie de la cellule (output gate ). Les cellules peuvent aussi utiliser une porte permettant la remise à zéro de l'état de la cellule (forget gate ).
Selon un exemple, en considérant les valeurs initiales suivantes : et , et en considérant une fonction d’activation de ces cellules de type sigmoïde et tangente hyperbolique , les états des portes de remise à zéro, de sortie et de mise à jour ainsi que les états caché, de la cellule et de sortie sont donnés par :
dans lesquelles o est un opérateur symbolisant le produit matriciel de Hadamard (produit terme à terme) et , , , sont des poids (paramètres) et sont des valeurs de décalages (paramètres).
En variante, d’autres fonctions peuvent être utilisées.
Selon l’invention, le réseau de neurones est un réseau de type « séquence à séquence » (en anglais sequence-to-sequence) : l’entrée de ce réseau de neurones est alimentée par une séquence SDC temporelle. Par ailleurs, la sortie de ce réseau de neurones est une séquence temporelle SIP de valeurs discrètes indiquant l’intention d’au moins un piéton de traverser la chaussée sur laquelle circule le véhicule. Par exemple, une valeur discrète d’une séquence temporelle SIP est une valeur binaire qui peut valoir 0 pour indiquer qu’un piéton n’a pas l’intention de traverser la chaussée et 1 pour indiquer que le piéton a l’intention de traverser. Le modèle de classification fournit alors une séquence temporelle SIP de valeur binaire, chaque valeur binaire étant associée à un piéton identifié par les informations en entrée du réseau de neurones.
Lors de l’apprentissage, le réseau de neurones apprend à produire une prédiction temporelle d’intention d’au moins un piéton de traverser une chaussée à partir, d’une part, de données contextuelles d’environnement routier impliquant au moins un piéton, et, d’autre part, d’information relative à l’identification dudit au moins un piéton. Ces données contextuelles et d’information relative à l’identification de piéton sont issues d’une base de données volumineuses, comprenant de nombreuses données contextuelles d’environnement routier impliquant au moins un piéton. Cette base de données peut être la base de données PIE.
D’autres bases de données peuvent être utilisées dont, par exemple, JAAD (en anglais Joint Attention in Autonomous Driving) définie par Kotseruba et al. (Iuliia Kotseruba, Amir Rasouli, and John K Tsotsos. Joint attention in autonomous driving (jaad). arXiv preprint arXiv :1609.04741, 2016).
Un algorithme d’apprentissage classique de réseau de neurones est alors utilisé pour l’apprentissage. Le principe de cet algorithme d’apprentissage est que le réseau de neurones apprend les valeurs des paramètres des cellules par rétropropagation du gradient de l’erreur c’est-à-dire que l’algorithme calcule progressivement les valeurs des paramètres de manière à minimiser une fonction de coût pour chacune des cellules à mémoire court terme et long terme en partant des sorties du réseau de neurones.
Selon un exemple de réalisation particulier, la fonction de coût est une fonction de précision donnée par :
Selon un exemple de réalisation particulier la fonction de coût est une fonction de type F1 donnée par :
Cette fonction de coût peut être minimisée en utilisant un algorithme classique de descente de gradient tel que l’algorithme supervisé ADAM de descente de gradient (Kingma & Ba (2015) Adam: A Method for Stochastic Optimization. Proceedings of the International Conference for Learning Representations, San Diego (ICLR)).
Lors de la phase d’inférence, le réseau de neurones est identique au réseau de neurones en phase d’apprentissage, excepté que l’entrée du réseau de neurones n’est plus alimentée par une séquence temporelle d’une base de données mais par une séquence SDC formée par des données contextuelles et d’au moins une information relative à l’identification d’au moins un piéton issues de systèmes de capteurs embarqués du véhicule. Le réseau de neurones est alors capable de reproduire une prédiction temporelle de l’intention dudit au moins une piéton de traverser la chaussée.
Selon une variante, le réseau de neurones de type LSTM comporte une seule cellule et n’utilise en entrée que des coordonnées de boîtes englobantes. Le modèle de classification ainsi obtenu produit des résultats similaires aux jeux de données fournis par la base de données PIE.
En variante, le réseau de neurones de type LSTM comporte plusieurs cellules.
Le dispositif 300 est par exemple configuré pour la mise en œuvre d’au moins une des étapes du procédé décrit en regard de la . Des exemples d’un tel dispositif 300 comprennent, sans y être limités, un équipement électronique embarqué tel qu’un ordinateur de bord d’un véhicule, un calculateur électronique tel qu’une UCE (« Unité de Commande Electronique »), un téléphone intelligent (de l’anglais « smartphone »), une tablette, un ordinateur portable. Les éléments du dispositif 300, individuellement ou en combinaison, peuvent être intégrés dans un unique circuit intégré, dans plusieurs circuits intégrés, et/ou dans des composants discrets. Le dispositif 300 peut être réalisé sous la forme de circuits électroniques ou de modules logiciels (ou informatiques) ou encore d’une combinaison de circuits électroniques et de modules logiciels. Selon différents modes de réalisation particuliers, le dispositif 300 est couplé en communication avec d’autres dispositifs ou systèmes similaires, par exemple par l’intermédiaire d’un bus de communication ou au travers de ports d’entrée / sortie dédiés.
Le dispositif 300 comprend un (ou plusieurs) processeur(s) 301 configurés pour exécuter des instructions pour la réalisation des étapes du procédé et/ou pour l’exécution des instructions du ou des logiciels embarqués dans le dispositif 300. Le processeur 310 peut inclure de la mémoire intégrée, une interface d’entrée/sortie, et différents circuits connus de l’homme du métier. Le dispositif 300 comprend en outre au moins une mémoire 302 correspondant par exemple à une mémoire volatile et/ou non volatile et/ou comprend un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique.
Le code informatique du ou des logiciels embarqués comprenant les instructions à charger et exécuter par le processeur est par exemple stocké sur la mémoire 302.
Selon un mode de réalisation particulier et non limitatif, le dispositif 300 comprend un bloc 303 d’éléments d’interface pour communiquer avec des dispositifs externes ou encore un serveur distant ou un équipement embarqué dans un autre véhicule tels que, par exemple, des capteurs, des systèmes de navigation et/ou d’aide à la conduite, ou encore un lecteur de communication en champ proche ou un récepteur radio. Les éléments d’interface du bloc 303 comprennent une ou plusieurs des interfaces suivantes :
- interface radiofréquence RF, par exemple de type Bluetooth® ou Wi-Fi®, LTE (de l’anglais « Long-Term Evolution » ou en français « Evolution à long terme »), LTE-Advanced (ou en français LTE-avancé) ;
- interface USB (de l’anglais « Universal Serial Bus » ou « Bus Universel en Série » en français) ;
- interface HDMI (de l’anglais « High Definition Multimedia Interface », ou « Interface Multimedia Haute Definition » en français) ;
- interface LIN (de l’anglais « Local Interconnect Network », ou en français « Réseau interconnecté local »).
Selon une variante, le dispositif 300 comprend une interface de communication 304 qui permet d’établir une communication avec d’autres dispositifs via un canal de communication 305. L’interface de communication 304 correspond par exemple à un transmetteur configuré pour transmettre et recevoir des informations et/ou des données via le canal de communication 305 tels que des évènements extérieurs pris en considération par le dispositif 300 pour la mise e œuvre du procédé de la . L’interface 304 peut alors communiquer avec un voire plusieurs calculateurs assurant chacun une ou plusieurs fonctions, telles que par exemple la gestion de l’aide à la conduite, dite ADAS (de l’anglais « Advanced Driver-Assistance System » ou en français « Système d’aide à la conduite avancé »), de l’antipatinage, de la répartition électronique du freinage, ou encore la commande d’actionneurs pour assurer le fonctionnement optimal du moteur du véhicule. Ces calculateurs sont aussi appelés UCE (« Unité de Commande Electronique » ou en anglais ECU « Electronic Control Unit »). Ces calculateurs embarquent des logiciels qui sont exécutés pour assurer les fonctions dont ils ont la charge. Une commande peut alors être envoyée à l’un de ces calculateurs pour adapter le comportement du véhicule à la prédiction d’intention d’un piéton de traverser la chaussée. L’interface de communication 304 correspond par exemple à un réseau filaire de type CAN (de l’anglais « Controller Area Network » ou en français « Réseau de contrôleurs »), CAN FD (de l’anglais « Controller Area Network Flexible Data-Rate » ou en français « Réseau de contrôleurs à débit de données flexible »), FlexRay (selon la norme ISO 17458) ou Ethernet (selon la norme ISO/IEC 802.3).
Selon un mode de réalisation particulier supplémentaire, le dispositif 300 peut fournir des signaux de sortie à un ou plusieurs dispositifs externes, tels qu’un écran d’affichage, un ou des haut-parleurs et/ou d’autres périphériques via respectivement des interfaces de sortie non représentées. Ces signaux de sortie peuvent, par exemple, être générés suite à un évènement extérieur pris en considération par le dispositif 300 pour la mise e œuvre du procédé de la . Par exemple, suite à une intention d’un piéton de traverser la chaussée. Ces signaux de sortie préviennent alors le conducteur du véhicule de manière sonore et/ou visuelle.
L’invention concerne également un véhicule, par exemple automobile ou plus généralement un véhicule à moteur terrestre, comprenant le dispositif 300 de la .
Bien entendu, l’invention ne se limite pas aux modes de réalisation décrits ci-avant mais s’étend à des procédés qui utilisent un autre modèle de classification que les réseaux de neurones de type LSTM, tels que par exemple les modèles XGBoost (Tianqi Chen and Carlos Guestrin. Xgboost. Proceedings of Conference on Knowledge Discovery and Data Mining, Aug URL http://dx.doi.org/10.1145/2939672.2939785.)ou GRU (en anglais Gated Recurrent Unit), ainsi qu’aux dispositifs configurés pour la mise en œuvre de tels procédés.
L’invention concerne également un véhicule, par exemple automobile ou plus généralement un véhicule autonome à moteur terrestre, comprenant le dispositif 300 de la .
Claims (10)
- Procédé de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule, comprenant les étapes suivantes :
- obtention (10) d’au moins une donnée contextuelle d’un environnement routier impliquant au moins un piéton dans lequel circule le véhicule et d’au moins une information relative à au moins un piéton ;
- obtention (20) d’au moins une séquence de donnée à partir de ladite au moins une donnée contextuelle et de ladite au moins une information relative à l’identification d’au moins un piéton ;
- prédiction (30) de l’intention que ledit au moins un piéton a de traverser la chaussée à partir d’un modèle de classification par apprentissage alimenté en entrée par ladite au moins une séquence de donnée ; et
- adaptation (40) du comportement du véhicule en fonction de l’intention ainsi prédite dudit au moins une piéton de traverser la chaussée. - Procédé selon la revendication 1, pour lequel une information relative à un piéton est une boîté englobant ledit piéton définie dans un repère associé au véhicule.
- Procédé selon la revendication 1 ou 2, pour lequel ladite au moins une donnée contextuelle est relative à au moins l’une des informations suivantes :
nombre de voies de circulation de la chaussée ;
intersection d’une voie de circulation de la chaussée avec une autre voie de circulation ;
direction du trafic ;
vitesse, tangage, lacet, roulis du véhicule ;
angle du véhicule par rapport à une voie de circulation de la chaussée. - Procédé selon l’une des revendications 1 à 3, pour lequel le modèle de classification est de type réseau de neurones.
- Procédé selon la revendication 4, pour lequel le réseau de neurones est de type LSTM.
- Procédé selon l’une des revendications 1 à 5, pour lequel le comportement du véhicule est adapté par commande d’au moins un calculateur du véhicule.
- Procédé selon l’une des revendications 1 à 6, qui comporte en outre une étape (50) d’information d’un conducteur du véhicule de l’intention d’un piéton ainsi prédite de traverser la chaussée.
- Programme d’ordinateur comportant des instructions pour la mise en œuvre du procédé selon l’une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un processeur.
- Dispositif (300) de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule, ledit dispositif (300) comprenant une mémoire (301) associée à au moins un processeur (300) configuré pour la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 1 à 7.
- Véhicule comprenant le dispositif (300) selon la revendication 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2101048A FR3119480A1 (fr) | 2021-02-04 | 2021-02-04 | Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2101048A FR3119480A1 (fr) | 2021-02-04 | 2021-02-04 | Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. |
FR2101048 | 2021-02-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3119480A1 true FR3119480A1 (fr) | 2022-08-05 |
Family
ID=74871684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2101048A Withdrawn FR3119480A1 (fr) | 2021-02-04 | 2021-02-04 | Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3119480A1 (fr) |
-
2021
- 2021-02-04 FR FR2101048A patent/FR3119480A1/fr not_active Withdrawn
Non-Patent Citations (8)
Title |
---|
AMIR RASOULI ET AL.: "Amir Rasouli, Iuliia Kotseruba, Toni Kunic, and John K. Tsotsos. Pie: A large-scale dataset and models for pedestrian intention estimation and trajectory prediction", INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 2019 |
AMIR RASOULI ET AL: "Pedestrian Action Anticipation using Contextual Feature Fusion in Stacked RNNs", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 13 May 2020 (2020-05-13), XP081673372 * |
HAO-SHU FANGSHUQIN XIEYU- WING TAICEWU LU: "Rmpe : Régional multi-person pose estimation", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), October 2017 (2017-10-01) |
IULIIA KOTSERUBAAMIR RASOULIJOHN K TSOTSOS: "Joint attention in autonomous driving (jaad)", ARXIV PREPRINT ARXIV :1609.04741, 2016 |
JOSEPH REDMONSANTOSH KUMAR DIVVALAROSS B. GIRSHICKALI FARHADI: "You only look once: Unified, real-time object detection", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2016, pages 779 - 788, XP033021255, DOI: 10.1109/CVPR.2016.91 |
KINGMABA: "Adam: A Methodfor Stochastic Optimization", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE FOR LEARNING REPRESENTATIONS, 2015 |
SEPP HOCHREITERJIIRGEN SCHMIDHUBER: "Long short-term memory", NEURAL COMPUTATION, vol. 9, no. 8, pages 1735 |
TIANQI CHENCARLOS GUESTRIN: "Xgboost", PROCEEDINGS OF CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, Retrieved from the Internet <URL:http://dx.doi.org/10.1145/2939672.2939785> |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
FR3119480A1 (fr) | Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction de l’intention d’un piéton de traverser une chaussée sur laquelle circule ledit véhicule. | |
US20220284611A1 (en) | Range detection using machine learning combined with camera focus | |
FR3106108A1 (fr) | Procédé et dispositif de détermination de trajectoire d’une route | |
EP2489548B1 (fr) | Procédé et dispositif de commande de commutation du système d'éclairage avant adaptatif d'un véhicule automobile | |
FR3119817A1 (fr) | Procédé et dispositif de détermination d’une trajectoire pour un véhicule autonome | |
FR3106553A1 (fr) | Procédé et dispositif de traitement de données d’environnement de véhicule | |
FR3107114A1 (fr) | Procédé et dispositif de validation de données de cartographie d’un environnement routier de véhicule | |
FR3080177A1 (fr) | Securisation d’une cartographie de conduite autonome | |
FR3125151A1 (fr) | Procédé et dispositif de contrôle d’un véhicule à partir d’une prédiction d’intention d’un piéton de traverser une route | |
EP4090565B1 (fr) | Procédé et dispositif de contrôle d'un vehicule | |
FR3117079A1 (fr) | Procédé et dispositif de prédiction de changement de voie de circulation d’un véhicule circulant sur une route | |
FR3124149A1 (fr) | Procédé et dispositif d’aide à la conduite d’un véhicule autonome. | |
FR3128177A1 (fr) | Procédé et dispositif de prédiction d’un changement de voie de circulation pour véhicule | |
FR3135814A1 (fr) | Procédé et dispositif de contrôle d’un système de régulation de vitesse d’un véhicule en approche d’un élément de signalisation routière | |
FR3105961A1 (fr) | Procédé et dispositif de détermination d’un indicateur de changement de voie pour véhicule | |
FR3133357A1 (fr) | Procédé et dispositif de contrôle d’un véhicule autonome utilisant des informations de localisation d’au moins un dispositif de communication mobile | |
FR3127165A1 (fr) | Procédé et dispositif d’aide à la conduite en réalité augmentée | |
WO2023089258A1 (fr) | Procédé de régulation de vitesse d'un véhicule à partir d'un objet cible | |
FR3127187A1 (fr) | Procédé et dispositif de contrôle d’un système d’adaptation intelligente de vitesse | |
FR3133814A1 (fr) | Procédé et dispositif de contrôle d’un véhicule autonome sur la base de la localisation d’un dispositif de communication mobile sur le chemin du véhicule autonome | |
FR3136430A1 (fr) | Procédé et dispositif de contrôle d’un système de régulation adaptative de vitesse d’un véhicule | |
FR3138401A1 (fr) | Procédé et dispositif de contrôle de système d’aide à la conduite d’un véhicule en fonction d’un niveau de performance des pneumatiques | |
FR3130228A1 (fr) | Procédé et dispositif de contrôle d’un système de changement de voie automatique | |
FR3121110A1 (fr) | Procédé et système de contrôle d’une pluralité de systèmes d’aide à la conduite embarqués dans un véhicule | |
FR3136882A1 (fr) | Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20220805 |
|
ST | Notification of lapse |
Effective date: 20231005 |