FR3105511A1

FR3105511A1 - Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome

Info

Publication number: FR3105511A1
Application number: FR1915144A
Authority: FR
Inventors: Fabrice Gautier
Original assignee: Alcom Tech; Alcom Technologies
Current assignee: Alcom Tech; Alcom Technologies
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2021-06-25
Also published as: WO2021122649A1

Abstract

Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome Procédé de reconnaissance automatique de signalisations routières (200) mis en œuvre par un véhicule autonome (100), équipé d’un capteur d’image (10), et comprenant : une étape (600) d’observation de l’environnement du véhicule par le capteur d’image, pour l’acquisition d’images (500) instantanées ; une étape (720) de prédiction en temps réel d’un attribut relatif à une prochaine signalisation (200) sur un trajet du véhicule à partir d’une image (500) de ladite signalisation ; une étape (710) de détection en temps réel de la signalisation sur l’image, permettant de délimiter sur ladite image une zone utile (550) entourant ladite signalisation, ladite zone utile définissant une nouvelle image de taille inférieure ; et une étape (725) de prédiction en temps réel de l’attribut relatif à la signalisation à partir de la nouvelle image ; le procédé comprenant en outre une étape (650) de prétraitement de l’image (500) pour estimer un emplacement théorique de la signalisation (200) dans ladite image à partir de la position géographique de ladite signalisation et de la position instantanée du véhicule fournie par un système de positionnement par satellite. Figure pour l’abrégé : figure 10

Description

Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome

La présente invention appartient au domaine général des systèmes automatiques de transport, notamment des véhicules autonomes, et concerne plus particulièrement un procédé de reconnaissance automatique de signalisation routière, telle que l’état d’un feu tricolore, pour véhicule autonome de type navette de transport en commun.

La présente invention appartient également au domaine de l’intelligence artificielle et plus spécifiquement de l’apprentissage automatique, de l’aide à la décision et du raisonnement dans l’incertain.

Etat de l’art

Un véhicule autonome est un véhicule capable de se déplacer de manière partiellement ou totalement autonome, et connecté à l’infrastructure routière, à d’autres véhicules et/ou aux autres usagers de la route à l’aide de moyens de communication sans-fil.

Le concept de véhicule autonome ne fait plus mystère de nos jours en raison de la surmédiatisation de certaines réalisations et des enjeux environnementaux liés à l’utilisation de la propulsion électrique dans ce type de véhicules.

Cependant, le développement des véhicules autonomes, qui laisse entendre une révolution dans le domaine des transports et de la mobilité, a débuté il y a presque un demi-siècle avec les premières tentatives isolées datant des années 1970, succédant à l’émergence des systèmes intelligents dans les années 1960. Depuis, de grandes avancées ont été accomplies soutenues, dans les pays industrialisés, par des politiques de transport en faveur de la sécurité routière, du progrès technologique et en prévision de la baisse des ressources pétrolières.

L’avènement des véhicules autonomes, en particulier dans les transports en commun, suscite un réel intérêt au vu des statistiques en termes d’accidentologie qui imputent plus de 90% les accidents de la route à des erreurs humaines, les transports en commun se doivent d’être les plus surs possibles en raison du nombre important de voyageurs concernés.

Ainsi, avec un temps de réaction extrêmement bref et une plus grande fiabilité des systèmes informatisés, les véhicules autonomes permettraient de réduire drastiquement le nombre d’accidents de la route.

En règle générale, les véhicules autonomes sont équipés d’une pluralité de capteurs numériques (caméras, radars, sonars, lidars, centrales inertielles, etc.) et de modules de communication sans-fil, de géolocalisation, et autres, dont les données sont traitées par des processeurs et des logiciels spécifiques. Grâce à des algorithmes de fusion de données (fusion multicapteur), ces logiciels reconstituent l’environnement et la situation routière 3D par reconnaissance de formes (limites de chaussées, de voies, de véhicules, d'obstacles, de panneaux) et emploient des algorithmes d'intelligence artificielle pour décider de l'action à réaliser sur les commandes du véhicule. Les actions décidées par logiciel sont réalisées par servocommandes sur le volant, l'accélérateur, le frein et diverses interfaces permettant l'engagement et le désengagement du mode conduite automatique.

La notion d’autonomie reste néanmoins relative et peut correspondre à des degrés allant de la simple aide à la conduite automatisée, auquel cas les véhicules sont dits «semi-autonomes», à l’autonomie totale qui ne nécessite aucune intervention humaine.

Parmi les défis actuels des véhicules autonome, on s’intéresse particulièrement à la reconnaissance des feux de circulation.

Actuellement, les véhicules autonomes reconnaissent les feux de circulation et leurs états au moyen de caméras embarquées et/ou d’une communication radio. Dans ce dernier cas, les feux de circulation émettent un signal radio, contenant l’information de leur état (rouge, orange ou vert), qui est reçu par les véhicules autonomes qui s’en approchent. Cela reste problématique dans une intersection car le véhicule s’y trouvant reçoit plusieurs signaux concomitamment, ce qui nécessite un traitement lourd et complexe pour démêler les signaux, avec un risque d’erreur.

Le brevet américain US9990548B2, au nom deUber Technologies Inc., décrit un système d'analyse de feux de circulation apte à recevoir des données d'image d'une ou de plusieurs caméras d'un véhicule autonome, où les données d'image comprennent un système de signalisation routière situé à une intersection. Le système d'analyse des feux de circulation peut déterminer une action de passage pour le véhicule autonome à travers l'intersection, et accéder à une carte de signalisation correspondante qui comprend des informations caractéristiques indiquant les propriétés du système de signalisation de la circulation. Sur la base des informations caractéristiques et des données d'image, le système d'analyse des feux de signalisation peut identifier un état du système de signalisation routière pour l'action de passage, et générer une sortie pour le véhicule autonome indiquant l'état du système de signalisation routière pour l'action de passage.

Aucune solution, à la connaissance du demandeur, ne propose un traitement rapide, efficace et précis de la composante «feux de circulation» dans un véhicule autonome, avec des moyens de calcul raisonnables et une implémentation judicieuse d’algorithmes d’intelligence artificielle.

Présentation de l’invention

La présente invention vise à pallier les inconvénients de l’art antérieur ci-dessus exposés.

À cet effet, la présente invention a pour objet un procédé de reconnaissance automatique de signalisations routières mis en œuvre par un véhicule autonome, équipé d’un capteur d’image, et comprenant: une étape d’observation de l’environnement du véhicule par la caméra, pour l’acquisition d’images instantanées; une étape de prédiction en temps réel d’un attribut relatif à une prochaine signalisation sur un trajet du véhicule à partir d’une image de ladite signalisation; une étape de détection de la signalisation sur l’image, permettant de délimiter sur ladite image une zone utile entourant ladite signalisation, ladite zone utile définissant une nouvelle image de taille inférieure; et une étape de prédiction de l’attribut relatif à la signalisation à partir de ladite nouvelle image. Ce procédé est remarquable en ce qu’il comprend une étape de prétraitement de l’image pour estimer un emplacement théorique de la signalisation dans ladite image à partir de la position géographique de ladite signalisation et de la position instantanée du véhicule fournie par un système de positionnement par satellite, et en ce que les étapes de prédiction sont exécutées par des réseaux de neurones artificiels, mettant en œuvre une technique d’apprentissage automatique, embarqués dans un calculateur central du véhicule autonome.

Avantageusement, l’étape de détection est également exécutée par un réseau de neurones artificiels mettant en œuvre une technique d’apprentissage automatique embarqué dans le calculateur central.

Selon un aspect avantageux de l’invention, l’estimation de l’emplacement théorique de la signalisation dans l’image est obtenue par un calcul de géométrie projective combiné à un calcul cinématique.

Le procédé de reconnaissance automatique de signalisations routières comprend en outre une étape de recommandation permettant au véhicule autonome de prendre une décision en fonction des prédictions obtenues aux étapes de prédiction, cette étape de recommandation étant basée sur une matrice de recommandation.

Selon un mode de réalisation, le système de positionnement par satellite comprend un récepteur GPS.

Selon un mode de réalisation, le capteur d’image est une caméra installée sur le véhicule autonome à une hauteur H du sol et avec un axe de visée incliné par rapport à un axe longitudinal médian dudit véhicule, de 45° par exemple.

De préférence, au moins une technique d’apprentissage automatique mise en œuvre par un réseau de neurones artificiels est une technique d’apprentissage profond.

Par exemple, les signalisations routières sont des feux de circulation, pour lesquels l’attribut correspond à leur état, ou couleur (Vert – Orange – Rouge).

La présente invention a également pour objet un véhicule autonome, tel qu’une navette de transport en commun, comportant un capteur d’image et un calculateur central, et mettant en œuvre un procédé de reconnaissance automatique de signalisations routières reprenant une ou plusieurs caractéristiques citées supra.

Les concepts fondamentaux de l’invention venant d’être exposés ci-dessus dans leur forme la plus élémentaire, d’autres détails et caractéristiques ressortiront plus clairement à la lecture de la description qui suit et en regard des dessins annexés, donnant à titre d’exemple non limitatif un mode de réalisation d’un procédé de reconnaissance de signalisations routières conforme aux principes de l’invention.

Présentation des dessins

Les figures annexées sont données à titre purement illustratif pour l’intelligence de l’invention et ne limitent aucunement la portée de celle-ci. Sur l’ensemble des figures, les éléments identiques ou équivalents portent la même référence numérique.

Il est ainsi illustré en :

: une vue droite schématique d’une navette autonome équipée d’un capteur d’image pour la mise en œuvre du procédé de reconnaissance de signalisations routières selon l’invention;

: une vue de face de la navette autonome de la figure 1;

: une vue de dessus de la navette autonome de la figure 1;

: une vue schématique de la navette autonome s’approchant d’un feu de circulation;

: les principales étapes du procédé de reconnaissance selon un mode de réalisation de l’invention sans prétraitement GPS;

: un schéma de principe du procédé de la figure 5;

: un exemple d’image entière captée par la caméra embarquée de la navette autonome;

: une zone utile contenant le feu tricolore isolée de l’image de la figure 7;

: une vue schématique de la navette autonome s’approchant d’un feu de circulation en étant derrière un obstacle entravant la visibilité du feu;

: les principales étapes du procédé de reconnaissance selon un mode de réalisation préféré de l’invention;

: un schéma de principe du procédé de la figure 10;

: un exemple d’image avec l’emplacement théorique du feu masqué par un obstacle;

: la position de la navette et l’image correspondante à un instant donné;

: la position de la navette et l’image correspondante à un instant ultérieur;

: un schéma du principe de calcul des positions théoriques des feux par géométrie projective;

: un exemple simplifié de circuit emprunté par la navette autonome.

Description détaillée de modes de réalisation

Dans le mode de réalisation décrit ci-après, on fait référence à un procédé de reconnaissance, par intelligence artificielle, de l’état d’un feu de circulation routière destiné principalement à la navigation de navettes autonomes. Cet exemple non limitatif est donné pour une meilleure compréhension de l’invention et n’exclut pas la mise en œuvre du procédé pour la reconnaissance de toute autre signalisation par un véhicule autonome dans différents contextes de mobilité (trafic routier, robots d’acheminement sur site industriel, etc.).

Dans la suite de la description l’expression «navette autonome» désigne un véhicule autonome, c’est-à-dire capable de prendre des décisions, de type minibus effectuant régulièrement un même trajet ou itinéraire; et le terme «feu» désigne un feu de circulation routière. Il convient de rappeler au préalable que les feux sont généralement déclinés à partir de deux couleurs de base: le rouge pour l’arrêt et le vert pour la circulation, le jaune-orangé est également utilisé comme feu de transition pour marquer le passage imminent du feu vert au feu rouge, et l’inverse dans certains pays. Ce dernier cas ne sera pas considéré, et la consigne liée au feu jaune-orangé sera la même que celle du feu rouge, à savoir l’arrêt du véhicule.

La figure 1 représente une navette autonome 100 adaptée à la mise en œuvre du procédé de reconnaissance selon l’invention, autrement dit, équipée des moyens de calcul, de traitement et de communication en temps réel nécessaires à l’exploitation de données provenant d’un capteur d’image 10 installé sur ladite navette. Une telle navette autonome est connue dans l’art.

La navette autonome 100 dispose donc d’un calculateur embarqué, non représenté, sous forme d’unités de traitement spécifiques implémentant des algorithmes d’intelligence artificielle pour la mise en œuvre du procédé de reconnaissance en temps réel. De préférence, les algorithmes d’intelligence artificielle présentent une architecture en réseau de neurones artificiels pour la mise en œuvre de techniques d’apprentissage profond, et les unités de traitement spécifiques sont à base de processeurs multicœurs.

Le capteur d’image 10 permet l’acquisition d’images de l’environnement de la navette autonome 100 en vue de détecter la présence d’un feu et de reconnaitre son état.

Par exemple, le capteur d’image 10, tel que représenté sur le détail de la figure 1, est une caméra industrielle compacte, commercialisée par la sociétéIDS Imaging Development Systems GmbH, de résolution 2448*2048, comprenant un capteur CMOS (Complementary Metal Oxide Semi-Conductor) de taille 2/3’’, un obturateur de type «Global Shutter», et présentant un flux vidéo de 24 images par seconde, une monture C et une interface selon la norme GigE avec alimentation électrique par câble Ethernet (POE). Cette caméra comporte en outre un stabilisateur d’image mécanique fixé à la navette autonome 100, un câble de raccordement RJ45 de catégorie 5e ou 6 (RJ connecteur à visser / RJ45), un switch POE (réseau + alimentation de la caméra), et un modem 4G équipé d’un GPS RTK permettant de connaitre précisément la position de la navette autonome (+/-2m) et de transmettre un flux vidéo dégradé (10 images de 720*576 pixels par seconde).

En référence aux figures 2 et 3, la caméra 10 est fixée à l’intersection entre la face avant et le côté droit de la navette autonome 100 lorsque la conduite est à droite, suivant le sens de la marche avant de la navette indiqué par la flèche pleine sur la figure 3. De plus, pour une meilleure détection des feux, qui sont généralement placés en bord de route, la caméra 10 est installée à une hauteur H du sol, par exemple 1,90m, et présente un axe incliné dans le sens horaire par rapport à un axe longitudinal médian X de la navette autonome 100, cette inclinaison correspondant à un angle de visée par rapport à la trajectoire. De préférence, l’angle de visée de la caméra 10 est sensiblement égal à 45°.

Ainsi, un feu 200 placé sur le bord d’un trottoir longeant une route 300 empruntée par la navette autonome 100 se trouve nécessairement dans l’axe de la caméra 10, à une distance optimale de cadrage, lorsque ladite navette arrive à hauteur dudit feu en laissant une certaine distance de sécurité, par exemple entre 1m et 2m. Une telle situation est schématisée en figure 4.

En outre, la caméra 10 présente un champ angulaire horizontal α, correspondant à un plan moyen de la route, suffisant pour capter des feux plus lointains, notamment les feux se trouvant sur une même route rectiligne et qui, par conséquent, sont projetés sur une même fuyante comme expliqué plus loin. Toutefois, seule la détection du prochain feu est primordiale pour la navigation de la navette autonome, et la détection des feux suivants ne devient utile qu’après dépassement du feu immédiat. En effet, l’état d’un feu «suivant» ne conditionne aucunement la conduite de la navette tant qu’un feu «précédent» n’a pas été dépassé. Le procédé de reconnaissance selon l’invention permet de se focaliser sur l’information fournie par le prochain feu, la détection des feux suivants n’ayant aucun impact sur la recommandation rendue en temps réel par ledit procédé.

Afin de comprendre l’avantage considérable que procure le procédé de reconnaissance perfectionné de l’invention, il est important d’expliquer à titre liminaire le fonctionnement d’un procédé de reconnaissance basique selon un premier mode de réalisation.

Un tel procédé, dont les principales étapes sont représentées en figure 5, comprendune étape initiale 600 d’observation suivie d’une étape de prédiction seule 720 et/ou d’une étape de prédiction 725 précédée d’une étape de détection 710, ainsi qu’une étape finale de recommandation 700.

L’étape initiale 600 d’observation consiste en une acquisition d’images en continu et en temps réel de l’environnement de la navette autonome 100 lorsqu’elle effectue son trajet, grâce à la caméra 10. Ainsi, le flux vidéo obtenu est analysé en temps réel par différents algorithmes d’intelligence artificielle IA-1, IA-2 et IA-3, selon les étapes, respectivement, de prédiction seule 720, de détection 710 et de prédiction après détection 725, comme schématisé en figure 6.

Prédiction seule

Cette étape consiste à analyser une image entière captée instantanément par la caméra 10 afin de déterminer l’état du prochain feu, ce dernier conditionnant la conduite de la navette autonome 100 et la décision qui sera prise à cette effet.

La figure 7 représente en vue d’artiste une image entière 500 captée par la caméra 10 à un instant donné, correspondant par exemple à la situation de la figure 4. Sur l’image entière 500, on peut apercevoir un feu 200 sensiblement au centre de l’image en raison de l’angle de visée à 45° de la caméra 10.

Les algorithmes d’intelligence artificielle IA-1 opérant la prédiction sur l’image 500 permettent donc de reconnaitre l’état du feu 200 (rouge, orange ou vert) pour que la navette autonome 100 puisse prendre la décision associée audit état (circulation ou arrêt). Les algorithmes IA-1 de prédiction sont basés sur un réseau de neurones artificiels à convolutions de très grande taille, mettant en œuvre une technologie d’apprentissage profond (Deep Learning), dont l’entrainement a été réalisé avec une banque de plusieurs milliers d’images de feux tricolores de formes et tailles variées.

Globalement, comme la plupart des algorithmes d’apprentissage automatique supervisé, les algorithmes IA-1 de prédiction sur images entières comprennent une phase de reconnaissance, ou classification, après la phase d’apprentissage.

Pour la mise en œuvre des phases d’apprentissage et de reconnaissance dans les algorithmes de prédiction, il peut être tenu compte dans un réseau de neurones bien défini, pour chaque état de feu (rouge, orange, vert et noir), de paramètres et de hyperparamètres parmi lesquels: le nombre total d’images analysées, le pourcentage d’entrainement, le pourcentage de validation, le pourcentage de test, la taille des images en entrée, la taille des images redimensionnées, les propriétés intrinsèques des images (plage de luminosité, ton des couleurs, contraste, accentuation, correction gamma, etc.), le taux d’apprentissage cyclique, le décrochage (ou Dropout), le nombre total de couches, dont les couches de convolution et les couches denses, la taille de la convolution, le nombre d’époques, le temps de prédiction par image (en millisecondes) et donc la fréquence de prédiction (en images par seconde).

Cela permet la création de classificateurs spécialisés dans la reconnaissance des états (Rouge, Orange, Vert et Noir) des feux tricolores, la couleur noire correspondant à un feu éteint ou en panne.

Le modèle IA-1 ainsi entrainé est capable de reconnaitre des feux tricolores dans une image entière captée par la caméra 10 de la navette autonome 100 et d’indiquer l’état du prochain feu sur la trajectoire de ladite navette avec les acuités suivantes obtenues pour chaque couleur de feu:

Feux rouges	Feux orange	Feux verts	Feux noirs
97,27%	93,64%	95,45%	97,27%

On obtient donc une moyenne pour l’acuité de prédiction sur images entières de 95,91% selon l’étape de prédiction seule 720 comme indiqué sur la figure 5.

Il doit être souligné que les feux les plus critiques, à savoir le rouge et le noir, sont reconnus avec la plus grande acuité et que certains feux orange sont confondus avec des feux rouges, ce qui en soi n’est pas problématique car la décision prise dans les deux cas est l’arrêt de la navette autonome.

En outre, la vitesse de prédiction lors de cette étape dépend de la puissance de calcul embarquée dans la navette autonome. Par exemple, on obtient une vitesse de prédiction sur images entières qui varie entre 145 et 154 images par seconde sur un ordinateur gonflé (processeur i7 avec huit cœurs à 3,6GHz) équipé d’une carte graphique Nvidia Titan RTX et de 2 To de mémoire sur disque SSD.

Prédiction après détection

Comme indiqué plus haut, cette voie de prédiction comprend une étape de détection 710 préalable à l’étape de prédiction 725 afin d’affiner l’image sur laquelle s’exécutera ladite prédiction en isolant les parties «utiles» dans lesquelles se trouvent les feux.

L’étape de détection 710 permet de détecter la présence d’un feu sur l’image entière et d’isoler une partie de l’image centrée sur ledit feu, de sorte à optimiser la prédiction en réduisant la taille de l’image à traiter.

Sur l’exemple de la figure 7, le feu 200 se trouve dans une partie utile 550 qui sera ensuite isolée de l’image 500 par une opération de «rognage». De préférence, la partie utile 550, isolée sur la figure 8, présente des dimensions qui dépendent directement des dimensions sur l’image entière 500 du feu détecté 200. Autrement dit, la taille de la partie utile (longueur*largeur) varie dans les mêmes proportions que la taille du feu sur l’image entière. De plus, la partie utile 550 présente une forme rectangulaire adaptée aux formes des feux.

Les algorithmes d’intelligence artificielle IA-2 opérant la détection des feux sur les images captées par la caméra 10 de la navette autonome utilisent un réseau de neurones permettant de détecter la position d’un objet déterminé, ici le feu tricolore, au sein d’une image entière contenant une multitude de détails inutiles pour le traitement de reconnaissance, objet de l’invention. Après un protocole de détection qui consiste par exemple, comme indiqué, à isoler une partie utile entourant le feu dans une image entière, ou à en délimiter le contour, le feu détecté peut être classifié.

Comme pour l’étape de prédiction seule 720, il peut être pris en compte pour l’entrainement des algorithmes de détection, dans un autre modèle de réseau de neurones bien défini, de plusieurs paramètres et hyperparamètres parmi: le nombre d’images, le nombre de feux, le pourcentage d’entrainement, le pourcentage de validation, le pourcentage de test, la taille des images d’entrée, la taille des images redimensionnées, le nombre d’exemples d’entrainement par itération (batch size), le taux d’apprentissage cyclique, le type d’optimiseur, le nombre d’images mélangées à chaque cycle d’apprentissage, le nombre total de couches, le temps de détection par image (en millisecondes) et donc la fréquence de détection (en images par seconde).

Les algorithmes de détection IA-2 atteignent une précision moyenne de détection de 86%.

L’apprentissage des algorithmes de détection peut également être alimenté par de nombreuses bases de données pour les panneaux routiers, comprenant les feux tricolores.

La vitesse de détection dépend de la puissance de calcul embarquée dans la navette autonome. Par exemple, cette vitesse est de 17 images par seconde, sur un ordinateur de processeur i5 avec quatre cœurs à 4,3GHz équipé d’une carte graphique Nvidia 1080Ti et de 256 Go de SSD, et de 24 images par seconde sur un ordinateur de processeur i7 avec huit cœurs à 3,6Ghz équipé d’une carte graphique Nvidia Titan RTX et de 2 To de SSD.

Toujours en référence aux figures 5 et 6, lorsque la détection 710 est terminée, l’étape de prédiction 725 (après détection) est exécutée sur la partie utile contenant le feu détecté, par exemple, la partie 550 représentée en figure 8 et qui correspond à une zone, contenant le prochain feu 200, délimitée dans l’image entière 500 de la figure 7. Cela permet de réduire la zone de travail des algorithmes d’intelligence artificielle IA-3 responsables de la prédiction après détection 725 qui, par conséquent, sont mis en œuvre sur des images partielles, au lieu d’images entières comprenant énormément d’informations inutiles dont le traitement ralentit les calculs et impacte la précision et l’acuité de prédiction. Les algorithmes IA-3 peuvent être moins sophistiqués que les algorithmes IA-1 car une prédiction sur des parties utiles, comprenant essentiellement les images des feux détectés (voir figure 8), est moins compliquée qu’une prédiction sur des images entières qui peuvent contenir énormément d’informations et de détails pouvant fausser la prédiction, comme la présence de lumières similaires à celles des feux tricolores (lumières de véhicules, devantures de magasins, etc.).

De préférence, les algorithmes de prédiction seule IA-1 et de prédiction après détection IA-3 sont quasiment identiques.

Ainsi, pour la mise en œuvre des phases d’apprentissage et de reconnaissance dans les algorithmes de prédiction IA-3, il peut être tenu compte, pour chaque état de feu (rouge, orange, vert et noir), dans un modèle de réseau de neurones bien défini, des mêmes paramètres et hyperparamètres que dans le cas des algorithmes IA-1.

On obtient alors les acuités suivantes:

Feux rouges	Feux orange	Feux verts	Feux noirs
100,00%	99,08%	99,08%	99,08%

L’acuité moyenne de prédiction après détection (sur images partielles) est donc de 99,31% selon l’étape de prédiction après détection 725 comme indiqué sur la figure 5.

Ces résultats, meilleurs que ceux de l’étape de prédiction seule 720, s’expliquent facilement par la diminution de complexité entre une image entière 500, représentée en figure 7, et une image partielle, ou partie utile 500, représentée en figure 8. En effet, il est plus «facile» pour les algorithmes de prédiction de reconnaitre l’état d’un feu dans une image de taille limitée occupée en majeure partie par ledit feu que dans une image dans laquelle ledit feu est noyé dans un environnement riche en informations inutiles et présente une taille réduite sur ladite image.

Enfin, l’étape de recommandation 800 se base sur le résultat de la prédiction, résultat issu de la prédiction seule 720 et/ou de la prédiction après détection 725, pour déterminer la décision que doit prendre la navette autonome 100. Etant donné l’exécution en parallèle des deux voies de prédiction (sans et avec détection), l’acuité de l’étape de recommandation correspond à l’acuité la plus élevée entre lesdites voies, à savoir l’acuité de la prédiction après détection.

La recommandation 800 est basée sur une matrice de recommandation avec des post-traitements 721, 711 et 726, tels que la prise en compte des dépassements de seuils, pour chaque brique d’intelligence artificielle IA-1, IA-2 et IA-3, comme schématisé en figure 6.

Dans le cas des feux de circulation, l’information en sortie de l’étape de recommandation 800 est nécessairement binaire: GO ou STOP par exemple.

La matrice de recommandation est configurée de sorte à favoriser les choix les plus surs. Ainsi, la recommandation STOP sera systématiquement donnée si un feu rouge est prédit par au moins un algorithme.

Le procédé de reconnaissance des feux tel que décrit affiche des résultats très probants en termes d’acuité de prédiction dans diverses situations et permet la reconnaissance, dans des environnements urbains très denses en trafic, de l’état des feux de circulation se trouvant sur la trajectoire de la navette autonome.

En revanche, une situation problématique dans laquelle la caméra embarquée de la navette ne capte pas le prochain feu peut se présenter. Une telle situation correspond par exemple à la présence d’un obstacle, tel qu’un véhicule encombrant, faisant écran à la caméra de la navette, ladite caméra ne pouvant alors pas capter le feu.

La figure 9 représente une situation de trafic dans laquelle un obstacle 400 empêche la caméra de la navette autonome 100 de capter le prochain feu 200, celui-ci étant masqué par l’obstacle 400. La navette autonome peut alors déployer d’autres moyens de conduite et d’aide à la décision, par détection d’obstacle et suivi de véhicule mobile par exemple. Dès lors, la navette autonome devient dépendante de l’état d’autres véhicules avec le risque de commettre les mêmes vices (infractions) que lesdits véhicules.

De ce fait, le procédé de reconnaissance des feux, selon un deuxième mode de réalisation de l’invention, préféré, est mis en œuvre selon l’arborescence de la figure 10, sur laquelle deux blocs 700 d’analyse prédictive, conformes au mode de réalisation de la figure 5, s’exécutent en parallèle avec pour l’un une étape préalable 650 de prétraitement GPS des images captées par la caméra de la navette autonome.

L’étape 650 de prétraitement GPS consiste à estimer une position probable du prochain feu dans l’image instantanée fournie par la caméra 10 en fonction des coordonnées GPS dudit feu, connus, et de la position GPS instantanée de la navette autonome. Cette position probable, qu’on appellera position théorique, permet de contourner temporairement le masquage du feu par un obstacle.

La position théorique du feu «invisible» sur l’image peut être définie par un contour rectangulaire centrée sur l’emplacement théorique du feu sur l’image.

La figure 12 représente un exemple de position théorique 560 du prochain feu 200 masqué par l’obstacle 400 sur une image entière 500 captée par la caméra de la navette autonome.

En effet, la connaissance de la position GPS du feu concerné et de la position de la navette autonome permet, en tenant compte de l’emplacement et de l’agencement de la caméra sur ladite navette (hauteur et angle de visée), de calculer la distance séparant la caméra dudit feu et d’estimer la position théorique de celui-ci sur l’image captée.

Le principe de ce calcul géométrique et cinématique est sommairement décrit ci-dessous en référence à la figure 14.

Lorsque la navette autonome avance, le prochain feu se déplace sur une ligne fuyante et occupe des positions successives, 201 et 202 par exemple, qui sont projetées sur l’image 500 suivant des projections 510. Les projections 510 présentent des dimensions qui dépendent des positions de la navette comme illustré sur les figures 13a et 13b, le feu 200 occupant deux positions différentes sur l’image, et éventuellement présentant deux états différents vert et rouge en raison du laps de temps entre les deux images.

Les projections du feu sur l’image s’effectuent suivant des angles de vue θ₁et θ₂.

En fonction de ces paramètres, un calcul géométrique et cinématique simple permet de donner les positions théoriques du prochain feu sur l’image captée.

La localisation de la navette autonome 100 peut être opérée par tout système de positionnement par satellite, et notamment par GPS.

En raison de l’évolution de la navette autonome dans un environnement urbain, la localisation peut s’appuyer sur des méthodes de type SLAM (Simultaneous Localization And Mapping), qui consistent à construire ou améliorer une carte de l’environnement et, simultanément, à s’y localiser.

Contrairement aux modèles de l’art antérieur qui sont entraînés grâce à des banques d'images et de vidéos sans indication de la position GPS relative du prochain feu tricolore, ni de celle de la navette, les modèles de la présente invention bénéficient de la connaissance de la position exacte (X_i, Y_i) de chaque feu tricolore 200 présent sur un circuit C de la navette autonome 100, schématisé sur la figure 15, et de la position instantanée (X , Y) de la navette autonome, avec une incertitude admise.

Cette connaissance combinée de la position GPS du prochain feu tricolore et de la position GPS instantanée de la navette, permet de prédire la position la plus probable du prochain feu tricolore dans l'image comme souligné plus haut.

Claims

Procédé de reconnaissance automatique de signalisations routières (200), mis en œuvre par un véhicule autonome (100) équipé d’un capteur d’image (10), comprenant: une étape (600) d’observation de l’environnement du véhicule par le capteur d’image pour l’acquisition d’images (500) instantanées; une étape (720) de prédiction en temps réel d’un attribut relatif à une prochaine signalisation (200) sur un trajet du véhicule à partir d’une image (500) de ladite signalisation; une étape (710) de détection de la signalisation sur l’image, permettant de délimiter sur ladite image une zone utile (550) entourant ladite signalisation, ladite zone utile définissant une nouvelle image de taille inférieure; et une étape (725) de prédiction de l’attribut relatif à la signalisation à partir de ladite nouvelle image,caractériséen ce qu’il comprend une étape (650) de prétraitement de l’image (500) pour estimer un emplacement théorique (560) de la signalisation (200) dans ladite image à partir de la position géographique de ladite signalisation et de la position instantanée du véhicule fournie par un système de positionnement par satellite, et en ce que les étapes (720, 725) de prédiction sont exécutées par des réseaux de neurones artificiels mettant en œuvre une technique d’apprentissage automatique embarqués dans un calculateur central du véhicule autonome.
Procédé selon la revendication 1, dans lequel l’étape (710) de détection est également exécutée par un réseau de neurones artificiels mettant en œuvre une technique d’apprentissage automatique.
Procédé selon l’une des revendications 1 ou 2, dans lequel l’estimation de l’emplacement théorique (560) de la signalisation (200) dans l’image (500) est obtenue par un calcul de géométrie projective combiné à un calcul cinématique.
Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape (800) de recommandation permettant au véhicule autonome (100) de prendre une décision en fonction des prédictions obtenues aux étapes (720, 725) de prédiction, ladite étape de recommandation se basant sur une matrice de recommandation.
Procédé selon l’une quelconque des revendications précédentes, dans lequel le système de positionnement par satellite comprend un récepteur GPS.
Procédé selon l’une quelconque des revendications précédentes, dans lequel le capteur d’image (10) est une caméra installée sur le véhicule autonome (100) à une hauteur H du sol et avec un axe de visée incliné par rapport à un axe longitudinal médian dudit véhicule.
Procédé selon l’une quelconque des revendications précédentes, dans lequel au moins une technique d’apprentissage automatique mise en œuvre par un réseau de neurones artificiels est une technique d’apprentissage profond.
Procédé selon l’une quelconque des revendications précédentes, dans lequel les signalisations routières (200) sont des feux de circulation, pour lesquels l’attribut correspond à leur état, ou couleur.
Véhicule autonome (100) comportant un capteur d’image (10) et un calculateur central, caractérisé en ce qu’il met en œuvre un procédé de reconnaissance automatique de signalisations routières (200) selon l’une des revendications 1 à 8.
Véhicule autonome (100) selon la revendication 9, ledit véhicule étant une navette autonome de transport en commun.