FR3047217A1

FR3047217A1 - Dispositif de determination de l'etat d'un feu de signalisation, systeme embatque comprenant un tel dispositif, vehicule comprenant un tel systeme et procede de determination associe

Info

Publication number: FR3047217A1
Application number: FR1650867A
Authority: FR
Inventors: Alexandre Garnault; Thomas Heitzmann; Paulo Resende; Benazouz Bradai
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2016-02-03
Filing date: 2016-02-03
Publication date: 2017-08-04
Anticipated expiration: 2036-02-03
Also published as: FR3047217B1

Abstract

L'invention concerne un dispositif de détermination de l'état d'un feu de signalisation bordant une route empruntée par un véhicule. Ce dispositif comprend un élément de réception de données (POS) indicatives d'une position du feu de signalisation relativement au véhicule, et un élément de réception d'une image (IMG) capturée par un capteur d'image et représentant un environnement rencontré par le véhicule. Le dispositif comprend un module (16) conçu pour déterminer, en l'absence d'identification de feu de signalisation dans l'image capturée (IMG) et lorsque lesdites données (POS) indiquent que le feu de signalisation est à portée du véhicule, l'état de ce feu de signalisation par détection d'une situation liée à l'état du feu de signalisation. Un système embarqué, un véhicule et un procédé de détermination associés sont également proposés.

Description

Dispositif de détermination de l’état d’un feu de signalisation, système embarqué comprenant un tel dispositif, véhicule comprenant un tel système et procédé de détermination associé

Domaine technique auquel se rapporte l'invention

La présente invention concerne la détermination de l’état des feux de signalisation, en particulier dans les véhicules autonomes ou équipés de systèmes d’aide à la conduite.

Elle concerne plus particulièrement un dispositif de détermination de l’état d’un feu de signalisation, un système embarqué comprenant un tel dispositif, un véhicule comprenant un tel système et un procédé de détermination associé. L’invention s’applique particulièrement avantageusement dans le cas d’un défaut de visibilité entre un capteur d’image du système embarqué et le feu de signalisation dont on souhaite déterminer l’état.

Arriere-plan technologique

Dans les véhicules équipés de systèmes d’aide à la conduite, comme dans les véhicules autonomes, on prévoit d’utiliser un dispositif de détermination de l’état des feux de signalisation bordant la route empruntée.

Comme décrit par exemple dans le document US 2015/329 107, un tel dispositif reçoit une image capturée par un capteur d’image et représentant un environnement rencontré par le véhicule et incluant une partie de la route empruntée.

Le dispositif peut ainsi identifier un feu de signalisation dans l’image capturée et déterminer l’état de ce feu de signalisation par analyse de pixels représentatifs du feu de signalisation identifié dans l’image capturée.

Un actionneur peut ainsi être commandé de manière à contrôler la trajectoire du véhicule en fonction de l’état déterminé, ainsi qu’éventuellement en fonction de données indicatives d’une position du feu de signalisation relativement au véhicule, fournies par exemple par un système de navigation.

Dans cette solution, l’identification du feu de signalisation dans l’image capturée est toutefois nécessaire à la détermination de l’état du feu et un dysfonctionnement risque donc de se produire lorsque le feu de signalisation n’est pas visible par le capteur d’image, par exemple en présence d’un obstacle entre le capteur d’image et le feu de signalisation.

Objet de l’invention

Dans ce contexte, la présente invention propose un dispositif de détermination de l’état (courant) d’un feu de signalisation bordant une route empruntée par un véhicule, le dispositif comprenant un élément de réception de données indicatives d’une position du feu de signalisation relativement au véhicule, et un élément de réception d’une image capturée par un capteur d’image et représentant un environnement rencontré par le véhicule (et pouvant alors notamment inclure une partie de la route empruntée), caractérisé par un module conçu pour déterminer, en l’absence d’identification de feu de signalisation dans l’image capturée et lorsque lesdites données indiquent que le feu de signalisation est à portée du véhicule, l’état de ce feu de signalisation par détection d’une situation liée à l’état du feu de signalisation.

Ainsi, lorsqu’un problème de visibilité empêche l’identification d’un feu de signalisation dans l’image capturée alors que le véhicule approche le feu de signalisation (d’après les données indicatives de la position du feu de signalisation relativement au véhicule), le dispositif pallie l’absence d’identification de feu de signalisation dans l’image capturée par la détection d’une situation liée à l’état du feu de signalisation, ce qui permet d’en déduire indirectement l’état courant du feu de signalisation. D’autres caractéristiques envisageables à titre optionnel (et donc non limitatif) sont les suivantes : - le dispositif comprend en outre un module conçu pour déterminer, en cas d’identification d’un feu de signalisation dans l’image capturée, l’état du feu de signalisation par analyse de pixels représentatifs du feu de signalisation identifié dans l’image capturée ; - la détection de la situation est réalisée par analyse de l’image capturée ou d’une séquence d’images capturées par le capteur d’images ; - la détection de la situation comprend l’identification d’un autre véhicule ou d’au moins un piéton dans l’image capturée ou dans la séquence d’images capturées ; - les données indiquent que le feu de signalisation est à portée du véhicule lorsque la distance entre le feu de signalisation et le véhicule, déterminée en fonction desdites données, est inférieure à un seuil prédéfini ; - les données indiquent que le feu de signalisation est à portée du véhicule lorsque le feu de signalisation est situé dans un angle solide associé au capteur d’image. L’invention propose également un système embarqué pour véhicule comprenant un dispositif de détermination tel qu’évoqué ci-dessus, ledit capteur d’image et une unité de navigation conçu pour produire lesdites données. L’invention propose aussi un véhicule (tel qu’un véhicule autonome) comprenant un tel système embarqué, dans lequel un actionneur est commandé en fonction de l’état du feu de signalisation déterminé par ledit dispositif de détermination et d’une information d’état du feu de signalisation reçue via un réseau de données véhicule-infrastructure. L’invention propose enfin un procédé de détermination de l’état d’un feu de signalisation bordant une route empruntée par un véhicule, comprenant les étapes suivantes : - recherche du feu de signalisation dans une image capturée par un capteur d’image et représentant un environnement rencontré par le véhicule et incluant une partie de la route empruntée ; - en l’absence d’identification (à l’étape de recherche) du feu de signalisation dans l’image capturée et lorsque des données indicatives d’une position du feu de signalisation relativement au véhicule indiquent que le feu de signalisation est à portée du véhicule, détermination de l’état de ce feu de signalisation par détection d’une situation liée à l’état du feu de signalisation.

On peut prévoir qu’en cas d’identification d’un feu de signalisation dans l’image capturée, l’état du feu de signalisation soit déterminé par analyse de pixels représentatifs du feu de signalisation identifié dans l’image capturée.

Les données susmentionnées peuvent par ailleurs être produites par une unité de navigation.

Description detaillee d’un exemple de réalisation

La description qui va suivre en regard des dessins annexés, donnés à titre d’exemples non limitatifs, fera bien comprendre en quoi consiste l’invention et comment elle peut être réalisée.

Sur les dessins annexés : - la figure 1 représente schématiquement les éléments principaux d’un système embarqué dans un véhicule ; - la figure 2 représente, sous forme de blocs fonctionnels, une unité de commande du système embarqué de la figure 1 ; - la figure 3 représente une intersection rencontrée par le véhicule susmentionné ; et - la figure 4 illustre le positionnement du véhicule au sein d’une carte numérique représentant notamment l’intersection précitée.

La figure 1 représente schématiquement les éléments principaux d’un système embarqué dans un véhicule V.

Ce système comprend un dispositif de localisation du véhicule 2, une unité de navigation 4, une base de données cartographiques 5, un capteur d’image 6, un actionneur 8 et une unité de commande 10.

Le dispositif de localisation du véhicule 2 est par exemple un dispositif de géolocalisation (typiquement de type GPS pour "Global Positioning System"). Le dispositif de localisation du véhicule 2 génère ainsi des données Pv représentatives de la position du véhicule dans un référentiel donné (ici le référentiel terrestre). L’unité de navigation 4 reçoit les données Pv et peut ainsi déterminer la position courante du véhicule au sein d’une carte C mémorisée dans la base de données cartographiques 5, et extraire éventuellement des éléments de la carte C situés à proximité du véhicule V, en particulier un feu de signalisation F (comme visible en figure 4). L’unité de navigation 4 peut ainsi générer des données POS représentatives de la position relative du feu de signalisation F par rapport au véhicule V. En pratique, ces données POS peuvent comprendre par exemple les coordonnées du feu de signalisation F dans un repère lié au véhicule V. Selon une autre possibilité envisageable, ces données POS peuvent comprendre les coordonnées courantes du véhicule V dans un référentiel donné (ici le référentiel terrestre comme déjà indiqué) et les coordonnées du feu de signalisation F dans ce même référentiel.

Le capteur d’image 6 est par exemple une caméra vidéo. Le capteur d’image 6 est placé dans le véhicule V de manière à capturer des images IMG de l’environnement extérieur du véhicule V, situé à l’avant du véhicule V, dans un angle solide A correspondant au champ de vision du capteur d’image 6. Cet environnement comprend ici la route empruntée par le véhicule V et bordée par le feu de signalisation F. L’actionneur 8 permet de commander au moins en partie la trajectoire du véhicule V. Ainsi, l’actionneur 8 peut être par exemple un système de freinage, un groupe motopropulseur ou un système de commande de direction. L’unité de commande 10 est conçue pour commander, au moyen d’un signal de commande CMD, l’actionneur 8, en fonction notamment des images IMG capturées par le capteur d’image 6 et des informations POS représentatives de la position relative du feu de signalisation F par rapport au véhicule V, comme expliqué ci-après. L’unité de commande 10 peut commander l’actionneur 8 dans un but d’assistance à la conduite (l’unité de commande 10 étant par exemple conçue pour commander un freinage du véhicule V à l’approche du feu de signalisation F si le conducteur n’a pas suffisamment décéléré), ou dans un but de pilotage automatique du véhicule V (cas d’un véhicule autonome).

Dans certains modes de réalisation (et en particulier dans le cas du véhicule autonome), l’unité de commande 10 peut commander l’actionneur 8 non seulement en fonction de l’état du feu de signalisation F déterminé au sein de l’unité de commande 10 comme décrit ci-dessous, mais également en fonction d’une information relative à l’état de ce feu de signalisation F (information reçue par exemple via un réseau de données établi entre le véhicule V et l’infrastructure routière dont fait partie le feu de signalisation F).

La figure 2 représente l’unité de commande 10 sous forme de blocs fonctionnels.

Chaque bloc fonctionnel 12, 14, 16, 18 représenté sur la figure 2 correspond à une fonctionnalité particulière mise en oeuvre par l’unité de commande 10. Plusieurs (voire tous les) blocs fonctionnels peuvent toutefois en pratique être mis en oeuvre par une même entité physique, par exemple un processeur sur lequel s’exécute des instructions de programme mémorisées dans une mémoire associé au processeur (chaque bloc fonctionnel étant alors dans ce cas mis en oeuvre par l’exécution d’un jeu particulier d’instructions mémorisées dans ladite mémoire). L’unité de commande 10 comprend un ensemble de blocs fonctionnels 12, 14, 16 qui forment, comme expliqué ci-dessous, un dispositif 20 de détermination de l’état d’un feu de signalisation bordant la route empruntée par le véhicule V.

Cet ensemble comprend un premier bloc 12 (bloc d’identification) conçu pour rechercher et identifier un feu de signalisation dans la dernière image IMG reçue du capteur d’image 6. On prévoit ici que le bloc d’identification 12 n’identifie un feu de signalisation dans l’image IMG que si ce feu de signalisation est relatif à l’itinéraire couramment suivi par le véhicule V (un tel itinéraire pouvant par exemple être mémorisé dans l’unité de navigation 4).

Si un tel feu de signalisation F est identifié dans l’image IMG, le bloc d’identification 12 détermine l’état de ce feu de signalisation F par analyse des pixels représentatifs du feu de signalisation F et transmet un premier signal S représentatif de l’état du feu de signalisation F {"feu vert', "feu orange" ou "feu rouge") à un quatrième bloc 18 (bloc de décision).

Si aucun feu de signalisation n’est identifié dans l’image IMG (comme relatif à l’itinéraire suivi par le véhicule V), le bloc d’identification 12 active le second bloc 14 (bloc de vérification).

Le bloc de vérification 14 reçoit les informations POS représentatives de la position relative du feu de signalisation F par rapport au véhicule V et détermine, en fonction de ces informations POS, si le feu de signalisation F est situé dans l’angle solide associé au capteur d’image 6, à une distance du véhicule V inférieure à un seuil prédéfini.

Si le bloc de vérification 14 détermine que le feu de signalisation F est situé dans l’angle solide A associé au capteur d’image 6 (comme représenté en figure 4) et à une distance inférieure au seuil prédéfini, ceci signifie que l’absence d’identification (au sein du bloc d’identification 12) provient d’un défaut de visibilité du feu de signalisation F depuis le capteur d’image 6.

Un tel défaut de visibilité peut être généré par exemple par la présence d’un obstacle O (tel qu’un autre véhicule) entre le véhicule V (où est situé le capteur d’image 6) et le feu de signalisation F, comme représenté en figure 3. Un tel défaut de visibilité peut également être généré par une mauvaise qualité de l’image IMG capturée, par exemple à cause d’une sous-exposition du fait d’une luminosité ambiante importante.

Le bloc de vérification 14 commande dans ce cas l’activation du troisième bloc 16 (bloc d’analyse), dont le fonctionnement est décrit plus bas.

Si le bloc de vérification 14 détermine que le feu de signalisation F n’est pas situé dans l’angle solide A associé au capteur d’image 6, ou que ce feu de signalisation est situé à une distance supérieure au seuil prédéfini, ceci indique qu’il n’y a pas de feu de signalisation à proximité et le bloc de vérification 14 transmet alors au bloc de décision 18 un signal N représentatif de l’absence de feu de signalisation.

Lorsqu’il est activé, le bloc d’analyse 16 recherche, dans la dernière image IMG reçue (ou dans la séquence d’images IMG reçues), une situation liée à l’état du feu de signalisation F (situé dans l’angle solide A comme déterminé par le bloc de vérification 14) afin d’en déduire l’état de ce feu de signalisation F (accompagné éventuellement d’un indice de confiance associé, variable selon la situation détectée).

Par exemple, l’une quelconque des situations suivantes (déterminée par analyse de l’image IMG précitée ou de la séquence d’images précitée) permet au bloc d’analyse 16 de déterminer que le feu de signalisation F est à l’état "feu rouge" : - au moins un véhicule (sans feux de détresse) empruntant la même route que le véhicule V est à l’arrêt à l’intersection ; - au moins un véhicule traverse l’intersection dans une direction transverse par rapport à celle empruntée par le véhicule V ; - un piéton traverse la voie empruntée par le véhicule V. L’une quelconque des situations suivantes permet au contraire au bloc d’analyse 16 de déterminer que le feu de signalisation F est à l’état "feu vert : - un véhicule empruntant la même route que le véhicule V s’engage dans l’intersection dans la même direction que celle prévue dans l’itinéraire suivi par le véhicule V ; - un véhicule suivant le véhicule V fait un appel de phares (détecté par exemple par un capteur d’image supplémentaire dirigé vers l’arrière du véhicule V); - un véhicule suivant le véhicule V actionne son avertisseur sonore, ce qui peut être détecté par exemple en déterminant la vitesse d’un tel véhicule par analyse du son émis, en tenant compte de l’effet Doppler, et en comparant éventuellement la vitesse ainsi déterminée à celles des véhicules proches, lorsque ces vitesses sont connues (afin d’en déduire quel véhicule a actionné son avertisseur sonore) ; il est également possible d’analyser le type de son émis (quant à son intensité et/ou sa durée et/ou fréquence de répétition) afin de renforcer l’indice de confiance susmentionné ; - des piétons sont présents sur les passages piétons traversant une voie transverse par rapport à celle empruntée par le véhicule V et aucun piéton ne traverse la voie empruntée par le véhicule V.

Le bloc d’analyse 16 peut donc transmettre au bloc de décision 18 un second signal S’représentatif de l’état du feu de signalisation F ainsi déterminé.

Le bloc de décision 18 reçoit par conséquent le premier signal S représentatif de l’état du feu de signalisation F (déterminé par le bloc d’identification 12), ou le second signal S’ représentatif de l’état du feu de signalisation F (déterminé par le bloc d’analyse 16), ou encore le signal N représentatif de l’absence de feu de signalisation (déterminé par le bloc de vérification 14).

Le bloc de décision 18 peut alors générer le signal de commande CMD de l’actionneur 8 en fonction du signal reçu S, S’, N.

En particulier, en cas de réception d’un premier signal S ou d’un second signal S’indiquant que le feu de signalisation F est à l’état "feu rouge", le bloc de décision 18 génère un signal de commande CMD qui entraîne le ralentissement puis l’arrêt du véhicule V (par décélération lorsque l’actionneur 8 est un groupe motopropulseur ou par freinage lorsque l’actionneur 8 est un système de freinage).

En cas de réception d’un premier signal S ou d’un second signal S’ indiquant que le feu de signalisation F est à l’état "feu vert' (comme d’ailleurs en cas de réception du signal N représentatif de l’absence de feu de signalisation), le bloc de décision 18 génère un signal de commande CMD qui entraîne le maintien de la vitesse du véhicule V, voire une accélération du véhicule V (jusqu’à une vitesse donnée) si le véhicule V est à l’arrêt.

On peut prévoir que le signal de commande CMD généré soit différent selon que c’est le premier signal S ou le second signal S’ qui indique un état donné (ici "feu vert') du feu de signalisation F.

On peut ainsi prévoir par exemple que le signal de commande CMD corresponde à une première vitesse de consigne du véhicule V (par exemple 40 km/h) lorsque le premier signal S indique l’état "feu vert', et à une seconde vitesse de consigne du véhicule V (inférieure à la première vitesse, par exemple 20 km/h) lorsque le second signal S’indique l’état "feu vert').

Comme déjà indiqué, on peut également prévoir que les signaux N, S, S’ générés par le dispositif 20 de détermination de l’état du feu de signalisation soient utilisés comme des signaux redondants, en complément d’une information indicative de l’état du feu de signalisation reçue via un réseau de données véhicule-infrastructure. Dans un tel cas (par exemple au sein d’un véhicule autonome), l’actionneur 8 est commandé en fonction de l’état du feu de signalisation tel que déterminé par le dispositif 20 (que ce soit par analyse de pixels représentatifs du feu de signalisation identifié dans une image capturée ou par détection d’une situation liée à l’état du feu de signalisation) et de l’information d’état reçue du réseau véhicule-infrastructure (l’état déterminé par le dispositif 20 et l’information d’état reçue pouvant être combinés par exemple au moyen d’une fonction logique prédéfinie, en tenant compte éventuellement de l’indice de confiance associé, comme mentionné ci-dessus, à la détermination effectuée par le dispositif 20).

Claims

REVENDICATIONS

1. Dispositif de détermination de l’état d’un feu de signalisation (F) bordant une route empruntée par un véhicule (V), le dispositif comprenant : - un élément de réception de données (POS) indicatives d’une position du feu de signalisation (F) relativement au véhicule (V) ; - un élément de réception d’une image (IMG) capturée par un capteur d’image (6) et représentant un environnement rencontré par le véhicule (V) ; caractérisé par un module (16) conçu pour déterminer, en l’absence d’identification de feu de signalisation (F) dans l’image capturée (IMG) et lorsque lesdites données (POS) indiquent que le feu de signalisation (F) est à portée du véhicule (V), l’état de ce feu de signalisation (F) par détection d’une situation liée à l’état du feu de signalisation (F).
2. Dispositif de détermination selon la revendication 1, comprenant en outre un module (12) conçu pour déterminer, en cas d’identification d’un feu de signalisation (F) dans l’image capturée (IMG), l’état du feu de signalisation (F) par analyse de pixels représentatifs du feu de signalisation (F) identifié dans l’image capturée (IMG).
3. Dispositif de détermination selon la revendication 1 ou 2, dans lequel la détection de la situation est réalisée par analyse de l’image capturée (IMG) ou d’une séquence d’images capturées par le capteur d’images (6).
4. Dispositif de détermination selon la revendication 3, dans lequel la détection de la situation comprend l’identification d’un autre véhicule (O) ou d’au moins un piéton dans l’image capturée (IMG) ou dans la séquence d’images capturées.
5. Dispositif de détermination selon l’une des revendications 1 à 4, dans lequel les données (POS) indiquent que le feu de signalisation (F) est à portée du véhicule (V) lorsque la distance entre le feu de signalisation (F) et le véhicule (V), déterminée en fonction desdites données (POS), est inférieure à un seuil prédéfini.
6. Dispositif de détermination selon l’une des revendications 1 à 5, dans lequel les données (POS) indiquent que le feu de signalisation (F) est à portée du véhicule (V) lorsque le feu de signalisation (F) est situé dans un angle solide (A) associé au capteur d’image (6).
7. Système embarqué pour véhicule comprenant un dispositif de détermination (20) selon l’une des revendications 1 à 6, ledit capteur d’image (6) et une unité de navigation (4) conçu pour produire lesdites données (POS).
8. Véhicule comprenant un système embarqué selon la revendication 7, dans lequel un actionneur (8) est commandé en fonction de l’état du feu de signalisation déterminé par ledit dispositif de détermination (20) et d’une information d’état du feu de signalisation reçue via un réseau de données véhicule-infrastructure.
9. Procédé de détermination de l’état d’un feu de signalisation (F) bordant une route empruntée par un véhicule (V), comprenant les étapes suivantes : - recherche du feu de signalisation (F) dans une image (IMG) capturée par un capteur d’image (6) et représentant un environnement rencontré par le véhicule (V) et incluant une partie de la route empruntée ; - en l’absence d’identification du feu de signalisation (F) dans l’image capturée (IMG) et lorsque des données (POS) indicatives d’une position du feu de signalisation (F) relativement au véhicule (V) indiquent que le feu de signalisation (F) est à portée du véhicule (V), détermination de l’état de ce feu de signalisation (F) par détection d’une situation liée à l’état du feu de signalisation (F).
10. Procédé de détermination selon la revendication 9, dans lequel, en cas d’identification d’un feu de signalisation (F) dans l’image capturée (IMG), l’état du feu de signalisation (F) est déterminé par analyse de pixels représentatifs du feu de signalisation (F) identifié dans l’image capturée (IMG).
11. Procédé de détermination selon la revendication 9 ou 10, dans lequel lesdites données (POS) sont produites par une unité de navigation (4).