FR2706211A1 - Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre. - Google Patents

Abstract

Le procédé de traitement d'une séquence d'images représentatives d'une scène routière prises par une caméra embarquée à bord d'un véhicule pour l'extraction de la route et la détection d'obstacles consiste d'une part, dans une étape (2) d'analyse statique de la scène à partir d'un capteur (1) de type CCD, à combiner une analyse de l'information luminance des signaux vidéo avec une analyse des signaux vidéo couleurs d'une image, et consiste d'autre part, à partir du même capteur (1), dans une étape (3) d'analyse dynamique de la même scène, à valider les informations issues de l'étape (2) d'analyse statique de la scène, et à suivre, tout au long de la séquence d'images, le mouvement des obstacles estimés dangereux suivant un critère déterminé par rapport au véhicule. Il permet de présenter à l'utilisateur du véhicule une information rapidement exploitable pour qu'il puisse modifier éventuellement la progression du véhicule en fonction de l'importance du danger. Ce procédé est notamment applicable à la sécurité routière et à la robotique mobile.

Description

Procédé de traitement d'images routières et de suivi d'obstacles,
et dispositif pour sa mise en oeuvre
La présente invention concerne un procédé de traitement d'images routières et de suivi d'obstacles et un dispositif pour sa mise en oeuvre.

Le domaine est celui du traitement d'images et plus particulièrement d'images routières obtenues à partir d'un organe de perception de l'environnement du type d'un capteur CCD embarqué à bord d'un véhicule, notamment d'un véhicule automobile.

II est connu dans un procédé de traitement d'images routières, faisant l'objet d'une précédente demande de brevet français n" 2 674 354 déposée au nom de la Demanderesse, d'effectuer une analyse statique dans une séquence d'images consistant à extraire la route dans une scène précédant le véhicule et à détecter des obstacles éventuels situés sur la route à partir des informations de type luminance et couleur contenues dans les images de la scène perçues par le capteur CCD.

Ce procédé comporte une première étape d'analyse du signal de luminance permettant d'extraire les contours et régions des images, et d'établir un masque de la route. II comporte une deuxième étape d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route et comporte une troisième étape qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction de la route. L'étape d'analyse du signal de luminance et l'étape d'analyse des signaux vidéo couleurs sont effectuées en parallèle.

L'étape d'analyse de la luminance comporte:
- une phase de calcul des gradients sur le signal de luminance, les amplitudes des gradients calculés aux différents points d'image constituant une image de contours,
- une phase de calcul d'une caractéristique région définissant un masque de la route à partir de l'image des contours comportant un filtrage moyenneur dans un voisinage local du point courant et donnant pour chaque point d'image une valeur caractéristique de l'énergie du signal dans le voisinage local considéré, puis comportant une étape de seuillage pour ne retenir que les valeurs d'énergie, supérieures à un seuil déterminé associées aux segments de contours image des bords de route dans l'image, et comportant une étape de traitement des segments de contour pour les rendre connexes, et enfin une étape de remplissage de la région délimitée par les bords de route.

L'étape d'analyse couleurs utilise le fait que dans les séquences d'images routières, les routes ne comportent pas de dominante colorimétrique verte ou rouge. Cette analyse comporte:
- une phase de calcul des composantes moyennes des trois couleurs fondamentales autour d'un point courant, et de détermination de la composante moyenne maximale entre les deux composantes verte et rouge,
- une comparaison de cette valeur maximale et de la valeur de la composante moyenne bleue, suivie d'une phase de test de la différence entre ces valeurs par rapport à un seuil déterminé, les points pour lesquels cette différence est supérieure au seuil étant de manière certaine situés en dehors de la route.

L'étape de combinaison combine les informations relatives au masque de la route établies au cours de la première étape et les informations relatives à la zone d'image, en dehors de la route, obtenues dans la deuxième étape pour permettre d'extraire précisément les voies de roulement contenues dans les séquences images routières initiales et, éventuellement, de localiser des candidats obstacles potentiels sur ces voies de roulement.

Cependant, le processus d'analyse statique des signaux de luminance et de couleurs, décrit dans le procédé précédent n'est pas suffisant pour permettre une détection précise et robuste de la route et des candidats obstacles situés sur la route, et ne permet pas, de plus, de discerner si le candidat obstacle est fixe ou en mouvement par rapport au véhicule et donc d'apporter une indication pertinente sur le danger potentiel présenté par l'obstacle vis-à-vis du véhicule.

Le but de l'invention est de pallier les inconvénients précités
A cet effet, I'invention a pour objet un procédé de traitement d'une séquence d'images représentatives d'une scène routière prises par une caméra embarquée à bord d'un véhicule pour l'extraction de la route et la détection d'obstacles consistant dans une étape d'analyse statique de la scène à partir d'un capteur de type CCD, à combiner une analyse de l'information luminance des signaux vidéo avec une analyse des signaux vidéo couleurs d'une image, caractérisé en ce qu'il consiste à partir du même capteur, dans une étape d'analyse dynamique de la même scène, à valider les informations issues de l'étape d'analyse statique de la scène, et à suivre, tout au long de la séquence d'images, le mouvement des obstacles estimés dangereux par rapport au véhicule, et à présenter à l'utilisateur du véhicule une information rapidement exploitable pour lui permettre de modifier éventuellement la progression du véhicule en fonction de l'importance du danger.

L'invention a pour avantage qu'elle permet à partir d'un seul capteur de type CCD couleur, et en utilisant un traitement d'images bas niveau, de réaliser une analyse dynamique d'une séquence d'images représentant la scène visualisée par le capteur, et en combinant cette analyse dynamique à une analyse statique de la même séquence d'image, de ne présenter à l'utilisateur que l'information essentielle à la progression sécurisée du véhicule sur la route. L'invention permet en outre de conserver un niveau moyen de luminance quasi consistant sur toute l'image reconstituant la scène visualisée par le capteur quelles que soient les conditions d'illumination de la scène. D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à l'aide de la description qui suit faite en regard des dessins annexés qui représentent:
- la figure 1, les principales étapes du procédé selon l'invention,
- la figure 2, un organigramme des étapes de l'analyse statique,
- la figure 3, un organigramme des étapes du traitement de fermeture de zones,
- la figure 4, un exemple de tracé sur trois segments de droite,
- la figure 5, un organigramme des étapes de segmentation de la scène,
- la figure 6, un organigramme des étapes d'analyse dynamique,
- la figure 7, un exemple d'application d'une technique de connexité spatiale basée sur un voisinage causal,
- la figure 8, un organigramme des étapes d'analyse dynamique des pistes,
- la figure 9, un schéma bloc d'un dispositif pour la mise en oeuvre du procédé selon l'invention,
- la figure 10, un schéma fonctionnel des modules d'acquisition et de pré-traitements des signaux vidéo,
- les figures lia et Il b, respectivement, le niveau de luminance de l'image source et le niveau corrigé du signal de luminance en fonction du champ de la caméra,
- la figure 12, un schéma fonctionnel des modules d'analyse des signaux de luminance et de couleurs,
- la figure 13, un schéma fonctionnel du module de fusion et de segmentation,
- la figure 14, un schéma bloc du module de segmentation,
- la figure 15, un schéma bloc du module de détection d'obstacles, et
- la figure 16, un schéma fonctionnel du module d'analyse dynamique des pistes et du module de présentation des informations,
Le procédé selon l'invention est illustré sommairement par la figure 1.

Le procédé selon l'invention consiste à analyser l'information délivrée par un capteur 1 de type CCD sous forme d'une séquence d'images originales de la scène visualisée à l'avant d'un véhicule pour délivrer en fin d'analyse des images synthétisées de la scène routière et une signalisation du danger. Cette analyse se décompose en une première étape 2 d'analyse statique de chaque image de la séquence d'images et en une deuxième étape 3 d'analyse dynamique de la même séquence d'images.

La première étape 2 utilise l'information luminance du signal vidéo pour extraire les contours et régions pour la détection de la route sur l'image, et utilise l'information couleur afin d'établir un masque global sur l'image, confirmant la présence et la position de la route ainsi que la présence de candidats obstacles sur la route.

La deuxième étape 3 d'analyse dynamique de la séquence d'images, consiste à sélectionner parmi les candidats obstacles, détectés dans la première étape 2, des obstacles répondant à des contraintes déterminées, de dimensions, de position relative par rapport à la route et de niveau énergétique, et consiste à poursuivre les obstacles sélectionnés considérés comme des entités fortes pouvant générer des situations de danger par rapport au véhicule.

La présentation des informations issues du traitement sous la forme d'images synthétisées et d'une signalisation du danger peut ensuite permettre au véhicule de modifier ses paramètres de conduite.

La figure 2 illustre les différentes étapes constituant l'analyse statique 2 du procédé selon l'invention.

L'analyse statique 2 débute par une étape 4 d'acquisition des signaux vidéo à partir de l'image, suivie d'une étape 5 de pré-traitement des signaux vidéo. Les signaux vidéo pré-traités sont ensuite analysés dans une étape 6 d'analyse de contours et de régions, à partir du signal de luminance, et dans une étape 7 d'analyse couleur, à partir des signaux vidéo couleurs.

Une étape 8 utilise une partie des informations issues des étapes d'analyse 6 et 7 pour le remplissage de la route. L'analyse statique se poursuit par une étape 9 de fusion globale de toutes les informations acquises depuis le début de l'analyse statique 2 et se termine par une étape 10 de segmentation statique de la scène visualisée par le capteur CCD 1 pour permettre l'extraction de la route et la localisation des candidats obstacles sur la route.

La première étape 4 correspond à l'étape d'acquisition des signaux vidéo constituant chaque image de la séquence d'images. Les séquences d'images routières sont enregistrées par exemple sur un magnétoscope au format S-VHS et sont, par exemple, numérisées selon le standard digital 4-2-2, utilisant une fréquence d'échantillonnage de 13.5 MHz, pour le signal de luminance Y et une fréquence d'échantillonnage de 6.75 MHz pour les signaux de chrominance correspondant respectivement aux différences de couleurs rouge R et bleue B, Dr = R-Y et
Db = B-Y. Des fichiers numériques de 576 lignes de 720 points, pour le signal de luminance Y, et de 576 lignes de 360 points pour chaque signal de différence de couleur Dr et Db, sont ainsi obtenus. Les informations de luminance sont utilisées directement pour les différents traitements mis en oeuvre sur ces signaux. Par contre, il est nécessaire d'effectuer un dématriçage des signaux de différence de couleur Dr et Db, afin d'obtenir les signaux couleur Rouge, Vert et Bleu R-V-B. Ceux-ci auront alors la même définition verticale et horizontale que celle du signal de luminance Y. Des études sur la perception des détails fins par le système visuel montrent qu'ils ne peuvent être perçues précisément qu'en utilisant le signal de luminance
Y. Ceci est d'autant plus-vrai que, dans les images réelles, les détails colorés ont des écarts chromatiques faibles, la majorité des couleurs naturelles étant peu saturées. Comme ces détails colorés ne sont pas bien perçus par l'oeil, ils n'ont pas fait l'objet d'une attention particulière pour l'analyse des signaux de chrominance.

La deuxième étape 5 consiste aux pré-traitements des signaux vidéo, c'est-à-dire aux pré-traitements du signal de luminance Y et des signaux couleurs R-V-B. La nature même des scènes extérieures prises par la caméra vidéo montée à bord d'un véhicule impose un pré-traitement des images corrigeant l'illumination de la scène à la suite d'une variation d'éclairage ou d'un mouvement brutal du véhicule et ce, quelle que soit l'image de la séquence.

En pratique, une telle contrainte est difficile à tenir car il faut prendre en compte un nombre élevé de paramètres sur la scène à analyser.

Le nombre de véhicules roulant sur la chaussée peut par exemple abaisser le niveau moyen de luminance de l'image si ceuxi;i sont de couleur sombre et qu'ils masquent la route sur laquelle la lumière d'ordinaire se réfléchit. De plus, les ombres portées par ces véhicules renforcent ce phénomène. La luminosité de la scène n'est pas uniforme sur toutes les parties de l'image.

Une solution consiste à effectuer une normalisation du signal de luminance suivie d'une pondération de la correction apportée sur le signal en fonction de la distance. La vision en perspective de la scène et sa représentation projetée dans le plan image fait que le niveau moyen d'une région en champ proche est généralement plus faible que celui d'une région proche du foyer d'expansion de la scène, soit en champ lointain, où l'éclairement dû au ciel joue un rôle plus important.

Un premier avantage de la normalisation de la gamme des luminances est qu'elle permet de s'affranchir du problème d'adaptativité des seuils de détection du marquage et des candidats obstacles. Un niveau de référence Niv-réf, correspondant au niveau de luminance moyen, est déterminé pour permettre une analyse correcte de la scène, tout en conservant un jeu de paramètres de valeurs similaires pour décrire la scène, ceci pour des séquences pouvant présenter des différences notables de luminance. Le niveau moyen de la scène analysée est noté Niv-moy. Le rapport Niv-réf/Niv-moy est évalué et, si celui-ci est inférieur à 1, cela signifie que le niveau moyen de luminance de l'image est supérieur à celui d'une image "normalisée", et inversement. La normalisation consiste à multiplier le résultat de ce rapport avec les valeurs originales des luminances. II en résulte des images dont la gamme de luminance est bien calée autour du niveau moyen désiré.

Le deuxième avantage se situe au niveau de la variation et de l'adaptabilité des nombreux paramètres entrant en jeu dans les différents modules de traitement. La partie de l'image correspondant au ciel, est de luminance moyenne plus élevée que celle se trouvant juste devant le véhicule. Pour pallier à ces inconvénients inhérents à la prise de vue, le procédé effectue une correction de l'échelle des niveaux de gris des différentes parties de l'image, pondérée par la distance du véhicule à bord - duquel se trouve le capteur CCD.

L'étape 6 d'analyse contourslrégions utilise le signal de luminance pré-traité, avec la possibilité d'effectuer un sous-échantillonnage temporel par une analyse en trame, ceci permettant une architecture plus simple pour le traitement liée au temps de calcul des différents traitements.

Cette étape est décrite partiellement dans la demande de brevet citée précédemment. L'étape 6 consiste, pour l'analyse contours, à stocker les valeurs du signal de luminance au niveau trame, dans un tableau de dimension déterminée. Chaque élément de ce tableau est codé par exemple sur 8 bits, le signal de luminance étant défini par 256 niveaux de gris. Le calcul de l'amplitude des contours s'effectue par exemple à l'aide d'opérateurs gradient de type PREWITT réalisant des masques de convolution, en horizontal et en vertical. Ces masques de convolution, de dimension faible, par exemple (5x5), se prêtent bien à des applications en temps réel, grâce à la structure de leur noyau, telles qu'additions ou soustractions binaires. Un tableau de dimension déterminée est obtenu représentant le résultat du calcul de l'amplitude des contours, codé sur 16 bits, pouvant être ramener sur 8 bits sans dégradation importante des résultats. Ce tableau donne l'image ima-nrj des amplitudes des gradients d'énergie du signal de luminance. Un pré-traitement sur l'image des contours est ensuite effectué. Ce pré-traitement effectue un filtrage moyenneur sur l'image ima-nrj des amplitudes des gradients. Le support du filtre est de faible dimension par exemple (5x5).

L'analyse des régions selon l'étape 6 consiste ensuite à calculer la caractéristique de chaque région à partir de l'image ima-nrj des amplitudes des gradients du signal de luminance puis à extraire l'information "bords de route" à partir des données liées aux contours. Cette analyse utilise les données précédemment calculées avec un traitement supplémentaire qui permet de fermer les régions d'intérêt. Afin d'améliorer la robustesse de la méthode pour l'obtention de zones connexes, L'analyse est donc complétée par un traitement destiné à assurer une fermeture de la région route. Ce traitement illustré par l'organigramme de la figure 3 permet de traiter le cas des lignes de rives droites quand elles existent en examinant, sur l'image des moyennes des amplitudes des gradients ima-r, les zones de luminance supérieure à un seuil déterminé. Pour augmenter la confiance de la détection du marquage, il examine également sur l'image source normalisée, les points d'amplitude supérieure à un seuil déterminé.

Ce double examen permet d'obtenir, sur des zones bien délimitées, les points de marquage horizontal correspondant aux lignes de rive droite. Une procédure de filtrage des zones détectées selon des critères de taille minimale donne une liste de segments pour fermer les bords droits de la route.

Le traitement de fermeture de zones de la figure 3 comporte une première étape 11 de détection du marquage, une deuxième étape 12 de recherche des zones comportant une taille minimale déterminée et une troisième étape 13 de modification des zones retenues.

La figure 4 illustre un exemple de tracé obtenu à partir du traitement de fermeture de zones.

Pour chaque segment de marquage, un nombre déterminé d'attributs caractéristiques est calculé tel que hauteur h, largeur I, coordonnées des points extrêmes (xmîn, Yin), (xmax, ymax) Les hauteurs et largeurs sont calculées à partir des points extrêmes:
h = (Ymax - ymin)
I = (xmax - xmin)
Ces caractéristiques sont utilisées pour le tracé de trois segments de droite seg.1, seg.2 et seg.3.

Un premier segment vertical Seg.1, de longueur égale à (h-10) points, prolonge vers le haut le segment réel à partir du point (min, Yin).

Le second segment Seg.2 de longueur (h+5) points est tracé à partir du point (xmax, Ymax) au point de coordonnées (xmax+ll ymax+h+5) et
le troisième segment horizontal Seg.3 de longueur 25 points est tracé à partir du point (x1 =xmax+I -2, yî =ymax+h+S) au point (xi +25, yi).

Ces segments Seg.1, Seg.2 et Seg.3 tracés sur l'image permettent de rendre connexe la région route, en prolongeant les vrais segments de rives sur la chaussée. Cette fermeture de zones s'utilise dans n'importe quel type de voies, sachant que le prolongement ne s'effectue que sur les segments de rives de taille suffisante.

Pour obtenir une information relative à l'énergie du signal dans un voisinage local du point considéré, en évitant les problèmes de bruit et de détection quadratique, L'analyse ne prend que la valeur simple de ce signal, pour des raisons de temps de calcul. Un tableau de dimension déterminée représentant le résultat du calcul de la caractéristique "région", codé sur 8 bits est obtenue à l'issue de l'analyse. Un masque binaire est ainsi obtenu dans lequel figurent les régions de forte énergie qui correspondent à des zones délimitées par des contours. II s'agit essentiellement de la limite "horizon" séparant le paysage du ciel, des bords de route, du marquage horizontal tel que lignes de rives et bandes axiales, des "candidats obstacles" présents sur la chaussée et de toute autre région à fort gradient en dehors de la route telle que des arbres, poteaux indicateurs, piles de pont etc...

L'analyse couleur de l'étape 7, est partiellement décrite dans la demande de brevet citée précédemment.

La méthode utilisée dans cette analyse tient compte de l'aspect architecture pour une réalisation en circuits rapides, et des hypothèses selon lesquelles il est possible de trouver des informations caractéristiques spécifiant l'appartenance ou non à la route des régions analysées.

L'analyse couleur 7 effectue une partition en deux classes: route et non-route. L'extraction des caractéristiques est immédiate, un point d'image étant représenté par un triplet R-V-B.

L'espace des caractéristiques étant déterminé, les opérations de décorrélation et de réduction sont regroupées en une seule étape.

L'hypothèse de départ est que la discrimination de la route peut s'accomplir par le fait que celle-ci ne comporte pas de dominante colorimétrique verte ni rouge. Les constituants des chaussées font généralement que le revêtement a une teinte bleue ou grise. L'analyse consiste à maximiser l'écart entre les informations discriminantes des deux classes route et nonroute.

Pour cela, L'analyse couleur détermine l'écart maximal existant entre la composante moyenne bleue et la composante moyenne rouge ou verte.

Le masque couleur est constitué par les points d'image répondant de manière positive au test suivant:
Soit VAL-R, VAL-V et VAL-B, les valeurs respectives des canaux muge, vert et bleu, d'un point d'image.

Soit MAX-R-V, la valeur maximum des deux composantes VAL-R et VAL-V, L'analyse attribue une valeur VAL-PIX, au point d'image analysé si le point de composante bleue est d'intensité inférieure ou égale à la valeur
MAX-R-V, si non le masque est mis à zéro. La valeur VAL-PIX correspond à l'écart entre les valeurs MAX-R-V et VAL-B. Si cet écart est supérieur à un seuil déterminé S-MASK, le point considéré est affecté à la classe nonroute.

Les points de ce masque ne représentent qu'une partie de la classe non-route, mais ils sont avantageusement positionnés de telle façon qu'ils renforcent généralement la détermination des frontières des régions et des bords de route.

Le masque obtenu, conjointement à l'analyse contours/régions, permet l'extraction fine de la route.

La détection est améliorée, en réalisant un filtrage passe-bas de type moyenneur1 de support (3x3), avant la décision d'affectation des points du masque. L'opération de moyennage (3x3) peut être réalisée de manière très rapide à l'aide de circuits dédiés.

L'étape 8 de remplissage de la route, reprend en partie l'étape de remplissage décrite dans la demande de brevet précédente.

L'étape 8 de remplissage de la route est basée sur l'hypothèse selon laquelle les véhicules sont placés sur les voies de roulement, et la première étape du traitement consiste en une extraction de la route suivie dans un second temps, par la détection des obstacles éventuellement présents sur la chaussée. Les informations disponibles sont les informations relatives à la position des bords de route, provenant d'une part de l'analyse contours, d'autre part de l'information liée à la valeur du gradient d'énergie du signal de luminance précédemment calculé. Un processus de détection de marquage sur la chaussée rajouté par le procédé selon l'invention permet en outre de localiser, de façon précise, les voies de roulement situées entre les lignes de rive externes de la chaussée. L'analyse couleur restitue un masque global de type région, indiquant les positions des différents centres d'intérêt de la scène route, ciel, zones vertes,... Une phase suivante permet la détection de la route, à partir de l'information issue de l'énergie du signalde luminance calculée précédemment. Un seuillage est effectué sur l'image obtenue par l'analyse région de l'étape 6 afin d'obtenir des niveaux de luminance permettant de faire ressortir les contours des régions sur l'image.

Une première détection des bords de route est ainsi obtenue avec une meilleure confiance que celle qui aurait été obtenue avec un simple seuillage sur l'image originale. Le problème de la détection de la route se résout par le coloriage, ou remplissage, de la région délimitée par ces bords de route, qui sont devenus, par les différentes opérations successives, des segments connexes. L'étape 8 de remplissage utilise ensuite une méthode de fermeture des régions permettant de couvrir une zone ou région entière sans "débordement", et en évitant d'avoir un masque comportant des points de fuite. Cette méthode consiste, dans un premier temps, à repérer un point intérieur aux contours désignés de manière automatique, correspondant à la route dans l'hypothèse de présence de celle-ci devant le véhicule. Après quoi l'algorithme propage le remplissage de la route, dans les balayages horizontaux et verticaux, jusqu'à la présence des points contours où le remplissage s'arrête. Ces points contours, sont les points frontières routebords. Cette méthode fait appel à la notion connue de connectivité.

La procédure d'extraction de la route s'effectue ensuite par un remplissage de la région délimitée par les bords de route devenus, par les différentes opérations précédentes, des segments connexes.

Les paramètres d'entrée comportent les limites d'analyse et le point d'initialisation de la fonction de remplissage de la classe route. Celui-ci est pris dans la partie basse de l'image et pointe au milieu de la ligne choisie. La ligne de fin de remplissage est située à la moitié du nombre de lignes de l'image. L'image obtenue à l'issue de l'étape de remplissage comporte les zones de marquage de rives, les zones d'énergie importante correspondant aux marquage et obstacles potentiels, et le masque de la classe non-route. Les autres points de l'image sont initialisés à un niveau déterminé correspondant à une classe fond de l'image. L'étape de remplissage teste ensuite si le point d'initialisation correspond à un point affecté à la classe fond. Si c'est le cas, le remplissage commence, sinon une liste d'autres points d'initialisation est prévue, par exemple les coordonnées initiales décalées d'une certaine valeur afin d'obtenir un point de coordonnées correctes. Le remplissage consiste ensuite, à partir du point d'initialisation, à affecter le niveau de la classe route aux points situés à gauche et à droite qui sont classés au niveau fond et qui sont délimités par les contours correspondant aux frontières de la chaussée. Chaque ligne est ainsi examinée et les points testés avec des contraintes de voisinages.

Cette méthode est très rapide, les points d'arrêt extrêmes étant donnés par les contours fermant la région d'intérêt.

L'intérêt du masque couleur, correspondant à la région classée, non-route, réside dans la possibilité de couvrir une zone entière sans débordement, évitant d'avoir des points de fuite, préjudiciable à la fonction de remplissage, malgré la procédure de fermeture des lignes de rives décrite dans l'étape 6 d'analyse contours/régions.

Une procédure de remplissage de la zone de ciel peut être mise en oeuvre de manière similaire, sous réserve que le niveau moyen de luminance de l'image source soit compris entre certains valeurs limites déterminées. Ceci permet d'éviter d'avoir un remplissage du ciel dans des conditions limites d'éclairement de la scène. Seules les coordonnées du point d'initialisation ainsi que les limites d'analyse sont alors modifiées.

L'étape 9 de fusion des informations consiste à superposer les trois masques issus respectivement de l'analyse du signal de luminance, de l'analyse des signaux vidéo couleur, et de l'analyse du marquage horizontal, quand il existe, afin d'obtenir un masque global de la scène, et consiste ensuite à gérer les informations contenues dans le masque global. Les informations, venant des deux analyses des signaux de luminance et de couleur, permettent d'extraite de façon précise les voies de roulement.

L'information contourslrégions permet une détection des bords de route et des marquages horizontaux. Elle permet également d'établir une localisation des obstacles potentiels situés sur la route, devant le véhicule.

L'information couleur accentue la confiance du masque de la route obtenu initialement, surtout dans le cas où il n'existe pas de bords francs aux frontières de la chaussée et permet une fermeture des zones d'accotement, favorisant ainsi l'obtention d'un masque global de la route.

L'information de marquage horizontal est également prise en compte, quand elle existe. Par exemple sur voies autoroutières, les voies de roulement sont délimitées de part et d'autre par des lignes continues à gauche et discontinues ou continues à droite. De plus, les voies de roulement sont généralement balisées par un marquage central autorisant éventuellement un contrôle du positionnement du véhicule sur la route.

L'image globale de la scène obtenue permet de distinguer trois régions distinctes: non-route, route et ciel. La région correspondant à la région non-route est bien délimitée, la région route est la zone complémentaire entre la région ciel correspondant au haut de l'image jusqu'à la ligne virtuelle de l'horizon, et la région non-route.

L'étape 10 de segmentation de la scène est la dernière étape de l'étape 2 d'analyse statique

Dans un premier temps une étape 14 de calculs statistiques
calcule le niveau moyen et l'écart-type de la luminance de la classe route.

Les deux premières images ima-s et ima-r sont utilisées, la première
donnant la valeur de luminance du point considéré et la deuxième indiquant
les points classés en route. Cette étape 14 de calculs statistiques permet un
calcul automatique du seuil de luminance pour la détection du marquage
central et des limites des voies. Pour ce faire, il est supposé que la
distribution des points constituant les régions route, de roulement marquage
et autres, suit une loi gaussienne, et que le marquage horizontal est de
luminance supérieure au niveau moyen des luminances des points de la classe route. L'étape 15 suivante recherche et classifie les zones de fortes
énergies. Un premier test consiste à ne prendre en compte que les points d'image n'appartenant pas aux classes route, ciel et ni au masque couleur, c'est-à-dire les points dont les zones d'énergie importante se situent sur les voies de roulement. Si le résultat de ce premier test est positif, la valeur du
point considéré dans l'image des amplitudes des gradients est comparée à
un seuil S-marquage, de valeur déterminée, et les valeurs des amplitudes des gradients du signal de luminance supérieures au seuil S-nrj-marquage, pour les points situés sur la chaussée, sont recopiées dans l'image de sortie. Sinon les autres points de la région d'intérêt d'énergie plus faible sont mis à un niveau Fondn déterminé de fond de l'image. L'étape 16 de détection du marquage calcule un seuil déterminé à partir de la distribution des points appartenant à la région route: ce seuil est déterminé comme la valeur moyenne de cette distribution à laquelle est ajoutée un nombre déterminé de fois a la valeur de l'écart type calculée dans l'étape 14 précédente. La valeur du coefficient a dépend de la distribution des points appartenant à la région route, car la détection du marquage horizontal doit être précise et ne pas comporter de zones de la classe route pour limiter la probabilité d'avoir des fausses alarmes peut prendre, par exemple, une valeur entière comprise entre 1 et 4. Le seuil est donc obtenu par la formule suivante:
S-marquage = moy-r + a.écart
avec moy-r, la luminance moyenne de la route et écart, I'écart
type de la luminance de la route.

Des valeurs minimales et maximales limitent la gamme de valeurs possibles du seuil de détection de marquage. L'image des amplitudes des gradients ima-nrj est également utilisée pour la détection du marquage. En effet, L'image ima-nrj permet d'obtenir les points de forte énergie parmi lesquels les candidats de la classe marquage horizontal sont répertoriés, sous couvert qu'ils soient, d'une part sur la route, par exemple la ligne médiane, ou sur les bords gauche et droit, et d'autre part que ces points aient des valeurs de luminance supérieures à un seuil déterminé de détection du marquage. Un renforcement de la délimitation des lignes de marquage est effectué afin d'avoir des zones connexes, sans décrochage néfaste à l'obtention de frontières précises. Pour cela, L'étape 17 procède à une dilatation, au sens morphologique du terme, des points désignés comme appartenant au marquage horizontal. La taille du support de dilatation, ou fenêtre d'analyse, est liée à la distance séparant le véhicule, à bord duquel le système de vision est embarqué, du point de fuite de la perspective. II est souhaitable, en effet, d'effectuer une fermeture des zones de la classe candidat marquage avec un support de dilatation variable, prenant en compte l'aspect taille des zones visualisées.

Une dilatation du marquage est faite à l'aide d'une fenêtre d'analyse de dimension variable selon la position de la zone étudiée. Les dimensions de la fenêtre d'analyse du voisinage du point courant sont liées aux numéros des lignes analysées. Elles vont par exemple de la taille minimum (3x3) à celle maximum (31x31).

La route est également soumise à une procédure de dilatation qui permet d'obtenir des zones plus homogènes, ceci avec une fenêtre de dimensions fixe, (3x3) par exemple.

Sans sortir du cadre de l'invention, il est également possible d'obtenir plus de deux classes dans la segmentation globale de l'image. II suffit de définir, de la même façon, des distances inter-classes parmi les points de l'entité non-route.

La méthodologie utilisée est pratiquement plus simple encore, car la détection des classes marquage, ciel, et zones d'énergie importante, est déjà réalisée. Une cartographie de l'image est ainsi décomposée en sept classes, en y incluant la classe route, et sont définies par les zones suivantes:
- une zone verte correspondant à la végétation,
- une zone ciel,
- une zone marquage horizontal et lignes de rives,
- une zone à forte énergie contenant des candidat obstacles,
- une zone à énergie moyenne contenant les panneaux de
signalisation, ponts,...etc, et
- une zone de rejet contenant tout ce qui est hors classification.

Un exemple de dimensions des fenêtres de dilatation est donné ci-après à titre indicatif.

Les supports de dilatation vont de la dimension minimale de (3x3), correspondant à une zone proche du point de fuite optique, éloignée du véhicule, à celle maximale de (31x31) correspondant à une zone proche du véhicule.

A partir des candidats marquage précédemment détectés,
I'opération de dilatation permet une fermeture des zones connexes.

Les résultats de détection des lignes de rives sont de bonne qualité, surtout lorsque le véhicule roule sur des voies express ou autoroutières.

Lorsque les conditions de visibilité sont bonnes par temps clair, et sans pluie et que l'état des routes ne présentent pas d'irrégularités du type déformation de la chaussée, terre sur les bords de route,...etc, les segments de route et de marquage obtenus sont corrects.

Cependant, il est clair que l'interprétation de la scène se trouvera être plus délicate, si une dérive des conditions normales du contenu des images, tels que des ombres sur la chaussée, des nids de poules, des flaque, des virages,...etc, est observée.

Une première étape supplémentaire effectuant une modélisation de la route et des lignes de rives, peut être envisagée pour permettre d'obtenir une amélioration possible concernant tant l'extraction de la route que la détection du marquage.

Une deuxième étape supplémentaire travaillant sur le problème de détection de marquage peut être mis en place. Des contraintes géométriques sur la forme des lignes de marquage peuvent permettre d'obtenir une détection de très bonne qualité. Cette étape peut également se charger de la partie modélisation de la route, ceci pour améliorer la segmentation des voies de roulement dans les cas de virages, sommets de côtes et descentes.

A partir de l'analyse statique effectuée dans l'étape 2 sur chacune des images d'une séquence d'images perçues par le capteur CCD, L'analyse dynamique de la séquence d'images constituant l'étape 3 du procédé selon l'invention, illustrée par la figure 6, débute par une étape 18 de détection robuste des obstacles puis se poursuit par une étape 19 de calcul des paramètres associés à une zone déterminée définissant une piste.

Une étape 20 de pistage des obstacles validés par les étapes précédentes permet de suivre le mouvement des obstacles tout au long de la séquence d'images puis une étape 21 d'analyse dynamique des pistes permet d'interpréter les différentes informations issues des étapes précédentes avant de les représenter de façon synthétique et suffisamment explicite pour être exploitable par le conducteur du véhicule dans une dernière étape 22 de présentation des informations.

La détection des obstacles est basée, comme la plupart des étapes du procédé selon l'invention sur la collaboration d'informations qui sont extraites de manière indépendante, sur des données elles-mêmes plus ou moins décorrélées.

De cette façon, davantage de confiance est obtenu sur le résultat de la décision, en complétant les connaissances extraites de l'analyse d'un paramètre avec celles déduites d'autres attributs.

L'étape 18 de détection robuste des obstacles sur la route consiste en une classification des points d'un voisinage pondéré selon l'étape de segmentation 10 de l'analyse statique 2.

Cette classification consiste en un étiquetage des zones comportant un candidat obstacle permettant d'affecter, dans l'image, des zones à des étiquettes selon une gestion simple, et de calculer quelques attributs sur ces zones. Ceux-ci permettent ensuite d'effectuer un suivi d'obstacles, avec un jeu de paramètres représentatifs. Une liste "obstacles" est créée à partir de listes "détection" et "attributs de zones". Une première analyse est faite en partant des informations relatives aux détections des candidats obstacles. Une alarme est affectée aux points détectés comme candidats, et les points alarmes sont regroupés, selon un environnement spatial donné. Plusieurs types de technique de connexité spatiale peuvent être utilisés pour les zones détectées. Cependant, il est avantageux de ne retenir qu'un voisinage causal, pour des raisons de rapidité de traitement.

Un exemple de technique de connexité spatiale basé sur un voisinage causal est illustré par la figure 7.

Soit un point courant P d'une image de coordonnée (x, y) et quatre points A, B, C et D voisins de coordonnées respectives (x-l, y), (x-1, y-l), (x, y-l) et (x+l, y-l). Le point courant P de coordonnées (x, y) et ses quatre points voisins A, B, C, D sont analysés pour connaître les dimensions de la zone détectée comme obstacle potentiel. Cette caractéristique permet d'effectuer un filtrage des zones de petite taille sur chacune des zones détectées. Les zones de dimension supérieure à une taille minimale déterminée sont étiquetées et des attributs caractéristiques sont calculés.

La sélection des zones est faite par une procédure de recherche des points connexes dont la valeur est supérieure à un seuil déterminé. La connexité spatiale retenue permet de n'avoir qu'un seul balayage de l'image ce qui revient à effectuer une analyse séquentielle. A chaque point, est affecté un vecteur d'état, et en fonction de l'environnement causal de ce point, la décision d'appartenance à une zone connexe est prise et les paramètres de celle-ci sont actualisés par l'étape suivant 19 de calcul des paramètres.

Les paramètres associés à une zone sont les suivants:
- le numéro de la zone,
- le nombre de points,
- la hauteur,
- la largeur,
- les coordonnées du point début,
- les coordonnées du point fin,
- les coordonnées du centre de gravité,
- la valeur moyenne de la luminance,
- la valeur maximum de la luminance, et
- la valeur minimum de la luminance.

Un seuil déterminé sur la taille de zone permet d'éliminer les zones de taille insuffisante pour être pertinentes.

A l'issue de ce traitement, une liste de zones, définissant un ensemble de points connexes labellisés, est disponible. II est nécessaire d'avoir des attributs caractéristiques de ces zones1 dans le but de pouvoir les suivre temporellement.

L'analyse statique 2 a permis d'obtenir des obstacles bien délimités spatialement par un filtrage effectué sur le voisinage de ceux-ci.

L'étape 20 de pistage des obstacles consiste en une analyse spatio-temporelle des obstacles détectés dans l'analyse statique 2 et permet de les valider et de les suivre tout au long de la fréquence.

Les zones, ou pistes, validées à l'image précédente, qui correspondent à une affectation des zones obstacles avec leurs paramètres caractéristiques calculés précédemment sont mises en correspondance avec les obstacles détectés à l'image courante, sur les critères de position en x et en y. Deux cas peuvent se présenter pour une zone courante examinée:
Dans un premier cas la zone ne correspond pas à une piste déclarée selon le critère spatial déterminé1 alors le processus initialise une nouvelle piste qui vient s'ajouter à celles suivies précédemment.

Dans un deuxième cas la zone entre dans la catégorie "piste suivie", L'étape 20 actualise les caractéristiques de cette zone avec l'étiquette correspondant à l'étiquette de la zone précédente.

Le pistage des obstacles comporte plusieurs phases.

Une première phase initialise un tableau indicé sur les pistes donnant l'état d'une piste dans une image.

Une deuxième phase filtre les alarmes pour ne conserver que les alarmes correspondant à des obstacles confirmés et jugés dangereux en fonction de leur distance par rapport au véhicule.

Une vérification sur les alarmes est effectuée en utilisant comme critère qu'une même alarme ne doit pas être présente sur plusieurs pistes.

Si c'est toutefois le cas, cette étape conserve la plus pertinente, c'est-à-dire si l'écart de distance entre deux alarmes consécutives, correspondant à deux obstacles consécutifs, est d'environ 20%, sinon c'est l'obstacle le plus proche du véhicule, en utilisant par exemple une discrimination en Y, qui est retenu.

Une analyse des pistes est ensuite faite dans laquelle les alarmes sont examinées grâce au tableau d'état des pistes qui permet de vérifier qu'aucune piste n'a été validée pour l'alarme. Une nouvelle piste peut être présente également, auquel cas le tableau d'état des pistes est initialisé.

Si, par contre, une piste est validée, les attributs de la zone sont chargés dans le tableau correspondant, indicé à son numéro et un compteur de présence de la piste est incrémenté.

L'étape 20 de pistage des obstacles se termine par un test permettant de vérifier la présence des pistes sur plusieurs images. On peut ainsi "geler", "tuer" ou "faire vivre" une piste selon qu'elle est ou non présente et active temporellement.

L'étape 20 de pistage des obstacles peut se résumer en un examen des pistes qui vérifie que si un indicateur repérant une piste est à zéro, cela correspond à une piste vierge, sinon, si l'indicateur est à 1, la piste est considérée comme active et vue, et que s'il est supérieur à 1, il indique le nombre de fois ou la piste est "gelée". L'analyse des attributs
Vitesse et Accélération s'effectue modulo 3 images, afin d'éviter de prendre en compte des effets transitoires perturbants comme les vibrations du véhicule, les inégalités du SOIT etc... De plus, cette analyse bénéficie d'un filtrage temporel sur les données.

L'étape 21 d'analyse dynamique des pistes permet d'obtenir un ensemble d'informations cohérentes et robustes quant à la présence sur les voies de roulement, d'obstacles pouvant présenter un caractère dangereux pour le véhicule. Elle est illustrée par le schéma synoptique de la figure 8. A l'issue de l'étape 20 de pistage des obstacles un fichier 23 des pistes, réactualisé à la cadence vidéo, est disponible. Une analyse 24 des vitesses relatives des obstacles se trouvant sur la route par rapport au véhicule est réalisée. Cette analyse 24 permet l'activation du pistage des obstacles validés et le déclenchement, sur l'obstacle validé, d'informations couleurs correspondant au degrés du danger représenté par l'obstacle au cours de sa progression. Cette activation correspond à l'étape 25.

Deux analyses supplémentaires sont faites: une première analyse supplémentaire 26 analyse le résultat de la segmentation dans une zone de sécurité définie comme la zone placée devant le véhicule et couvrant par exemple environ une trentaine de mètres pour une vitesse du véhicule d'environ 90 km/heure. La taille de la zone de sécurité se détermine en fonction de la vitesse du véhicule, déterminant une distance de freinage minimal, et de la topographie de la route. Une deuxième analyse 27 supplémentaire analyse les positions des pistes par rapport à la zone de sécurité.

En effet, le résultat de la segmentation peut être sujet à caution dans des cas de visibilité médiocre dus à des réverbérations intenses de la lumière sur la chaussée, ou à l'inverse à un passage d'ombres de grandes dimensions qui avec un contraste très élevé réduit la confiance de la segmentation de la route et des objets pouvant s'y trouver. De la même façon, L'analyse des positions des pistes permet de connaître l'état de danger immédiat qu'il faut transmettre au conducteur.

Le résultat de ces deux analyses 26 et 27 est restitué au conducteur sous la forme par exemple d'une signalisation de danger s'apparentant à un feu tricolore très évocateur pour n'importe quel conducteur, et représenté par l'étape 22 sur la figure 6 qui correspond également à la dernière étape de présentation des informations de l'analyse dynamique de l'étape 3.

L'analyse dynamique du procédé selon l'invention peut se résumer principalement par une poursuite des obstacles détectés lors de l'analyse statique, et par un filtrage des fausses alarmes consistant en une validation des alarmes si et seulement si une alarme est présente trois fois de manière consécutive, une autorisation d'une certaine continuité de la détection, gel de la piste et une anticipation lors des situations suivantes:
- un véhicule qui double,
- un véhicule qui roule en contre sens,
- un véhicule qui freine brutalement.

Ainsi l'analyse des paramètres extraits du traitement spatiotemporel permet d'avoir une connaissance supplémentaire de la scène, au niveau interprétation. Les paramètres vitesse relative, accélération des obstacles sont calculés. La vitesse relative se calcule à partir d'un attribut "début de zone". L'analyse dynamique permet d'enrichir la connaissance globale de la scène et d'évaluer le degré de danger que peut occasionner les obstacles détectés sur la chaussée. En l'occurrence, le paramètre vitesse relative donne une information sur le type d'obstacle rencontré, selon les trois classes définies ci-dessous:
- obstacle à vitesse inférieure à la vitesse du véhicule,
- obstacle à vitesse stable et proche de celle du véhicule, et
- obstacle à vitesse supérieure à la vitesse du véhicule.

II est à noter que le résultat du calcul de la vitesse relative dépend de la dénivellation de la mute, et de la stabilité de la caméra.

A titre d'exemple, un scénario possible concernant l'interprétation des informations couleurs du feu tricolore est donné ci-après. Ce scénario retient comme représentation des différentes situations précédentes, un objet symbolisant par sa forme et sa fonction première, la signalisation d'un danger et l'urgence d'une action du conducteur: le feu tricolore.

- Le feu passe au rouge lors d'un danger imminent. Par exemple, un véhicule entre rapidement dans la zone de sécurité, ceci quel que soit l'emplacement du véhicule dangereux.

- Le feu passe à l'orange pour signaler au conducteur qu'un obstacle vient de pénétrer dans la zone de sécurité, avec cependant unevitesse relative raisonnable.

- Le feu reste au vert dans des conditions de conduite normales, sans obstacle potentiel dans la zone de sécurité, avec une bonne visibilité des voies de roulement.

Le schéma bloc de la figure 9 représente les modules d'un dispositif pour la mise en oeuvre du procédé selon l'invention.

Le dispositif comporte neuf modules principaux:
- un module d'acquisition des signaux vidéo, 28
- un module de pré-traitements des Signaux, 29
- un module d'analyse du signal de luminance, 30
- un module d'analyse des signaux couleurs, 31
- un module de fusion des informations, 32
- un module de segmentation de la scène, 33
- un module de détection des obstacles, 34
- un module d'analyse dynamique des pistes 35, et
- un module de présentation synthétique d'informations au conducteur du véhicule, 36.

La figure 10 représente un schéma fonctionnel des modules d'acquisition 28 et de pré-traitements 29 des signaux vidéo, chaque module étant respectivement délimité par une ligne fermée discontinue.

Le module d'acquisition 28 comporte un moyen 37 de filtrage demi-bande utilisant par exemple un filtre à 11 coefficients couplé à un moyen 38 de transformation des signaux luminance Y et de différence de couleur Dr-Db, en composantes couleurs R-V-B.

Un test de réduction de format 39 en entrée du module d'acquisition 28 est effectué sur le format des images sources ima-s injectées à l'entrée du dispositif. Si le format de l'image source ima-s correspond à un format prédéterminé, le résultat du test 39 est négatif et les signaux Y-Dr-Db de l'image sont appliqués directement sur une première entrée du moyen de transformation 38 des signaux. Si le résultat du test est positif, L'image source ima-s est injectée à l'entrée du moyen de filtrage pour modifier le format de l'image source ima-s. Le moyen 38 de transformation des signaux reçoit également sur d'autres entrées des coefficients déterminés de transformation Cy, Cr, Cv, Cb, CL et ss En reprenant l'exemple précédent introduit dans l'étape 4 d'acquisition des signaux vidéo dans lequel une séquence d'images est enregistrée au format S-VHS, une numérisation des fichiers d'images aux normes 4-2-2, c'est-à-dire des fichiers de 720 points par ligne d'image, avec 576 lignes par image, est réalisée. Pour des raisons de temps de calculs, le traitement est effectué sur des images au format 1/4 aux normes 4-2-2, soit 360 points pour chacune des 288 lignes. D'autres formats d'images peuvent être réalisés et dépendent de la carte d'acquisition employée, mais alors certains paramètres doivent être adaptés à la dimension effective des images.

Cependant il ne semble pas opportun de traiter des images de taille inférieure au format 256x256 car certaines zones importantes de l'image pourraient ne plus être détectées, surtout en champ moyen et lointain.

Une solution encore plus rapide pour le traitement des données peut consister à ne prendre qu'un point sur deux et une ligne sur deux directement sur le signal original, en n'effectuant pas de filtrage 1/2 bande.

Une telle solution est difficilement envisageable compte tenu des différents traitements qui suivent l'étape d'acquisition 28. En effet, le but recherché n'est pas de présenter in fine une image de qualité comparable à celles imposées dans les normes de studio ou de transmission. De plus, il est généralement fait appel, dans les différentes analyses connues, à des traitements de type filtrage moyenneur, dans lesquelles le signal original est déjà modifié.

Dans l'exemple précédent les signaux de luminance Y et des différences de couleur Dr et Db sont numérisés à partir des signaux issus de la caméra embarquée dans un format S-VHS. Pour effectuer l'analyse couleur il est nécessaire d'effectuer un dématriçage des signaux de luminance Y et de différence de couleur Dr et Db. Ce dématriçage est effectué par les moyens de transformation des signaux 38 qui calculent les composantes rouge R, bleue B et verte V en fonction d'une relation déterminée pour chacune des composantes entre le signal de luminance Y et les signaux de différence de couleur Dr et Db pondérés respectivement par les coefficients de transformation Cr, Cb et Cv. Chaque composante R,
V, B est ensuite codée par exemple sur 8 bits et se présente sous la forme d'un tableau ,de n colonnes et n lignes.

Le module de pré-traitements 29 comporte un moyen 40 de normalisation du signal de luminance couplé à un moyen 41 de pondération sur le même signal. Le module de pré-traitements 29 comporte également des moyens 421, 422 et 423 de moyennage des signaux R-V-B de sortie du moyen 38 de transformation de Signaux.

Le moyen de normalisation 40 reçoit sur son entrée l'information de luminance de l'image source ima-s directement ou après filtrage, suivant le résultat du test 39, par le moyen de filtrage 37. Le signal de luminance normalisé est ensuite appliqué à l'entrée du moyen 41 de pondération.

Un niveau moyen, moy-ima, du signal de luminance Y de l'image source, ima-s, est calculé par le moyen de normalisation 40.

Un coefficient de normalisation coeff-moy-ima est déterminé à partir du niveau moyen de normalisation moy-ima et il est donné par exemple par la formule suivante:
(1) coeff-moy-ima = 100/(moy-ima)
La gamme de valeurs possibles de ce paramètre, pour un signal de luminance codé sur 8 bits, est de l'ordre de 0.4 à 6, pour des valeurs extrêmes du signal comprises entre 240 et 16. En général le niveau moyen est proche du niveau moyen statistique. Dans cet exemple, la borne minimale est limitée à 0.7, soit un niveau moyen maximum de 143. Une correction de luminance peut être effectuer sur toute l'image ou sur une région particulière de l'image. Pour corriger la gamme des valeurs de luminance uniquement dans les zones d'intérêt de la scène, il suffit de définir les bornes d'analyse. Dans l'exemple précédent, pour une image ayant 288 lignes, l'horizon est généralement placé un peu au dessous de la moitié de la hauteur de l'image. L'analyse de la scène s'effectuant sur la route, la pondération de la luminance est alors limitée à cette zone globale définie entre les lignes 144 à 288.

L'augmentation de contraste se fait de manière progressive selon la distance entre les points de l'image et le plan de la caméra comportant le capteur CCD. Le coefficient de correction tient compte du numéro de la ligne analysée: il est par exemple donné par la formule suivante
(2) corr = (lig/14.4) - 10 où corr est le coefficient de correction et lig la ligne analysée.

Une gamme de valeurs allant de 0 à 10 est ainsi obtenue pour la - seule région d'intérêt. Dans le cas de l'analyse complète de l'image, les valeurs du coefficient de correction corr sont dans la gamme allant de -10 à +10. La loi d pondération de la correction peut s'établir par la formule suivante:
(3) lum-new = lum-old*coeff-moy-ima+ corr où lum-new et lum-old correspondent respectivement à la nouvelle et à l'ancienne valeur de luminance. Cette nouvelle valeur de luminance est également codée sur 8 bits.

La loi de pondération est déterminée pour prendre en compte les variations des niveaux d'énergie des gradients d'énergie en fonction de la profondeur de champ. II est souhaitable d'avoir un niveau relativement constant de la luminance moyenne sur un nombre d'images important, afin d'éviter les oscillations possibles des différents paramètres.

En résumé les moyens de pré-traitements 40 et 41 ont comme paramètres, calculés automatiquement, un coefficient de normalisation déterminé par la formule (1) et un coefficient de correction déterminé par la formule (2).

Les figures Il a et Il b illustrent une loi de correction effectuée sur la gamme de luminance des images. En abscisse, est représenté le nombre de lignes vidéo utiles, en ordonnée, le niveau de correction à appliquer à l'échelle des niveaux de gris. Dans cet exemple la luminance peut varier entre une valeur minimale -NC et une valeur maximale +NC de sa valeur initiale.

Ainsi, un niveau moyen de luminance relativement constant est obtenu lors d'une analyse partant du bas de l'image, en champ proche de la caméra vers le haut de l'image en champ lointain, convergeant vers le point perspective de la scène.

La figure 12 représente un schéma fonctionnel du module 30 d'analyse du signal de luminance et du module 31 d'analyse des signaux couleur. Chaque module est délimité par une ligne fermée discontinue. Ces deux modules 30 et 31 reçoivent respectivement sur leur entrée l'image source normalisée ima-s dont le signal de luminance Y a été pré-traité par les moyens de normalisation et de pondération 40 et 41 et les composantes couleurs R-V-B prétraitées par les moyens de moyennage 421, 422 et 423
Le module d'analyse du signal de luminance 30 comporte dans l'ordre unmoyen 43 de calcul de l'amplitude des gradients dont la sortie est couplée à l'entrée d'un moyen 44 de calcul de la moyenne des amplitudes des gradients. La sortie de ce moyen 44 est couplée à une première entrée d'un moyen 45 de fermeture des zones pour les lignes de rives droites. Le moyen 45 de fermeture des zones pour les lignes de rives droites reçoit sur une deuxième entrée l'image source ima-s. Sa sortie est couplée à un moyen 46 de seuillage fixe.

Le moyen de calcul de l'amplitude des gradients 43 comporte par exemple un filtre de convolution de type PREWITT de support (5x5). La séparabilité du calcul en en évitant les problèmes de bruit dus à une détection quadratique ou l'énergie calculée de manière classique serait donnée par le carré du signal à mesurer, dans une fenêtre centrée sur le point courant.

La robustesse de la méthode retenue et sa plus grande simplicité du point de vue opérationnel (25 multiplications par point en moins) permettent de ne prendre en compte que la valeur simple du signal. L'image région, image, obtenue en sortie du moyenneur 44 correspond a un tableau de dimension déterminée, codé sur 8 bits, qui représente le résultat du calcul de la caractéristique région pour chaque point de l'image.

La sortie du moyenneur 44 est couplée à une première entrée du moyen 45 de fermeture de zones. Ce moyen 45 reçoit sur une deuxième entrée l'image source normalisée ima-s. II permet de traiter le cas des lignes de rives droites en examinant, sur l'image ima-r des moyennes des amplitudes des gradients, les zones dont la luminance est supérieure à unseuil déterminé S-nrj-rive. La valeur de ce seuil est fixée par exemple à 80.

Ce moyen 45 examine également sur l'image source ima-s normalisée les points d'amplitude supérieure à un seuil déterminé S-rive dont la valeur est fixée par exemple à 100. Une valeur déterminée laz limite l'analyse des zones d'intérêt.

La sortie du moyen 45 de fermeture de zones est ensuite couplée à l'entrée du moyen 46 de seuillage.

Le moyen 46 de seuillage de l'image ima-r permet d'obtenir des zones de forte énergie qui correspondent à une détection fiable des bords de route et des zones dites "candidat-obstacle" présentes sur la chaussée.

Le seuil utilisé est noté s-nrj. Une valeur optimale déterminée est de 30.

Le module 31 d'analyse des signaux vidéo couleurs de la figure 12 comporte un moyen 47 calculant le maximum max entre les deux composantes rouge R et verte V. Ce maximum max est appliqué sur une première entrée d'un moyen 48 de calcul de la différence diff entre le maximum max et la composante bleue B appliquée sur une deuxième entrée de ce moyen 48. La différence diff ainsi obtenue est appliquée sur la première entrée d'un moyen de seuillage 49 qui reçoit sur une deuxième entrée l'image des régions ima-r délivrée par le module 30 d'analyse du signal de luminance. Le moyen de seuillage 49 comporte un moyen de test, non représenté sur la figure 12, sur la valeur de la différence diff. Si l'écart est supérieur à un seuil déterminé S-coul alors l'image région ima-r est de prédominance verte dont le seuil est déterminé par un paramètre N Vert.

Les modules de fusion des informations 32 et de segmentation de la scène 33 sont illustrés par le schéma fonctionnel de la figure 13. Le module de fusion 32 comporte un moyen 50 de remplissage de la région route à partir de l'image régions ima-r issue du module précédent et reçoit comme paramètres de remplissage une table de points d'initialisation, bpi, des valeurs limites déterminées d'analyse de la zone route, lar, et un niveau déterminé de la route NR. Le moyen 50 de remplissage de la zone route est couplé à un moyen 52 de remplissage de la zone ciel et reçoit également des paramètres de remplissage relatifs au niveau ciel, NC, aux limites d'analyse ciel, lac, et à une table d'initialisation bpi. L'image ima-r issue de ces deux moyens de remplissage, 50 et 51, consécutifs est appliquée sur une première entrée du module 33 de segmentation de la scène qui reçoit respectivement sur une deuxième et troisième entrée l'image ima-s provenant des moyens de normalisation 40 et de pondération 41 du module 29 de pré-traitement des signaux vidéo, et l'image ima-nrj provenant du moyen de filtrage 43 du module 30 d'analyse du signal de luminance. La figure 14 illustre un schéma bloc du module 33 de segmentation délimité par une ligne fermée discontinue. Le module 33 de segmentation de la scène comportent un moyen 52 de calcul statistique de la scène, un moyen 53 de classification des zones de fortes énergies, un moyen 54 de calcul automatique d'un seuil pour la détection du marquage horizontal et un moyen 55 de dilatation par fenêtres d'analyse de tailles variables du marquage et de la route. Ces moyens, 52 à 55, reçoivent comme paramètres un seuil minimal S-min, un seuil déterminé de l'amplitude du gradient d'énergie du marquage S-nrj-marquage, des niveaux déterminés de fond noir NFdn et de marquage NMark.

Le module 34 de détection des obstacles est illustré par le schéma bloc de la figure 15, dans lequel il est délimité par une ligne fermée discontinue. II comporte un moyen 56 de détection des zones de fortes énergies sur l'image supérieure à un seuil fixe déterminé, S-nrj-détection, de dimensions supérieures à une taille minimale déterminée, entourées d'une zone route, hors marquage et végétation. II comporte également un moyen 57 de recherche de zones sombres sur l'image source ima-s, à partir d'un seuil calculé de façon automatique et fonction du résultat des mesures statistiques effectuées sur la route (moyenne, écart-type) et du niveau moyen de luminance de l'image. Ces zones doivent être de taille supérieure à une taille minimale déterminée.

Le module 34 comporte ensuite un moyen 58 d'affectation des obstacles pour chaque zone validée de façon à ce qu'il existe une région commune, de taille minimale déterminée entre les zones de forte énergie et les zones sombres. La détection d'obstacle n'est validée par un moyen de validation 59 que si le nombre de points communs entre les zones de forte énergie et les zones sombres, obtenu par le moyen 58 précédent, est au moins égal à un nombre déterminé, par exemple 10 points.

Le nombre d'obstacles possibles est limité, par exemple, à une vingtaine d'alarmes.

Le module 35 d'analyse dynamique des pistes délimité par uneligne fermée discontinue, et le module 36 de présentation des informations sont illustrés par le schéma fonctionnel de la figure 16.

Le module 35 d'analyse dynamique des pistes comporte un moyen 60 d'initialisation d'un tableau indicé sur les pistes donnant l'état de la piste dans l'image à l'instant précédent t-l. Le tableau est initialisé en début de traitement par une valeur déterminée to d'initialisation injectée sur une première entrée du moyen d'initialisation 60. Il comporte également un moyen 61 de filtrage des alarmes en fonction de leur distances par rapport au véhicule. Une liste des obstacles à l'instant courant t est appliquée à l'entrée de ce moyen 61.

Le module 35 comporte en outre un moyen 62 de mise en correspondance des pistes de l'instant courant t avec les pistes de l'instant précédent t-1 selon les critères de positions des alarmes. La sortie du moyen 62 de mise en correspondance est ensuite couplée à l'entrée d'un moyen 63 de filtrage temporel. La sortie du moyen 63 de filtrage est couplée, d'une part, à une deuxième entrée du moyen d'initialisation 60 pour le réinitialiser à une nouvelle valeur correspondant au dernier état de la piste analysée, et d'autre part, à une première entrée d'un moyen 64 d'analyse dynamique des pistes recevant sur une deuxième entrée l'image région ima-r.

La sortie du moyen 64 d'analyse dynamique, contenant les pistes de l'instant courant t retenues par le moyen précédent et une signalisation
V.O.R appropriée au danger vis-à-vis du véhicule, est couplée à une première entrée du module 36 de présentation des résultats de l'analyse au conducteur. II reçoit sur une deuxième entrée l'image source ima-s et délivre sur sa sortie une scène synthétique représentant les différentes régions route, non-route, les marquages et obstacles ainsi que les indications des dangers potentiels dont l'importance est symbolisée par les trois couleurs du feu tricolore vert, orange et rouge V.O.R.

Claims (6)

REVENDICATIONS

1. Procédé de traitement d'une séquence d'images représentatives d'une scène routière prises par une caméra embarquée à bord d'un véhicule pour l'extraction de la route et la détection d'obstacles consistant dans une étape (2) d'analyse statique de la scène à partir d'un capteur (1 ) de type CCD, à combiner une analyse de l'information luminance des signaux vidéo avec une analyse des signaux vidéo couleurs d'une image, caractérisé en ce qu'il consiste à partir du même capteur (1), dans une étape (3) d'analyse dynamique de la même scène, à valider les informations issues de l'étape (2) d'analyse statique de la scène, et à suivre, tout au long de la séquence d'images, le mouvement des obstacles estimés dangereux par rapport au véhicule, et à présenter à l'utilisateur du véhicule une information rapidement exploitable pour lui permettre de modifier éventuellement la progression du véhicule en fonction de l'importance du danger.

2. Procédé selon la revendication 1, caractérisé en ce qu'il consiste pour l'analyse dynamique (3) de la scène, dans une première étape (18) de détection d'obstacles, à affecter une alarme aux points de l'image détectés comme candidats obstacle dans l'analyse statique (2) et à regrouper les points alarmes selon un environnement spatial déterminé pour former une zone obstacle et à étiqueter les zones obstacles dont la dimension est supérieure à une taille minimale déterminée, dans une deuxième étape (19), à calculer les paramètres caractéristiques associés aux zones obstacles retenues appelées pistes, dans une troisième étape (20), à suivre les pistes tout au long de la séquence d'images en effectuant une mise en correspondance spatiale de pistes de deux images consécutives de la séquence d'images, dans une quatrième étape (21) d'analyse dynamique des pistes, à partir d'un fichier des pistes (23) de la séquence d'images réactualisée à la cadence vidéo, à analyser la vitesse relative des obstacles se trouvant sur la route par rapport au véhicule et à mesurer l'importance du danger pour la progression du véhicule et, dans une dernière étape (22), à présenter à l'utilisateur du véhicule une image synthétique de la scène routière et une signalisation d'un danger interprétable par l'utilisateur.

3. Procédé selon l'une quelconque des revendications 1 et 2 caractérisé en ce qu'il consiste, à rajouter en début de l'étape d'analyse statique (2), une étape (5) de pré-traitements des signaux vidéo, consistant à normaliser le niveau moyen du signal de luminance de l'image autour d'un niveau de référence déterminé, à corriger l'échelle des niveaux de gris des différentes parties de l'image, pondérée en fonction de la profondeur de champ de la caméra, et à filtrer et moyenner les composantes couleurs R-V

B.

4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'étape d'analyse statique (2) consiste en outre, pour l'extraction de la route, à détecter (11) les zones de marquage horizontal sur la route et si elles existent, à rechercher (12) parmi ces zones, les zones supérieures à une taille minimale déterminée, et à modifier (13) les zones retenues pour fermer les zones connexes.

5. Procédé selon la revendication 4, caractérisé en ce qu'il consiste pour modifier (13) les zones retenues, à dilater la zone marquage par au moins une fenêtre d'analyse de taille variable dont la dimension minimale dépend de la zone proche du point de fuite optique éloigné du véhicule et dont la dimension maximale dépend de la zone proche du véhicule, et à dilater la zone route par au moins une fenêtre d'analyse de dimension fixe déterminée.

6. Dispositif pour la mise en oeuvre du procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce qu'il comporte:

- un module d'acquisition des signaux vidéo (28) à partir de la séquence d'images sources, couplé éventuellement à un module de prétraitements du signal de luminance et des signaux vidéo couleur (29) et délivrant un premier masque (ima-s) de l'image source de la route et les trois composantes couleurs R-V-B des signaux vidéo couleur de l'image,

- un module d'analyse du signal de luminance (30) recevant sur son entrée le premier masque (ima-s), et délivrant un deuxième masque (ima-nrj) des amplitudes des gradients d'énergie du signal de luminance et un troisième masque de prédétermination des régions de la scène (ima-r),

- un module (31) d'analyse des signaux vidéo couleur recevant sur une première entrée le troisième masque (ima-r) et sur une deuxième entrée les composantes couleurs R-V-B issues du module d'acquisition (28),

- un module (32) de fusion recevant sur son entrée le masque (ima-r) délivré par le module (31) d'analyse des signaux vidéo couleur et délivrant un masque dont les régions route et ciel se distinguent des autres régions,

- un module (33) de segmentation de la scène recevant sur une première entrée le masque délivré par le module (32) de fusion et recevant respectivement sur une deuxième et troisième entrée, le masque (ima-s) délivré par le module (28) d'acquisition, éventuellement normalisé et pondéré par le module de pré-traitements (29), et le masque (ima-nrj) délivré par le moyen (30) d'analyse du signal de luminance,

- un module (34) de détection des obstacles recevant respectivement sur une première et deuxième entrée le masque délivré par le module (33) précédent et le masque (ima-s) délivré par le module (28) d'acquisition, éventuellement normalisé et pondéré par le module de prétraitements (29),

- un module (35) d'analyse dynamique des pistes recevant respectivement sur une première et une deuxième entrée une liste des pistes et le masque délivrés par le module (34) précédent, et recevant sur une troisième entrée une valeur déterminée (to) d'initialisation, et

- un module (36) de présentation des informations où l'utilisateur du véhicule recevant l'information délivrée par le module (35) précédent et recevant également le masque (ima-s) de l'image source éventuellement pré-traitée et délivrant une image synthétique de la scène avec une signalisation du danger.