FR2752969A1 - Procede pour detecter un objet a partir d'images stereoscopiques - Google Patents

Abstract

On forme à partir d'un couple d'images stéréoscopiques un couple d'images de classe de structures en déterminant pour chaque point d'image (x) les différences entre sa valeur de luminosité et celles de points d'image voisins environnants (xo à x3 , sous la forme de valeurs numériques (d(xo ), d(x1 ), d(x2 ), d(x3 )) et on réunit ces valeurs pour former un groupe (C), des groupes identiques définissant une classe de structures, on détermine pour les points d'image des autres classes de structures, des valeurs de disparité associées et on les cumule avec un incrément de fréquence dans un histogramme de disparité. Application notamment à la détection d'objets dans le trafic routier.

Description

L'invention concerne un procédé pour détecter et éventuellement également

suivre des objets à l'aide de l'enregistrement et de l'exploitation d'images stéréoscopiques. Naturellement un tel procédé est utile en tant que moyen auxiliaire pour le guidage automatique de véhicules routiers, ainsi que dans le domaine de la robotique, o il importe de détecter des objets importants et de déterminer leur position et leur taille. Dans le cas du guidage autonome de véhicules, par exemple dans le cas du trafic urbain avec des démarrages et des arrêts, en dehors d'objets fixes, qui sont situés dans la zone de déplacement du véhicule, il faut également détecter tous les objets mobiles dans la zone environnante rapprochée. Au contraire pour de telles applications, aucune carte complète dense des profondeurs de la scène n'est nécessaire. Ainsi la plupart du temps on part d'une surface

de base relativement plane et d'objets nettement surélevés.

En outre il n'est pas nécessaire d'obtenir des informations détaillées, comme par exemple la forme d'un véhicule précédent. De telles conditions marginales simplificatrices sont valables d'une manière analogue pour une multiplicité de problèmes dans les domaines de la robotique et de la

technique du contrôle.

Les procédés pour la détection d'objets à partir d'images stéréoscopiques peuvent être subdivisés en des procédés basés sur une surface et des procédés basés sur une caractéristique. Les procédés basés sur une surface sont décrits par exemple dans les rapports de conférence K. Sanejoschi, 3-D Image recognition system by means of stereoscopy combined with ordinary image processing, Intelligent Vehicles '94, 24.10.1994 au 26.10.1993, Paris, pages 13 à 18 et L. Matthies et al. Obstacle detection for unmamed ground véhicles: a progress report, Intelligent Vehicles '95, 25/26.09.1995, Detroit, pages 66 à 71. Ils requièrent une dépense de calcul plus élevée que des procédés basés sur des caractéristiques. Pour avoir un aperçu d'ensemble de procédés usuels de détection d'objets à partir d'images stéréoscopiques, on se reportera au livre de O. Faugeras, Three- Dimensional Computer Vision, MIT Press, 1993. D'après la demande de brevet allemand publiée 44 31 479 A1, on connaît un procédé pour la détection d'objets, notamment de véhicules, selon lequel on enregistre deux images à partir d'une zone considérée, et ce sous différents angles d'observation. A partir d'une comparaison des deux images, notamment de leurs valeurs de gris, on identifie, pour au moins une zone partielle, un objet lorsque la différence entre les deux images pour la zone partielle considérée est supérieure à un seuil

prédéterminé.

Dans le cas d'un système décrit dans la demande de brevet allemand publiée sous le N DE 43 08 776 Ai, pour contrôler un état extérieur à un véhicule, il est prévu une détection d'objets à partir d'images stéréoscopiques, au moyen de laquelle l'image d'un objet considéré est formée à

l'intérieur d'une zone fixe à l'extérieur d'un véhicule.

Les images enregistrées sont envoyées à un dispositif de traitement d'images, qui calcule une distribution de distances sur l'ensemble de l'image. Pour détecter un objet respectif dans l'image gauche et dans l'image droite, on subdivise l'image considérée en de petites régions et on compare des modèles de couleur ou de luminosité à l'intérieur de ces régions pour les deux images de manière à trouver les régions comportant des détails correspondants de l'objet et déterminer, à partir de là, la distribution

de distance dans l'ensemble de l'image stéréoscopique.

Dans la demande de brevet allemand publiée EP 0 626 655 A2, on décrit un dispositif pour identifier des véhicules précédents et pour déterminer leur éloignement, qui utilise un procédé de détection d'objets à partir d'images stéréoscopiques. Pour l'exploitation de l'image on utilise des techniques particulières, qui sont conçues spécialement pour l'identification de contours et qui utilisent des modèles de contours de véhicules. Pour un véhicule identifié, on détermine la disparité associée et,

à partir de là, la distance du véhicule.

L'invention a pour but, en tant que problème technique, d'indiquer un procédé pour la détection d'objets à partir d'images stéréoscopiques, qui convienne notamment pour les cas d'utilisation indiqués précédemment avec des conditions marginales simplifiées et qui soit

comparativement efficace et robuste.

ce problème est résolu conformément à l'invention à l'aide des étapes opératoires suivantes consistant à: a) produire un couple d'images de classe de structures à partir du couple respectif enregistré d'images stéréoscopiques par le fait que pour chaque point d'image on détermine les différences entre sa valeur de luminosité et chacune des valeurs de luminosité d'un nombre de points d'image environnants prédéterminés en tant que valeurs numériques et qu'on réunit les valeurs numériques obtenues pour former un groupe de valeurs numériques, des groupes identiques de valeurs numériques définissant respectivement une classe propre de structures, b) exécuter une analyse de correspondance du couple d'images de classe de structures, lors de laquelle b.1) on prend en compte uniquement les classes de structures, dont les points d'image possèdent au moins un point d'image environnant, situé en direction de la ligne épipolaire et possédant une luminosité qui diffère d'un ou de plusieurs échelons numériques de luminosité, b.2) pour chaque point d'image d'une classe de structures, qui est respectivement encore prise en compte, d'une image de _classe de structures on recherche les points d'image, qui sont situés dans un intervalle de disparité pouvant être prédéterminé sur la ligne épipolaire, de la même classe de structures de l'autre image de classe de structures et que l'on détermine la valeur de disparité associée, et b.3) on cumule les valeurs de disparité, qui sont ainsi obtenues globalement, en fonction d'un incrément associé de fréquence dans un histogramme de disparité, et c) identifier des zones de points d'accumulation dans l'histogramme de disparité produit et extraire un objet respectif du groupe de points d'image associé à la zone

respective de points d'accumulation.

Selon ce procédé, on forme tout d'abord, à partir du couple d'images stéréoscopiques enregistrées, un couple d'images de classe de structures, par le fait qu'on détermine sous forme numérique pour chaque point d'image les différences de luminosité par rapport à des points d'image environnants prédéterminés, et on rassemble les valeurs numériques selon une séquence prédéterminée pour former un groupe de valeurs numériques. Chacun des différents groupes possibles définit une classe de structures particulière. Ensuite, on exécute une analyse de correspondance, qui peut être mise en oeuvre d'une manière comparativement efficace et conçue avantageusement de façon simple et selon laquelle on ne prend pas en compte toutes les classes qui ne présentent aucun gradient de structure en direction de la ligne épipolaire, c'est-à-dire par rapport à une ligne de couples correspondant de points d'image respectifs communs de départ. Ce sont les classes de structures, dont les points d'image ont une luminosité qui ne diffère pas, d'une valeur pouvant être prédéterminée, de la luminosité des points d'image environnants situés en direction de la ligne épipolaire. De ce fait, on fait déjà l'économie d'une dépense notable de traitement d'images. Des structures travaillant en ce sens ne conviennent pas, pour la détermination de distance, d'une manière conditionnée par le système dans le cas de l'exploitation d'images stéréoscopiques basées sur des caractéristiques. Pour toutes les autres classes de structures, on détermine ensuite des valeurs de disparité de points d'image correspondants d'une même classe de structures, qui sont cumulées dans un histogramme de

disparité pour une valeur de fréquence respective.

Facultativement, pour chaque couple correspondant de points d'image, on peut introduire la valeur de disparité associée, avec un incrément de fréquence pondéré dans l'histogramme. Ensuite, on examine des zones de points d'accumulation dans l'histogramme. Pour des zones intéressantes fixées de points d'accumulation, on représente alors inversement le groupe associé de points d'image d'une image associée de classe de structures et on l'interprète en tant qu'objet situé à une distance déterminée. Il s'est avéré que ce procédé de détection d'objets travaille d'une manière très efficace pour de nombreux cas d'utilisation et fournit des résultats

stables, c'est-à-dire peu sensibles à des perturbations.

Selon une variante du procédé, pour la détermination de valeurs numériques lors de l'étape a on utilise un système ternaire, auquel cas on associe un premier chiffre ternaire aux différences de luminosité, qui ont une valeur absolue inférieure ou égale à une valeur de seuil positive prédéterminée de luminosité, on associe un second chiffre ternaire aux différences de luminosité qui sont supérieures à la valeur de seuil, et on associe le troisième des trois chiffres ternaires aux différences de luminosité qui sont inférieurs à la valeur négativée de la valeur de seuil. Dans cette variante, on utilise une logique ternaire pour numériser les différences de luminosité ce..,.. qui permet,. pour les applications ainsi considérées, une classification de structures très avantageuse, parce que d'une part elle est suffisamment différenciée et que d'autre part elle peut être exécutée suffisamment rapidement. Selon une autre variante du procédé selon l'invention, on utilise, comme points d'image environnants, respectivement deux points d'image, qui sont disposés, sur deux côtés du point d'image de référence respectif, d'une part parallèlement et d'autre part perpendiculairement à la ligne épipolaire et sont disposés en étant directement voisins du point d'image de référence et en étant séparés de ce dernier par une distance de détection pouvant être prédéterminée. Selon cette variante, on choisit comme points d'image environnants les quatre points d'image qui sont directement contigus, et ce des deux côtés, au point d'image de référence considéré, d'une part parallèlement et d'autre part perpendiculairement à la ligne épipolaire, ou bien ces points d'image sont séparés par une distance de détection pouvant être prédéterminée. La distance de détection de la taille d'un ou éventuellement de plusieurs points d'image permet d'introduire une zone plus étendue de voisinage, ce qui est approprié dans des cas o les gradients de luminosité s'étendent de façon typique sur une

zone de plusieurs points d'image.

Selon une autre variante du procédé selon l'invention, on choisit l'intervalle de disparité pour l'analyse de correspondance de telle sorte que pour le point d'image respectif dans une image de classe de structures, seul le point d'image immédiatement suivant sur la ligne épipolaire est pris en compte dans l'autre image de classe de structures et la valeur de disparité associé à ce point est cumulée dans l'histogramme de disparité. Dans cette variante, la dépense nécessaire de calcul est réduire de façon supplémentaire par le fait que de petites disparités sont favorisées en ce que pour chaque point d'image d'une image de classe de structures on détermine uniquement la disparité minimale, c'est-à-dire l'éloignement du point d'image immédiatement suivant de la même classe de structure dans l'autre image de classe de structures et qu'on en tient compte pour l'établissement de l'histogramme de disparité. L'hypothèse de base consistant à favoriser de petites disparités et par conséquent de grandes distances d'objets est judicieuse notamment dans le cas de l'utilisation dans des véhicules pour tenir compte de scènes sur la chaussée avec leurs obstacles de taille relativement importante. Avec ce mode opératoire, on supprime en outre l'apparition d'objets fantômes voisins, lors de l'analyse de correspondance, tels qu'ils peuvent être produits par des structures périodiques très

éloignées, par exemple des facades de maisons.

Selon une autre variante de mise en oeuvre du procédé, on associe à chaque point d'image du couple d'images de classe de structures, en plus du groupe respectif de valeurs numériques, une valeur de contraste, déterminée en fonction des différences de luminosité, en tant que facteur de pondération et on cumule la valeur de disparité, déterminée pour un couple respectif de points d'image, avec un incrément de fréquence pondéré en fonction des valeurs de contraste associées, pour l'histogramme de disparité. A chaque point d'image on associe, en dehors du groupe de valeurs numériques représentant les différences de luminosité, une valeur de contraste qui distingue plus fortement la grandeur des différences de luminosité qui apparaissent, et qu'on utilise en tant que facteur de

pondération pour former un incrément pondéré de fréquence.

Pour chaque couple correspondant de points d'image, pour lequel une valeur de disparité est déterminée, on cumule alors cette valeur avec l'incrément de fréquence pondéré en fonction du contraste, pour former l'histogramme de disparité. De ce fait, on tient compte plus fortement de structures plus contrastées lors de l'exploitation

d'images, ce qui évite un bruit de fond.

Selon une autre variante de mise en oeuvre du procédé, l'extraction de l'objet respectif à partir du groupe de points d'image, qui est associé à une zone respective de points d'accumulation de disparité, comprend une analyse d'accumulation du groupe de points d'image, au moyen de laquelle on détermine un rectangle de surface minimale, qui contient un pourcentage pouvant être prédéterminé des points d'image de ce groupe de points d'image. La détection de l'objet au moyen d'une analyse d'accumulation du groupe de points d'image, interprété comme étant associé à un objet respectif et qui d'une part est agencé d'une manière particulièrement simple et d'autre part permet une meilleure localisation et un meilleur suivi

du déplacement de l'objet.

Selon une variante de mise en oeuvre du procédé selon l'invention, après une extraction exécutée pour la première fois de l'objet respectif à partir du groupe de points d'image qui est associé à une zone respective de points d'accumulation de disparité, on exécute un suivi de déplacement de cet objet au moyen de l'exécution réitérée des étapes a à c, d'une manière limitée au volume d'un cube minimum contenant l'objet considéré. Selon cette variante, on exécute à la suite de la détection d'un objet, un suivi continu de déplacement, par le fait que la détection de l'objet selon l'invention est exécutée d'une manière répétée de façon cyclique en étant limitée à un cube minimum, qui contient l'objet détecté. La limitation à la zone d'image, qui est pertinente à cet égard, réduit non seulement la dépense de calcul, mais également et surtout l'influence d'objets parasites formant obstacles. En outre, il suffit d'exploiter encore seulement une gamme relativement faible de valeurs de disparité, la profondeur associée du.

cube étant déterminée par la modification..DTD: maximale de distance à laquelle on peut s'attendre.

Selon une variante de mise en oeuvre du procédé selon l'invention, pour la détection d'objets dans le trafic routier, caractérisé en outre en ce que dans l'hypothèse d'une configuration essentiellement plane de la chaussée et d'axes optiques parallèles de caméras stéréoscopiques, on interprète les points d'image, dont les valeurs de disparité associées sont situées à l'intérieur d'une zone prédéterminée d'espérance autour de la valeur d'espérance de disparité DR qui satisfait à la relation suivante dE:(x,y)=(B/H)fx( (y/fy)cosa+sinc) B étant l'étendue de base du dispositif de caméras stéréoscopiques, H sa hauteur au-dessus de la surface de la chaussée, a l'angle d'inclinaison de ce dispositif par rapport à la surface de la chaussée, fx, et fy les distances focales latérale et verticale de la caméra et y la coordonnée verticale de l'image se situant au-dessus de l'axe optique, comme étant associés à un objet de la surface de la chaussée. Cette variante convient pour des véhicules routiers et inclut un modèle vraisemblable de chaussée qui permet de séparer par filtrage les structures de la surface de chaussée, avec une grande fiabilité, ce qui facilite la détection d'objets dans la zone au-dessus de la surface de la chaussée et/ou permet la détection fiable de marques sur la chaussée pour le guidage

transversal autonome du véhicule.

D'autres caractéristiques et avantages de la

présente invention ressortiront de la description donnée

ci-après prise en référence aux dessins annexés, sur lesquels: - la figure 1 représente un couple d'images stéréoscopiques enregistré par un dispositif de caméras stéréoscopiques d'un véhicule; - la figure 2 montre une représentation schématique de la classification de structures utilisée pour l'exploitation des images stéréoscopiques conformément à la figure 1; - la figure 3 montre une représentation de valeurs de gris de l'image de classe de structures obtenues au moyen de la classification de structures conformément à la figure 2 à partir de l'image stéréoscopique de gauche de la figure 1; - la figure 4 représente un histogramme de disparité qui est obtenu au moyen d'une analyse de correspondance des deux images de classe de structures associées aux images stéréoscopiques de la figure 1 et comporte plusieurs points d'accumulation; - la figure 5 montre une représentation du groupe de points d'image qui est combiné à un premier point d'accumulation de la figure 4; et - la figure 6 est une représentation du groupe de points d'image qui est combiné à un second point

d'accumulation de la figure 4.

La figure 1 représente un couple d'images stéréoscopiques la, lb, qui reproduit une scène typique du trafic routier. Pour l'enregistrement continu du trafic en avant d'un véhicule sur la base de tels couples d'images stéréoscopiques la, lb, sur le véhicule est installé d'une manière usuelle un dispositif à caméras stéréoscopiques dirigé vers l'avant et dont les axes optiques sont de préférence parallèles entre eux et décalés horizontalement l'un par rapport à l'autre. Dans ce cas les lignes épipolaires associées, c'est-à-dire les lignes le long desquelles le point d'image associé à un point d'image d'origine commun dans une image stéréoscopique peut être décalé par rapport au point d'image correspondant dans l'autre image stéréoscopique, forment simultanément des lignes d'images respectives du couple d'images stéréoscopiques la, lb, ce qui rend particulièrement simple l'évaluation ultérieure de la disparité. Le contrôle, au moyen d'images stéréoscopiques, du trafic en avant du véhicule peut être utilisé notamment pour le guidage automatique du véhicule dans une direction longitudinale et/ou dans une direction transversale, ou bien pour l'avertissement d'obstacles qui apparaissent, comme d'autres véhicules et des piétons. Dans le cas du couple d'images stéréoscopiques la, lb de la figure 1, des objets intéressants sont par conséquent surtout le véhicule 2 qui est le véhicule précédent sur la même voie de circulation, ainsi qu'un véhicule 3 situé sur une voie de circulation

voisine. Le but du procédé de détection d'objets décrit ci-

après de façon plus détaillée est surtout de déterminer automatiquement, de façon rapide et fiable, la position de ces deux objets 2, 3 par rapport au véhicule proprement dit. A cet effet, chacune des deux images stéréoscopiques la, lb est transformée, dans une image correspondante de classe de structures, à l'aide d'une classification de structures, comme cela est indiqué schématiquement sur la figure 2. Pour chaque point d'image x des deux images stéréoscopiques la, lb on définit une quantité de points d'images environnants, qui est constituée, dans le cas de la figure 2, par quatre points d'image environnants xo, x1, x2, x3, qui sont directement voisins dans une direction de lignes et une direction de colonnes, c'est-à-dire parallèlement et perpendiculairement à la ligne épipolaire horizontale. Lorsque ce choix des points d'image environnants s'avère être trop local, on peut sinon choisir une zone de voisinage plus grande de points d'image environnants, ou un ensemble d'autres points d'image environnants éloignés. Lors du choix d'une zone de voisinage assez étendue, qui implique un accroissement cubique du nombre des classes de structure et permet d'accroitre la sensibilité par rapport aux valeurs de seuil de luminosité respectivement choisies, l'évaluation selon une pyramide de Gauss est avantageuse. On obtient des résultats satisfaisants au moyen d'un accroissement, moins coûteux du point de vue de la technique de calcul, des distances de détection, c'est-à-dire qu'à la place des points d'image environnants choisis sur la figure 2 et disposés directement dans une direction de lignes et une direction de colonnes, on choisit de tels points d'image environnants, qui sont situés, par rapport au point d'image de référence x, à une distance d'un point d'image ou d'un

petit nombre de points d'image.

Dans tous les cas, on compare alors, couple par couple, la luminosité du point d'image de référence x à celle du point d'image environnant respectif xo0 à x3, moyennant la prédétermination d'une valeur de seuil de luminosité positive T, sous une forme numérisée conformément à la technologie ternaire, auquel cas on produit comme résultat comparatif une valeur numérique d(xi) de différence de luminosité sous la forme d'un chiffre ternaire respectif, conformément à la relation suivante: =, lorsque g(xj)-g(x)<T d(x) = 2, lorsque g(xi)-g(x)<-T O, ailleurs g(x) étant la luminosité du point d'image de référence et g(x,) avec i=0,...,3 étant la luminosité du point d'image environnant considéré. Les quatre chiffres ternaires d(xo) à d(x3) déterminés de cette manière à un instant respectif x, sont alors réunis en un groupe sous la forme d'un nombre tertiaire C se présentant sous la forme C = L 35.d(x,) i-O comme cela est illustré dans la moitié droite de la figure 2. Pour le nombre tertiaire C ainsi formé, il est possible d'avoir quatre-vingt une valeurs différentes, dont chacune définit une classe particulière de structures. A la place de la numérisation ternaire décrite précédemment des différences de luminosité, on peut également considérer d'autres numérisations de valeurs multiples, et d'une manière générale, dans le cas d'une numérisation seulement binaire, des informations de gradient, qui sont une partie qui est constituée d'une partie importante de l'analyse suivante de correspondance, sont supprimées, tandis que des numérisations de valeur plus élevée entraînent une dépense

accrue de calcul.

La figure 3 représente le résultat de la classification de structures pour l'image stéréoscopique de gauche la de la figure 1, et on a choisi comme surface totale de luminosité l'intervalle [0,255] et une valeur de seuil de différence de luminosité T=20. Pour avoir une meilleure illustration, les nombres ternaires déterminés C sont multipliés par le facteur trois et inversés de sorte que les points d'image, qui sont associés à la classe de structures comportant le nombre ternaire C=0, apparaissent blancs sur la figure 3. Sur la figure 3, on peut voir qu'en raison de la non linéarité introduite par la valeur de seuil de luminosité T, on obtient une réduction importante des données. Sur le dessin de la figure 3, environ 50 % de tous les points d'image appartiennent à la classe de structures dans laquelle on a C=0. 25 % supplémentaires des points d'image font partie de ce qu'on appelle les classes de structures horizontales, qui sont celles qui comportent les structures horizontales, pour lesquelles on a d(x3)=d(x1)=0. De telles classes de structures horizontales ne sont pas utiles pour l'exploitation d'images vidéo avec la ligne épipolaire choisie dans une disposition horizontale et par conséquent ne sont plus prises en compte lors de la poursuite de l'évaluation de l'image. Par conséquent, seuls encore 25 % des points d'image doivent être soumis à une analyse de correspondance. Grâce au choix d'une fenêtre appropriée d'évaluation, on peut accroître ce nombre de points d'image en augmentant la sécurité d'évaluation. Ainsi par conséquent dans le cas présent, la zone d'image, qui est située nettement au-dessus de l'horizon et par conséquent de la surface de chaussée, peut être occultée comme étant non intéressante. Une fenêtre d'évaluation appropriée est indiquée à titre d'exemple dans l'image stéréoscopique de gauche la de la figure 1 avec le cadre blanc 4 qui est indiqué. Grâce au choix de cette fenêtre d'évaluation 4, dans le cas de la scène d'image présente, la quantité de points d'image devant être pris en compte pour l'analyse ultérieure de correction, est réduite à 13 % de tous les points d'image et simultanément des influences parasites qui sont basées sur des zones occultées d'image, sont évitées par des déterminations

d'erreurs de disparité.

A la production du couple d'images de classe de structures succède une analyse simplifiée de correspondance, qui en général ne fournit pas une solution, nette du point de vue des points d'image, du problème en correspondance, mais fournit, avec une dépense de calcul correspondante plus faible, des résultats suffisamment fiables pour les applications envisagées ici, dans lesquelles les objets pertinents à détecter possèdent des gradients de luminosités sensiblement perpendiculaires à la ligne épipolaire, ce qui est valable non seulement pour des véhicules, mais également pour la plupart des objets fixes et notamment pour des piétons. A cet effet, on procède de

façon détaillée comme indiqué ci-après.

Pour chaque point d'image dans une image de classe de structures on recherche, en tant que point de référence, et ce à l'intérieur d'un intervalle de disparité prédéterminé, des points d'image de la même classe de structures, situés sur la ligne épipolaire correspondante en tant que direction de recherche déterminante, dans l'autre image de classe de structures. En raison de la disposition des axes optiques parallèles des caméras d'enregistrement d'images et de la disposition décalée horizontalement de ces caméras, on obtient dans le présent exemple une direction de recherche qui s'étend dans la direction des lignes de l'image. On détecte l'éloignement d'un point d'image respectivement trouvé par rapport à la position du point d'image de référence et on l'accumule en tant que valeur de disparité associée dans un histogramme de disparité, et ce d'une manière non pondérée dans une première variante, c'est-à-dire que la fréquence dans l'histogramme est accrue de un pour chaque valeur de disparité lors de chaque apparition de cette valeur. Dans une seconde variante, on utilise un incrément de fréquence pondéré, qui tient compte du contraste d'image. A cet effet, pour chaque d'image x on produit une valeur locale de contraste à partir des différences de luminosité déterminées, par exemple une valeur de contraste K(x) répondant à la forme K(x) = 1 g(x )-g(x)j N i N étant le nombre des points d'image environnants, dont la luminosité diffère de plus de la valeur de seuil de luminosité T par rapport à la luminosité du point de référence, etégalement seuls ces points d'image environnants sont pris en compte lors de la sommation. Par conséquent le point d'image individuel reçoit un poids de contraste qui permet de mettre l'accent sur des structures à contraste intense lors de l'analyse de disparité. Une possibilité de prendre en compte cette valeur de contraste dans l'établissement de l'histogramme de disparité consiste à introduire dans l'établissement de l'histogramme la valeur de disparité déterminée pour un couple respectif correspondant..de points d'image non pas avec l'incrément de fréquence un, mais avec un incrément de fréquence, accru du minimum des valeurs de contraste, associées aux points d'image corrélés, dans la production de l'histogramme. Ceci fournit une séparation plus nette des gammes de points de fréquence, c'est-à-dire des zones de pics, dans l'histogramme de disparité résultant, par rapport au bruit

de fond.

La figure 4 représente l'histogramme de disparité, qui est obtenu au moyen du programme d'analyse de disparité expliqué, moyennant l'utilisation de l'incrément de fréquence non pondéré un à partir de la gamme de la fenêtre d'évaluation 4 avec des valeurs de disparité comprises entre zéro et deux cent. En chaque point de référence dans une image de structure, on a pris en compte tous les points d'image situés en direction de la ligne épipolaire correspondante, dans l'autre image de structure. Sinon le fait de favoriser l'utilisation de petites valeurs de disparité s'est avéré avantageux pour le cas présent d'application de l'observation du trafic routier, ce qui est corrélé avec une préférence donnée à des distances importantes. En effet dans des scènes complexes sur route, fréquemment des structures périodiques, comme par exemple les façades 5 des maisons dans le couple d'images stéréoscopiques la, lb de la figure 1, conditionnent un bruit intense dans l'histogramme de disparité, par le fait qu'en raison de leur périodicité, elles simulent des objets fantômes situés très près de l'emplacement de la caméra. On combat ce phénomène de façon efficace en donnant la préférence à des distances importantes. Dans une forme simple et efficace, ceci est obtenu par le fait que, lors de l'analyse de disparité, pour chaque point de référence dans une image de classes de structures on prend en compte uniquement le point d'image de cette classe de structures, qui est plus le près de ce point d'image de référence sur la ligne épipolaire, dans l'autre classe de structure. Ce mode opératoire s'avère fiable pour l'observation du trafic routier dans le cas des scènes sur route qui apparaissent dans la pratique, avec leurs obstacles relativement grands, et s'avère très avantageux en raison de l'économie, qui en résulte, du temps de calcul et de la suppression d'objets fantômes. Contrairement à l'histogramme bidimensionnel représenté sur la figure 4, le cas échéant, on peut réaliser un histogramme tridimensionnel de disparité sous la forme d'une carte quantifiée de profondeurs, en utilisant comme axe supplémentaire de l'histogramme, le décalage latéral du point d'image de référence considéré,

par rapport à l'axe médian de l'image.

Une fois que l'histogramme de disparité a été établi sous une forme ou sous une autre, on examine les zones de points d'accumulation de cet histogramme. Sur la figure 4, on a marqué les deux zones dl, d2 parmi les zones accusées de points d'accumulation, avec les valeurs maximales de disparité, une zone d, correspondant à une valeur maximale de disparité égale à environ 28 et l'autre d2 correspondant à une valeur maximale de disparité égale à environ 15. Chaque zone de points d'accumulation de ce type

devrait correspondre à un objet dans la zone d'observation.

Pour vérifier ceci et compléter de ce fait la détection d'un objet, on reproduit ensuite en sens inverse de l'analyse de disparité, les points d'une image de classe de structures, qui font partie d'une zone respective de points d'accumulation de disparité. Ainsi sur la figure 5, on a représenté les points d'image, qui sont associés à la zone dl de points d'accumulation de disparité et sur la figure 6 ont a représenté les points d'image associés à la zone d2 de points d'accumulation de disparité avec la valeur maximale de disparité 15. Comme on peut le voir, la figure reproduit déjà très bien le véhicule 2 qui circule devant sur la même voie de circulation, tandis que le véhicule 3 situé sur l'autre voie de circulation est prédominant dans l'image de la figure 6. On peut en tirer la conclusion que ces deux véhicules 2, 3 font partie de ces deux zones d,

d2 de points d'accumulation de disparité.

A partir de cette association d'une valeur finale de disparité à un objet respectif, on peut déterminer la distance L de cet objet par rapport au dispositif à caméras stéréoscopiques au moyen de la relation L=fx.B/d, B représentant la distance de base du dispositif à caméra stéréoscopiques, fx sa distance focale étalonnée et d la valeur respective de disparité. Ensuite, l'objet détecté peut continuer à être observé le cas échéant continûment, c'est-à-dire être suivi. A cet effet, on exécute au départ une simple analyse d'accumulation, lors de laquelle une fenêtre de forme rectangulaire ayant une hauteur et une largeur minimales est positionnée dans l'image résultante de l'objet, d'une manière analogue aux figures 5 et 6, de sorte que cette image de l'objet contient un pourcentage minimum prédéterminé de par exemple 90 % des points d'image trouvés. Etant donné que la relation trigonométrique indiquée ci-dessus pour l'éloignement L de l'objet représente une approximation relativement grossière en raison de la mise sous forme discrète des valeurs de disparité surtout dans le cas de faibles disparités et n'est encore pas optimale dans ce cas pour la détermination de processus de déplacement, il peut être en outre approprié de réaliser une estimation améliorée de disparité, qui correspond à une mesure d'une précision se situant à un niveau inférieur au point d'image, et pour laquelle on ajoute à la valeur maximale d'une zone respective de points d'accumulation de disparité, un terme correctif se présentant sous la forme dd=0,5.(h++ h_)/(2hm-(h+h_)) hm désignant la valeur maximale et h+ et h_ désignant les

hauteurs de disparité dans la zone latérale respective.

Après -,,une détection de l'objet réalisée cette manière, avec détermination de la distance et de la largeur approximative de l'objet considéré, on exécute, pendant la phase ultérieure de suivi, une évaluation de l'image, limitée à la zone importante d'image, qui contient encore précisément l'objet observé, selon le procédé décrit sous une forme répétée cycliquement. Les dispositions du procédé selon l'invention permettent des cycles opératoires typiques qui sont d'un ordre de grandeur compris seulement entre 100 ms et 200 ms, ce qui est à comparer à des durées typiques de cycle de plusieurs secondes de procédés plus compliqués d'évaluation d'images stéréoscopiques. La limitation des deux zones de l'image permet non seulement de réduire le temps de calcul, mais également et surtout de réduire l'influence d'objets formant obstacles gênants. Une importance capitale réside dans le fait qu'il suffit encore d'évaluer une gamme de disparités relativement faibles par le fait qu'on dispose de façon imaginaire autour de l'objet à suivre un cube, dont la profondeur dépend de la variation

maximale de distance à laquelle on peut s'attendre.

La position latérale d'un objet intéressant peut être déterminée pour le suivi d'une voie de déplacement au moyen d'un ensemble de faisceaux provenant par exemple de la position latérale du centre de l'image ou sinon du centre de gravité de l'image. De façon appropriée, on soumet les résultats obtenus à un filtrage usuel de Kalman de manière à obtenir des résultats optimum en tenant compte des connaissances concernant les possibilités limitées de déplacement. Pour isoler des structures de la surface de la

chaussée par rapport aux structures d'objets situées au-

dessus de la surface de la chaussée, on peut trouver un modèle simple de chaussée, dans lequel on suppose une surface plane de chaussée et des axes optiques parallèles du dispositif à caméras stéréoscopiques. Pour la disparité dE(x,y), à laquelle on peut s'attendre, d'un point d'image ayant pour coordonnées (x,y) dans le plan image on obtient alors, à partir de la hauteur H des caméras au-dessus de la

chaussée et de l'angle a d'inclinaison des caméras au-

dessus de l'horizon, la relation dE(x,y)=(B/H)fx((y/f,)cosx+sinc) fx, et fy désignant les distances focales étalonnées dans les systèmes de coordonnées considérés et B étant la

largeur de base du dispositif à caméras stéréoscopiques.

Pour l'extraction des structures superficielles de la chaussée, on prend en compte, dans ces conditions, uniquement des points situés au- dessous de l'horizon. Tous les points d'image ayant des valeurs de disparité, qui se situent à l'intérieur d'un intervalle déterminé autour de la valeur d'espérance, sont situés sur la surface de la chaussée tandis que les points d'image ayant des valeurs de disparité plus élevées sont associés à des objets au-dessus de la surface de la chaussée et que les points d'image ayant des valeurs de disparité trop faibles proviennent de

réflexions d'objets plus éloignés.

En fonction du cas d'utilisation, on peut faire intervenir en outre, pour la détection d'un objet, des considérations de symétrie, qui permettent de réduire la

dépense de calcul et d'accroître la sécurité de détection.

Dans tous les cas, le procédé selon l'invention permet une détection très rapide et stable de l'objet, pour une sécurité de détection donnée, et peut être utilisé pour l'observation optique d'objets en temps réel dans le trafic routier, dans le domaine de la robotique et partout o il existe un besoin de réaliser une détection basée sur des images stéréoscopiques, et éventuellement un suivi d'objets.

Claims (8)

-........ REVENDICATIONS

1. Procédé pour la détection d'objets à partir d'images stéréoscopiques, notamment pour des véhicules routiers, caractérisé en ce qu'il comprend les étapes suivantes consistant à: a) produire un couple d'images de classe de structures à partir du couple respectif enregistré d'images stéréoscopiques (la, lb) par le fait que pour chaque point d'image (x) on détermine les différences entre sa valeur de luminosité (g(x)) et chacune des valeurs de luminosité (g(x ); i = O,..., n-l) d'un nombre (n) de points d'image environnants prédéterminés (xo,.. ., x_ ) en tant que valeurs numériques (d(xi)) et qu'on réunit les valeurs numériques obtenues pour former un groupe (c) de valeurs numériques, des groupes identiques de valeurs numériques définissant respectivement une classe propre de structures, b) exécuter une analyse de correspondance du couple d'images de classe de structures, lors de laquelle b.1) on prend en compte uniquement les classes de structures, dont les points d'image possèdent au moins un point d'image environnant, situé en direction de la ligne épipolaire et possédant une luminosité qui diffère d'un ou de plusieurs échelons numériques de luminosité, b.2) pour chaque point d'image d'une classe de structures, qui est respectivement encore prise en compte, d'une image de classe de structures on recherche les points d'image, qui sont situés dans un intervalle de disparité pouvant être prédéterminé sur la ligne épipolaire, de la même classe de structures de l'autre image de classe de structure et que l'on détermine la valeur de disparité associée, et b.3) on cumule les valeurs de disparité, qui sont ainsi obtenues globalement, en fonction d'un incrément associé de fréquence dans un histogramme de disparité, et c) identifier des zones de points d'accumulation (di, d2) dans l'histogramme de disparité produit et extraire un objet respectif du groupe de points d'image associé à la

zone respective de points d'accumulation.

2. Procédé selon la revendication 1, caractérisé en outre en ce que pour la détermination de valeurs numériques lors de l'étape a on utilise un système ternaire, auquel cas on associe un premier chiffre ternaire aux différences de luminosité, qui ont une valeur absolue inférieure ou égale à une valeur de seuil positive prédéterminée de luminosité (T), on associe un second chiffre ternaire aux différences de luminosité qui sont supérieures à la valeur de seuil, et on associe le troisième des trois chiffres ternaires aux différences de luminosité qui sont inférieurs

à la valeur négativée (-T) de la valeur de seuil.

3. Procédé selon l'une des revendications 1 ou 2,

caractérisé en outre en ce que l'on utilise, comme points d'image environnants (xo à x3), respectivement deux points d'image, qui sont disposés, sur deux côtés du point d'image de référence respectif (x), d'une part parallèlement et d'autre part perpendiculairement à la ligne épipolaire et sont disposés en étant directement voisins du point d'image de référence et en étant séparés de ce dernier par une

distance de détection pouvant être prédéterminée.

4. Procédé selon l'une quelconque des

revendications 1 à 3, caractérisé en outre en ce qu'on

choisit l'intervalle de disparité pour l'analyse de correspondance de telle sorte que pour le point d'image respectif dans une image de classe de structures, seul le point d'image immédiatement suivant sur la ligne épipolaire est pris en compte dans l'autre image de classe de structures et la valeur de disparité associé à ce point est

cumulée dans l'histogramme de disparité.

- 5...Procédé selon l'une quelconque des

revendications 1 à 4, caractérisé en outre en ce qu'on

associe à chaque point d'image du couple d'images de classe de structures, en plus du groupe respectif de valeurs numériques, une valeur de contraste (K(x)), déterminée en fonction des différences de luminosité, en tant que facteur de pondération et on cumule la valeur de disparité, déterminée pour un couple respectif de points d'image, avec un incrément de fréquence pondéré en fonction des valeurs

de contraste associées, pour l'histogramme de disparité.

6. Procédé selon l'une quelconque des

revendications 1 à 5, caractérisé en outre en ce que

l'extraction de l'objet respectif à partir du groupe de points d'image, qui est associé à une zone respective de points d'accumulation de disparité, comprend une analyse d'accumulation du groupe de points d'image, au moyen de laquelle on détermine un rectangle de surface minimale, qui contient un pourcentage pouvant être prédéterminé des

points d'image de ce groupe de points d'image.

7. Procédé selon l'une quelconque des

revendications 1 à 6, caractérisé en outre en ce qu'après

une extraction exécutée pour la première fois de l'objet respectif à partir du groupe de points d'image qui est associé à une zone respective de points d'accumulation de disparité, on exécute un suivi de déplacement de cet objet au moyen de l'exécution réitérée des étapes a à c, d'une manière limitée au volume d'un cube minimum contenant

l'objet considéré.

8. Procédé selon l'une quelconque des

revendications 1 à 7, pour la détection d'objets dans le

trafic routier, caractérisé en outre en ce que dans l'hypothèse d'une configuration essentiellement plane de la chaussée et d'axes optiques parallèles de caméras stéréoscopiques, on interprète les points d'image, dont les valeurs de disparité associées sont situées à l'intérieur d'une, zone prédéterminée d'espérance autour de la valeur d'espérance de disparité (dT) qui satisfait à la relation suivante dE(x,y)=(B/H)fx( (y/fy)cosc+sina) B étant l'étendue de base du dispositif à caméras stéréoscopiques, H sa hauteur au-dessus de la surface de la chaussée, a l'angle d'inclinaison de ce dispositif par rapport à la surface de la chaussée, fx, et fy les distances focales latérale et verticale de la caméra et y la coordonnée verticale de l'image se situant au-dessus de l'axe optique, comme étant associés à un objet de la

surface de la chaussée.