FR2938228A1 - Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile - Google Patents
Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile Download PDFInfo
- Publication number
- FR2938228A1 FR2938228A1 FR0857634A FR0857634A FR2938228A1 FR 2938228 A1 FR2938228 A1 FR 2938228A1 FR 0857634 A FR0857634 A FR 0857634A FR 0857634 A FR0857634 A FR 0857634A FR 2938228 A1 FR2938228 A1 FR 2938228A1
- Authority
- FR
- France
- Prior art keywords
- camera
- pitch
- vehicle
- images
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006073 displacement reaction Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000717 retained effect Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
La présente invention se rapporte à un procédé de mesure de distance au moyen d'une caméra embarquée dans un véhicule automobile. Dans l'invention, le procédé de mesure de distance est essentiellement caractérisé par les différentes étapes consistant à : - acquérir une succession d'images de la scène de route ; - transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, la distance entre l'obstacle considéré et le véhicule automobile. L'invention trouve une application immédiate dans le domaine des véhicules automobiles.
Description
PROCEDE DE MESURE DE DISTANCE AU MOYEN D'UNE CAMERA EMBARQUEE DANS UN VEHICULE AUTOMOBILE.
La présente invention concerne un procédé de mesure de distance au moyen d'une caméra embarquée dans un véhicule automobile. Dans le procédé de mesure de distance selon l'invention, il est mis en oeuvre une estimation du tangage du véhicule automobile par une analyse de mouvement afin d'améliorer la précision de la mesure de distance réalisée. Le domaine de l'invention est, d'une façon générale, celui de la détection d'obstacles pour un véhicule automobile ; ce domaine constitue un des éléments clés et les plus étudiés dans le cadre des systèmes avancés d'aide à la conduite mis en oeuvre depuis une quinzaine d'années au sein de différents projets de recherche, notamment chez les constructeurs et équipementiers automobiles. Pour réaliser une détection d'obstacles depuis un véhicule automobile, de nombreuses solutions ont été envisagées et utilisées, essentiellement basées sur des technologies radar, lidar, ultrasons pour les obstacles proches et à basse vitesse, et également sur des procédés faisant intervenir des dispositifs de type caméras. Les capteurs de type radar et lidar, typiquement utilisés en application à détection lointaine comme l'ACC (pour Autonomous Cruise Control en langue anglaise) par exemple, fournissent directement une information de position et parfois de vitesse 3D des objets présents dans la scène. Cette information permet de segmenter les différents objets présents et de leur attribuer des informations utiles comme leur position, éventuellement leur vitesse, avec leurs coordonnées réelles en trois dimensions, par rapport au véhicule équipé du capteur considéré, et par rapport à un repère fixe, si la position du véhicule est bien déterminée dans ce repère.
Mais de tels capteurs n'offrent pas de champ de large, et leur positionnement angulaire n'est jamais très précis. Par ailleurs, de tels capteurs n'apportent aucune information sur l'environnement routier, telle que la position de véhicule sur sa voie, le nombre de voies, la trajectoire de la route, la classification des cibles, la possibilité de reconnaître des éléments de l'infrastructure tels que les panneaux... Par ailleurs, de tels capteurs longue portée à champ étroit ne peuvent discerner suffisamment tôt les scénarios dits de cut-in, où un véhicule provenant d'une autre voie de circulation que celle du véhicule porteur vient s'intercaler devant celui-ci, et le conducteur doit savoir que la tâche de gérer un tel scénario lui incombe.
Les méthodes de détection d'obstacles utilisant des caméras embarquées à bord du véhicule permettent de répondre à ces attentes, qui ne sont pas satisfaites par les radars ou lidars. L'information fournie par la caméra est une image bidimensionnelle (2D), résultant généralement d'une projection de type perspective du monde réel tridimensionnel (3D) vers le plan image. Les méthodes utilisables pour la détection d'obstacles par caméra se regroupent en trois catégories principales : la reconnaissance de forme en deux dimensions, la récupération de l'information trois dimensions par une interprétation du mouvement en monovision - c'est-à-dire du mouvement perçu par une unique caméra -, et la triangulation en stéréovision. Cette dernière catégorie fait intervenir nécessairement au moins deux caméras, et elle est donc particulièrement coûteuse ; la reconnaissance de forme en deux dimensions ne donne pas de résultats satisfaisants en terme de détection d'obstacles. Le procédé selon l'invention s'inscrit donc dans le contexte de l'utilisation du mouvement en monovision. Dans les réalisations existantes, on peut distinguer plusieurs types de solution pour estimer une distance au moyen d'une unique caméra, typiquement installée dans une zone essuyée à bord d'un véhicule. Un premier type de solutions est de supposer connu la taille réelle de l'objet dont on cherche à connaître la distance. Il est alors possible d'estimer la distance à l'objet, dans le cas d'une caméra réalisant une projection perspective, en mesurant la taille de sa zone décrite par l'objet sur l'image, et en connaissant les caractéristiques de la perspective propre à la caméra.
Cette méthode fonctionne mais requière de délimiter très précisément les contours de l'objet dans l'image, et de connaître sa taille réelle avec une certaine précision ; elle est donc difficile à mettre en oeuvre. Un deuxième type de solutions est de repérer précisément le bas de l'objet dans l'image. En supposant que le sol devant la caméra est plan, et en connaissant d'autre part précisément la position de la caméra et les caractéristiques de sa projection, une estimation de la distance est rendue possible.
La présente invention s'inscrit dans le deuxième type de solutions qui vient d'être mentionné. Parmi les paramètres de position de la caméra nécessaires au calcul de la distance, l'un des plus cruciaux est celui du tangage de la caméra par rapport au sol. En effet, au delà d'une certaine distance, une erreur sur le tangage produit une erreur très large sur l'estimation de distance. Dans l'état de la technique, différentes méthodes ont été proposées pour déterminer le tangage de la caméra par rapport au sol. Une première méthode, la plus couramment employée pour estimer le tangage, est d'identifier au sol des structures rectilignes et parallèles. L'intersection des lignes résultant de la projection dans le plan image donne la position de l'horizon dans l'image, équivalent au tangage de la caméra par rapport au sol. Bien souvent, les lignes retenues sont les lignes de marquage routier au sol.
Cette méthode est simple mais souffre de divers défauts : en présence de pointillés significativement distants les uns des autres, l'estimation précise de l'orientation des lignes est difficile. La largeur du marquage pose également un problème identique. Une deuxième méthode réside dans l'exploitation du mouvement observé. Pour la mise en oeuvre de ces méthodes, on fait l'hypothèse que le sol est plan dans un domaine proche du véhicule ; les paramètres de position et éventuellement de variation de position de la caméra sont alors identifiés en sélectionnant les valeurs qui permettent de faire coïncider entre deux images successives une zone de l'image correspondant à un morceau de route devant le véhicule.
Différents exemples de mise en oeuvre de cette deuxième méthode sont connus dans l'état de la technique : notamment, on connait un exemple dans lequel on estime tous les paramètres de position (hauteur, angle de roulis, et de tangage) et variation de position (6 valeurs de translations et rotations) de la caméra, en se basant sur le mouvement de la route, considérée comme plane, et en réduisant le bruit par un filtre de Kalman dans lequel est modélisée la dynamique du véhicule. La caméra est supposée alignée avec l'axe véhicule, donc l'angle de lacet n'est pas identifié, la hauteur caméra est supposée constante et connue ; ce sont donc huit paramètres qui doivent être identifiés. Cet exemple de mise en oeuvre se heurte à une complexité importante, résidant dans le nombre de paramètres à estimer. Certains paramètres peuvent être négligés car le mouvement d'un véhicule est suffisamment contraint. Par ailleurs, des ambiguïtés entre certains couples de grandeurs peuvent apparaître. Par exemple, une rotation autour de l'axe caméra X horizontal, c'est à dire l'axe correspondant au sens de déplacement du véhicule, résulte en un mouvement vertical constant dans toute l'image, qu'il sera difficile de discriminer du mouvement vertical dû au tangage de la caméra par rapport à la direction du déplacement si la zone observée n'est pas assez profonde et large, ce qui est généralement le cas lorsque l'on souhaite observer la route en évitant les bords de voie ou les obstacles... L'objet de l'invention propose une solution aux problèmes qui viennent d'être exposés. Dans l'invention, on propose une solution pour déterminer de manière précise une distance séparant un objet d'un véhicule en repérant précisément le bas de l'objet dans l'image, en attachant une importance toute particulière à l'estimation du tangage par rapport au sol. Pour estimer le tangage, on exploite le mouvement observé entre différentes images. Dans l'invention, on s'intéresse plus particulièrement aux paramètres de calibration de la caméra, et en particulier le tangage, par le mouvement. Différentes mises en oeuvre du procédé selon l'invention traitent par ailleurs des problèmes d'ambiguïtés entre l'estimation de tangage et sa variation.
L'invention concerne donc essentiellement un procédé de mesure de distance entre un obstacle et un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant une succession d'images d'une scène de route se déroulant devant le véhicule, le procédé comportant les différentes étapes consistant à : - acquérir une succession d'images de la scène de route ; transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, la distance entre l'obstacle considéré et le véhicule automobile caractérisé en ce que l'étape consistant à réaliser le calcul de tangage de la caméra comporte les différentes opérations consistant à : soit . - faire coïncider au moins deux images successives acquises en réalisant une itération sur au moins des paramètres de position de la caméra, et en réalisant un déplacement d'une des deux images en accord avec des paramètres de déplacement du véhicule ; - retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives ; en déduire le tangage de la caméra ; soit : - faire coïncider au moins deux images successives acquises, en réalisant une itération sur la valeur de tangage ; retenir comme valeur de tangage la valeur associée à une vitesse de déplacement déterminée entre les deux images successives, ladite vitesse de déplacement déterminée correspondant à une vitesse de déplacement longitudinale réelle du véhicule. Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques supplémentaires parmi les suivantes : - les images successives à faire coïncider sont des images rétroprojetées. - l'opération consistant à retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives repose sur un critère de somme des différences aux moindres carrés. - la vitesse de déplacement longitudinale réelle du 30 véhicule est donnée par un odomètre disposé sur le véhicule. - l'itération sur la valeur de tangage est réalisée au moyen d'un observateur non linéaire du type régulateur proportionnel intégral. 35 - le procédé comporte l'étape supplémentaire consistant à, préalablement à la réalisation de l'étape de calcul de tangage de la caméra, sélectionner une zone limitée dans les images acquises, les opérations ultérieures sur les images acquises étant alors limitées à ladite zone limitée, ladite zone limitée correspondant à une portion de la route située devant le véhicule et englobant des marquages au sol entourant la voie du véhicule. - l'étape consistant à déterminer la distance entre l'obstacle considéré et le véhicule automobile est réalisée en appliquant la formule suivante : obstacle tan(atangage + (résolution verticale/2 ù hauteu obstacle/f où - le terme "Dobstacle ' ' correspond à la distance entre l'obstacle et le véhicule ; - la résolution verticale correspond au nombre de pixels 15 sur la hauteur de l'image ; - le terme " hauteur,,=ä est la hauteur en nombre de lignes de la base de l'obstacle dans l'image ; - le terme "f" est la focale en pixels ; - le terme "atangage, ' est le tangage de la caméra par 20 rapport au sol.
La présente invention se rapporte également à un dispositif apte à mettre en oeuvre le procédé selon l'invention, et à un véhicule automobile équipé d'un tel 25 dispositif. L'invention sera mieux comprise, et d'autres buts, caractéristiques, détails et avantages de celle-ci apparaîtront plus clairement dans la description explicative qui va suivre faite en référence au dessin 30 schématique annexé donné uniquement à titre d'exemple, montrant un schéma illustrant les conséquences du tangage de la caméra sur des mesures de distance. Dans la suite de la description, deux modes de mise en oeuvre sont décrits, dans l'un d'eux un processus 35 d'optimisation itère à chaque pas de temps sur le tangage ce qui nécessite une opération dite de warping, ou transposition de texture, à chacune d'entre elles. Le warping réside en une opération consistant à projeter une texture définie sur une surface initiale vers une autre surface, dite surface d'arrivée, selon un type de projection donné. Une telle opération s'effectue : - en calculant sur la surface initiale les coordonnées des antécédents de chacun des points de la surface d'arrivée ; - en assignant au point de la surface d'arrivée un niveau 10 de couleur ou de gris correspondant à son point de départ. Dans le contexte considéré ici, la texture appliquée est celle de l'image recueillie par la caméra rétroprojetée selon une projection centrale, vers la surface de la 15 route déterminée par les différents paramètres (hauteur, tangage, roulis, lacet de la caméra). Dans l'autre mode de mise en oeuvre décrit, toujours basé sur le mouvement, utilise un observateur d'état, ne nécessitant qu'une opération de warping à chaque pas de 20 temps, accélérant sensiblement l'algorithme. L'état observé est l'angle de tangage de la caméra, ledit angle de tangage évoluant en fonction des mouvements du véhicule. Dans les approches décrites, pour traiter les 25 outliers, en d'autres termes les zones de l'image qui ne correspondent pas à la route, on utilise une portion réduite de l'image qui correspond à la route sur une distance courte devant le véhicule, englobant les marquages gauche et droit. Tout dispositif apte à mettre 30 en oeuvre le procédé selon l'invention peut s'interfacer avec un dispositif de détection d'obstacles et un dispositif de détection de ligne pour ajuster au mieux la zone de recherche, tirant ainsi bénéfice de la totalité des algorithmes disponibles. 35 Le procédé selon l'invention peut être mis en oeuvre au moyen d'un dispositif comportant notamment : - un dispositif d'acquisition d'images de type caméra destiné à acquérir des séquences d'images de la route devant le véhicule. La caméra est typiquement montée en zone essuyée à l'intérieur du véhicule, par exemple en haut de pare-brise avant. La caméra réalise une projection de perspective de la scène visualisée. - un calculateur relié à la caméra qui lui envoie les images qu'elle acquière. Le calculateur comprend une zone de mémoire dans laquelle il est possible de stocker une ou plusieurs images précédemment acquises. Le calculateur dispose aussi de moyens de calculs qui permettent : - d'estimer à partir d'images successives les paramètres de position de la caméra ; - de détecter un obstacle dans l'image ; - d'estimer sa distance à la caméra. Avantageusement, dans la mise en oeuvre du procédé selon l'invention, le calculateur est apte à intégrer des informations provenant de capteurs usuels de dynamique véhicule, notamment des odomètres pour recueillir la vitesse véhicule, des capteurs d'angle volant, ou encore des capteurs de vitesse de lacet. Les deux exemples de mise en oeuvre de l'invention sont à présent détaillés : Le premier exemple peut se décomposer en six étapes principales, numérotées I-1 à I-6.
I-1 : le dispositif d'acquisition d'image acquière une image de la route qui est envoyée au calculateur. I-2 : le calculateur reçoit l'image et commence le calcul du tangage. En parallèle, il peut lancer des calculs de détection d'obstacle et de détection de lignes. L'image précédente est mise en mémoire. I-3 : le calcul du tangage commence par une opération de sélection d'une zone dans l'image qui doit correspondre à la portion de route devant le véhicule englobant les marquages délimitant la voie empruntée par le véhicule. Cette zone est suffisamment longue pour contenir l'information nécessaire à l'établissement du tangage, et suffisamment courte pour limiter les possibilités qu'elle soit occupée par un autre véhicule. Typiquement, la grandeur au sol à considérer va de 0 à 20 mètres devant la caméra. Les coordonnées dans l'image sont établies à partir des coordonnées désirées au sol, correspondant à la plage de coordonnées rentrant dans la zone précédemment sélectionnée, et de la position de la caméra par rapport au sol données par rapport au repère véhicule. Le repère véhicule est avantageusement défini au niveau du sol, à l'aplomb du centre de projection de la caméra, selon la direction de l'axe longitudinal du véhicule. La position caméra par rapport à ce repère est donnée par : - la hauteur de son centre de projection, considérée comme connue et constante ; - son inclinaison par rapport au plan du sol, c'est à dire le tangage ; - l'angle de lacet entre la caméra et l'axe longitudinal du véhicule. La valeur de tangage dont on se sert à ce stade du procédé peut être la valeur précédemment estimée, ou, en début de processus, la valeur de calibration correspondant aux caractéristiques du montage de la caméra. L'angle de lacet entre la caméra et l'axe longitudinal du véhicule est supposé nul, ou identifié sur des portions rectilignes de route.
I-4 Dans le premier exemple, le procédé selon l'invention consiste à itérer sur les paramètres de position caméra (on effectue une boucle de calcul sur les valeurs que peuvent prendre les paramètres caméra), et éventuellement de mouvement, de manière à faire coïncider les zones précédemment délimitées dans les images successives, rétroprojetées au sol, la rétroprojection étant réalisée en fonction des paramètres de position caméra par rapport au repère véhicule (encore appelés paramètres de calibration extrinsèque de la caméra) et en déplaçant l'image en vue de dessus résultante en accord avec les paramètres de déplacement, c'est-à-dire le déplacement longitudinal et latéral du véhicule. En d'autres termes, on effectue une opération de warping de l'image de la caméra vers la surface supposée du sol compte-tenus des paramètres caméras connus, paramètres qui sont donc fixes ou supposés comme tel (la hauteur de la caméra, par exemple) et compte-tenu des paramètres à déterminer sur lesquels on itère. La qualité de recouvrement entre les deux zones rétroprojetées au sol est mesurée par un critère de somme des différences au moindre carrés. Ce critère sert à mesurer l'écart entre l'image attendue par estimation et l'image effectivement capturée. Un tel critère permet d'éviter que des erreurs positives annulent des erreurs négatives. Les paramètres qui minimisent cette somme sont ceux qui sont sélectionnés comme paramètres estimés.
I-5 Dans l'exemple décrit, il n'est pas nécessaire d'identifier tous les paramètres. Par exemple, le paramètre d'angle de lacet entre la caméra et l'axe longitudinal du véhicule est identifié lors des passages sur des portions rectilignes de la route par une autre méthode. Le paramètre de déplacement longitudinal peut être fourni avec une bonne précision par les odomètres équipant les roues du véhicule ; la variation de lacet peut être fournie directement par le capteur de vitesse de lacet équipant tout véhicule disposant de l'ESP, en roulage normal la translation le long de l'axe X horizontal de la caméra est directement reliée à cette grandeur et à la vitesse longitudinale du véhicule. La variation de tangage ne constitue pas non plus un paramètre essentiel dans cet exemple. Comme déjà précisé, il est difficile, sur une zone restreinte d'observation, de discriminer entre la part due au tangage et celle due à la variation de tangage dans l'établissement du flot optique, ce qui génère naturellement des ambiguïtés.
L'équation suivante rend compte dans le repère (x,y,z) attaché à la caméra, en se référant à la figure 1, de l'évolution du flot optique en fonction du déplacement et des paramètres caméra : dx -f(z +dey)+x y.dez -x~ dey +xydex T -f( -dex)-x.deZ+yz-xy fd +y2 fx Z ex,9y,OZ représentent les variations d'angle de la caméra autour respectivement des axes x, y et z. La figure 1 fait apparaître qu'un tangage de la caméra génère bien une translation Ty dans le repère caméra lors d'un mouvement longitudinal du véhicule. Si la zone observée compte une faible variation de distance, il est difficile de discriminer entre la part due au tangage (se traduisant en une translation Tyr de celle due à sa variation de tangage de.. I-6 Dans le premier exemple, ce problème est résolu en faisant l'hypothèse que la part due à la variation de tangage est négligeable. Si l'on souhaite connaître la valeur haute fréquence du tangage, cette hypothèse est fausse. En revanche, si l'on souhaite une valeur moyennée au cours du temps, cette hypothèse se révèle tout à fait valide et permet d'identifier avec une bonne précision le tangage moyen. La fenêtre temporelle de moyennage correspond à celle d'une période d'oscillation haute fréquence du véhicule. Typiquement, cette valeur de 1.5 à 2 hz. En moyennant la valeur instantanée de tangage précédemment obtenue sur une période d'une seconde environ, on obtient une valeur tout à fait intéressante du tangage de la caméra, en accord avec nombre de situations de mesure de distance par rapport à un obstacle. Le deuxième exemple de mise en oeuvre du procédé selon l'invention peut se décomposer en six étapes principales, numérotées II-1 à II-4. Les étapes II-1, II-2 et II-3 sont identiques respectivement aux étapes I-1, I-2 et I-3 du premier exemple qui vient d'être décrit. f f dy II-4 Dans le premier exemple de mise en oeuvre décrit, il est nécessaire, à chaque instant, d'itérer sur le tangage ; le calcul de la somme des différences au carré obtenue pour la nouvelle valeur de tangage implique une opération de retroprojection sur le sol par warping. Dans le deuxième exemple de mise en oeuvre du procédé selon l'invention, on s'affranchit de cette nécessité en mettant en oeuvre un observateur non linéaire, c'est-à-dire un observateur d'une variable régie par des lois non linéaires. La vitesse longitudinale du véhicule est accessible par les odomètres. Dans cet exemple, on se sert d'un observateur, par exemple un simple régulateur proportionnel-intégral, pour itérer au cours du temps sur le tangage, de manière que la vitesse de déplacement trouvée pour obtenir un recouvrement optimal des zones de la route successivement visualisées et transformées en vue de dessus, corresponde à la vitesse de déplacement mesurée par les odomètres. Le tangage estimé tend alors vers le tangage réel. Le déplacement estimé entre les deux images successives en vue de dessus est dans un premier temps un déplacement exprimé en pixel au niveau de l'image. Il est cependant possible de relier ce déplacement au déplacement réel car connaissant la hauteur de la caméra par rapport au sol, on s'affranchit du problème du facteur d'échelle qui rend ambigu le déplacement par rapport à un objet visualisé. En outre, comme les images sont transformées en vues de dessus, on élimine complètement la perspective, ce qui conduit à une équivalence entre le déplacement donné en pixels et le déplacement réel constant dans toute l'image. On réalise alors une estimation du déplacement sur images en vue de dessus, au cours de laquelle sont réalisées les opérations de rétroprojections des deux images successives, sur les zones correspondant à la route uniquement ; puis on réalise une estimation du déplacement optimal nécessaire pour les faire coïncider au mieux suivant le critère de somme du carré des différences précédemment utilisé. Le déplacement en pixel étant trouvé, l'équivalent en déplacement réel est calculé. L'observateur réalisé par le proportionnel-intégral corrige la valeur de tangage pour qu'au pas de temps suivant, la vitesse estimée converge vers la valeur de référence mesurée par l'odométrie. Les différents exemples qui viennent d'être décrits 10 permettent d'obtenir une précision d'environ 0.1° d'estimation sur le tangage. Une fois l'estimation du tangage réalisée, un dispositif de mesure de distance reçoit les informations provenant du dispositif réalisant la détection 15 d'obstacle. Le dispositif de détection d'obstacle fournit la position précise dans l'image du point de contact entre le véhicule et le sol. En considérant le sol comme plan jusqu'à l'obstacle, et en connaissant la hauteur de la base de 20 l'obstacle dans l'image et le tangage par rapport au sol de la caméra, la formule suivante donne la distance recherchée : h obstacle tan(atangage + (résolution verticale/2 ù hauteurobstacle )/f ) Où : la résolution verticale correspond au nombre 25 de pixels décrits sur la hauteur de l'image, hauteurä_, est la hauteur en nombre de lignes de la base de l'obstacle dans l'image, f est la focale en pixels et aitangage, le tangage de la caméra par rapport au sol. 30
Claims (9)
- REVENDICATIONS1. Procédé de mesure de distance entre un obstacle et un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant une succession d'images d'une scène de route se déroulant devant le véhicule, le procédé comportant les différentes étapes consistant à : - acquérir une succession d'images de la scène de 10 route ; transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, 15 la distance entre l'obstacle considéré et le véhicule automobile caractérisé en ce que l'étape consistant à réaliser le calcul de tangage de la caméra comporte les différentes opérations consistant à : 20 soit . - faire coïncider au moins deux images successives acquises en réalisant une itération sur au moins des paramètres de position de la caméra, et en réalisant un déplacement d'une des deux images en accord avec des 25 paramètres de déplacement du véhicule ; - retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives ; en déduire le tangage de la caméra ; soit . 30 - faire coïncider au moins deux images successives acquises, en réalisant une itération sur la valeur de tangage ; retenir comme valeur de tangage la valeur associée à une vitesse de déplacement déterminée entre 35 les deux images successives, ladite vitesse de déplacement déterminée correspondant à une vitesse de déplacement longitudinale réelle du véhicule.
- 2. Procédé selon la revendication précédente caractérisé en ce que les images successives à faire coïncider sont des images rétroprojetées.
- 3. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'opération consistant à retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives repose sur un critère de somme des différences aux moindres carrés.
- 4. Procédé selon la revendication 1 caractérisé en ce que la vitesse de déplacement longitudinale réelle du véhicule est donnée par un odomètre disposé sur le véhicule.
- 5. Procédé selon l'une au moins des revendications 1 ou 4 caractérisé en ce que l'itération sur la valeur de tangage est réalisée au moyen d'un observateur non linéaire du type régulateur proportionnel intégral.
- 6. Procédé selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte l'étape supplémentaire consistant à, préalablement à la réalisation de l'étape de calcul de tangage de la caméra, sélectionner une zone limitée dans les images acquises, les opérations ultérieures sur les images acquises étant alors limitées à ladite zone limitée, ladite zone limitée correspondant à une portion de la route située devant le véhicule et englobant des marquages au sol entourant la voie du véhicule.
- 7. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'étape consistant à déterminer la distance entre l'obstacle considéré et le véhicule automobile est réalisée en appliquant la formule suivante : Dobstacle tan(atangage + (résolution verticale/2 ù hauteu obstacle/f où - le terme ' ' Dobstacle correspond à la distance entre l'obstacle et le véhicule ; h- la résolution verticale correspond au nombre de pixels sur la hauteur de l'image ; - le terme " hauteur est la hauteur en nombre de lignes de la base de l'obstacle dans l'image ; - le terme "f" est la focale en pixels ; - le terme "atangage" est le tangage de la caméra par rapport au sol.
- 8. Dispositif caractérisé en ce qu'il est apte à mettre en oeuvre le procédé selon l'une au moins des 10 revendications précédentes.
- 9. Véhicule automobile caractérisé en ce qu'il est équipé du dispositif selon la revendication précédente.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0857634A FR2938228B1 (fr) | 2008-11-10 | 2008-11-10 | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0857634A FR2938228B1 (fr) | 2008-11-10 | 2008-11-10 | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2938228A1 true FR2938228A1 (fr) | 2010-05-14 |
FR2938228B1 FR2938228B1 (fr) | 2010-11-05 |
Family
ID=40756190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0857634A Expired - Fee Related FR2938228B1 (fr) | 2008-11-10 | 2008-11-10 | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2938228B1 (fr) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113173161A (zh) * | 2021-04-26 | 2021-07-27 | 安徽域驰智能科技有限公司 | 一种基于迭代预测模型的障碍物碰撞距离计算方法 |
CN114987611A (zh) * | 2021-03-01 | 2022-09-02 | 沃尔沃卡车集团 | 用于车辆的低速操纵辅助 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6285393B1 (en) * | 1993-09-08 | 2001-09-04 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
EP1256487A2 (fr) * | 2001-05-11 | 2002-11-13 | Honda Giken Kogyo Kabushiki Kaisha | Système, méthode et programme de détection de l'approche d'un objet |
EP1722332A1 (fr) * | 2005-05-13 | 2006-11-15 | Nissan Motor Company Limited | Dispositif et procédé pour traitement d'image |
EP1783684A1 (fr) * | 2004-08-11 | 2007-05-09 | HONDA MOTOR CO., Ltd. | Détecteur de plans et procédé de détection |
US7437244B2 (en) * | 2004-01-23 | 2008-10-14 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and a method therefor |
-
2008
- 2008-11-10 FR FR0857634A patent/FR2938228B1/fr not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6285393B1 (en) * | 1993-09-08 | 2001-09-04 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
EP1256487A2 (fr) * | 2001-05-11 | 2002-11-13 | Honda Giken Kogyo Kabushiki Kaisha | Système, méthode et programme de détection de l'approche d'un objet |
US7437244B2 (en) * | 2004-01-23 | 2008-10-14 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and a method therefor |
EP1783684A1 (fr) * | 2004-08-11 | 2007-05-09 | HONDA MOTOR CO., Ltd. | Détecteur de plans et procédé de détection |
EP1722332A1 (fr) * | 2005-05-13 | 2006-11-15 | Nissan Motor Company Limited | Dispositif et procédé pour traitement d'image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114987611A (zh) * | 2021-03-01 | 2022-09-02 | 沃尔沃卡车集团 | 用于车辆的低速操纵辅助 |
CN113173161A (zh) * | 2021-04-26 | 2021-07-27 | 安徽域驰智能科技有限公司 | 一种基于迭代预测模型的障碍物碰撞距离计算方法 |
CN113173161B (zh) * | 2021-04-26 | 2022-07-05 | 安徽域驰智能科技有限公司 | 一种基于迭代预测模型的障碍物碰撞距离计算方法 |
Also Published As
Publication number | Publication date |
---|---|
FR2938228B1 (fr) | 2010-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2884226B1 (fr) | Procédé de calibration angulaire de la position d'une caméra video embarquée dans un véhicule automobile | |
EP2984625B1 (fr) | Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference | |
WO2022002531A1 (fr) | Système et procédé de détection d'un obstacle dans un environnement d'un véhicule | |
EP2043044B1 (fr) | Procédé et dispositif d'assistance au parcage d'un véhicule automobile | |
FR2899363A1 (fr) | Procede et dispositif de detection de mouvement d'objets sur des images d'une scene | |
FR2938228A1 (fr) | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile | |
EP3579191A1 (fr) | Estimation dynamique du tangage instantané et du roulis instantané d'une caméra embarquée dans un véhicule automobile | |
FR3054673B1 (fr) | Fusion de donnees de detection et de suivi d'objets pour vehicule automobile | |
FR3060178A1 (fr) | Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes | |
FR3053554A1 (fr) | Procede de calibration rapide d'une camera de vehicule automobile | |
FR3054672A1 (fr) | Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile | |
FR3052581B1 (fr) | Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile | |
FR3064073A1 (fr) | Procede et dispositif de determination d'une position | |
FR3106108A1 (fr) | Procédé et dispositif de détermination de trajectoire d’une route | |
EP3759434A1 (fr) | Procédé de sélection d'un ensemble restreint ou vide d'hypothèses de positions possibles d'un véhicule | |
FR3146523A1 (fr) | Procédé d’estimation de la vitesse d’un véhicule | |
KR102406515B1 (ko) | 차량의 헤딩 추정 장치 및 방법 | |
WO2011010021A1 (fr) | Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application | |
WO2021249809A1 (fr) | Procede de calibration d'une camera et dispositif associe | |
FR3036498A1 (fr) | Procede et systeme de localisation en ligne d'un vehicule automobile | |
FR3034555A1 (fr) | Procede de determination du sens du mouvement d'un vehicule automobile | |
FR3041769A1 (fr) | Procede de geolocalisation | |
EP3677928A1 (fr) | Dispositif électronique et procédé de surveillance d'une scène autour d'un véhicule automobile, véhicule automobile, système de transport et programme d'ordinateur associés | |
EP4382392A1 (fr) | Procédé pour déterminer la position d'un véhicule ferroviaire | |
WO2022033902A1 (fr) | Procédé d'alignement d'au moins deux images formées de points tridimensionnels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20150731 |