FR2938228A1 - Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile - Google Patents

Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile Download PDF

Info

Publication number
FR2938228A1
FR2938228A1 FR0857634A FR0857634A FR2938228A1 FR 2938228 A1 FR2938228 A1 FR 2938228A1 FR 0857634 A FR0857634 A FR 0857634A FR 0857634 A FR0857634 A FR 0857634A FR 2938228 A1 FR2938228 A1 FR 2938228A1
Authority
FR
France
Prior art keywords
camera
pitch
vehicle
images
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0857634A
Other languages
English (en)
Other versions
FR2938228B1 (fr
Inventor
Thierry Coutier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
Peugeot Citroen Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peugeot Citroen Automobiles SA filed Critical Peugeot Citroen Automobiles SA
Priority to FR0857634A priority Critical patent/FR2938228B1/fr
Publication of FR2938228A1 publication Critical patent/FR2938228A1/fr
Application granted granted Critical
Publication of FR2938228B1 publication Critical patent/FR2938228B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

La présente invention se rapporte à un procédé de mesure de distance au moyen d'une caméra embarquée dans un véhicule automobile. Dans l'invention, le procédé de mesure de distance est essentiellement caractérisé par les différentes étapes consistant à : - acquérir une succession d'images de la scène de route ; - transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, la distance entre l'obstacle considéré et le véhicule automobile. L'invention trouve une application immédiate dans le domaine des véhicules automobiles.

Description

PROCEDE DE MESURE DE DISTANCE AU MOYEN D'UNE CAMERA EMBARQUEE DANS UN VEHICULE AUTOMOBILE.
La présente invention concerne un procédé de mesure de distance au moyen d'une caméra embarquée dans un véhicule automobile. Dans le procédé de mesure de distance selon l'invention, il est mis en oeuvre une estimation du tangage du véhicule automobile par une analyse de mouvement afin d'améliorer la précision de la mesure de distance réalisée. Le domaine de l'invention est, d'une façon générale, celui de la détection d'obstacles pour un véhicule automobile ; ce domaine constitue un des éléments clés et les plus étudiés dans le cadre des systèmes avancés d'aide à la conduite mis en oeuvre depuis une quinzaine d'années au sein de différents projets de recherche, notamment chez les constructeurs et équipementiers automobiles. Pour réaliser une détection d'obstacles depuis un véhicule automobile, de nombreuses solutions ont été envisagées et utilisées, essentiellement basées sur des technologies radar, lidar, ultrasons pour les obstacles proches et à basse vitesse, et également sur des procédés faisant intervenir des dispositifs de type caméras. Les capteurs de type radar et lidar, typiquement utilisés en application à détection lointaine comme l'ACC (pour Autonomous Cruise Control en langue anglaise) par exemple, fournissent directement une information de position et parfois de vitesse 3D des objets présents dans la scène. Cette information permet de segmenter les différents objets présents et de leur attribuer des informations utiles comme leur position, éventuellement leur vitesse, avec leurs coordonnées réelles en trois dimensions, par rapport au véhicule équipé du capteur considéré, et par rapport à un repère fixe, si la position du véhicule est bien déterminée dans ce repère.
Mais de tels capteurs n'offrent pas de champ de large, et leur positionnement angulaire n'est jamais très précis. Par ailleurs, de tels capteurs n'apportent aucune information sur l'environnement routier, telle que la position de véhicule sur sa voie, le nombre de voies, la trajectoire de la route, la classification des cibles, la possibilité de reconnaître des éléments de l'infrastructure tels que les panneaux... Par ailleurs, de tels capteurs longue portée à champ étroit ne peuvent discerner suffisamment tôt les scénarios dits de cut-in, où un véhicule provenant d'une autre voie de circulation que celle du véhicule porteur vient s'intercaler devant celui-ci, et le conducteur doit savoir que la tâche de gérer un tel scénario lui incombe.
Les méthodes de détection d'obstacles utilisant des caméras embarquées à bord du véhicule permettent de répondre à ces attentes, qui ne sont pas satisfaites par les radars ou lidars. L'information fournie par la caméra est une image bidimensionnelle (2D), résultant généralement d'une projection de type perspective du monde réel tridimensionnel (3D) vers le plan image. Les méthodes utilisables pour la détection d'obstacles par caméra se regroupent en trois catégories principales : la reconnaissance de forme en deux dimensions, la récupération de l'information trois dimensions par une interprétation du mouvement en monovision - c'est-à-dire du mouvement perçu par une unique caméra -, et la triangulation en stéréovision. Cette dernière catégorie fait intervenir nécessairement au moins deux caméras, et elle est donc particulièrement coûteuse ; la reconnaissance de forme en deux dimensions ne donne pas de résultats satisfaisants en terme de détection d'obstacles. Le procédé selon l'invention s'inscrit donc dans le contexte de l'utilisation du mouvement en monovision. Dans les réalisations existantes, on peut distinguer plusieurs types de solution pour estimer une distance au moyen d'une unique caméra, typiquement installée dans une zone essuyée à bord d'un véhicule. Un premier type de solutions est de supposer connu la taille réelle de l'objet dont on cherche à connaître la distance. Il est alors possible d'estimer la distance à l'objet, dans le cas d'une caméra réalisant une projection perspective, en mesurant la taille de sa zone décrite par l'objet sur l'image, et en connaissant les caractéristiques de la perspective propre à la caméra.
Cette méthode fonctionne mais requière de délimiter très précisément les contours de l'objet dans l'image, et de connaître sa taille réelle avec une certaine précision ; elle est donc difficile à mettre en oeuvre. Un deuxième type de solutions est de repérer précisément le bas de l'objet dans l'image. En supposant que le sol devant la caméra est plan, et en connaissant d'autre part précisément la position de la caméra et les caractéristiques de sa projection, une estimation de la distance est rendue possible.
La présente invention s'inscrit dans le deuxième type de solutions qui vient d'être mentionné. Parmi les paramètres de position de la caméra nécessaires au calcul de la distance, l'un des plus cruciaux est celui du tangage de la caméra par rapport au sol. En effet, au delà d'une certaine distance, une erreur sur le tangage produit une erreur très large sur l'estimation de distance. Dans l'état de la technique, différentes méthodes ont été proposées pour déterminer le tangage de la caméra par rapport au sol. Une première méthode, la plus couramment employée pour estimer le tangage, est d'identifier au sol des structures rectilignes et parallèles. L'intersection des lignes résultant de la projection dans le plan image donne la position de l'horizon dans l'image, équivalent au tangage de la caméra par rapport au sol. Bien souvent, les lignes retenues sont les lignes de marquage routier au sol.
Cette méthode est simple mais souffre de divers défauts : en présence de pointillés significativement distants les uns des autres, l'estimation précise de l'orientation des lignes est difficile. La largeur du marquage pose également un problème identique. Une deuxième méthode réside dans l'exploitation du mouvement observé. Pour la mise en oeuvre de ces méthodes, on fait l'hypothèse que le sol est plan dans un domaine proche du véhicule ; les paramètres de position et éventuellement de variation de position de la caméra sont alors identifiés en sélectionnant les valeurs qui permettent de faire coïncider entre deux images successives une zone de l'image correspondant à un morceau de route devant le véhicule.
Différents exemples de mise en oeuvre de cette deuxième méthode sont connus dans l'état de la technique : notamment, on connait un exemple dans lequel on estime tous les paramètres de position (hauteur, angle de roulis, et de tangage) et variation de position (6 valeurs de translations et rotations) de la caméra, en se basant sur le mouvement de la route, considérée comme plane, et en réduisant le bruit par un filtre de Kalman dans lequel est modélisée la dynamique du véhicule. La caméra est supposée alignée avec l'axe véhicule, donc l'angle de lacet n'est pas identifié, la hauteur caméra est supposée constante et connue ; ce sont donc huit paramètres qui doivent être identifiés. Cet exemple de mise en oeuvre se heurte à une complexité importante, résidant dans le nombre de paramètres à estimer. Certains paramètres peuvent être négligés car le mouvement d'un véhicule est suffisamment contraint. Par ailleurs, des ambiguïtés entre certains couples de grandeurs peuvent apparaître. Par exemple, une rotation autour de l'axe caméra X horizontal, c'est à dire l'axe correspondant au sens de déplacement du véhicule, résulte en un mouvement vertical constant dans toute l'image, qu'il sera difficile de discriminer du mouvement vertical dû au tangage de la caméra par rapport à la direction du déplacement si la zone observée n'est pas assez profonde et large, ce qui est généralement le cas lorsque l'on souhaite observer la route en évitant les bords de voie ou les obstacles... L'objet de l'invention propose une solution aux problèmes qui viennent d'être exposés. Dans l'invention, on propose une solution pour déterminer de manière précise une distance séparant un objet d'un véhicule en repérant précisément le bas de l'objet dans l'image, en attachant une importance toute particulière à l'estimation du tangage par rapport au sol. Pour estimer le tangage, on exploite le mouvement observé entre différentes images. Dans l'invention, on s'intéresse plus particulièrement aux paramètres de calibration de la caméra, et en particulier le tangage, par le mouvement. Différentes mises en oeuvre du procédé selon l'invention traitent par ailleurs des problèmes d'ambiguïtés entre l'estimation de tangage et sa variation.
L'invention concerne donc essentiellement un procédé de mesure de distance entre un obstacle et un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant une succession d'images d'une scène de route se déroulant devant le véhicule, le procédé comportant les différentes étapes consistant à : - acquérir une succession d'images de la scène de route ; transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, la distance entre l'obstacle considéré et le véhicule automobile caractérisé en ce que l'étape consistant à réaliser le calcul de tangage de la caméra comporte les différentes opérations consistant à : soit . - faire coïncider au moins deux images successives acquises en réalisant une itération sur au moins des paramètres de position de la caméra, et en réalisant un déplacement d'une des deux images en accord avec des paramètres de déplacement du véhicule ; - retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives ; en déduire le tangage de la caméra ; soit : - faire coïncider au moins deux images successives acquises, en réalisant une itération sur la valeur de tangage ; retenir comme valeur de tangage la valeur associée à une vitesse de déplacement déterminée entre les deux images successives, ladite vitesse de déplacement déterminée correspondant à une vitesse de déplacement longitudinale réelle du véhicule. Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques supplémentaires parmi les suivantes : - les images successives à faire coïncider sont des images rétroprojetées. - l'opération consistant à retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives repose sur un critère de somme des différences aux moindres carrés. - la vitesse de déplacement longitudinale réelle du 30 véhicule est donnée par un odomètre disposé sur le véhicule. - l'itération sur la valeur de tangage est réalisée au moyen d'un observateur non linéaire du type régulateur proportionnel intégral. 35 - le procédé comporte l'étape supplémentaire consistant à, préalablement à la réalisation de l'étape de calcul de tangage de la caméra, sélectionner une zone limitée dans les images acquises, les opérations ultérieures sur les images acquises étant alors limitées à ladite zone limitée, ladite zone limitée correspondant à une portion de la route située devant le véhicule et englobant des marquages au sol entourant la voie du véhicule. - l'étape consistant à déterminer la distance entre l'obstacle considéré et le véhicule automobile est réalisée en appliquant la formule suivante : obstacle tan(atangage + (résolution verticale/2 ù hauteu obstacle/f où - le terme "Dobstacle ' ' correspond à la distance entre l'obstacle et le véhicule ; - la résolution verticale correspond au nombre de pixels 15 sur la hauteur de l'image ; - le terme " hauteur,,=ä est la hauteur en nombre de lignes de la base de l'obstacle dans l'image ; - le terme "f" est la focale en pixels ; - le terme "atangage, ' est le tangage de la caméra par 20 rapport au sol.
La présente invention se rapporte également à un dispositif apte à mettre en oeuvre le procédé selon l'invention, et à un véhicule automobile équipé d'un tel 25 dispositif. L'invention sera mieux comprise, et d'autres buts, caractéristiques, détails et avantages de celle-ci apparaîtront plus clairement dans la description explicative qui va suivre faite en référence au dessin 30 schématique annexé donné uniquement à titre d'exemple, montrant un schéma illustrant les conséquences du tangage de la caméra sur des mesures de distance. Dans la suite de la description, deux modes de mise en oeuvre sont décrits, dans l'un d'eux un processus 35 d'optimisation itère à chaque pas de temps sur le tangage ce qui nécessite une opération dite de warping, ou transposition de texture, à chacune d'entre elles. Le warping réside en une opération consistant à projeter une texture définie sur une surface initiale vers une autre surface, dite surface d'arrivée, selon un type de projection donné. Une telle opération s'effectue : - en calculant sur la surface initiale les coordonnées des antécédents de chacun des points de la surface d'arrivée ; - en assignant au point de la surface d'arrivée un niveau 10 de couleur ou de gris correspondant à son point de départ. Dans le contexte considéré ici, la texture appliquée est celle de l'image recueillie par la caméra rétroprojetée selon une projection centrale, vers la surface de la 15 route déterminée par les différents paramètres (hauteur, tangage, roulis, lacet de la caméra). Dans l'autre mode de mise en oeuvre décrit, toujours basé sur le mouvement, utilise un observateur d'état, ne nécessitant qu'une opération de warping à chaque pas de 20 temps, accélérant sensiblement l'algorithme. L'état observé est l'angle de tangage de la caméra, ledit angle de tangage évoluant en fonction des mouvements du véhicule. Dans les approches décrites, pour traiter les 25 outliers, en d'autres termes les zones de l'image qui ne correspondent pas à la route, on utilise une portion réduite de l'image qui correspond à la route sur une distance courte devant le véhicule, englobant les marquages gauche et droit. Tout dispositif apte à mettre 30 en oeuvre le procédé selon l'invention peut s'interfacer avec un dispositif de détection d'obstacles et un dispositif de détection de ligne pour ajuster au mieux la zone de recherche, tirant ainsi bénéfice de la totalité des algorithmes disponibles. 35 Le procédé selon l'invention peut être mis en oeuvre au moyen d'un dispositif comportant notamment : - un dispositif d'acquisition d'images de type caméra destiné à acquérir des séquences d'images de la route devant le véhicule. La caméra est typiquement montée en zone essuyée à l'intérieur du véhicule, par exemple en haut de pare-brise avant. La caméra réalise une projection de perspective de la scène visualisée. - un calculateur relié à la caméra qui lui envoie les images qu'elle acquière. Le calculateur comprend une zone de mémoire dans laquelle il est possible de stocker une ou plusieurs images précédemment acquises. Le calculateur dispose aussi de moyens de calculs qui permettent : - d'estimer à partir d'images successives les paramètres de position de la caméra ; - de détecter un obstacle dans l'image ; - d'estimer sa distance à la caméra. Avantageusement, dans la mise en oeuvre du procédé selon l'invention, le calculateur est apte à intégrer des informations provenant de capteurs usuels de dynamique véhicule, notamment des odomètres pour recueillir la vitesse véhicule, des capteurs d'angle volant, ou encore des capteurs de vitesse de lacet. Les deux exemples de mise en oeuvre de l'invention sont à présent détaillés : Le premier exemple peut se décomposer en six étapes principales, numérotées I-1 à I-6.
I-1 : le dispositif d'acquisition d'image acquière une image de la route qui est envoyée au calculateur. I-2 : le calculateur reçoit l'image et commence le calcul du tangage. En parallèle, il peut lancer des calculs de détection d'obstacle et de détection de lignes. L'image précédente est mise en mémoire. I-3 : le calcul du tangage commence par une opération de sélection d'une zone dans l'image qui doit correspondre à la portion de route devant le véhicule englobant les marquages délimitant la voie empruntée par le véhicule. Cette zone est suffisamment longue pour contenir l'information nécessaire à l'établissement du tangage, et suffisamment courte pour limiter les possibilités qu'elle soit occupée par un autre véhicule. Typiquement, la grandeur au sol à considérer va de 0 à 20 mètres devant la caméra. Les coordonnées dans l'image sont établies à partir des coordonnées désirées au sol, correspondant à la plage de coordonnées rentrant dans la zone précédemment sélectionnée, et de la position de la caméra par rapport au sol données par rapport au repère véhicule. Le repère véhicule est avantageusement défini au niveau du sol, à l'aplomb du centre de projection de la caméra, selon la direction de l'axe longitudinal du véhicule. La position caméra par rapport à ce repère est donnée par : - la hauteur de son centre de projection, considérée comme connue et constante ; - son inclinaison par rapport au plan du sol, c'est à dire le tangage ; - l'angle de lacet entre la caméra et l'axe longitudinal du véhicule. La valeur de tangage dont on se sert à ce stade du procédé peut être la valeur précédemment estimée, ou, en début de processus, la valeur de calibration correspondant aux caractéristiques du montage de la caméra. L'angle de lacet entre la caméra et l'axe longitudinal du véhicule est supposé nul, ou identifié sur des portions rectilignes de route.
I-4 Dans le premier exemple, le procédé selon l'invention consiste à itérer sur les paramètres de position caméra (on effectue une boucle de calcul sur les valeurs que peuvent prendre les paramètres caméra), et éventuellement de mouvement, de manière à faire coïncider les zones précédemment délimitées dans les images successives, rétroprojetées au sol, la rétroprojection étant réalisée en fonction des paramètres de position caméra par rapport au repère véhicule (encore appelés paramètres de calibration extrinsèque de la caméra) et en déplaçant l'image en vue de dessus résultante en accord avec les paramètres de déplacement, c'est-à-dire le déplacement longitudinal et latéral du véhicule. En d'autres termes, on effectue une opération de warping de l'image de la caméra vers la surface supposée du sol compte-tenus des paramètres caméras connus, paramètres qui sont donc fixes ou supposés comme tel (la hauteur de la caméra, par exemple) et compte-tenu des paramètres à déterminer sur lesquels on itère. La qualité de recouvrement entre les deux zones rétroprojetées au sol est mesurée par un critère de somme des différences au moindre carrés. Ce critère sert à mesurer l'écart entre l'image attendue par estimation et l'image effectivement capturée. Un tel critère permet d'éviter que des erreurs positives annulent des erreurs négatives. Les paramètres qui minimisent cette somme sont ceux qui sont sélectionnés comme paramètres estimés.
I-5 Dans l'exemple décrit, il n'est pas nécessaire d'identifier tous les paramètres. Par exemple, le paramètre d'angle de lacet entre la caméra et l'axe longitudinal du véhicule est identifié lors des passages sur des portions rectilignes de la route par une autre méthode. Le paramètre de déplacement longitudinal peut être fourni avec une bonne précision par les odomètres équipant les roues du véhicule ; la variation de lacet peut être fournie directement par le capteur de vitesse de lacet équipant tout véhicule disposant de l'ESP, en roulage normal la translation le long de l'axe X horizontal de la caméra est directement reliée à cette grandeur et à la vitesse longitudinale du véhicule. La variation de tangage ne constitue pas non plus un paramètre essentiel dans cet exemple. Comme déjà précisé, il est difficile, sur une zone restreinte d'observation, de discriminer entre la part due au tangage et celle due à la variation de tangage dans l'établissement du flot optique, ce qui génère naturellement des ambiguïtés.
L'équation suivante rend compte dans le repère (x,y,z) attaché à la caméra, en se référant à la figure 1, de l'évolution du flot optique en fonction du déplacement et des paramètres caméra : dx -f(z +dey)+x y.dez -x~ dey +xydex T -f( -dex)-x.deZ+yz-xy fd +y2 fx Z ex,9y,OZ représentent les variations d'angle de la caméra autour respectivement des axes x, y et z. La figure 1 fait apparaître qu'un tangage de la caméra génère bien une translation Ty dans le repère caméra lors d'un mouvement longitudinal du véhicule. Si la zone observée compte une faible variation de distance, il est difficile de discriminer entre la part due au tangage (se traduisant en une translation Tyr de celle due à sa variation de tangage de.. I-6 Dans le premier exemple, ce problème est résolu en faisant l'hypothèse que la part due à la variation de tangage est négligeable. Si l'on souhaite connaître la valeur haute fréquence du tangage, cette hypothèse est fausse. En revanche, si l'on souhaite une valeur moyennée au cours du temps, cette hypothèse se révèle tout à fait valide et permet d'identifier avec une bonne précision le tangage moyen. La fenêtre temporelle de moyennage correspond à celle d'une période d'oscillation haute fréquence du véhicule. Typiquement, cette valeur de 1.5 à 2 hz. En moyennant la valeur instantanée de tangage précédemment obtenue sur une période d'une seconde environ, on obtient une valeur tout à fait intéressante du tangage de la caméra, en accord avec nombre de situations de mesure de distance par rapport à un obstacle. Le deuxième exemple de mise en oeuvre du procédé selon l'invention peut se décomposer en six étapes principales, numérotées II-1 à II-4. Les étapes II-1, II-2 et II-3 sont identiques respectivement aux étapes I-1, I-2 et I-3 du premier exemple qui vient d'être décrit. f f dy II-4 Dans le premier exemple de mise en oeuvre décrit, il est nécessaire, à chaque instant, d'itérer sur le tangage ; le calcul de la somme des différences au carré obtenue pour la nouvelle valeur de tangage implique une opération de retroprojection sur le sol par warping. Dans le deuxième exemple de mise en oeuvre du procédé selon l'invention, on s'affranchit de cette nécessité en mettant en oeuvre un observateur non linéaire, c'est-à-dire un observateur d'une variable régie par des lois non linéaires. La vitesse longitudinale du véhicule est accessible par les odomètres. Dans cet exemple, on se sert d'un observateur, par exemple un simple régulateur proportionnel-intégral, pour itérer au cours du temps sur le tangage, de manière que la vitesse de déplacement trouvée pour obtenir un recouvrement optimal des zones de la route successivement visualisées et transformées en vue de dessus, corresponde à la vitesse de déplacement mesurée par les odomètres. Le tangage estimé tend alors vers le tangage réel. Le déplacement estimé entre les deux images successives en vue de dessus est dans un premier temps un déplacement exprimé en pixel au niveau de l'image. Il est cependant possible de relier ce déplacement au déplacement réel car connaissant la hauteur de la caméra par rapport au sol, on s'affranchit du problème du facteur d'échelle qui rend ambigu le déplacement par rapport à un objet visualisé. En outre, comme les images sont transformées en vues de dessus, on élimine complètement la perspective, ce qui conduit à une équivalence entre le déplacement donné en pixels et le déplacement réel constant dans toute l'image. On réalise alors une estimation du déplacement sur images en vue de dessus, au cours de laquelle sont réalisées les opérations de rétroprojections des deux images successives, sur les zones correspondant à la route uniquement ; puis on réalise une estimation du déplacement optimal nécessaire pour les faire coïncider au mieux suivant le critère de somme du carré des différences précédemment utilisé. Le déplacement en pixel étant trouvé, l'équivalent en déplacement réel est calculé. L'observateur réalisé par le proportionnel-intégral corrige la valeur de tangage pour qu'au pas de temps suivant, la vitesse estimée converge vers la valeur de référence mesurée par l'odométrie. Les différents exemples qui viennent d'être décrits 10 permettent d'obtenir une précision d'environ 0.1° d'estimation sur le tangage. Une fois l'estimation du tangage réalisée, un dispositif de mesure de distance reçoit les informations provenant du dispositif réalisant la détection 15 d'obstacle. Le dispositif de détection d'obstacle fournit la position précise dans l'image du point de contact entre le véhicule et le sol. En considérant le sol comme plan jusqu'à l'obstacle, et en connaissant la hauteur de la base de 20 l'obstacle dans l'image et le tangage par rapport au sol de la caméra, la formule suivante donne la distance recherchée : h obstacle tan(atangage + (résolution verticale/2 ù hauteurobstacle )/f ) Où : la résolution verticale correspond au nombre 25 de pixels décrits sur la hauteur de l'image, hauteurä_, est la hauteur en nombre de lignes de la base de l'obstacle dans l'image, f est la focale en pixels et aitangage, le tangage de la caméra par rapport au sol. 30

Claims (9)

  1. REVENDICATIONS1. Procédé de mesure de distance entre un obstacle et un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant une succession d'images d'une scène de route se déroulant devant le véhicule, le procédé comportant les différentes étapes consistant à : - acquérir une succession d'images de la scène de 10 route ; transmettre les images acquises à un calculateur ; - réaliser un calcul du tangage de la caméra ; - déterminer, à partir de l'information de tangage, 15 la distance entre l'obstacle considéré et le véhicule automobile caractérisé en ce que l'étape consistant à réaliser le calcul de tangage de la caméra comporte les différentes opérations consistant à : 20 soit . - faire coïncider au moins deux images successives acquises en réalisant une itération sur au moins des paramètres de position de la caméra, et en réalisant un déplacement d'une des deux images en accord avec des 25 paramètres de déplacement du véhicule ; - retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives ; en déduire le tangage de la caméra ; soit . 30 - faire coïncider au moins deux images successives acquises, en réalisant une itération sur la valeur de tangage ; retenir comme valeur de tangage la valeur associée à une vitesse de déplacement déterminée entre 35 les deux images successives, ladite vitesse de déplacement déterminée correspondant à une vitesse de déplacement longitudinale réelle du véhicule.
  2. 2. Procédé selon la revendication précédente caractérisé en ce que les images successives à faire coïncider sont des images rétroprojetées.
  3. 3. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'opération consistant à retenir les paramètres de position de la caméra réalisant la coïncidence des deux images successives repose sur un critère de somme des différences aux moindres carrés.
  4. 4. Procédé selon la revendication 1 caractérisé en ce que la vitesse de déplacement longitudinale réelle du véhicule est donnée par un odomètre disposé sur le véhicule.
  5. 5. Procédé selon l'une au moins des revendications 1 ou 4 caractérisé en ce que l'itération sur la valeur de tangage est réalisée au moyen d'un observateur non linéaire du type régulateur proportionnel intégral.
  6. 6. Procédé selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte l'étape supplémentaire consistant à, préalablement à la réalisation de l'étape de calcul de tangage de la caméra, sélectionner une zone limitée dans les images acquises, les opérations ultérieures sur les images acquises étant alors limitées à ladite zone limitée, ladite zone limitée correspondant à une portion de la route située devant le véhicule et englobant des marquages au sol entourant la voie du véhicule.
  7. 7. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'étape consistant à déterminer la distance entre l'obstacle considéré et le véhicule automobile est réalisée en appliquant la formule suivante : Dobstacle tan(atangage + (résolution verticale/2 ù hauteu obstacle/f où - le terme ' ' Dobstacle correspond à la distance entre l'obstacle et le véhicule ; h- la résolution verticale correspond au nombre de pixels sur la hauteur de l'image ; - le terme " hauteur est la hauteur en nombre de lignes de la base de l'obstacle dans l'image ; - le terme "f" est la focale en pixels ; - le terme "atangage" est le tangage de la caméra par rapport au sol.
  8. 8. Dispositif caractérisé en ce qu'il est apte à mettre en oeuvre le procédé selon l'une au moins des 10 revendications précédentes.
  9. 9. Véhicule automobile caractérisé en ce qu'il est équipé du dispositif selon la revendication précédente.
FR0857634A 2008-11-10 2008-11-10 Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile Expired - Fee Related FR2938228B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0857634A FR2938228B1 (fr) 2008-11-10 2008-11-10 Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0857634A FR2938228B1 (fr) 2008-11-10 2008-11-10 Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile

Publications (2)

Publication Number Publication Date
FR2938228A1 true FR2938228A1 (fr) 2010-05-14
FR2938228B1 FR2938228B1 (fr) 2010-11-05

Family

ID=40756190

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0857634A Expired - Fee Related FR2938228B1 (fr) 2008-11-10 2008-11-10 Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile

Country Status (1)

Country Link
FR (1) FR2938228B1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113173161A (zh) * 2021-04-26 2021-07-27 安徽域驰智能科技有限公司 一种基于迭代预测模型的障碍物碰撞距离计算方法
CN114987611A (zh) * 2021-03-01 2022-09-02 沃尔沃卡车集团 用于车辆的低速操纵辅助

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285393B1 (en) * 1993-09-08 2001-09-04 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
EP1256487A2 (fr) * 2001-05-11 2002-11-13 Honda Giken Kogyo Kabushiki Kaisha Système, méthode et programme de détection de l'approche d'un objet
EP1722332A1 (fr) * 2005-05-13 2006-11-15 Nissan Motor Company Limited Dispositif et procédé pour traitement d'image
EP1783684A1 (fr) * 2004-08-11 2007-05-09 HONDA MOTOR CO., Ltd. Détecteur de plans et procédé de détection
US7437244B2 (en) * 2004-01-23 2008-10-14 Kabushiki Kaisha Toshiba Obstacle detection apparatus and a method therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285393B1 (en) * 1993-09-08 2001-09-04 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
EP1256487A2 (fr) * 2001-05-11 2002-11-13 Honda Giken Kogyo Kabushiki Kaisha Système, méthode et programme de détection de l'approche d'un objet
US7437244B2 (en) * 2004-01-23 2008-10-14 Kabushiki Kaisha Toshiba Obstacle detection apparatus and a method therefor
EP1783684A1 (fr) * 2004-08-11 2007-05-09 HONDA MOTOR CO., Ltd. Détecteur de plans et procédé de détection
EP1722332A1 (fr) * 2005-05-13 2006-11-15 Nissan Motor Company Limited Dispositif et procédé pour traitement d'image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114987611A (zh) * 2021-03-01 2022-09-02 沃尔沃卡车集团 用于车辆的低速操纵辅助
CN113173161A (zh) * 2021-04-26 2021-07-27 安徽域驰智能科技有限公司 一种基于迭代预测模型的障碍物碰撞距离计算方法
CN113173161B (zh) * 2021-04-26 2022-07-05 安徽域驰智能科技有限公司 一种基于迭代预测模型的障碍物碰撞距离计算方法

Also Published As

Publication number Publication date
FR2938228B1 (fr) 2010-11-05

Similar Documents

Publication Publication Date Title
EP2884226B1 (fr) Procédé de calibration angulaire de la position d'une caméra video embarquée dans un véhicule automobile
EP2984625B1 (fr) Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
WO2022002531A1 (fr) Système et procédé de détection d'un obstacle dans un environnement d'un véhicule
EP2043044B1 (fr) Procédé et dispositif d'assistance au parcage d'un véhicule automobile
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
EP3579191A1 (fr) Estimation dynamique du tangage instantané et du roulis instantané d'une caméra embarquée dans un véhicule automobile
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3060178A1 (fr) Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes
FR3053554A1 (fr) Procede de calibration rapide d'une camera de vehicule automobile
FR3054672A1 (fr) Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
FR3052581B1 (fr) Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile
FR3064073A1 (fr) Procede et dispositif de determination d'une position
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
EP3759434A1 (fr) Procédé de sélection d'un ensemble restreint ou vide d'hypothèses de positions possibles d'un véhicule
FR3146523A1 (fr) Procédé d’estimation de la vitesse d’un véhicule
KR102406515B1 (ko) 차량의 헤딩 추정 장치 및 방법
WO2011010021A1 (fr) Procede de releve d'informations relatives a des panneaux de signalisation verticale, dispositif associe et application
WO2021249809A1 (fr) Procede de calibration d'une camera et dispositif associe
FR3036498A1 (fr) Procede et systeme de localisation en ligne d'un vehicule automobile
FR3034555A1 (fr) Procede de determination du sens du mouvement d'un vehicule automobile
FR3041769A1 (fr) Procede de geolocalisation
EP3677928A1 (fr) Dispositif électronique et procédé de surveillance d'une scène autour d'un véhicule automobile, véhicule automobile, système de transport et programme d'ordinateur associés
EP4382392A1 (fr) Procédé pour déterminer la position d'un véhicule ferroviaire
WO2022033902A1 (fr) Procédé d'alignement d'au moins deux images formées de points tridimensionnels

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20150731