EP1779677A1 - Procede de calibration automatique d'un systeme de stereovision - Google Patents

Procede de calibration automatique d'un systeme de stereovision

Info

Publication number
EP1779677A1
EP1779677A1 EP05781774A EP05781774A EP1779677A1 EP 1779677 A1 EP1779677 A1 EP 1779677A1 EP 05781774 A EP05781774 A EP 05781774A EP 05781774 A EP05781774 A EP 05781774A EP 1779677 A1 EP1779677 A1 EP 1779677A1
Authority
EP
European Patent Office
Prior art keywords
image
error
lines
yaw
cos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05781774A
Other languages
German (de)
English (en)
Inventor
Jérôme MARQUET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP1779677A1 publication Critical patent/EP1779677A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Definitions

  • the invention relates to a method for automatically calibrating a stereovision system intended to be embedded in a motor vehicle.
  • the obstacle detection systems used in motor vehicles, incorporating stereovision systems with two right and left cameras, must be calibrated very precisely to be operational. Indeed a calibration error - that is to say a misalignment of the axes of the cameras - of the order of ⁇ 0.1 ° can cause a malfunction of the detection system.
  • a so-called electronic calibration procedure must therefore be considered, which consists in determining the alignment error of the axes of the cameras and in correcting the measurements made from the images detected by the cameras as a function of the alignment error determined.
  • the known methods of calibration require the use of patterns that must be placed in front of the stereovision system. They therefore require labor, immobilization of the vehicle for a workshop intervention and are all the more expensive that the calibration must be performed at regular time intervals, because it can not be guaranteed that the movements of 'a camera relative to each other are less than ⁇ 0.1 ° in the life cycle of the motor vehicle.
  • This method proves complex on the one hand because its application supposes to have in the field of view a marking having predefined characteristics and to codify the geometrical constraints imposed on such a marking, and on the other hand the fact that it supposes on the one hand to have a materialization of lines by markings of the roadway and on the other hand to establish the correspondence between the positions of several marking points, representative of the lateral and longitudinal positions of the markings, respectively detected in a right image and a left image.
  • the object of the invention is therefore to provide a method of calibrating a stereovision system intended to be embedded in a motor vehicle, which makes it possible to obtain a calibration accuracy of less than ⁇ 0.1 °, which is simple and automatic, requiring in particular neither the use of a sight, nor a human intervention, nor the immobilization of the vehicle.
  • the subject of the invention is a method for automatically calibrating a stereovision system intended to be embedded in a motor vehicle and comprising at least two image acquisition devices, including a first acquisition device for acquiring a first so-called "left” image and a second acquisition device for acquiring a second so-called “right” image, said method consisting of a) acquiring in the first acquisition device and in the second acquisition device, a left image, respectively a right image, of the same scene comprising at least one tread for said vehicle, b) determining the calibration error, c) performing a correction of the left and right images from said calibration error, remarkable in that step b) of said method consists of b1) searching in said left image and in said right image, at least two vanishing lines corresponding ant to two straight and substantially parallel lines of the tread, including bounding lines or marking lines of the tread, b2) determine for the left image and for the right image, the coordinates of the point d intersecting said at least two leakage lines respectively detected, b3) determining the calibration
  • tread means here broadly as well the road itself (including the roadway and aisles), the roadway only or a track materialized on a multi-lane road.
  • the method according to the invention takes advantage of the fact that a tread comprises approximately parallel lines, either delimitation lines corresponding to the edges of the tread or lines of markings of the tread.
  • marking lines need not be present or have a predefined spacing.
  • the pitch error and the yaw error are determined by assuming that the roll angle is within a predetermined range, for example between -5 ° and + 5 °.
  • the process is carried out without human intervention, it can be carried out without additional cost repeatedly, as soon as the vehicle follows a sufficiently flat track.
  • the process will be performed at regular time intervals, at a predetermined periodicity.
  • the method does not require the immobilization of the vehicle and is adapted to be performed during the movement of the vehicle. This guarantees, for example, that in case of mechanical "decalibration" of the cameras, the calibration can be performed again automatically and electronically as soon as the vehicle again uses a sufficiently flat track.
  • the process also consists of:
  • FIG. 1 is a simplified diagram of a vehicle equipped with a stereovision system
  • Figures 2a and 2b show examples of images acquired by a camera placed in a vehicle in position on a tread
  • FIGS. 3a, 3b and 3c are a three-dimensional geometrical illustration of the geometrical model used in the method according to the invention
  • FIGS. 4a and 4b illustrate the method of calculation of certain parameters used in the method according to the invention
  • FIG. 5 is a simplified flowchart of the method according to the invention.
  • a motor vehicle V seen from above, moving or stopping on a tread B.
  • the tread is assumed to be approximately flat. It therefore comprises approximately parallel lines, consisting either of boundary lines LB of the tread itself (its right and left edges) or lateral marking lines L1, L2 or central LM.
  • the marking lines L1 and L2 delimit the roadway itself, while lines L1 and LM (or L2 and LM) define a roadway on this roadway.
  • a marking of the road is not necessary for the execution of the method according to the invention, insofar as the edges LB of the road are usable as parallel lines, since they are sufficiently rectilinear and have sufficient contrast with the immediate surroundings of the road.
  • the vehicle is equipped with a stereovision system with two cameras right CD and left CG, placed at a distance from each other. These cameras are typically CCD cameras for acquiring a digital image.
  • the images are processed by a central processing and calculation system S, in communication with the two cameras and receiving the images they digitize.
  • the left and right images are, first of all, as usual, transformed with their intrinsic calibration parameters to be reduced to the pinhole model in which a point of space is projected. on the point of the focal plane of the camera which corresponds to the intersection of this focal plane with the line joining the point of the space to the optical center of the camera.
  • Each camera CD and CG placed in the vehicle acquires an image such as those shown in Figure 2a or 2b.
  • the image 2a corresponds to a situation where the vehicle follows a straight road.
  • the lines L1 and L2 marking the tread are parallel and converge towards the vanishing point of the image.
  • the image 2b corresponds to a situation where the vehicle takes a turn in the city.
  • the lines L1 and L2 detectable in this image are very short straight segments.
  • Steps 610 to 640 are performed in exactly the same way on the right image and on the left image, steps 650 to 670 use the results obtained in steps 610 to 640 in combination for the two images.
  • a Hough transform or a Radon transform is preferably used. Any other method of line detection can also be used, for example by matrix filtering, thresholding and gradient detection in the image.
  • the use of a Hough or Radon transform makes it possible to determine the lines present in the image and to further determine the number of points belonging to these lines. Depending on the number of points found, it is possible to determine whether the vehicle is in a straight line situation or a corner. In the first case a calibration of the stereo base can be performed but not in the second.
  • the transform also makes it possible to determine the coefficients of the equations of the lines with an accuracy that depends on the parameterization of the transform used for the detection of the lines.
  • the left image acquired by the left camera defines an orthonormal affine frame R
  • G ( OIG , ⁇ G - ⁇ G) ⁇ shown in Figure 3a, whose origin O
  • the coordinates (uO, vO) of the reference R, G are given here in number of pixels relative to the image matrix of the camera.
  • D (O
  • the coordinates (u0, v0) of the center of each right and left matrix are therefore also identical.
  • Each equation on the right determined using the Hough or Radon transform therefore corresponds to a value of ⁇ and a value of ⁇ .
  • a test step 630 is thus performed on each of the detected lines in order to eliminate the straight portions having too few points and to determine if for at least two lines in the image the number of points is greater than a threshold.
  • This threshold is set empirically or is the result of experiments on a succession of characteristic images.
  • the point of intersection of coordinates (U D F. V DF ) of the lines LD1 and LD2 in the right image is defined by the following relations: ⁇ D2 sin ⁇ D ⁇ - ⁇ Di sin ⁇ D2 (10) cos ⁇ n , sin ⁇ ni - cos ⁇ and sin ⁇ n ⁇ ) O2 cost9 p , - ⁇ ? O
  • the search for a minimum or a maximum is done for example by varying in different intervals the various parameters involved, for example, in steps of 0.1 or 0.05 units for ⁇ and ⁇ .
  • Other mathematical analysis techniques are of course usable, in particular by calculation of derivatives.
  • the geometric model used is based on a plurality of direct orthonormal references which are defined in the three-dimensional space in the following manner: either O G , respectively O 0 , the optical center of the left camera, respectively the optical center of the right camera;
  • R G (O G , X G, y G • ⁇ G) ' e intrinsic reference of the left camera such that u G and y G, on the one hand, and v G and z G , on the other hand are collinear; the difference between R
  • G and R G consist in that in R G the coordinates are given in metric units (m, mm, for example) and not in number of pixels; or R 0 (O D , XD, y D , z D ) the intrinsic reference of the right camera;
  • RR (O R , X R , y R , z R ) the so-called mark of the road or mark of the tread, the vector x R being parallel to the lines L1 and L2 belonging to the plane of the road, the vector y R being parallel to the plane of the road and perpendicular to the direction defined by x R , and the point O R being situated in the plane of the road and at the vertical defined by z R of the point O s , so that
  • R s (Os, Xs, Ps, ⁇ s) ' e stereo mark
  • the vector ys being collinear to the line passing through the points O G , O s and O 0 , and oriented from the point O s to the point O G
  • the vector x $ being chosen perpendicular to ys and collinear with the vector product of the vectors z G and z D ;
  • the transform making it possible to go from the reference R R to the reference R 5 which is the composition of 3 rotations of respective angles ⁇ xr , a ⁇ , a zr and respective axes x R , y R , z R , is defined by the angles ⁇ xr , ⁇ yr , ⁇ zr ⁇ and corresponds to the matrix MR SR of following reference change: cos ⁇ ⁇ cos ⁇ -r - cos ⁇ ⁇ sin ⁇ ,,. sin ⁇ > r
  • YG. ⁇ G. is defined by the angles ⁇ e xg, e yg, zg e ⁇ and corresponds to the matrix G s MR change following reference:
  • MRcs cos ⁇ xg sin ⁇ zg + sin ⁇ xg sin ⁇ yg cos ⁇ . g cos ⁇ xg cos ⁇ zg - sin ⁇ xg sin ⁇ g sin ⁇ : g - sin £ • ⁇ ? cos ⁇ yg sin ⁇ sin ⁇ : g - cos ⁇ x g sin > g cos.. ? tg sin ⁇ cos ⁇ : g + cos ⁇ sin xg £> sin g £: g cos cos ⁇ £ f ⁇ y
  • PD 'z D is defined by the angles ⁇ e xd , e yd , e zd ⁇ and corresponds to the matrix MR D s of the following reference change: cos ⁇ y ⁇ cos ⁇ : d - cos ⁇ yd sin ⁇ zd SUIf yd
  • MR DS cos £ - u / sin £ -. rf + sin £ ⁇ rf sin ⁇ cos £ -, rf cosf w / cosf ⁇ -sin £ - t ( , sinf > (/ sin £ -. ⁇ ; -sin £ - u / cos £ - > rf ⁇ sms xd sin . ⁇ ⁇ tf cos / sin ⁇ cos rf £ zd sin ⁇ cos ⁇ xd, d + ⁇ cos x ⁇ sin ⁇ y d sin £ -. COS rf £ - u / COS ⁇ yd
  • MR 03 MR 5 cos # sin # + sine? sin # cos # cos # cos ⁇ cos ⁇ - sin # sin ⁇ sin ⁇ - sin ⁇ cos ⁇ ? yg sin (9 tg sin ⁇ -cos ⁇ sintf ⁇ cos6 » g sin (9 tg cos ⁇ g + cos ⁇ 9 ⁇ g sin ⁇ sin ⁇ 2g cos (9 tg cos ⁇ gj
  • MR DS MR SR cos ⁇ xd sin ⁇ _ d + sin ⁇ xd sin ⁇ y t cos ⁇ . d cos ⁇ xd cos ⁇ . d - sin ⁇ xd sin ⁇ > d sin ⁇ : d - sin ⁇ ⁇ d cos ⁇ "y ⁇ i sin ⁇ xtl sin ⁇ . d - cos ⁇ xJ sin ⁇ yd cos ⁇ zd sin ⁇ xd cos ⁇ zd + cos ⁇ xd sin ⁇ yd sin ⁇ : d cos ⁇ xd cos ⁇ yd sin ⁇ : d cos ⁇ xd cos ⁇ yd sin ⁇ : d cos ⁇ xd cos ⁇ yd
  • Knowing the pitch and yaw error ⁇ e y and ⁇ e z makes it possible to rectify the right image or the left image, in order to reduce it to the case of a well-calibrated stereovision system. That is to say, that the axes of the right and left cameras are parallel.
  • This rectification process consists, in a known manner (see for example the document already cited entitled “Computer Vision, A modem approach", Chapter 11), to replace the right and left images from the non-calibrated stereovision system by two images right and left equivalents comprising a common image plane and parallel to the line joining the optical centers of the cameras.
  • the rectification usually consists of projecting the original images in the same image plane parallel to the line joining the optical centers of the cameras.
  • the epipolar lines also become the horizontal lines of the rectified images by the rectification method and are parallel to the line joining the optical centers of the cameras.
  • the rectified images can be used in an obstacle detection system by stereovision, which generally assumes and therefore requires that the axes of the right and left cameras are parallel.
  • the epipolar lines no longer correspond to the lines of the acquired image, the distance measurements are erroneous and the obstacle detection becomes impossible.
  • This frame is determined for a right and left image pair in step 650 before returning to image acquisition step 610.
  • the determination of the framing of the pitch error ⁇ e y and the yaw error ⁇ e z for a plurality of images are repeated. Then, in step 660, for this plurality of images, the minimum value (or lower bound) of the values obtained is determined. for each of the images for ⁇ e ymax and ⁇ e zmax , as well as the maximum value (or upper bound) of the values obtained for ⁇ e ymin and ⁇ e zm ⁇ n .
  • the frame obtained in this way is sufficiently precise to allow the correction of the captured images and the use of the images thus rectified by the process according to the invention in an obstacle detection process. It has been verified in particular that by choosing steps of 0.5 ° and 1 pixel for the Hough transform, we obtain a framing of ⁇ e y to within ⁇ 0.15 ° and a framing of ⁇ e z to ⁇ 0, 1 ° near.
  • step 670 the pitch and yaw errors obtained in step 660 or 650 are used to perform the right and left image rectification.
  • the matrix ⁇ MR is determined such that:
  • AMR (MR GS - MR DS ) MR SR
  • ⁇ yg Atan (f ug Sin ⁇ xg + f vg cos xg) (57)
  • ⁇ zg Atan ⁇ cos yg * (f Ug - Sin ⁇ xg Tan ⁇ yg) / cos xg ⁇ (58)
  • ⁇ yd Atan (f ud Sin ⁇ xd + f vd Cos ⁇ xd ) (59)
  • ⁇ zd Atan ⁇ Cos ⁇ yd * (f ud - Sin ⁇ xd Tan ⁇ yd ) / Cos ⁇ xd ⁇ (60) with: U n - U DF
  • the minimum and maximum values of ⁇ t y and Ae z are determined when ⁇ xg and ⁇ xd vary within a predetermined interval [- A, A], for example [-5 °, + 5 °] and that u DF , v DFU U GF and v GF vary in the intervals defined by the relations (12), (13), (16), (17) ). Any mathematical method of searching for minimum and maximum is for this purpose appropriate. The simplest is to vary the different parameters in the given intervals by not enough fine and to retain only the minimum or the maximum of the function each time studied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

Le procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile consiste à acquérir (610) dans un premier et deuxième dispositif d'acquisition, une image gauche et une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, à rechercher (620) dans l'image gauche et l'image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, et en cas de détection desdites au moins deux lignes de fuite, à déterminer (640) pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, à déterminer (650) l'erreur de tangage et l'erreur de lacet, sous forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet, à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite.

Description

PROCEDE DE CALIBRATION AUTOMATIQUE D'UN SYSTEME DE STEREOVISION
L'invention concerne un procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile. Les systèmes de détection d'obstacle utilisés dans les véhicules automobiles, intégrant des systèmes de stéréovision à deux caméras droite et gauche doivent être calibrés très précisément pour être opérationnels. En effet une erreur de calibration - c'est-à-dire une erreur d'alignement des axes des caméras - de l'ordre de ±0,1 ° peut provoquer un dysfonctionnement du système de détection. Or une telle précision est très difficile à atteindre mécaniquement. Une procédure de calibration dite électronique doit donc être envisagée qui consiste à déterminer l'erreur d'alignement des axes des caméras et à corriger les mesures effectuées à partir des images détectées par les caméras en fonction de l'erreur d'alignement déterminée.
Les méthodes connues de calibration nécessitent l'utilisation de mires qu'il faut placer en face du système de stéréovision. Elles nécessitent donc de la main d'ceuvre, une immobilisation du véhicule en vue d'une intervention en atelier et sont d'autant plus coûteuses que la calibration doit être effectuée à intervalles de temps réguliers, car on ne peut garantir que les déplacements d'une caméra l'une par rapport à l'autre ne soient inférieurs à ±0,1 ° dans le cycle de vie du véhicule automobile.
La thèse de doctorat de l'université de Paris 6, soutenue le 2 avril 2004 par J. DOURET, propose une méthode de calibration sans mire, basée sur la détection sur la route de marquages au sol et sur une connaissance a priori des contraintes géométriques imposées à ces marquages (positions individuelles, espacement et/ou structure globale). Cette méthode s'avère complexe d'une part du fait que son application suppose de disposer dans le champ de vision d'un marquage ayant des caractéristiques prédéfinies et de codifier les contraintes géométriques imposées à un tel marquage, et d'autre part du fait qu'elle suppose d'une part de disposer d'une matérialisation de lignes par des marquages de la chaussée et d'autre part d'établir la correspondance entre les positions de plusieurs points de marquage, représentatifs des positions latérales et longitudinales des marquages, détectés respectivement dans une image droite et une image gauche.
L'invention vise donc à fournir un procédé de calibration d'un système de stéréovision destiné à être embarqué dans un véhicule automobile, qui permette d'obtenir une précision de calibration inférieure à ±0,1 °, qui soit simple et automatique, ne nécessitant notamment ni l'utilisation d'une mire, ni une intervention humaine, ni l'immobilisation du véhicule.
Dans ce but, l'invention a pour objet un procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile et comprenant au moins deux dispositifs d'acquisition d'image, dont un premier dispositif d'acquisition pour l'acquisition d'une première image dite "gauche" et un deuxième dispositif d'acquisition pour l'acquisition d'une deuxième image dite "droite", ledit procédé consistant à a) acquérir dans le premier dispositif d'acquisition et dans le deuxième dispositif d'acquisition, une image gauche, respectivement une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, b) déterminer l'erreur de calibration, c) effectuer une rectification des images gauche et droite à partir ladite erreur de calibration, remarquable en ce que l'étape b) dudit procédé consiste à b1 ) rechercher dans ladite image gauche et dans ladite image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, notamment des lignes de délimitation ou des lignes de marquage de la bande de roulement, b2) déterminer pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, b3) déterminer l'erreur de calibration en déterminant l'erreur de tangage et l'erreur de lacet sous la forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite, et en ce que ladite rectification desdites images gauche et droite est effectuée en fonction de ladite erreur de tangage et ladite erreur de lacet.
Par bande de roulement, on entend ici de manière large aussi bien la route elle-même (comprenant la chaussée et les bas-côtés), la chaussée uniquement ou une voie de roulement matérialisée sur une route à plusieurs voies.
Le procédé selon l'invention tire profit du fait qu'une bande de roulement comprend des lignes approximativement parallèles, soit des lignes de délimitation correspondant aux bords de la bande de roulement soit des lignes de marquages de la bande de roulement. En outre, contrairement à l'état de la technique présenté plus haut, les lignes de marquages ne doivent pas nécessairement être présentes ni présenter un espacement prédéfini. Enfin, la seule détermination des points de fuite dans l'image droite et dans l'image gauche permet de déterminer l'erreur de calibration, notamment l'erreur de tangage et l'erreur de lacet.
Selon un mode de réalisation particulièrement avantageux, l'erreur de tangage et l'erreur de lacet sont déterminées en supposant que l'angle de roulis est compris dans un intervalle prédéterminé, par exemple entre -5° et +5°.
Du fait que le procédé s'effectue sans intervention humaine, il peut s'effectuer sans surcoût de manière répétée, dès lors que le véhicule emprunte une voie de roulement suffisamment plane. De préférence le procédé sera effectué à intervalles de temps réguliers, selon une périodicité prédéterminée. En outre le procédé ne nécessite pas l'immobilisation du véhicule et est adapté pour s'effectuer pendant le déplacement du véhicule. Ceci garantit par exemple, qu'en cas de "décalibration" mécanique des caméras, la calibration peut s'effectuer à nouveau automatiquement et électroniquement dès lors que le véhicule emprunte à nouveau une voie de roulement suffisamment plane.
Selon un mode de réalisation particulièrement avantageux du procédé selon l'invention, le procédé consiste en outre:
- à déterminer un encadrement des paramètres des équations des lignes de fuite déterminées pour l'image gauche et pour l'image droite; - à déterminer un encadrement des coordonnées des points de fuite de l'image gauche et de l'image droite à partir de l'encadrement des paramètres des équations des lignes de fuite, et
- à déterminer un encadrement de l'erreur de tangage et de lacet à partir de l'encadrement des coordonnées du point de fuite. D'autres avantages et particularités de l'invention apparaîtront à la lumière de la description qui va suivre. Dans les dessins auxquels il est fait référence: la figure 1 est un schéma simplifié d'un véhicule équipé d'un système de stéréovision, les figures 2a et 2b représentent des exemples d'images acquises par une caméra placée dans un véhicule en position sur une bande de roulement, les figures 3a, 3b et 3c sont une illustration géométrique en trois dimensions du modèle géométrique utilisé dans le procédé selon l'invention; les figures 4a et 4b illustrent le mode de calcul de certains paramètres utilisés dans le procédé selon l'invention, la figure 5 est un organigramme simplifié du procédé selon l'invention. Dans ce qui suit on considère comme illustré par la figure 1 , un véhicule automobile V, vu de dessus, en mouvement ou à l'arrêt sur une bande de roulement B. La bande de roulement est supposée approximativement plane. Elle comporte donc des lignes approximativement parallèles, consistant soit en lignes de délimitation LB de la bande de roulement elle-même (ses bords droit et gauche) soit en lignes de marquage latérales L1 , L2 ou centrales LM. Les lignes de marquage L1 et L2 délimitent la chaussée proprement dite, tandis que les lignes L1 et LM (ou L2 et LM) délimitent une voie de roulement sur cette chaussée. Il est à noter qu'un marquage de la route n'est pas nécessaire pour l'exécution du procédé selon l'invention, dans la mesure où les bords LB de la route sont utilisables en tant que lignes parallèles, dès lors qu'ils sont suffisamment rectilignes et présentent un contraste suffisant par rapport à l'environnement immédiat de la route. En effet un contraste de luminosité ou un contraste colorimétrique même faible peut suffire pour rendre détectables ces bords sur une prise de vue de la route et de son environnement immédiat. Le véhicule est équipé d'un système de stéréovision comportant deux caméras droite CD et gauche CG, placées à distance l'une de l'autre. Ces caméras sont typiquement des caméras CCD permettant de faire l'acquisition d'une image numérique. Les images sont traitées par un système central S de traitement et de calcul, en communication avec les deux caméras et recevant les images qu'elles numérisent. Les images gauche et droite sont tout d'abord, comme cela est usuel, transformées avec leurs paramètres de calibration intrinsèques pour se ramener au modèle trou d'épingle (ou « pinhole » en anglais) dans lequel un point de l'espace se projette sur le point du plan focal de la caméra qui correspond à l'intersection de ce plan focal avec la droite joignant le point de l'espace au centre optique de la caméra. (Voir par exemple le chapitre 3 du document « Computer Vision, A modem approach », de Forsyth et Ponce, aux éditions Prentice Hall). Les images peuvent ensuite faire l'objet après acquisition d'un filtrage ou d'un prétraitement, de manière par exemple à en améliorer le contraste ou la définition, ce qui facilitera l'étape ultérieure de détection des lignes de l'image. Chaque caméra CD et CG placée dans le véhicule fait l'acquisition d'une image telle que celles représentées en figure 2a ou 2b. L'image 2a correspond à une situation où le véhicule emprunte une voie de roulement rectiligne. Dans cette image, les lignes L1 et L2 de marquage de la bande de roulement sont parallèles et convergent vers le point de fuite de l'image. L'image 2b correspond elle à une situation où le véhicule emprunte un virage en ville. Les lignes L1 et L2 détectables dans cette image sont de très courts segments de droite.
Le procédé selon l'invention sera maintenant décrit étape par étape par référence à la figure 5 en combinaison avec les figures 3a, 3b 3c et 4a, 4b illustrant chacune des aspects particuliers du procédé. Les étapes 610 à 640 sont effectuées exactement de la même manière sur l'image droite et sur l'image gauche, les étapes 650 à 670 utilisent les résultats obtenus aux étapes 610 à 640 en combinaison pour les deux images.
Détection de droites
L'image acquise à l'étape 610 par la caméra droite CD et corrigée pour se ramener au modèle trou d'épingle pour cette caméra CD, ainsi que celle acquise par la caméra gauche CG, corrigée de la même manière, est ensuite soumise à une étape de détection 620 de lignes. Dans ce but on utilise de préférence une transformée de Hough ou une transformée de Radon. Toute autre méthode de détection de droites est également utilisable, par exemple par filtrage matriciel, seuillage et détection de gradients dans l'image. L'utilisation d'une transformée de Hough ou de Radon permet de déterminer les lignes présentes dans l'image et de déterminer en outre le nombre de points appartenant à ces lignes. En fonction du nombre de points trouvés, il est possible de déterminer si le véhicule est dans une situation de ligne droite ou dans un virage. Dans le premier cas un calibrage de la base stéréo pourra être effectué mais pas dans le second.
Lorsque ces lignes sont des droites, la transformée permet de déterminer en outre les coefficients des équations des droites avec une précision qui dépend de la paramétrisation de la transformée utilisée pour la détections des lignes.
On définit dans ce but pour l'image gauche acquise par la caméra gauche un repère affine orthonormé R|G= (OIG, Ï* G - ^G )< illustré à la figure 3a, dont l'origine O|G de coordonnées (uO, vO) est supposé situé au centre de la matrice d'acquisition (matrice CCD typiquement) de la caméra, et dont les vecteurs de base uG et vG correspondent respectivement aux axes horizontal et vertical de la matrice. Les coordonnées (uO, vO) du repère R,G sont données ici en nombre de pixels par rapport à la matrice image de la caméra. De même pour l'image droite on définit un repère affine orthonormé R|D= (O|D, UD . ^D )• On suppose ici par souci de simplification que les dimensions des deux matrices d'acquisition droite et gauche sont identiques. Les coordonnées (uO, vO) du centre de chaque matrice droite et gauche sont donc également identiques.
Dans un tel repère une droite a pour équation:
(u - u0)cosθ - (v - v0)smθ = ω (1 ) où θ et ω sont les paramètres caractérisant la pente et l'ordonnée à l'origine de la droite.
Chaque équation de droite déterminée à l'aide de la transformée de Hough ou de Radon correspond donc à une valeur de θ et une valeur de ω . Selon la paramétrisation de la transformée utilisée, il est possible de déterminer pour chaque droite détectée un encadrement de ces deux valeurs de paramètres.
Pour la première droite LD1 de l'image droite correspondant à une droite L1 de la bande de roulement, on obtient les encadrements suivants pour les valeurs ΘDX et ωDi de θ et de ω :
^Dl min ≤ &DX ≤ ^DI max (2) ωmmn ≤ ωDl ≤ ωDlπa]i (3) et pour la deuxième droite LD2 de l'image droite correspondant à une droite L2 de la bande de roulement on obtient les encadrements suivants valeurs ΘD2 et ωD2 de θ et de ω : θmmm ≤ θD1 ≤ θm^ (4) ωD2mm ≤ ωD2 ≤ ωD2πa% (5)
De même, pour la première droite LG1 de l'image droite correspondant à la droite L1 de la bande de roulement, on obtient les encadrements suivants pour les valeurs θcx et ωGι de θ et de ω : Û>Gl π-n ≤ Û>Gl ≤ Û>Gl .mx (7) Pour la deuxième droite LG2 de l'image droite correspondant à la droite L2 de la bande de roulement, on obtient les encadrements suivants pour les valeurs ΘG2 et ωC2 de θ et de ω :
^C2mιn ≤ ΘG2 ≤ #C2max (8) ωC2m,n ≤ ∞G2 ≤ <%2m« (9)
De manière à éliminer des situations du type de celle de la figure 2b où le véhicule emprunte une portion de voie non rectiligne et où les portions de droites détectées sont inappropriées à la détermination précise du point de fuite dans l'image, on ne retient que les droites de l'image pour lesquelles un nombre suffisant de points est obtenu. Une étape de test 630 est donc effectuée sur chacune des droites détectées afin d'éliminer les portions de droites comportant trop peu de points et de déterminer si pour au moins deux droites dans l'image le nombre de points est supérieur à un seuil. Ce seuil est fixé de manière empirique ou est le résultat d'expérimentations sur une succession d'images caractéristiques. Lorsque aucune droite ou portion de droite ne possède un nombre suffisant de points, les étapes suivantes du procédé ne sont pas effectuées et on revient à l'étape 610 d'acquisition d'image. Lorsqu'au moins deux droites possèdent un nombre suffisant de points, on ne retient dans chacune des images droites et gauche que deux droites, par exemple les deux droites possédant le plus de points dans chaque image puis on passe à l'étape suivante 640.
Détermination du point de fuite
Pour chaque image droite et gauche on détermine les coordonnées du point de fuite, c'est-à-dire les coordonnées de l'intersection des deux droites retenues. Sur la base des notations et équations précédemment définies, le point d'intersection de coordonnées (UDF. VDF) des droites LD1 et LD2 dans l'image droite est défini par les relations suivantes : ωD2 sin θDλ - ωDi sin θ D2 (10) cos θn, sin θni - cos θni sin θn ά)O2 cost9p, - ά?O| Cos flD2 ^1 1. cos θm sin θm - cos ΘD-, sin θm où θDι , ωDι , ΘD1 et ωD2 varient respectivement dans les intervalles définis par les relations (2) à (5). Des valeurs d'encadrement déterminées précédemment, on détermine donc par recherche du maximum et du minimum de uDF et vDF donnés par les relations (10) et (11 ) lorsque ΘD] , ωDl , ΘD2 et ωD2 varient dans les intervalles définis par les relations (2) à (5), un encadrement des coordonnées (UDF> VDF) du point de fuite dans l'image droite sous la forme:
"Dm1n ≤ UDF ≤ »Dmκ C1 2) vDmn ≤ vDF ≤ vDmax (13)
De même, le point d'intersection, de coordonnées (UGF, VGF), des droites LG 1 et LG2 dans l'image gauche est défini par les relations suivantes : uGF = u0 + "σ» sinflc, - *c, SJiIg02 (14) cos θGi sin ΘG2 - cos ΘG2 sin θCi v = v , ωG2 cos θG\ - ωω cos θG2 (1 5) cos ΘGX sin ΘG2 - cos ΘG2 sin ΘG] où θGι , ωGi , ΘG1 et ωG2 varient dans les intervalles définis par les relations
(6) à (9).
De même que pour l'image droite, on détermine pour les coordonnées (UGF, VGF) du point de fuite de l'image gauche, un encadrement sous la forme:
«G- ≤ UGF ≤ "Cmax C 6)
"ta ≤ VGF ≤ VGm.x (1 7)
La recherche d'un minimum ou d'un maximum s'effectue par exemple en faisant varier dans les différents intervalles les différents paramètres intervenant, par exemple, par pas de 0,1 ou 0,05 unité pour θ et ω. D'autres techniques d'analyse mathématique sont bien entendu utilisables, notamment par calcul de dérivées.
Modèle géométrique
Avant de procéder à la description de la détermination des erreurs de calibration, le modèle géométrique utilisé va être décrit par référence aux figures 3a, 3b et 3c.
Le modèle géométrique utilisé est basé sur une pluralité de repères orthonormés directs qui sont définis dans l'espace à trois dimensions de la manière suivante : - soit OG, respectivement O0, le centre optique de la caméra gauche, respectivement le centre optique de la caméra droite ;
- soit Os le milieu du segment [OG, O0] ; on note B la distance de OG à OD ; - soit RG = (OG, XG , y G • ^G ) 'e repère intrinsèque de la caméra gauche tel que uG et y G , d'une part, et vG et zG , d'autre part, sont colinéaires ; la différence entre R|G et RG consiste en ce que dans RG les coordonnées sont données en unité métriques (m, mm, par exemple) et non en nombre de pixels; - soit R0 = (OD, XD , yD , zD ) le repère intrinsèque de la caméra droite ;
- soit RR = (OR, XR , yR , zR ) le repère dit de la route ou repère de la bande de roulement, le vecteur xR étant parallèle aux droites L1 et L2 appartenant au plan de la route, le vecteur yR étant parallèle au plan de la route et perpendiculaire à la direction définie par xR , et le point OR étant situé dans le plan de la route et à la verticale définie par zR du point Os, de telle sorte que
°^s = h ^ (18)
- soit Rs = (Os, Xs , Ps , ^s ) 'e repère stéréo, le vecteur y s étant colinéaire à la droite passant par les points OG, Os et O0, et orienté du point Os vers le point OG, le vecteur x$ étant choisi perpendiculaire à y s et colinéaire au produit vectoriel des vecteurs zG et zD ;
On définit ensuite les matrices de changement de repère suivantes :
- la transformée permettant de passer du repère RR au repère R5 , qui est la composition de 3 rotations d'angles respectifs σxr, aψ, azr et d'axes respectifs xR , yR , zR , est définie par les angles {σxr, σyr, σzr} et correspond à la matrice MRSR de changement de repère suivante,: cosακ cosα-r - cosα^ sinα,,. sinα>r
.SR - cosαïr sinor.r +sinαvr sma)r cosα.r cos«tr cosα_r - sin«ιr smα)r sinα.r -sinαtr cosayr sinαtr sinα.Λ -cosαïr sinαvr cosa:r sinαvr cosα,r +cosαtr sma>r sma7r cosortr cosα>r j
(19) de telle sorte que les coordonnées (xs, ys, zs) d'un point M dans Rs se calculent à partir de ses coordonnées (xR, yR, zR) dans RR de la manière suivante :
- la transformée permettant de passer du repère Rs au repère RG , qui est la composition de 3 rotations d'angles respectifs exg, eyg, ezg et d'axes respectifs xG ,
YG . ^G . est définie par les angles { exg, eyg, ezg} et correspond à la matrice MRGs de changement de repère suivante :
COSf>gCOS£;g -cosf^sin^ sinf yg
MRcs = cos ε xg sin ε zg + sin ε xg sin εyg cos ε.g cos ε xg cos εzg - sin ε xg sin £yg sin ε:g - sin £• ι? cos εyg sin f ^ sin ε:g - cos ε xg sin ^ >g cos £.? sin ^ tg cos ε:g + cos ^ xg sin £>g sin £ :g cos £ ^ cos f^ y
(21) de telle sorte que les coordonnées (xG, yG, zG) d'un point M dans RG se calculent à partir de ses coordonnées (xs, ys, zs) dans Rs de la manière suivante :
- la transformée permettant de passer du repère Rs au repère R0 , qui est la composition de 3 rotations d'angles respectifs exd, eyd, ezά et d'axes respectifs xD ,
PD ' zD , est définie par les angles { exd, eyd, ezd} et correspond à la matrice MRDs de changement de repère suivante : cos ε yΛ cos ε:d - cos εyd sin ε zd SUIf yd
MRDS = cos£-u/ sin£-.rf +sin£\rf sin^ cos£-,rf cosfw/ cosf^ -sin£-t(, sinf>(/ sin£-.<; -sin£-u/ cos£->rf κsmε xd sin^ -cos^tf/ sin^.rf cos£ z.d sin εxd cos ε,d + cos εxΛ sin εyd sin £-.rf COS£-u/ COS^ yd
(23) de telle sorte que les coordonnées (xD, yD, zD) d'un point M dans R0 se calculent à partir de ses coordonnées (x≤, ys. Zs) dans R5 de la manière suivante :
yD = MR DS ys+BI2 (24) Par ailleurs, on déduit des relations (20) et (22) que les coordonnées (xG, yG, zG) d'un point M dans RG se calculent à partir de ses coordonnées (xR, yR, zR) dans RR de la manière suivante :
(25)
De même on déduit des relations (20) et (24) que les coordonnées (xD, VD- ZD) d'un point M dans R0 se calculent à partir de ses coordonnées (xR, yR, zR) dans RR de la manière suivante :
yD = MR DnS, M ' R 1SR + MR DS B/ (26)
On pose par ailleurs, par définition des angles { 0xg, 0yg, 0zg} de roulis, tangage et lacet apparents pour la caméra gauche par rapport au repère de la route : cos(9>g cos6>,g -cos^ sin0,g sin#,,.
MR03MR5, = cos# sin# + sine? sin# cos# cos^ cos^ - sin# sin^ sin^ - sinβ cosέ? y g sin(9tg sin^ -cos^ sintf^ cos6»,g sin(9tg cos^g + cos<9τg sin^ sin^2g cos(9tg cos^g j
(27) et par définition des angles { θxd, θyύ, θzd} de roulis, tangage et lacet apparents pour la caméra droite par rapport au repère de la route : cos<? ( cos6>.(/ - cos0 ; sin#.(/ sin e? ≠.
MRDSMRSR = cos θxd sin θ_d + sin θxd sin θyιt cos θ.d cos θxd cos θ.d - sin θxd sin θ>d sin θ:d - sin θκd cos θ "y} i sin θxtl sin θ.d - cos θxJ sin θyd cos θzd sin θxd cos θzd + cos θxd sin θyd sin θ:d cos θxd cos θyd
(28)
En outre, étant donné que les paramètres de calibrage interne des caméras ont été utilisés à l'étape 610 pour se ramener au modèle trou d'épingle, les coordonnées (uG, vG) de la projection dans l'image gauche d'un point M de coordonnées (xG, yG, zG) dans RG se calculent à partir de (xG, yG, zG) de la manière suivante : uG = U0 - ku f yG / xG (29) vG = V0 - kv f zG / xG (30) où ku est le nombre de pixels par mm dans l'image et f la focale de la caméra. Par souci de simplification, les focales et nombre de pixel par mm sont supposés ici identiques pour les deux caméras.
Avec les mêmes hypothèses pour la caméra droite, les coordonnées (uD, vD) de la projection dans l'image droite d'un point M de coordonnées (xD, YD, ZD) dans RD se calculent à partir de (xD, yD, zD) de la manière suivante :
U0 = uo - ku f yD / xD (31 ) vD = V0 - kv f zD / xD (32)
Détermination de l'erreur de tangage et de lacet
Les erreurs de calibration, données en angle, relatives à la déviation de chacun des axes du repère de la caméra gauche ou droite par rapport au repère stéréo Rs, sont notées respectivement exg, eyg et ezg. Pour la caméra droite, ces mêmes erreurs sont notées respectivement exd, eyd et ezd. On s'intéresse, dans le cadre de cette invention, à déterminer l'erreur de calibration du système stéréoscopique sous forme d'erreur de tangage Δey, définie ici comme étant la différence intercaméras d'angle de tangage : Δey = eyg - eyd (33) et sous forme d'erreur de lacet Aez, définie ici comme étant la différence intercaméras d'angle de lacet:
Δe2 = ezg - ezά (34)
Ce sont ces deux erreurs qui ont la plus grande influence sur les erreurs de mesure de distance et de déplacement des lignes épipolaires qui servent de base au processus de rectification.
Dans cette détermination de l'erreur de tangage et de lacet, on suppose que l'angle de roulis apparent de chaque caméra est faible, typiquement inférieur en valeur absolue à 5°. Cette hypothèse est sensée, dans la mesure où même dans un virage particulièrement serré, l'angle de roulis ne devrait pas dépasser 5°. En outre cette hypothèse permet comme cela va être décrit, de calculer les erreurs de tangage et de lacet apparentes, c'est-à-dire du plan de la route par rapport au repère de la caméra. Or les erreurs de tangage et de lacet apparentes varient peu avec l'angle de roulis apparent. Il en résulte qu'il est possible de déterminer avec une bonne précision les erreurs de tangage et de lacet apparentes à partir d'une connaissance approximative de l'angle de roulis.
La connaissance de l'erreur de tangage et de lacet Δey et Δez permet de procéder à une rectification de l'image droite ou de l'image gauche, pour se ramener au cas d'un système de stéréovision bien calibré, c'est-à-dire tel que les axes des caméras droite et gauche soient parallèles. Ce processus de rectification consiste, de manière connue (voir par exemple le document déjà cité intitulé «Computer Vision, A modem approach», Chapitre 11), à remplacer les images droite et gauche issues du système de stéréovision non calibré, par deux images droite et gauche équivalentes comprenant un plan d'image commun et parallèle à la ligne joignant les centres optiques des caméras. La rectification consiste usuellement à projeter les images originales dans un même plan d'image parallèle à la ligne joignant les centres optiques des caméras. Si l'on choisit un système de coordonnées de manière appropriée, les lignes épipolaires deviennent en outre par le procédé de rectification les lignes horizontales des images rectifiées et sont parallèles à la ligne joignant les centres optiques des caméras. Les images rectifiées sont utilisables dans un système de détection d'obstacles par stéréovision, qui généralement suppose et donc nécessite que les axes des caméras droite et gauche soient parallèles. En cas d'erreur de calibration, c'est-à-dire lorsque les axes des caméras ne sont plus parallèles, les lignes épipolaires ne correspondent plus aux lignes de l'image acquise, les mesures de distance sont erronées et la détection des obstacles devient impossible.
A partir de l'encadrement de la position du point de fuite dans l'image droite et dans l'image gauche, il est possible, comme cela va être démontré ci-après, de déterminer un encadrement de l'erreur de tangage Δey et l'erreur de lacet Δez sous la forme:
Δeymin < Δey < Δ6ymax (35) et
Δezmin < Aez < Δezmax (36) On détermine cet encadrement pour une paire d'images droite et gauche à l'étape 650 avant de revenir à l'étape 610 d'acquisition d'image.
Selon un mode de réalisation particulièrement avantageux du procédé selon l'invention, on répète la détermination de l'encadrement de l'erreur de tangage Δey et l'erreur de lacet Δez pour une pluralité d'images. Puis, on détermine à l'étape 660 pour cette pluralité d'images la valeur minimale (ou borne inférieure) des valeurs obtenues pour chacune des images pour Δeymax et Δezmax, ainsi que la valeur maximale (ou borne supérieure) des valeurs obtenues pour Δeymin et Δezmιn. On obtient alors au final un encadrement plus précis sous la forme : max { Δeymιn } < Δey < min { Δeymax } (37) et max { Δezmιn } < Δez < min { Δezmax } (38) où les fonctions « min » et « max » sont déterminées pour ladite pluralité d'images. Les figures 4a et 4b illustrent comment varient Δeymιn, respectivement Δe2mιn, (données en °) pour une succession d'images et comment se déduisent les valeurs minimales et maximales déterminées pour cette pluralité d'images. Il s'avère que l'encadrement obtenu de cette manière est suffisamment précis pour permettre la rectification des images saisies et l'utilisation des images ainsi rectifiées par le processus selon l'invention dans un processus de détection d'obstacle. Il a été vérifié notamment qu'en choisissant des pas de 0,5° et de 1 pixel pour la transformée de Hough, on obtient un encadrement de Δey à ±0,15° près et un encadrement de Δez à ±0,1° près.
Dans une étape finale 670, les erreurs de tangage et de lacet obtenues à l'étape 660 ou 650 sont utilisées pour effectuer la rectification des images droite et gauche. Dans la suite, la méthode de détermination des encadrements des relations
(35) et (36) va être expliquée. Il est à noter que les étapes décrites ci-après visent principalement à illustrer la méthode d'approximation. D'autres modèles ou équations mathématiques peuvent être utilisés, puisque, à partir d'un certain nombre d'approximations et d'hypothèses réalisées de manière appropriée, on obtient un nombre d'inconnues et un nombre de relations mathématiques tels que la détermination de l'erreur de tangage Δey et l'erreur de lacet Δez est possible à partir des seules coordonnées des points de fuite de l'image droite et gauche.
Les angles { exg, eyg, ezg} et { exd, eyd, ezd} étant supposé petits, typiquement inférieurs à 1 °, on peut écrire avec une bonne approximation des relations (21 ) et (23):
et
On détermine à partir des matrices MRGS, MRDS et MRSR la matrice ΔMR telle que :
AMR = (MRGS - MRDS )MRSR
Le coefficient de la première ligne, deuxième colonne de cette matrice ΔMR est
ΔΛ/Λ(I,2) =
-(cosα,.r cos a,r -smaxr sinα^ sina,rjAε, +(smaxr cosa,r +cosaxr sina>r siRa,r)Aεy (41 ) et le coefficient de la première ligne, troisième colonne de cette matrice ΔMR est ΔM/?(l,3) = sinaxr cos a yr As2 + cosaxr cosayrAεy (42)
En supposant les angles {σxr, Oyr, σzr} suffisamment petits, inférieurs typiquement à 5°, on peut écrire : AMR(l,2)≈ -Aε: (43)
AMR{l,3)≈ Aεy (44)
On obtient ainsi par combinaison des relations (43) et (44) avec les relations (27) et (28) une approximation de l'erreur de tangage et de lacet sous la forme : Aεy ≈ sin θ>g -sinθ>d (45) Aε . ≈ - cos <9 sin 6> + cos θyd sin 0 . (46)
A partir des relations (25) et (27), on calcule le rapport — en fonction de (xR,
XG yR, ZR) pour un point M de coordonnées (xR, yR, zR) appartenant à une droite dans le plan de la route, parallèle au lignes de marquage L1 et L2, d'équation zR=0, yR= a et xR quelconque. En faisant tendre xR vers l'infini, on détermine la limite du rapport — xc qui correspond à la valeur du rapport — déterminé au point de fuite (uG= UGF>
XG
VG=V0F. XG= XGF, VG= yGF. ZG= ZGF) de l'image gauche. Par comparaison de cette limite avec l'application des relations (29) et (30) aux coordonnées du point de fuite, on en déduit les relations suivantes: f "8 et f - 2 QF _ v» →GF _ SinθxgSinθzg - CosθxgSinθygCosθ2g
S XGF Kf CosθygCosθ2g
On déduit des relations (47) et (48), les valeurs de θyg et θzgen fonction de fug et fvg et de θxg : θyg = Atan( fUgSinθXg + fvgCosθxg ) (49) θzg = Atan{ Cosθyg *(fug - SinθXgTanθyg)/Cosθxg } (50)
De la même manière pour l'image droite, on obtient pour le point de fuite de l'image droite les relations suivantes:
, _ y DF _ »o - »DF _ CosθxdSinθzd + SinθxdSinθydCosθzd
* DF k uf CθsθydCθsθzd et
= z DF " xDF et on déduit des relations (51) et (52), les valeurs de θyd et θzd en fonction de fud et fvd et de θxd θ^ = Atan( fudSinθxd + fvdCosθxd ) (53) θzd = Atan{ Cosθyd*(fud - SinθxdTanθyd)/Cosθxd } (54)
En résumé, l'erreur de tangage et de lacet sont telles que Aε, ≈ sinθyg - sinθ^, (55)
Δε: ≈ - cos θ)g sin θ:g + cos θyd sin θ.d (56) où : θyg = Atan(fugSinθxg + fvgCosθxg ) (57) θzg = Atan{ Cosθyg*(fUg - SinθxgTanθyg)/Cosθxg } (58) θyd = Atan(fudSinθxd + fvdCosθxd ) (59) θzd = Atan{ Cosθyd*(fud - SinθxdTanθyd)/Cosθxd } (60) avec : Un - U DF
J ud = YJ (61 )
r V0 ~ VDF /RO\
Ld =~û~ (62)
/*=π^r (63)
Λ, = ^^ (64)
Pour déterminer les encadrements de l'erreur de tangage et de lacet selon les relations (25) et (26), on détermine les valeurs minimales et maximales de Δty et Aez lorsque θxg et θxd varient dans un intervalle prédéterminé [-A, A], par exemple [-5°, +5°] et que uDF, vDFι UGF et vGF varient dans les intervalles définis par les relations (12), (13), (16), (17). Toute méthode mathématique de recherche de minimum et de maximum est dans ce but appropriée. La plus simple consiste à faire varier par pas suffisamment fin les différents paramètres dans les intervalles donnés respectivement et ne retenir que le minimum ou le maximum de la fonction chaque fois étudiée.
Il est à noter que dans les relations (55) à (64), les coordonnées des origines des différents repères affines orthonormés ou leurs positions relatives n'interviennent pas. La détermination de l'erreur de tangage et de lacet par le procédé selon l'invention est donc indépendante de la position de la voiture sur la bande de roulement.

Claims

REVENDICATIONS
1. Procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile et comprenant au moins deux dispositifs d'acquisition d'image, dont un premier dispositif d'acquisition pour l'acquisition d'une première image dite "gauche" et un deuxième dispositif d'acquisition pour l'acquisition d'une deuxième image dite "droite", ledit procédé consistant à, a) acquérir dans le premier dispositif d'acquisition et dans le deuxième dispositif d'acquisition, une image gauche, respectivement une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, b) déterminer l'erreur de calibration, c) effectuer une rectification des images gauche et droite à partir de ladite erreur de calibration, caractérisé en ce que l'étape b) dudit procédé consiste à b1 ) rechercher dans ladite image gauche et dans ladite image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, notamment des lignes de délimitation ou des lignes de marquage de la bande de roulement, b2) déterminer pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, b3) déterminer l'erreur de calibration en déterminant l'erreur de tangage et l'erreur de lacet sous la forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite, et en ce que ladite rectification desdites images gauche et droite est effectuée en fonction de ladite erreur de tangage et ladite erreur de lacet.
2. Procédé selon la revendication 1 caractérisé en ce que l'étape b3) consiste en outre à déterminer un premier encadrement entre une valeur minimale et une valeur maximale de la valeur de l'erreur de tangage et de l'erreur de lacet.
3. Procédé selon la revendication 1 ou 2 caractérisé en ce qu'il consiste en outre à répéter les étapes a, b1 , b2, b3 pour une pluralité d'images gauches et droites, et à déterminer un deuxième encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet à partir desdits premiers encadrements obtenus pour ladite pluralité d'images gauches et droites.
4. Procédé selon la revendication 3 caractérisé en ce que ledit deuxième encadrement comprend la valeur maximale de l'ensemble des valeurs minimales obtenues pour ledit premier encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet, et la valeur minimale de l'ensemble des valeurs maximales obtenues pour ledit premier encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet.
5. Procédé selon l'une quelconque des revendications 1 à 4 caractérisé en ce que l'étape b1 ) consiste en outre à déterminer un encadrement des paramètres des équations desdites lignes de fuite pour l'image gauche et pour l'image droite.
6. Procédé selon la revendication 5 caractérisé en ce que l'étape b2) consiste en outre à déterminer un encadrement des coordonnées des points de fuite de l'image gauche et de l'image droite à partir de l'encadrement obtenu à l'étape b1 ).
7. Procédé selon la revendication 6 caractérisé en ce que l'étape b3) consiste en outre à déterminer un encadrement de l'erreur de tangage et de l'erreur de lacet à partir de l'encadrement obtenu à l'étape b2).
8. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que l'étape b3) s'effectue en supposant que l'angle de roulis pour les caméras droite et gauche est compris dans un intervalle prédéterminé, notamment inférieur en valeur absolue à 5°, et en déterminant l'erreur maximale et minimale l'erreur de tangage et de l'erreur de lacet obtenue lorsque l'angle de roulis varie dans un tel intervalle.
9. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que l'étape b3) s'effectue en supposant que les erreurs de tangage et du lacet sont faibles, notamment inférieures en valeur absolue à 1°.
10. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que lesdites lignes de fuites sont détectées à l'aide d'une transformée de Hough.
11. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que lesdites lignes de fuites sont détectées à l'aide d'une transformée de Radon.
12. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comprend en outre une étape consistant à corriger lesdites images droites et gauches après acquisition pour se ramener au modèle trou d'épingle pour lesdits premier et deuxième dispositifs d'acquisition d'image.
13. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce qu'il consiste en outre à n'effectuer les étapes b2) et b3) que lorsque le nombre de points appartenant à chacune desdites lignes de fuite détectées à l'étape b1) est supérieur à une valeur de seuil prédéterminée.
EP05781774A 2004-08-11 2005-06-27 Procede de calibration automatique d'un systeme de stereovision Withdrawn EP1779677A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0408815A FR2874300B1 (fr) 2004-08-11 2004-08-11 Procede de calibration automatique d'un systeme de stereovision
PCT/FR2005/050502 WO2006021700A1 (fr) 2004-08-11 2005-06-27 Procede de calibration automatique d'un systeme de stereovision

Publications (1)

Publication Number Publication Date
EP1779677A1 true EP1779677A1 (fr) 2007-05-02

Family

ID=34948013

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05781774A Withdrawn EP1779677A1 (fr) 2004-08-11 2005-06-27 Procede de calibration automatique d'un systeme de stereovision

Country Status (6)

Country Link
US (1) US20070291125A1 (fr)
EP (1) EP1779677A1 (fr)
JP (1) JP2008509619A (fr)
KR (1) KR20070051275A (fr)
FR (1) FR2874300B1 (fr)
WO (1) WO2006021700A1 (fr)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US20090037039A1 (en) * 2007-08-01 2009-02-05 General Electric Company Method for locomotive navigation and track identification using video
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
KR100918480B1 (ko) 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
DE102008026876A1 (de) * 2008-06-05 2009-12-10 Hella Kgaa Hueck & Co. Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
JP2012526845A (ja) 2009-05-13 2012-11-01 ケラプラスト テクノロジーズ， リミテッド バイオポリマー材料
JP5313080B2 (ja) * 2009-08-18 2013-10-09 クラリオン株式会社 直線成分低減装置および歩行者検出表示システム
JP5481337B2 (ja) * 2010-09-24 2014-04-23 株式会社東芝 画像処理装置
WO2012129421A2 (fr) * 2011-03-23 2012-09-27 Tk Holdings Inc. Système et procédé d'étalonnage de caméra stéréoscopique dynamique
DE102011076795A1 (de) * 2011-05-31 2012-09-20 Robert Bosch Gmbh Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
WO2014198351A1 (fr) * 2013-06-12 2014-12-18 Vidinoti Sa Procédé et appareil pour identifier des caractéristiques locales
FR3014553A1 (fr) 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
DE102014219428B4 (de) * 2014-09-25 2023-06-15 Continental Autonomous Mobility Germany GmbH Selbstkalibrierung eines Stereokamerasystems im Auto
US10373338B2 (en) 2015-05-27 2019-08-06 Kyocera Corporation Calculation device, camera device, vehicle, and calibration method
EP3358295B1 (fr) * 2015-09-28 2020-10-07 Kyocera Corporation Dispositif de traitement d'image, dispositif à appareil photographique stéréoscopique, véhicule et procédé de traitement d'image
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
DE102018201154A1 (de) * 2018-01-25 2019-07-25 HELLA GmbH & Co. KGaA Verfahren zur Kalibrierung von Sensoren und/oder von Sensoranordnungen
CN110382358A (zh) * 2018-04-27 2019-10-25 深圳市大疆创新科技有限公司 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
WO2020014683A1 (fr) * 2018-07-13 2020-01-16 Kache.AI Systèmes et procédés de détection autonome d'objet et de suivi de véhicule
CN111854727B (zh) * 2019-04-27 2022-05-13 北京魔门塔科技有限公司 一种车辆位姿的修正方法和装置
KR20220024960A (ko) * 2019-06-25 2022-03-03 스냅 인코포레이티드 소실점 입체 이미지 보정
US10891747B1 (en) * 2019-06-28 2021-01-12 Baidu Usa Llc Sensor calibration system for autonomous driving vehicles
KR102550678B1 (ko) 2020-01-22 2023-07-04 노다르 인크. 비-강성 스테레오 비전 카메라 시스템
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
US11740078B2 (en) * 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment
CN111703584B (zh) * 2020-08-17 2020-12-08 北京远度互联科技有限公司 一种回中方法、光电吊舱、无人机及存储介质
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
EP4552097A1 (fr) * 2022-07-07 2025-05-14 Stoneridge Electronics AB Identification de position de référence basée sur une image et utilisation pour système de surveillance par appareil de prise de vues
US12511913B2 (en) * 2023-10-16 2025-12-30 Stoneridge, Inc. Camera monitor system with camera wing unfolding status detection based upon image processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087626A2 (fr) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Appareil de correction de profondeur dans un système de surveillance

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US6873732B2 (en) * 2001-07-09 2005-03-29 Xerox Corporation Method and apparatus for resolving perspective distortion in a document image and for calculating line sums in images
JP4803927B2 (ja) * 2001-09-13 2011-10-26 富士重工業株式会社 監視システムの距離補正装置および距離補正方法
JP3729141B2 (ja) * 2002-02-27 2005-12-21 日産自動車株式会社 道路白線認識装置
JP3797949B2 (ja) * 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
JP3986360B2 (ja) * 2002-05-14 2007-10-03 松下電器産業株式会社 カメラ校正装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087626A2 (fr) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Appareil de correction de profondeur dans un système de surveillance

Also Published As

Publication number Publication date
FR2874300A1 (fr) 2006-02-17
US20070291125A1 (en) 2007-12-20
KR20070051275A (ko) 2007-05-17
JP2008509619A (ja) 2008-03-27
WO2006021700A1 (fr) 2006-03-02
FR2874300B1 (fr) 2006-11-24

Similar Documents

Publication Publication Date Title
WO2006021700A1 (fr) Procede de calibration automatique d&#39;un systeme de stereovision
KR102365501B1 (ko) 이미지 센서의 외재적 파라미터를 교정하기 위한 방법 및 장치
CN112862899B (zh) 用于图像获取设备的外参标定方法、装置和系统
CN114766003A (zh) 用于利用偏振增强传感器系统和成像系统的系统和方法
Salman et al. Distance measurement for self-driving cars using stereo camera
CN111862235B (zh) 双目相机自标定方法及系统
CN112837383A (zh) 相机与激光雷达重标定方法、装置及计算机可读存储介质
EP2743889A2 (fr) Système de détection d&#39;objet de caméra stéréoscopique et son procédé d&#39;alignement
CN106716489A (zh) 机载的形成立体图像的系统的摄像机的外在校准方法
US20140241587A1 (en) Apparatus for estimating of vehicle movement using stereo matching
CN110986887B (zh) 基于单目摄像头的测距方法、存储介质及单目摄像头
EP2432660B1 (fr) Procede et dispositif pour etendre une zone de visibilite
CN117953075A (zh) 一种基于车载相机的测距方法、装置、计算机设备及介质
CN114996629B (zh) 车载摄像头俯仰角及世界坐标系中的车道线方程估计方法
US10536646B2 (en) Imaging control device and imaging control method
US7987052B2 (en) Method for evaluation, by motor vehicle, of the characteristics of a front element
FR2941043A1 (fr) Procede de mesure de jeux et affleurements
FR2998956A1 (fr) Procede de calibration d&#39;une camera mise en place dans un vehicule automobile
JP7705478B2 (ja) 自車両の周辺環境における少なくとも１つの特徴の位置を補正する方法およびシステム
EP3865816A1 (fr) Méthodes et systèmes pour mesurer à distance l&#39;orientation angulaire d&#39;un objet
CN117953046B (zh) 数据处理方法、装置、控制器、车辆及存储介质
JP7765356B2 (ja) ステレオカメラ装置及びキャリブレーション方法
FR2884781A1 (fr) Methode et dispositif de calibrage de camera
CN112861674B (zh) 一种基于地面特征的点云优化方法及计算机可读存储介质
FR3080075A1 (fr) Procede et systeme d&#39;aide au pilotage d&#39;un vehicule

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070312

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20090624

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20121122