EP1958157A1 - Procede de mise en correspondance d'images stéréoscopiques - Google Patents

Procede de mise en correspondance d'images stéréoscopiques

Info

Publication number
EP1958157A1
EP1958157A1 EP06841866A EP06841866A EP1958157A1 EP 1958157 A1 EP1958157 A1 EP 1958157A1 EP 06841866 A EP06841866 A EP 06841866A EP 06841866 A EP06841866 A EP 06841866A EP 1958157 A1 EP1958157 A1 EP 1958157A1
Authority
EP
European Patent Office
Prior art keywords
points
pairs
image
analysis
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06841866A
Other languages
German (de)
English (en)
Inventor
Lucile Martin
Christophe Leroux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP1958157A1 publication Critical patent/EP1958157A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the present invention relates to the field of analysis and processing of stereoscopic images.
  • the subject of the invention is a method of matching analogous points of a first image and a second image, the first and second images forming two stereoscopic images.
  • This type of method for matching analogous points is known per se and consists, for example, from two images from two separate cameras, of determining the positions in each camera image, of points corresponding to the projection of the same physical point in three-dimensional space.
  • It can also be used to determine the displacement of a camera having acquired two successive images. In this case, if we can determine that a point of the first image corresponds to the same physical point in three dimensions as another point of the second image, we can determine the movement of the camera from the position of the colon in the field.
  • mapping methods are sometimes insufficient and the occurrences of erroneous mapping distort subsequent three-dimensional reconstructions.
  • One of the objects of the present invention is therefore to find an alternative to the methods for matching known stereoscopic images.
  • mapping methods based on the distances between the mapped points to locate a mobile relative to a target object.
  • Another object of the present invention is therefore to provide a method which takes into account the depth of the objects of a reference scene.
  • several methods of matching require calculation times that are too long to be able to be used quickly, for example in the context of a robot provided with two cameras, and seeking to orient itself in space.
  • Another object of the present invention is therefore to provide a fast matching method.
  • the present invention aims, on the contrary, to enable such analogous points to be determined.
  • the present invention relates to a method of matching analogous points of a first image and a second image, the first and second images forming two stereoscopic images coming from acquisition devices including the optical axes. are substantially parallel and it is characterized in that it comprises steps consisting in: that it comprises steps consisting in:
  • the fact of making measurements on relative angles makes it possible in particular to process the two images without passing through a common reference frame for the two images.
  • the relative angle can therefore be represented in an arbitrary coordinate system.
  • said at least part (C, C) of the set (C) of the pairs of analysis points is chosen as a function of displacement constraints relating to the pairs of analysis points of said set (C). These constraints are for example chosen so as to ensure the uniqueness of said pairs of points.
  • They can depend on at least one parameter chosen from distance, brightness, order and pyramid stability, that is to say multi-scale stability at several energy resolutions.
  • the invention also relates to a computer program comprising a set of instructions for carrying out the method as described above, as well as a recording medium for recording such instructions.
  • the invention is particularly suitable when the devices for acquiring the first image and the second image have substantially parallel optical axes. Other aspects, goals and benefits of. the invention will appear on reading the detailed description of the invention.
  • FIG. 1 is a general view of an application environment of the method according to the present invention.
  • FIG. 3 illustrates an example of a histogram for matching according to the present invention.
  • Figure 4 illustrates an example of definition of the pairs of points defining lines for obtaining a histogram of the orientations according to the present invention.
  • FIG. 5 represents the histogram of the orientations associated with FIG. 4.
  • FIG. 1 represents such an environment in which the invention can be implemented.
  • a mobile robot 1 is equipped with cameras 2A 1 2B and must locate itself in its environment here containing a cylindrical object 3.
  • the camera system 2A
  • the camera system 2 allows the acquisition of a couple of images of the environment in front of it.
  • These 4D, 4G images of the environment notably include an image of the object 3.
  • the two images 4D and 4G have at least one common part, here the object 3.
  • one begins by selecting a certain number of points of interest on one of the 4D or 4G images, for example here 4D.
  • Known techniques for selecting points of interest are the Moravec detectors, the Harris and Stephens detectors, and the SUSAN filter. These point selection methods often use a 4D image analysis to distinguish their singularities, such as the limits of the elements they represent, from sudden variations in brightness from one point from one image to another. . It should be noted that the selection of points does not depend on the operator but on the program alone and that it remains unknown to the operator; however, the operator can limit the selection of the points of the 4D image to the regions comprising the image of a particular object 3 and its surroundings, by specifying for example a frame outside of which the selected points are separated.
  • the 4D and 4G images of the object 3 are superimposed in the same frame.
  • the orientations of the lines are identified (Aj Bk) .
  • these orientations can correspond to the angle between a reference line D, for example horizontal, and the line passing through the analysis points (Aj BR). This angle will then be noted ⁇ j k . They can also correspond to the angle between the lines passing through a first pair of points (A s , B t ) and a second pair of points (A 11 , B v ), this second pair of points
  • the first case is only a special case of the second in which one of the lines is always the same and is supposed to pass through any two points (Ao 7 B 0 ) of the images 4D and 4G respectively .
  • the relative orientation between pairs of points of the two images can also be calculated with respect to the straight line passing through the calculated or assumed projections of the optical centers of the cameras in the images.
  • all the points A and all the points B are thus matched by an orientation.
  • np couples are therefore formed in a set of couple C.
  • The% orientations between all points A and all points B within the calculated exhaustiveness limits are then listed and those whose values are almost similar or almost similar to the orientation of the straight line passing through the optical centers of the two 4D images and 4G are grouped together.
  • the most frequent non-zero orientation criterion (or the maximum of substantially identical orientations) is therefore used as a purely statistical criterion for determining the displacement of the image of the object.
  • This method is particularly applicable in the case of a monocular system where the displacement of the camera between the 4D and 4G images is a horizontal and / or vertical translation, and, in the case of a system of several cameras in which the axes optics of these cameras are parallel and the cameras are rigidly fixed. Under these conditions, the amplitude of the displacements (or the distances) of the images of the objects of the environment vary according to the distance of said objects relative to the camera system, but the orientation and the direction of the displacement remain the same .
  • the pairs of points are eliminated according to predefined constraints making it possible to guarantee the uniqueness of pairing of each homologous point.
  • a displacement constraint D rs associated with a couple (Ar 1 Bs) reflecting for example the displacement between the successive acquisition of two pairs of images.
  • This constraint can be estimated using an annex sensor of the inertial central type. It is also possible to select the pairs of points of FIGS. 4G and 4D according to a constraint of resemblance of the points of the two images which depends on the relative luminosities of the points A j and B k in their respective neighborhoods.
  • This type of elimination of the pairs of points corresponds to a preliminary filtering before the stage of statistical analysis.
  • This filtering has the advantage of speeding up the statistical processing time as a function of the orientations on the remaining pairs and of guaranteeing the uniqueness of pairing of each homologous point.
  • This filtering step can either be carried out following the calculation of the set C corresponding to all the possible pairs associated with lists A and B, or else during the formation of these pairs, by testing, for each candidate pair, whether the constraints are respected, and retaining only the pairs respecting the constraints.
  • the set C of the pairs obtained corresponds to a subset of the set C and takes direct account of the constraints on the pairs of points of the 4D and 4G images.
  • FIGS. 4 and 5 Illustrated in FIGS. 4 and 5, an example of obtaining a histogram of the orientations according to the present invention is provided from two stereographic images.
  • object 3 corresponds to a line segment.
  • the analysis points are points B1, B2, B3, points B1 and
  • FIG. 6 illustrates an example of application of displacement constraints within the framework of the present invention.
  • the lines (B1, A1), (B 1 I 1 A1), (B1, A'1) and (B'1, A'1) define an identical angle, for example with respect to a line horizontal reference.
  • the distances are then compared
  • the maximum distance distribution corresponds to the pairs (B1, A1) and (B'1, A'1), and it is therefore these couples which will be retained as pairs of analogous points.
  • the method according to the present invention is applicable in the context of locating a mobile vehicle or a robot arm equipped with cameras with respect to its environment. For this, two cameras mounted on the mobile vehicle are used for example, which take images of their environment and possibly of an object to be reached during the movement of the vehicle. It is also possible to use a single camera which successively takes images shifted laterally.
  • a computer is used to locate the cameras in relation to their environment from the stereoscopic images taken by the cameras. This location information can be recalculated and enriched as the cameras move and new acquisitions are considered. Obtaining the localization parameters from stereoscopic images goes through the following stages:
  • a step of 3D spatial reconstruction can be known per se, knowing the triangulation parameters of the stereo images and the magnification of the cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

La présente invention se rapporte à un procédé de mise en correspondance d'une première image et d'une seconde image provenant de dispositifs d'acquisition dont les axes optiques sont sensiblement parallèles et formant deux images stéréoscopiques qui comprend des étapes de: - Sélectionner dans ladite première et seconde image, une première et seconde liste de points d'analyse; - Calculer les angles relatifs entre les droites joignant les points d'un premier ensemble de paires de points d'analyse et les droites joignant les points d'un second ensemble de paires de points d'analyse, lesdites paires appartenant à au moins une partie de l'ensemble des paires de points d'analyse, le premier élément desdites paires de points dudit ensemble appartenant à ladite première liste et le second élément desdites paires de points dudit ensemble appartenant à ladite seconde liste; - Sélectionner en tant que paires de points analogues, parmi ladite au moins une partie dudit ensemble, les paires correspondant aux angles ayant une répartition majoritaire .

Description

Procédé de mise en correspondance d'images
stéréoscopiques
La présente invention se rapporte au domaine de l'analyse et du traitement des images stéréoscopiques.
Plus précisément, l'invention a pour objet un procédé de mise en correspondance de points analogues d'une première image et d'une seconde image, les première et seconde images formant deux images stéréoscopiques.
Ce type de procédé de mise en correspondance de points analogues est connu en soi et consiste par exemple, à partir de deux images issues de deux caméras distinctes à déterminer les positions dans chaque image de caméra, des points correspondant à la projection d'un même point physique dans l'espace à trois dimensions.
Il peut également être utilisé pour déterminer le déplacement d'une caméra ayant acquis deux images successives. Dans ce cas, si l'on arrive à déterminer qu'un point de la première image correspond au même point physique en trois dimensions qu'un autre point de la seconde image, on pourra déterminer le déplacement de la caméra à partir de la position des deux points dans le champ.
De façon générale, deux points de deux images stéréoscopiques correspondant au même point physique en trois dimensions seront appelés points analogues.
La publication « IEEE Transactions on pattern analysis and machine intelligence » (BROWN, BURSCKA, HAGER, VOL. 25, N°8, Août 2003) propose une revue des différentes méthodes connues de mise en correspondance de deux images stéréoscopiques. Ces méthodes comprennent par exemple la mise en correspondance de blocs d'images (ou « block matching » en langue anglaise), l'optimisation de gradients (ou « gradient-based optimization » en langue anglaise), ou la mise en correspondance d'éléments (ou « feature matching » en langue anglaise).
Cependant, la fiabilité de ces méthodes de mise en correspondance est parfois insuffisante et les occurrences de mises en correspondance erronées faussent les reconstructions tridimensionnelles subséquentes.
Un des objets de la présente invention est donc de trouver une alternative aux méthodes de mise en correspondance entre images stéréoscopiques connues.
Il existe par ailleurs des méthodes de mise en correspondance basées sur les distances entre les points mis en correspondance pour localiser un mobile par rapport à un objet cible.
L'inconvénient de ces méthodes basées sur la distance est que les points positionnés dans la scène réelle à des profondeurs différentes ne bougent pas à la même vitesse apparente dans les images de ladite scène. De fait les distances entre les points homologues correspondant à un même point 3D dans les images de la scène réelle sont différentes selon la profondeur de ce point. On ne peut donc juger de la fiabilité des appariements sur des points homologues correspondant à des points 3D de profondeurs différentes en se basant uniquement sur la distance les séparant. Un autre objet de la présente invention est donc de fournir une méthode qui prenne en compte la profondeur des objets d'une scène de référence. Par ailleurs, plusieurs méthodes de mise en correspondance nécessitent des temps de calcul trop longs pour être exploitables rapidement, par exemple dans le cadre d'un robot muni de deux caméras, et cherchant à s'orienter dans l'espace.
Un autre objet de la présente invention est donc de fournir une méthode de mise en correspondance qui soit rapide.
On connaît également dans l'art antérieur, la publication de Adam et al., XP 002395780, « Rejection of Outliers by rotations in Stereo Matching », IEEE 2000. Dans le procédé décrit dans cet article, des points d'analyse quelconques de deux images stéréoscopiques sont joints sur un même repère commun de sorte à former un ensemble de segments. Sur ces segments, on applique ensuite des rotations aléatoires de sorte à déterminer quelle rotation fournit une répartition des segments sensiblement selon une même direction.
Dans ce document, il est donc nécessaire de tester a priori une infinité de rotations pour déterminer quelle rotation fournira un ensemble uniforme de segments. En outre, puisque les points analogues ne sont pas connus avant d'avoir réalisé des rotations, il n'est pas possible de savoir comment choisir des points des deux images de sorte à former des segments de points analogues. L'objet de la publication susmentionnée est donc un procédé pour éliminer des points clairement non analogues dans deux images stéréoscopiques, mais pas un procédé pour rechercher des points analogues dans deux images stéréoscopiques.
L'invention vise au contraire à permettre de déterminer de tels points analogues. A cet effet, la présente invention se rapporte à un procédé de mise en correspondance de points analogues d'une première image et d'une seconde image, les premières et secondes images formant deux images stéréoscopiques provenant de dispositifs d'acquisition dont les axes optiques sont sensiblement parallèles et elle est caractérisée en ce qu'elle comporte des étapes consistant à : qu'il comprend des étapes consistant à :
Sélectionner dans ladite première image, une première liste de points d'analyse ([Ai , A2, ... An]) ;
- Sélectionner dans ladite seconde image, une seconde liste de points d'analyse ([Bi , B2, --- Bp]);
Calculer les angles relatifs (θjk ; Θstuv) entre les droites joignant les points d'un premier ensemble de paires de points d'analyse et les droites joignant les points d'un second ensemble de paires de points d'analyse, lesdites paires appartenant à au moins une partie (C1C) de l'ensemble (C) des paires de points d'analyse ([(Aj, Bk)], j=1 ,n, k=1 ,p), le premier élément desdites paires de points dudit ensemble (C) appartenant à ladite première liste et le second élément desdites paires de points dudit ensemble (C) appartenant à ladite seconde liste ;
Sélectionner en tant que paires de points analogues, parmi ladite au moins une partie (C, C) dudit ensemble (C), les paires ([(Aj1 Bk)]) correspondant aux angles (θm) ayant une répartition majoritaire.
Grâce à la mesure de l'angle relatif entre des paires de points, et à la sélection des angles relatifs de répartition majoritaire, il est donc possible, selon l'invention, de déterminer des paires de points analogues dans deux images stéréoscopiques.
Le fait de réaliser des mesures sur des angles relatifs permet notamment de traiter les deux images sans passer par un repère commun pour les deux images. L'angle relatif peut donc être représenté dans un repère arbitraire.
De préférence, ladite au moins une partie (C, C) de l'ensemble (C) des paires de points d'analyse est choisie en fonction de contraintes de déplacement relatives aux paires de points d'analyse dudit ensemble (C). Ces contraintes sont par exemple choisies de sorte à assurer l'unicité desdites paires de points.
Elles peuvent dépendre d'au moins un paramètre choisi parmi la distance, la luminosité, l'ordre et la stabilité pyramidale, c'est-à-dire la stabilité multi-échelle à plusieurs résolutions d'énergies.
Grâce à ce procédé et au critère d'orientation purement statistique utilisé, on met en correspondance deux images, par exemple dans le cadre d'une reconstruction spatiale 3D. L'invention a également pour objet un programme d'ordinateur comprenant un ensemble d'instructions pour l'exécution du procédé tel que précédemment décrit, ainsi qu'un médium d'enregistrement pour enregistrer de telles instructions.
L'invention est particulièrement adaptée lorsque les dispositifs d'acquisition de la première image et de la seconde image ont des axes optiques sensiblement parallèles. D'autres aspects, buts et avantages de. l'invention apparaîtront à la lecture de la description détaillée de l'invention.
L'invention sera également mieux comprise à l'aide des dessins sur lesquels :
- La figure 1 est une vue générale d'un environnement d'application du procédé selon la présente invention ;
- La figure 2 illustre un exemple de mise en œuvre du procédé selon l'invention ;
- La figure 3 illustre un exemple d'histogramme pour la mise en correspondance selon la présente invention.
- La figure 4 illustre un exemple de définition des paires de points définissant des droites pour l'obtention d'un histogramme des orientations selon la présente invention.
- La figure 5 représente l'histogramme des orientations associé à la figure 4.
- La figure 6 illustre un exemple d'application des contraintes dans le cadre du procédé selon la présente invention.
Sur les différentes figures, les mêmes références désignent des éléments identiques ou similaires. L'extraction d'informations de positionnement et/ou d'orientation d'un objet est par exemple applicable dans le cadre de la localisation d'un véhicule mobile ou d'un bras de robot équipé de caméras par rapport à son environnement.
La figure 1 représente un tel environnement dans lequel peut être mise en œuvre l'invention.
Sur cette figure, un robot mobile 1 est équipé de caméras 2A1 2B et doit se localiser dans son environnement contenant ici un objet cylindrique 3. Le système de caméras 2A,
2B du robot est relié par liaison filaire ou sans fil à un ordinateur
5 effectuant l'acquisition et le traitement des images. Le système de caméras 2 permet l'acquisition d'un couple d'images de l'environnement situé devant lui. Ces images 4D, 4G de l'environnement comprennent notamment une image de l'objet 3. Dans le cadre de l'analyse d'images stéréoscopiques, les deux images 4D et 4G possèdent au moins une partie commune, ici l'objet 3.
Selon l'invention, on commence par sélectionner un certain nombre de points d'intérêt sur l'une des images 4D ou 4G, par exemple ici 4D. Des techniques connues de sélection de points d'intérêt sont les détecteurs de Moravec, les détecteurs de Harris et Stephens, et le filtre SUSAN. Ces méthodes de sélection de points utilisent souvent une analyse de l'image 4D permettant de distinguer leurs singularités, comme les limites des éléments qu'elles représentent, d'après les variations brusques de luminosité d'un point d'une image à un autre. Il faut remarquer que la sélection des points ne dépend pas de l'opérateur mais du programme seul et qu'elle reste inconnue de l'opérateur ; toutefois, l'opérateur peut limiter la sélection des points de l'image 4D aux régions comprenant l'image d'un objet particulier 3 et ses alentours, en spécifiant par exemple un cadre hors lequel les points sélectionnés sont écartés.
On va ensuite soit sélectionner un certain nombre de points d'intérêt sur l'autre image, ici 4G, à l'aide de la même technique que pour l'image 4D ; soit déduire des points détectés dans l'image 4D des points potentiellement homologues dans l'image 4G par des techniques dites de tracking ou pyramidales qui recherchent les points de 4G possédant des caractéristiques d'invariance similaires à ceux de 4D successivement stables et robustes dans plusieurs sous parties de 4G. Les points sélectionnés finalement dans l'image 4D sont notés par la lettre A suivie d'un indice numérique et ceux sélectionnés dans l'image 4G sont notés par la lettre B suivie d'un indice numérique. Les points d'analyse sélectionnés sont donc les points (A1 , A2, ... , An) dans l'image 4D, et les points (B1 , B2, ... , Bp) dans l'image 4G.
Aux fins de l'explication, on représente dans un même repère, en superposition les images 4D et 4G de l'objet 3. Après cette étape de sélection des points, selon l'invention, on recense les orientations des droites (Aj Bk).
Comme illustré figure 2, ces orientations peuvent correspondre à l'angle entre une droite de référence D, par exemple horizontale, et la droite passant par les points d'analyse (Aj BR). Cet angle sera alors noté θjk. Elles peuvent également correspondre à l'angle entre les droites passant par une première paire de points (As,Bt) et une seconde paire de point (A11, Bv), cette seconde paire de points
(Au1 Bv) étant distincte de première paire de points (As,Bt)- Dans ce cas, l'angle sera noté Θstuv.
Il est entendu que les orientations relatives entre les droites passant par différentes paires de points peuvent aussi bien être mesurées par rapport à une droite de référence et à la variable %, que par rapport aux angles Θstuv-
On observera à ce titre que le premier cas n'est qu'un cas particulier du deuxième dans lequel l'une des droites est toujours la même et est supposée passer par deux points (Ao7 B0) quelconques des images 4D et 4G respectivement.
L'orientation relative entre des paires de points des deux images peut également être calculée par rapport à la droite passant par les projections calculées ou supposées des centres optiques des caméras dans les images.
Dans toute la suite de la description, on n'utilisera que les variables θjk, définies par rapport à une droite de référence. De façon générale, l'angle d'une paire de points correspond ainsi à l'angle entre la droite définie par ladite paire de point, et une droite de référence.
Selon un premier mode de mise en œuvre de l'invention, tous les points A et tous les points B sont ainsi appariés par une orientation. Pour des points d'analyse (A-i , A2, ... , An) dans l'image 4D et (Bi , B2, •.. , Bp) dans l'image 4G, n.p couples sont donc formés dans un ensemble de couple C.
Les orientations % entre tous les points A et tous les points B dans les limites d'exhaustivité calculées sont ensuite recensées et celles dont les valeurs sont presque semblables ou presque semblables à l'orientation de la droite passant par les centres optiques des deux images 4D et 4G sont regroupées. On cherche alors la valeur θm d'orientation non nulle la plus fréquente fmax pour les % dans une tolérance X. Ceci est par exemple réalisable par analyse statistique d'un histogramme tel qu'illustré figure 3. Comme illustré sur cette figure, on sélectionne par tous les angles dans l'intervalle θm - X/2, θm + χ/2. Cette orientation la plus fréquente θm représente alors celle du déplacement de l'image de l'objet 5 entre les deux images 4D et 4G.
Ainsi, si un angle θjk correspondant à la répartition angulaire majoritaire et est donc compris entre θm - X/2, θm + X/2, on sélectionne la paire (Aj1Bk) comme une paire de points analogues dans les deux images stéréoscopiques.
De la même façon, si un angle absolu Θstuv correspondant à l'angle entre les droites passant par les paires (As1Bt) et (Au, Bv) correspondant à la répartition angulaire majoritaire et est donc compris entre θm - X/2, θm + X/2, on sélectionne les paires (A31Bt) et (AU, BV) comme paires de points analogues dans les deux images stéréoscopiques.
Selon l'invention, le critère d'orientation non nulle la plus fréquente (ou du maximum d'orientations sensiblement identiques), est donc utilisé comme critère purement statistique de détermination du déplacement de l'image de l'objet. Ce procédé est particulièrement applicable dans le cas d'un système monoculaire où le déplacement de la caméra entre les images 4D et 4G est une translation horizontale et/ou verticale, et, dans le cas d'un système de plusieurs caméras dans lequel les axes optiques de ces caméras sont parallèles et les caméras sont rigidement fixées. Dans ces conditions, l'amplitude des déplacements (ou les distances) des images des objets de l'environnement varient en fonction de l'éloignement desdits objets par rapports au système de caméras, mais l'orientation et la direction du déplacement restent les mêmes.
Selon une variante de l'invention, une fois n.p couples formés dans l'ensemble C, on élimine les paires de points selon des contraintes prédéfinies permettant de garantir l'unicité d'appariement de chaque point homologue. On ne retient par exemple que les orientations compatibles avec une contrainte de déplacement Drs associée à un couple (Ar1Bs) reflétant par exemple le déplacement entre l'acquisition successive de deux paires d'images. Cette contrainte peut être estimée à l'aide d'un capteur annexe de type centrale inertielle. On peut également sélectionner les couples de points des figures 4G et 4D selon une contrainte de ressemblance des points des deux images qui dépend des luminosités relatives des points Aj et Bk dans leurs voisinages respectifs. Dans ce cas, on ne cherche à apparier à un point A que les points B présentant des luminosités propres et des luminosités de voisinage similaires dans toutes les directions. Suite à l'élimination d'un certain nombre de paires de points, le procédé d'analyse statistique sur les orientations est alors mis en œuvre comme décrit précédemment. Dans le cas de contraintes sur les déplacements Drs, l'utilisation de coordonnées polaires pour estimer les orientations des droites passant par les couples de points et les déplacements permet ainsi de faire successivement une sélection d'après les angles θjk des déplacements Djk sur les images, puis une autre sélection d'après les valeurs de Djk.
Ce type d'élimination des paires de points correspond à un filtrage préliminaire avant l'étape d'analyse statistique. Ce filtrage possède l'avantage d'accélérer le temps de traitement statistique en fonction des orientations sur les couples restants et de garantir l'unicité d'appariement de chaque point homologue.
Cette étape de filtrage peut être soit réalisée suite au calcul de l'ensemble C correspondant à toutes les paires possibles associées aux listes A et B, ou bien lors de la formation de ces paires, en testant, pour chaque paire candidate, si les contraintes sont respectées, et en ne retenant que les paires respectant les contraintes. Dans ce dernier cas, l'ensemble C des paires obtenues correspond à un sous-ensemble de l'ensemble C et tient compte directement des contraintes sur les paires de points des images 4D et 4G.
Illustré figures 4 et 5, on fournit un exemple d'obtention d'un histogramme des orientations selon la présente invention à partir de deux images stéréographiques. Sur cette figure, l'objet 3 correspond à un segment de droite. Les points d'analyse sont d'une part les points B1 , B2, B3, les points B1 et
B3 délimitant le segment de droite, et le point B2 étant au milieu du segment, et les points A1 , A2, A3, les points A1 et A3 délimitant le segment de droite, et le point A2 étant au milieu du segment. II semble évident que les paires de points analogues sont les paires (A1. B1 ), (A2,B2), (A3,B3). Le procédé selon l'invention confirme cette conclusion.
En effet, on construit les 9 droites passant d'une part par l'ensemble des points (B1 ,B2,B3) et d'autre part par l'ensemble des points (A1 ,A2,A3). Sur la figure 4, toutes les droites de même orientation relatives portent alors le même nom. On dénombre ensuite les droites de même orientation et donc de même nom sur l'histogramme la figure 5. Il y a 3 droites D0, 2 droites D-i, 2 droites D.i , 1 droite D2, et une droite D-2. Selon l'invention, les paires de points correspondant aux droites D0 sont donc des points analogues. Selon l'invention, on sélectionne donc les paires (A1 , B1 ), (A2,B2) et (A3,B3) comme paires de points analogues, ce qui confirme l'analyse intuitive réalisée précédemment. La FIG. 6 illustre un exemple d'application de contraintes de déplacement dans le cadre de la présente invention.
Sur cette figure, les droites (B1 , A1 ), (B1I 1 A1 ), (B1 , A'1 ) et (B'1 , A'1 ), définissent un angle identique, par exemple par rapport à une droite horizontale de référence.
Selon l'invention, on compare alors les distances
B1A1 , B'1A1 , B1A'1 , et B'1A'1. La répartition maximale de distance correspond aux couples (B1 , A1 ) et (B'1 , A'1 ), et ce sont donc ces couples qui seront retenus en tant que paires de points analogues. Le procédé selon la présente invention est applicable dans le cadre de la localisation d'un véhicule mobile ou d'un bras de robot équipé de caméras par rapport à son environnement. Pour cela, on utilise par exemple deux caméras montées sur le véhicule mobile qui prennent des images de leur environnement et éventuellement d'un objet à atteindre au cours du déplacement du véhicule. On peut aussi utiliser une seule caméra qui prend successivement des images décalées latéralement. Un ordinateur est utilisé pour localiser les caméras par rapport à leur environnement à partir des images stéréoscopiques prises par les caméras. Ces informations de localisation peuvent être recalculées et enrichies à mesure que les caméras se déplacent et que de nouvelles acquisitions sont considérées. L'obtention des paramètres de localisation à partir d'images stéréoscopiques passe par les étapes suivantes :
une première étape de calibration des caméras et/ou des images, pouvant être connue en soi ;
une étape de mise en correspondance selon la présente invention ;
une étape de reconstruction spatiale 3D pouvant être connue en soi, connaissant les paramètres de triangulation des images stéréo et le grossissement des caméras.

Claims

REVENDICATIONS
1. Procédé de mise en correspondance de points analogues d'une première image et d'une seconde image, les premières et secondes images formant deux images stéréoscopiques provenant de dispositifs d'acquisition dont les axes optiques sont sensiblement parallèles caractérisé en ce qu'il comprend des étapes consistant à :
Sélectionner dans ladite première image, une première liste de points d'analyse ([A-i, A2, ... An]) ;
Sélectionner dans ladite seconde image, une seconde liste de points d'analyse ([Bi , B2, ... Bp]);
Calculer les angles relatifs (θjk ; Θstuv) entre les droites joignant les points d'un premier ensemble de paires de points d'analyse et les droites joignant les points d'un second ensemble de paires de points d'analyse, lesdites paires appartenant à au moins une partie (C1C) de l'ensemble (C) des paires de points d'analyse ([(Aj1Bk)], j=1 ,n, k=1 ,p), le premier élément desdites paires de points dudit ensemble (C) appartenant à ladite première liste et le second élément desdites paires de points dudit ensemble (C) appartenant à ladite seconde liste ;
Sélectionner en tant que paires de points analogues, parmi ladite au moins une partie (C, C) dudit ensemble (C), les paires ([(Aj1 Bk)]) correspondant aux angles (θm) ayant une répartition majoritaire.
2. Procédé de mise en correspondance d'une première image et d'une seconde image selon la revendication 1 , dans lequel ladite au moins une partie (C, C) de l'ensemble (C) des paires de points d'analyse est choisie en fonction de contraintes de déplacement relatives aux paires de points d'analyse dudit ensemble (C).
3. Procédé de mise en correspondance d'une première image et d'une seconde image selon la revendication 1 ou 2, dans lequel ladite au moins une partie (C, C) de l'ensemble (C) des paires de points d'analyse est choisie en fonction de contraintes de ressemblance des points d'analyse dudit ensemble (C), qui dépend des luminosités relatives des points Aj et Bk dans leurs voisinages respectifs.
4. Procédé de mise en correspondance d'une première image et d'une seconde image selon la revendication 2 dans lequel lesdites contraintes dépendent d'au moins un paramètre choisi parmi la distance, la luminosité, l'ordre et la stabilité multi-échelle à plusieurs résolutions d'énergies.
5. Procédé de mise en correspondance d'une première image et d'une seconde image selon la revendication 1 , dans lequel lesdits angles relatifs sont calculés par rapport à une droite de référence.
6. Programme d'ordinateur comprenant un ensemble d'instruction pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 5.
7. Médium d'enregistrement de données numériques lisible par ordinateur, sur lequel sont enregistrées des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 5.
EP06841866A 2005-12-06 2006-12-06 Procede de mise en correspondance d'images stéréoscopiques Withdrawn EP1958157A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0512359A FR2894355B1 (fr) 2005-12-06 2005-12-06 Procede de mise en correspondance d'images stereoscopiques
PCT/FR2006/002659 WO2007066002A1 (fr) 2005-12-06 2006-12-06 Procede de mise en correspondance d'images stéréoscopiques

Publications (1)

Publication Number Publication Date
EP1958157A1 true EP1958157A1 (fr) 2008-08-20

Family

ID=36498878

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06841866A Withdrawn EP1958157A1 (fr) 2005-12-06 2006-12-06 Procede de mise en correspondance d'images stéréoscopiques

Country Status (3)

Country Link
EP (1) EP1958157A1 (fr)
FR (1) FR2894355B1 (fr)
WO (1) WO2007066002A1 (fr)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007066002A1 *

Also Published As

Publication number Publication date
FR2894355A1 (fr) 2007-06-08
FR2894355B1 (fr) 2008-05-16
WO2007066002A1 (fr) 2007-06-14

Similar Documents

Publication Publication Date Title
EP3144881B1 (fr) Procede de mosaiquage 3d panoramique d'une scene
EP1554541A2 (fr) Cible codee et procede de photogrammetrie utilisant de telles cibles
FR2977023A1 (fr) Generation de donnees de carte
WO2011117539A1 (fr) Methode et installation pour detecter la presence et l'altitude de defauts dans un composant optique
FR3009635A1 (fr) Procede de recherche d'une image similaire dans une banque d'images a partir d'une image de reference
EP3928292A1 (fr) Procede et dispositif de surveillance de l'environnement d'un robot
EP2984625A1 (fr) Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
WO2018109298A1 (fr) Système de reconnaissance d'objets basé sur un modèle générique 3d adaptatif
EP3729327B1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
WO2015071458A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
FR3025918A1 (fr) Procede et systeme de modelisation automatisee d'une piece
EP1100048A1 (fr) Procédé de création automatique de maquette numérique à partir de couples d'images stéréoscopiques
WO2017093057A1 (fr) Procede de caracterisation d'une scene par calcul d'orientation 3d
WO2018189627A1 (fr) Procédé automatisé de reconnaissance d'un objet
EP1958157A1 (fr) Procede de mise en correspondance d'images stéréoscopiques
FR2960634A1 (fr) Dispositif et procede de determination d'une information de profondeur a partir d'un capteur optique susceptible d'etre en deplacement
FR2997492A1 (fr) Procede d'etablissement d'un plan de recolement geolocalise, produit programme d'ordinateur et moyen de stockage correspondants
FR3066303B1 (fr) Procede de calibration d'un dispositif de surveillance d'un conducteur dans un vehicule
EP3882855B1 (fr) Système d'acquisition d'une carte de profondeur d'une scène
EP0559594A1 (fr) Procédé de création de la signature d'un objet représenté sur une image numérique,du type consistant à définir au moins un calibre dimensionnel caractéristique dudit objet, et procédé correspondant de vérification de la signature d'un objet
WO2017187059A1 (fr) Methode de reglage d'un appareil de prise de vue stereoscopique
FR2992415A1 (fr) Procede d'etablissement d'un plan de recolement geolocalise, produit programme d'ordinateur et moyen de stockage correspondants
EP2904543B1 (fr) Procédé de comptage de personnes pour appareil stéréoscopique et appareil stéréoscopique de comptage de personnes correspondant
FR3084864A1 (fr) Procede de densification d'une carte de profondeurs
FR3032296A1 (fr) Calibrage 3d

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080605

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20081023

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20090505