CA2245044C

CA2245044C - Stereovision procedure for producing cartographic data

Info

Publication number: CA2245044C
Application number: CA002245044A
Authority: CA
Inventors: Nicolas Ayache; David Canu; Jacques Ariel Sirat
Original assignee: Matra Systemes et Information
Current assignee: Airbus DS SAS
Priority date: 1997-08-12
Filing date: 1998-08-10
Publication date: 2004-01-20
Anticipated expiration: 2018-08-10
Also published as: EP0897163A1; FR2767404A1; US6175648B1; FR2767404B1; ES2212235T3; CA2245044A1; EP0897163B1

Abstract

Le procédé fournit des données cartographiques en trois dimensions à partir de n images à deux dimensions de la scène, fournies par n capteurs avec des points de vue différents. On calibre chaque capteur pour estimer les paramètres des n modèles F i(x,y,z) définissant la relation entre les coordonnées x,y,z d'un point de la scène et les coordonnées (p,q)i de sa projection dans l'image i; on met en correspondance chacun des n-1 couples d'images (comportant toutes une même image de référence), en recherchant l'homologue de chaque pixel de l'image de référence le long de l'épipolaire correspondante de l'autre image du couple; dans chaque couple de deux images et pour chaque pixel de l'image de référence, on établit une courbe de ressemblance en fonction de la disparité, le long de l'épipolaire de l'autre image; on ramène toutes les courbes dans un référentiel commun; on effectue la sommation des courbes, et on retient le pic le plus élevé de la courbe résultante; et enfin, on calcule les coordonnées x,y,z à partir de la disparité du pic et des paramètres des n modèles.The method provides three-dimensional map data from n two-dimensional images of the scene, provided by n sensors with different points of view. We calibrate each sensor to estimate the parameters of the n models F i (x, y, z) defining the relationship between the x, y, z coordinates of a point on the scene and the coordinates (p, q) i of its projection. in image i; we match each of the n-1 pairs of images (all comprising the same reference image), by searching for the counterpart of each pixel of the reference image along the corresponding epipolar of the other image of the couple; in each pair of two images and for each pixel of the reference image, a similarity curve is established as a function of the disparity, along the epipolar of the other image; we bring back all the curves in a common reference frame; the curves are summed, and the highest peak of the resulting curve is retained; and finally, the x, y, z coordinates are calculated from the disparity of the peak and the parameters of the n models.

Description

PROCEDE DE PRODUCTION DE DONNEES CARTOGRAPHIQUES PAR
STEREOVISION
La présente invention concerne les procédés de produc-tion de données cartographiques en trois dimensions à partir de n images à deux dimensions d'une scène, fournies par n capteurs ayant des points de vue différents de la scène.
On sait depuis très longtemps définir la postion dans l'espace de structures présentes dans une scène et visibles dans deux images prises sous différents angles de vue, par des techniques stéréoscopiques. Ce procédé a été généralisé
au cas de n images, n étant un entier supérieur à 2, ces n images constituant un système stéréoscopique à plusieurs lignes de base.
On connaît notamment des procédés comportant les étapes suivantes - on calibre les n capteurs (en utilisant la connais-sance 3D de leur position relative par rapport à la scène observée et/ou des procédés de reconnaissance de formes, de façon à disposer des paramètres de n modèles Fi(x,y,z) définissant chacun la relation entre un point de la scène, de coordonnées x,y,z, et les coordonnées (p,q)i de sa PROCESS FOR PRODUCING MAP DATA BY
stereovision The present invention relates to production methods tion of three-dimensional map data from n two-dimensional images of a scene, provided by n sensors with different views of the scene.
We have known for a very long time to define the position in the space of structures present in a scene and visible in two images taken from different angles of view, by stereoscopic techniques. This process has been generalized in the case of n images, n being an integer greater than 2, these n images constituting a stereoscopic system with several baselines.
Methods are known in particular comprising the steps following - we calibrate the n sensors (using the knowledge 3D sance of their relative position in relation to the scene observed and / or methods of pattern recognition, so as to have the parameters of n Fi models (x, y, z) each defining the relationship between a point on the scene, of coordinates x, y, z, and the coordinates (p, q) i of its

2 projection dans chacune des n images, pour i allant de 1 à
n ;
- on met en correspondance les n images, de façon à
localiser dans les images les coordonnées de la projecion d'un même point dans l'espace à trois dimensions ;
- on effectue une reconstruction 3D, consistant à
obtenir les coordonnées x,y et z du point 3D correspondant à chaque appariement entre images, à partir de la connais-sance des modèles Fi et des points images appariés.
Un procédé de ce genre est décrit dans l'article de Sing Bing Kang et al. "A Multibaseline Stereo System with Active Illumination and Real-Time Image Acquisition", Proceedings IEEE Int. Conf. on Computer Vision, pages 88-93, juin 1995.
Le procédé proposé dans cet article met en oeuvre quatre caméras dont les axes optiques convergent approximativement en un même point. L'image fournie par une des caméras est choisie comme référence. Etant donné que les axes des caméras ne sont pas parallèles, les lignes épipolaires associées ne sont pas parallèles aux lignes des images. Pour simplifier la restitution de l'altitude à partir des images stéréoscopiques, c'est-à-dire la reconstruction 3D, les images sont soumises à une rectification qui transforme 2 projection in each of the n images, for i ranging from 1 to not ;
- we match the n images, so that locate in the images the coordinates of the projection from the same point in three-dimensional space;
- we perform a 3D reconstruction, consisting of get the x, y and z coordinates of the corresponding 3D point at each pairing between images, from knowledge of paired Fi models and image points.
A process of this kind is described in the article by Sing Bing Kang et al. "A Multibaseline Stereo System with Active Illumination and Real-Time Image Acquisition ", Proceedings IEEE Int. Conf. on Computer Vision, pages 88-93, June 1995.
The method proposed in this article implements four cameras whose optical axes converge approximately at one point. The image provided by one of the cameras is chosen as reference. Since the axes of the cameras are not parallel, the epipolar lines associated are not parallel to the lines of the images. For simplify the restitution of altitude from images stereoscopic, i.e. 3D reconstruction, images are subject to rectification which transforms

3 chaque paire d'images d'origine en une autre paire telle que les lignes épipolaires qui en résultent soient parallèles, égales et confondues avec les lignes des images. Le mode de mise en correspondance utilise une variable ~, définie comme la distance au centre optique, suivant l'axe de visée passant par le centre optique de la caméra de référence et le point considéré, pour calculer la zone de recherche d'homologues potentiels dans les images à apparier à l'image de référence. L'utilisation de cette variable ~ conduit inévitablement à un modèle de passage non linéaire entre les images, ce qui complique les calculs. La stratégie enseignée par l'article, consistant à affecter une importance égale à
chaque couple, est source d'erreur chaque fois que des points sont masqués dans une ou plusieurs des images.
Une étude détaillée d'algorithmes de fusion de plusieurs représentations pour restituer des données cartographiques 3D à partir de plusieurs images 2D d'une scène est donnée dans la thèse de l'Université de Paris Sud, Centre d'Orsay, Mai 1988 "Construction et Fusion de Représentations Visuel-les 3D . Applications à la Robotique Mobile" de N. Ayache.
La présente invention vise à fournir un procédé de production de données cartographiques répondant mieux que 3 each pair of original images into another pair such as the resulting epipolar lines are parallel, equal and confused with the lines of the images. The mode of matching uses a variable ~, defined as the distance to the optical center, along the line of sight passing through the optical center of the reference camera and the point considered, to calculate the search area potential peers in the images to match the image reference. Using this variable ~ leads inevitably to a nonlinear transition model between images, which complicates the calculations. The strategy taught by the article, consisting in assigning an importance equal to each couple is a source of error whenever points are hidden in one or more of the images.
A detailed study of several fusion algorithms representations to restore cartographic data 3D from multiple 2D images of a scene is given in the thesis of the University of Paris Sud, Center d'Orsay, May 1988 "Construction and Merger of Visual Representations-the 3D. Applications to Mobile Robotics "by N. Ayache.
The present invention aims to provide a method of production of cartographic data responding better than

4 ceux antérieurement connus aux exigences de la pratique, notamment en ce qu'il facilite la mise en correspondance mufti-couples de n images (n étant un entier supérieur à 2) et est suffisamment souple pour s'adapter sans difficulté à
de nombreux domaines, tels que - la détection d'obstacles et le guidage autonome d'un robot mobile, dans une scène fixe, - la modélisation 3D de sites réels, - la cartographie, - la reconnaissance aérienne, permettant d'obtenir un profil de terrain, - la modélisation de trajectoires optimales, lors de la préparation d'une mission aérienne.
Pour cela, le procédé utilise notamment la constatation que, quelle que soit la nature des capteurs (sténopé, barrette de sites photodétecteurs, capteur à balayage) et leur position relative au moment de l'acquisition des images (à condition qu'elles soient stéréoscopiques et qu'il y ait un recouvrement entre plusieurs images) on peut toujours exprimer les n-1 courbes de ressemblance, correspondant chacune à un couple d'images dont une image de référence unique, en fonction de la disparité, définie dans un couple ~5 quelconque. Pour cela, on effectue un changement de référen-tiel des courbes de ressemblance, qui peut toujours être réalisé par un modèle affine de passage de la disparité d'un couple à celle d'un autre couple.
La disparité pourra en général être assimilée à l' ab-cisse curviligne d'un point par rapport à un autre le long de l'épipolaire ; elle peut être mesurée en pixels dans le cas fréquent d'une image représentée par des points élémen-taires affectés chacun d'au moins une valeur radiométrique (luminance et/ou chrominance).
L'invention propose notamment un procédé de production de données cartographiques en trois dimensions à partir de n images à deux dimensions de la scène, fournies par n capteurs avec des points de vue différents, n étant un entier supérieur à 2, suivant lequel .
(a) on calibre chaque capteur d' ordre i pour estimer les paramètres des n modèles Fi(x,y,z) définissant la relation entre les coordonnées x,y,z d'un point de la scène et les coordonnées (p,q)i de sa projec-tion dans l'image i parmi les n_ images ;
(b) on met en correspondance chacun des n-1 couples d'images comportant toutes une même image de réfé-rence choisie parmi les n images, en recherchant l' homologue de chaque pixel ou zone de l' image de référence le long de l'épipolaire correspondante de l'autre image du couple ;
(c) dans chacun des n-1 couples de deux images compre-nant chacune une image de référence et pour chaque pixel ou zone de l' image de référence, on établit une courbe de ressemblance (courbe de variation d'un indice de similarité) en fonction de la disparité, le long de l'épipolaire de l'autre image ;
(d) on ramène toutes les courbes dans un référentiel commun, par un modèle par exemple affine, pour appa-rier le plus grand nombre possible d'images ;
(e) on effectue la sommation des courbes, en écartant éventuellement chaque pic situé à une disparité
singulière par rapport à celui de toutes les autres courbes et on retient le pic le plus élevé de la courbe résultante ; et (f) on calcule les coordonnées x,y,z,à partir de la disparité du pic retenu et des paramètres des n modèles F;(x,y,z).
Il est également possible de calculer plusieurs images de disparité en prenant différentes images comme référence.
La fusion peut s'effectuer après calcul des coordonnées en trois dimensions ; elle peut aussi s'effectuer au niveau des images de disparité, ce qui est une solution avantageuse lorsque les capteurs sont calibrés dans un espace projectif.
La fusion des résultats de mise en correspondance multi-couples peut être réalisée à l'aide d'un vote majoritaire, en affectant un coefficient de pondération plus élevé aux pics correspondant aux points de vue les plus distants de l'image de référence.
Le procédé qui vient d'être décrit permet d'écarter dans la plupart des cas les difficultés rencontrées pour trouver à coup sûr l'homologue d'un point de l'image dans une ou plusieurs autres images. L'utilisation d'un nombre n supé-rieur à 2 permet d'écarter les conséquences d'une occulta-tion dans une ou plusieurs images. La cohérence géométrique des appariements multiples réduit les erreurs et lève les ambiguïtés. La présence d'images ayant des points de vue proches permet de traiter des images ressemblantes ayant peu d'occultation entre elles; l'utilisation d'images ayant des points de vue distants permet d'obtenir une information 3D
précise.

Les caractéristiques ci-dessus ainsi que d'autres apparaîtront mieux à la lecture de la description qui suit de modes particuliers de réalisation de l'invention, donnés à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels .
- la figure 1 est un schéma représentant une disposition possible des capteurs et montrant le rôle de la rectifica-tion ;
- la figure 2 montre le principe des appariements d'un point par recherche sur des portions d'épipolaire ;
- la figure 3 montre des exemples de courbes de varia-tion d'un indice de ressemblance en fonction de la dispari-té ;
- la figure 4 représente un exemple de schéma d'exploi-tation des images dans le cadre de l'appariement multi-images ;
- la figure 5 montre un procédé de fusion des traite-ments multi-images ;
- la figure 6 montre un mode de mise en référence de courbes de ressemblance par rapport à un plan ; et - les figures 7A et 7B, qui montrent des courbes de ressemblance en fonction de la disparité, montrent l'intérêt d'une sélection des courbes.
On décrira tout d'abord l'architecture générale du procédé, qui est conservée quelle que soit l'application, avant d'envisager des cas particuliers. Pour simplifier, les parties déjà bien connues du procédé suivant l'invention ne seront que brièvement rappelées et on pourra se reporter aux documents déjà mentionnés ainsi que .
- en ce qui concerne le cas simple de capteurs de type sténopé, tous identiques, fournissant des images acquises dans des positions coplanaires, à la même altitude, à
l'article de R.Y. Tsai "Multiframe Image Point Matching and 3-D Surface Reconstruction" IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5, n° 2, pages 159-164, mars 1983 ;
- en ce qui concerne la cartographie à partir de cartes d'images aériennes numériques calibrées, à l'article de L. Gabet et al. "Construction Automatique de Modèle Numéri-que de Terrain à Haute Résolution en Zone Urbaine", Bul. SFPT n° 135, pages 9-25, 1994.
Le procédé suivant l'invention comporte trois phases es-sentielles .
- le calibrage des capteurs (étape (a) ci-dessus), ~10 - la mise en correspondance ou appariement des images, impliquant la fusion d'au moins n résultats de mise en correspondance mufti-couples, ces résultats étant les cartes de disparité directement obtenues ou des modèles numériques d'élévation (MNE) calculés à partir de ces dernières, - la reconstruction 3D (étape (f)).
Ces trois phases seront successivement décrites.
Calibrage Le calibrage des capteurs a pour but de fournir une estimation des paramètres des modèles F1(x,y,z) et Fi(x,y,z) qui définissent la relation entre les coordonnées x,y,z d'un point 3D de la scène et les coordonnées 2D (p,q) de sa projection dans le plan image respectivement nl et rci.
Le procédé exige une telle calibrage préalable des cap-teurs. Dans le cas simple de deux capteurs seulement, illustré en figure 1, le calibrage a pour but d'estimer les paramètres des modèles FUx,Y, z) F2(x,y,z) qui définissent la relation entre un point Sk de la scène, défini en trois dimensions par ses coordonnées x,y et z et les coordonnées (p,q)i de sa projection dans le plan image rti ( avec i = 1 ou 2 ) .
Le calibrage est effectué différemment selon la nature des capteurs, par des procédés connus, comme par exemple celui décrit dans l'article de Ayache mentionné plus haut.
On peut utiliser des correspondances entre des points homologues des images, définies manuellement ou obtenues par des techniques de reconnaissance de forme portant sur des voisinages.
A l'issue de cette étape, on dispose de l'ensemble des modèles Fi(x,y,z) avec iE{1,...,n~ et des directions de recherche des points correspondants, qui sont celles des épipolaires.
Toutefois, lorsque le calibrage est réalisé sans connaissance initiale 3D de la scène, la reconstruction 3D
ne peut être définie par les méthodes classiques qu'à une transformation projective près de l'espace projectif 3D. On verra plus loin que le procédé multi-couples suivant l'invention est indépendant de la géométrie et permet d'appréhender les variations d'altitude dans la scène.

Mise en correspondance multi-couples L'appariement des images s'effectue en recherchant l'homologue de chaque point P d'une image de référence, généralement défini avec son voisinage sous forme d'une vignette, le long des épipolaires E2,E3,... des autres images (figure 2). Pour cela, on établit des courbes de similarité
en fonction de la disparité d12, d 1~, . . . (lignes A et B) .
L'indice de similarité S peut être notamment un coefficient d'inter-corrélation ou un indice de ressemblance sur des contours ou des régions. Toutes les courbes sont ensuite ramenées dans un référentiel commun, par exemple d13, qui fera apparaître un appariement probable avec une précision sub-pixélique correspondant à la coïncidence des pics (ligne C de la ffigure 3).
Un changement de référentiel est nécessaire si on veut exprimer toutes les courbes dans un même référentiel en vue de leur fusion ; il utilise un modèle affine élaboré en fonction de la géométrie d'acquisition des images. Ce modèle est de la forme, pour un exemple impliquant trois images en tout .
d13 = a (~l, ~) dia + b (~l, ~) où d désigne la disparité, r~ et ~, désignent les paramètres qui définissent la géométrie des couples (1,2) et (1,3) pour une position p sur l'épipolaire de la primitive (point, contour ou région) à apparier dans l'image 1.
Lorsque le calibrage est réalisé sans connaissance 3D de la scène, les coefficients a (r~, ~.) et b (p, ~.) du modèle affine sont calculés en utilisant une rectification des images, destinée à transformer chaque paire d'images planes 2D en une autre paire telle que les lignes épipolaires soient parallèles et confondues avec les lignes ou les colonnes des images, comme indiqué sur la figure 1 où les épipolaires conjuguées rectifiées sont indiquées dans les plans réti-mens virtuels T1,2 et r2,1 pour les points I1k et Izk dans les plans image n1 et n2. La rectification facilite la mise en correspondance en permettant d'établir immédiatement les courbes de la figure 3.
A titre d'exemple, on peut indiquer que le modèle de passage (p,q) - Fi(x,y,z) pour un modèle sténopé est, en coordonnées projectives, une fonction linéaire'de la forme .
û _ P x , .
wp sx avec û = wq et x = sy w sz s P est une matrice 3x4 définie à un lecteur multiplicatif près ; w et s sont des facteurs multiplicatifs.
Pour déterminer la matrice, 11 paramètres sont nécessaires.
Ils peuvent être déterminés à condition de disposer d'au moins 6 points homologues.
Si on considère uniquement deux images, on peut définir un modèle de passage d'un point 3D de la scène aux coordonnées de sa projection dans chacune des images rectifiées 1 et 2 ; les matrices de projection perspectives M et N pour l'image 1 et l'image 2 définissant les modèles de passage sont .
û1 = M ~c û2 = N X
Pour calculer les coefficients des matrices M et N, à un facteur d'échelle près, il faut respecter diverses contrain-tes .
- épipolaires parallèles dans les deux images (épipoles à l' infini) ;
- pour un point 3D quelconque Sk n' appartenant pas au plan focal des caméras définis après rectification, ordon-nées des pixels, représentés par les points Ikl,z et Ikz,l identiques (figure 1) ;
- coordonnées des centres optiques C1 et Cz invariants pour la rectification. 4 those previously known to the requirements of practice, especially in that it facilitates matching mufti-couples of n images (n being an integer greater than 2) and is flexible enough to easily adapt to many areas, such as - obstacle detection and autonomous guidance of a mobile robot, in a fixed scene, - 3D modeling of real sites, - cartography, - aerial reconnaissance, making it possible to obtain a terrain profile, - the modeling of optimal trajectories, during the preparation of an air mission.
For this, the process uses in particular the observation that, whatever the nature of the sensors (pinhole, array of photodetector sites, scanning sensor) and their relative position at the time of image acquisition (provided they are stereoscopic and there is an overlap between several images) we can always express the n-1 resemblance curves, corresponding each with a couple of images including a reference image unique, according to the disparity, defined in a couple 5 ~
any. To do this, we change the reference such resemblance curves, which can always be realized by an affine model of passage of the disparity of a couple to that of another couple.
The disparity can in general be assimilated to the ab-curvilinear cisse from one point to another along epipolar; it can be measured in pixels in the frequent case of an image represented by elementary points each with at least one radiometric value (luminance and / or chrominance).
The invention proposes in particular a production process three-dimensional map data from n two-dimensional images of the scene, provided by n sensors with different points of view, n being a integer greater than 2, according to which.
(a) we calibrate each sensor of order i to estimate the parameters of the n Fi models (x, y, z) defining the relationship between the x, y, z coordinates of a point of the scene and the coordinates (p, q) i of its projection tion in image i among the n_ images;
(b) we match each of the n-1 couples of images all containing the same reference image rence chosen among the n images, by searching the counterpart of each pixel or area of the image of reference along the corresponding epipolar of the other image of the couple;
(c) in each of the n-1 pairs of two images comprising each with a reference image and for each pixel or area of the reference image, we establish a resemblance curve (variation curve of a similarity index) as a function of the disparity, along the epipolar of the other image;
(d) we bring back all the curves in a frame of reference common, by a model for example affine, for appa-laugh as many images as possible;
(e) the curves are summed, discarding possibly each peak located at a disparity singular compared to that of all the others curves and we retain the highest peak of the resulting curve; and (f) we calculate the coordinates x, y, z, from the disparity of the peak selected and of the parameters of the n models F; (x, y, z).
It is also possible to calculate multiple images disparity taking different images as a reference.
The merger can be carried out after calculation of the coordinates in three dimensions ; it can also be done at the level of disparity images, which is an advantageous solution when the sensors are calibrated in a projective space.
Merging of multi-match results couples can be achieved using a majority vote, by assigning a higher weight to peaks corresponding to the most distant viewpoints of the reference image.
The process which has just been described makes it possible to exclude in most cases the difficulties encountered in finding surely the counterpart of a point of the image in one or several other images. The use of a number n greater than laughing at 2 eliminates the consequences of an occulta-tion in one or more images. Geometric consistency multiple pairings reduces errors and lifts them ambiguities. The presence of images having points of view close allows to process similar images having little concealment between them; the use of images with distant viewpoints provides 3D information precise.

The above features as well as others will appear better on reading the description which follows particular embodiments of the invention, given by way of nonlimiting example. Description refers to the accompanying drawings, in which.
- Figure 1 is a diagram showing an arrangement possible sensors and showing the role of rectification tion;
- Figure 2 shows the principle of pairings of a point by research on epipolar portions;
- Figure 3 shows examples of varia-resemblance index as a function of the disparity tee;
- Figure 4 shows an example of operating diagram-images in the context of multi-pairing pictures;
- Figure 5 shows a process for merging the treat-multi-image elements;
- Figure 6 shows a method of referencing resemblance curves to a plane; and - Figures 7A and 7B, which show curves of similarity based on disparity, show interest a selection of curves.
We will first describe the general architecture of the process, which is preserved whatever the application, before considering special cases. To simplify, the already well known parts of the process according to the invention do not will only be briefly recalled and reference may be made to already mentioned documents as well as.
- as regards the simple case of type sensors pinhole, all identical, providing acquired images in coplanar positions, at the same altitude, at RY Tsai's article "Multiframe Image Point Matching and 3-D Surface Reconstruction "IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5, n ° 2, pages 159-164, March 1983;
- with regard to cartography from maps calibrated digital aerial images, to the article of L. Gabet et al. "Automatic Construction of Digital Model than High Resolution Terrain in Urban Areas ", Bul. SFPT n ° 135, pages 9-25, 1994.
The process according to the invention comprises three phases es-sentential.
- sensor calibration (step (a) above), ~ 10 - matching or matching of images, involving the merger of at least n implementation results mufti-couples correspondence, these results being the maps of directly obtained disparity or numerical models of elevation (DEM) calculated from these, - 3D reconstruction (step (f)).
These three phases will be successively described.
Calibration The purpose of sensor calibration is to provide estimation of parameters of models F1 (x, y, z) and Fi (x, y, z) which define the relationship between the x, y, z coordinates of a 3D point of the scene and the 2D coordinates (p, q) of its projection in the image plane respectively nl and rci.
The process requires such prior calibration of the caps.
tors. In the simple case of only two sensors, illustrated in Figure 1, the purpose of calibration is to estimate the model settings FUx, Y, z) F2 (x, y, z) which define the relation between a point Sk of the scene, defined in three dimensions by its x, y and z coordinates and the coordinates (p, q) i of its projection in the image plane rti (with i = 1 or 2).
The calibration is carried out differently depending on the nature sensors, by known methods, such as for example the one described in the Ayache article mentioned above.
We can use correspondences between points counterparts of the images, defined manually or obtained by pattern recognition techniques relating to neighborhoods.
At the end of this stage, we have all of the Fi (x, y, z) models with iE {1, ..., n ~ and directions of search for corresponding points, which are those of epipolars.
However, when the calibration is carried out without initial 3D knowledge of the scene, 3D reconstruction can only be defined by conventional methods at one projective transformation near the 3D projective space. We will see later that the following multi-couples process the invention is independent of the geometry and allows to understand the variations in altitude in the scene.

Multi-couple mapping Image matching is done by searching the counterpart of each point P of a reference image, generally defined with its neighborhood in the form of a thumbnail, along the epipolar E2, E3, ... other images (figure 2). For this, we establish similarity curves depending on the disparity d12, d 1 ~,. . . (lines A and B).
The similarity index S can in particular be a coefficient of inter-correlation or a resemblance index on outlines or regions. All the curves are then brought into a common repository, for example d13, which will show a likely match with precision sub-pixel corresponding to the coincidence of the peaks (line C of ffigure 3).
A change of reference is necessary if we want express all the curves in the same frame of reference of their merger; it uses an affine model developed in function of the image acquisition geometry. This model is of the form, for an example involving three images in all .
d13 = a (~ l, ~) dia + b (~ l, ~) where d denotes the disparity, r ~ and ~ denote the parameters which define the geometry of the pairs (1,2) and (1,3) for a position p on the epipolar of the primitive (point, outline or region) to match in image 1.
When the calibration is performed without 3D knowledge of the scene, the coefficients a (r ~, ~.) and b (p, ~.) of the affine model are calculated using image correction, intended to transform each pair of 2D plane images into another pair such that the epipolar lines are parallel and confused with the rows or columns of images, as shown in Figure 1 where the epipolar rectified conjugates are indicated in the reti-T1,2 and r2,1 virtual mens for I1k and Izk points in image plans n1 and n2. The rectification facilitates the implementation correspondence by immediately establishing curves of figure 3.
As an example, we can indicate that the model of passage (p, q) - Fi (x, y, z) for a pinhole model is, in projective coordinates, a linear function of the form.
û _ P x,.
wp sx with û = wq and x = sy w sz s P is a 3x4 matrix defined with a multiplicative reader near ; w and s are multiplicative factors.
To determine the matrix, 11 parameters are necessary.
They can be determined provided they have at least minus 6 homologous points.
If we consider only two images, we can define a passage model of a 3D point of the scene at the coordinates of its projection in each of the rectified images 1 and 2 ; the projection projection matrices M and N for image 1 and image 2 defining the passage models are .
û1 = M ~ c û2 = NX
To calculate the coefficients of the matrices M and N, at a factor of scale, various constraints must be respected your.
- parallel epipolar in the two images (epipoles to infinity) ;
- for any 3D point Sk not belonging to the focal plane of the cameras defined after rectification, born of pixels, represented by the points Ikl, z and Ikz, l identical (Figure 1);
- coordinates of the C1 and Cz invariant optical centers for rectification.

5 Les équations auxquelles conduisent ces contraintes sont données dans le document Ayache mentionné plus haut.
Une solution à ces équations peut être trouvée de manière à limiter les distorsions des images rectifiées. A
titre d'exemple, on donne les expressions suivantes pour les 10 matrices M et N .
OL(t~C T
flC(t n CZ)T 0 ~(C1 /~ CZ)T
0 N = ~(~~ ~ c2)T 0 15 ((C1 -CZ) n t)T CI (Cy ~ t) ((C -C n t T T
1 Z) ) C1 (C2 l~ t) où
cl et cz sont les vecteurs des coordonnées 3D des centres optiques C1 et Cz des caméras à sténopé ;
a et (3 sont des facteurs d'échelle, conditionnant la déformation des images rectifiées dans la direction des épipolaires pour l'un et dans la direction orthogonale pour l'autre (si les épipolaires après rectification sont choisies horizontales).
f est un vecteur imposant l'orientation du plan de rectifi-cation (permettant de limiter les distorsions des images rectifiées).
La géométrie projective permet de calculer également les matrices M et N par l'intermédiaire des matrices fondamen-tales. On tYouvera dans la thèse de l'Ecole Polytechnique "Vision stéréoscopique et propriétés différentielles des surfaces" de F. Devernay la description d'une telle appro-che.
Les matrices de passage des images réelles (ou acquises) aux images rectifiées peuvent se déduire des matrices M et N, par exemple de la manière indiquée dans le document Ayache.
I1 faut ensuite définir un modèle inter-disparité par ses coefficients a (A, ~,) et b (1~, ~) tels que d13 (p) - a (~1, ~.) . dlz + b (~1, ~.) Ce modèle fait passer de la disparité d12(p) du point p dans le couple des images rectifiées 1 et 2 à la disparité
d13 (p) dans le couple formé des images 1 et 3 . r~ désigne le couple d'images (1,2) et ~. désigne le couple d'images (1,3).
Les équations paramétriques des lignes de visée dans la caméra 1, définies à partir des coordonnées du pixel p dans l'image rectifiée dans la géométrie du couple r~ et dans la géométrie du couple ~. sont .
x = CI+~¿t~ 8t x = CI+~l.¿tu où x désigne les coordonnées 3D d'un point cl (coordonnées du centre optique de la caméra 1) et tn et tu sont les vecteurs directeurs définis de façon simple en fonction des termes de la matrice M .
~~m1-plm3) ~ ~m2'~Im3) = E~,(m'1-Plm'3~ ~ im2~1~3~
où e désigne un coefficient de normalisation du vecteur t.
On en déduit que Aln = Zw"

aV2C Zu.n = (tnT. tu) ~~~tn~~
Les expressions de a et b s'en déduisent directement k ~ . ,~w n a(~1~ I~) _ _I
k b(~1. ~) = k2-k~ . k2 . w.~
k1 fo On considèrera de nouveau le cas particulier et simple où les capteurs sont de type sténopé. L'appariement multi-couples peut s'effectuer par la démarche schématisée en figure 4, dans le cas de quatre images réelles, numérotées 1, 2, 3 et 4. Après rectification, un point P de l'image 1 pris comme référence sera recherché sur les épipolaires correspondantes des images 2, 3 et 4. En utilisant la rotation montrée en figure 4, les appariements mufti-couples sont réalisés entre les images gi et di, avec iE~1,2,3}
Les coefficients a et b du modèle affine du passage de la disparité d'un couple à la disparité d'un autre couple peuvent s'exprimer simplement en fonction de la position du pixel P à apparier, de la géométrie du couple d'origine et de celle du couple de destination.
Comme on l'a indiqué plus haut, on fusionne ensuite l'ensemble des appariements obtenus en prenant n différentes images comme référence (n=4 dans le cas de la figure 4) .
Cette opération peut s'effectuer après calcul des modèles numériques de terrain (MNT) ou d'élévation (MNE), comme indiqué en figure 5. Mais elle peut être effectuée par fusion des cartes de disparité, pour obtenir une carte de disparité finale, avant de déterminer le MNE final.
De préférence, la fusion est réalisée sur le principe des votes majoritaires ou sélection d'une valeur médiane.
Une pondération est utilisée au moment de la réalisation des votes. Elle est calculée en affectant un poids maximum aux points de vue les plus distants de l'image de référence.
Lorsque la géométrie des capteurs est connue (modèle sténopé, scanner, barrette) on donnera quelques indications sur un mode de mise en correspondance ou appariement dans le cas de deux images 1 et 2, l'image I étant l'image de référence. Les notations sont celles de la figure 6. La mise en référence prend en compte un plan ~ à une altitude constante z=zo. Les fonctions Fi sont connues, et, dans 1e cas de modèles sténopés, reviennent aux matrices de projec-tion perpective Mi. On peut en conséquence toujours exprimer 5 les coordonnées (p,q) en 2D dans le plan ~ pour z=zo à
partir de deux pixels (p,,, q1) et (p2, q2) mis en correspondance dans les images 1 et 2.
Si (x1, y1) est le point du plan ~ qui est l' image du pixel (p1, q~) à apparier de l' image 1, et (x2, yz) est l' image 10 du pixel (pz,q2) de l'image 2, alors on définit la disparité
associée à cet appariement potentiel comme la distance euclidienne dans le plan ~ entre les points (xl,yl) et (x2iy2) 15 412(x1, y1 ) _ (x1 -x2)2 + (y1 -3'2)2 A partir de cette définition de la disparité, le calcul montre que l'on peut exprimer la disparité dans un couple d'images (1,2) sous la forme 20 412(x1' y1 ~ - (an -am~2 + (Cn -~m~2 ~ (Zp -'Z~

où an, am, c " et c m sont des coefficients que l' on peut déduire des systèmes linéaires reliant, à z0 constant, p et q et le vecteur m défini plus haut dans chaque image.
Dans le cas des images 1 et 3, on aurait, de façon similaire, une relation C113(xl,,Yl) _ (ap-am)2+(cp-cm)2~(zo-Z) où aP et cp jouent le même rôle que an et cn. Le modèle linéaire de passage inter-disparité entre le couple r~ des images (1,2) et le couple ~. des images 1,3), lorsque le plan est spécifié, s'écrit très simplement sous la forme .
~ d13(xl~ y1) - Q(~~ i~) ' d12(xl, y1) avec .
(a p am)2 + (~p Cm~2 (an _ am)2 + (Cn - Cm)2 On peut ainsi établir, par un calcul qui pourra être fait en parallèle, toutes les courbes de similarité en vue de faire apparaître les pics qui se correspondent.
Lors de l'appariement, il convient d'écarter les pics dus à une occultation de points dans une des images du couple. La figure 7B montre, à titre d'exemple, les courbes de ressemblance en fonction de la disparité pour quatre couples. Le pixel de l'image de référence est masqué sur l'autre image dans le couple 4, qui fait apparaître des pics pour des disparités où les autres courbes ne présentent pas de maximum. Dans ce cas, il conviendra d'écarter la courbe 4 pour trouver la disparité correcte pour le pixel masqué.
Ce résultat peut notamment être obtenu par un vote majori-taire. 5 The equations to which these constraints lead are data in the Ayache document mentioned above.
A solution to these equations can be found from so as to limit the distortions of the rectified images. AT
As an example, we give the following expressions for 10 matrices M and N.
OL (t ~ CT
flC (tn CZ) T 0 ~ (C1 / ~ CZ) T
0 N = ~ (~~ ~ c2) T 0 15 ((C1 -CZ) nt) T CI (Cy ~ t) ((C -C nt TT
1 Z)) C1 (C2 l ~ t) or cl and cz are the vectors of the 3D coordinates of the centers C1 and Cz optics for pinhole cameras;
a and (3 are scale factors, conditioning the distortion of rectified images in the direction of epipolar for one and in the orthogonal direction for the other (if the epipoles after rectification are chosen horizontal).
f is a vector imposing the orientation of the rectification plane cation (used to limit image distortions rectified).
Projective geometry also calculates the matrices M and N via the fundamental matrices tales. We will see you in the thesis of the Ecole Polytechnique "Stereoscopic vision and differential properties of surfaces "by F. Devernay the description of such an approach che.
Passage matrices for real (or acquired) images to the rectified images can be deduced from the matrices M and N, for example as indicated in the document Ayache.
We must then define an inter-disparity model by its coefficients a (A, ~,) and b (1 ~, ~) such that d13 (p) - a (~ 1, ~.). dlz + b (~ 1, ~.) This model passes from the disparity d12 (p) to the point p in the couple of rectified images 1 and 2 to the disparity d13 (p) in the pair formed by images 1 and 3. r ~ denotes the couple of images (1,2) and ~. denotes the pair of images (1,3).
The parametric equations of the lines of sight in the camera 1, defined from the coordinates of pixel p in the rectified image in the geometry of the couple r ~ and in the couple geometry ~. are .
x = CI + ~ ¿t ~ 8t x = CI + ~ l.¿tu where x denotes the 3D coordinates of a point cl (coordinates from the optical center of the camera 1) and tn and you are the guiding vectors defined in a simple way according to terms of the matrix M.
~~ m1-plm3) ~ ~ m2 '~ Im3) = E ~, (m'1-Plm'3 ~ ~ im2 ~ 1 ~ 3 ~
where e denotes a normalization coefficient of the vector t.
We deduce that Aln = Zw "

aV2C Zu.n = (tnT. tu) ~~~ tn ~~
The expressions of a and b are deduced directly k ~. ~ Wn a (~ 1 ~ I ~) _ _I
k b (~ 1. ~) = k2-k ~. k2. w. ~
k1 fo We will again consider the particular and simple case where the sensors are pinhole type. Multi-pairing couples can be done by the process shown schematically in figure 4, in the case of four real images, numbered 1, 2, 3 and 4. After rectification, a point P in image 1 taken as reference will be sought on the epipolar corresponding to images 2, 3 and 4. Using the rotation shown in figure 4, the mufti-couples pairings are made between the images gi and di, with iE ~ 1,2,3}
The coefficients a and b of the affine model of the passage of the disparity of a couple to the disparity of another couple can be expressed simply according to the position of the pixel P to match, the geometry of the original couple and that of the destination couple.
As indicated above, we then merge the set of pairings obtained by taking n different images as reference (n = 4 in the case of Figure 4).
This can be done after calculating the models digital elevation (DEM) or elevation (DEM), such as shown in Figure 5. But it can be done by merger of disparity cards, to obtain a final disparity, before determining the final DEM.
Preferably, the merger is carried out on the principle majority votes or selection of a median value.
A weighting is used when carrying out the votes. It is calculated by assigning a maximum weight to the most distant points of view from the reference image.
When the geometry of the sensors is known (model pinhole, scanner, barrette) we will give some indications on a matching or matching mode in the case of two images 1 and 2, image I being the image of reference. The notations are those of figure 6. The setting in reference takes into account a plane ~ at an altitude constant z = zo. The functions Fi are known, and, in 1e pinhole models, come back to the projection matrices tion perpective Mi. We can therefore always express 5 the coordinates (p, q) in 2D in the plane ~ for z = zo to from two pixels (p ,,, q1) and (p2, q2) matched in images 1 and 2.
If (x1, y1) is the point of the plane ~ which is the image of the pixel (p1, q ~) to be matched from image 1, and (x2, yz) is the image 10 of the pixel (pz, q2) of image 2, then we define the disparity associated with this potential pairing as the distance Euclidean in the plane ~ between points (xl, yl) and (X2iy2) 15 412 (x1, y1) _ (x1 -x2) 2 + (y1 -3'2) 2 From this definition of disparity, the calculation shows that we can express disparity in a couple images (1,2) in the form 20 412 (x1 'y1 ~ - (an -am ~ 2 + (Cn - ~ m ~ 2 ~ (Zp -'Z ~

where an, am, c "and cm are coefficients that we can deduce linear systems connecting, at constant z0, p and q and the vector m defined above in each image.
In the case of images 1 and 3, we would have similar, a relationship C113 (xl ,, Yl) _ (ap-am) 2+ (cp-cm) 2 ~ (zo-Z) where aP and cp play the same role as an and cn. The model linear cross-disparity between the couple r ~ des images (1,2) and the couple ~. 1,3), when the plane is specified, is written very simply in the form.
~ d13 (xl ~ y1) - Q (~~ i ~) 'd12 (xl, y1) with.
(ap am) 2 + (~ p Cm ~ 2 (an _ am) 2 + (Cn - Cm) 2 We can thus establish, by a calculation which can be done in parallel, all similarity curves in sight to bring up the peaks that correspond.
When pairing, the peaks should be discarded due to occultation of points in one of the images of the couple. Figure 7B shows, by way of example, the curves similarity based on disparity for four couples. The pixel of the reference image is hidden on the other image in couple 4, which shows peaks for disparities where the other curves do not show maximum. In this case, the curve should be discarded 4 to find the correct disparity for the hidden pixel.
This result can in particular be obtained by a majority vote.
to hush up.

Claims

1. Method for producing cartographic data in three dimensions from n two-dimensional images of the scene, provided by n sensors with viewpoints different, n being an integer greater than 2, according to which.

(a) - we calibrate each order i sensor to estimate the parameters of the n models F i (x, y, z) defining the relationship between the x, y, z coordinates of a point of the scene and the coordinates (p, q) i of its projection tion in image i among the n images;

(b) we match each of the n-1 couples of images all containing the same reference image rent chosen from the n images, by searching the counterpart of each pixel or area of the image of reference along the corresponding epipolar of the other image of the couple;

(c) in each of the n-1 pairs of two images comprising each with a reference image and for each pixel or area of the reference image, we establish a resemblance curve (variation curve of a similarity index) as a function of the disparity, along the epipolar of the other image;
(d) we bring back all the curves in a frame of reference common, by a model for example affine, for appa-laugh as many images as possible;
(e) the curves are summed, discarding possibly each peak located at a disparity singular compared to that of all the others curves and we retain the highest peak of the resulting curve; and (f) we calculate the coordinates x, y, z from the disparity of the peak selected and of the parameters of the n models F i (x, y, z).

2. Method according to claim 1, characterized in that that we make several pairings by taking different annuity pictures as reference.

3. Method according to claim 1 or 2, characterized in what we merge the matching results multi-couples using a majority vote, by assigning a higher weighting coefficient at the corresponding peaks from the most distant viewpoints of the image of reference.