ES2212235T3 - Procedimiento de produccion de datos cartograficos por estereovision. - Google Patents

Procedimiento de produccion de datos cartograficos por estereovision.

Info

Publication number
ES2212235T3
ES2212235T3 ES98402025T ES98402025T ES2212235T3 ES 2212235 T3 ES2212235 T3 ES 2212235T3 ES 98402025 T ES98402025 T ES 98402025T ES 98402025 T ES98402025 T ES 98402025T ES 2212235 T3 ES2212235 T3 ES 2212235T3
Authority
ES
Spain
Prior art keywords
images
image
disparity
coordinates
curves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES98402025T
Other languages
English (en)
Inventor
Nicolas Ayache
David Canu
Jacques Ariel Sirat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus DS SAS
Original Assignee
EADS Systems and Defence Electronics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Systems and Defence Electronics SAS filed Critical EADS Systems and Defence Electronics SAS
Application granted granted Critical
Publication of ES2212235T3 publication Critical patent/ES2212235T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Abstract

EL PROCEDIMIENTO PROPORCIONA DATOS CARTOGRAFICOS EN TRES DIMENSIONES A PARTIR DE N IMAGENES A DOS DIMENSIONES DE LA ESCENA, PROPORCIONADOS POR N DETECTORES CON PUNTOS DE VISTA DIFERENTES. SE CALIBRA CADA DETECTOR PARA ESTIMAR LOS PARAMETROS DE LOS N MODELOS F I (X,Y,Z) QUE DEFINEN LA RELACION ENTRE LAS COORDENADAS X,Y,Z DE UN PUNTO DE LA ESCENA Y LAS COORDENADAS (P,Q) I DE SU PROYECCION EN LA IMAGEN J, SE PONE EN CORRESPONDENCIA CADA UNO DE LOS N-1 PARES DE IMAGENES (LLEVANDO TODAS ELLAS UNA MISMA IMAGEN DE REFERENCIA), BUSCANDO EL HOMOLOGO DE CADA PIXEL DE LA IMAGEN DE REFERENCIA A LO LARGO DEL EPIPOLAR CORRESPONDIENTE DE LA OTRA IMAGEN DEL PAR; EN CADA PAR DE DOS IMAGENES Y PARA CADA PIXEL DE LA IMAGEN DE REFERENCIA, SE ESTABLECE UNA CURVA DE SIMILITUD EN FUNCION DE LA DISPARIDAD, A LO LARGO DEL EPIPOLAR DE LA OTRA IMAGEN; SE LLEVAN TODAS LAS CURVAS EN UN REFERENCIAL COMUN; SE EFECTUA LA SUMA DE LAS CURVAS, Y SE RETIENE EL PICO MAS ELEVADO DE LA CURVA RESULTANTE; Y FINALMENTE SE CALCULANLAS COORDENADAS X,Y,Z A PARTIR DE LA DISPARIDAD DEL PICO Y DE LOS PARAMETROS DE LOS N MODELOS.

Description

Procedimiento de producción de datos cartográficos por estereovisión.
La presente invención se refiere a los procedimientos de producción de datos cartográficos en tres dimensiones a partir de n imágenes en dos dimensiones de una escena, proporcionadas por n sensores que tienen unos puntos de vista diferentes de la escena.
Se sabe desde hace largo tiempo definir la posición en el espacio de estructuras presentes en una escena y visibles en dos imágenes tomadas bajo diferentes ángulos de vista, por unas técnicas estereoscópicas. Este procedimiento ha sido generalizado en el caso de n imágenes, siendo n un entero superior a 2, constituyendo estas n imágenes un sistema estereoscópico con varias líneas de base.
Se conocen en particular unos procedimientos que comprenden las etapas siguientes:
-
se calibran los n sensores (utilizando el conocimiento 3D de su posición relativa con respecto a la escena observada y/o unos procedimientos de reconocimiento de formas, de manera que se dispongan unos parámetros de n modelos F_{i}(x,y,z) que definen cada uno la relación entre un punto de la escena, de coordenadas x, y, z, y las coordenadas (p,q)_{i} de su proyección en cada una de las n imágenes, para i que va de 1 a n;
-
se ponen en correspondencia las n imágenes, de manera que se localicen en las imágenes las coordenadas de la proyección de un mismo punto en el espacio en tres dimensiones;
-
se efectúa una reconstrucción 3D, que consiste en obtener las coordenadas x, y y z del punto 3D correspondiente a cada emparejamiento entre imágenes, a partir del conocimiento de los módulos F_{i} y de los puntos de imágenes emparejados.
Un procedimiento de este tipo se describe en el artículo de Sing Bing Kang et al. "A Multibaseline Stereo System with Active Illumination and Real-Time Acquisition", Proceedings IEEE Int. Conf. on Computer Vision, páginas 88-93, junio 1995 (ver también la referencia [13] citada en el artículo: Masataski Okutorni et al. "A multiple baseline stereo", IEEE Transactions on Pattern Analysis and Machine Intelligence Vol. 15., nº 4, Abril 1995, pp. 353-363). El procedimiento propuesto en este artículo utiliza cuatro cámaras cuyos ejes ópticos convergen aproximadamente en un mismo punto. La imagen proporcionada por una de las cámaras se elige como referencia. Dado que los ejes de las cámaras no son paralelos, las líneas epipolares asociadas no son paralelas a las líneas de las imágenes. Para simplificar la restitución de la altitud a partir de las imágenes estereoscópicas, es decir la reconstrucción en 3D, las imágenes son sometidas a una rectificación que transforma cada par de imágenes de origen en otro par tal que las líneas epipolares que resultan de él sean paralelas, iguales y confundidas con las líneas de las imágenes. El modo de puesta en correspondencia utiliza una variable \lambda, definida como la distancia al centro óptico, según el eje de visión que pasa por el centro óptico de la cámara de referencia y el punto considerado, para calcular la zona de búsqueda de homólogos potenciales en las imágenes a emparejar con la imagen de referencia. La utilización de esta variable \lambda conduce inevitablemente a un modelo de paso no lineal entre las imágenes, lo que complica los cálculos. La estrategia enseñada por el artículo, consistente en asignar una importancia igual a cada par, es fuente de error cada vez que unos puntos son enmascarados en una o en varias de las imágenes.
Un estudio detallado de algoritmos de fusión de varias representaciones para restituir unos datos cartográficos 3D a partir de varias imágenes 2D de una escena, se da en la tesis de la Universidad de Paris Sud, Centre d'Orsay, mayo 1988 "Construction et Fusion de Répresentations Visuelles 3D: Applications à la Robotique Mobile" de N. Ayache.
La presente invención prevé proporcionar un procedimiento de producción de datos cartográficos que responda mejor que los anteriormente conocidos a las exigencias de la práctica, en particular porque facilita la puesta en correspondencia multipares de n imágenes (siendo n un entero superior a 2) y es suficientemente flexible para adaptarse sin dificultad a numerosos campos, tales como:
-
la detección de obstáculos y el guiado autónomo de un robot móvil, en una escena fija,
-
la modelización 3D de lugares reales,
-
la cartografía,
-
el reconocimiento aéreo, que permite obtener un perfil del terreno,
-
la modelización de trayectorias óptimas, cuando tiene lugar la preparación de una misión aérea.
Para ello, el procedimiento utiliza en particular la constatación de que, cualquiera que sea la naturaleza de los sensores (estenotipos, varilla de lugares fotodetectores, sensor de barrido) y su posición relativa en el momento de la adquisición de las imágenes (a condición de que sean estereoscópicas y que haya un recubrimiento entre varias imágenes) siempre se puede expresar las n-1 curvas de parecido, que corresponden cada una a un par de imágenes de las cuales una imagen de referencia única, en función de la disparidad, definida en un par cualquiera: para ello, se efectúa un cambio de referencial de las curvas de parecido, siempre que puede ser realizado por un modelo afín de paso de la disparidad de un par a la de otro par.
La disparidad podrá ser asimilada en general a la abscisa curvilínea de un punto con respecto a otro a lo largo de la epipolar; la misma puede ser medida en píxeles en el caso frecuente de una imagen representada por unos puntos elementales afectados cada uno de por lo menos un valor radiométrico (luminancia y/o crominancia).
La invención propone en particular un procedimiento de producción de datos cartográficos en tres dimensiones a partir de n imágenes en dos dimensiones de la escena, proporcionadas por n sensores con unos puntos de vista diferentes, siendo n un entero superior a 2, según el cual:
a)
se calibra cada sensor de orden i para estimar los parámetros de los n modelos F_{i}(x,y,z) que definen la relación entre las coordenadas x, y, z de un punto de la escena y las coordenadas (p,q)_{i} de su proyección en la imagen i entre las n imágenes;
b)
se ponen en correspondencia cada uno de los n-1 pares de imágenes que comprenden todas una misma imagen de referencia elegida entre las n imágenes, buscando el homólogo de cada píxel o zona de la imagen con referencia a lo largo de la epipolar correspondiente de la otra imagen del par;
c)
en cada uno de los n-1 pares de dos imágenes que comprenden cada una una imagen de referencia y para cada píxel o zona de la imagen de referencia, se establece una curva de parecido (curva de variación de un índice de similaridad) en función de la disparidad, a lo largo de la epipolar de la otra imagen;
d)
se llevan todas las curvas a un referencial común, por un modelo por ejemplo afín, para emparejar el mayor número posible de imágenes;
e)
se efectúa la suma de las curvas, eliminando eventualmente cada pico situado en una disparidad singular con respecto al de todas las otras curvas y se retiene el pico más elevado de la curva resultante; y
f)
se calculan las coordenadas x, y, z a partir de la disparidad del pico retenido y de los parámetros de los n modelos F_{i}(x,y,z).
También es posible calcular varias imágenes de disparidad tomando diferentes imágenes como referencia. La fusión puede efectuarse después del cálculo de las coordenadas en tres dimensiones; la misma puede efectuarse también a nivel de las imágenes de disparidad, lo cual es una solución ventajosa cuando los sensores están calibrados en un espacio proyectivo.
La fusión de los resultados de puesta en correspondencia multipares puede ser realizada con la ayuda de una votación mayoritaria, asignando un coeficiente de ponderación más elevado a los picos que corresponden a los puntos de vista más distantes en la imagen de referencia.
El procedimiento que acaba de ser descrito permite eliminar en la mayor parte de los casos las dificultades encontradas para encontrar con seguridad el homólogo de un punto de la imagen en una o varias otras imágenes. La utilización de un número n superior a 2 permite eliminar las consecuencias de una ocultación en una o varias imágenes. La coherencia geométrica de los emparejamientos múltiples reduce los errores y eleva las ambigüedades. La presencia de imágenes que tienen unos puntos de vista próximos permite tratar unas imágenes parecidas que tienen poca ocultación entre ellas; la utilización de imágenes que tienen unos puntos de vista distantes permite obtener una información 3D precisa.
Las características anteriores, así como otras, aparecerán mejor con la lectura de la descripción que sigue de modos particulares de realización de la invención, dados a título de ejemplo no limitativo. La descripción se refiere a los planos que la acompañan, en los cuales:
- la figura 1 es un esquema que representa una disposición posible de los sensores y que muestra la función de la rectificación;
- la figura 2 muestra el principio de los emparejamientos de un punto por búsqueda sobre unas porciones de epipolar;
- la figura 3 muestra unos ejemplos de curvas de variación de un índice de parecido en función de la disparidad;
- la figura 4 representa un ejemplo de esquema de explotación de las imágenes en el marco del emparejamiento multiimágenes;
- la figura 5 muestra un procedimiento de fusión de los tratamientos multiimágenes;
- la figura 6 muestra un modo de referenciado de curvas de parecido con respecto a un plano; y
- las figuras 7A y 7B, que muestran unas curvas de parecido en función de la disparidad, muestran el interés de una selección de las curvas.
Se describirá en primer lugar la arquitectura general del procedimiento, que es conservada cualquiera que sea la aplicación, antes de prever unos casos particulares. Para simplificar, las partes ya bien conocidas del procedimiento según la invención sólo serán brevemente recordadas y se podrá hacer referencia a los documentos ya mencionados así como:
-
en lo que concierne al caso simple de sensores de tipo estenotipado, todos idénticos, que proporcionan unas imágenes adquiridas en unas posiciones coplanarias, a la misma altitud, al artículo de R. Y. Tsai "Multiframe Image Point Matching and 3-D Surface Reconstruction" IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5, nº 2, páginas 159-164, marzo 1983;
-
en lo que concierne a la cartografía a partir de planos de imágenes aéreas numéricas calibradas, al artículo de L. Gabet et al. "Construction Automatique de Modèle Numérique de Terrain à Haute Résolution en Zone Urbaine", Bul. SFPT nº 135, páginas 9-25, 1994.
El procedimiento según la invención comprende tres fases esenciales.
-
el calibrado de los sensores (etapa (a) anterior);
-
la puesta en correspondencia o emparejado de las imágenes, que implica la fusión de por lo menos n resultados de puesta en correspondencia multipares, siendo estos resultados los planos de disparidad directamente obtenidos o unos modelos numéricos de elevación (MNE) calculados a partir de estos últimos,
-
la reconstrucción 3D (etapa (f)).
Estas tres fases serán descritas sucesivamente.
Calibrado
El calibrado de los sensores tiene por objetivo proporcionar una estimación de los parámetros de los modelos F_{1}(x,y,z) y F_{i} (x,y,z) que definen la relación entre las coordenadas x, y, z de un punto 3D de la escena y las coordenadas 2D (p,q) de su proyección en el plano imagen respectivamente \pi_{1} y \pi_{i}.
El procedimiento exige dicho calibrado previo de los sensores. En el caso simple de dos sensores solamente, ilustrado en la figura 1, el calibrado tiene por objetivo estimar los parámetros de los modelos
F_{1}(x,y,z)
F_{2}(x,y,z)
que definen la relación entre un punto S_{k} de la escena, definido en tres dimensiones por sus coordenadas x, y y z, y las coordenadas (p, q)_{i} de su proyección en el plano imagen \pi_{i} (con i = 1 ó 2).
El calibrado se efectúa de manera diferente según la naturaleza de los sensores, por unos procedimientos conocidos, como por ejemplo el descrito en el artículo de Ayache mencionado más arriba. Se pueden utilizar unas correspondencias entre unos puntos homólogos de las imágenes, definidos manualmente u obtenidos por unas técnicas de reconocimiento de forma que se refieren a unas proximidades.
Al final de esta etapa, se dispone del conjunto de los modelos F_{i}(x,y,z) con i\in{1,...,n} y de unas direcciones de búsqueda de los puntos correspondientes, que son las de las epipolares.
Sin embargo, cuando el calibrado se realiza sin conocimiento inicial 3D de la escena, la reconstrucción 3D no puede ser definida por los procedimientos clásicos con la transformación proyectiva cerca del espacio proyectivo 3D. Se verá más adelante que el procedimiento multipares según la invención es independiente de la geometría y permite tomar las variaciones de altitud en la escena.
Puesta en correspondencia multipares
El emparejamiento de las imágenes se efectúa buscando el homólogo de cada punto P de una imagen de referencia, generalmente definido con su proximidad en forma de una viñeta, a lo largo de las epipolares E_{2}, E_{3}, ... de las otras imágenes (figura 2). Para ello, se establecen unas curvas de similaridad en función de la disparidad d_{12}, d_{13}, .... (líneas A y B). El índice de similaridad S puede ser en particular un coeficiente de intercorrelación o un índice de parecido sobre unos contornos o unas regiones. Todas las curvas son llevadas a continuación a un referencial común, por ejemplo d_{13}, que hará aparecer un emparejamiento probable con una precisión subpixélica que corresponde a la coincidencia de los picos (línea C de la figura 3).
Es necesario un cambio de referencial si se quieren expresar todas las curvas en un mismo referencial con vistas a su fusión; utiliza un modelo afín elaborado en función de la geometría de adquisición de las imágenes. Este modelo es de la forma, para un ejemplo que implica tres imágenes en total:
d_{13} = a(\eta ,\mu)d_{12} + b(\eta ,\mu)
en la que d designa la disparidad, \eta y \mu designan los parámetros que definen la geometría de los pares (1,2) y (1,3) para una posición p sobre la epipolar de la primitiva (punto, contorno o región) a emparejar en la imagen 1.
Cuando el calibrado se realiza sin conocimiento 3D de la escena, los coeficientes a(\eta,\mu) y b(\eta,\mu) del modelo afín son calculados utilizando una rectificación de las imágenes, destinada a transformar cada par de imágenes planas 2D en otro par tal que las líneas epipolares sean paralelas y confundidas con las líneas o las columnas de las imágenes, como se ha indicado en la figura 1 en la que las epipolares conjugadas rectificadas están indicadas en los planos retinianos virtuales \Gamma_{1,2} y \Gamma_{2,1} por los puntos I^{1}_{k} y I^{2}_{k} en los planos imagen \pi_{1} y \pi_{2}. La rectificación facilita la puesta en correspondencia permitiendo establecer inmediatamente las curvas de la figura 3.
A título de ejemplo, se puede indicar que el modelo de paso (p,q) = F_{i}(x,y,z) para un modelo estonotipado es, en coordenadas proyectivas, una función lineal de la forma:
1
P es una matriz 3x4 definida pudiendo diferir en un lector multiplicativo; w y s son unos factores multiplicativos. Para determinar la matriz, son necesarios 11 parámetros. Pueden ser determinados a condición de disponer de por lo menos 6 puntos homólogos.
Si se consideran únicamente dos imágenes, se puede definir un modelo de paso de un punto 3D de la escena a las coordenadas dadas de su proyección en cada una de las imágenes rectificadas 1 y 2; las matrices de proyección perspectivas M y N para la imagen 1 y la imagen 2 que definen los modelos de paso son:
\vec{u}_{1} = M \vec{x}
\vec{u}_{2} = N \vec{x}
Para calcular los coeficientes de las matrices M y N, pudiendo diferir en un factor de escala, es preciso respetar diversas obligaciones:
-
epipolares paralelas en las dos imágenes (epipolos en el infinito);
-
para un punto 3D cualquiera S_{k} que no pertenece al plano focal de las cámaras definidas después de rectificado, ordenadas de los píxeles, representadas por los puntos I_{k}^{1,2} y I_{k}^{2,1}, idénticas (figura 1);
-
coordenadas de los centros ópticos C_{1} y C_{2} invariables para la rectificación.
Las ecuaciones a las cuales conducen estas obligaciones se dan en el documento Ayache mencionado más arriba.
Se puede encontrar una solución a estas ecuaciones de forma que se limiten las distorsiones de las imágenes rectificadas. A título de ejemplo, se dan las expresiones siguientes para las matrices M y N:
2
c_{1} y c_{2} son los vectores de las coordenadas 3D de los centros ópticos C_{1} y C_{2} de las cámaras con estenotipado;
\alpha y \beta son unos factores de escala, que condicionan la deformación de las imágenes rectificadas en la dirección de las epipolares para una y en la dirección ortogonal para la otra (si las epipolares después de rectificación se eligen horizontales).
f es un vector que impone la orientación del plan de rectificación (que permite limitar las distorsiones de las imágenes rectificadas).
La geometría proyectiva permite calcular también las matrices M y N por medio de las matrices fundamentales. Se encontrará en la tesis de la Escuela Politécnica "Vision stéréoscopique et propriétés différentielles des surfaces" de F. Devernay la descripción de dicho estudio.
Las matrices de paso de las imágenes reales (o adquiridas) a las imágenes rectificadas pueden deducirse de las matrices M y N, por ejemplo de la manera indicada en el documento Ayache.
Es preciso a continuación definir un modelo de interdisparidad por sus coeficientes a(\lambda,\mu) y b(\lambda,\mu) tales que:
d_{13}(p) = a (\eta ,\mu).d_{12} + b(\eta ,\mu)
Este modelo hace pasar de la disparidad d_{12}(p) del punto p en el par de las imágenes rectificadas 1 y 2 a la disparidad d_{13}(p) en el par formado por las imágenes 1 y 3. \eta designa el par de imágenes (1,2) y \mu designa el par de imágenes (1,3).
Las ecuaciones paramétricas de las líneas de visión en la cámara 1, definidas a partir de las coordenadas del píxel p en la imagen rectificada en la geometría del par \eta y en la geometría del par \mu son:
\vec{x}=c_{1}+\lambda_{1}^{\eta}t_{\eta}
\hskip1cm
y
\hskip1cm
\vec{x}=c_{1}+\lambda_{1}^{\mu}t_{\mu}
en la que x designa las coordenadas 3D de un punto c_{1} (coordenadas del centro óptico de la cámara 1) y t_{\eta} y t_{\mu} son los vectores directores definidos de forma simple en función de los términos de la matriz M:
t_{\eta}=\varepsilon_{\eta}(m_{1}^{\eta}-p_{1}^{\eta}m_{3}^{\eta}) ^ (m_{2}^{\eta}-q_{1}^{\eta}m_{3}^{\eta})
t_{\mu}=\varepsilon_{\mu}(m_{1}^{\mu}-p_{1}^{\mu}m_{3}^{\mu}) ^ (m_{2}^{\mu}-q_{1}^{\mu}m_{3}^{\mu})
en las que \varepsilon designa un coeficiente de normalización del vector t.
Se deduce que \lambda_{1}^{\eta}= \tau^{\mu.\eta}. \lambda_{1}^{\eta}
con n \tau^{\mu.\eta} = (t_{\eta}^{T}.t_{\mu})/||t_{\eta}||
Las expresiones de a y b se deducen directamente de ello.
a(\eta,\mu)= \frac{\kappa_{1}^{\eta}\cdot \tau^{\mu,\eta}}{\kappa_{1}^{\eta}}
b(\eta,\mu)= \kappa_{2}^{\mu}-\frac{\kappa_{1}^{\mu}}{\kappa_{1}^{\eta}} \cdot \kappa_{2}^{\eta}\cdot\tau^{\mu,\eta}
Se considerará de nuevo el caso particular y simple en el que los sensores son de tipo estenotipado. El emparejamiento multipares puede efectuarse por la marcha esquematizada en la figura 4, en el caso de cuatro imágenes reales, numeradas 1, 2, 3 y 4. Después de la rectificación, un punto P de la imagen 1 tomado como referencia será buscado sobre las epipolares correspondientes de las imágenes 2, 3 y 4. Utilizando la anotación representada en la figura 4, los emparejamientos multipares se realizan entre las imágenes g_{i}y d_{i}, con i\in{1,2,3}
Los coeficientes a y b del modelo afín del paso de la disparidad de un par a la disparidad de otro par pueden expresarse simplemente en función de la posición del píxel P a emparejar, de la geometría del par de origen y de la del par de destino.
Como se ha indicado más arriba, se fusiona a continuación el conjunto de los emparejamientos obtenidos tomando n diferentes imágenes como referencia (n = 4 en el caso de la figura 4). Esta operación puede efectuarse después del cálculo de los modelos numéricos de terreno (MNT) o de elevación (MNE), como se ha indicado en la figura 5. Pero la misma puede ser efectuada por fusión de los mapas de disparidad, para obtener un mapa de disparidad final, antes de determinar el MNE final.
Preferentemente, la fusión se realiza sobre el principio de los votos mayoritarios o de la selección de un valor medio. Se utiliza una ponderación en el momento de la realización de los votos. La misma es calculada asignando un peso máximo a los puntos de vista más distantes de la imagen de referencia.
Cuando se conoce la geometría de los sensores (modelo estenotipado, escáner, varilla) se darán algunas indicaciones sobre un modo de puesta en correspondencia o emparejamiento en el caso de dos imágenes 1 y 2, siendo la imagen I la imagen de referencia. Las anotaciones son las de la figura 6. La puesta en referencia tiene en cuenta un plano \Sigma a una altitud constante z = z_{0}. Las funciones F_{i} son conocidas, y, en el caso de modelos estenotipados, vuelven a las matrices de proyección perspectiva M_{i}. En consecuencia, se pueden expresar siempre las coordenadas (p,q) en 2D en el plano \Sigma para z = z_{0} a partir de dos píxeles (p_{1},q_{1}) y (p_{2},q_{2}) puestos en correspondencia en las imágenes 1 y 2.
Si (x_{1},y_{1}) es el punto del plano \Sigma que es la imagen del píxel (p_{1},q_{1}) a emparejar de la imagen 1, y (x_{2},y_{2}) es la imagen del píxel (p_{2},q_{2}) de la imagen 2, entonces se define la disparidad asociada a este emparejamiento potencial como la distancia euclidiana en el plano \Sigma entre los puntos (x_{1},y_{1}) y (x_{2},y_{2}):
d_{12}(x_{1},y_{1})=\sqrt{(x_{1}-x_{2})^{2}+(y_{1}-y_{2})^{2}}
A partir de esta definición de la disparidad, el cálculo muestra que se puede expresar la disparidad en un par de imágenes (1,2) en forma de:
d_{12}(x_{1},y_{1})=\sqrt{(a_{n}-a_{m})^{2}+(c_{n}-c_{m})^{2}} \cdot (z_{0}-z)
en la que a_{n}, a_{m}, c_{n}y c_{m} son unos coeficientes que se pueden deducir de los sistemas lineales que unen, con z_{0} constante, p y q y el vector \vec{m} definido más arriba en cada imagen.
En el caso de las imágenes 1 y 3, se detendría, de forma similar, una relación:
d_{13}(x_{1},y_{1})= \sqrt{(a_{p}-a_{m})^{2}+(c_{p}-c_{m})^{2}} \cdot (z_{0}-z)
en la que a_{p} y c_{p} desempeñan la misma función que a_{n} y c_{n}. El modelo lineal de paso interdisparidad entre el par \eta de las imágenes (1,2) y el par \mu de las imágenes (1,3) cuando el plano \Sigma está especificado, se escribe muy simplemente en forma de:
d_{13} (x_{1},y_{1}) = a(\eta,\mu) \cdot d_{12}(x_{1},y_{1})
con:
a(\eta,\mu)=\frac{{\sqrt{(a_{p}-a_{m})^{2}+(c_{p}-c_{m})^{2}}}}{\sqrt{(a_{n}-a_{m})^{2}+(c_{n}-c_{m})^{2}}}
Así se pueden establecer, por un cálculo que podrá realizarse en paralelo, todas las curvas de similaridad con vistas a hacer aparecer los picos que se corresponden.
Cuando tiene lugar el emparejamiento, conviene separar los picos debidos a una ocultación de puntos en una de las imágenes del par. La figura 7B muestra, a título de ejemplo, las curvas de parecido en función de la disparidad para cuatro pares. El píxel de la imagen de referencia está enmascarado en la otra imagen en el par 4, que hace aparecer unos picos para unas disparidades en las que las otras curvas no presentan máximo. En este caso, convendrá separar la curva 4 para encontrar la disparidad correcta para el píxel enmascarado. Este resultado puede obtenerse en particular por un voto mayoritario.

Claims (3)

1. Procedimiento de producción de datos cartográficos en tres dimensiones a partir de n imágenes en dos dimensiones de la escena, proporcionadas por n sensores con unos puntos de vista diferentes, siendo n un entero superior a 2, según el cual:
a)
se calibra cada sensor de orden i para estimar los parámetros de los n modelos F_{i}(x,y,z) que definen la relación entre las coordenadas x, y, z de un punto de la escena y las coordenadas (p,q)_{i} de su proyección en la imagen i entre las n imágenes;
b)
se ponen en correspondencia cada uno de los n-1 pares de imágenes que comprenden todos una misma imagen de referencia elegida entre las n imágenes, buscando el homólogo de cada píxel o zona de la imagen de referencia a lo largo de la epipolar correspondiente de la otra imagen del par;
c)
en cada uno de los n-1 pares de dos imágenes que comprenden cada una una imagen de referencia y para cada píxel o zona de la imagen de referencia, se establece una curva de parecido (curva de variación de un índice de similaridad) en función de la disparidad, a lo largo de la epipolar de la otra imagen;
d)
se llevan de nuevo todas las curvas a referencial común, por un modelo por ejemplo afín, para emparejar el mayor número posible de imágenes;
e)
se efectúa la suma de las curvas, eliminando eventualmente cada pico situado a una disparidad singular con respecto al de todas las otras curvas y se retiene el pico más elevado de la curva resultante; y
f)
se calculan las coordenadas x, y, z a partir de la disparidad del pico retenido y de los parámetros de los n modelos F_{i}(x,y,z).
2. Procedimiento según la reivindicación 1, caracterizado porque se efectúan varios emparejamientos tomando diferentes imágenes como referencia.
3. Procedimiento según la reivindicación 1 ó 2, caracterizado porque se fusionan los resultados de puesta en correspondencia multipares con la ayuda de una votación mayoritaria, asignando un coeficiente de ponderación más elevado a los picos que corresponden a los puntos de vista más distantes de la imagen de referencia.
ES98402025T 1997-08-12 1998-08-10 Procedimiento de produccion de datos cartograficos por estereovision. Expired - Lifetime ES2212235T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9710284A FR2767404B1 (fr) 1997-08-12 1997-08-12 Procede de production de donnees cartographiques par stereovision
FR9710284 1997-08-12
US09/132,488 US6175648B1 (en) 1997-08-12 1998-08-11 Process for producing cartographic data by stereo vision

Publications (1)

Publication Number Publication Date
ES2212235T3 true ES2212235T3 (es) 2004-07-16

Family

ID=26233745

Family Applications (1)

Application Number Title Priority Date Filing Date
ES98402025T Expired - Lifetime ES2212235T3 (es) 1997-08-12 1998-08-10 Procedimiento de produccion de datos cartograficos por estereovision.

Country Status (5)

Country Link
US (1) US6175648B1 (es)
EP (1) EP0897163B1 (es)
CA (1) CA2245044C (es)
ES (1) ES2212235T3 (es)
FR (1) FR2767404B1 (es)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694057B1 (en) * 1999-01-27 2004-02-17 Washington University Method and apparatus for processing images with curves
US6661913B1 (en) * 1999-05-05 2003-12-09 Microsoft Corporation System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
CN1308897C (zh) * 2002-09-15 2007-04-04 深圳市泛友科技有限公司 利用一组二维照片与三维模型库生成新的三维模型的方法
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
ES2228251B1 (es) * 2003-05-09 2006-02-16 Universitat Pompeu Fabra Dispositivo de interfaz natural no invasiva para la interaccion con un sistema informatico y metodo de operacion.
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
PL1897056T3 (pl) * 2005-06-23 2017-01-31 Koninklijke Philips N.V. Połączona wymiana danych obrazu i powiązanych
JPWO2008053649A1 (ja) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 広角画像取得方法及び広角ステレオカメラ装置
EP2076055B1 (en) 2007-12-27 2012-10-24 Saab AB Method for displaying a virtual image
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
EP2529358A4 (en) * 2010-01-26 2013-11-20 Saab Ab AUTOMATED THREE-DIMENSIONAL CARTOGRAPHY METHOD
US9536320B1 (en) * 2014-12-23 2017-01-03 John H. Prince Multiple coordinated detectors for examination and ranging
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
FR3080937B1 (fr) 2018-05-03 2021-06-04 Commissariat Energie Atomique Procede et dispositif de reconnaissance de distance en temps reel
US11941863B2 (en) * 2021-08-04 2024-03-26 Datalogic Ip Tech S.R.L. Imaging system and method using a multi-layer model approach to provide robust object detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
FR2700654B1 (fr) * 1993-01-19 1995-02-17 Thomson Csf Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques.
US5911035A (en) * 1995-04-12 1999-06-08 Tsao; Thomas Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US5818959A (en) * 1995-10-04 1998-10-06 Visual Interface, Inc. Method of producing a three-dimensional image from two-dimensional images
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence

Also Published As

Publication number Publication date
EP0897163B1 (fr) 2003-12-10
FR2767404A1 (fr) 1999-02-19
EP0897163A1 (fr) 1999-02-17
CA2245044C (fr) 2004-01-20
FR2767404B1 (fr) 1999-10-22
CA2245044A1 (fr) 1999-02-12
US6175648B1 (en) 2001-01-16

Similar Documents

Publication Publication Date Title
ES2212235T3 (es) Procedimiento de produccion de datos cartograficos por estereovision.
Scaramuzza Omnidirectional vision: from calibration to root motion estimation
Hartley et al. Relationship between photogrammmetry and computer vision
Gupta et al. Linear pushbroom cameras
CN102679959B (zh) 基于主动全景视觉传感器的全方位三维建模系统
CN107767440A (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
CN102435188A (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
Ahmadabadian et al. An automatic 3D reconstruction system for texture-less objects
Habib et al. Linear features in photogrammetry
Zhang A stereovision system for a planetary rover: Calibration, correlation, registration, and fusion
Cosido et al. Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace
Faugeras A few steps toward artifial 3D vision
Fabbri et al. Multiview differential geometry of curves
Viejo et al. A robust and fast method for 6DoF motion estimation from generalized 3D data
Jokinen Area-based matching for simultaneous registration of multiple 3-D profile maps
Szeliski et al. Structure from motion and SLAM
Wu Photogrammetry: 3-D from imagery
Velasco-Sánchez et al. LiLO: Lightweight and low-bias LiDAR Odometry method based on spherical range image filtering
Puig et al. Hybrid homographies and fundamental matrices mixing uncalibrated omnidirectional and conventional cameras
Ramalingam et al. The light-path less traveled
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Hirzinger et al. Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage
Zhang Dense point cloud extraction from oblique imagery
Canaz et al. Photogrammetric features for the registration of terrestrial laser scans with minimum overlap
BOrlin Fundamentals of Photogrammetry