ES2212235T3 - Procedimiento de produccion de datos cartograficos por estereovision. - Google Patents
Procedimiento de produccion de datos cartograficos por estereovision.Info
- Publication number
- ES2212235T3 ES2212235T3 ES98402025T ES98402025T ES2212235T3 ES 2212235 T3 ES2212235 T3 ES 2212235T3 ES 98402025 T ES98402025 T ES 98402025T ES 98402025 T ES98402025 T ES 98402025T ES 2212235 T3 ES2212235 T3 ES 2212235T3
- Authority
- ES
- Spain
- Prior art keywords
- images
- image
- disparity
- coordinates
- curves
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 title claims description 3
- 230000000717 retained effect Effects 0.000 claims abstract description 3
- 230000004927 fusion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 102100040853 PRKC apoptosis WT1 regulator protein Human genes 0.000 description 1
- 101710162991 PRKC apoptosis WT1 regulator protein Proteins 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000020945 retinal Nutrition 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Abstract
EL PROCEDIMIENTO PROPORCIONA DATOS CARTOGRAFICOS EN TRES DIMENSIONES A PARTIR DE N IMAGENES A DOS DIMENSIONES DE LA ESCENA, PROPORCIONADOS POR N DETECTORES CON PUNTOS DE VISTA DIFERENTES. SE CALIBRA CADA DETECTOR PARA ESTIMAR LOS PARAMETROS DE LOS N MODELOS F I (X,Y,Z) QUE DEFINEN LA RELACION ENTRE LAS COORDENADAS X,Y,Z DE UN PUNTO DE LA ESCENA Y LAS COORDENADAS (P,Q) I DE SU PROYECCION EN LA IMAGEN J, SE PONE EN CORRESPONDENCIA CADA UNO DE LOS N-1 PARES DE IMAGENES (LLEVANDO TODAS ELLAS UNA MISMA IMAGEN DE REFERENCIA), BUSCANDO EL HOMOLOGO DE CADA PIXEL DE LA IMAGEN DE REFERENCIA A LO LARGO DEL EPIPOLAR CORRESPONDIENTE DE LA OTRA IMAGEN DEL PAR; EN CADA PAR DE DOS IMAGENES Y PARA CADA PIXEL DE LA IMAGEN DE REFERENCIA, SE ESTABLECE UNA CURVA DE SIMILITUD EN FUNCION DE LA DISPARIDAD, A LO LARGO DEL EPIPOLAR DE LA OTRA IMAGEN; SE LLEVAN TODAS LAS CURVAS EN UN REFERENCIAL COMUN; SE EFECTUA LA SUMA DE LAS CURVAS, Y SE RETIENE EL PICO MAS ELEVADO DE LA CURVA RESULTANTE; Y FINALMENTE SE CALCULANLAS COORDENADAS X,Y,Z A PARTIR DE LA DISPARIDAD DEL PICO Y DE LOS PARAMETROS DE LOS N MODELOS.
Description
Procedimiento de producción de datos
cartográficos por estereovisión.
La presente invención se refiere a los
procedimientos de producción de datos cartográficos en tres
dimensiones a partir de n imágenes en dos dimensiones de una
escena, proporcionadas por n sensores que tienen unos puntos
de vista diferentes de la escena.
Se sabe desde hace largo tiempo definir la
posición en el espacio de estructuras presentes en una escena y
visibles en dos imágenes tomadas bajo diferentes ángulos de vista,
por unas técnicas estereoscópicas. Este procedimiento ha sido
generalizado en el caso de n imágenes, siendo n un
entero superior a 2, constituyendo estas n imágenes un
sistema estereoscópico con varias líneas de base.
Se conocen en particular unos procedimientos que
comprenden las etapas siguientes:
- -
- se calibran los n sensores (utilizando el conocimiento 3D de su posición relativa con respecto a la escena observada y/o unos procedimientos de reconocimiento de formas, de manera que se dispongan unos parámetros de n modelos F_{i}(x,y,z) que definen cada uno la relación entre un punto de la escena, de coordenadas x, y, z, y las coordenadas (p,q)_{i} de su proyección en cada una de las n imágenes, para i que va de 1 a n;
- -
- se ponen en correspondencia las n imágenes, de manera que se localicen en las imágenes las coordenadas de la proyección de un mismo punto en el espacio en tres dimensiones;
- -
- se efectúa una reconstrucción 3D, que consiste en obtener las coordenadas x, y y z del punto 3D correspondiente a cada emparejamiento entre imágenes, a partir del conocimiento de los módulos F_{i} y de los puntos de imágenes emparejados.
Un procedimiento de este tipo se describe en el
artículo de Sing Bing Kang et al. "A Multibaseline Stereo
System with Active Illumination and Real-Time
Acquisition", Proceedings IEEE Int. Conf. on Computer Vision,
páginas 88-93, junio 1995 (ver también la referencia
[13] citada en el artículo: Masataski Okutorni et al. "A
multiple baseline stereo", IEEE Transactions on Pattern Analysis
and Machine Intelligence Vol. 15., nº 4, Abril 1995, pp.
353-363). El procedimiento propuesto en este
artículo utiliza cuatro cámaras cuyos ejes ópticos convergen
aproximadamente en un mismo punto. La imagen proporcionada por una
de las cámaras se elige como referencia. Dado que los ejes de las
cámaras no son paralelos, las líneas epipolares asociadas no son
paralelas a las líneas de las imágenes. Para simplificar la
restitución de la altitud a partir de las imágenes estereoscópicas,
es decir la reconstrucción en 3D, las imágenes son sometidas a una
rectificación que transforma cada par de imágenes de origen en otro
par tal que las líneas epipolares que resultan de él sean paralelas,
iguales y confundidas con las líneas de las imágenes. El modo de
puesta en correspondencia utiliza una variable \lambda, definida
como la distancia al centro óptico, según el eje de visión que pasa
por el centro óptico de la cámara de referencia y el punto
considerado, para calcular la zona de búsqueda de homólogos
potenciales en las imágenes a emparejar con la imagen de referencia.
La utilización de esta variable \lambda conduce inevitablemente a
un modelo de paso no lineal entre las imágenes, lo que complica los
cálculos. La estrategia enseñada por el artículo, consistente en
asignar una importancia igual a cada par, es fuente de error cada
vez que unos puntos son enmascarados en una o en varias de las
imágenes.
Un estudio detallado de algoritmos de fusión de
varias representaciones para restituir unos datos cartográficos 3D a
partir de varias imágenes 2D de una escena, se da en la tesis de la
Universidad de Paris Sud, Centre d'Orsay, mayo 1988 "Construction
et Fusion de Répresentations Visuelles 3D: Applications à la
Robotique Mobile" de N. Ayache.
La presente invención prevé proporcionar un
procedimiento de producción de datos cartográficos que responda
mejor que los anteriormente conocidos a las exigencias de la
práctica, en particular porque facilita la puesta en correspondencia
multipares de n imágenes (siendo n un entero superior a 2) y
es suficientemente flexible para adaptarse sin dificultad a
numerosos campos, tales como:
- -
- la detección de obstáculos y el guiado autónomo de un robot móvil, en una escena fija,
- -
- la modelización 3D de lugares reales,
- -
- la cartografía,
- -
- el reconocimiento aéreo, que permite obtener un perfil del terreno,
- -
- la modelización de trayectorias óptimas, cuando tiene lugar la preparación de una misión aérea.
Para ello, el procedimiento utiliza en particular
la constatación de que, cualquiera que sea la naturaleza de los
sensores (estenotipos, varilla de lugares fotodetectores, sensor de
barrido) y su posición relativa en el momento de la adquisición de
las imágenes (a condición de que sean estereoscópicas y que haya un
recubrimiento entre varias imágenes) siempre se puede expresar las
n-1 curvas de parecido, que corresponden cada una a
un par de imágenes de las cuales una imagen de referencia única, en
función de la disparidad, definida en un par cualquiera: para ello,
se efectúa un cambio de referencial de las curvas de parecido,
siempre que puede ser realizado por un modelo afín de paso de la
disparidad de un par a la de otro par.
La disparidad podrá ser asimilada en general a la
abscisa curvilínea de un punto con respecto a otro a lo largo de la
epipolar; la misma puede ser medida en píxeles en el caso frecuente
de una imagen representada por unos puntos elementales afectados
cada uno de por lo menos un valor radiométrico (luminancia y/o
crominancia).
La invención propone en particular un
procedimiento de producción de datos cartográficos en tres
dimensiones a partir de n imágenes en dos dimensiones de la
escena, proporcionadas por n sensores con unos puntos de
vista diferentes, siendo n un entero superior a 2, según el
cual:
- a)
- se calibra cada sensor de orden i para estimar los parámetros de los n modelos F_{i}(x,y,z) que definen la relación entre las coordenadas x, y, z de un punto de la escena y las coordenadas (p,q)_{i} de su proyección en la imagen i entre las n imágenes;
- b)
- se ponen en correspondencia cada uno de los n-1 pares de imágenes que comprenden todas una misma imagen de referencia elegida entre las n imágenes, buscando el homólogo de cada píxel o zona de la imagen con referencia a lo largo de la epipolar correspondiente de la otra imagen del par;
- c)
- en cada uno de los n-1 pares de dos imágenes que comprenden cada una una imagen de referencia y para cada píxel o zona de la imagen de referencia, se establece una curva de parecido (curva de variación de un índice de similaridad) en función de la disparidad, a lo largo de la epipolar de la otra imagen;
- d)
- se llevan todas las curvas a un referencial común, por un modelo por ejemplo afín, para emparejar el mayor número posible de imágenes;
- e)
- se efectúa la suma de las curvas, eliminando eventualmente cada pico situado en una disparidad singular con respecto al de todas las otras curvas y se retiene el pico más elevado de la curva resultante; y
- f)
- se calculan las coordenadas x, y, z a partir de la disparidad del pico retenido y de los parámetros de los n modelos F_{i}(x,y,z).
También es posible calcular varias imágenes de
disparidad tomando diferentes imágenes como referencia. La fusión
puede efectuarse después del cálculo de las coordenadas en tres
dimensiones; la misma puede efectuarse también a nivel de las
imágenes de disparidad, lo cual es una solución ventajosa cuando los
sensores están calibrados en un espacio proyectivo.
La fusión de los resultados de puesta en
correspondencia multipares puede ser realizada con la ayuda de una
votación mayoritaria, asignando un coeficiente de ponderación más
elevado a los picos que corresponden a los puntos de vista más
distantes en la imagen de referencia.
El procedimiento que acaba de ser descrito
permite eliminar en la mayor parte de los casos las dificultades
encontradas para encontrar con seguridad el homólogo de un punto de
la imagen en una o varias otras imágenes. La utilización de un
número n superior a 2 permite eliminar las consecuencias de
una ocultación en una o varias imágenes. La coherencia geométrica de
los emparejamientos múltiples reduce los errores y eleva las
ambigüedades. La presencia de imágenes que tienen unos puntos de
vista próximos permite tratar unas imágenes parecidas que tienen
poca ocultación entre ellas; la utilización de imágenes que tienen
unos puntos de vista distantes permite obtener una información 3D
precisa.
Las características anteriores, así como otras,
aparecerán mejor con la lectura de la descripción que sigue de modos
particulares de realización de la invención, dados a título de
ejemplo no limitativo. La descripción se refiere a los planos que la
acompañan, en los cuales:
- la figura 1 es un esquema que representa una
disposición posible de los sensores y que muestra la función de la
rectificación;
- la figura 2 muestra el principio de los
emparejamientos de un punto por búsqueda sobre unas porciones de
epipolar;
- la figura 3 muestra unos ejemplos de curvas de
variación de un índice de parecido en función de la disparidad;
- la figura 4 representa un ejemplo de esquema de
explotación de las imágenes en el marco del emparejamiento
multiimágenes;
- la figura 5 muestra un procedimiento de fusión
de los tratamientos multiimágenes;
- la figura 6 muestra un modo de referenciado de
curvas de parecido con respecto a un plano; y
- las figuras 7A y 7B, que muestran unas curvas
de parecido en función de la disparidad, muestran el interés de una
selección de las curvas.
Se describirá en primer lugar la arquitectura
general del procedimiento, que es conservada cualquiera que sea la
aplicación, antes de prever unos casos particulares. Para
simplificar, las partes ya bien conocidas del procedimiento según la
invención sólo serán brevemente recordadas y se podrá hacer
referencia a los documentos ya mencionados así como:
- -
- en lo que concierne al caso simple de sensores de tipo estenotipado, todos idénticos, que proporcionan unas imágenes adquiridas en unas posiciones coplanarias, a la misma altitud, al artículo de R. Y. Tsai "Multiframe Image Point Matching and 3-D Surface Reconstruction" IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-5, nº 2, páginas 159-164, marzo 1983;
- -
- en lo que concierne a la cartografía a partir de planos de imágenes aéreas numéricas calibradas, al artículo de L. Gabet et al. "Construction Automatique de Modèle Numérique de Terrain à Haute Résolution en Zone Urbaine", Bul. SFPT nº 135, páginas 9-25, 1994.
El procedimiento según la invención comprende
tres fases esenciales.
- -
- el calibrado de los sensores (etapa (a) anterior);
- -
- la puesta en correspondencia o emparejado de las imágenes, que implica la fusión de por lo menos n resultados de puesta en correspondencia multipares, siendo estos resultados los planos de disparidad directamente obtenidos o unos modelos numéricos de elevación (MNE) calculados a partir de estos últimos,
- -
- la reconstrucción 3D (etapa (f)).
Estas tres fases serán descritas
sucesivamente.
El calibrado de los sensores tiene por objetivo
proporcionar una estimación de los parámetros de los modelos
F_{1}(x,y,z) y F_{i} (x,y,z) que definen la relación
entre las coordenadas x, y, z de un punto 3D de la escena y las
coordenadas 2D (p,q) de su proyección en el plano imagen
respectivamente \pi_{1} y \pi_{i}.
El procedimiento exige dicho calibrado previo de
los sensores. En el caso simple de dos sensores solamente, ilustrado
en la figura 1, el calibrado tiene por objetivo estimar los
parámetros de los modelos
F_{1}(x,y,z)
F_{2}(x,y,z)
que definen la relación entre un punto S_{k} de
la escena, definido en tres dimensiones por sus coordenadas x, y y
z, y las coordenadas (p, q)_{i} de su proyección en el
plano imagen \pi_{i} (con i = 1 ó
2).
El calibrado se efectúa de manera diferente según
la naturaleza de los sensores, por unos procedimientos conocidos,
como por ejemplo el descrito en el artículo de Ayache mencionado más
arriba. Se pueden utilizar unas correspondencias entre unos puntos
homólogos de las imágenes, definidos manualmente u obtenidos por
unas técnicas de reconocimiento de forma que se refieren a unas
proximidades.
Al final de esta etapa, se dispone del conjunto
de los modelos F_{i}(x,y,z) con i\in{1,...,n} y de unas
direcciones de búsqueda de los puntos correspondientes, que son las
de las epipolares.
Sin embargo, cuando el calibrado se realiza sin
conocimiento inicial 3D de la escena, la reconstrucción 3D no puede
ser definida por los procedimientos clásicos con la transformación
proyectiva cerca del espacio proyectivo 3D. Se verá más adelante que
el procedimiento multipares según la invención es independiente de
la geometría y permite tomar las variaciones de altitud en la
escena.
El emparejamiento de las imágenes se efectúa
buscando el homólogo de cada punto P de una imagen de referencia,
generalmente definido con su proximidad en forma de una viñeta, a lo
largo de las epipolares E_{2}, E_{3}, ... de las otras imágenes
(figura 2). Para ello, se establecen unas curvas de similaridad en
función de la disparidad d_{12}, d_{13}, .... (líneas A y B).
El índice de similaridad S puede ser en particular un coeficiente
de intercorrelación o un índice de parecido sobre unos contornos o
unas regiones. Todas las curvas son llevadas a continuación a un
referencial común, por ejemplo d_{13}, que hará aparecer un
emparejamiento probable con una precisión subpixélica que
corresponde a la coincidencia de los picos (línea C de la figura
3).
Es necesario un cambio de referencial si se
quieren expresar todas las curvas en un mismo referencial con vistas
a su fusión; utiliza un modelo afín elaborado en función de la
geometría de adquisición de las imágenes. Este modelo es de la
forma, para un ejemplo que implica tres imágenes en total:
d_{13} = a(\eta
,\mu)d_{12} + b(\eta
,\mu)
en la que d designa la disparidad, \eta y \mu
designan los parámetros que definen la geometría de los pares (1,2)
y (1,3) para una posición p sobre la epipolar de la primitiva
(punto, contorno o región) a emparejar en la imagen
1.
Cuando el calibrado se realiza sin conocimiento
3D de la escena, los coeficientes a(\eta,\mu) y
b(\eta,\mu) del modelo afín son calculados utilizando una
rectificación de las imágenes, destinada a transformar cada par de
imágenes planas 2D en otro par tal que las líneas epipolares sean
paralelas y confundidas con las líneas o las columnas de las
imágenes, como se ha indicado en la figura 1 en la que las
epipolares conjugadas rectificadas están indicadas en los planos
retinianos virtuales \Gamma_{1,2} y \Gamma_{2,1} por los puntos
I^{1}_{k} y I^{2}_{k} en los planos imagen \pi_{1} y
\pi_{2}. La rectificación facilita la puesta en correspondencia
permitiendo establecer inmediatamente las curvas de la figura 3.
A título de ejemplo, se puede indicar que el
modelo de paso (p,q) = F_{i}(x,y,z) para un modelo
estonotipado es, en coordenadas proyectivas, una función lineal de
la forma:
P es una matriz 3x4 definida pudiendo diferir en
un lector multiplicativo; w y s son unos factores multiplicativos.
Para determinar la matriz, son necesarios 11 parámetros. Pueden ser
determinados a condición de disponer de por lo menos 6 puntos
homólogos.
Si se consideran únicamente dos imágenes, se
puede definir un modelo de paso de un punto 3D de la escena a las
coordenadas dadas de su proyección en cada una de las imágenes
rectificadas 1 y 2; las matrices de proyección perspectivas M y N
para la imagen 1 y la imagen 2 que definen los modelos de paso
son:
\vec{u}_{1} = M
\vec{x}
\vec{u}_{2} = N
\vec{x}
Para calcular los coeficientes de las matrices M
y N, pudiendo diferir en un factor de escala, es preciso respetar
diversas obligaciones:
- -
- epipolares paralelas en las dos imágenes (epipolos en el infinito);
- -
- para un punto 3D cualquiera S_{k} que no pertenece al plano focal de las cámaras definidas después de rectificado, ordenadas de los píxeles, representadas por los puntos I_{k}^{1,2} y I_{k}^{2,1}, idénticas (figura 1);
- -
- coordenadas de los centros ópticos C_{1} y C_{2} invariables para la rectificación.
Las ecuaciones a las cuales conducen estas
obligaciones se dan en el documento Ayache mencionado más
arriba.
Se puede encontrar una solución a estas
ecuaciones de forma que se limiten las distorsiones de las imágenes
rectificadas. A título de ejemplo, se dan las expresiones siguientes
para las matrices M y N:
- c_{1} y c_{2} son los vectores de las coordenadas 3D de los centros ópticos C_{1} y C_{2} de las cámaras con estenotipado;
- \alpha y \beta son unos factores de escala, que condicionan la deformación de las imágenes rectificadas en la dirección de las epipolares para una y en la dirección ortogonal para la otra (si las epipolares después de rectificación se eligen horizontales).
- f es un vector que impone la orientación del plan de rectificación (que permite limitar las distorsiones de las imágenes rectificadas).
La geometría proyectiva permite calcular también
las matrices M y N por medio de las matrices fundamentales. Se
encontrará en la tesis de la Escuela Politécnica "Vision
stéréoscopique et propriétés différentielles des surfaces" de F.
Devernay la descripción de dicho estudio.
Las matrices de paso de las imágenes reales (o
adquiridas) a las imágenes rectificadas pueden deducirse de las
matrices M y N, por ejemplo de la manera indicada en el documento
Ayache.
Es preciso a continuación definir un modelo de
interdisparidad por sus coeficientes a(\lambda,\mu) y
b(\lambda,\mu) tales que:
d_{13}(p) = a (\eta
,\mu).d_{12} + b(\eta
,\mu)
Este modelo hace pasar de la disparidad
d_{12}(p) del punto p en el par de las imágenes
rectificadas 1 y 2 a la disparidad d_{13}(p) en el par
formado por las imágenes 1 y 3. \eta designa el par de imágenes
(1,2) y \mu designa el par de imágenes (1,3).
Las ecuaciones paramétricas de las líneas de
visión en la cámara 1, definidas a partir de las coordenadas del
píxel p en la imagen rectificada en la geometría del par \eta y en
la geometría del par \mu son:
\vec{x}=c_{1}+\lambda_{1}^{\eta}t_{\eta}
\hskip1cmy
\hskip1cm\vec{x}=c_{1}+\lambda_{1}^{\mu}t_{\mu}
en la que x designa las coordenadas 3D de un
punto c_{1} (coordenadas del centro óptico de la cámara 1) y
t_{\eta} y t_{\mu} son los vectores directores definidos de
forma simple en función de los términos de la matriz
M:
t_{\eta}=\varepsilon_{\eta}(m_{1}^{\eta}-p_{1}^{\eta}m_{3}^{\eta})
^
(m_{2}^{\eta}-q_{1}^{\eta}m_{3}^{\eta})
t_{\mu}=\varepsilon_{\mu}(m_{1}^{\mu}-p_{1}^{\mu}m_{3}^{\mu})
^
(m_{2}^{\mu}-q_{1}^{\mu}m_{3}^{\mu})
en las que \varepsilon designa un coeficiente
de normalización del vector
t.
Se deduce que \lambda_{1}^{\eta}=
\tau^{\mu.\eta}. \lambda_{1}^{\eta}
con n \tau^{\mu.\eta} =
(t_{\eta}^{T}.t_{\mu})/||t_{\eta}||
Las expresiones de a y b se deducen directamente
de ello.
a(\eta,\mu)=
\frac{\kappa_{1}^{\eta}\cdot
\tau^{\mu,\eta}}{\kappa_{1}^{\eta}}
b(\eta,\mu)=
\kappa_{2}^{\mu}-\frac{\kappa_{1}^{\mu}}{\kappa_{1}^{\eta}} \cdot
\kappa_{2}^{\eta}\cdot\tau^{\mu,\eta}
Se considerará de nuevo el caso particular y
simple en el que los sensores son de tipo estenotipado. El
emparejamiento multipares puede efectuarse por la marcha
esquematizada en la figura 4, en el caso de cuatro imágenes reales,
numeradas 1, 2, 3 y 4. Después de la rectificación, un punto P de la
imagen 1 tomado como referencia será buscado sobre las epipolares
correspondientes de las imágenes 2, 3 y 4. Utilizando la anotación
representada en la figura 4, los emparejamientos multipares se
realizan entre las imágenes g_{i}y d_{i}, con i\in{1,2,3}
Los coeficientes a y b del modelo afín del paso
de la disparidad de un par a la disparidad de otro par pueden
expresarse simplemente en función de la posición del píxel P a
emparejar, de la geometría del par de origen y de la del par de
destino.
Como se ha indicado más arriba, se fusiona a
continuación el conjunto de los emparejamientos obtenidos tomando n
diferentes imágenes como referencia (n = 4 en el caso de la figura
4). Esta operación puede efectuarse después del cálculo de los
modelos numéricos de terreno (MNT) o de elevación (MNE), como se ha
indicado en la figura 5. Pero la misma puede ser efectuada por
fusión de los mapas de disparidad, para obtener un mapa de
disparidad final, antes de determinar el MNE final.
Preferentemente, la fusión se realiza sobre el
principio de los votos mayoritarios o de la selección de un valor
medio. Se utiliza una ponderación en el momento de la realización de
los votos. La misma es calculada asignando un peso máximo a los
puntos de vista más distantes de la imagen de referencia.
Cuando se conoce la geometría de los sensores
(modelo estenotipado, escáner, varilla) se darán algunas
indicaciones sobre un modo de puesta en correspondencia o
emparejamiento en el caso de dos imágenes 1 y 2, siendo la imagen I
la imagen de referencia. Las anotaciones son las de la figura 6. La
puesta en referencia tiene en cuenta un plano \Sigma a una altitud
constante z = z_{0}. Las funciones F_{i} son conocidas, y, en el
caso de modelos estenotipados, vuelven a las matrices de proyección
perspectiva M_{i}. En consecuencia, se pueden expresar siempre las
coordenadas (p,q) en 2D en el plano \Sigma para z = z_{0} a
partir de dos píxeles (p_{1},q_{1}) y (p_{2},q_{2}) puestos
en correspondencia en las imágenes 1 y 2.
Si (x_{1},y_{1}) es el punto del plano
\Sigma que es la imagen del píxel (p_{1},q_{1}) a emparejar de
la imagen 1, y (x_{2},y_{2}) es la imagen del píxel
(p_{2},q_{2}) de la imagen 2, entonces se define la disparidad
asociada a este emparejamiento potencial como la distancia
euclidiana en el plano \Sigma entre los puntos (x_{1},y_{1}) y
(x_{2},y_{2}):
d_{12}(x_{1},y_{1})=\sqrt{(x_{1}-x_{2})^{2}+(y_{1}-y_{2})^{2}}
A partir de esta definición de la disparidad, el
cálculo muestra que se puede expresar la disparidad en un par de
imágenes (1,2) en forma de:
d_{12}(x_{1},y_{1})=\sqrt{(a_{n}-a_{m})^{2}+(c_{n}-c_{m})^{2}}
\cdot
(z_{0}-z)
en la que a_{n}, a_{m}, c_{n}y c_{m} son
unos coeficientes que se pueden deducir de los sistemas lineales que
unen, con z_{0} constante, p y q y el vector \vec{m} definido
más arriba en cada
imagen.
En el caso de las imágenes 1 y 3, se detendría,
de forma similar, una relación:
d_{13}(x_{1},y_{1})=
\sqrt{(a_{p}-a_{m})^{2}+(c_{p}-c_{m})^{2}} \cdot
(z_{0}-z)
en la que a_{p} y c_{p} desempeñan la misma
función que a_{n} y c_{n}. El modelo lineal de paso
interdisparidad entre el par \eta de las imágenes (1,2) y el par
\mu de las imágenes (1,3) cuando el plano \Sigma está
especificado, se escribe muy simplemente en forma
de:
d_{13} (x_{1},y_{1}) =
a(\eta,\mu) \cdot
d_{12}(x_{1},y_{1})
con:
a(\eta,\mu)=\frac{{\sqrt{(a_{p}-a_{m})^{2}+(c_{p}-c_{m})^{2}}}}{\sqrt{(a_{n}-a_{m})^{2}+(c_{n}-c_{m})^{2}}}
Así se pueden establecer, por un cálculo que
podrá realizarse en paralelo, todas las curvas de similaridad con
vistas a hacer aparecer los picos que se corresponden.
Cuando tiene lugar el emparejamiento, conviene
separar los picos debidos a una ocultación de puntos en una de las
imágenes del par. La figura 7B muestra, a título de ejemplo, las
curvas de parecido en función de la disparidad para cuatro pares. El
píxel de la imagen de referencia está enmascarado en la otra imagen
en el par 4, que hace aparecer unos picos para unas disparidades en
las que las otras curvas no presentan máximo. En este caso,
convendrá separar la curva 4 para encontrar la disparidad correcta
para el píxel enmascarado. Este resultado puede obtenerse en
particular por un voto mayoritario.
Claims (3)
1. Procedimiento de producción de datos
cartográficos en tres dimensiones a partir de n imágenes en
dos dimensiones de la escena, proporcionadas por n sensores
con unos puntos de vista diferentes, siendo n un entero
superior a 2, según el cual:
- a)
- se calibra cada sensor de orden i para estimar los parámetros de los n modelos F_{i}(x,y,z) que definen la relación entre las coordenadas x, y, z de un punto de la escena y las coordenadas (p,q)_{i} de su proyección en la imagen i entre las n imágenes;
- b)
- se ponen en correspondencia cada uno de los n-1 pares de imágenes que comprenden todos una misma imagen de referencia elegida entre las n imágenes, buscando el homólogo de cada píxel o zona de la imagen de referencia a lo largo de la epipolar correspondiente de la otra imagen del par;
- c)
- en cada uno de los n-1 pares de dos imágenes que comprenden cada una una imagen de referencia y para cada píxel o zona de la imagen de referencia, se establece una curva de parecido (curva de variación de un índice de similaridad) en función de la disparidad, a lo largo de la epipolar de la otra imagen;
- d)
- se llevan de nuevo todas las curvas a referencial común, por un modelo por ejemplo afín, para emparejar el mayor número posible de imágenes;
- e)
- se efectúa la suma de las curvas, eliminando eventualmente cada pico situado a una disparidad singular con respecto al de todas las otras curvas y se retiene el pico más elevado de la curva resultante; y
- f)
- se calculan las coordenadas x, y, z a partir de la disparidad del pico retenido y de los parámetros de los n modelos F_{i}(x,y,z).
2. Procedimiento según la reivindicación 1,
caracterizado porque se efectúan varios emparejamientos
tomando diferentes imágenes como referencia.
3. Procedimiento según la reivindicación 1 ó 2,
caracterizado porque se fusionan los resultados de puesta en
correspondencia multipares con la ayuda de una votación mayoritaria,
asignando un coeficiente de ponderación más elevado a los picos que
corresponden a los puntos de vista más distantes de la imagen de
referencia.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9710284A FR2767404B1 (fr) | 1997-08-12 | 1997-08-12 | Procede de production de donnees cartographiques par stereovision |
FR9710284 | 1997-08-12 | ||
US09/132,488 US6175648B1 (en) | 1997-08-12 | 1998-08-11 | Process for producing cartographic data by stereo vision |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2212235T3 true ES2212235T3 (es) | 2004-07-16 |
Family
ID=26233745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES98402025T Expired - Lifetime ES2212235T3 (es) | 1997-08-12 | 1998-08-10 | Procedimiento de produccion de datos cartograficos por estereovision. |
Country Status (5)
Country | Link |
---|---|
US (1) | US6175648B1 (es) |
EP (1) | EP0897163B1 (es) |
CA (1) | CA2245044C (es) |
ES (1) | ES2212235T3 (es) |
FR (1) | FR2767404B1 (es) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6694057B1 (en) * | 1999-01-27 | 2004-02-17 | Washington University | Method and apparatus for processing images with curves |
US6661913B1 (en) * | 1999-05-05 | 2003-12-09 | Microsoft Corporation | System and method for determining structure and motion using multiples sets of images from different projection models for object modeling |
US6714672B1 (en) * | 1999-10-27 | 2004-03-30 | Canon Kabushiki Kaisha | Automated stereo fundus evaluation |
US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
US7224357B2 (en) * | 2000-05-03 | 2007-05-29 | University Of Southern California | Three-dimensional modeling based on photographic images |
CN1308897C (zh) * | 2002-09-15 | 2007-04-04 | 深圳市泛友科技有限公司 | 利用一组二维照片与三维模型库生成新的三维模型的方法 |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
ES2228251B1 (es) * | 2003-05-09 | 2006-02-16 | Universitat Pompeu Fabra | Dispositivo de interfaz natural no invasiva para la interaccion con un sistema informatico y metodo de operacion. |
US7015926B2 (en) * | 2004-06-28 | 2006-03-21 | Microsoft Corporation | System and process for generating a two-layer, 3D representation of a scene |
PL1897056T3 (pl) * | 2005-06-23 | 2017-01-31 | Koninklijke Philips N.V. | Połączona wymiana danych obrazu i powiązanych |
JPWO2008053649A1 (ja) * | 2006-11-02 | 2010-02-25 | コニカミノルタホールディングス株式会社 | 広角画像取得方法及び広角ステレオカメラ装置 |
EP2076055B1 (en) | 2007-12-27 | 2012-10-24 | Saab AB | Method for displaying a virtual image |
US20110050857A1 (en) * | 2009-09-03 | 2011-03-03 | Electronics And Telecommunications Research Institute | Apparatus and method for displaying 3d image in 3d image system |
EP2529358A4 (en) * | 2010-01-26 | 2013-11-20 | Saab Ab | AUTOMATED THREE-DIMENSIONAL CARTOGRAPHY METHOD |
US9536320B1 (en) * | 2014-12-23 | 2017-01-03 | John H. Prince | Multiple coordinated detectors for examination and ranging |
CN109785225B (zh) * | 2017-11-13 | 2023-06-16 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
CN109785390B (zh) * | 2017-11-13 | 2022-04-01 | 虹软科技股份有限公司 | 一种用于图像矫正的方法和装置 |
FR3080937B1 (fr) | 2018-05-03 | 2021-06-04 | Commissariat Energie Atomique | Procede et dispositif de reconnaissance de distance en temps reel |
US11941863B2 (en) * | 2021-08-04 | 2024-03-26 | Datalogic Ip Tech S.R.L. | Imaging system and method using a multi-layer model approach to provide robust object detection |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5179441A (en) * | 1991-12-18 | 1993-01-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Near real-time stereo vision system |
US5383013A (en) * | 1992-09-18 | 1995-01-17 | Nec Research Institute, Inc. | Stereoscopic computer vision system |
FR2700654B1 (fr) * | 1993-01-19 | 1995-02-17 | Thomson Csf | Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques. |
US5911035A (en) * | 1995-04-12 | 1999-06-08 | Tsao; Thomas | Method and apparatus for determining binocular affine disparity and affine invariant distance between two image patterns |
JP3539788B2 (ja) * | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
US5818959A (en) * | 1995-10-04 | 1998-10-06 | Visual Interface, Inc. | Method of producing a three-dimensional image from two-dimensional images |
US6046763A (en) * | 1997-04-11 | 2000-04-04 | Nec Research Institute, Inc. | Maximum flow method for stereo correspondence |
-
1997
- 1997-08-12 FR FR9710284A patent/FR2767404B1/fr not_active Expired - Fee Related
-
1998
- 1998-08-10 EP EP98402025A patent/EP0897163B1/fr not_active Expired - Lifetime
- 1998-08-10 CA CA002245044A patent/CA2245044C/fr not_active Expired - Fee Related
- 1998-08-10 ES ES98402025T patent/ES2212235T3/es not_active Expired - Lifetime
- 1998-08-11 US US09/132,488 patent/US6175648B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0897163B1 (fr) | 2003-12-10 |
FR2767404A1 (fr) | 1999-02-19 |
EP0897163A1 (fr) | 1999-02-17 |
CA2245044C (fr) | 2004-01-20 |
FR2767404B1 (fr) | 1999-10-22 |
CA2245044A1 (fr) | 1999-02-12 |
US6175648B1 (en) | 2001-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2212235T3 (es) | Procedimiento de produccion de datos cartograficos por estereovision. | |
Scaramuzza | Omnidirectional vision: from calibration to root motion estimation | |
Hartley et al. | Relationship between photogrammmetry and computer vision | |
Gupta et al. | Linear pushbroom cameras | |
CN102679959B (zh) | 基于主动全景视觉传感器的全方位三维建模系统 | |
CN107767440A (zh) | 基于三角网内插及约束的文物序列影像精细三维重建方法 | |
CN102435188A (zh) | 一种用于室内环境的单目视觉/惯性全自主导航方法 | |
Ahmadabadian et al. | An automatic 3D reconstruction system for texture-less objects | |
Habib et al. | Linear features in photogrammetry | |
Zhang | A stereovision system for a planetary rover: Calibration, correlation, registration, and fusion | |
Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
Faugeras | A few steps toward artifial 3D vision | |
Fabbri et al. | Multiview differential geometry of curves | |
Viejo et al. | A robust and fast method for 6DoF motion estimation from generalized 3D data | |
Jokinen | Area-based matching for simultaneous registration of multiple 3-D profile maps | |
Szeliski et al. | Structure from motion and SLAM | |
Wu | Photogrammetry: 3-D from imagery | |
Velasco-Sánchez et al. | LiLO: Lightweight and low-bias LiDAR Odometry method based on spherical range image filtering | |
Puig et al. | Hybrid homographies and fundamental matrices mixing uncalibrated omnidirectional and conventional cameras | |
Ramalingam et al. | The light-path less traveled | |
Kang et al. | 3D urban reconstruction from wide area aerial surveillance video | |
Hirzinger et al. | Photo-realistic 3D modelling-From robotics perception to-wards cultural heritage | |
Zhang | Dense point cloud extraction from oblique imagery | |
Canaz et al. | Photogrammetric features for the registration of terrestrial laser scans with minimum overlap | |
BOrlin | Fundamentals of Photogrammetry |