ES2400277B1

ES2400277B1 - Técnicas para reconstrucción estéreo rápida a partir de imágenes

Info

Publication number: ES2400277B1
Application number: ES201190072A
Authority: ES
Inventors: Jianguo Li; Ying Zheng; Qiang Li; Yurong Chen
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2009-05-21
Filing date: 2009-05-21
Publication date: 2014-04-24
Anticipated expiration: 2029-05-21
Also published as: US20120127171A1; GB2482447A; GB2482447B; KR101310589B1; SG175393A1; US9053550B2; GB201118808D0; JP5442111B2; ES2400277A2; US20150348266A1; ES2400277R1; KR20120093063A; WO2010133007A1; JP2012527787A; DE112009005074T5; US9652849B2; DE112009005074T8

Abstract

Se describen técnicas de reconstrucción de imágenes estéreo. Una imagen desde un punto de visión original se traduce en una imagen desde otro punto de visión. Se usa el ajuste por homografía para traducir la imagen entre puntos de visión. Se usa la alineación de imágenes de composición inversa para determinar una matriz de homografía y para determinar un píxel en fa imagen traducida.

Description

Técnicas para reconstrucción estéreo rápida a partir de imágenes.

OBJETO DE LA INVENCIÓN

La materia en cuestión revelada en el presente documento se refiere, en general, a la reconstrucción estéreo por 5 imágenes desde múltiples puntos ventajosos.

ANTECEDENTES DE LA INVENCIÓN

La aplicación de gráficos y de informática visual está creciendo en áreas tales como los juegos tridimensionales (3D), los mundos virtuales, los mundos reflejados (p. ej., Google Tierra) y las interfaces de inmersión del usuario. La reconstrucción estéreo intenta recuperar densas escenas tridimensionales a partir de imágenes de dos o más

10 cámaras colocadas separadamente o, equivalentemente, a partir de imágenes tomadas por la misma cámara pero en distintas posiciones de visualización. En la reconstrucción estéreo, los parámetros de la cámara (internos y externos) se conocen como la calibración de la cámara. Los tradicionales procedimientos de reconstrucción estéreo están sumamente limitados por la precisión o la velocidad de procesamiento. Por consiguiente, hay una creciente demanda de reconstrucción estéreo rápida y precisa.

15 BREVE DESCRIPCIÓN DE LOS DIBUJOS

Las realizaciones de la presente invención se ilustran a modo de ejemplo, y no a modo de limitación, en los dibujos, en los cuales los números iguales de referencia se refieren a elementos similares.

La FIG. 1 ilustra una proyección de parches a un par de imágenes estéreo.

La FIG. 2 ilustra un proceso para la reconstrucción estéreo de un par de imágenes estéreo, según una realización.

20 La FIG. 3 ilustra un proceso de alineación de imágenes de composición inversa (ICIA), según una realización.

La FIG. 4 ilustra un proceso que puede usarse para la reconstrucción estéreo de multivisión, según una realización.

Las FIGs. 5A y 5B ilustran una comparación de resultados de reconstrucción estéreo.

La FIG. 6 ilustra una realización en sistema informático, según una realización.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

25 La referencia, a lo largo de esta memoria descriptiva, a “una realización” significa que un rasgo, estructura o característica particular, descrito con respecto a la realización se incluye en al menos una realización de la presente invención. Así, las apariciones de la expresión “en una realización” o “una realización” en diversos lugares a lo largo de esta memoria descriptiva no están necesariamente refiriéndose todas a la misma realización. Además, los rasgos, estructuras o características particulares pueden combinarse en una o más realizaciones.

30 Las dos soluciones existentes conocidas para la reconstrucción estéreo incluyen (1) la reconstrucción estéreo de asociación estéreo (p. ej., correlación cruzada normalizada (NCC)) y (2) la reconstrucción estéreo basada en la optimización del color o la fotocoherencia. Un ejemplo de la solución (2) se describe en el documento de Y. Furukawa y J. Ponce “Estereopsis de multivisión precisa, densa y robusta”, CVPR (Visión por Ordenador y Reconocimiento de Patrones) (2007) (en adelante, el “procedimiento de Furukawa”).

35 La fotocoherencia mide la similitud de puntos de correspondencia en un par de imágenes estéreo. La fotocoherencia puede definirse sobre regiones cerca de puntos correspondientes, como:

donde A es una región centrada en un punto correspondiente IL e IR se refieren a imágenes izquierdas (originales) y derechas (traducidas),

40 f() es una función métrica que puede ser f(x) = ||x||2, x es una posición puntual de imagen, y I(x) se refiere al valor de gris en el punto x.

ES 2 400 277 A2

La FIG. 1 ilustra una proyección de parches a un par de imágenes estéreo. Lo siguiente es una descripción de los términos en la FIG. 1:

C1 y C2: cámaras

O1 y O2: centro de cámara de dos cámaras (el punto de cruce de los ejes)

b: línea base entre dos cámaras

I1 e I2: imágenes capturadas, respectivamente, por C1 y C2

P: punto tridimensional

P1, P2: proyecciones del punto tridimensional P en el plano de imagen

E1, E2: línea epipolar pasada a P1 y P2

n:: el plano tangente de la superficie del modelo tridimensional en el punto P

n:: el vector normal (dirección) en P del plano tangente

H: transformada de homografía inducida por el plano n

x = P1

T(x): ventana de plantilla en la imagen original

W(x, p): ventana de distorsión por homografía en la imagen traducida

El procedimiento de Furukawa proyecta un parche alrededor del punto tridimensional P, en un par de imágenes estéreo, y calcula una métrica de fotocoherencia de los correspondientes puntos p1, p2 de proyección. Sin embargo, la posición P no es precisa y el procedimiento de Furukawa supone que la posición puede cambiarse a lo largo de una dirección, o dentro de un cubo cerca de la posición P. Existe una medición de fotocoherencia para cada posición, y la posición con la mayor medición de fotocoherencia puede ser el resultado optimizado. La velocidad de cálculo usando el procedimiento de Furukawa puede ser inaceptable a partir de parches tridimensionales de retroproyección en planos de imágenes, y su precisión padece de la tasa de muestreo cerca de la posición original.

Diversas realizaciones proporcionan optimización por fotocoherencia después de un procedimiento tradicional de apareo estéreo basado en NCC para mejorar la precisión del apareo estéreo y la reconstrucción estéreo. Diversas realizaciones que usan el ajuste por homografía convierten la medida de fotocoherencia en una función implícita de coordenadas de píxeles y obtienen un gradiente analítico. La optimización se basa en el ajuste por homografía entre planos de imágenes, lo que tiene un gradiente analítico y puede resolverse eficazmente.

En comparación con el procedimiento basado en el apareo por NCC, la optimización por fotocoherencia de diversas realizaciones que usan el ajuste por homografía puede proporcionar resultados de reconstrucción estéreo mucho más precisos, mediante la optimización de correspondencia.

Diversos procedimientos de optimización del color o la fotocoherencia (p. ej., el procedimiento de Furukawa) utilizan la retroproyección de parches tridimensionales en un plano de imágenes. Sin embargo, la retroproyección de parches tridimensionales en un plano de imágenes es muy intensa en términos informáticos y en consumo de tiempo. Por consiguiente, diversas realizaciones proporcionan un tiempo de cálculo reducido en comparación con al menos el procedimiento de Furukawa.

La FIG. 2 ilustra un proceso para la reconstrucción estéreo de un par de imágenes estéreo, según una realización. El bloque 202 incluye recibir un par de imágenes estéreo de entrada. El par de imágenes estéreo puede ser proporcionado por una o más cámaras digitales, o una cámara estéreo, a un sistema informático, a través de una interfaz de entrada / salida. El par de imágenes estéreo de entrada tiene el mismo formato que una imagen general. Por ejemplo, cada imagen es un rectángulo bidimensional que usa (x, y) como coordenadas para indizar píxeles de valores de grises o de colores.

El bloque 204 incluye la rectificación del par de imágenes estéreo de entrada, de modo tal que sus líneas epipolares se dispongan como horizontales o verticales.

El bloque 206 incluye la aplicación de procedimientos de apareo estéreo sobre el par rectificado de imágenes estéreo de entrada. Por ejemplo, el bloque 206 puede incluir la aplicación de la correlación cruzada normalizada

ES 2 400 277 A2

(NCC) para establecer las correspondencias iniciales entre píxeles provenientes de este par de imágenes estéreo. Una unidad de procesamiento de gráficos (GPU) de un sistema informático puede realizar la rectificación de pares de imágenes y el apareo estéreo.

El bloque 208 incluye, para cada píxel en la imagen original, el uso del ajuste homográfico para optimizar la

5 fotocoherencia entre un píxel en la imagen original y el correspondiente píxel en la imagen traducida. Por ejemplo, la imagen original es la imagen izquierda en la FIG. 1, mientras que la imagen traducida es la imagen derecha en la FIG. 1. Una unidad central de procesamiento de un sistema informático puede realizar el ajuste homográfico.

El bloque 210 incluye la triangulación de puntos de correspondencia optimizados para obtener una escena tridimensional a partir de un punto de visualización individual. Técnicas adecuadas para realizar los bloques 202,

10 204, 206 y 210 se describen, por ejemplo, en el documento de H. Hirschmfuller et al., “Visión Estéreo basada en correlación en tiempo real con errores de frontera reducidos”, páginas 229 a 246, Vol. 47, IJCV (Revista Internacional de la Visión por Ordenador) 2002. Una GPU de un sistema informático puede realizar la triangulación de puntos de correspondencia para obtener una vista tridimensional desde un punto de visualización individual.

El procedimiento informático de la reconstrucción estéreo en el proceso de la FIG. 2 puede ejecutarse en una unidad

15 central de procesamiento (CPU) o una unidad de procesamiento de gráficos (GPU). En general, la parte más compleja en cálculo del apareo estéreo tiene un paralelismo masivo al nivel de datos, lo que puede acelerarse usando el procesamiento vectorial o la capacidad de procesamiento de multihebras de una GPU. El ajuste por homografía es un procedimiento de actualización secuencial, que puede ejecutarse en una CPU.

Lo siguiente describe un proceso ejemplar realizado en el bloque 208. La homografía es la correlación entre dos

20 conjuntos de puntos correspondientes a los mismos conjuntos de puntos tridimensionales, pero vistos desde cámaras distintas. La homografía se usa como una transformación para relacionar dos conjuntos de puntos correspondientes en dos planos de imágenes. Con referencia a la FIG. 1, dado un punto P1 en un plano de imágenes original, una homografía H, inducida por un plano tangente n (n es el vector normal del plano tangente), se usa para hallar el correspondiente punto P2 en el plano de imágenes traducido. En otras palabras, la homografía H transfiere

25 P1 a P2 mediante el plano tangente n. El plano n es un plano tangente de la superficie del objeto en el correspondiente punto tridimensional P.

Diversas realizaciones aplican el ajuste por homografía de dos regiones con respecto a parámetros de homografía en la optimización de la fotocoherencia. Con referencia a la FIG. 1, para cada píxel P1 en la imagen original, se coloca una ventana T(x) de dimensiones m x m, centrada en el píxel P1, donde x indica las coordenadas de imagen

30 de los píxeles en la ventana original T(x). El píxel correspondiente de x en la imagen traducida se indica como W (x;p) = H(p).x, donde H(p) es la transformada de homografía. En diversas realizaciones, H(p) es una matriz de 3x3, dada por parámetros internos externos de una cámara estéreo, y p es un parámetro de 3 elementos, relacionado con la profundidad y el vector normal del correspondiente punto tridimensional. Pueden usarse otros tipos de transformadas de homografía.

35 La transformada de homografía puede representarse como:

H(p) = Kl * (R – tpT)Kr-1,

donde Kl y Kr son las matrices intrínsecas de las respectivas cámaras izquierda y derecha,

R es la matriz de rotación entre las dos cámaras,

t es el vector de traducción entre las dos cámaras,

40 p = n / d, donde n es el vector normal del plano n y d es la distancia desde el centro de la cámara izquierda al plano

n.

La fotocoherencia entre un píxel x en la imagen original y la ventana de distorsión, W(x;p), de la imagen traducida, I, se define como:

45 T(x) es una ventana de plantilla en la imagen original,

I es una imagen traducida, y

W(x;p) es una ventana de distorsión por homografía en la imagen traducida.

ES 2 400 277 A2

La fotocoherencia es una función implícita y no lineal del parámetro p de homografía. En diversas realizaciones, para mejorar la fotocoherencia, se usa un proceso de alineación de imágenes de composición inversa (ICIA). El proceso de ICIA se modifica para proporcionar una matriz H(p) de homografía optimizada y un correspondiente píxel optimizado en la imagen traducida. Por ejemplo, un proceso adecuado de ICIA se describe en el documento de S. Baker, I. Matthews, Lucas-Kanade “20 años después: un entorno unificador”, IJCV (2004). Un proceso ejemplar de ICIA para el ajuste por homografía se describe con respecto al proceso 300 de la FIG. 3.

El bloque 302 incluye recibir el punto x = (u, v, 1) de píxel, así como parámetros de pares de cámaras y un valor inicial de un parámetro, p, de homografía. Los parámetros pueden incluir la matriz K intrínseca de la cámara, y elementos extrínsecos (p. ej., la matriz R de rotación y el vector t de traducción) y un valor inicial de un parámetro de homografía, p (definido anteriormente). El parámetro p puede inicializarse por un procedimiento tradicional basado en la NCC, según su definición p = n / d.

El bloque 304 incluye la determinación de la matriz Hessiana para la imagen traducida. Por ejemplo, el bloque 304 puede incluir: (1) evaluar el gradiente VT de la ventana original T(x); (2) evaluar el Jacobiano para la imagen derecha W relacionada con p en (x; p0), donde el Jacobiano se expresa como VJ = OW/Op; y (3) determinar la matriz Hessiana

de W con respecto a p. La matriz Hessiana puede expresarse como Hessiana corresponde a una matriz de homografía mejorada.

El bloque 306 incluye determinar un píxel en la imagen traducida W(x;p). Por ejemplo, el bloque 306 puede incluir (1) determinar I(W(x;p)) distorsionando la imagen traducida I con W(x;p); (2) determinar la imagen de error I(W(x;p)) – T(x); (3) calcular el paso incremental

; y (4) actualizar la distorsión W(x;p) determinando W(x;p) = W(x;p) * W(x;Lp)-1. Los elementos (1) a (4) del bloque 306 se repiten hasta que un valor absoluto del paso incremental, |Lp|, sea menor que un valor límite. Por ejemplo, el valor límite puede ser, aproximadamente, 0,00001.

matriz de homografía optimizada, . La matriz H(p) de homografía optimizada puede usarse para determinar un correspondiente píxel en la imagen traducida W(x;p)*[u,v,l]T.

Las técnicas de ajuste por homografía estéreo descritas con respecto a la FIG. 2 pueden extenderse para su aplicación a la reconstrucción estéreo de multivisión. El estéreo multivisión puede verse como la combinación de resultados a partir de múltiples pares estéreo. La FIG. 4 ilustra un proceso que puede usarse para una reconstrucción estéreo de multivisión, según una realización. El bloque 402 recibe múltiples escenas tridimensionales desde distintas vistas estéreo. En un ejemplo, hay tres vistas, a saber, las vistas C1, C2 y C3. Los pares estéreo binoculares pueden ser de las vistas C1-C2, C2-C3 y C1-C3.

El bloque 404 realiza la homografía estéreo y la alineación e integración de multivisión para cada par estéreo. Para cada par estéreo, se aplica la homografía estéreo descrita con respecto a las FIG. 2 y 3. La correspondencia optimizada por ajuste de homografía puede definirse como (x1,x2=w(x1)). Después de que se ha obtenido el par optimizado (x1,x2=w(x1)), el par puede triangularse con los parámetros conocidos de cámara, según el procedimiento descrito, por ejemplo, en el documento de R. Hartley y A. Zisserman, “Geometría de múltiples vistas en la visión por ordenador”, Capítulo 12, Cambridge Press, Segunda Versión (2003). La triangulación puede producir un punto tridimensional X12 a partir de la correspondencia proveniente de cada par estéreo, X12 = triangular (x1, x2).

Supongamos que X12 es el resultado triangulado por C1-C2, X23 es el resultado por C2-C3 y X13 es el resultado por C1-C3, y que X12, X13 y X23 corresponden al mismo punto tridimensional. Un punto tridimensional X es una función de X12, X13 y X23, esto es, X = f(X12, X13, X23), donde f() es una función de alineación e integración de multivisión, y X12, X13 y X23 son todos puntos tridimensionales en coordenadas mundiales. En algunas realizaciones, la técnica de alineación e integración de multivisión puede ser una función promedio o función del mejor ajuste, aunque pueden usarse otras funciones.

Por ejemplo, si f() se define como la función promedio, entonces el punto tridimensional está dado por: X = (X12 + X13

+ X23) / 3.

Si f() se define como la función del mejor ajuste, se escoge el punto tridimensional para el cual (1) el vector normalizado ni es casi vertical al plano de la cámara, o bien (2) nij tiene el ángulo más pequeño en la dirección PO. Por tanto, f() se define como una función de selección: X = Xi, donde

ES 2 400 277 A2

Ángulo (POi, ni).

El bloque 406 proporciona una escena tridimensional en base a puntos de multivisión. Los puntos tridimensionales determinados como X en el bloque 404 forman una escena tridimensional.

5 La FIG. 5A ilustra los resultados de la reconstrucción estéreo sobre el conjunto estándar de evaluación estéreo Middlebury, descrito, por ejemplo, en http://vision.middlebury.edu/. La FIG. 5B ilustra un resultado de técnicas que usan la optimización de fotocoherencia basada en el ajuste por homografía. Puede verse que las técnicas que usan la optimización de fotocoherencia basada en el ajuste por homografía superan al procedimiento tradicional basado en apareo de NCC significativamente, al menos en términos de claridad de imagen.

10 Las técnicas que usan optimización de fotocoherencia basada en el ajuste por homografía proporcionan resultados similares a los del procedimiento de Furukawa, pero acaban más rápidamente. La Tabla 1 muestra el tiempo de ejecución de estos dos procedimientos para la tarea de reconstrucción estéreo.

Tabla 1. Comparación de prestaciones de tiempo de ejecución

Procedimiento: Número de parches correspondientes optimizados Tiempo

Técnicas que usan optimización de fotocoherencia basada en ajuste por homografía: �958K 2 s

Procedimiento de Furukawa: �972K 158 s

15 La FIG. 6 ilustra un diagrama en bloques del sistema informático 600, según una realización de la presente invención. El sistema informático 600 puede incluir el sistema anfitrión 602, el bus 616 y la interfaz 620 de red. El sistema informático 600 puede implementarse en un ordenador personal de mano, un teléfono móvil, un equipo de sobremesa o cualquier dispositivo informático. El sistema anfitrión 602 puede incluir el grupo 605 de chips, el procesador 610, la memoria 612 del anfitrión, el almacén 614 y el subsistema 615 de gráficos. El grupo 605 de chips

20 puede proporcionar intercomunicación entre el procesador 610, la memoria 612 del anfitrión, el almacén 614, el subsistema 615 de gráficos y el bus 616. Por ejemplo, el grupo 605 de chips puede incluir un adaptador de almacenamiento (no ilustrado) capaz de proporcionar intercomunicación con el almacén 614. Por ejemplo, el adaptador de almacenamiento puede ser capaz de comunicarse con el almacén 614 de acuerdo a cualquiera de los siguientes protocolos: Interfaz de Pequeños Sistemas Informáticos (SCSI), Canal de Fibra (FC) y / o Anexo de

25 Tecnología Avanzada en Serie (S-ATA).

En algunas realizaciones, el grupo 605 de chips puede incluir lógica de desplazamiento de datos capaz de realizar transferencias de información dentro de la memoria 612 del anfitrión, o entre la interfaz 620 de red y la memoria 612 del anfitrión o, en general, entre cualquier conjunto de componentes en el sistema informático 600.

El procesador 610 puede implementarse como procesadores de un Ordenador de Grupo Complejo de Instrucciones

30 (CISC) o de un Ordenador de Grupo Reducido de Instrucciones (RISC), multinúcleos, o como cualquier otro microprocesador o unidad central de procesamiento.

La memoria 612 del anfitrión puede implementarse como un dispositivo de memoria volátil, tal como, pero no limitado a, una Memoria de Acceso Aleatorio (RAM), una Memoria Dinámica de Acceso Aleatorio (DRAM) o una Memoria RAM Estática (SRAM). El almacén 614 puede implementarse como un dispositivo de almacenamiento no volátil, tal

35 como, pero no limitado a, un controlador de disco magnético, un controlador de disco óptico, un controlador de cinta, un dispositivo de almacenamiento interno, un dispositivo de almacenamiento adosado, una memoria flash, una memoria SDRAM con resguardo de batería (DRAM sincrónico) y / o un dispositivo de almacenamiento accesible por red.

El subsistema 615 de gráficos puede realizar el procesamiento de imágenes tales como las fijas, o las de vídeo,

40 para su visualización. Por ejemplo, el subsistema 615 de gráficos puede realizar la codificación o descodificación de vídeo. Por ejemplo, el subsistema 615 de gráficos puede realizar actividades de una unidad de procesamiento de gráficos, descrita con respecto a actividades cualesquiera, descritas con respecto a las FIGs. 2 a 4. Puede usarse una interfaz analógica o digital para acoplar comunicativamente el subsistema 615 de gráficos y el visor

622. Por ejemplo, la interfaz puede ser cualquiera entre una Interfaz de Multimedios de Alta Definición, un

45 DisplayPort, una HDMI (Interfaz de Multimedios de Alta Definición) inalámbrica y / o técnicas conformes con la Alta Definición inalámbrica. El subsistema 615 de gráficos podría integrarse en el procesador 610 o el grupo 605

ES 2 400 277 A2

de chips. El subsistema 615 de gráficos podría ser una tarjeta autónoma acoplada comunicativamente con el grupo 605 de chips.

El bus 616 puede proporcionar intercomunicación entre al menos el sistema anfitrión 602 y la interfaz 620 de red, así como otros dispositivos periféricos (no ilustrados). El bus 616 puede dar soporte a comunicaciones en serie o en paralelo. El bus 616 puede dar soporte a comunicaciones de nodo a nodo o de nodo a múltiples nodos. El bus 616 puede, al menos, ser compatible con la Interconexión de Componentes Periféricos (PCI) descrita, por ejemplo, en la Especificación de Bus Local de la Interconexión de Componentes Periféricos (PCI), Revisión 3.0, 2 de febrero de 2004, disponible en el Grupo de Interés Especial de la PCI, Portland, Oregon, EE UU (así como las revisiones de la misma); la PCI Exprés descrita en la Especificación Básica de PCI Exprés del Grupo de Interés Especial de la PCI, Revisión 1.0a (así como revisiones de la misma); la PCI-x descrita en la Especificación de PCI-x, Revisión 1,1, 28 de marzo de 2005, disponible en el precitado Grupo de Interés Especial en la PCI, Portland, Oregon, EE UU (así como revisiones de la misma); y / o el Bus Universal en Serie (USB) (y estándares afines), así como otros estándares de interconexión.

La interfaz 620 de red puede ser capaz de proporcionar intercomunicación entre el sistema anfitrión 602 y una red conforme a protocolos aplicables cualesquiera, tales como técnicas cableadas o inalámbricas. Por ejemplo, la interfaz de red puede ser conforme a cualquier variedad de IEEE 802.3, 802.11 u 802.16. La interfaz 620 de red puede intercomunicarse con el sistema anfitrión 602 usando el bus 616. En una realización, la interfaz 620 de red puede integrarse al grupo 605 de chips.

Las técnicas de procesamiento de gráficos y / o vídeo descritas en el presente documento pueden implementarse en diversas arquitecturas de hardware. Por ejemplo, la funcionalidad de gráficos y / o vídeo puede integrarse dentro de un grupo de chips. Alternativamente, puede usarse un procesador discreto de gráficos y / o vídeo. Como otra realización adicional, las funciones de gráficos y / o vídeo pueden ser implementadas por un procesador de propósito general, incluyendo un procesador multinúcleos. En una realización adicional, las funciones pueden implementarse en un dispositivo de electrónica de consumo.

Las realizaciones de la presente invención pueden proporcionarse, por ejemplo, como un producto de programa de ordenador que puede incluir uno o más medios legibles por máquina, con instrucciones ejecutables por máquina almacenadas en los mismos que, cuando son ejecutadas por una o más máquinas, tales como un ordenador, una red de ordenadores, u otros dispositivos electrónicos, pueden dar como resultado que una o más de las máquinas lleven a cabo operaciones de acuerdo a las realizaciones de la presente invención. Un medio legible por máquina puede incluir, pero no se limita a, disquetes flexibles, discos ópticos, CD-ROM (Memorias de Sólo Lectura – Disco Compacto) y discos magneto-ópticos, memorias ROM (Memorias de Sólo Lectura), memorias RAM (Memorias de Acceso Aleatorio), memorias EPROM (Memorias de Sólo Lectura Borrables y Programables), memorias EEPROM (Memorias de Sólo Lectura Programables y Eléctricamente Borrables), tarjetas magnéticas u ópticas, memoria flash u otro tipo de medios, o medio legible por máquina, adecuados para almacenar instrucciones ejecutables por máquina.

Los dibujos y la descripción precedentes dieron ejemplos de la presente invención. Aunque se ilustra como un cierto número de elementos funcionales diversos, los expertos en la técnica apreciarán que uno o más de tales elementos bien pueden combinarse en elementos funcionales individuales. Alternativamente, ciertos elementos pueden dividirse en múltiples elementos funcionales. Los elementos de una realización pueden añadirse a otra realización. Por ejemplo, los ordenamientos de los procesos descritos en el presente documento pueden cambiarse, y no se limitan a la forma descrita en el presente documento. Además, las acciones de cualquier diagrama de flujo no necesariamente deben implementarse en el orden mostrado; tampoco es necesario que se lleven a cabo todas las acciones. Además, aquellas acciones que no dependen de otras acciones pueden efectuarse en paralelo con las otras acciones. El alcance de la presente invención, sin embargo, no está limitado en modo alguno por estos ejemplos específicos. Son posibles numerosas variaciones, ya sea que se den o no explícitamente en la memoria descriptiva, tales como diferencias en la estructura, la dimensión y el uso del material. El alcance de la invención es al menos tan amplio como el dado por las siguientes reivindicaciones.

ES 2 400 277 A2

Claims

REIVINDICACIONES

1. Un procedimiento implementado por ordenador, caracterizado porque comprende: realizar el apareo estéreo sobre un par de imágenes; rectificar el par de imágenes de modo tal que las líneas epipolares se dispongan bien como horizontales o bien como

verticales; aplicar el apareo estéreo al par de imágenes rectificadas; generar un píxel traducido a partir de un píxel original, en donde la generación comprende aplicar una transformación

matricial de homografía al píxel original; triangular puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.
2.

El procedimiento de la reivindicación 1, caracterizado porque la aplicación del apareo estéreo comprende aplicar la correlación cruzada normalizada (NCC).
3.

El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente:

generar una transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA).
4.

El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente: generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida, como una

función implícita de la transformación matricial de homografía; y mejorar la fotocoherencia de la ventana de distorsión.
5.

El procedimiento de la reivindicación 1, caracterizado porque la generación de un píxel traducido a partir de un píxel original comprende: usar ajuste por homografía para mejorar la fotocoherencia entre el píxel original y el píxel traducido.
6.

El procedimiento de la reivindicación 1, caracterizado porque la matriz de homografía comprende:

H(p) = Kl * (R – tpT)Kr-1 ,

donde Kl y Kr son las matrices intrínsecas de las respectivas cámaras izquierda y derecha,

R es la matriz de rotación entre las dos cámaras,

t es el vector de traducción entre las dos cámaras, y

p = n / d, donde n es el vector normal del plano n y d es la distancia desde el centro de la cámara izquierda al plano n.
7.

El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente generar una escena tridimensional a partir de múltiples pares de imágenes estéreo.
8.

Un medio legible por ordenador caracterizado porque almacena instrucciones que, cuando son ejecutadas por un ordenador, causan que el ordenador: realice el apareo estéreo sobre un par de imágenes; rectifique el par de imágenes;

aplique el apareo estéreo al par de imágenes rectificadas; genere un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una transformación matricial de homografía al píxel original;

triangule puntos de correspondencia para generar una escena tridimensional; y proporcione la escena tridimensional para su exhibición.

ES 2 400 277 A2
9.

El medio legible por ordenador de la reivindicación 8, caracterizado porque, para aplicar el apareo estéreo, el ordenador ha de aplicar la correlación cruzada normalizada (NCC).
10.

El medio legible por ordenador de la reivindicación 8, caracterizado porque comprende adicionalmente instrucciones que, cuando son ejecutadas por el ordenador, causan que el ordenador:

genere la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA).
11.

El medio legible por ordenador de la reivindicación 8, caracterizado porque comprende adicionalmente instrucciones que, cuando son ejecutadas por el ordenador, causan que el ordenador:

genere una transformación matricial de homografía; defina la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una función implícita de la transformación matricial de homografía; y

mejore la fotocoherencia de la ventana de distorsión.
12.

El medio legible por ordenador de la reivindicación 8, caracterizado porque para generar un píxel traducido a partir de un píxel original, el ordenador ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.
13.

El medio legible por ordenador de la reivindicación 8, caracterizado porque la matriz de homografía comprende:

H(p) = Kl * (R – tpT)Kr-1 ,

donde Kl y Kr son las matrices intrínsecas de las respectivas cámaras izquierda y derecha,

R es la matriz de rotación entre las dos cámaras, t es el vector de traducción entre las dos cámaras, y p = n / d, donde n es el vector normal del plano n y d es la distancia desde el centro de la cámara izquierda al plano n.
14.

Un aparato caracterizado porque comprende: un procesador configurado para: generar un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una

transformación matricial de homografía al píxel original; triangular puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.
15.

El aparato de la reivindicación 14, caracterizado porque el procesador es al menos uno entre un procesador multinúcleos y una unidad de procesamiento de gráficos.
16.

El aparato de la reivindicación 14, caracterizado porque el procesador ha de:

generar la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA).
17.

El aparato de la reivindicación 14, caracterizado porque, para aplicar una matriz de homografía, el procesador ha de:

generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una función implícita de la transformación matricial de homografía; y

mejorar la fotocoherencia de la ventana de distorsión.
18.

El aparato de la reivindicación 14, caracterizado porque, para generar un píxel traducido a partir de un píxel original, el ordenador ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.
19.

Un sistema caracterizado porque comprende: un dispositivo visor y

ES 2 400 277 A2

un sistema informático, en donde el sistema informático está acoplado comunicativamente con el dispositivo visor, y

en donde el sistema informático ha de: generar un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una transformación matricial de homografía al píxel original;

5 triangular los puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.
20. El sistema de la reivindicación 19, caracterizado porque el sistema informático ha de: generar la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA).

10 21. El sistema de la reivindicación 19, caracterizado porque, para aplicar una matriz de homografía, el procesador ha de: generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una

función implícita de la transformación matricial de homografía; y 15 mejorar la fotocoherencia de la ventana de distorsión.
22. El sistema de la reivindicación 19, caracterizado porque, para generar un píxel traducido a partir de un píxel original, el sistema informático ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.

RECIBIR PAR DE IMÁGENES ESTÉREO DE ENTRADA

REALIZAR RECTIFICACIÓN DEL PAR DE IMÁGENES

REALIZAR APAREO ESTÉREO

REALIZAR AJUSTE POR HOMOGRAFÍA PARA MEJORAR LA FOTOCOHERENCIA ENTRE EL PÍXEL EN LA IMAGEN ORIGINAL Y EL PÍXEL EN LA IMAGEN TRADUCIDA

TRIANGULAR PUNTOS DE CORRESPONDENCIA PARA OBTENER ESCENA TRIDIMENSIONAL A PARTIR DE UN PUNTO DE VISIÓN INDIVIDUAL

FIG. 2

RECIBIR PUNTO DE PÍXEL, PARÁMETROS DE PARES DE CÁMARAS Y EL VALOR INICIAL DEL PARÁMETRO DE HOMOGRAFÍA

DETERMINAR MATRIZ HESSIANA DE IMAGEN TRADUCIDA

DETERMINAR PÍXEL EN IMAGEN TRADUCIDA

FIG. 3

RECIBIR MÚLTIPLES ESCENAS TRIDIMENSIONALES DESDE DISTINTAS VISTAS ESTÉREO

REALIZAR HOMOGRAFÍA ESTÉREO Y ALINEACIÓN E INTEGRACIÓN DE MULTIVISIÓN

PROPORCIONAR ESCENA TRIDIMENSIONAL A PARTIR DE MÚLTIPLES PUNTOS DE VISIÓN

FIG. 4

FIG. 6