ES2402229T3 - Método y dispositivo de fusión de imágenes - Google Patents

Método y dispositivo de fusión de imágenes Download PDF

Info

Publication number
ES2402229T3
ES2402229T3 ES09812625T ES09812625T ES2402229T3 ES 2402229 T3 ES2402229 T3 ES 2402229T3 ES 09812625 T ES09812625 T ES 09812625T ES 09812625 T ES09812625 T ES 09812625T ES 2402229 T3 ES2402229 T3 ES 2402229T3
Authority
ES
Spain
Prior art keywords
image
images
parallax
depth
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES09812625T
Other languages
English (en)
Inventor
Kai Li
Yuan Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Application granted granted Critical
Publication of ES2402229T3 publication Critical patent/ES2402229T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Un método de fusión de imágenes, que comprende: laUn método de fusión de imágenes, que comprende: la obtención de dos imágenes entre las que existe un obtención de dos imágenes entre las que existe una zona de solapamiento; la búsqueda de la zona de a zona de solapamiento; la búsqueda de la zona de solapamiento de las dos imágenes; la obtención de solapamiento de las dos imágenes; la obtención de una imagen de profundidad de la zona de solapamienuna imagen de profundidad de la zona de solapamiento yla fusión de las dos imágenes en una sola imagto yla fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad,caren en conformidad con la imagen de profundidad,caracterizado porque: la etapa de fusión de las dos iacterizado porque: la etapa de fusión de las dos imágenes en una sola imagen, en conformidad con la mágenes en una sola imagen, en conformidad con la imagen deprofundidad, comprende: el cálculo de unaimagen deprofundidad, comprende: el cálculo de una matriz homográfica entre las dos imágenes; la pro matriz homográfica entre las dos imágenes; la proyección de una primera imagen sobre un sistema de yección de una primera imagen sobre un sistema de coordenadas objetivo en conformidad con una relacicoordenadas objetivo en conformidad con una relación deproyección entre la primera imagen y la matrión deproyección entre la primera imagen y la matriz homográfica; el cálculo de un paralaje entre píxz homográfica; el cálculo de un paralaje entre píxels correspondientes de las dos imágenes en la zonels correspondientes de las dos imágenes en la zona de solapamiento en conformidadcon la imagen de pa de solapamiento en conformidadcon la imagen de profundidad; la eliminación de puntos de píxel de urofundidad; la eliminación de puntos de píxel de una segunda imagen si el paralaje se sitúa en el inna segunda imagen si el paralaje se sitúa en el interior de una margen de paralajepreestablecido; laterior de una margen de paralajepreestablecido; la proyección de puntos de píxel de la segunda image proyección de puntos de píxel de la segunda imagen, en la zona de solapamiento, sobre coordenadas dn, en la zona de solapamiento, sobre coordenadas de puntos depíxels correspondientes de la primera ie puntos depíxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si emagen, en el sistema de coordenadas objetivo, si el paralaje supera el margen deparalaje preestablecl paralaje supera el margen deparalaje preestablecido y la proyección de píxels de la segunda imagenido y la proyección de píxels de la segunda imagen, exteriores a la zona de solapamiento, sobre el s, exteriores a la zona de solapamiento, sobre el sistema de coordenadasobjetivo, en conformidad con istema de coordenadasobjetivo, en conformidad con una relación de proyección entre la segunda imagenuna relación de proyección entre la segunda imagen y la matriz homográfica. y la matriz homográfica.

Description

Método y dispositivo de fusión de imágenes
CAMPO DE LA INVENCIÓN
La presente invención se refiere a una tecnología de procesamiento de imágenes y en particular, a un método y aparato de fusión de imágenes.
ANTECEDENTES DE LA INVENCIÓN
Utilizando un sistema de reflexión / refracción y dispositivos de hardware, tales como lentes de distorsión, ‘ojo de pez’, se pueden establecer directamente imágenes de visión amplia sin discontinuidades. Sin embargo, dichos dispositivos de hardware capturan tanta información como sea posible en un plano de generación de imágenes limitado y en consecuencia, las imágenes de visión amplia, sin discontinuidades, sufren una distorsión importante.
Un dispositivo de creación de imágenes digitales fotografía imágenes en un formato digital. Múltiples imágenes digitales se fusionan juntas para formar una imagen panorámica digital de visión amplia. La imagen panorámica digital final implica poca distorsión. Las tecnologías de fusión de imágenes predominantes son como sigue:
(1)
Múltiples imágenes se obtienen fotografiando desde diferentes direcciones de visión en un punto de vista fijo y luego, se calcula la relación de proyección punto a punto (también conocida como homografía) entre las imágenes y la relación se refleja principalmente como panorámica, inclinada, afín y de transformación de proyección. Más adelante, todas las imágenes se proyectan sobre un sistema de coordenadas uniforme en función de la relación de proyección y se fusionan en una imagen de visión amplia o en una imagen de 360 grados; por último, las discontinuidades en la zona de solapamiento formada en el proceso de fusión de imágenes se eliminan utilizando una función de alisado gráfico.
Este método de fusión de imágenes se suele aplicar a la itinerancia virtual en Internet. Quienes visiten un sitio web pueden explorar las imágenes panorámicas de objetos tal como se presentan en el mundo real. Sin embargo, en este método de fusión, solamente las imágenes obtenidas mediante fotografías en un punto de vista fijo tienen sentido. Todas las imágenes han de obtenerse fotografiando en la misma posición estática. De no ser así, la imagen fusionada tiene imágenes fantasma debido al paralaje y la zona de fusión no es natural. En la práctica, resulta difícil obtener imágenes fotografiando en la misma posición estática, esto es, difícil girar la cámara alrededor del centro óptico para hacer coincidir los centros ópticos de todas las imágenes.
(2)
Después de que las imágenes se obtengan desde diferentes puntos de vista, algunos puntos intermedios continuos, entre los puntos de vista, se utilizan como nuevos puntos de vista para reconstruir imágenes y luego, se encuentra la zona de solapamiento entre la imagen antigua y la imagen reconstruida y las imágenes son objeto de fusión en conformidad con la zona de solapamiento.
El método para utilizar puntos intermedios como puntos de vista para reconstruir imágenes puede eliminar los ‘fantasmas’ de la imagen fusionada, que tiene dichos ‘fantasmas’ causados por el paralaje entre dos puntos de vista. Sin embargo, si el paralaje de las imágenes originales es demasiado grande, necesitan generarse numerosas imágenes de puntos intermedios para eliminar los ‘fantasmas’ de la imagen fusionada y se requieren cálculos de gran magnitud. Cuando se fusionan imágenes de más de dos puntos de vista, se generan demasiadas imágenes de puntos intermedios y la fusión de imágenes requiere demasiado tiempo.
(3)
La longitud focal de la cámara, las coordenadas de puntos principales, el factor de distorsión, el ángulo de rotación y la posición de rotación se obtienen mediante la calibración de la cámara, con el fin de calcular la relación de proyección para las imágenes obtenidas por la cámara.
El tercer método anterior implica la calibración de la cámara, lo que es difícil en el campo de la informática. Asimismo, en este método, necesitan establecerse los fondos de las imágenes obtenidas como un fondo único para ignorar el paralaje de los fondos en la compensación del paralaje.
El documento de POLLEFEYS M ET AL: “Reconstrucción en 3D urbana en tiempo real detallada a partir de señales de vídeo” (International Journal of Computer Vision, Kluwer Academic Publisher, BO, vol. 78, nº 2- 3, 20 octubre 2007 (200710-20), páginas 143-167, XP019581883, ISSN: 1573-1450) da a conocer un sistema para la reconstrucción en 3D en tiempo real, geo-registrada, automática a partir de señales de vídeo de escenas urbanas. El sistema recoge flujos continuos de señales de vídeo así como mediciones de GPS con el fin de colocar el modelo reconstruido en coordenadas geo-registradas y utiliza el estado actual de los módulos en tiempo real para la etapa de procesamiento y diseña el sistema y las etapas de los conductos de procesamiento.
SUMARIO DE LA INVENCIÓN
Las formas de realización de la presente invención proporcionan un método y aparato de fusión de imágenes para
eliminar los ‘fantasmas’ de la imagen fusionada, sin imponer estrictas restricciones sobre el escenario operativo de aplicación. El problema técnico objetivo se resuelve por las reivindicaciones del método contenidas en la reivindicación 1 y sus reivindicaciones subordinadas, por la reivindicación del dispositivo de la reivindicación 5 y sus reivindicaciones subordinadas.
Utilizando el método y aparato, en el proceso de fusión de dos imágenes, la zona de solapamiento entre las imágenes se encuentra primero y luego, se obtiene una imagen de profundidad de la zona de solapamiento. La imagen de profundidad refleja la distancia desde cada punto de píxel a la cámara, con precisión. Si los fondos fotográficos de las imágenes no son un fondo único, la información en las imágenes genera paralaje debido a las diferentes distancias a la cámara y los píxel en las imágenes se sitúan en diferentes capas. El método y aparato dados a conocer en la presente invención pueden calcular el paralaje entre las capas, de forma precisa, utilizando la imagen de profundidad y los píxels de la zona de solapamiento se pueden procesar, con precisión, en el proceso de fusión de imágenes para eliminar los ‘fantasmas’ de la imagen fusionada. Por lo tanto, el método y aparato aquí dados a conocer pueden eliminar los ‘fantasmas’ de la imagen fusionada, sin necesidad de imponer estrictas restricciones sobre el entorno operativo de aplicación.
Asimismo, el proceso de fusión, según la presente invención, implica solamente dos imágenes y una imagen de profundidad de la zona de solapamiento y no implica un nuevo cálculo de las imágenes de los puntos de vista intermedios, con lo que se reduce, en gran medida, la carga de cálculo.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Para ilustrar la solución técnica bajo la presente invención o la técnica anterior, con mayor claridad, a continuación se describen los dibujos adjuntos implicados en la descripción de las formas de realización de la presente invención o de la técnica anterior. Evidentemente, los dibujos adjuntos, descritos a continuación, son a modo de ejemplo solamente y no exhaustivos. Los expertos en esta materia pueden derivar otros dibujos a partir de dichos dibujos adjuntos, sin necesidad de un gran esfuerzo creativo.
La Figura 1 es un diagrama de flujo de un método de fusión de imágenes según la primera forma de realización de la presente invención;
La Figura 2 representa una estructura de un aparato de fusión de imágenes según la primera forma de realización de la presente invención;
La Figura 3 es un diagrama de flujo de un método de fusión de imágenes según la segunda forma de realización de la presente invención;
La Figura 4 representa una relación geométrica entre profundidad y paralaje según la segunda forma de realización de la presente invención;
La Figura 5 representa una estructura de un aparato de fusión de imágenes, según la segunda forma de realización de la presente invención,
La Figura 6 representa una estructura de una segunda unidad de obtención según la segunda forma de realización de la presente invención;
La Figura 7 es un diagrama de flujo de un método de fusión de imágenes según la tercera forma de realización de la presente invención y
La Figura 8 representa una estructura de un aparato de fusión de imágenes según la tercera forma de realización de la presente invención.
DESCRIPCIÓN DETALLADA DE LAS FORMAS DE REALIZACIÓN DE LA INVENCIÓN
La solución técnica, bajo la presente invención, se describe en detalle haciendo referencia a las formas de realización y a los dibujos adjuntos. Evidentemente, estas formas de realización son meramente representativas de formas de realización particulares de la presente invención y habrán de considerarse como ilustrativas en su naturaleza y no exhaustivas ni restrictivas. Todas las demás formas de realización, que pueden derivarse por los expertos en esta materia a partir de las formas de realización aquí dadas sin ningún esfuerzo creativo, estarán dentro del alcance de protección de la presente invención.
Primera forma de realización
Según se ilustra en la Figura 1, un método de fusión de imágenes, en esta forma de realización, incluye las etapas siguientes:
101. Obtener dos imágenes mediante fotografías en cámaras en tiempo real o mediante la recuperación a partir de una biblioteca de imágenes existente.
102. Buscar la zona de solapamiento de las dos imágenes. Si las dos imágenes son adecuadas para la fusión, los 5 objetos en las dos imágenes deben coincidir parcialmente.
La zona de solapamiento puede encontrarse utilizando: el método de detección de puntos característicos de la denominada Transformación de Características Invariantes a la Escala (SIFT), un método de detección de puntos de característicos de Harris, un método de detección de puntos característicos de Susan, un método de adaptación de coincidencia en estéreo u otros métodos de detección de puntos característicos. En algunos casos, los puntos característicos pueden seleccionarse manualmente para obtener la zona de solapamiento.
El método de detección de puntos característicos SIFT es actualmente predominante porque es un invariante –afín. Por lo tanto, el método de detección de puntos característicos SIFT se utiliza aquí para encontrar la zona de solapamiento.
103.
Obtener una imagen de profundidad de la zona de solapamiento para representar la información tridimensional de la zona de solapamiento. La información de tridimensional de la zona de solapamiento se requiere para una fusión de imágenes precisa.
104.
Fusionar las dos imágenes en una sola imagen en función de la imagen de profundidad para evitar la presencia de ‘fantasmas’ en la zona de solapamiento de la imagen fusionada.
Según se indica en la Figura 2, un aparato de fusión de imágenes, dado a conocer según la primera forma de realización de la presente invención, incluye una primera unidad de obtención 21, una unidad de búsqueda 22, una segunda unidad
25 de obtención 23 y una unidad de fusión 24; en donde
la primera unidad de obtención 21 está configurada para obtener dos imágenes, en donde: la primera unidad de obtención 21 es un par de cámaras si las dos imágenes se obtiene fotografiando en cámaras en tiempo real o la primera unidad de obtención 21 es una interfaz de entrada si las dos imágenes se recuperan desde una biblioteca de imágenes existente; la unidad de búsqueda 22 está configurada para buscar la zona de solapamiento de las dos imágenes, en donde la unidad de búsqueda 22 puede utilizarse con los principios de trabajo descritos en la etapa 102 anterior; la segunda unidad de obtención 23 está configurada para obtener la imagen de profundidad de la zona de solapamiento encontrada por la unidad de búsqueda y la unidad de fusión 24 está configurada para fusionar las dos imágenes en una sola imagen en función de la imagen de profundidad.
35 Utilizando el método y aparato de fusión de imágenes según esta forma de realización, si los fondos fotografiados de las imágenes no son un fondo único, los píxels en las imágenes están situados en numerosas capas. El método y aparato, según esta forma de realización, puede calcular el paralaje entre las capas, con precisión, utilizando la imagen de profundidad y los píxels de la zona de solapamiento pueden procesarse, con precisión, en el proceso de fusión de imágenes para eliminar los ‘fantasmas’ de la imagen fusionada.
Segunda forma de realización
Según se ilustra en la Figura 3, un método de fusión de imágenes, en esta forma de realización, incluye las etapas 45 siguientes:
301.
Utilizar dos cámaras para fotografiar objetos y obtener dos imágenes. Una zona de solapamiento existe entre los objetos de las dos imágenes.
302.
Buscar la zona de solapamiento de las dos imágenes. En la práctica, la zona de solapamiento puede encontrarse utilizando: un método de detección de puntos característicos de SIFT, un método de detección de puntos característicos de Harris, un método de detección de puntos característicos de Susan, un método de adaptación por coincidencia de imágenes tridimensionales u otros métodos de detección de puntos característicos. En algunos casos, los puntos característicos pueden seleccionarse manualmente para obtener la zona de solapamiento.
303. Utilizar una cámara de profundidad para obtener directamente una imagen de profundidad de la zona de solapamiento. La cámara de profundidad mide la distancia desde el objeto a la cámara de profundidad directamente por medios físicos, a modo de ejemplo, emitiendo una onda electromagnética o una radiación infrarroja al objeto. La distancia desde el objeto a la cámara de profundidad se determina en función del tiempo requerido para reflejar la onda electromagnética o el rayo de infrarrojos desde el objeto. Es decir, en esta forma de realización, dos cámaras ordinarias, mencionadas en la etapa 301, necesitan obtener las dos imágenes y la cámara de profundidad necesita obtener la imagen de profundidad.
Lo anteriormente descrito es un método, a modo de ejemplo, para obtener la imagen de profundidad de la zona de
65 solapamiento. En la práctica, el método para obtener la imagen de profundidad depende de la escena, a modo de ejemplo, la imagen de profundidad se determina realizando el cálculo del paralaje entre las dos imágenes.
El paralaje significa una distancia existente entre las dos cámaras y la distancia (profundidad) desde un punto objeto a las cámaras no es de magnitud infinita. Por lo tanto, la posición de las imágenes creadas del mismo punto objeto es diferente en las dos cámaras, lo que se conoce como paralaje. En términos generales, una mayor profundidad da lugar a un paralaje más pequeño y una menor profundidad da lugar a un mayor paralaje.
Según se ilustra en la Figura 4, el paralaje p está relacionado con la profundidad zp como sigue:
10 XL-XR es el paralaje, D es la longitud focal de la cámara y xB es la distancia entre cámaras. Cuando la profundidad es
pequeña, la relación entre paralaje p y la profundidad
es equivalente a
Por lo tanto, la imagen de profundidad puede calcularse en función del paralaje después de que se calcule el paralaje a
15 través de la coincidencia de imágenes. En esta forma de realización, los dos métodos de cálculo siguientes son aplicables:
(1) Calcular el paralaje entre los píxels correspondientes en la zona de solapamiento de las dos imágenes directamente y
calcular la imagen de profundidad de la zona de solapamiento en función del paralaje. 20
(2) Obtener dos nuevas imágenes en la zona de solapamiento en dos puntos de vista, calcular el paralaje entre los píxels correspondientes en las dos nuevas imágenes y calcular la imagen de profundidad en la zona de solapamiento en función del paralaje.
25 El primer método anterior no necesita obtener, por separado, imágenes para calcular el paralaje, lo que reduce las cámaras requeridas y el segundo método necesita una cámara binocular adicional.
Una vez obtenida la imagen de profundidad de la zona de solapamiento, las imágenes pueden fusionarse. El proceso de fusión se describe a continuación.
304.
Calcular la matriz homográfica entre las dos imágenes. Cada punto de píxel, en las dos imágenes, tiene un elemento de matriz correspondiente en la matriz homográfica.
305.
Proyectar la primera imagen sobre el sistema de coordenadas objetivo, en función de la relación de proyección
35 entre el punto de píxel y el elemento en la matriz homográfica, porque cada píxel, en cada imagen, corresponde a un elemento en la matriz homográfica.
En términos generales, la proyección es equivalente a proyectar completamente todos los puntos de píxel en la primera imagen sobre el sistema de coordenadas objetivo. Por lo tanto, el sistema de coordenadas objetivo puede ser
40 simplemente el sistema de coordenadas de la primera imagen. De este modo, la operación de proyección compleja no se requiere para la primera imagen y la función de proyección, en esta etapa, se puede realizar en tanto que la primera imagen sea reservada de forma completa.
306. Calcular el paralaje entre píxels correspondientes de las dos imágenes en la zona de solapamiento, 45 respectivamente, en función del valor de profundidad en la imagen de profundidad, considerando que el paralaje p está
relacionado con la profundidad
como , en donde D es la longitud focal de la cámara y xB es la distancia entre cámaras, según se indicó en la etapa 304.
307. Juzgar si el paralaje calculado supera el margen de paralaje preestablecido. Si es así, proseguir con la etapa 309; si
50 el paralaje calculado no excede el margen de paralaje preestablecido, proseguir con la etapa 308. Considerando la precisión requerida para la imagen fusionada, el margen de paralaje preestablecido es 0 píxel a 1 píxel, preferentemente.
308. Desechar los puntos de píxel de la segunda imagen y proseguir con la etapa 310.
55 309. Proyectar los puntos de píxel de la segunda imagen sobre las coordenadas de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivo. Es decir, calcular el valor de crominancia media ponderada y el valor de luminancia media ponderada de los puntos de píxels correspondientes en las dos
imágenes, utilizar el valor de la crominancia media ponderada y el valor de la luminancia media ponderada como el valor de crominancia y el valor de luminancia de los puntos de píxels correspondientes en la primera imagen, en el sistema de coordenadas objetivo, respectivamente y luego, proseguir con la etapa 310.
310.
Juzgar si los píxel de la zona de solapamiento están procesados completamente. Si es así, proseguir con la etapa 311; si los píxels de la zona de solapamiento no están procesados completamente, volver a la etapa 306.
311.
Proyectar los píxels, exteriores a la zona de solapamiento en la segunda imagen, sobre el sistema de coordenadas objetivo en función de la relación de proyección entre el píxel en la segunda imagen y el elemento en la matriz homográfica. Esta etapa es equivalente a proyectar los píxels, exteriores a la zona de solapamiento, sobre el sistema de coordenadas objetivo directamente. El sistema de coordenadas objetivo, en esta forma de realización, es el sistema de coordenadas de la primera imagen.
En correspondencia con el método de fusión de imágenes anterior, un aparato de fusión de imágenes se da a conocer en la segunda forma de realización de la presente invención. Según se ilustra en la Figura 5, el aparato de fusión de imágenes incluye: una primera unidad de obtención 51, una unidad de búsqueda 52, una segunda unidad de obtención 53 y una unidad de fusión 54.
La primera unidad de obtención 51 está configurada para obtener dos imágenes. En esta forma de realización, las dos imágenes se obtienen fotografiando con cámaras en tiempo real. Por lo tanto, la primera unidad de obtención 51 es un par de cámaras ordinarias. La unidad de búsqueda 52 está configurada para buscar la zona de solapamiento de las dos imágenes.
Una vez fusionada la zona de solapamiento, se fusionan las dos imágenes. Para reducir los ‘fantasmas’ generados en la fusión de la zona de solapamiento, necesita obtenerse primero una imagen de profundidad de la zona de solapamiento. La segunda unidad de obtención 53, en esta forma de realización, está configurada para obtener la imagen de profundidad de la zona de solapamiento. La segunda unidad de obtención 53 puede funcionar en las formas siguientes:
(1)
La segunda unidad de obtención 53 sirve directamente como una cámara de profundidad.
(2)
La segunda unidad de obtención 53 incluye un módulo de cálculo 531. El módulo de cálculo 531 está configurado para calcular el paralaje entre los píxels correspondientes en la zona de solapamiento de las dos imágenes y para calcular la imagen de profundidad de la zona de solapamiento en función del paralaje. El paralaje p está relacionado con
la profundidad
como , en donde D es la longitud focal de la cámara y xB es la distancia entre cámaras.
(3) Según se ilustra en la Figura 6, la segunda unidad de obtención incluye un módulo de obtención 61 y un módulo de cálculo 62.
El módulo de obtención 61 está configurado para obtener dos nuevas imágenes en la zona de solapamiento en dos puntos de vista y es equivalente a una cámara binocular.
El módulo de cálculo 62 está configurado para calcular el paralaje entre los píxels correspondientes en las dos nuevas imágenes y para calcular la imagen de profundidad, en la zona de solapamiento, en función del paralaje. El paralaje p
está relacionado con la profundidad
como , en donde D es la longitud focal de la cámara y xB es la distancia entre cámaras.
Una vez obtenida la imagen de profundidad anterior, la unidad de fusión efectúa la fusión de las dos imágenes en una sola imagen en función de la imagen de profundidad. La unidad de fusión 54 incluye un primer módulo de cálculo 541, un módulo de proyección 542 y un segundo módulo de cálculo 543.
El primer módulo de cálculo 541 está configurado para calcular la matriz homográfica entre dos imágenes. Cada píxel, en las dos imágenes, tiene un elemento correspondiente en la matriz homográfica. Si dos puntos de píxel, en las dos imágenes, corresponden al mismo punto en el objeto, los dos puntos de píxel corresponden al mismo elemento en la matriz homográfica. El módulo de proyección 542 está configurado para proyectar la primera imagen sobre el sistema de coordenadas objetivo, según la relación de proyección entre la primera imagen y la matriz homográfica. El segundo módulo de cálculo 543 está configurado para calcular el paralaje entre los píxels correspondientes de las dos imágenes, en la zona de solapamiento, en función de la imagen de profundidad. Cuando el paralaje cae dentro del margen de paralaje preestablecido, el módulo de proyección 542 desecha los puntos de píxel de la segunda imagen directamente; cuando el paralaje es superior al margen de paralaje preestablecido, el módulo de proyección 542 efectúa la proyección de los puntos de píxel de la segunda imagen sobre las coordenadas de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivo. Es decir, el módulo de proyección 542 calcula el valor de crominancia media ponderada y el valor de luminancia media ponderada de los puntos de píxels correspondientes en las
dos imágenes y utiliza el valor de crominancia media ponderada y el valor de luminancia media ponderada como el valor de crominancia y el valor de luminancia de los puntos de píxels correspondientes en la primera imagen, en el sistema de coordenadas objetivo, respectivamente. Considerando la precisión requerida para la imagen fusionada, el margen de paralaje preestablecido es 0 píxel a 1 píxel, preferentemente. Una vez realizada la proyección de la zona de solapamiento, el módulo de proyección 542, en esta forma de realización, necesita proyectar los píxels, exteriores a la zona de solapamiento en la segunda imagen, sobre el sistema de coordenadas objetivo en función de la relación de proyección entre el píxel en la segunda imagen y el elemento en la matriz homográfica. De este modo, la imagen fusionada está completa y no se pierde ningún dato original.
Utilizando el método y aparato de fusión de imágenes, según esta forma de realización, si los fondos fotográficos de las imágenes no son un fondo único, los píxels en las imágenes se sitúan en numerosas capas. El método y aparato, en esta forma de realización, puede calcular el paralaje entre las capas, con precisión, utilizando la imagen de profundidad y los píxels de la zona de solapamiento se pueden procesar, con precisión, en el proceso de fusión de imágenes para eliminar los ‘fantasmas’ de la imagen fusionada. Además, esta forma de realización no implica ninguna calibración de la cámara, con lo que se simplifica la aplicación de esta forma de realización.
Puesto que está forma de realización está libre de calcular numerosas imágenes de punto de vista intermedios, esta forma de realización ahorra los recursos de cálculo en comparación con el método para fusionar imágenes basado en puntos de vista intermedios. En el método para fusionar imágenes basado en puntos de vista intermedios, cuando un objeto se observa desde dos puntos de vista, el objeto es visible desde un punto de vista y no es visible desde el otro punto de vista y pueden producirse sombras o cavidades en el momento de generación de las imágenes de puntos intermedios. Por lo tanto, la relación de sombras necesita calcularse con precisión y necesita rellenarse las cavidades. En esta forma de realización, sin embargo, se utiliza una imagen de profundidad para expresar la información tridimensional de la imagen. Por lo tanto, en la imagen fusionada, la relación de sombras se determina directamente en función de la información de profundidad y no se genera ninguna cavidad.
En una aplicación práctica de esta forma de realización, se utilizan dos cámaras para fotografiar un solo objeto simultáneamente, que no requieren la coincidencia de los centros ópticos de las cámaras. Por lo tanto, esta forma de realización permite que los centros ópticos de las cámaras estén en diferentes puntos en el proceso de realización de fotografías.
Tercera forma de realización
Según se ilustra en la Figura 7, un método de fusión de imágenes en esta forma de realización incluye las etapas siguientes:
701.
Utilizar dos cámaras para fotografiar objetos y obtener dos imágenes. Una zona de solapamiento existe entre los objetos de jkxs imágenes.
702.
Buscar la zona de solapamiento de las dos imágenes. En la práctica, la zona de solapamiento puede encontrarse utilizando: un método de detección de puntos característicos de SIFT, un método de detección de puntos características de Harris, un método de detección de puntos característicos de Susan, un método de coincidencia de imágenes tridimensionales u otros métodos de detección de puntos característicos. En algunos casos, los puntos característicos pueden seleccionarse manualmente para obtener la zona de solapamiento.
703.
Utilizar una cámara de profundidad para obtener una imagen de profundidad de la zona de solapamiento directamente. La cámara de profundidad mide la distancia desde el objeto a la cámara de profundidad directamente por medios físicos, a modo de ejemplo, emitiendo una onda electromagnética o un rayo de infrarrojos al objeto. La distancia desde el objeto a la cámara de profundidad se determina según el tiempo requerido para reflejar la onda electromagnética o el rayo de infrarrojos desde el objeto. Es decir, en esta forma de realización, necesitan obtenerse dos cámaras ordinarias, mencionadas en la etapa 701, y la cámara de profundidad necesita obtener la imagen de profundidad.
Lo anteriormente descrito es un método, a modo de ejemplo, para obtener la imagen de profundidad de la zona de solapamiento. En la práctica, el método para obtener la imagen de profundidad depende de la escena, a modo de ejemplo, la imagen de profundidad se determina realizando el cálculo del paralaje entre las dos imágenes.
704.
Generar imágenes de puntos de vista virtuales intermedios continuas entre los puntos de vistas de las dos imágenes en función de la imagen de profundidad. Más concretamente, calcular el paralaje entre la imagen del punto de vista virtual y la imagen conocida utilizando la fórmula siguiente:
En la fórmula, d es el paralaje entre la imagen de punto de vista virtual y la imagen de punto de vista conocida, f es la longitud focal de la cámara, Bp0 es la distancia entre los puntos de vista virtuales y Z es la profundidad de la imagen.
El paralaje anteriormente calculado y la imagen conocida se pueden utilizar para generar la imagen de puntos de vista virtuales intermedios utilizando la fórmula siguiente:
es una coordenada X del punto de píxel de la imagen conocida, xp es la coordenada X correspondiente del punto de píxel de la imagen conocida en la imagen de punto de vista virtual intermedio, B es la
distancia entre dos puntos fotografiados originales y
es la distancia desde el punto de vista virtual intermedio a uno de los puntos fotografiados originales.
10 705. Fusionar las dos imágenes y las imágenes de puntos de vista virtuales intermedios en una sola imagen. Más concretamente, disponer todas las imágenes en el orden de puntos de vista y luego, fusionar cada dos imágenes.
En correspondencia con el método de fusión de imágenes anterior, un aparato de fusión de imágenes se da a conocer en la tercera forma de realización de la presente invención. Según se indica en la Figura 8, el aparato de fusión de 15 imágenes incluye: una primera unidad de obtención 81, una unidad de búsqueda 82, una segunda unidad de obtención 83 y una unidad de fusión 84.
La primera unidad de obtención 81 está configurada para obtener dos imágenes. En esta forma de realización, las dos imágenes se obtienen fotografiando con cámaras en tiempo real. Por lo tanto, la primera unidad de obtención 81 es un
20 par de cámaras ordinarias. La unidad de búsqueda 82 está configurada para buscar la zona de solapamiento de las dos imágenes. La segunda unidad de obtención 83 es una cámara de profundidad y está configurada para obtener una imagen de profundidad de la zona de solapamiento.
La unidad de fusión 84 incluye un módulo de generación 841 y un módulo de fusión 842.
25 El módulo de generación 841 está configurado para generar imágenes de puntos de vista virtuales intermedios continuas entre puntos de vista de las dos imágenes en función de la imagen de profundidad y más concretamente, calcular el paralaje entre la imagen del punto de vista virtual intermedio y la imagen conocida utilizando la fórmula siguiente:
30 En la fórmula d es el paralaje entre la imagen de punto de vista virtual y la imagen de punto de vista conocida, f es la longitud focal de la cámara,
es la distancia entre puntos de vista virtuales y Z es la profundidad de la imagen.
35 El paralaje anteriormente calculado y la imagen conocida se pueden utilizar para generar la imagen del punto de vista virtual intermedio utilizando la fórmula siguiente:
en donde:
es una coordenada X del punto de píxel de la imagen conocida, xp es la coordenada X correspondiente del punto de píxel de la imagen conocida en la imagen del punto de vista virtual
40 intermedio, B es la distancia entre dos puntos fotografiados originales y
es la distancia desde el punto de vista virtual intermedio a uno de los puntos de fotografía originales.
El módulo de fusión 842 está configurado para fusionar las dos imágenes y las imágenes de puntos de vista virtuales intermedios en una sola imagen. Más concretamente, el módulo de fusión 842 dispone todas las imágenes en el orden
45 de puntos de vista y luego, fusiona cada dos imágenes.
En esta forma de realización, el método y el aparato de fusión utilizan una imagen de profundidad para calcular directamente la imagen de punto de vista virtual intermedio y luego, fusionar la imagen de punto de vista virtual intermedio y las dos imágenes originales en una sola imagen. En comparación con la técnica anterior, que utiliza dos
50 imágenes para calcular la imagen de punto de vista virtual intermedio, el método para utilizar una imagen de profundidad para calcular la imagen de punto de vista virtual intermedio directamente, en esta forma de realización, puede poner en práctica cálculos más rápidos.
En esta forma de realización, se obtienen dos imágenes desde diferentes puntos de vista, se calcula una imagen de
55 profundidad de la zona de solapamiento y las dos imágenes se fusionan en función de la imagen de profundidad. Por lo tanto, el método de fusión es aplicable a más de las imágenes obtenidas desde el mismo punto de vista. Si dos imágenes obtenidas, desde el mismo punto de vista, tienen una zona de solapamiento, el método de fusión, dado a conocer en esta forma de realización, es también aplicable.
Las formas de realización anteriores utilizan solamente dos imágenes para la descripción. En la práctica, en el caso de fusión de más de dos imágenes, se fusionan dos imágenes en una sola imagen primero, que luego se fusiona a una tercera imagen de la misma manera y así sucesivamente, para obtener una imagen de visión amplia.
5 El método y aparato, según la presente invención, son aplicables a videoconferencias multiescena y las ocasiones de obtener imágenes o vídeos de visión amplia.
Después de la lectura de las formas de realización anteriores, los expertos en esta materia tienen un claro conocimiento de que las formas de realización de la presente invención se pueden poner en práctica mediante hardware solamente o 10 en una forma de realización preferida, a través de software en adición al hardware universal necesario. Por lo tanto, la solución técnica bajo la presente invención o su novedad, respecto a la técnica anterior, pueden materializarse en un producto de software. El producto de software se memoriza en un medio de almacenamiento legible por ordenador tal como un disco flexible de ordenador, un disco duro y una memoria de solamente lectura-disco compacto (CR-ROM) e incorpora varias instrucciones para dar instrucciones a un dispositivo informático (a modo de ejemplo, un ordenador
15 personal, un servidor o un dispositivo de red) para ejecutar el método dado a conocer en cualquier forma de realización de la presente invención.
Las anteriores descripciones son realizaciones simplemente preferidas de la presente invención, pero no pretenden limitar el alcance de protección de la presente invención. Cualesquiera modificaciones, variaciones o sustituciones que 20 puedan fácilmente derivarse por los expertos en esta materia debe caer dentro del alcance de protección de la presente invención. Por lo tanto, el alcance de la presente invención está sujeto a las reivindicaciones adjuntas.

Claims (7)

  1. REIVINDICACIONES
    1. Un método de fusión de imágenes, que comprende:
    5 la obtención de dos imágenes entre las que existe una zona de solapamiento; la búsqueda de la zona de solapamiento de las dos imágenes; la obtención de una imagen de profundidad de la zona de solapamiento y la fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad, caracterizado porque: la etapa de fusión de las dos imágenes en una sola imagen, en conformidad con la imagen de
    profundidad, comprende: 15
    el cálculo de una matriz homográfica entre las dos imágenes; la proyección de una primera imagen sobre un sistema de coordenadas objetivo en conformidad con una relación de proyección entre la primera imagen y la matriz homográfica;
    el cálculo de un paralaje entre píxels correspondientes de las dos imágenes en la zona de solapamiento en conformidad con la imagen de profundidad; la eliminación de puntos de píxel de una segunda imagen si el paralaje se sitúa en el interior de una margen de paralaje
    25 preestablecido; la proyección de puntos de píxel de la segunda imagen, en la zona de solapamiento, sobre coordenadas de puntos de píxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si el paralaje supera el margen de paralaje preestablecido y
    la proyección de píxels de la segunda imagen, exteriores a la zona de solapamiento, sobre el sistema de coordenadas objetivo, en conformidad con una relación de proyección entre la segunda imagen y la matriz homográfica.
  2. 2. El método de fusión de imágenes según la reivindicación 1, en donde la etapa de obtener la imagen de profundidad 35 de la zona de solapamiento comprende:
    la obtención de la imagen de profundidad de la zona de solapamiento mediante la utilización directa de una cámara de profundidad o el cálculo de un paralaje entre píxels correspondientes en la zona de solapamiento de las dos imágenes y el cálculo de la imagen de profundidad de la zona de solapamiento en función del paralaje o
    la obtención de dos nuevas imágenes, en la zona de solapamiento, desde dos puntos de vista, el cálculo de un paralaje entre píxels correspondientes en las dos nuevas imágenes y el cálculo de la imagen de profundidad en la zona de solapamiento en función del paralaje.
    45 3. El método de fusión de imágenes según la reivindicación 1, en donde: el sistema de coordenadas objetivo es un sistema de coordenadas de la primera imagen.
  3. 4. El método de fusión de imágenes según la reivindicación 1, en donde:
    la etapa de proyección de los puntos de píxel de la segunda imagen en la zona de solapamiento sobre las coordenadas de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivo comprende:
    el cálculo de un valor de crominancia media ponderada y de un valor de luminancia media ponderada de los puntos de
    55 píxels correspondientes en las dos imágenes y la utilización del valor de crominancia media ponderada y del valor de luminancia media ponderada como un valor de crominancia y un valor de luminancia de los correspondientes puntos de píxel de la primera imagen, en el sistema de coordenadas objetivo, respectivamente.
  4. 5. Un aparato de fusión de imágenes, que comprende:
    una primera unidad de obtención, configurada para obtener dos imágenes entre las que existe una zona de solapamiento;
    una unidad de búsqueda, configurada para buscar la zona de solapamiento de las dos imágenes; 65 una segunda unidad de obtención, configurada para obtener una imagen de profundidad de la zona de solapamiento y
    una unidad de fusión, configurada para realizar la fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad,
    5 caracterizado porque la unidad de fusión comprende:
    un primer módulo de cálculo, configurado para calcular una matriz homográfica entre las dos imágenes;
    un segundo módulo de cálculo, configurado para calcular un paralaje entre píxels correspondientes de las dos imágenes, 10 en la zona de solapamiento, en conformidad con la imagen de profundidad y
    un módulo de proyección, configurado para: proyectar una primera imagen sobre un sistema de coordenadas objetivo en función de una relación de proyección entre la primera imagen y la matriz homográfica;
    15 proyectar puntos de píxel de una segunda imagen, en la zona de solapamiento, sobre coordenadas de puntos de píxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si el paralaje supera un margen de paralaje preestablecido y proyectar píxel de la segunda imagen, exteriores a la zona de solapamiento, sobre el sistema de coordenadas objetivo, en función de una relación de proyección entre la segunda imagen y la matriz homográfica.
    20 6. El aparato de fusión de imágenes según la reivindicación 5, en donde:
    la segunda unidad de obtención es una cámara de profundidad.
  5. 7. El aparato de fusión de imágenes según la reivindicación 5, en donde la segunda unidad de obtención comprende:
    25 un módulo de cálculo, configurado para calcular el paralaje entre píxels correspondientes en la zona de solapamiento de las dos imágenes y calcular la imagen de profundidad, en la zona de solapamiento, en conformidad con el paralaje.
  6. 8. El aparato de fusión de imágenes según la reivindicación 5, en donde la segunda unidad de obtención comprende:
    30 un módulo de obtención, configurado para obtener dos nuevas imágenes en la zona de solapamiento en dos puntos de vista y
    un módulo de cálculo, configurado para calcular el paralaje entre píxels correspondientes en las dos nuevas imágenes y 35 calcular la imagen de profundidad en la zona de solapamiento en función del paralaje.
  7. 9. El aparato de fusión de imágenes según la reivindicación 5, en donde:
    el módulo de proyección está configurado para calcular un valor de crominancia media ponderada y un valor de
    40 luminancia media ponderada de los puntos de píxels correspondientes, en las dos imágenes, si el paralaje supera el margen de paralaje preestablecido y utilizar el valor de crominancia media ponderada y el valor de luminancia media ponderada como un valor de crominancia y un valor de luminancia de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivos, respectivamente.
    Obtener dos imágenes tomadas por dos cámaras
    Buscar la zona de solapamiento de las dos imágenes
    Obtener la imagen de profundidad de la zona de solapamiento utilizando directamente una cámara de profundidad
    Calcular una matriz homográfica entre las dos imágenes
    Proyectar una primera imagen sobre un sistema de coordenadas objetivo en función de una relación de proyección entre el punto de píxel de la primera imagen y el elemento de la matriz homográfica
    Calcular paralaje entre los correspondientes píxels de las dos imágenes en la zona de solapamiento en función del valor de profundidad en la imagen de profundidad
    Proyectar los puntos de píxels de la segunda imagen sobre las coordenadas de los correspondientes puntos de píxels de la
    Comprobar si el paralaje
    supera el margen primera imagen en el sistema de coordenadas objetivo
    preestablecido Comprobar si los píxels en
    Desechar los puntos de píxels de
    la zona de solapamientola segunda imagen
    se procesan completamente
    Proyectar los píxels de la segunda imagen, fuera de la zona de solapamiento, sobre el sistema de coordenadas objetivo en función de una relación de proyección entre la segunda imagen y la matriz homográfica
    Panel de presentación visual
    Obtener dos imágenes tomadas por dos cámaras
    Buscar la zona de solapamiento de las dos imágenes
    Obtener la imagen de profundidadde la zona de solapamiento utilizando una cámara de profundidad directamente
    Generar imágenes continuas depuntos de vista virtuales intermedios entre puntos de vista delas dos imágenes en función de la imagen de profundidad
    Fusionar las dos imágenes y lasimágenes de puntos de vista virtuales intermedios en una sola imagen
ES09812625T 2008-09-10 2009-07-27 Método y dispositivo de fusión de imágenes Active ES2402229T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200810212183 2008-09-10
CN200810212183A CN101673395B (zh) 2008-09-10 2008-09-10 图像拼接方法及装置
PCT/CN2009/072927 WO2010028559A1 (zh) 2008-09-10 2009-07-27 图像拼接方法及装置

Publications (1)

Publication Number Publication Date
ES2402229T3 true ES2402229T3 (es) 2013-04-29

Family

ID=42004789

Family Applications (1)

Application Number Title Priority Date Filing Date
ES09812625T Active ES2402229T3 (es) 2008-09-10 2009-07-27 Método y dispositivo de fusión de imágenes

Country Status (5)

Country Link
US (1) US8345961B2 (es)
EP (1) EP2328125B1 (es)
CN (1) CN101673395B (es)
ES (1) ES2402229T3 (es)
WO (1) WO2010028559A1 (es)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2607052T3 (es) 2009-06-17 2017-03-29 3Shape A/S Aparato de escaneo de enfoque
CN101808251B (zh) * 2010-04-06 2011-07-20 浙江大学 立体图像对中遮挡信息的提取方法
WO2012024830A1 (en) * 2010-08-24 2012-03-01 Hewlett-Packard Development Company, L.P. Stitched digital images
ES2607214T3 (es) 2011-05-31 2017-03-29 Nokia Technologies Oy Métodos, aparatos y productos de programa informático para generar imágenes panorámicas usando datos de mapas de profundidad
CN102223484A (zh) * 2011-08-04 2011-10-19 浙江工商大学 一种摄像机前端参数配置的方法和装置
TWI448146B (zh) * 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
KR101697512B1 (ko) * 2011-12-15 2017-01-19 한국전자통신연구원 영상 정합 장치 및 방법
TWI562077B (en) * 2012-01-04 2016-12-11 Gingy Technology Inc Method for fingerprint recognition using dual camera and device thereof
WO2013113373A1 (en) * 2012-01-31 2013-08-08 Sony Ericsson Mobile Communications Ab Method and electronic device for creating a combined image
CN103260046A (zh) * 2012-02-16 2013-08-21 中兴通讯股份有限公司 一种三维显示方法及系统
US8885952B1 (en) * 2012-02-29 2014-11-11 Google Inc. Method and system for presenting similar photos based on homographies
CN102620909B (zh) * 2012-03-23 2014-06-18 中国科学院长春光学精密机械与物理研究所 一种光学星点图像的采集方法
CN103369331B (zh) * 2012-03-27 2016-12-21 北京数码视讯科技股份有限公司 图像空洞的填补方法和装置及视频图像的处理方法和装置
US10341743B1 (en) * 2012-05-25 2019-07-02 Altia Systems, Inc. Bandwidth efficient multiple user panoramic video stream delivery system and method
CN102708558A (zh) * 2012-06-01 2012-10-03 惠州华阳通用电子有限公司 视频图像拼接装置、拼接方法以及视频监视系统
US9305514B1 (en) * 2012-07-31 2016-04-05 Trend Micro Inc. Detection of relative positions of tablet computers
CN103218821B (zh) * 2013-04-27 2015-12-23 航天恒星科技有限公司 一种面向区域覆盖的影像自动镶嵌方法
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9076238B2 (en) * 2013-08-21 2015-07-07 Seiko Epson Corporation Intelligent weighted blending for ultrasound image stitching
CN103763479B (zh) * 2013-12-31 2017-03-29 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统
CN104392416B (zh) * 2014-11-21 2017-02-22 中国电子科技集团公司第二十八研究所 一种运动场景的视频拼接方法
DE102015004943B4 (de) * 2015-04-17 2017-03-30 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zur Richtungskalibration von Kameras eines Kamerasystems
TWI582388B (zh) * 2015-10-16 2017-05-11 財團法人工業技術研究院 影像縫合方法與影像縫合裝置
CN106683071B (zh) * 2015-11-06 2020-10-30 杭州海康威视数字技术股份有限公司 图像的拼接方法和装置
CN105427290B (zh) * 2015-11-11 2018-05-29 深圳进化动力数码科技有限公司 一种全景相机拼接效果的检测方法及装置
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
CN105701764B (zh) * 2016-01-05 2019-01-04 曲阜裕隆生物科技有限公司 一种用于医学图像的拼接方法
CN106997579B (zh) * 2016-01-26 2020-01-03 华为技术有限公司 图像拼接的方法和装置
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
CN105894451B (zh) * 2016-03-30 2019-03-08 沈阳泰科易科技有限公司 全景图像拼接方法和装置
CN106023074A (zh) * 2016-05-06 2016-10-12 安徽伟合电子科技有限公司 一种分区获取的视频图像拼接方法
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
CN106303247A (zh) * 2016-08-23 2017-01-04 刘永锋 基于vr的实时视频拍摄方法
KR102236222B1 (ko) * 2016-08-24 2021-04-05 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
KR102558473B1 (ko) 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
CN106651755A (zh) * 2016-11-17 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种终端全景图像处理方法、装置及终端
CN108109108A (zh) * 2016-11-25 2018-06-01 北京视联动力国际信息技术有限公司 一种基于余弦相似性自适应算法的图像拼接方法和装置
CN106657809B (zh) * 2016-12-13 2019-11-29 深圳先进技术研究院 一种全景3d视频拼接系统及方法
CN106934762B (zh) * 2017-03-09 2020-08-04 北京星云环影科技有限责任公司 一种图像拼接方法和设备
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法
CN106991645B (zh) 2017-03-22 2018-09-28 腾讯科技（深圳）有限公司 图像拼接方法及装置
CN106886979B (zh) * 2017-03-30 2020-10-20 深圳市未来媒体技术研究院 一种图像拼接装置及图像拼接方法
CN107194958A (zh) * 2017-05-25 2017-09-22 深圳市金立通信设备有限公司 一种图像处理的方法、终端及计算机可读存储介质
CN109300085B (zh) * 2017-07-25 2023-06-02 杭州海康汽车技术有限公司 一种图像拼接方法、装置、电子设备及存储介质
CN108470323B (zh) * 2018-03-13 2020-07-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置
CN108648218B (zh) * 2018-04-04 2021-12-10 广州市安晓科技有限责任公司 一种汽车环视全景中模糊棋盘格的匹配方法及系统
JP7080103B2 (ja) * 2018-05-16 2022-06-03 キヤノン株式会社 撮像装置、その制御方法、および、プログラム
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
JP6569157B1 (ja) * 2018-06-27 2019-09-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN110689476A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 全景图像拼接方法及其装置、可读存储介质和电子设备
CN109064392B (zh) * 2018-08-07 2023-05-02 广州视源电子科技股份有限公司 确定单应矩阵的方法及其系统以及图像转换方法及其系统
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
US20200288098A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
CN110211076B (zh) * 2019-05-09 2020-12-15 上海联影智能医疗科技有限公司 图像拼接方法、图像拼接设备和可读存储介质
CN110264403A (zh) * 2019-06-13 2019-09-20 中国科学技术大学 一种基于图像深度分层的去伪影图像拼接方法
CN112449175B (zh) * 2019-08-29 2022-05-17 浙江宇视科技有限公司 一种图像拼接测试方法、装置、设备和存储介质
US11568516B2 (en) * 2019-09-12 2023-01-31 Nikon Corporation Depth-based image stitching for handling parallax
CN111598065A (zh) * 2020-07-24 2020-08-28 上海肇观电子科技有限公司 深度图像获取方法及活体识别方法、设备、电路和介质
CN112308987B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、系统以及装置
CN112991178B (zh) * 2021-03-24 2022-08-02 北京百度网讯科技有限公司 图像拼接方法、装置、设备和介质
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN113393383B (zh) * 2021-08-17 2021-11-16 常州市新创智能科技有限公司 一种双深度相机拍照图像的拼接方法
CN115880248B (zh) * 2022-12-13 2024-02-09 哈尔滨耐是智能科技有限公司 一种表面划痕缺陷识别方法及视觉检测设备
CN117422617B (zh) * 2023-10-12 2024-04-09 华能澜沧江水电股份有限公司 实现视频会议系统图像拼接的方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
KR100591616B1 (ko) * 2001-05-16 2006-06-20 에스케이씨 주식회사 임피던스 특성이 개선된 고분자 전해질, 이의 제조방법 및이를 채용한 리튬 전지
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
US7274825B1 (en) * 2003-03-31 2007-09-25 Hewlett-Packard Development Company, L.P. Image matching using pixel-depth reduction before image comparison
US7425984B2 (en) * 2003-04-04 2008-09-16 Stmicroelectronics, Inc. Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions
US7813589B2 (en) * 2004-04-01 2010-10-12 Hewlett-Packard Development Company, L.P. System and method for blending images into a single image
US7209907B2 (en) * 2004-06-25 2007-04-24 Intel Corporation Method and apparatus for periodically retraining a serial links interface
JP5249221B2 (ja) * 2006-09-04 2013-07-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像から奥行きマップを決定する方法、奥行きマップを決定する装置
CN101034253A (zh) * 2007-04-12 2007-09-12 华为技术有限公司 实现拍摄全景照的装置及方法
CN101051386B (zh) * 2007-05-23 2010-12-08 北京航空航天大学 多幅深度图像的精确配准方法
KR101327791B1 (ko) * 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법

Also Published As

Publication number Publication date
EP2328125A4 (en) 2011-09-07
WO2010028559A1 (zh) 2010-03-18
EP2328125B1 (en) 2013-01-16
CN101673395B (zh) 2012-09-05
CN101673395A (zh) 2010-03-17
EP2328125A1 (en) 2011-06-01
US20110158509A1 (en) 2011-06-30
US8345961B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
ES2402229T3 (es) Método y dispositivo de fusión de imágenes
US10916033B2 (en) System and method for determining a camera pose
Nair et al. A survey on time-of-flight stereo fusion
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
ES2951587T3 (es) Un sistema para mezclar o componer en tiempo real objetos 3D generados por ordenador y una señal de video de una cámara cinematográfica
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
CN108288292A (zh) 一种三维重建方法、装置及设备
US20120242795A1 (en) Digital 3d camera using periodic illumination
CN109416744A (zh) 改进的相机校准系统、目标和过程
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
US11127148B1 (en) Parallax correction for partially overlapping stereo depth images
Schnieders et al. Camera and light calibration from reflections on a sphere
Shim et al. Time-of-flight sensor and color camera calibration for multi-view acquisition
Elhayek et al. Outdoor human motion capture by simultaneous optimization of pose and camera parameters
Mahdy et al. Projector calibration using passive stereo and triangulation
Nousias et al. Large-scale, metric structure from motion for unordered light fields
Lin et al. A low-cost portable polycamera for stereoscopic 360 imaging
Angladon et al. The toulouse vanishing points dataset
JP6388435B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2011165081A (ja) 画像生成方法、画像生成装置、及びプログラム
CN115836324A (zh) 具有远程相机对准的双相机hmd
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP2006078291A (ja) 全方位三次元計測装置
Li et al. Nonuniform multiview color texture mapping of image sequence and three-dimensional model for faded cultural relics with sift feature points