ES2784438T3

ES2784438T3 - Método y dispositivo de combinación de imágenes

Info

Publication number: ES2784438T3
Application number: ES17727969T
Authority: ES
Inventors: Christian Leonard Lucien Bartels; Bart Johannes Beers
Original assignee: CycloMedia Tech BV
Current assignee: CycloMedia Tech BV
Priority date: 2016-04-22
Filing date: 2017-04-24
Publication date: 2020-09-25
Anticipated expiration: 2037-04-24
Also published as: EP3446283A1; DK3446283T3; US10872396B2; US20190108615A1; WO2017183985A1; NL2016660A; PL3446283T3; CA3021189A1; NL2016660B1; EP3446283B1

Abstract

Un método para combinar una pluralidad de sub imágenes alineadas globalmente en una región a combinar, el método comprende: encontrar un conjunto de píxeles correspondientes en la pluralidad de sub imágenes alineadas globalmente; determinar, por medio de la optimización, una posición de interpolación que corresponde a una suma ponderada de las posiciones de los píxeles correspondientes; determinar un valor de píxel de un píxel en la posición de interpolación en la región a combinar utilizando valores de píxel de los píxeles correspondientes; donde el factor de ponderación para la posición de un píxel correspondiente en una sub imagen dada depende de la distancia relativa de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen.

Description

DESCRIPCIÓN

Método y dispositivo de combinación de imágenes

La presente invención está relacionada con un método de combinación de imágenes. Se relaciona además con un dispositivo de combinación de imágenes y con un medio legible por ordenador que lleva instrucciones para realizar dicho método.

Se conocen métodos en la técnica mediante los cuales múltiples imágenes que cubren una parte diferente de una escena se pueden combinar en una imagen panorámica. El ángulo de visión de dicha imagen puede alcanzar hasta 360 grados, dando al usuario una impresión completa de los alrededores de un punto de vista dado. Por ejemplo, se conocen aplicaciones en las que se utilizan cámaras montadas en vehículos para obtener información de los alrededores. Dicha información se puede utilizar en, por ejemplo, tareas de topografía y medición, planificación remota del trabajo y gestión de activos (públicos). Otras aplicaciones de, por ejemplo, imágenes panorámicas secuenciales o video incluyen entretenimiento, por ejemplo, contenido de 360 grados para dispositivos de visualización de realidad virtual. Típicamente, se usa una pluralidad de cámaras, en donde las cámaras se dirigen cada una en una dirección diferente. Las imágenes obtenidas por estas cámaras deben combinarse en una imagen panorámica. Este proceso comprende la combinación de imágenes.

Cuando se crea una imagen panorámica perfecta de alta calidad a partir de múltiples sub imágenes, normalmente se pretende minimizar los errores de paralaje. Esto mejora la corrección geométrica del resultado y reduce la visibilidad de los artefactos de combinación como vetas o efecto fantasma. Los errores de paralaje pueden minimizarse manteniendo el centro óptico de la(s) cámara(s) grabando las imágenes en la misma posición espacial. En la práctica, sin embargo, esto se evita mediante una alineación incorrecta, por ejemplo, cuando se captura manualmente sin trípode y rotador panorámico, restricciones físicas, por ejemplo, para alinear el centro óptico de múltiples cámaras o los requisitos de múltiples perspectivas, por ejemplo, puede ser necesario alguna paralaje para construir un mapa de profundidad o vistas estéreo. Para mejorar la calidad de la imagen panorámica cuando hay paralaje (residual), se necesitan algoritmos que minimicen la visibilidad de los artefactos.

La figura 1 ilustra el problema general de combinación de combinar dos imágenes 1,2 en una sola imagen. En lo sucesivo, las imágenes que se van a combinar se denominan sub imágenes, en las que el resultado de la combinación, por ejemplo, la imagen panorámica, se conoce como imagen final.

Las sub imágenes 1, 2 se han alineado globalmente y se superponen en una región 3 superpuesta. Después de la alineación global, las sub imágenes normalmente ya no se giran o cambian entre sí cuando se utilizan estas imágenes para construir la imagen final. La alineación global es conocida en la técnica y comprende encontrar una posición y orientación relativas adecuadas de las sub imágenes basándose en las características correspondientes en las sub imágenes. Alternativamente, el posicionamiento u orientación se puede determinar utilizando la relación geométrica entre las cámaras responsables de obtener las cámaras o entre los obturadores de esas cámaras o cámaras al momento de grabar las sub imágenes.

Debido a la alineación global, se puede introducir un marco de referencia mediante el cual las posiciones en las sub imágenes y la imagen final se pueden expresar como vectores relativos a un origen O común.

La imagen final tiene una forma que puede corresponder a la suma de los contornos de las sub imágenes 1, 2. Para determinar el contenido de esta imagen final, se pueden identificar tres regiones. En la primera región I, los píxeles de la imagen final se determinan utilizando píxeles de solo la sub imagen 1. En la segunda región II, los píxeles de la imagen final se determinan utilizando píxeles de solo la sub imagen 2. En la tercera región III, los píxeles de la imagen final se determinan utilizando píxeles de la sub imagen 1 y la sub imagen 2. Esta última región, en lo sucesivo denominada la región a combinar, puede corresponder a la región 3 superpuesta, pero también puede ser más pequeña o más grande que esta región.

En la figura 1, los vectores p¹y p²indican posiciones de los píxeles correspondientes en las sub imágenes 1 y 2, respectivamente. Por ejemplo, estos vectores apuntan a píxeles que representan o son parte de la misma característica en ambas sub imágenes. Por consiguiente, estos vectores apuntan a píxeles en las sub imágenes respectivas que están asociadas con características que aparecen en ambas sub imágenes. En caso de ausencia de paralaje, el vector p¹y el vector p²deberían coincidir idealmente. Se observa que tanto el vector p¹como el vector p²se relacionan con un origen común denotado por O, y pueden referirse a píxeles que están fuera de la región superpuesta y/o región a combinar.

Los píxeles correspondientes en dos o más sub imágenes se pueden encontrar usando técnicas conocidas en la técnica, tales como flujo óptico, estimación de movimiento y/o coincidencia (densa) (estéreo). En la mayoría de las técnicas, no solo se examinan los píxeles en sí, sino también los píxeles circundantes para determinar si un par o combinación de píxeles constituye un par o grupo de píxeles correspondientes.

El problema de combinación puede resumirse como cómo determinar los valores de píxel para los píxeles en la región a combinar, por ejemplo, región III en la figura 1. Por ejemplo, en la figura 1, el valor de píxel del píxel en una posición correspondiente al vector p¡ debe determinarse utilizando la información de las sub imágenes 1 y 2. En tal caso, es importante determinar a) qué píxeles en las sub imágenes 1,2 deben usarse para determinar el valor del píxel en p¡, y b) si se conocen estos píxeles, cómo se determina el valor de píxel en la posición p¡ utilizando los valores de píxel de estos píxeles.

Una técnica conocida para abordar este problema se conoce como combinación alfa. En esta técnica, el valor del píxel en la posición p¡ en la imagen final se determina utilizando los valores de píxel en esta misma posición en las sub imágenes 1 y 2, es decir, p¡ = p¹= p². Se puede usar un factor de ponderación para impartir más o menos peso a un valor de píxel particular de un píxel en una sub imagen dada. Un inconveniente de este enfoque conocido es que pueden aparecer imágenes fantasma en la imagen final.

En US5986668A y US6097854A, un paso de alineación local se describe como un método de eliminación de imágenes fantasma en el que se utilizan correspondencias por pares para calcular una deformación a una posición promedio (virtual). Este método conocido puede manejar n imágenes de entrada superpuestas, deformando cada imagen a la misma posición de interpolación promedio, lo que elimina el efecto fantasma en la región de superposición. Sin embargo, como la región de superposición se deforma a una posición de interpolación promedio y las partes que no se superponen no se deforman, este enfoque puede producir artefactos visuales en este límite.

Se han descrito métodos adicionales para combinar imágenes en los documentos US7006709B2 y US2014307045A1.

"Mosaicos en relieve por triangulación de vista conjunta", por Lhuillier et al, Actas de la conferencia IEEE sobre visión por ordenador y reconocimiento de patrones, parte 1, 8 de diciembre de 2001, revela un método de combinación según el preámbulo de la reivindicación 1. Aquí, un mosaico en relieve está representado por una colección de imágenes con una Triangulación de Vista Conjunta (TVC) asociada para pares de imágenes adyacentes. Las secciones superpuestas de dos imágenes adyacentes se interpolan localmente. Esta interpolación calcula la posición final de un vértice en las nuevas coordenadas del mosaico utilizando una ponderación que depende de las distancias de los vértices correspondientes a los límites de sus respectivas imágenes en la región superpuesta.

Un inconveniente del enfoque de interpolación anterior es que requiere la construcción compleja de una triangulación, que puede no seguir perfectamente el desplazamiento por píxel entre sub imágenes que da como resultado artefactos en la imagen final.

Es un objeto de la presente invención proporcionar una solución al problema de combinación mencionado anteriormente en el que se minimiza la aparición de artefactos.

Este objetivo se logra con el método según la invención, que se caracteriza porque la posición de interpolación corresponde a una suma ponderada de posiciones de los píxeles correspondientes, en donde el factor de ponderación para la posición de un píxel correspondiente en una sub imagen depende de una distancia relativa de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen.

Según la presente invención, los píxeles correspondientes se usan para determinar el valor de píxel de un píxel en la posición de interpolación en la imagen final. La invención estipula además que la distancia entre cada píxel entre los píxeles correspondientes y la posición de interpolación depende de la distancia relativa de la posición de interpolación a un borde de la región a combinar asociada con la sub imagen correspondiente a dicho píxel.

La distancia relativa puede corresponder a una distancia de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen en relación con la suma de esas distancias relativas para todas las sub imágenes. Por ejemplo, la distancia relativa viene dada por:

d i

Ecuación 1

L n = i d n

en donde d¡ es la distancia de al menos uno de dicho píxel correspondiente y dicha posición de interpolación a un borde de la región a combinar asociada con la sub imagen i, y en donde N es el número total de sub imágenes.

El factor de ponderación para la posición de un píxel correspondiente en una sub imagen dada puede ser igual a la distancia relativa asociada con esa sub imagen.

En una realización, el factor de ponderación disminuye si la distancia de la posición de interpolación al borde disminuye.

La distancia al borde generalmente se puede calcular como la distancia más corta al borde. Además, el borde puede comprender una curva arbitraria o una colección de curvas, que están conectadas para formar una curva o contorno más grande.

Los píxeles correspondientes en la pluralidad de sub imágenes pueden ser píxeles que se relacionan con la misma región o punto de un objeto o característica que se visualiza en la pluralidad de sub imágenes. Por ejemplo, la característica puede comprender una casa que es visible en cada una de las sub imágenes. Sin embargo, la posición de esta casa parece ser diferente después de alinear globalmente las sub imágenes. Los píxeles pueden identificarse en cada una de las sub imágenes que se relacionan con el mismo lugar en la casa. Estos píxeles pueden identificarse utilizando técnicas conocidas como la estimación de movimiento.

El borde de la región a combinar asociada con una sub imagen puede corresponder a un borde de esa sub imagen en la pluralidad alineada de sub imágenes. Aquí, la pluralidad alineada de sub imágenes puede referirse a una imagen compuesta imaginaria de la pluralidad de sub imágenes. El borde de la sub imagen se refiere al borde de esa sub imagen que está presente en la imagen compuesta. La región a combinar puede corresponder a una región completa en la que se superponen al menos dos o más sub imágenes.

Como alternativa, la región a combinar podría centrarse alrededor de una curva a través de una región en dicha pluralidad de imágenes en las que al menos dos de dichas sub imágenes se superponen. De esta manera, la región superpuesta no se puede usar completamente para combinar. En tal caso, el método puede comprender además determinar un punto de referencia de corrección utilizando las diferencias en los valores de píxel entre los píxeles correspondientes respectivos para una pluralidad de píxeles en la región a combinar, comparar el punto de referencia de corrección con un umbral predefinido, y si el punto de referencia de corrección excede el umbral predefinido, extendiendo la región a combinar.

Por ejemplo, la región a combinar comprende 100 píxeles correspondientes a 100 posiciones de interpolación. Los valores de píxel para estos píxeles se determinan utilizando dos sub imágenes. Para cada píxel en la región a combinar, hay dos valores de píxel disponibles de las dos sub imágenes mediante las cuales se puede determinar un valor de píxel. Cuando existe una gran diferencia entre estos valores de píxeles, se puede esperar que se haya producido una gran corrección de paralaje. En tal caso, puede ser ventajoso usar una región a combinar más amplia. Con ese fin, las diferencias para cada uno de los 100 píxeles se pueden combinar en un solo punto de referencia de corrección que se puede comparar con un umbral.

El método puede comprender adicionalmente o alternativamente determinar un campo de vector de desplazamiento en la región a combinar que indica una diferencia de posición entre los píxeles correspondientes en diferentes sub imágenes, y calcular la curva usando el campo de vector de desplazamiento. Aquí, el campo de vector de desplazamiento es un campo de vector que comprende vectores entre los píxeles correspondientes. La curva podría calcularse, por ejemplo, usando una técnica de optimización de menor costo y/o en la que la curva está configurada para evitar regiones en las que los vectores de desplazamiento son relativamente grandes. Por lo tanto, la región a combinar puede elegirse de modo que excluya regiones en la alineación global de sub imágenes que se caracterizan por grandes diferencias de posición entre los píxeles correspondientes. Por lo tanto, puede excluir regiones que comprenden características indicativas de un gran artefacto de paralaje. En tal caso, puede ser ventajoso usar solo información de píxeles de una de las sub imágenes para determinar los píxeles en la imagen final. Puede ser posible variar, preferiblemente gradualmente, el ancho de la región a combinar, por ejemplo, dependiendo de la magnitud de los vectores de desplazamiento.

El método comprende determinar una posición de interpolación en la región a combinar y encontrar, por medio de la optimización, los píxeles correspondientes de los cuales los valores de píxel se utilizarán para determinar el valor de píxel del píxel en la posición de interpolación determinada.

Encontrar los píxeles correspondientes puede comprender encontrar los píxeles correspondientes de manera que una posición de interpolación estimada, que se calcula usando una suma ponderada de las posiciones de esos píxeles correspondientes, corresponda sustancialmente a la posición de interpolación determinada, en donde los factores de ponderación a utilizar para dicho cálculo se calculan utilizando la posición de interpolación determinada.

Además o alternativamente, el hallazgo de píxeles correspondientes puede comprender en este caso a) adivinar un conjunto de posiciones de los píxeles correspondientes, b) determinar los factores de ponderación para los píxeles correspondientes, c) calcular una posición de interpolación estimada aplicando la suma ponderada de las posiciones adivinadas de los píxeles correspondientes, y d) determinar un error entre la posición de interpolación estimada y la posición de interpolación determinada y repetir los pasos a)-d) si el error excede un umbral predefinido. Alternativamente, los factores de ponderación pueden depender únicamente de la posición de interpolación determinada. En este caso, el método puede comprender además calcular los factores de ponderación utilizando la posición de interpolación determinada.

Alternativamente, encontrar los píxeles correspondientes puede comprender un paso a) de adivinar vectores de prueba ponderados para encontrar píxeles correspondientes de modo que cuando se calcule una posición de interpolación usando esos píxeles, al menos correspondería sustancialmente a la posición de interpolación determinada, dichos vectores de prueba ponderados se calculan usando la posición de interpolación determinada, y un paso b) para determinar un error entre píxeles encontrados usando los vectores de prueba ponderados y repitiendo los pasos a)-b) si el error excede un umbral predefinido.

Un método alternativo comprende encontrar un conjunto de píxeles correspondientes en la pluralidad de sub imágenes alineadas globalmente y determinar, por medio de la optimización, una posición de interpolación que corresponde a la suma ponderada de las posiciones del conjunto de píxeles correspondientes.

La posición de interpolación puede determinarse usando los pasos de a) adivinar una posición de interpolación, b) determinar los factores de ponderación para los píxeles correspondientes, c) calcular una posición de interpolación estimada aplicando la suma ponderada de las posiciones de los píxeles correspondientes utilizando los factores de ponderación determinados, y d) determinar un error entre la posición de interpolación estimada y la posición de interpolación adivinada, y repitiendo los pasos a)-d) si el error excede un umbral predefinido. Alternativamente, los factores de ponderación pueden depender únicamente de las posiciones de los píxeles correspondientes. En este caso, el método puede comprender además calcular los factores de ponderación utilizando las posiciones determinadas de los píxeles correspondientes.

El valor de píxel del píxel en la posición de interpolación en la región a combinar puede determinarse ponderando los valores de píxel de los píxeles correspondientes asociados con esa posición de interpolación. Dicha ponderación puede comprender aplicar factores de ponderación adicionales a los valores de píxel de los píxeles correspondientes. Estos factores de ponderación se pueden elegir de modo que los factores de ponderación, que se aplican a los píxeles entre los píxeles correspondientes que se encuentran lejos del borde, sean relativamente grandes. Esto refleja la noción de que los píxeles que se encuentran lejos del borde pueden ser candidatos más apropiados para la combinación que los píxeles que se encuentran cerca del borde. Esto permite una transición gradual de una imagen a otra. En una realización preferida, estos factores de ponderación adicionales son idénticos a los factores de ponderación.

Según un segundo aspecto, la presente invención proporciona un dispositivo para combinar una pluralidad de sub imágenes alineadas globalmente en una región a combinar, que comprende una memoria para contener dicha pluralidad de sub imágenes, una unidad de determinación de la región de combinación para determinar la región a combinar, y un procesador configurado para construir una imagen final usando la pluralidad de sub imágenes, dicha construcción comprende realizar el método como se definió anteriormente para combinar las sub imágenes en la región a combinar.

Según un tercer aspecto, la presente invención proporciona un medio legible por ordenador que comprende instrucciones que, cuando se ejecutan en un procesador, le indican a este procesador que realice el método como se describió anteriormente.

A continuación, la presente invención se describirá con más detalle haciendo referencia a los dibujos adjuntos, en los que:

La figura 1 ilustra el problema de la combinación de imágenes;

La figura 2 ilustra el concepto general de la presente invención usando dos sub imágenes;

La figura 3 ilustra diferentes regiones que se combinarán cuando se superponen tres sub imágenes;

La figura 4 ilustra una región a combinar en base a una curva;

La figura 5 ilustra una región a combinar en base a un campo de vector de desplazamiento;

La figura 6 ilustra un primer método para realizar la combinación de imágenes según la presente invención; La figura 7 ilustra un segundo método para realizar la combinación de imágenes según la presente invención; y La figura 8 ilustra una realización de un dispositivo según la presente invención.

La figura 2 ilustra el concepto general de la presente invención en caso de que se necesiten combinar dos sub imágenes. El valor de píxel en una posición pi de interpolación en la imagen final debe determinarse utilizando las sub imágenes 1, 2. Vectores Vi¹y Vi²apuntan a los píxeles correspondientes en las sub imágenes 1 y 2, respectivamente, qué píxeles se utilizan para determinar el valor de píxel del píxel en la posición pi de interpolación en la imagen final. Por lo tanto:

Ecuación 2

Según la presente invención, la distancia entre cada uno de los píxeles correspondientes y la posición de interpolación depende de:

una distancia desde la posición de interpolación hasta un borde respectivo asociado con una sub imagen respectiva (método 1 de distancia);

Según los ejemplos que no pertenecen a la invención, la distancia entre cada uno de los píxeles correspondientes y la posición de interpolación depende de:

una distancia desde cada uno de los píxeles correspondientes a un borde respectivo asociado con la sub imagen respectiva (método 2 de distancia);

una mezcla de estas distancias (método 3 de distancia).

Las distancias indicadas en los métodos 1 y 2 anteriores se ilustran en el lado derecho de la figura 2. Aquí, dn indica una distancia desde el píxel correspondiente con la posición pn hasta el borde Bn asociado con la sub imagen n. Por otro lado, dn, indica una distancia desde la posición de interpolación con la posición pi hasta el borde Bn asociado con la sub imagen n.

El solicitante ha encontrado que usar el método 1 de distancia o 3 puede proporcionar resultados ligeramente mejorados en términos de artefactos que no son o no tan claramente visibles en la imagen final como cuando se usa el método 2 de distancia.

En lo sucesivo, la distancia que se utiliza durante la combinación se denomina dn, independientemente del método de distancia utilizado. En este caso, el concepto general de la presente invención, cuando se aplica a dos sub imágenes, puede describirse mediante la siguiente ecuación:

Ecuación 3 ^¿1 _ ^¿2

d2 di

En otras palabras, cuando la distancia d¹aumenta, el vector Vi¹correspondiente disminuirá en longitud. Finalmente, cuando d¹se convierte en cero, por ejemplo, cuando un píxel correspondiente se encuentra en el borde B¹(método 2 de distancia), Vi²se convierte en cero. Esto último indica que la posición pi de interpolación corresponde a la posición del píxel correspondiente en la sub imagen 2, es decir, p².

La figura 2 en el lado izquierdo ilustra una distancia d¹desde un píxel correspondiente en la posición p¹en la sub imagen 1 hasta el borde de esta sub imagen, cuyo borde se indica mediante la línea discontinua. Aquí se observa que en la figura 2 la región a combinar comprende la región completa en la que las sub imágenes 1,2 se superponen.

Suponiendo que los vectores Vi¹y Vi²están dispuestos de manera opuesta, es decir, d¹Vi¹=<hVi², la ecuación 2 y la ecuación 3 se pueden combinar en:

^{Ecuación 4} Pi _ • P i w 2 • p 2 ^{W l}

en donde w¹y w²son factores de ponderación dados por:

__ d 2

^{Ecuación 6}W2 d ^ ^ 2

donde se observa que los factores de ponderación pueden depender de la posición de interpolación (por ejemplo, método 1 de distancia) y/o de las posiciones de los píxeles correspondientes (por ejemplo, método 2 de distancia). Por lo tanto, según la presente invención, la posición de interpolación corresponde a una suma de posiciones ponderadas de los píxeles correspondientes que se utilizan para determinar el valor de píxel del píxel en la posición de interpolación, en donde el factor de ponderación para la posición de cada píxel correspondiente depende en la distancia relativa de la posición de interpolación a un borde de la región a combinar asociada con esa sub imagen. Este concepto puede generalizarse fácilmente para N imágenes superpuestas en:

Ecuación 7

donde

Ecuación 8

Si se encuentra una combinación de los píxeles pn correspondientes y la posición pi de interpolación que satisface la ecuación 7, entonces esos píxeles correspondientes pueden usarse para determinar el valor de píxel del píxel en esa posición de interpolación.

La figura 3 ilustra la situación en la que tres sub imágenes 1,2, 4 muestran una superposición parcial. La siguiente tabla muestra qué sub imágenes se superponen en qué región después de la alineación global.

La sub imagen 1 es relevante para cuatro regiones diferentes. En la región I, los factores de ponderación para los píxeles en la sub imagen 1 se pueden establecer en 1 ya que las otras imágenes secundarias no contienen información de imagen para esa posición. En la región III, los factores de ponderación para los píxeles en las sub imágenes 1 y 2 se determinan comparando la distancia desde esos píxeles y/o la posición de interpolación al borde asociado con la sub imagen 1 y al borde asociado con la sub imagen 2, respectivamente. Para la región IV, se tienen en cuenta tres sub imágenes. Si se encuentra un píxel correspondiente en una sub imagen dada que está fuera de la región a combinar relevante, el factor de ponderación asociado se puede establecer en cero. Por ejemplo, la posición de píxel 5 en la sub imagen 4 está asociada con un factor de ponderación igual a cero cuando esta posición indica un píxel que corresponde a otro píxel en la sub imagen 1 o 2 cuando se intenta interpolar dentro de la región IV.

Además de usar la región de superposición completa, se pueden usar regiones limitadas. En tal caso, solo se puede usar una región limitada en la que se aplica la combinación de imágenes. Dicha región se puede definir, por ejemplo, alrededor de una línea central o curva 6 en la región superpuesta, como se muestra en la figura 4. Aquí, los factores de ponderación para la sub imagen 1 en la región A se establecen en uno y en la región C en cero. En la región B, los factores de ponderación dependen de la distancia al borde asociado con la sub imagen 1.

La figura 4 ilustra una línea recta 6 como ejemplo de una curva. Sin embargo, la invención no está limitada a los mismos.

Existen métodos alternativos para definir la región a combinar. Por ejemplo, la región a combinar puede formarse en base a un campo de vector de desplazamiento, como se ilustra en la figura 5. Aquí, un vector de desplazamiento indica el vector desde un píxel en una sub imagen dada a un píxel correspondiente en otra sub imagen. Se puede encontrar una curva 7 a través de este campo en base a un enfoque de menor costo en el que se minimiza la suma de los desplazamientos de los píxeles cruzados por la curva, o cruzados por la curva y una determinada región. Una vez que se encuentra esta curva, se puede usar una determinada región que rodea la curva para realizar la unión de la imagen. Adicionalmente o alternativamente, la construcción de la región a combinar puede realizarse de forma adaptativa. Por ejemplo, para una región inicial dada, se puede calcular la cantidad promedio de corrección por píxel. Dicha corrección se puede calcular utilizando la diferencia entre los valores de píxeles de los píxeles correspondientes en las diferentes sub imágenes. Si la corrección promedio por píxel es demasiado alta, la región a combinar puede expandirse y el proceso de unión de la imagen puede repetirse.

Para encontrar una combinación de píxeles p¹..pn correspondientes y la posición pi de interpolación que satisfaga la ecuación 7, se discutirán dos métodos diferentes. En el segundo método, se elige la posición de interpolación y se buscan los píxeles correspondientes que deberían usarse para esa posición de interpolación, mientras que, en el primer método, los píxeles correspondientes se determinan primero después de lo cual se busca una posición de interpolación.

Una ventaja de determinar primero la posición pi de interpolación (segundo método), es que se puede elegir pi para alinearse con la cuadrícula de píxeles regular de la imagen compuesta que se desea crear, es decir, cada posición de píxel entero en la región de combinación de la imagen compuesta. Sus posiciones p¹..pn de píxel correspondientes se valoran realmente cuando se utilizan técnicas de coincidencia precisas de sub píxeles para derivar las correspondencias. Se pueden usar técnicas de muestreo/interpolación conocidas, por ejemplo, bilineal, bicúbico o muestreo de Lanczos, para obtener los valores de píxeles o vectores en las imágenes 1..n en función de estos vectores de posición real valorada. Este método se asemeja a la deformación inversa.

Si uno determina primero p¹..pn y luego deriva una posición pi real valorada (primer método), el último podría no estar alineado con la cuadrícula de píxeles de la imagen compuesta. Para obtener la alineación con la cuadrícula regular de la imagen compuesta, se pueden utilizar técnicas de deformación hacia adelante (o "salpicaduras"). por ejemplo, calcular para cada píxel o vector en una posición pi real valorada sus contribuciones ponderadas (distancia) a los píxeles o vectores de la cuadrícula regular/entera circundante. Esto generalmente se realiza en un pase de contribución, donde se mantiene un mapa de peso separado, y un pase de normalización donde los pesos se utilizan para normalizar los valores en la cuadrícula regular.

En ambos métodos, se utilizan técnicas conocidas para encontrar los píxeles correspondientes. En la siguiente sección se detalla un aspecto importante de estas técnicas, concretamente la posición de origen. Después de esta explicación, los dos métodos se detallan más.

Encontrar correspondencias

Técnicas para encontrar correspondencias de píxeles densas tales como estimación de movimiento, estimación de flujo óptico y (estéreo) generalmente producen su resultado en forma de un campo vectorial que contiene un vector de desplazamiento para cada píxel o bloque de píxeles. Por ejemplo, se puede utilizar una técnica de estimación de movimiento de coincidencia de bloques de búsqueda completa para probar (para cada píxel o bloque de píxeles) todos los posibles vectores de desplazamiento mediante la correlación de bloques y asignar el vector con el mejor valor de correlación.

En la práctica, muchas técnicas se basan en una optimización más refinada (y más rápida) y combinan un término de coincidencia (por ejemplo, correlación de píxeles/bloque/característica, ecuaciones de restricción de gradiente) con términos/restricciones adicionales, como un término de suavidad que evita que el vector se desvíe demasiado de los vectores estimados en posiciones vecinas.

Cuando se aplican estas técnicas, es importante considerar la "posición" en la que se originan los vectores o el campo o campos del vector. Por ejemplo, es posible estimar un campo vf¹²de vector de desplazamiento válido en la "posición" de la imagen 1, que contiene para una posición p¹de píxel el vector de desplazamiento a una posición p²de píxel correspondiente en la imagen 2 de acuerdo con la ecuación 9. Se supone que las imágenes 1 y 2 se superponen con el mismo sistema de coordenadas.

^{Ecuación 9 P 2 = P l} V12 = Pl ⁺ Vfl2(P l)

De forma similar, es posible estimar un campo vectorial que se origina en la "posición" de la imagen b de acuerdo con la ecuación 10.

Ecuación 10 P l = P 2 ^ 21 = P 2 V f 2 l ( P 2 )

Con algunas técnicas, también es posible estimar un campo vectorial que se origina en una posición x de imagen virtual "intermedia". Por ejemplo, en medio de las imágenes 1 y 2:

^{Ecuación 11 P i =} Px ^{0 .5} * ^vx= ^px+ ^{0 .5 *} vfx(Px)

^{Ecuación 12 P 2 = P x - 0 .5 *} V ^x = P ^x - ^{0 .5 *} vf ^x (P ^x )

O en una posición # virtual arbitraria de la imagen, donde # se encuentra entre cero y uno (que indica la posición entre la imagen a y b):

^{Ecuación 13} P ⁱ = P ^x + r * V ^x = P ^x + r * vf ^x (P ^x )

^{Ecuación 14} P²= Px ^{( i - r ) * V x = P x ( i - r ) * v f x ( P x )}

Para una estimación de movimiento de coincidencia de bloques, las ecuaciones anteriores se pueden usar para derivar para un vector de desplazamiento que se está probando, el conjunto de posiciones en las que se debe aplicar la correlación de bloque. Los vectores de prueba “pivotan” alrededor de la posición px.

En general, los campos de vector estimados en diferentes posiciones de imagen de origen # contienen los mismos valores de vector, pero en posiciones espaciales desplazadas. En la práctica, pueden diferir algo debido a los efectos numéricos, de oclusión y otros (estimación), como las condiciones mal planteadas.

Alternativa o adicionalmente, la técnica de deformación hacia adelante discutida junto con el primer método puede usarse para “proyectar” un campo vectorial en una posición de origen diferente. Debido a los efectos de oclusión, pueden ocurrir agujeros y superposiciones en esta proyección, este efecto puede ser dirigido con técnicas conocidas de manejo de oclusión.

El primer método; método 1 de distancia

En una variante del primer método, ilustrada en la figura 6A, se usa el primer método de distancia. En consecuencia, el cálculo directo de la posición de interpolación no es posible debido al hecho de que los factores de ponderación requeridos dependen de la posición de interpolación desconocida. En este caso, la posición pi de interpolación se puede encontrar mediante la optimización usando la ecuación 15:

En detalle, después de determinar los píxeles correspondientes en el paso S60, la posición de interpolación se puede encontrar adivinando primero una posición de interpolación en el paso S61. A continuación, en el paso S62 se determinan los factores de ponderación. En el paso S63, se puede encontrar una posición de interpolación estimada aplicando la ecuación 7 usando los factores de ponderación determinados y los píxeles correspondientes que ya se encontraron. En el paso S64, esta posición de interpolación estimada se compara con la posición de interpolación adivinada. El error resultante se compara con un umbral en el paso S65. Si el error está por encima de cierto umbral, el proceso vuelve a adivinar la posición de interpolación.

Para tres sub imágenes 1-3, la ecuación 15 puede reescribirse como:

en donde pi, V¹²y V¹³se conocen ya que estos parámetros se relacionan con los píxeles correspondientes, que en el primer método ya se han encontrado. Dependiendo del método de distancia utilizado, los factores w²y w³de ponderación ya se conocen (método 2 de distancia) y la posición de interpolación se puede calcular directamente, o los factores de ponderación dependen de la posición de interpolación (métodos 1 y 3 de distancia) y la posición de interpolación es calculada por optimización. Se puede utilizar un algoritmo de optimización genérico, como la escalada estocástica de colinas, para encontrar la mejor solución para pi.

Para dos sub imágenes 1 y 2, la ecuación 15 se reduce a:

La optimización de esta ecuación, cuando se requiere si se usa el método 1 o 3 de distancia, generalmente se realiza a lo largo de la línea de p¹a p².

El primer método es muy adecuado, pero no se limita a, encontrar los píxeles correspondientes mediante la estimación de los campos vectoriales por pares (por ejemplo, vf¹², vf²¹en la sección anterior).

En el primer método, la posición de interpolación calculada puede estar fuera de la red. En tal caso, se puede calcular un valor de píxel. Se puede usar una ponderación de distancia para determinar cómo los píxeles en la imagen final que rodea la posición de interpolación fuera de la red están influenciados por este valor de píxel.

El primer método; método 2 de distancia

En una variante del primer método, ilustrado en la figura 6B, los píxeles correspondientes se encuentran usando técnicas conocidas en el paso S66. En la figura 6B, se usa el método 2 de distancia para que los factores de ponderación se puedan calcular directamente en el paso S67, después de lo cual se puede calcular la posición de interpolación en el paso S68 usando la ecuación 7.

El segundo método; método 1 de distancia

En el segundo método, se determina la posición de interpolación y se buscan los píxeles correspondientes, de modo que se satisface la ecuación 7. Las posiciones ponderadas de los píxeles correspondientes deben ser iguales a la posición de interpolación. De manera equivalente, mediante la ecuación 2, se buscan los vectores vi¹..vin, que satisfacen la ecuación 7.

En una variante del segundo método, el método 1 de distancia se usa como se muestra en la figura 7A. En este caso, los factores de ponderación se pueden calcular directamente en el paso S71 después de determinar la posición de interpolación en S70. Los píxeles correspondientes se determinan posteriormente en el paso S72.

El segundo método es muy adecuado, pero no se limita a, encontrar los píxeles correspondientes por estimación de movimiento con la posición de interpolación como posición de origen (por ejemplo, determinando vn, vi², vi3). En este caso, la estimación sigue el mismo principio de simetría que la estimación "intermedia" explicada anteriormente en relación con las ecuaciones 11-14. El punto "pivote" se basa en la ecuación 7 y puede generalizarse para N imágenes. Más en particular, la ecuación 7 puede usarse para expresar la posición pj del píxel correspondiente j en la posición pi de interpolación y las posiciones pn de los otros píxeles correspondientes:

Para tres imágenes, la ecuación 18 puede reescribirse en:

Ecuación 19 V ¿ i — ^{( 1 - W}i ^{) p}i ^{+ W}2^V2 ^{+ w}3^p3

^{Ecuación 20} V ^{¿ 2 — W}i ^Vi ^{+ ( 1 - W}2 ^{) V}2 ^{+ W}3^V3

Ecuación 21 V ^{¿ 3}— ^Wi ^Vi ^{+ W}2^V2 ^{+ ( 1 - w * ) v *}

donde vin son vectores de prueba que se originan en la posición pi de interpolación. Para encontrar vectores de prueba adecuados para iniciar una búsqueda, puede ser ventajoso usar información de una interpolación en una posición de interpolación adyacente pi’ que usó los vectores p¹', p²', p3' de posición. Estos vectores apuntan a píxeles correspondientes conocidos. La ponderación para la posición pi de interpolación se puede aplicar a estos vectores para encontrar los vectores vin’:

Ecuación 22 V i n _ Z m = i , m . n W m • p m ( 1 W n ) • p n

A continuación, los vectores vij’ se traducen a la posición pi de interpolación para encontrar vectores de posición de prueba adecuados:

Ecuación 23 V n — V i V ¿ ^

A partir de entonces, se pueden aplicar variaciones a estos vectores de posición de prueba para buscar el mejor conjunto coincidente de píxeles (o bloques) correspondientes para los cuales la suma ponderada de los vectores de posición corresponde a la posición de interpolación

En la realización mencionada anteriormente, el error utilizado para controlar la optimización estaba relacionado con la diferencia en la información de imagen de los píxeles señalados por los vectores de prueba. La ponderación requerida, que está determinada por la posición de interpolación, se contabilizó en los propios vectores de prueba. En otras palabras, los píxeles apuntados cumplían necesariamente la condición de que, si la suma ponderada de las posiciones de esos píxeles se usará para calcular una posición de interpolación, entonces esa posición calculada correspondería a la posición de interpolación establecida al comienzo de la optimización.

Como alternativa, la ponderación se puede aplicar después de haber encontrado los píxeles correspondientes. En tal realización, se podría primero, en un paso a) adivinar un conjunto de posiciones de píxeles correspondientes. Por lo tanto, en esta etapa, se ha verificado que los píxeles son, de hecho, píxeles correspondientes, pero sigue siendo incierto si estos píxeles corresponden a la posición de interpolación establecida al comienzo de la optimización. A continuación, en un paso b) se pueden determinar los factores de ponderación para los píxeles correspondientes. Cabe señalar que estos factores de ponderación ya se conocen cuando los factores de ponderación dependen únicamente de la posición de interpolación. En un paso c), se puede calcular una posición de interpolación estimada aplicando la suma ponderada de las posiciones adivinadas de los píxeles correspondientes. En el paso d) se calcula un error entre la posición de interpolación estimada y la posición de interpolación determinada. Si el error excede un umbral predefinido, los pasos a)-d) se repiten y se prueba un nuevo conjunto de píxeles correspondientes.

El segundo método; método 2 de distancia

En una variante del segundo método, el método 2 de distancia se usa como se ilustra en la figura 7B. La posición de interpolación se determina en el paso S73 y se deben encontrar los píxeles correspondientes. En este caso, la ecuación 7 se aplica igualmente. Sin embargo, en este caso, las posiciones de los píxeles correspondientes se adivinan en el paso S74.

Como siguiente paso, los factores de ponderación se determinan en el paso S75. Debido a que se usa el método 2 de distancia, los factores de ponderación sólo se pueden calcular después de adivinar los píxeles correspondientes. A continuación, se calcula una posición de interpolación estimada en función de las posiciones adivinadas de los píxeles correspondientes y los factores de ponderación determinados en el paso S76. En el paso S77, esta posición de interpolación estimada se compara con la posición de interpolación que se determinó en el paso S73. El error resultante se compara con un umbral en el paso S78. Si el error está por encima de cierto umbral, el proceso vuelve a adivinar las posiciones de los píxeles correspondientes.

Para todos los métodos descritos anteriormente, en los que se usa un paso de optimización, como adivinar vectores o posiciones, puede ser beneficioso usar una combinación previa de una posición de interpolación y píxeles correspondientes, preferiblemente en relación con una posición de interpolación adyacente, como punto de partida para el proceso de optimización.

En los ejemplos anteriores, se han descrito métodos para interpolar entre más de dos imágenes simultáneamente. Alternativamente, el proceso de interpolación podría realizarse en cascada en un proceso de interpolación de dos imágenes. Por ejemplo, suponga que 4 imágenes deben combinarse en una sola imagen. Como primer paso, se puede construir una primera imagen intermedia interpolando entre la primera y la segunda imagen. A continuación, se puede construir una segunda imagen intermedia interpolando entre la primera imagen intermedia y la tercera imagen. La imagen final se puede construir interpolando entre la segunda imagen intermedia y la cuarta imagen.

Determinación del valor de píxel en la posición de interpolación

El proceso de encontrar una combinación de posición de interpolación y píxeles correspondientes como se describió anteriormente tiene que repetirse para cada posición en la región a combinar. Una vez que se conoce la combinación de la posición de interpolación y los píxeles correspondientes, se pueden calcular los valores de píxeles de la imagen final. Para este fin, se puede usar una ponderación utilizando factores vn de ponderación adicionales:

Ecuación ^{2 4}

en donde In es el valor de píxel de la sub imagen n en la posición pn. Como ejemplo, los factores wn de ponderación mencionados anteriormente pueden usarse como otros factores de ponderación, es decir, vn=wn. Alternativamente, los factores de ponderación adicionales pueden determinarse usando un método de distancia dado que es diferente del método de distancia utilizado para determinar los factores wn de ponderación.

Debe observarse que el valor de píxel puede relacionarse con un valor de intensidad y/o un valor de canal de color tal como un valor RGB. Además, en caso de que exista más de un valor de píxel para cada píxel, el método de combinación descrito aquí se puede aplicar a cada valor de píxel por separado. Sin embargo, se prefiere determinar una combinación adecuada de posición de interpolación y píxeles correspondientes para un valor de píxel, como la intensidad, y usar esta misma combinación para determinar los otros valores de píxel.

La figura 8 ilustra una realización de un dispositivo 100 según la presente invención. Comprende una memoria 101 para contener una pluralidad de sub imágenes y una unidad de determinación de la región 102 de combinación para determinar la región a combinar. El dispositivo 100 también comprende un procesador 103 configurado para construir una imagen final usando la pluralidad de sub imágenes, dicha construcción comprende realizar el método como se definió anteriormente para combinar las sub imágenes en la región a combinar. Además, el procesador 103 también puede configurarse para realizar una alineación global en las sub imágenes almacenadas. El resultado de esta alineación global y/o la imagen final resultante de la combinación también puede almacenarse en la memoria 101.

Aunque la presente invención se ha descrito usando realizaciones de la misma, debería ser evidente para el experto en la técnica que son posibles diversas modificaciones a esas realizaciones sin desviarse del alcance de la invención que se define por las reivindicaciones adjuntas.

Como ejemplo, la presente invención está relacionada con la interpolación de imágenes que se han alineado globalmente. Dentro del contexto de la presente invención, la alineación global comprende una primera alineación de las imágenes. Esta alineación puede comprender una transformación de coordenadas para transformar las coordenadas de las imágenes en bruto en las coordenadas de la imagen final. Por ejemplo, dos imágenes que tienen cada una 3000 x 2000 píxeles, se pueden combinar en una sola imagen que comprende 5500 x 2000 píxeles. En este caso, los píxeles de la primera imagen, correspondientes a una parte izquierda, no se pueden transformar. Los píxeles de la segunda imagen, correspondientes a la parte derecha, pueden transformarse mediante la traducción (2500, 0). En consecuencia, se generará una región de superposición que se extiende entre (2500, 0) -(3000, 2000).

En la descripción anterior, se han hecho referencias a vectores de posición de píxeles correspondientes que son relativos a un origen que es común para todas las imágenes a combinar. Debería ser evidente para el experto en la técnica que estos vectores también pueden expresarse en las coordenadas de las imágenes en bruto subyacentes en combinación con la transformación relacionada con esa imagen. En el ejemplo anterior, un vector que apunta a la posición (500, 0) en relación con el origen de la segunda imagen sin procesar es idéntico a un vector que apunta a un píxel de la segunda imagen en la posición (3000, 0) en relación con el origen común de la primera y segunda imagen después de la transformación asociada con la alineación global.

Claims

REIVINDICACIONES

1. Un método para combinar una pluralidad de sub imágenes alineadas globalmente en una región a combinar, el método comprende:

encontrar un conjunto de píxeles correspondientes en la pluralidad de sub imágenes alineadas globalmente; determinar, por medio de la optimización, una posición de interpolación que corresponde a una suma ponderada de las posiciones de los píxeles correspondientes;

determinar un valor de píxel de un píxel en la posición de interpolación en la región a combinar utilizando valores de píxel de los píxeles correspondientes; donde

el factor de ponderación para la posición de un píxel correspondiente en una sub imagen dada depende de la distancia relativa de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen.

2. Método según la reivindicación 1, en el que dicha determinación comprende:

a) adivinar una posición de interpolación;

b) determinar los factores de ponderación para los píxeles correspondientes;

c) calcular una posición de interpolación estimada aplicando la suma ponderada de las posiciones de los píxeles correspondientes utilizando los factores de ponderación determinados;

d) determinar un error entre la posición de interpolación estimada y la posición de interpolación adivinada y repetir los pasos a)-d) si el error excede un umbral predefinido.

3. Un método para combinar una pluralidad de sub imágenes alineadas globalmente en una región a combinar, el método comprende:

determinar una posición de interpolación en la región a combinar;

encontrar, por medio de la optimización, los píxeles correspondientes de los cuales los valores de píxel deben usarse para determinar un valor de píxel de un píxel en la posición de interpolación determinada, de modo que la posición de interpolación corresponda a una suma ponderada de las posiciones de los píxeles correspondientes; determinar el valor de píxel del píxel en la posición de interpolación en la región a combinar utilizando los valores de píxel de los píxeles correspondientes encontrados; en donde

el factor de ponderación para la posición de un píxel correspondiente en una sub imagen dada depende de una distancia relativa de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen.

4. El método según la reivindicación 3, en el que dicha búsqueda de los píxeles correspondientes comprende encontrar los píxeles correspondientes de manera que una posición de interpolación estimada, que se calcula usando una suma ponderada de las posiciones de esos píxeles correspondientes, corresponde sustancialmente a la posición de interpolación determinada, en donde los factores de ponderación que se utilizarán para dicho cálculo se calculan usando la posición de interpolación determinada.

5. El método según la reivindicación 3 o 4, en el que dicha búsqueda de los píxeles correspondientes comprende:

a) adivinar vectores de prueba ponderados para encontrar los píxeles correspondientes de modo que cuando una posición de interpolación se calculará utilizando esos píxeles, l menos correspondería sustancialmente a la posición de interpolación determinada, calculándose dichos vectores de prueba ponderados usando la posición de interpolación determinada;

b) determinar un error entre píxeles encontrados utilizando los vectores de prueba ponderados y repitiendo los pasos a)-b) si el error excede un umbral predefinido.

6. El método según la reivindicación 3 o 4, en el que dicha búsqueda de los píxeles correspondientes comprende:

a) adivinar un conjunto de posiciones de píxeles correspondientes;

b) determinar los factores de ponderación para los píxeles correspondientes;

c) calcular una posición de interpolación estimada aplicando la suma ponderada de las posiciones adivinadas de los píxeles correspondientes;

d) determinar un error entre la posición de interpolación estimada y la posición de interpolación determinada y repetir los pasos a)-d) si el error excede un umbral predefinido.

7. El método según cualquiera de las reivindicaciones anteriores, en el que dicha distancia relativa corresponde a una distancia de dicha posición de interpolación a un borde de la región a combinar asociada con esa sub imagen en relación con la suma de esas distancias para todas las sub imágenes, en donde la distancia relativa está dada preferiblemente por:

di

_¿ y _u ^N _{n = l} d _u,n

en donde d¡ es la distancia de dicha posición de interpolación a un borde de la región a combinar asociada con la sub imagen i, y en donde N es el número total de sub imágenes.

8. El método según cualquiera de las reivindicaciones anteriores, en el que el factor de ponderación para la posición de un píxel correspondiente en una sub imagen dada es igual a la distancia relativa asociada con esa sub imagen, y/o en el que el factor de ponderación disminuye si la distancia de dicha posición de interpolación a dicho borde disminuye.

9. El método según cualquiera de las reivindicaciones anteriores, en el que dicha distancia es la distancia más corta al borde.

10. El método según cualquiera de las reivindicaciones anteriores, en el que los píxeles correspondientes en la pluralidad de sub imágenes son píxeles que se relacionan con la misma región o punto de un objeto o característica que se visualiza en dicha pluralidad de sub imágenes, el preferiblemente, preferiblemente, el método comprende además usar una técnica de estimación de movimiento para encontrar píxeles correspondientes en dicha pluralidad de sub imágenes, o una técnica para encontrar correspondencias densas, tales como estimación de movimiento, estimación de flujo óptico y/o estimación de disparidad estéreo.

11. El método según cualquiera de las reivindicaciones anteriores, en el que el borde de la región a combinar asociada con una sub imagen corresponde a un borde de esa sub imagen en la pluralidad alineada de sub imágenes, en el que la región a combinar corresponde preferiblemente a una región completa en la que se superponen al menos dos o más sub imágenes.

12. El método según cualquiera de las reivindicaciones 1-10, en el que el borde de la región a combinar asociada con una sub imagen corresponde preferiblemente a un borde de esa sub imagen en la pluralidad alineada de sub imágenes, en el que la región a combinar es una región centrada alrededor de una curva a través de una región en dicha pluralidad de imágenes en la que al menos dos de dichas sub imágenes se superponen, el método comprende preferiblemente, además:

determinar un punto de referencia de corrección usando las diferencias en los valores de píxel entre los respectivos píxeles correspondientes para una pluralidad de píxeles en la región a combinar;

comparar el punto de referencia de corrección con un umbral predefinido;

si el punto de referencia de corrección excede el umbral predefinido, extendiendo la región a combinar; y/o el método comprende además preferiblemente:

determinar un campo de vector de desplazamiento en la región a combinar que indica una diferencia de posición entre los píxeles correspondientes en diferentes sub imágenes;

calcular la curva usando el campo del vector de desplazamiento, en donde la curva se calcula preferiblemente usando una técnica de optimización de menor costo, y en donde la curva se configura más preferiblemente para evitar regiones en las que los vectores de desplazamiento son relativamente grandes.

13. El método según cualquiera de las reivindicaciones predefinidas, que comprende además determinar un valor de píxel del píxel en la posición de interpolación en la región a combinar ponderando los valores de píxel de los píxeles correspondientes asociados con esa posición de interpolación usando factores de ponderación adicionales, en donde los factores de ponderación adicionales son preferiblemente idénticos a los factores de ponderación.

14. Un dispositivo para combinar una pluralidad de sub imágenes alineadas globalmente en una región a combinar, que comprende:

una memoria para contener dicha pluralidad de sub imágenes;

una unidad de determinación de la región de combinación para determinar la región a combinar; y

un procesador configurado para construir una imagen final usando la pluralidad de sub imágenes, dicha construcción comprende realizar el método como se define en cualquiera de las reivindicaciones anteriores para combinar las sub imágenes en la región a combinar.

15. Un medio de almacenamiento legible por ordenador que comprende instrucciones que, cuando se ejecutan en un procesador, le indican a este procesador que realice el método como se describe en cualquiera de las reivindicaciones 1-13.