ES2533265T3 - Un registro de imagen estéreo y sistema y procedimiento de detección de cambios - Google Patents

Abstract

Un procedimiento para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, comprendiendo el procedimiento: a) obtener (624) al menos dos conjuntos (600, 602) de imágenes estereoscópicas, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes que son tomadas desde ángulos diferentes, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes tomadas en momentos diferentes con respecto a las imágenes de los otros conjuntos; b) determinar (604) al menos dos grupos (606, 608) de imágenes, incluyendo cada uno de dichos grupos al menos dos imágenes de al menos dos de dichos conjuntos, en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, y en el que las imágenes de cada uno de dichos grupos se toman sustancialmente desde el mismo ángulo; y c) calcular (680, 682) para cada uno de dichos grupos, una lista de entidades óptimas respectiva que incluya: i) registrar (614) al menos dos imágenes de dicho grupo que den lugar a imágenes registradas; ii) detectar (618) cambios entre las imágenes registradas, dando lugar de este modo a una lista de entidades candidatas, consistiendo dicha lista de entidades candidatas en localizaciones en las que se han detectado dichos cambios; y iii) seleccionar (652) al menos cuatro entidades óptimas a partir de dicha lista de entidades candidatas de conformidad con al menos un criterio de selección, dando lugar de este modo a dicha lista de entidades óptimas; por lo que las entidades de las listas de entidades óptimas son usadas como puntos de enlace para el emparejamiento (684) estéreo de al menos dos imágenes del mismo conjunto, en el que cada una de dichas al menos dos imágenes es de uno diferente de dichos al menos dos grupos, y en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, dando lugar de este modo a al menos un par de imágenes estereoscópicas de emparejamiento estéreo.

Description

5

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

DESCRIPCIÓN

Un registro de imagen estéreo y sistema y procedimiento de detección de cambios

Campo de la invención

La presente invención se refiere, en general, a los sistemas de imágenes de detección remota y, más especialmente, a sistemas de imágenes de detección que utilizan múltiples imágenes de una escena.

Antecedentes de la invención

Las imágenes de detección remota se usan en diversos campos como la planificación urbana, militar, de inteligencia y monitorización de desastres. Muchas de las aplicaciones necesitan la capacidad de detectar cambios entre las imágenes tomadas en puntos temporales sucesivos. A pesar del hecho de que existen procedimientos conocidos en la técnica para detectar diferencias o cambios entre imágenes tomadas desde el mismo o similar ángulo, estos procedimientos son propensos a errores debido a la alta tasa de detecciones de cambios de falsa alarma (FA). La detección de falsa alarma se provoca, normalmente, por dos diferencias dimensionales (tal como cambios de sombra) entre las imágenes que en realidad no reflejan una diferencia tridimensional (“volumétrica”) física real tal como una estructura que aparece en una localización anteriormente desocupada, o un vehículo que ya no aparece en una localización en la que aparecía en una imagen anterior. Un cambio de sombra, por ejemplo, puede provocarse por un cambio en la posición de la fuente de iluminación. Además, otros factores que cambian con el tiempo tales como los cambios estacionales, las condiciones climáticas, el nivel de humedad en el suelo y otros factores crearían cambios en la forma en que los objetos se reflejan en una escena en diferentes momentos. Sin embargo, los cambios tridimensionales, volumétricos, probablemente reflejarían la aparición, la desaparición o el desplazamiento de objetos con un volumen físico real tales como casas, automóviles, contenedores de basura y así sucesivamente. Con el fin de disminuir los errores FA, es beneficioso detectar y clasificar los cambios volumétricos reales.

Un enfoque preferido usado para aumentar la sensibilidad de detección de la diferencia volumétrica sería crear primero representaciones tridimensionales (“3D”) del área (cada una correspondiente a un punto temporal diferente), y a continuación, comparar esas representaciones 3D con el fin de detectar cambios 3D. Con el fin de crear una representación 3D de un área, se usan dos o más imágenes de la misma área escaneada cada una tomada desde diferentes ángulos (“imágenes estereoscópicas”). Sin embargo, a pesar del hecho de que el enfoque anterior mejoraría, teóricamente, la sensibilidad de detección volumétrica, se ve obstaculizado por la complejidad tecnológica del registro de imágenes de la misma área escaneada tomada desde ángulos diferentes (“emparejamiento estéreo”). Las imágenes estéreo tomadas desde una diferencia de ángulo aumentada (denominadas “imágenes estereoscópicas de referencia amplia”, también conocidas en la técnica como imágenes estereoscópicas que tienen una alta relación base sobre altura (“B sobre H”)), son más difíciles para un emparejamiento estéreo.

En el texto siguiente, el término “emparejamiento estéreo” representa el procedimiento de asociación de puntos entre dos imágenes estereoscópicas (un punto en cada imagen) con el fin de generar pares de “puntos de correspondencia”. Cada par de puntos se supone que representan la misma entidad física en la escena tal como se refleja en las dos imágenes estereoscópicas. El producto del procedimiento de emparejamiento estéreo es o un conjunto escaso de puntos de correspondencia (número limitado de pares) o un conjunto denso de puntos de correspondencia (también conocido en la técnica como “emparejamiento estéreo denso”) en el que se definen un par de puntos de correspondencia para cada píxel cubierto por ambas imágenes del par estéreo. Un mapa de profundidad (una representación tridimensional del escenario) puede producirse a partir de un conjunto denso de puntos de correspondencia.

La siguiente es una lista de la técnica relacionada:

El documento US2006/0239537 publicado el 26 de octubre 2006 y titulado “Automatic processing of aerial images” desvela un aparato de detección de cambios para detectar cambios entre los pares de imágenes estereoscópicas primero y segundo obtenidos en diferentes momentos de una vista sustancialmente similar. El aparato comprende un filtro de imagen bidimensional para comparar los pares de imágenes primero y segundo para obtener una lista inicial de cambios candidatos de la información bidimensional en los pares de imágenes, y un filtro de imagen tridimensional para comparar los pares de imágenes en las localizaciones de los cambios candidatos usando la información de imagen tridimensional. El aparato conserva estos cambios candidatos que se correlacionan con el cambio de imagen tridimensional y rechaza los cambios candidatos que no se correlacionan con el cambio de imagen tridimensional, y produce una lista refinada de cambio candidatos.

El documento US4975704 titulado “Method for detecting surface motions and mapping small terrestrial or planetary surface deformations with synthetic aperture radar” desvela una técnica en base a la interferometría del radar de apertura sintética (SAR) que se usa para medir deformaciones superficiales pequeñas (1 cm o menos) con buena resolución (2,54 m) sobre grandes áreas (50 km). Se realizan dos imágenes SAR de una escena por dos antenas separadas y se realiza un interferograma de diferencias de la escena. Después de desenvolver las fases de píxeles del interferograma de diferencias, se observan el movimiento de superficie o los cambios de deformación de la superficie. Se realiza un segundo interferograma de la misma escena de un par diferente de imágenes, al menos

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

una de las cuales se hace después de algún tiempo transcurrido. A continuación, el segundo interferograma se compara con el primer interferograma para detectar cambios en la posición de la línea de visión de los píxeles. Resolviendo las observaciones de la línea de visión en sus componentes vectoriales en otros conjuntos de interferogramas a lo largo de al menos una otra dirección, pueden recuperarse en su totalidad los movimientos laterales. Existe una necesidad en la técnica de un emparejamiento estéreo de imagen de imágenes tomadas en diferentes ángulos de visión de manera amplia, por ejemplo, imágenes estéreo de referencia amplia.

Existe una necesidad adicional en la técnica de comparar las imágenes tomadas en diferentes momentos y de detectar de forma fiable los cambios volumétricos entre las mismas, tal como un nuevo emplazamiento de una construcción o una instalación militar.

Sumario de la invención

De acuerdo con los aspectos de la materia objeto desvelada actualmente, se proporciona un procedimiento, un sistema y un dispositivo de almacenamiento de programa para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, como se define en las reivindicaciones adjuntas.

Breve descripción de los dibujos

Con el fin de entender la invención y para apreciar cómo puede realizarse en la práctica, se describirán a continuación las realizaciones, solo a modo de ejemplo no limitativo, con referencia a los dibujos adjuntos, en los que:

Las figuras 1 A-C son una ilustración esquemática de un escenario simplificado de acuerdo con ciertas realizaciones de la presente invención; La figura 2 es un diagrama de flujo que ilustra una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención; La figura 3 ilustra una representación de una tabla de una lista de entidades candidatas de acuerdo con ciertas realizaciones de la presente invención; La figura 4 ilustra la arquitectura del sistema general de acuerdo con ciertas realizaciones de la presente invención; La figura 5 ilustra un diagrama de flujo para una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención; Las figuras 6 A-C ilustran un diagrama de flujo para una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención; La figura 7 es un diagrama de flujo que ilustra el procedimiento de clasificación de imágenes para los grupos cuando se desconoce el ángulo de adquisición para al menos una de las imágenes; La figura 8 es un diagrama de flujo que ilustra una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención; y La figura 9 ilustra la arquitectura del sistema de acuerdo con ciertas realizaciones de la presente invención

Descripción detallada de realizaciones

Los principios y el funcionamiento de un sistema de imágenes de detección remota y el procedimiento de acuerdo con la presente invención puede entenderse mejor con referencia a los dibujos y a la descripción que los acompaña.

Antes de explicar al menos una realización de la invención en detalle, debe entenderse que la invención no está limitada en su aplicación a los detalles de construcción y a la disposición de los componentes expuestos en la siguiente descripción o ilustrados en los dibujos. La invención es capaz de otras realizaciones o de practicarse o realizarse de diversas maneras. También, debe entenderse que la fraseología y la terminología empleada en el presente documento es para el fin de la descripción y no deben considerarse como limitantes. De acuerdo con ciertas realizaciones de la presente invención, la fraseología y terminología que implica la palabra “estéreo” (tal como “imágenes estereoscópicas”, “emparejamiento estéreo” y similares) es numéricamente no limitativo y debe interpretarse como dos o más, es decir, las imágenes estéreo pueden interpretarse como dos o más imágenes, que incluyen una escena común y se toman desde dos o más ángulos de adquisición. El emparejamiento estéreo de las imágenes puede interpretarse como el emparejamiento de dos o más imágenes estéreo.

De acuerdo con ciertas realizaciones de la presente invención, los conjuntos de imágenes, cada conjunto tomado en un punto temporal diferente y que incorpora imágenes estereoscópicas (denominadas en lo sucesivo en el presente documento “conjuntos de imágenes estereoscópicas”), se usan con el fin de facilitar el procedimiento de registro de imágenes estereoscópicas. Esto permite, de acuerdo con ciertas realizaciones de la presente invención, precisar la estimación de la altura/profundidad y posteriormente permite la detección de cambios volumétrico.

De acuerdo con ciertas realizaciones de la presente invención, las imágenes estereoscópicas usadas son imágenes estereoscópicas de referencia amplia.

De acuerdo con ciertas realizaciones de la presente invención, el término “imágenes estereoscópicas de referencia amplia” indica imágenes, que contienen una escena común, que se han tomado desde ángulos de adquisición de al

5

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

menos 10 grados diferentes.

De acuerdo con ciertas realizaciones de la presente invención, el término “imágenes estereoscópicas de referencia amplia” indica imágenes, que contienen una escena común, que se han tomado desde ángulos de adquisición de al menos 25 grados diferentes.

De acuerdo con ciertas realizaciones de la presente invención, el término “imágenes estereoscópicas de referencia amplia” indica imágenes, que contienen una escena común, que se han tomado desde ángulos de adquisición de al menos 35 grados diferentes.

De acuerdo con ciertas realizaciones de la presente invención, el término “imágenes estereoscópicas de referencia amplia” indica imágenes, que contienen una escena común, que se han tomado desde ángulos de adquisición de al menos 45 grados diferentes.

A continuación, se presentará un ejemplo básico de un escenario explicativo y se seguirá por una demostración del procedimiento de acuerdo con ciertas realizaciones de la presente invención. Es importante destacar que este ejemplo no es limitante y más simplificado solamente en aras de la claridad.

Una plataforma aérea de vigilancia (por ejemplo, un avión, un vehículo aéreo no tripulado (UAV), etc.) pasa por encima de un área de interés una vez al mes (“segmento de vuelo mensual o misión”) y toma imágenes del área desde varios ángulos cada mes.

Volviendo a los dibujos y haciendo referencia primero a la figura 1A, las imágenes 10 y 20 son dos imágenes estereoscópicas (fuera de los lotes de imágenes adquiridas en el segmento de vuelo de Enero, que se denominan “conjunto de imágenes estereoscópicas” tomadas en Enero) tomadas desde dos ángulos diferentes, por ejemplo, θº y θ°+40° respectivamente. Las imágenes 30 y 40 son dos imágenes estereoscópicas (fuera del conjunto de imágenes estereoscópicas adquiridas en el segmento de vuelo de Febrero), tomadas desde dos ángulos diferentes, por ejemplo, θ° y θ°+40º, respectivamente. Las imágenes 10 y 20 pertenecen a un conjunto y las imágenes 30 y 40 pertenecen a un segundo conjunto. La imagen 10 incluye una grúa 12, una casa 14, un lago 16 y un coche 42. La imagen 20 incluye los mismos objetos que los detallados en la imagen 10: una grúa 18, una casa 21, un lago 22 y un coche 41.

La imagen 30 incluye una grúa 24, que es la misma grúa en la misma localización que en 12, una casa 26, que es la misma casa en la misma localización que en 14, un lago 28 que es el mismo lago en la misma localización que en 16, una coche 52 que es el mismo coche que el coche 42 pero en una localización diferente y una segunda grúa 32. La imagen 40 incluye los mismos objetos detallados en 30: una grúa 34 que es la misma grúa en la misma localización que en 18, una casa 36 que es la misma casa en la misma localización que en 21, un lago 38 que es el mismo lago en la misma localización que en 22, un coche 51 que es el mismo coche que el coche 41 pero en una localización diferente y una segunda grúa 31.

Entre los momentos en que las imágenes se tomaron, Enero y Febrero, se produjeron varios cambios: ha aparecido una segunda grúa 31, 32 y el coche, visto en las imágenes 41, 42, de Enero ha cambiado su localización en las imágenes 51, 52 de Febrero.

El procedimiento de registro de las dos imágenes 30 y 40 estereoscópicas y también 10 y 20 se ejemplificará a continuación de acuerdo con ciertas realizaciones de la presente invención.

De acuerdo con ciertas realizaciones de la presente invención, se registran unos grupos de imágenes (desde este momento denominados “grupos de imágenes”), que incluyen cada uno dos o más imágenes tomadas desde ángulos similares pero en diferentes momentos (es decir, de diferentes conjuntos) y a continuación se comparan los cambios (un procedimiento denominado “detección de cambios”), como se detalla a continuación. De acuerdo con ciertas realizaciones de la presente invención, las imágenes usadas no son las imágenes originales obtenidas sino las imágenes derivadas (procesadas adicionalmente). Las imágenes derivadas pueden tratarse primero de acuerdo con los procedimientos conocidos en la técnica. Por ejemplo, puede cambiarse la resolución de la imagen, puede realizarse un procesamiento de mejora del color, etc.

De acuerdo con ciertas realizaciones, las imágenes originales se procesan con el fin de facilitar tanto el procedimiento de detección de cambios como el procedimiento de emparejamiento estéreo. Por ejemplo, antes de proceder con el procedimiento de detección de cambios normalmente las imágenes se emparejan en un histograma, un procedimiento de mapeado de tono global que garantiza que las dos imágenes son más similares en lo que respecta a la distribución de niveles de gris en las dos imágenes. Con respecto al emparejamiento estéreo, las imágenes del par estéreo deben ambas enfocarse de manera óptima. Un desenfoque o difuminado de una o ambas imágenes en el par estéreo deteriora la exactitud del mapa de profundidad final (un término explicado a continuación). Los fenómenos de difuminado o desenfoque se experimentan muy a menudo especialmente cuando la cámara está en movimiento durante el tiempo de exposición o los objetos fotografiados están en movimiento durante el tiempo de exposición. Por lo tanto, se emplean procedimientos para enfocar o difuminar la imagen según sea necesario de acuerdo con la aplicación específica.

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

El registro de imágenes de cada grupo puede hacerse de acuerdo con uno cualquiera de los diversos procedimientos conocidos en la técnica. La imagen (Ene; θ°), mostrada en A, se registra con la imagen (Feb; θ°), mostrada en C. Una vez que las dos imágenes están registradas, cada píxel se compara con el píxel correspondiente (registrado) de la otra imagen.

De acuerdo con ciertas realizaciones de la presente invención, la detección de cambios entre 10 y 30 se realiza de acuerdo con el diagrama de flujo presentado en la figura 2. La entrada al procedimiento de detección de cambios es un par de imágenes registradas, por ejemplo, la imagen A (202) y la imagen C (204). Cada píxel en cada imagen se procesa para extraer características para la detección de cambios, 205. Las características posibles usadas para la detección de cambios pueden basarse, por ejemplo, en características en base a la intensidad, la textura y el color. Ejemplos de características en base a la intensidad son la media local y la desviación convencional local. Las características en base a la textura contienen información sobre la distribución espacial de las variaciones tonales en las proximidades del píxel. Las características texturales usadas en la técnica son: gradientes de borde o vector de diferencia de nivel de gris (GLDV), matriz de coocurrencia (GLCM), funciones de correlación espacial y criterios en base a un modelo tal como los campos aleatorios de Markov (MRF). De acuerdo con ciertas realizaciones de la presente invención, se calculan ambas características en base a la intensidad y en base a la textura por medio de la convolución de la imagen con una ventana deslizante. El tamaño de la ventana se elige para que sea un número impar tal como 3, 5, 7, 9, etc., de tal manera que se asigna el píxel medio en la ventana con el valor calculado de la ventana.

Las características en base al color son valores de píxeles. Los ejemplos típicos de las características en base al color son vectores verde-azul-rojo (RGB) y varias otras transformaciones del espacio del color RGB, como tonosaturación-valor (HSV), LaB y otros. Después de la extracción de las características en cada imagen, se obtiene un vector de características para cada píxel en el que cada componente del vector representa el valor de la característica especial en esa localización del píxel. Cada función puede considerarse como un nuevo plano de la imagen. En el ejemplo del diagrama de flujo, se han extraído tres características. Se muestran los tres planos de características (que comprenden tres vector de valores para cada píxel de la imagen) para una imagen 202 y 204 (206 y 208, respectivamente). La comparación 207 de pixel equivale a la comparación de dos vectores por cada píxel. Esto puede lograrse de muchas maneras alternativas conocidas en la técnica. Por ejemplo, uno puede comparar cada componente del vector y a continuación calcular el valor residual resultante. Para dos vectores iguales este debería ser pequeño. Otra forma posible sería calcular el producto escalar de los dos vectores. En este caso para la igualdad de vectores, por ejemplo, “sin cambios”, el producto escalar normalizado debería estar cerca de la unidad. En cualquier caso, el producto final resultante de esta fase es una probabilidad (por lo general entre 01) de cambio (LC) de imagen normalizada, 210. Valores altos en la LC de imagen representan las probabilidades de un “cambio” definitivo, mientras que valores bajos en la LC representan probabilidades de “no cambio”. La probabilidad de cambio LC de imagen normalizada se compara con un umbral para detectar localizaciones “candidatas” para los cambios 212. El umbral usado en esta fase es un umbral global que puede ser bastante permisivo, por ejemplo, aceptando todos los cambios posibles que incluyen aquellos con una probabilidad relativamente débil de cambio. A todas las localizaciones en la imagen LC más grandes que el umbral se las asigna el valor 1 y a las localizaciones con valores LC menores que el umbral se les asigna el valor cero. Esta operación se denomina “binarización de imagen”. Una matriz 214 binaria (compuesta de píxeles que tienen solo los valores “0”y “1”; también conocidos como “imagen binaria”) tiene el resultado de la comparación píxeles. Para cada píxel (representado por un par de coordenadas), en el que se detecta un cambio, se introduce el valor 1. Todos los otros píxeles de la imagen binaria obtienen el valor “0”.

Volviendo a la figura 1A, 50 y 60 son las dos imágenes binarias resultantes de la detección de cambios de 10 -30 y 20 -40, respectivamente. Las áreas de píxeles de valor “1” y “0” se muestran en gris y blanco, respectivamente.

De acuerdo con ciertas realizaciones de la presente invención, todos los píxeles asignados al valor 1 se agrupan en objetos (denominados “entidades candidatas”) por lo que se conoce en la técnica como un procedimiento de etiquetado de componentes conectados. Cada entidad candidata puede caracterizarse adicionalmente por un número de características. Por ejemplo, algunas características explícitas medidas en cada entidad candidata son:

(1) área de objeto, (2) centroide de objeto, (3) longitud del eje mayor, (4) longitud del eje menor, y (5) orientación.

Las entidades candidatas se mantienen en una tabla denominada “lista de entidades candidatas”.

Se proporciona un ejemplo de la lista de entidades candidatas en la figura 3.

De acuerdo con ciertas realizaciones de la presente invención, cada entidad candidata está asociada con un conjunto de coordenadas que representan la localización de la entidad candidata en la imagen (por ejemplo, usando un par de valores, uno representa la localización con respecto al eje horizontal y el segundo con respecto al eje vertical). Se conocen en la técnica diferentes procedimientos posibles para calcular un conjunto de coordenadas.

De acuerdo con ciertas realizaciones de la presente invención, se usan las coordenadas de un solo píxel (denominado “punto de gravedad”). Por ejemplo, las coordenadas horizontales y verticales del punto de gravedad pueden calcularse promediando las coordenadas horizontales y verticales de todos los píxeles “1” de la entidad candidata de la imagen binaria correspondiente.

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

La tabla 300 en la figura 3 representa una lista de entidades candidatas de acuerdo con ciertas realizaciones de la presente invención. La tabla incluye un número de identificación interno que se proporciona para cada entidad 302 candidata, los detalles del punto de gravedad (por ejemplo, como se muestra en el ejemplo específico que se muestra en la tabla, se proporcionan las coordenadas del punto de gravedad, por ejemplo, (xc, yc) (304, 306, respectivamente)), un número de valores para las características tales como el área 308 de superficie, la longitud 310 del eje mayor y la longitud 312 del eje menor y una puntuación final normalizada a valores entre 0 y 1 (314). La puntuación final se agrega combinando, por ejemplo, el área del objeto, la relación entre la longitud del eje mayor y la longitud del eje menor y el valor medio de los píxeles LC que componen el objeto. La puntuación final es una marca de credibilidad asociada con un cambio específico.

Volviendo a la figura 1A, de una manera similar al procedimiento descrito anteriormente, la imagen 20, está registrada con la imagen 40 y se realiza la detección de cambios. Este procedimiento da como resultado una segunda imagen 60 binaria y una segunda lista de entidades candidatas.

El procedimiento descrito anteriormente implica el registro de imágenes tomadas desde un ángulo similar (10 con 30 y 20 con 40). Obsérvese que es posible y aceptable una cierta desviación en el ángulo de adquisición de imagen entre los diferentes conjuntos, (debido a razones tales como fotografiar inexactitudes del curso de vuelo de plataforma y otras). Por ejemplo, la imagen 10, adquirida desde el ángulo θ° podría haberse adquirido en un ángulo ligeramente diferente de la imagen 30 (θ° + ) pero por razones de conveniencia, ambas se describen como adquiridas en el mismo ángulo, θ°.

De acuerdo con ciertas realizaciones de la presente invención, el término θ° reflejará un ángulo o de adquisición sustancialmente similar o idéntico.

De acuerdo con ciertas otras realizaciones de la presente invención, las imágenes que pertenecen al mismo grupo y se usan para el procedimiento de detección de cambios se han tomado desde dos ángulos de adquisición, con 5 grados de separación a lo sumo.

El resultado del procedimiento descrito anteriormente es de dos imágenes 50 y 60 binarias que representan los cambios detectados, que definen dos listas de entidades candidatas, uno en un ángulo θ° y el segundo en un ángulo θ° + 40°.

El procedimiento de detección de cambios entre la imagen 10 y la imagen 30 da como resultado una lista de entidades candidatas que incluye una grúa 62 y dos cambios que resultan de la disposición del coche: 72, 82. También se incluyen en la lista de entidades candidatas varias otras entidades candidatas que no son cambios volumétricos reales, tales como las sombras 84, 86, 105 y los cambios debidos al ruido 94 (por ejemplo, en el procedimiento de adquisición de imagen).

La comparación entre la imagen 20 y la imagen 40 revela tres cambios: la grúa 61 y dos cambios que resultan de la disposición del coche: 71, 81. También se incluyen en la lista de entidades candidatas varias otras entidades candidatas que no son cambios volumétricos reales, tales como las sombras 83, 89, 93 y los cambios debidos al ruido 91, 92, 88.

De acuerdo con ciertas realizaciones de la presente invención, el emparejamiento estéreo de las dos imágenes 10 y 20 estereoscópicas se inicia usando varios pares de puntos de enlace (denominados “puntos de correspondencia de origen”). En cada par se deriva un punto de correspondencia de origen de una lista de entidades candidatas y el otro punto de correspondencia de origen de la segunda lista. A continuación, se explica el procedimiento de derivación de puntos de correspondencia de origen de las listas de entidades candidatas.

De acuerdo con ciertas realizaciones de la presente invención, se elige un subgrupo de entidades candidatas (denominadas “entidades óptimas”) de la lista de entidades candidatas usando ciertos criterios.

De acuerdo con ciertas realizaciones de la presente invención, con el fin de seleccionar entidades óptimas de entre las entidades candidatas, las dos listas de entidades candidatas se evalúan primero con respecto a un criterio predeterminado (denominado “criterio de selección”) y a continuación se seleccionan en consecuencia.

Por ejemplo, puede usarse un criterio de área de entidades candidatas. El área de las candidatas se usa como un medio para eliminar pequeñas entidades candidatas irrelevantes y también entidades candidatas demasiado grandes de mayor consideración. Las características de cada entidad candidata, como se muestra en la figura 3, pueden usarse de este modo con el fin de probar las entidades candidatas y seleccionar las entidades óptimas.

Volviendo a 50 y 60 en la figura 1A, se seleccionan dos subgrupos de entidades candidatas, uno de cada imagen. En el presente ejemplo las entidades se han evaluado en base al criterio de área de superficie y se han seleccionado en consecuencia. En este ejemplo específico, solo se seleccionan las entidades candidatas cuya área supera un determinado umbral de cada lista de entidad candidata. De este modo, las entidades 94, 86, 105 entre 50 candidatas y las entidades 88, 89, 91 y 92 de 60 candidatas se rechazan y las restantes entidades 62, 72, 82, 84, 86 y 61, 71, 81, 83, 93 seleccionadas se muestran en la figura 1B 70 y 80, respectivamente.

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

El criterio de área descrito anteriormente depende de una característica de la entidad candidata por sí misma. De acuerdo con ciertas realizaciones de la presente invención, cada entidad candidata de una lista se empareja a una entidad candidata de la segunda lista. En el caso de que una entidad candidata no pueda emparejarse con una entidad candidata correspondiente de la segunda lista, se elimina de una consideración adicional. Una vez más, las características de cada entidad candidata, como se muestran en la figura 3, son útiles para el fin de emparejamiento de entidades candidatas. Como se muestra por las líneas de puntos entre 70 y 80, se usa el perfil de características de cada entidad candidata (es decir, el área superficial, el color, etc.) con el fin de emparejar una entidad candidata de 70 con la entidad candidata probable correspondiente de 80. Por ejemplo, dos entidades candidatas se parean si tienen sustancialmente la misma área de superficie, o sustancialmente la misma relación longitud de eje mayor a longitud del eje menor. De esta manera, 82, 86, 62, 84 y 72 se hacen emparejar con 81, 93, 61, 83 y 70, respectivamente.

De acuerdo con ciertas realizaciones de la presente invención, el procedimiento de pareado puede ser otra fase en la que se eliminan las entidades candidatas. Por ejemplo, una entidad candidata se eliminaría si no pudiese parearse con una sola entidad candidata de la otra lista de entidades candidatas.

Las entidades candidatas conservadas son las “entidades óptimas” y se transfieren a la lista definitiva de detecciones denominada “lista de entidades óptimas”. Obsérvese que en el presente ejemplo solo se especifican dos grupos de imágenes de una manera no limitativa y de acuerdo con ciertas realizaciones de la presente invención; pueden usarse múltiples grupos de imágenes para seleccionar múltiples listas de puntos de correspondencia de origen.

De acuerdo con ciertas realizaciones de la presente invención, se usan múltiples criterios de selección con el fin de seleccionar las entidades óptimas. Por ejemplo, cada entidad candidata puede evaluarse con respecto al criterio de área y, además, con respecto al criterio de color.

De acuerdo con ciertas realizaciones de la presente invención, los puntos de gravedad que se han determinado anteriormente para cada entidad candidata ahora se usan de nuevo. Cada punto de gravedad de la entidad óptima se parea con el punto de gravedad correspondiente de la otra imagen estereoscópica de acuerdo con los criterios de forma y emparejamiento de colores mencionados anteriormente. Los puntos de gravedad de las entidades óptimas se denominan puntos de correspondencia de origen y se usan para iniciar el procedimiento de emparejamiento estéreo integral. El pareado de los puntos de gravedad sigue su pareado de entidad candidata correspondiente. 90 y 100 muestran el resultado del procedimiento de pareado del punto de gravedad: los puntos 104, 106, 108, 111 y 112 de gravedad se parean con 116, 124, 121, 122 y 118, respectivamente. Esos puntos de correspondencia de origen pareados se usan como “puntos de enlace” para iniciar un procedimiento de registro de emparejamiento estéreo integral entre las imágenes estéreo tomadas en el mismo momento (por ejemplo, tomadas en Febrero). Estos puntos de gravedad se utilizan para el procedimiento de emparejado estereoscópico tal como se conoce anteriormente en la técnica (un procedimiento denominado también de “anclaje”) para dar lugar a la imagen estereoscópica registrada.

De acuerdo con ciertas realizaciones de la presente invención, las imágenes usadas para la fase de emparejamiento estéreo no son las imágenes originales obtenidas sino las imágenes derivadas (procesadas adicionalmente).

De acuerdo con ciertas realizaciones de la presente invención, una vez que las dos imágenes están ancladas correctamente por medio de un conjunto inicial de puntos de correspondencia de origen, puede iniciarse a continuación el procedimiento de emparejamiento estéreo integral.

De acuerdo con ciertas realizaciones de la presente invención, en el procedimiento de emparejamiento estéreo, el emparejamiento de los puntos de correspondencia de origen puede ir seguido de un procedimiento de registro integral de dos tipos: el así llamado registro escaso, en el que un número limitado de píxeles por cualquier área dada de las imágenes se parea a través de las imágenes estereoscópicas. Otro tipo de procedimiento de registro es el así llamado registro denso (o “emparejamiento estéreo denso”) en el que todos los píxeles dentro de un área dada se parean a través de las imágenes estereoscópicas (véase, por ejemplo: Krau, P. Reinartz, M. Lehner, M. Schroeder,

U. Stilla, “DEM Generation from Very High Resolution Stereo Satellite Data in Urban Areas Using Dynamic Programming”; Y. Ohta, T. Kanade, “Stereo by intra and inter scanline search using Dynamic Programming”, IEEE TPAMI. 1985, 7(2): 139-154; I.J. Cox, S. Roy, SL Hingorani, “Dynamic histogram warping of image pairs for constant image brightness”, IEEE ICIP 1995, (2): 366-369; D. Scharstein, R. Szeliski, “ A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms”; S. Birchfield, C. Tomasi, “ Depth Discontinuities by pixel to pixel stereo”, ICCV 1998, páginas 1073-1080; I.J. Cox, S.L. Hingorani, S.B. Rao, B.M. Magges, “A maximum likelihood stereo algorithm”, CVIU 1996, 63 (3): 542-567; D. Geiger, B. Ladendorf, A. Yuille, “Occlusions and binocular stereo”, ECCV 1992, 425-433).

El producto del procedimiento de emparejamiento estéreo descrito hasta ahora ha registrado imágenes estereoscópicas para cada uno de los diferentes conjuntos usados. Esto permite una siguiente fase en la que se detectan cambios volumétricos entre los conjuntos. El término imágenes estereoscópicas registradas indica una lista de pares de píxeles emparejados entre dos imágenes emparejadas estéreo cualquiera, y por lo tanto no se muestra como una imagen. La lista puede representarse por una tabla con las coordenadas X e Y de cada píxel en cada par.

10

15

20

25

30

35

40

45

50

55

60

E08842731

18-03-2015

De acuerdo con ciertas realizaciones de la presente invención, una vez que el procedimiento de emparejamiento estéreo se ha cumplido, la lista inicial de entidades candidatas se vuelve a revaluar como un cambio volumétrico como se detallará adicionalmente a continuación.

El procedimiento de emparejamiento estéreo integral da lugar a dos imágenes estereoscópicas registradas a partir de las cuales puede producirse una representación de datos tridimensional del área de interés (denominada “mapa de profundidad”). De acuerdo con ciertas realizaciones de la presente invención, los mapas de profundidad se producen solo en secciones limitadas de la imagen registrada (“mapas de profundidad locales”). Por ejemplo, los mapas de profundidad locales pueden producirse en las regiones que se corresponden con la circunferencia de entidades candidatas. De acuerdo con otras realizaciones de la presente invención, se produce un mapa de profundidad completo cubriendo todo el escenario. Por ejemplo, en base al emparejamiento estéreo de imágenes estereoscópicas adquiridas en Febrero, se produce la imagen 110 tridimensional mostrada en la figura 1B. La altura relativa de la superficie podrá presentarse usando colores de la escala de grises. Los colores más claros representan mayor altitud que los colores más oscuros como se muestra en 110 y 120 para las imágenes estereoscópicas registradas en Febrero y Enero, respectivamente. Las alturas presentadas en esos mapas de profundidad son alturas relativas que significan la diferencia de altura entre dos puntos cualesquiera en el mismo mapa de profundidad que pueden recuperarse. Con el fin de comparar los puntos entre los diferentes mapas de profundidad, puede necesitarse un procedimiento de normalización de altura. Este procedimiento da lugar a dos imágenes de profundidad que tienen una referencia de altura total común, de este modo los puntos en los que no se cambia la altura están representados por el mismo color. Por ejemplo, el pixel 101 (representado por un círculo cruzado) está a una altura relativa +5 mientras que el pixel 102 (representado por un círculo cruzado) está a una altura relativa +1. Por lo tanto, se puede concluir que se ha producido un cambio volumétrico en ese píxel específico entre Enero y Febrero. Las imágenes 110 y 120 representan ejemplos de mapas de profundidad completos (es decir, se determina la altura relativa en cada píxel derivado de las imágenes originales). Un ejemplo de un mapa de profundidad local sería la determinación de la altura relativa solo dentro del área de las entidades 103 y 105 candidatas. De esta manera, las dos entidades se prueban para cambios volumétricos sin la necesidad de calcular el resto del mapa de profundidad.

De acuerdo con ciertas realizaciones de la presente invención, una vez que se han producido los mapas de profundidad, la lista inicial de entidades candidatas se reevalúa en contraste con los mismos y a continuación cada entidad candidata se prueba y clasifica como o siendo plano o volumétrico. Por lo tanto, volviendo a las imágenes 50 y 60, cada una de las entidades mostradas en 50 o 60 se reevalúa a continuación de acuerdo con los mapas 110 y 120 de profundidad. Si las coordenadas de una entidad candidata muestran diferentes alturas entre 110 y 120, se clasifica como un cambio volumétrico. Un ejemplo de una posible manera de comparar la altura de una entidad candidata entre dos mapas de profundidad es calcular la altura media del pixel que representa su punto de gravedad y los ocho píxeles alrededor del mismo. De acuerdo con ciertas realizaciones de la presente invención, puede usarse toda el área de las entidades candidatas, restando los valores de altura en un mapa de profundidad de los otros, promediando los valores que resultan y comparándolos con un umbral. Se conocen otros procedimientos alternativos en la técnica incluyendo el procedimiento para la detección de cambios descrito anteriormente en el que se tratan los dos mapas de profundidad como imágenes de nivel de gris.

Por ejemplo, el punto de gravedad de la entidad 62 candidata que ha aparecido en 50 se superpone sobre las imágenes 110 y 120 tridimensionales (101 y 102 respectivamente) y se compara el color (que representa la altitud) en las dos imágenes 110 y 120 correspondientes. Como se muestra en 110 y 120, la altura relativa es diferente entre las dos imágenes. La entidad candidata se revalúa de este modo como siendo un cambio volumétrico.

De acuerdo con ciertas realizaciones de la presente invención, el resultado del procedimiento de detección de cambios volumétricos es una lista de los cambios detectados que pueden hacerse llegar a las herramientas de análisis automáticas para su posterior categorización y documentación. También puede usarse para derivar una imagen visualizada para un usuario humano.

De acuerdo con ciertas realizaciones de la presente invención, las entidades candidatas que se han reevaluado como cambios volumétricos pueden mostrarse como tales a un usuario, usando uno cualquiera de los numerosos procedimientos de visualización que marcan y enfatizan los cambios volumétricos, en relación con el momento en que se ha detectado el cambio. Por ejemplo, haciendo referencia a la figura 1C, 130 y 140 presentan el grupo completo de cambios volumétricos detectados entre Enero y Febrero. Las entidades mostradas en esas imágenes son los cambios volumétricos reales como reevaluados anteriormente: el coche, como aparece en las imágenes 131, 136 de Febrero, el coche, como aparece en las imágenes 134, 141 de Enero y la grúa que aparece en las imágenes 132, 138 de Febrero.

De acuerdo con ciertas realizaciones de la presente invención, puede mostrarse uno cualquiera de los procedimientos de visualización detallados a continuación y también otros procedimientos para presentar las entidades de cambio volumétrico como una capa adicional sobre el fondo de una cualquiera de las imágenes (10-40) estereoscópicas originales o en el fondo de uno cualquiera de los mapas 110 o 120 de profundidad.

De acuerdo con ciertas realizaciones de la presente invención, es beneficioso y más relevante presentar tales cambios con respecto al momento en que ha ocurrido el cambio. Por ejemplo, en el escenario descrito

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

anteriormente, podría ser beneficioso marcar la diferencia volumétrica de acuerdo con el mes en que el objeto aparecía. En 150 y 160 esta información adicional se incorpora mediante un sistema de marcaje gráfico en el que las diferencias de Enero se marcan por un marco negro alrededor de la entidad y los cambios de Febrero se marcan por un marco rayado.

De acuerdo con ciertas realizaciones de la presente invención, puede producirse una muestra de esas entidades que ha aparecido solo en un momento específico de adquisición (es decir, Febrero), por ejemplo, con respecto al conjunto de Febrero de imágenes estereoscópicas como se muestra en 170 y 180.

Hasta este momento, se han mostrado ejemplos no limitantes del procedimiento de registro de imágenes estereoscópicas y de detección de diferencias volumétricas. Estos ejemplos no limitantes se relacionan con un escenario que implica solo dos pares de imágenes, perteneciendo cada par a uno de los dos conjuntos. Perteneciendo cada imagen en un par solo a uno de los dos grupos, que corresponde a uno de los dos ángulos de adquisición (θ° y θ° + 40°, respectivamente). La presente invención no está limitada en su aplicación a los detalles de construcción y a las características expuestas en los ejemplos anteriores.

A continuación se explica en más detalle la secuencia de operaciones y la arquitectura del sistema de la presente invención.

La figura 4 ilustra una arquitectura general de sistema de acuerdo con ciertas realizaciones de la presente invención. Se muestra en la figura 4 una pluralidad de sistemas 520I -520n informáticos, cada uno de los cuales está configurado para realizar las fases del procedimiento que se describen, por ejemplo, con referencia a la figura 5 y a la figura 6. Cada uno de los sistemas informáticos tal como el sistema 520I incluye un procesador 522 conectado de manera operativa al almacenamiento 524, incluyendo el almacenamiento una memoria 526 de acceso aleatorio (RAM) y un almacenamiento 528 no volátil tal como una unidad de disco duro, una unidad óptica o similares. Como puede apreciarse, el almacenamiento 528 no volátil puede usarse junto con la RAM 526 para proporcionar una cantidad relativamente grande de memoria virtual a través de técnicas de intercambio bien conocidas.

El sistema 520I informático también incluye al menos un dispositivo 530 de entrada, normalmente un teclado y/o un dispositivo de puntero de usuario tal como un ratón, conectado a través de una circuitería 532 de entrada-salida (E/S) para comunicar órdenes de usuario al procesador 522. Del mismo modo, al menos un dispositivo 534 de salida local tal como un monitor de pantalla de ordenador y unos altavoces están conectados a la E/S 532 para comunicar la información, tal como a través de una interfaz gráfica de usuario, desde el procesador 522 al usuario del sistema 520I.

Aunque no es necesario para la invención, el sistema 520I informático se comunica preferentemente con un servidor 536 de red y/u otros ordenadores o similares a través de una circuitería 538 de interfaz de red apropiada. Para este fin, la circuitería 538 comprende unas tarjetas adaptadoras de red de área local, puertos serie o similares mediante los cuales puede transmitirse la información hacia y desde el sistema 520I informático. Tales conexiones de red se conocen y no se describen en detalle en el presente documento.

Teniendo esto en cuenta, a continuación se llama la atención sobre la figura 5 que ilustra un diagrama de flujo de la secuencia de operaciones realizadas por el procesador 522 de la figura 4 de acuerdo con ciertos aspectos de la presente invención. El procesador 522 de la figura 4 está configurado para realizar las siguientes operaciones. Por lo tanto, la operación 624 incluye obtener dos conjuntos (600, 602) de imágenes estereoscópicas (las imágenes se almacenan en un almacenamiento 528 no volátil de la figura 4), cada uno de los conjuntos incluye un número de imágenes que incluyen un escenario común (por ejemplo, una sección de terreno común). En el diagrama de la figura 5, las imágenes 626, 628 del conjunto 600 incluyen el mismo escenario desde dos ángulos diferentes y las imágenes 630, 632 del conjunto 602 incluyen el mismo escenario desde diferentes ángulos. La manera en que se han recopilado las imágenes para los diferentes conjuntos no está limitada por el procedimiento de la presente invención. De acuerdo con algunas realizaciones, las imágenes se separan en diferentes conjuntos de acuerdo con el segmento de vuelo en que se han tomado, es decir, todas las imágenes tomadas en el mismo segmento de vuelo se recopilan en un conjunto. De acuerdo con otras realizaciones, las imágenes pueden separarse en diferentes conjuntos de acuerdo con el momento de adquisición de la imagen, por ejemplo, todas las imágenes tomadas en el mismo período de luz del día se recopilan en un conjunto. En el presente ejemplo, cada conjunto se ha tomado en un momento diferente. De acuerdo con ciertos aspectos de la presente invención, pueden obtenerse más de dos conjuntos. De acuerdo con ciertas realizaciones de la presente invención, pueden incluirse en cada conjunto más de dos imágenes que incluyen el mismo escenario. Por simplicidad solamente, el diagrama de la figura 5 describe un escenario que implica dos conjuntos, teniendo cada uno dos imágenes solamente.

De acuerdo con ciertos aspectos de la presente invención, las imágenes 634, 636, 638 y 640 usadas no son las imágenes originales obtenidas sino imágenes derivadas (procesadas adicionalmente). Las imágenes derivadas pueden procesarse primero de acuerdo con los procedimientos conocidos en la técnica. Por ejemplo, puede cambiarse la resolución de las imágenes; puede realizarse un procesamiento de mejora del color, etc.

En la operación 604 se determinan los grupos 606, 608 de imágenes; cada grupo incluye una imagen de cada uno de los conjuntos. De acuerdo con ciertas realizaciones, se han tomado las imágenes dentro de un grupo

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

sustancialmente desde el mismo ángulo (punto de vista): 634, 636 y 638, 640, respectivamente.

De acuerdo con ciertas otras realizaciones de la invención, las imágenes dentro de cada grupo se han adquirido desde un punto de vista similar. Por ejemplo, de acuerdo con ciertas realizaciones, todas las imágenes dentro del mismo grupo se han tomado desde ángulos de adquisición dentro de un intervalo de 10 grados o menos. En otras palabras, no existen dos imágenes dentro del grupo con un ángulo de adquisición que se diferencie más de 10 grados.

Este ejemplo no es limitante y viene a ilustrar el requisito de las imágenes dentro de un grupo que tiene un escenario común desde perspectivas relativamente similares. Puede usarse cualquier procedimiento conocido destinado a recopilar imágenes para grupos. Por ejemplo, en el caso de que no se especifique el ángulo de adquisición para cada imagen, pueden aplicarse procedimientos de ensayo y error (combinatoria) y medirse la eficacia del agrupamiento en términos de calidad o éxito del registro del grupo (o del emparejamiento estéreo final) como se detallará más adelante.

Volviendo a la figura 5, en la operación 680 y 682, se produce una lista de puntos de correspondencia de origen para el grupo 606 y se produce otra lista de puntos de correspondencia de origen para el grupo 608. La lista de puntos de correspondencia de origen puede calcularse registrando y comparando la imagen dentro de cada grupo y detectando los puntos, en las imágenes que pueden usarse como puntos de enlace más tarde en el procedimiento. Por ejemplo, detectando las regiones de cambio entre las imágenes.

En la operación 684, las imágenes 626 y 628 se emparejan de forma estéreo usando los orígenes de la lista de puntos de correspondencia de origen como puntos de enlace iniciales, de este modo se produce una imagen estereoscópica registrada. Las imágenes 630 y 632 también se emparejan de forma estéreo de una manera similar, se produce de este modo una segunda imagen estereoscópica registrada. El éxito del procedimiento de emparejamiento estéreo puede evaluarse calculando una medida (Q) de similitud normalizada para el procedimiento de emparejamiento estéreo como se explica a continuación en relación con la figura 7.

Haciendo referencia a la figura 6, de acuerdo con ciertas realizaciones de la presente invención, la operación de cálculo de una lista de puntos de correspondencia de origen respectiva para cada uno de los grupos puede incluir las siguientes operaciones. En la operación 614 se registran cada una de las imágenes del grupo. El éxito de la operación de registro puede evaluarse calculando una medida de similitud normalizada como se explica a continuación en relación con la figura 7.

En las operaciones 618, se realiza un procedimiento de detección de cambios entre las imágenes de un mismo grupo, y el producto es una imagen binaria de cambio que refleja los cambios detectados. En la operación 622, las entidades candidatas se definen para cada una de las imágenes binarias y se insertan en dos listas de entidades candidatas. Por lo tanto, cada uno de los grupos 606 y 608 tiene ahora una lista de entidades candidatas asociadas con las mismas. En la operación 652 se seleccionan al menos cuatro entidades óptimas de entre la lista de entidades candidatas del grupo 606 y al menos cuatro entidades óptimas de entre la lista de entidades candidatas del grupo 608 de acuerdo con un criterio de selección.

De acuerdo con ciertas realizaciones de la presente invención, la operación de selección de al menos cuatro entidades óptimas de entre la lista de entidades candidatas del grupo 606 y al menos cuatro entidades óptimas de entre la lista de entidades candidatas del grupo 608 puede incluir la evaluación de las entidades candidatas de acuerdo con al menos uno de los criterios de un grupo de criterios de selección. Estos criterios pueden incluir, por ejemplo, un criterio de tamaño de área de superficie. En este caso, las entidades candidatas se evaluarán de acuerdo con su tamaño de área. Como otro ejemplo, para un criterio de selección, las entidades candidatas pueden evaluarse con respecto a un criterio de intensidad. Se seleccionarían las entidades candidatas más oscuras y se rechazarían las entidades candidatas más luminosas.

De acuerdo con ciertas realizaciones de la presente invención, la operación de emparejamiento estéreo de las imágenes 626 y 628 y también de las imágenes 630 y 632 usando las entidades óptimas como puntos de enlace iniciales pueden incluir las siguientes operaciones. Los puntos de correspondencia de origen se calculan para cada una de las entidades óptimas en la operación 656. De acuerdo con ciertas realizaciones de la presente invención, los puntos de gravedad se han calculado anteriormente para todas las entidades candidatas y por lo tanto se recuperan de la tabla de la figura 3 en lugar de calcularse. Los puntos de correspondencia de origen se superponen en las imágenes 626 y 603 estereoscópicas y en las imágenes 628 y 632 en la operación 660. En la operación 662 las imágenes 626 y 603 se emparejan de forma estéreo usando los puntos de gravedad como puntos de enlace iniciales, por lo que se produce un par de imágenes estereoscópicas registradas. Las imágenes 628 y 632 también se emparejan de forma estéreo usando los puntos de gravedad como puntos de enlace iniciales, por lo que se produce un segundo par de imágenes estereoscópicas registradas.

Habiendo descrito ciertas realizaciones de la presente invención, se proporciona ahora una exposición de elementos adicionales que pueden incluirse de acuerdo con ciertas realizaciones de la presente invención. En la operación 664 se producen mapas de profundidad para cada una de las imágenes estereoscópicas registradas, reflejando la altura relativa del escenario. Los mapas de profundidad incluyen al menos las coordenadas correspondientes a las

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

coordenadas de entidades candidatas. En la operación 668 se reevalúan las entidades candidatas de las listas de entidades candidatas en contraste con los dos mapas de profundidad para encontrar la altura relativa de cada entidad candidata como aparece en los mapas de profundidad y la altura relativa de cada una de esas entidades candidatas se compara entre los dos mapas de profundidad. En la operación 670, se clasifica cada una de las entidades candidatas reevaluadas como una diferencia volumétrica en el caso de que la reevaluación muestre una diferencia de altura entre los mapas de profundidad en la operación anterior. En la operación 672 se presentan los cambios volumétricos detectados en un dispositivo 534 de salida de usuario en la figura 4.

Debería entenderse que la invención no está limitada en su aplicación a los detalles y a la disposición de las operaciones expuestas en las figuras 5-6. De acuerdo con ciertas realizaciones de la presente invención, ciertas operaciones del diagrama de flujo pueden omitirse o alterarse, otras pueden añadirse y el orden en que se realizan ciertas operaciones del diagrama de flujo puede variar sin alejarse del ámbito de la anterior descripción y/o las reivindicaciones.

En el caso de que no se conozca el ángulo de adquisición para cada imagen, la clasificación de las imágenes para grupos puede realizarse como se explica a continuación. En este caso, la eficacia de la agrupación se mide en términos de calidad o éxito del registro como se detalla más adelante con relación a la figura 7.

La figura 7 es un diagrama de flujo que ilustra el procedimiento de clasificación de imágenes para grupos cuando se desconoce el ángulo de adquisición para al menos una de las imágenes.

Se proporciona una recopilación de imágenes (por ejemplo, un lote de imágenes almacenadas en una base de datos), que cubre aproximadamente la misma escena, tomada desde dos ángulos de adquisición desconocidos pero distintos, cada imagen se marca con su propia etiqueta de tiempo.

El fin es dividir la recopilación de imágenes en dos grupos (grupo A y B) en el que cada grupo incluye imágenes tomadas desde ángulos de perspectiva similar.

Una vez que una imagen del grupo A se empareja con una imagen elegida del grupo B, se forma un par estéreo y se produce una medida Q de similitud normalizada (0 < Q < 1) para caracterizar el grado de su similitud/diferencia. (0 significa diferencia y 1 significa muy similar).

En la operación 710, se selecciona una imagen al azar de la recopilación y se asigna al grupo A. En la operación 720, se intenta que se registre la imagen seleccionada al azar con cada una de las imágenes restantes. Obsérvese que en una recopilación de N imágenes, se necesitan (N-1) procedimientos de registro. En la operación 730, para cada procedimiento de registro, se genera un vector de parámetros (q1... t) de similitud. En la operación 740, se usa cada vector (q1... t) de parámetros de similitud para producir una medida Q de similitud normalizada para cada intento de registro. Después de que se hayan registrado todas las imágenes (N-1) para la primera imagen captada al azar, el resultado es N-1 medidas (Q1... N-1) de calidad que muestran cómo son esas imágenes de similares/diferentes en relación con la primera imagen captada.

En la operación 750, se calcula un umbral de similitud, marcado como ThQ, usando el siguiente procedimiento de cálculo de umbral:

ThQ = (MIN (Q1…N-1) + (MAX (Q1…N-1))/2;

Donde (Q1…N-1) son las N-1 medidas de similitud normalizadas, una para cada uno de los registros.

El procedimiento anterior es una manera posible para calcular un umbral de similitud, ThQ, de acuerdo con ciertas realizaciones de la presente invención. También pueden usarse otros procedimientos, tales como usar un valor umbral de similitud definido de antemano, en base a datos estadísticos del pasado.

Las N-1 imágenes que se han intentado registrar en contraste con la primera imagen seleccionada al azar se clasifican en o el grupo A o en el grupo B en la operación 760. Para cada una de esas N-1 imágenes, si la medida de similitud normalizada está por encima de ThQ en una escala normalizada entre 0 y 1, la imagen se considera que pertenece al mismo grupo que la primera imagen seleccionada al azar (grupo A). Si, por otra parte, el grado de similitud está por debajo del umbral ThQ de similitud se considera que la imagen debe tomarse desde un ángulo diferente de adquisición y por lo tanto se inserta en el grupo B. Obsérvese que, si los dos grupos se toman con ángulos de perspectiva sustancialmente diferentes, por ejemplo, en el caso de un ángulo de base muy amplia, el procedimiento de registro podría incluso fallar para encontrar los puntos de enlace y el registro falla, en cuyo caso esto puede concluir con seguridad en que las dos imágenes pertenecen a grupos diferentes.

En la realización descrita anteriormente se ha supuesto que las imágenes se han tomado desde solo dos ángulos de adquisición. El procedimiento anterior puede ampliarse para el caso de más de dos ángulos de adquisición. En este caso, después de realizar el procedimiento descrito anteriormente, el grupo A se deja a un lado y las imágenes que se han clasificado en el grupo B forman el lote inicial de imágenes para la próxima ronda. En cada iteración adicional, se define un grupo adicional, con todos sus miembros teniendo un ángulo de adquisición similar, así como un segundo grupo que incluye el resto de las imágenes. El procedimiento se emplea de forma iterativa hasta que

10

15

20

25

30

35

40

45

50

E08842731

18-03-2015

todos los grupos contienen imágenes con ángulos de adquisición similares.

Obsérvese que el procedimiento ilustrado por la operación 740 en la figura 7 para medir la calidad o el éxito del registro, podría emplearse también de manera similar para medir la calidad o el éxito del emparejamiento estéreo (es decir, para un par de imágenes estereoscópicas registradas). De acuerdo con ciertas realizaciones de la presente invención, la decisión de si ha tenido éxito el procedimiento de emparejamiento estéreo implica comparar la medida Q de similitud normalizada del par de imágenes estereoscópicas registradas con un umbral de similitud que se ha predefinido (por ejemplo, en base al análisis estadístico en laboratorio de una medida Q de similitud normalizada promedia del emparejamiento estéreo de éxito pasada).

A continuación se presenta una breve descripción del procedimiento de registro, la forma en que se calcula el vector de parámetros (q1... t) de similitud durante el procedimiento de registro y se usa para producir la medida Q de similitud normalizada.

El procedimiento de registro de imagen consiste de los siguientes módulos de procesamiento principales:

1) Generación de la pirámide

2) Registro de imagen en bruto

3) Deformación de imagen

4) Registro de imagen fina

5) Evaluación de calidad final

En primer lugar se crea una estructura piramidal de imágenes de menor resolución para cada una de las imágenes de entrada originales. La estructura piramidal se genera filtrando y diezmando a paso bajo sucesivamente las imágenes de entrada originales.

El registro de imágenes en bruto es la segunda fase del procedimiento de registro y se realiza comenzando en el nivel de resolución más bajo de la estructura piramidal, por ejemplo, en el nivel superior de la pirámide. En esta fase se busca una transformación global entre las imágenes de entrada en el nivel superior de la estructura piramidal. El registro en bruto se consigue empleando procedimientos bien conocidos en la técnica tales como la correlación de área de amplitud, la correlación de área de fase y/o los algoritmos de flujo óptico. Estos algoritmos se aplican sobre la totalidad del plano de imagen de una vez y estiman una transformación afín global entre las dos imágenes. Por lo tanto, la salida de la fase de registro en bruto es una transformación afín global en relación con las coordenadas de píxeles en las dos imágenes de entrada en el nivel superior de la pirámide. Para calcular una medida de la calidad de la fase de registro en bruto, se aplica la correlación de fase en múltiples localizaciones uniformemente repartidas sobre las dos imágenes emparejadas en bruto. La calidad de la fase de registro en bruto se calcula finalmente por la siguiente media ponderada:

Qen bruto = w1 * PerGood + w2 * StdMF + w3 * MeanW

Los tres parámetros que componen la media ponderada son los siguientes:

1.

PerGood -Porcentaje de puntos de enlace buenos.

2.

StdMF -desviación estándar normalizada de la norma de cambio.

3.

MeanW -media normalizada de los picos de correlación.

PerGood es simplemente el porcentaje de puntos de enlace retenidos con respecto al número total de intentos durante la correlación de área múltiple.

StdMF es la desviación estándar de la norma de cambio después de que se normalice en el intervalo [0 1] usando la función sigmoidea.

MeanW es la media de los picos de correlación (en el intervalo [0 1]) normalizados.

Los pesos (w1, w2, w3) están diseñados para proporcionar diferentes grados de influencia en la medida de calidad final para los diferentes parámetros. Por ejemplo:

(w1, w2, w3) = (0,3, 0,2, 0,5)

lo que significa que el parámetro más importante e influyente es MeanW seguido por PerGood y StdMF.

Con el fin de seguir avanzando en los niveles de mayor resolución de la pirámide y evaluar la calidad de la fase de registro fino, se aplica la transformación global descubierta anteriormente en la imagen de entrada original para remuestrearla sobre la imagen de referencia y posteriormente en consecuencia también se deforman todos sus niveles piramidales, por ejemplo, se aplica la deformación de imagen en la imagen de entrada original y en toda su estructura piramidal.

10

15

20

25

30

35

40

45

50

55

E08842731

18-03-2015

La siguiente fase del procedimiento de registro es el registro de imagen fino. En esta fase las imágenes ya están en una correspondencia en bruto siguiendo el registro en bruto descrito anteriormente. Sin embargo, puede lograrse un emparejamiento más exacto explotando los niveles de resolución más altos de la estructura piramidal.

Las siguiente fases del procedimiento de registro pertenecen al procedimiento de registro de imagen fino. La correlación de subárea múltiple se aplica de manera iterativa a través de todos los niveles de resolución que van desde los niveles de resolución gruesa a los niveles de resolución fina. En cada nivel de resolución se calculan y se almacenan los parámetros de registro mencionados anteriormente (es decir, PerGood, StdMF y MeanW). Después de que el procedimiento de registro alcance el nivel de resolución más alto, se calcula el valor promedio de cada uno de los tres parámetros a lo largo de los diferentes niveles de resolución y finalmente se calcula la medida Qfina de calidad de registro fino usando una media ponderada de una manera similar a la medida de calidad en bruto. La medida Q de similitud normalizada se calcula como sigue:

Q = (w1 * Qen bruto + w2 * Qfina);

Los valores de los pesos (w1, w2), permiten controlar la importancia relativa del registro fino y del registro en bruto en la medida Q de similitud normalizada.

La figura 8 ilustra otro diagrama de flujo para la secuencia de operaciones realizadas por el procesador 522 de la figura 5 de acuerdo con ciertas realizaciones de la presente invención. Se obtienen múltiples conjuntos 810-816 (cuatro en este caso específico) que se almacenan en una memoria 24 no volátil de la figura 5 y se seleccionan múltiples grupos 800-808 (cinco en este caso específico). Cada grupo contiene un número diferente de imágenes y cada grupo se asocia con una lista 818 -826 de entidades óptimas como se ha explicado anteriormente (por solo razones de simplificación, las fases en el procedimiento que conducen desde la operación de obtención de conjuntos de imágenes estereoscópicas hasta la producción de la lista de entidades óptimas para cada grupo no se muestran en detalle y se realizan como se ha explicado anteriormente). El diagrama de flujo, de acuerdo con ciertas realizaciones de la presente invención comprende además fases adicionales de la siguiente manera. Los puntos de correspondencia de origen se calculan para cada una de las entidades óptimas en la operación 831.

De acuerdo con ciertas realizaciones de la presente invención, los puntos de gravedad se han calculado anteriormente para todas las entidades candidatas y por lo tanto se recuperan de la tabla de la figura 3 en lugar de calcularse y se usan como puntos de correspondencia de origen.

De acuerdo con ciertas realizaciones de la presente invención, se usan procedimientos alternativos para calcular los puntos de correspondencia de origen.

Los puntos de correspondencia de origen se superponen en las imágenes estereoscópicas en la operación 832. En la operación 834, al menos dos imágenes, cada una de grupos diferentes y de los mismos conjuntos, se empareja de forma estéreo usando los puntos de correspondencia de origen correspondientes con el fin de producir imágenes estereoscópicas registradas. El procedimiento puede seguir avanzando hacia la detección de cambios volumétricos como se ha detallado anteriormente.

Debería entenderse que la invención no está limitada en su aplicación a los detalles y a la disposición de las operaciones expuestas en la figura 8. De acuerdo con ciertas realizaciones de la presente invención, ciertas operaciones del diagrama de flujo pueden omitirse o alterarse, otras pueden añadirse y el orden en que se realizan ciertas operaciones del diagrama de flujo puede variar sin alejarse del ámbito de la descripción anterior y/o de las reivindicaciones.

La figura 9 ilustra la arquitectura del sistema de acuerdo con ciertas realizaciones de la presente invención. Los módulos que están asociados con el procesador (representados por un marco roto; también representados en la figura 5 (522)) se presentan dentro del marco 950 roto. El módulo 902 de selección de grupos obtiene al menos dos conjuntos de imágenes estereoscópicas del módulo 900 DB de imagen. Cada uno de los conjuntos incluye al menos dos imágenes estereoscópicas que se toman en un momento dado y desde ángulos diferentes. El módulo 900 DB de imagen se asocia con el almacenamiento 940, también representado en la figura 5 (524). El módulo 902 de selección de grupos selecciona además grupos de imágenes, de manera que cada grupo incluye al menos dos imágenes, cada imagen de un conjunto diferente, y todas las imágenes de los mismos grupos se toman desde ángulos similares. El módulo 904 de registro de grupo registra al menos dos de las imágenes del grupo. El módulo 906 de detección de cambios compara al menos dos de las imágenes del grupo registradas y produce una imagen binaria de las diferencias detectadas. El módulo 908 de entidades candidatas produce la lista de entidades candidatas usando la imagen binaria. El módulo 918 de cálculo de punto de gravedad calcula las coordenadas de un punto de gravedad para las entidades candidatas. El módulo 910 de selección de entidades óptimas selecciona las entidades óptimas de la lista de entidades candidatas de cada grupo, en base a los criterios de selección. De acuerdo con ciertas realizaciones de la presente invención, el módulo 910 de selección de entidades óptimas comprende uno o más módulos de selección de criterios específicos tal como un módulo 912 de selección de funciones características (que selecciona entidades óptimas en base a algunas funciones características, tales como la relación del eje menor al eje mayor o el área de superficie) y un módulo 914 de selección de emparejado de pares (que selecciona aquellas entidades candidatas que se emparejan a una entidad candidata correspondiente de la otra

15

25

35

45

55

E08842731

18-03-2015

lista de entidades candidatas para formar una pareja). El módulo 916 de superposición de entidades óptimas superpone de nuevo los puntos de correspondencia de origen calculados sobre las imágenes estereoscópicas que están destinadas a emparejarse de forma estéreo. El módulo 922 de emparejamiento estéreo obtiene las imágenes estéreo, con los puntos de correspondencia de origen correspondientes superpuestos, inicia el procedimiento de emparejamiento estéreo usando los puntos de gravedad como puntos de enlace, y lleva el registro exhaustivo de las imágenes estéreo. De acuerdo con ciertas realizaciones de la presente invención, el sistema incluye además los siguientes módulos: un módulo 930 de mapa de profundidad, en el que se produce un mapa de profundidad para cada uno de los pares de imágenes estereoscópicas registradas, reflejando la altura relativa del escenario. De acuerdo con ciertas realizaciones, los mapas de profundidad incluyen al menos las coordenadas correspondientes a las coordenadas de entidades candidatas. Un módulo 932 de reevaluación de entidades candidatas, en el que se reevalúan las entidades candidatas de las listas de entidades candidatas en contraste con dos o más mapas de profundidad, para encontrar la altura relativa de cada entidad candidata, como aparece en los mapas de profundidad y la altura relativa de cada una de esas entidades candidatas se compara entre los dos mapas de profundidad. Un módulo 926 de detección de cambios volumétricos clasifica cada una de las entidades candidatas reevaluadas como una diferencia volumétrica en base a los datos recibidos desde el módulo 932 de reevaluación de entidades candidatas.

De acuerdo con ciertas realizaciones de la presente invención, el módulo 934 de visualización crea una representación de visualización de las entidades candidatas (o un grupo parcial de entidades candidatas, entidades óptimas o solo cambios volumétricos), en base a la forma de visualización preferida del usuario. También se incluyen los medios 938 de salida de usuario (que se corresponden al dispositivo 534 de salida de usuario en la figura 5), tal como un monitor o una impresora, usados, por ejemplo, para presentar los datos de visualización al usuario y los medios 936 de entrada de usuario (que se corresponden al dispositivo 530 de entrada de usuario en la figura 5) tales como un teclado y/o un dispositivo de puntero de usuario tal como un ratón, usados, por ejemplo, para comunicar órdenes de usuario al sistema.

Debería entenderse que la invención no está limitada en su aplicación a los detalles y a la disposición de los componentes expuestos en la figura 9. De acuerdo con ciertas realizaciones de la presente invención, ciertos módulos pueden omitirse, modificarse y otros pueden añadirse sin alejarse del ámbito de la descripción anterior y/o de las siguientes reivindicaciones.

Una ventaja de ciertas realizaciones de la presente invención es que el procedimiento de la presente invención para el registro de imágenes estereoscópicas tomadas desde diferentes ángulos de perspectiva, no depende significativamente de ninguno de los datos de adquisición de imágenes adicionales más allá del momento de adquisición, el ángulo de adquisición y la región geográfica que se ha fotografiado. No depende de ningunas claves exteriores, por ejemplo, en relación con el ángulo de posición e inclinación de la cámara en el momento de adquisición de la imagen. Tales claves exteriores se producen, por ejemplo, por los sistemas GPS e IMU y son un requisito preliminar en otros procedimientos conocidos en la técnica. Por consiguiente, la presente invención permite, de acuerdo con ciertas realizaciones, el uso de sistemas mucho más simples y económicos para lograr el registro.

De acuerdo con ciertas realizaciones, la presente invención se aplica de una manera no limitante tanto aún para las imágenes, así como para la detección remota en base a vídeo.

De acuerdo con ciertas realizaciones, la presente invención se aplica de una manera no limitativa a cualquier técnica de adquisición de imagen estereoscópica conocida tal como una cámara basculante (cardán) que intercambia continuamente entre los dos ángulos, una cámara fija usada de una manera de dos pases, dos cámaras fijas que apuntan a diferentes ángulos, etc.

Se entenderá que de acuerdo con la invención, el sistema puede ser un ordenador programado adecuado. Del mismo modo, la invención contempla un programa de ordenador que es legible por un ordenador para ejecutar el procedimiento de la invención. La invención contempla además una memoria legible por máquina que contiene de manera tangible un programa de instrucciones ejecutables por el aparato pertinente para realizar y ejecutar el procedimiento y el objeto de la invención.

A menos que se indique expresamente lo contrario, como se desprende de las siguientes exposiciones, se aprecia que a lo largo de las exposiciones de la especificación, usar términos como “procesar”, “computar”, “seleccionar”, “puntuar”, “calificar”, “calcular”, “generar”, “reevaluar”, “clasificar “, “generar”, “producir”, “emparejar de forma estéreo”, “registrar”, “detectar”, “asociar”, “superponer”, “obtener” o similares, se refiere a la acción y/o a los procedimientos de un ordenador o sistema de computación, o procesador o dispositivo de computación electrónica similar, que manipulan y/o transforman los datos representados como cantidades físicas, tal como la electrónica, dentro de los registros y/o las memorias del sistema de computación en otros datos similarmente representados como cantidades físicas dentro de las memorias del sistema de computación, los registros u otro almacenamiento de información, transmisión o dispositivos de visualización.

Las realizaciones de la presente invención pueden usar términos tales como, procesador, computador, almacenamiento, base de datos, aparato, sistema, subsistema, módulo, unidad y dispositivo (en singular o plural)

10

15

20

25

30

E08842731

18-03-2015

para realizar las operaciones en el presente documento. Esto puede construirse especialmente para los fines deseados, o puede comprender un ordenador de fin general activado o reconfigurado selectivamente por un programa de ordenador almacenado en el ordenador. Tal programa de ordenador puede almacenarse en un medio de almacenamiento legible por ordenador, tal como, pero no se limita a, cualquier tipo de disco incluyendo discos flexibles, discos ópticos, CD-ROM, discos magnéticos ópticos, memorias de solo lectura (ROM), memorias de acceso aleatorio (RAM), memorias de solo lectura eléctricamente programables (EPROM), memorias de solo lectura borrables y programables eléctricamente (EEPROM), tarjetas magnéticas u ópticas, o cualquier otro tipo de medios adecuados para almacenar instrucciones electrónicas y capaces de acoplarse a un bus de sistema informático.

Los procedimientos/dispositivos (o los términos homólogos especificados anteriormente) y las pantallas presentadas en el presente documento no están intrínsecamente relacionados con cualquier ordenador u otro aparato específico. Pueden usarse diversos sistemas de fin general con programas de acuerdo con las enseñanzas en el presente documento, o puede resultar conveniente construir un aparato más especializado para realizar el procedimiento deseado. La estructura deseada para una variedad de estos sistemas aparecerá a partir de la siguiente descripción. Además, las realizaciones de la presente invención no se describen con referencia a cualquier lenguaje de programación específico. Se apreciará que puede usarse una variedad de lenguajes de programación para implementar las enseñanzas de las invenciones tal como se describen en el presente documento.

También debería entenderse que el sistema de acuerdo con la invención puede ser un ordenador programado adecuadamente. Del mismo modo, la invención contempla un programa de ordenador que es legible por un ordenador para ejecutar el procedimiento de la invención. La invención contempla además una memoria legible por máquina que incorpora de manera tangible un programa de instrucciones ejecutables por la máquina para ejecutar el procedimiento de la invención.

Con referencia específica a las figuras, se subraya que las particularidades mostradas son solamente a modo de ejemplo y para fines de la exposición ilustrativa de las realizaciones preferidas de la presente invención, y se presentan por la razón de proporcionar lo que se cree es la descripción más útil y fácilmente entendible de los principios y aspectos conceptuales de la invención. En este sentido, no se hace ningún intento de mostrar detalles estructurales de la invención con más detalle del necesario para una comprensión fundamental de la invención. La descripción tenida en cuenta con los dibujos hace evidente para los expertos en la materia cómo pueden realizarse en la práctica las diversas formas de la invención.

La presente invención se ha descrito, con un cierto grado de particularidad, pero los expertos en la materia apreciarán fácilmente que pueden realizarse diversas variaciones, alteraciones y modificaciones, sin alejarse del alcance de las siguientes reivindicaciones.

Claims (14)

1. REIVINDICACIONES

   1. Un procedimiento para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, comprendiendo el procedimiento:

   5 a) obtener (624) al menos dos conjuntos (600, 602) de imágenes estereoscópicas, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes que son tomadas desde ángulos diferentes, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes tomadas en momentos diferentes con respecto a las imágenes de los otros conjuntos; b) determinar (604) al menos dos grupos (606, 608) de imágenes, incluyendo cada uno de dichos grupos al

   10 menos dos imágenes de al menos dos de dichos conjuntos, en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, y en el que las imágenes de cada uno de dichos grupos se toman sustancialmente desde el mismo ángulo; y c) calcular (680, 682) para cada uno de dichos grupos, una lista de entidades óptimas respectiva que incluya:

   i) registrar (614) al menos dos imágenes de dicho grupo que den lugar a imágenes registradas;

   15 ii) detectar (618) cambios entre las imágenes registradas, dando lugar de este modo a una lista de entidades candidatas, consistiendo dicha lista de entidades candidatas en localizaciones en las que se han detectado dichos cambios; y iii) seleccionar (652) al menos cuatro entidades óptimas a partir de dicha lista de entidades candidatas de conformidad con al menos un criterio de selección, dando lugar de este modo a dicha lista de entidades

   20 óptimas;

   por lo que las entidades de las listas de entidades óptimas son usadas como puntos de enlace para el emparejamiento (684) estéreo de al menos dos imágenes del mismo conjunto, en el que cada una de dichas al menos dos imágenes es de uno diferente de dichos al menos dos grupos, y en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, dando lugar de este modo a al menos un par de

   25 imágenes estereoscópicas de emparejamiento estéreo.
2. 2. El procedimiento de acuerdo con la reivindicación 1, en el que dicha determinación (604) de al menos dos grupos (606, 608) de imágenes comprende además:

   a) asociar al menos dos imágenes a partir de dichos al menos dos conjuntos con una primera recopilación de imágenes; 30 b) de manera iterativa, hasta que se cumpla una condición:

   i. seleccionar una imagen a partir de dicha primera recopilación y transferirla a un nuevo grupo dando lugar a una imagen de referencia;

   ii. realizar una serie de intentos de registro, intentando registrar para cada uno de dichos intentos de registro

   la imagen de referencia con cada imagen de dicha primera recopilación; 35 iii. calcular una medida de similitud normalizada para cada uno de los intentos de registro;

   iv.

   calcular un umbral de similitud; y

   v.

   transferir cada imagen de dicha primera recopilación que tenga dicha medida de similitud normalizada por encima de dicho umbral de similitud al nuevo grupo.

3. 3. El procedimiento de acuerdo con la reivindicación 2, en el que la condición se cumple cuando no existen 40 imágenes asociadas con la primera recopilación.
4. 4. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que dicho emparejamiento (684) estéreo comprende:

   a) calcular una medida de similitud normalizada para cada uno de dichos pares de imágenes estereoscópicas de emparejamiento estéreo; 45 b) proporcionar un umbral de similitud;

   en el que el éxito del emparejamiento estéreo de cada uno de los pares de imágenes estereoscópicas registradas es confirmado si la medida de similitud normalizada correspondiente supera el umbral de similitud correspondiente.
5. 5. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que cada uno de dichos

   al menos dos conjuntos (600, 602) incluye al menos dos imágenes que son tomadas durante el mismo segmento de 50 vuelo.
6. 6. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que las imágenes de cada uno de dichos grupos (606, 608) se toman desde ángulos de adquisición dentro de un intervalo de 10 grados o menos.

   16
7. 7. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende además:

   a) calcular un punto de correspondencia de origen respectivo para cada entidad de las listas de entidades óptimas;

   por lo que los puntos de correspondencia de origen son usados como puntos de enlace para el emparejamiento

   5 estéreo de al menos dos imágenes, siendo o derivándose cada una de dichas al menos dos imágenes de uno diferente de dichos al menos dos grupos dando lugar de este modo a al menos un par de imágenes estereoscópicas de emparejamiento estéreo.
8. 8. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que el par de imágenes estereoscópicas de emparejamiento estéreo es producido a partir de las imágenes estereoscópicas que son o se

   10 derivan de imágenes tomadas desde dos ángulos, con al menos 10 grados de separación, o con al menos 25 grados de separación.
9. 9. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores en el que el par de imágenes estereoscópicas de emparejamiento estéreo es producido a partir de imágenes estereoscópicas que son o se derivan de imágenes tomadas desde dos ángulos, con al menos 35 grados de separación, o con al menos 45 grados

   15 de separación.

10. 10.

    El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores para detectar diferencias en un escenario fotografiado entre dos puntos temporales.

11. 11.

    El procedimiento de acuerdo con la reivindicación 10, que comprende además:

    producir mapas de profundidad para al menos dos de dichos pares de imágenes estereoscópicas de

    20 emparejamiento estéreo, en el que dichos mapas de profundidad son producidos solo para las regiones derivadas de las coordenadas de entidades de las listas de entidades candidatas; y reevaluar las entidades de las listas de entidades candidatas en contraste con al menos dos de dichos mapas de profundidad, incluyendo el cálculo de las diferencias de altura entre las regiones correspondientes de dichos mapas de profundidad:

    25 en el que dichas entidades de las listas de entidades candidatas son clasificadas como diferencias volumétricas si la reevaluación muestra dicha diferencia de altura.
12. 12. Un sistema para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, comprendiendo el sistema:

    un procesador (522) y un almacenamiento (528) asociado, estando configurados dicho procesador (522) y 30 almacenamiento (528) asociado para realizar las etapas del procedimiento de la reivindicación 1.

13. 13.

    El sistema de acuerdo con la reivindicación 12, en el que las imágenes de cada uno de dichos grupos incluyen al menos dos imágenes que son tomadas desde ángulos de adquisición dentro de un intervalo de 10 grados o menos.

14. 14.

    Un dispositivo de almacenamiento de programa legible por una máquina, que incorpora de manera tangible un

    programa de instrucciones ejecutable por la máquina para realizar las operaciones del procedimiento de una 35 cualquiera de las reivindicaciones 1 a 11.

    17