ES2923924T3 - Referenciación 3D - Google Patents

Abstract

La invención se relaciona con un método para la referenciación 3D, que comprende los pasos de recibir una primera captura de cámara que tiene al menos cuatro puntos homólogos, obtener una orto-representación en una primera región, en la que se ubican los al menos cuatro puntos homólogos, y registrar el contenido de la imagen. de la primera captura en la orto-representación. A continuación, se lleva a cabo una transformación de la orto-representación en una perspectiva de cámara para obtener una vista virtual de la orto-representación. A continuación, la vista virtual se superpone a la representación que tiene la primera captura, para obtener una primera captura superpuesta. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Referenciación 3D

Los ejemplos de realización de la presente invención se refieren a un procedimiento de referenciación 3D, así como a un dispositivo correspondiente y un programa de ordenador. Los ejemplos de realización preferidos se refieren a un procedimiento para la georreferenciación de contenidos de imagen y para la calibración de cámaras de vídeo con modelos de fondo 2D georreferenciados.

La georreferenciación de contenidos de imagen es necesaria, por ejemplo, en redes de vídeo para reconocer mediante la posición qué objetos se encuentran actualmente en el campo de visión de la respectiva grabación de vídeo. Los datos de imágenes de una red de vídeo solo muestran principalmente una sección limitada del entorno. Por lo tanto, suele ser necesario visualizar la disposición geométrica en una representación cartográfica.

A este respecto, se marca normalmente la posición de la cámara y/o la superficie de intersección del campo de visión (la denominada huella) en un mapa (como, por ejemplo, una ortoimagen). Esta marca hace corresponder la sección del campo de visión con la ortorrepresentación. La ortorrepresentación puede ser, por ejemplo, una fotografía aérea, una ortofoto, un mapa de terreno, un denominado "TOM" (ortomosaico verdadero en combinación con un modelo de superficie digital opcional) u otra vista desde arriba del terreno. Mediante la integración de datos georreferenciados, es decir, la posición de objetos específicos, se puede determinar posteriormente las coordenadas geográficas de los objetos detectados en la red de vídeo y también transferir a la red de vídeo. Esto también facilita además la implementación de aplicaciones de seguimiento de múltiples cámaras. Para implementar esta funcionalidad, los campos de visión potencialmente no superpuestos de las cámaras deben calibrarse en consecuencia con material georreferenciado.

Las redes de vídeo son sometidas frecuentemente a nuevas configuraciones o reconfiguraciones y a ampliaciones, por ejemplo, al colocar nuevas cámaras, o cambio debido a influencias intrínsecas y extrínsecas, por ejemplo, cámaras PTZ (cámara PAN tilt-zoom, sinónimo de cámara de paneo-inclinación-zoom). Por lo tanto, estas redes de vídeo tienen una repetibilidad limitada y deben afrontar siempre el problema de descalibrado de sus georreferencias a lo largo del tiempo. En este caso, sería deseable una recalibración georreferenciada totalmente automática o, más generalmente, una referenciación 3D totalmente automática

En el estado de la técnica existen numerosos enfoques para ello: la calibración del caso de aplicación anteriormente mencionado (georreferenciación con material de plano 2D) se realiza normalmente mediante la anotación manual de puntos de mapas de imágenes y 2D correspondientes para cada cámara individual. Para esto, en el caso de un mapa bidimensional. se calcula directamente una proyección en perspectiva (homografía), que hace posible una figura de los puntos de imagen de la cámara sobre los puntos de imagen del mapa general (figura del plano de la cámara sobre un plano del mapa). La anotación manual se realiza a este respecto principalmente por expertos y no permite una recalibración automática por el usuario, ya que el ángulo de aspecto plano de las cámaras de vigilancia en relación con un mapa 2D (por ejemplo, ortofoto) no permite frecuentemente una determinación de correspondencia automática. En el caso de cambio de la configuración de una cámara o por influencias externas, este procedimiento debe ser repetido para cada cámara individual.

En la bibliografía de patente se mencionan algunos procedimientos de calibrado para redes de cámaras. Así, por ejemplo, el documento de patente DE10340023B3 muestra un autocalibrado de un sistema de cámaras basado en un sistema de ecuaciones. El documento de patente DE102006055758A1 describe una procedimiento de calibrado mediante mediciones ópticas. El documento de patente DE102007001649A1 describe un procedimiento para el autocalibrado de una monitorización de la cámara.

El documento de patente US20070027591 describe un procedimiento para la obtención de informaciones geográficas en tiempo real.

La publicación de C. Bodensteiner con el título "Single Frame Based Video Geo-Localisation using Structure projection" y con el título "Accurate Single Image Multi-Modal Camera Pose Estimation" forman otros documentos del estado de la técnica. Además, también se remite a los documentos de patente US 2015/199556 A1, US 2007/027591 A1 y US 2011/043627 A1.

Los enfoques del estado de la técnica se basan especialmente en que se conocen posiciones de objetos individuales en el campo de visión, o se pueden determinar mediante orientación técnica adicional, como, por ejemplo, sensor GPS. Por lo tanto, para la reducción de la complejidad existe la necesidad de un enfoque mejorado.

El objetivo de la presente invención es crear un concepto que haga posible una referenciación 3D automática a partir de una base de información mínima.

El objetivo se alcanza por las reivindicaciones independientes.

Un ejemplo de realización crea un procedimiento para la referenciación 3D. El procedimiento comprende las etapas "Captura de una captura de cámara de una primera perspectiva con al menos cuatro puntos homólogos o la primera captura" y "Obtención de una ortorrepresentación de una región en la que se encuentran los al menos cuatro puntos homólogos". En una tercera etapa se realiza entonces el "Registro de contenidos de imagen de la primera captura en la ortorrepresentación". Para esto, la ortorrepresentación se transforma en otra etapa "en la perspectiva (o la primera perspectiva) comparable con la primera perspectiva para obtener una vista virtual de la ortofoto". En una última etapa, entonces "se superpone la vista virtual de la ortofoto con la primera captura para obtener una primera captura superpuesta". Otras etapas de procedimiento, como "Captura de una segunda perspectiva de la cámara en una segunda captura”, “Reconstrucción de posiciones 3D de los al menos cuatro homólogos basados en la primera y segunda captura en un sistema de coordenadas de la cámara”, así como “Reconstrucción 3D de objetos a los que pertenecen los al menos cuatro puntos homólogos”, se definen en la reivindicación 1.

Los ejemplos de realización de la presente invención se basan en el conocimiento de que (solo) a partir de los contenidos de imagen que están contenidos en una captura de cámara estándar (aproximadamente paralela a la superficie de la tierra) y en la ortoimagen (perpendicular a la superficie de la tierra) se puede realizar un mapeo de la captura paralela con respecto a la ortorrepresentación. La ortorrepresentación comprende informaciones de posición (por ejemplo, georreferencias) sobre los puntos representados o al menos algunos de ellos, de manera que a partir del mapeo a cada punto, y especialmente a cada punto homólogo en la "captura paralela", se le puede asignar una posición geográfica. Para el mapeo se descarga virtualmente la perspectiva de la ortorrepresentación, de manera que la perspectiva de la captura paralela y de la ortorrepresentación virtual son esencialmente iguales, es decir, idénticas / a medida o al menos son comparables (perspectivas similares, insignificantemente trasladadas). A este respecto, dicho de otra forma, el procedimiento descrito busca, a partir de vistas transformadas virtualmente de la ortofoto, estructuras correspondientes con la imagen de la cámara y calcula una transformación comparable o incluso a medida (por ejemplo, homografía o en el caso de parámetros intrínsecos conocidos de la cámara la posición de la cámara), que proyecta la ortofoto (a medida) sobre las estructuras determinadas de la imagen de la cámara. Por lo tanto, sin información externa adicional, también es posible realizar, basándose solo en imágenes, una georreferenciación automática de contenidos de imagen de la captura de la cámara con el mapa 2D (de la ortorrepresentación). Este enfoque basado en imágenes hace posible no solo una reducida complejidad con medios técnicos sencillos, es decir, sin sensores externos, como sensores GPS, sino que también aumenta la exactitud, ya que los sensores externos suelen provocar inexactitudes en el ajuste del nivel del suelo en la ortofoto y en la reconstrucción 3D.

Correspondientemente a otros ejemplos de realización, el procedimiento comprende la etapa de registro de al menos cuatro puntos homólogos en la vista virtual. Mediante este registro está disponible y registrada la información de la posición de los cuatro puntos homólogos.

Correspondientemente a otros ejemplos de realización, el procedimiento comprende además la captura de al menos cuatro puntos homólogos de una segunda perspectiva en una segunda captura. A este respecto, la segunda perspectiva es, por ejemplo, una posición desplazada (hacia un lado) debido a un movimiento de la cámara. Alternativamente, este procedimiento también puede repetirse para una pluralidad de otras capturas de una pluralidad de otras posiciones, lo que es típico de una cámara de vídeo (movida). A partir de la segunda captura o de la pluralidad de otras capturas (de la corriente de vídeo) se puede empezar ahora una reconstrucción 3D del objeto que pertenece a los al menos cuatro puntos homólogos y a este respecto al mismo tiempo de la posición 3D del mismo en un sistema de coordenadas de la cámara. Este sistema de coordenadas de la cámara se mapea, debido a la superposición de la vista virtual de la ortorrepresentación con la primera captura, en un sistema de coordenadas geográficas o en general en un sistema de coordenadas conocido, de manera que entonces también se conoce la posición absoluta de los puntos homólogos. Como resultado, la posición en el sistema de coordenadas geográficas se conoce para cada objeto representado tridimensionalmente y mapeado en la ortorrepresentación virtual. Otra ventaja a este respecto es que de la pluralidad de determinaciones de posición resulta en una optimización de las posiciones, de manera que aumenta la precisión.

Correspondientemente a los ejemplos de realización, la transformación de la ortoimagen se realiza en la primera perspectiva mediante la determinación de los puntos de intersección de los haces visuales que pertenecen a los contenidos de imagen de la primera captura con la ortorrepresentación. Esta determinación de la representación visual se puede realizar, por ejemplo, mediante una transformación de similitud 3D con, por ejemplo, 7 grados de libertad. Para ello, se puede utilizar un algoritmo de ajustes próximos correspondientemente a otros ejemplos de realización. La ventaja de este procedimiento es que se centra especialmente en la determinación del ángulo de visión y en la generación de una superposición de una captura de la cámara y la ortorrepresentación, y no en la posición absoluta de la cámara, lo que resulta especialmente ventajoso para las cámaras con un ángulo de visión estrecho. Por lo tanto, el procedimiento correspondientemente a ejemplos de realización se realiza independientemente de la determinación de la posición de la cámara.

Otros ejemplos de realización crean un programa de ordenador para la realización del procedimiento anterior.

Otro ejemplo de realización crea un dispositivo que realiza las etapas en la referenciación 3D. A este respecto es ventajoso que a partir de este dispositivo se pueda calibrar independientemente una cámara. Otro ejemplo de realización se refiere a un sistema que comprende al menos una cámara o una red de cámara y un dispositivo correspondiente.

Las variantes se definen en las reivindicaciones dependientes. Los ejemplos de realización de la presente invención se exponen a continuación en relación con las figuras adjuntas. Muestran:

Fig. 1a un diagrama de flujo esquemático de un procedimiento para la georreferenciación correspondientemente a un ejemplo comparativo (no es parte de la exposición reivindicada);

Fig. 1b otro diagrama de flujo de un procedimiento para la georreferenciación correspondientemente a un ejemplo de realización ampliado;

Fig. 2a, 2b ejemplos de la generación de un índice de localización según un ejemplo de realización;

Fig. 3a-3d ejemplos del registro autónomo de una imagen de cámara con una ortofoto según un ejemplo de realización;

Fig. 4a-4b ejemplos de un índice de localización transformado en el sistema de coordenadas de los datos georreferenciados según un ejemplo de realización;

Fig. 5a-5c ejemplos de localizaciones de contenidos de imagen en un mapa como ortoimagen según un ejemplo de realización;

Fig. 6a-6b ejemplos de la localización de una cámara con ángulos de aspecto planos según un ejemplo de realización; y

Fig. 7a, 7b ejemplos del registro de un índice de localización con un modelo digital del terreno (DTM) según un ejemplo de realización.

Antes de que los siguientes ejemplos de realización de la presente invención se expliquen en detalle con referencia a las Fig., se debe tener en cuenta que los elementos y las estructuras que tienen el mismo efecto están provistos de los mismos números de referencia, de manera que la descripción de los mismos es aplicable a unos y otros o es intercambiable.

La Fig. 1a muestra un diagrama de flujo esquemático del procedimiento básico 100 en la referenciación 3D como ejemplo comparativo (el procedimiento básico no forma parte en sí mismo de la exposición reivindicada). El procedimiento 100 comprende las cinco etapas básicas 110, 120, 130, 140 y 150. En la primera etapa 110 se realiza la captura de una primera captura 10 de una primera perspectiva, en la que la primera captura presenta por regla general al menos cuatro puntos homólogos 12a, 12b, 12c y 12d. La captura 10 se captura, por ejemplo, esencialmente paralela a la superficie de la tierra, de manera que para la captura se representa una expresión x-y, en donde y es la altura y x es la anchura. También sería concebible que el sistema de coordenadas x-y establecido de esta manera se encuentre de forma perpendicular o ligeramente perpendicular en el espacio.

En la siguiente etapa 120 se obtiene una ortorrepresentación, como por ejemplo, una ortofoto, fotografía aérea o un mapa de terreno. La ortorrepresentación está marcada con el número de referencia 14 y tiene, por ejemplo, una expansión x-z, en la que z es la profundidad en el espacio expandido por el vector x e y. En otras palabras, esto significa que en el caso especial que se representa aquí, la ortorrepresentación 14 se cruza con la primera captura 10 a lo largo del eje x, de manera que el espacio x-y-z está abarcado por la combinación de las dos capturas 12 y 14. Como se ha dicho, aquí se trata de una caso especial, ya no es obligatorio que la ortorrepresentación tenga extensiones perpendiculares con respecto a las coordenadas de la cámara de la captura 10. Esto significa, por lo tanto, que el eje z representado correspondientemente a la etapa 120 no debe estar necesariamente orientado ortogonalmente al eje x-y.

En la siguiente etapa se realiza entonces el registro (en el sentido de reconocimiento) de la captura 10 y de la ortorrepresentación 14 a partir de la suposición de que los contenidos de imagen como, por ejemplo, los puntos homólogos 12a, 12b, 12c y 12d de la primera captura 10 también están contenidos en la ortoimagen 14. Esta etapa se realiza, por ejemplo, considerando las líneas de visión - desde la vista de la captura de la cámara 10 - de las características reconocidas en la ortorrepresentación 14. Cabe señalar en este punto que el procedimiento se explica a continuación a modo de ejemplo mediante los llamados "puntos homólogos", pero este procedimiento también se puede realizar basándose en otros contenidos de imagen (por ejemplo, minimizando/maximizando una medida de distancia/medida de similitud). Cabe señalar además en este punto como paréntesis que los puntos homólogos se denominan por este motivo puntos homólogos ya que pueden ser "emparejados" en una etapa posterior con una segunda captura o con capturas adicionales para realizar, por ejemplo, una reconstrucción 3D del objeto correspondiente a partir del criterio de homología.

En una etapa 130 posterior se realiza entonces el registro de los contenidos de imagen de la primera captura 10 en la ortorrepresentación 14. Esto significa también que puntos característicos como, por ejemplo, contenidos de imagen característicos o también los puntos homólogos anteriormente explicados de la captura 10, se identifican en la ortorrepresentación 14 con el objetivo de identificar la posición de la cámara de la captura 10 y a este respecto especialmente la vista con respecto a la ortorrepresentación. Este resultado se ilustra dentro de la ortorrepresentación 14 mediante la región rayada, en donde la región rayada está provista del número de referencia 10b. Como se ilustra mediante la flecha BR en la región rayada 10b, esto representa la dirección de visión de la captura 10, es decir, que la cámara ha tomado la captura 10 de un punto cualquiera en la dirección de la flecha KP, por lo que para el registro que se explica a continuación es completamente irrelevante en qué punto se encontraba la cámara exactamente en el momento de la captura. Más bien se centra únicamente en el ángulo de visión puro y las líneas de visión de los contenidos de imagen de la captura 10. A partir de este resultado se genera ahora en una etapa 140 basada en la ortorrepresentación una vista virtual de la ortorrepresentación. Para esto se realiza una transformación de la ortorrepresentación en la primera perspectiva o en una perspectiva comparable con la primera perspectiva. El resultado de la transformación es la vista virtual 14' de la ortoimagen. Con respecto a esta vista virtual 14', la dirección de visión BR de la primera captura 10 también se ilustra aquí mediante la flecha BR (véase la etapa 130).

Esta vista virtual 14' también comprende evidentemente los puntos homólogos. En la ortoimagen 14 se conocen de manera ventajosa las (geo)posiciones de cada punto, de manera que las posiciones de los puntos homólogos también están asignadas directamente. Cabe señalar en este punto que en primer lugar es independiente de si los puntos homólogos se utilizaron para el registro (véase la etapa 130), de manera que también se conoce la posición de los puntos homólogos inmediatamente después de la etapa 140, o si para el registro 130 se utilizaron otras características como, por ejemplo, todas las características a lo largo de la línea de intersección (o superficie de intersección) entre la ortorrepresentación 14 y la captura 10.

El resultado de la transformación 140 es entonces una representación plana de la ortorrepresentación plana 14 a lo largo de la dirección x-y-z, en donde esta se extiende en el espacio tridimensional (sin que este tenga informaciones en el espacio tridimensional, es decir, a lo largo del eje y). Aquí sería ventajoso que la perspectiva de la vista virtual 14' se correspondiera con la primera perspectiva, pero no es obligatorio como se muestra a continuación.

En la etapa 150 se genera ahora una combinación de la captura 10 con la vista virtual de la ortorrepresentación 14'. Para esto, la captura 10 o el sistema de coordenadas de la cámara de la captura 10 se cubre con el sistema de coordenadas de la ortorrepresentación 14, de manera que la ortorrepresentación 14 o la vista virtual de la misma 14' y la captura 10 se toquen a lo largo de la línea de intersección 10s.

Como la captura 10 representa los puntos homólogos 12a y 12b también con una información de altura y, el resultado de la superposición es un perfil de altura tridimensional, en donde se conocen las posiciones en la dirección x-y-z de las características 12a y 12b.

Como las características homólogas de otros puntos en la primera captura 10 están cubiertas frecuentemente, es necesaria una correcta reconstrucción 3D, por ejemplo, de una región o de un edificio, para generar otras capturas comparables a la primera captura. Este ejemplo de realización, que usa la etapa o al menos algunas de las etapas explicadas en relación con la Fig. 1 a, se explica a continuación con referencia a la Fig. 1 b.

La Fig. 1b muestra el procedimiento 100', en el que se crean una pluralidad de capturas, aquí dos capturas en la etapa 110a o 110b. Las capturas están caracterizadas con los números de referencia 10a y 10b y se diferencian especialmente por las perspectivas en el intervalo con los cuatro puntos homólogos. Por ejemplo, la cámara se desplaza horizontalmente y se inclina ligeramente entre la etapa 110a y 110b de manera que además estén presentes los puntos homólogos 12a y 12b o 12a' y 12b' en las imágenes 10a y 10b. Alternativamente sería concebible que la primera captura 10a procediera de una cámara de vigilancia, mientras que las segundas capturas 10b, etc., se obtuvieran con otra cámara, por ejemplo, de un dron. La denominación de los puntos homólogos como 12a' y 12b' resulta de que se trata esencialmente de los mismos puntos 12a y 12b (que pertenecen al mismo objeto), pero estos se han tomado de una perspectiva algo distinta.

A partir de las al menos dos capturas 10a y 10b o de una pluralidad de capturas adicionales, como están disponibles normalmente en una secuencia de vídeo, se realiza ahora una reconstrucción 3D en la etapa 115. Cuando las imágenes 10a y 10b están disponibles, por ejemplo, como secuencia de vídeo, se puede utilizar la denominada "técnica de estructura desde el movimiento" (^s F^m , del inglés Structure from Motion Technique). Esta técnica SFM es comparable con la estereoscopía. A este respecto se identifican puntos homólogos, es decir, puntos que pertenecen a los mismos objetos en las diferentes imágenes 10a y 10b y estos puntos se rastrean con el tiempo como características para luego calcular una posición 3D de los puntos homólogos 12a y 12b o 12a' y 12b' de la pluralidad de capturas diferentes. A este respecto, la posición en el espacio de reconstrucción tridimensional 13 se refiere al sistema de coordenadas de las cámaras y no al sistema de coordenadas geográficas real. El resultado es, por lo tanto, la posición de los puntos homólogos en el espacio abarcado por el sistema de coordenadas de la cámara x, y y z.

Este sistema de coordenadas de la cámara x, y y z es, pero no suele ser congruente con el sistema de coordenadas x-z de la ortorrepresentación. Por esto, en las posteriores etapas 120, 130 y 140 se realiza un registro y una transformación de la ortorrepresentación a partir de la ortorrepresentación para luego hacer coincidir en la etapa 150 el sistema de coordenadas de la cámara (sistema de coordenadas x-y-z) y el sistema de coordenadas de la ortorrepresentación 14 y realizar una superposición en la etapa 150'.

El resultado es la superposición del espacio 13 formado en una reconstrucción 3D con la ortorrepresentación virtual 14'. Mediante este procedimiento 100 se pueden obtener informaciones 3D completas (véase la etapa 110a, 110b y 115), que se registran entonces en el plano del mapa 2D con las etapas 120, 130, 140 y 150'. Las informaciones 3D permiten el calibrado automático (intrínseco y extrínseco) de las cámaras o de una cámara en un sistema de coordenadas libremente elegido (sistema de coordenadas de la cámara) con escalamiento desconocido de geolocalización desconocida. En otras palabras, esto significa que mediante el procedimiento 100' es posible detectar el entorno con las etapas 110a y 110b y, a partir del entorno así detectado ópticamente, generar mediante el procedimiento 110' una reconstrucción 3D de un puente de punto de referencia georreferenciado espacialmente ubicado con las características de vista 12a y 12b asociadas y registrarlo con el material de fondo 2D 14 georreferenciado.

Cabe señalar en este punto que las etapas 120, 130 y 140 se realizan de forma esencialmente comparables con el procedimiento 100, en donde especialmente para el registro 130 están presentes esencialmente más puntos de orientación debido a la mayor base de datos de partida.

Con referencia a la Fig. 1a y 1b se debe tener en cuenta que la etapa 110 o la etapa 110a y 110b, en la que se generan datos de video adicionales del entorno a representar, solo se debe realizar una vez, en donde a este respecto es suficiente una única vista (véase 10 para las etapas 120, 130 y 140) para realizar el registro automático con los datos georreferenciados a utilizar.

A continuación, con referencia a las Fig. 2a a 5c, se explica un ejemplo de realización ampliado mediante ejemplos concretos.

Este flujo de trabajo aquí usado para conseguir la georreferenciación automática o la referenciación de conjunto (véase la etapa 150') con una representación cartográfica 14 comprende a su vez un proceso de varias etapas. El transcurso se puede describir a este respecto del siguiente modo:

1. Captura de material de vídeo adicional, aquí por ejemplo de al menos dos posiciones. El material de vídeo adicional se puede obtener, por ejemplo, con ayuda de un minidron.

2. En una siguiente etapa se realiza entonces una reconstrucción 3D sin un índice de localización mediante "Structure from Motion". Esta etapa se ilustra mediante las Fig. 2a y 2b.

La Fig. 2a muestra la trayectoria de vuelo del minidron que está provisto del número de referencia 22 a partir de la posición de la cámara calculada. A partir de las capturas de cámara adicionales se genera entonces a partir de los datos de vídeo una nube de puntos 3D 23 de los contenidos de imagen, en donde esta nube de puntos está constituida esencialmente por puntos homólogos. Esta nube de puntos 3D o estructura 3D se representa en la Fig. 2b.

3. En una siguiente etapa se realiza entonces la identificación y el registro de una imagen individual (por ejemplo de la posición de la cámara de la Fig. 2b, con los datos de fondo georreferenciados, como se ilustra en las Fig. 3a a 3d. Para esto se realiza la diferencia de la determinación de la posición de la cámara con respecto a una vista virtual de la ortoimagen. Como se aprecia por la Fig. 3a, se identifica un intervalo en la ortoimagen 14 y entonces se registra la imagen de la cámara con la ortofoto como se representa en las Fig. 3a-3c. Como se representa en la Fig. 3d, de esta manera resulta una superposición de los contenidos de imagen de la ortofoto, que se renderizó en la posición de cámara correspondiente. A este respecto, el resultado de esta etapa es la determinación de una vista virtual superpuesta.

4. En una siguiente etapa se realiza una determinación de una transformación de similitud 3D con, por ejemplo, siete grados de libertad. Para ello se realiza una proyección de la estructura del índice de localización sobre una vista renderizada de geodatos y su intersección con los haces visuales de la imagen de vídeo (determinación de correspondencias 3D/3D). Esto es evidente de las Fig. 4a y 4b. La Fig. 4a muestra la ortovista del índice de localización transformado en el sistema de coordenadas de los datos georreferenciados, mientras que la Fig. 4b representa la vista de visión. Esto se puede realizar, por ejemplo, con ayuda de un robusto procedimiento de ajustes próximos, por ejemplo, RANSAC o una robusta función de estimación (estimador M), en donde se seleccionan automáticamente las correspondencias geométricamente correctas del plano del suelo, que es evidente especialmente en cuanto a la Fig. 4b. Estos procedimientos de ajustes próximos hacen posible un robusto registro de datos 3D y datos 2D.

Para el tiempo de ejecución, las posiciones de las cámaras de la red de cámaras se pueden determinar ahora mediante el índice de localización. La georreferenciación se realiza con la transformación de similitud 3D. De esta manera se pueden convertir los contenidos de la imagen en una representación cartográfica mediante una intersección de los haces visuales (véanse las Fig. 5a-5c).

La Fig. 5a muestra un ejemplo de la localización de contenidos de imagen en una representación en mapa. La representación muestra a este respecto la intersección del haz visible 26 con una marca 27 en la captura de la cámara, que se representa en la Fig. 5b. La vista virtual de la ortofoto basada en los datos de vídeo puede entonces conseguirse a lo largo del haz visible mediante la combinación de estas dos capturas. Esta vista virtual se representa en la Fig. 5c. Esta ortofoto virtual con los contenidos de imagen 3D de la Fig. 5c es esencialmente comparable con la vista oblicua de la Fig. 4b.

A cada punto de los objetos individuales de las Fig. 4b y 5c se le asigna una posición inequívoca en el sistema de coordenadas geográficas. Debido a que se procesaron múltiples imágenes/parámetros de modelo en la reconstrucción 3D, la vista en la representación cartográfica de los objetos es discrecionalmente giratoria correspondientemente a los ejemplos de realización, de manera que también se puede utilizar otra perspectiva distinta a la arriba tratada o mencionada. Esto significa que, aunque se haya supuesto anteriormente que la ortoimagen se convierte en una perspectiva comparable a la perspectiva de la cámara, sería posible una transformación en otra perspectiva que no es igual a las perspectivas de la cámara ni se parece correspondientemente a los ejemplos de realización. La característica técnica única del procedimiento explicado anteriormente es el desacoplamiento de la búsqueda de correspondencia 3D/3D para la determinación de la georreferenciación o la transformación de similitud 7D mediante un enfoque basado en la apariencia 2D/2D, que se utiliza para determinar una superposición de una vista 2D virtual del mapa georreferenciado y una imagen de vídeo. A este respecto, las correspondencias 3D/3D pueden resultar de la reconstrucción de los puntos de estructura 3D con las vistas determinadas debido a las restricciones geométricas adicionales. Dado que este procedimiento se centra especialmente en la dirección de visión y no en la posición de la cámara, este procedimiento también permite la utilización de cámaras con una gran distancia focal cuya localización en la dirección del eje óptico es indeterminada.

Con referencia a las Fig. 6a-7b, se explican ahora otros ejemplos de constelaciones especiales.

La Fig. 6a muestra la reconstrucción de estructuras 3D basadas en datos de vídeo a partir de una cámara con un ángulo de aspecto plano. A este respecto, los datos de localización se representan en la Fig. 6a, mientras que en la Fig. 6b se mapean los datos de localización en el sistema de coordenadas de la ortofoto.

Las Fig. 7a y 7b ilustran el registro de un transmisor de localización con un modelo digital del terreno que funciona como una ortorrepresentación. A este respecto, en la Fig. 7a se ilustra a su vez el modelo de localización calculado a partir de los datos de vídeo, que se registra y transfiere al sistema de coordenadas de un modelo digital del terreno (DTM).

Como se muestra de nuevo en estos dos ejemplos, el procedimiento explicado anteriormente con referencia a las Fig. 1a y 1b hace posible la visualización de contenidos de imagen en un mapa 2D con una representación clara y objetos georreferenciados.

Correspondientemente a otros ejemplos de realización, se crea un procedimiento de calibración en una cámara o de varias cámaras de una red de cámaras, que ejecuta el procedimiento explicado anteriormente para realizar la georreferenciación. A este respecto es ventajoso que el proceso de calibración se realice de forma completamente automática y se pueda realizar sin sensores GPS. A este respecto cabe señalar que la calibración se puede utilizar tanto para redes estacionarias como para semiestacionarias o incluso a medida.

La calibración puede usar tanto datos de vídeo conectados a la red de vídeo como puede añadir datos de vídeo adicionales. A este respecto cabe señalar que las capturas adicionales deben contener preferentemente una dirección de visión similar (desviación inferior a 30 o 45 grados) en relación con las cámaras que se van a calibrar

Otro ejemplo de realización crea un dispositivo para la realización del proceso de calibración explicado anteriormente. Este dispositivo comprende al menos dos interfaces, concretamente una interfaz para la grabación de la cámara y una interfaz para la recepción de las ortorrepresentaciones. Correspondientemente a otros ejemplos de realización, este dispositivo también puede ampliarse a un sistema si el dispositivo se combina con una cámara.

A este respecto, la calibración convencional se realiza principalmente mediante la anotación manual de puntos de la imagen y del mapa correspondientes. Sin embargo, como esto requiere la interacción del usuario, este proceso no puede ser automatizado. Con la ayuda del modo de proceder descrito, se obtienen las siguientes ventajas: Al capturar adicionalmente el entorno, se puede calcular automáticamente una representación 3D georreferenciada del entorno. De esta manera, los haces visuales de las cámaras pueden ser localizados de forma georreferenciada mediante una intersección con vistas renderizadas del mapa 2D. A este respecto, la georreferenciación basada en imágenes con mapas 2D (ortofotos) permite un ajuste exacto del plano del suelo en la ortofoto y del índice de localización y calibración.

Con referencia a los ejemplos de realización anteriores, cabe señalar una vez más que los datos de vídeo en los que se ha producido un movimiento suficiente de la cámara son especialmente adecuados para la reconstrucción 3D con el fin de calcular el modelo de localización para el modelo 3D. Si se supone que las posteriores capturas de vídeo tienen lugar a través de una cámara externa, se debe tener en cuenta que, en la medida de lo posible, se deben crear direcciones visuales similares a las vistas de la cámara de la red de vídeo, de manera que se pueda producir una asignación automática entre las imágenes grabadas y las imágenes de la red de vídeo. Por ejemplo, una diferencia angular de un máximo de 30 grados de la dirección de grabación se consideraría adecuada.

Correspondientemente a otros ejemplos de realización, existe la posibilidad de combinar los datos obtenidos con otros datos de sistemas de sensores de alta precisión no relacionados con la imagen, como, por ejemplo, receptores GPS, acelerómetros, giroscopios, barómetros o una brújula magnética. Para ello es necesario una ampliación del equipamiento de hardware del sistema de sensores de vídeo.

Correspondientemente a los ejemplos de realización, el procedimiento 100 explicado anteriormente, y especialmente las etapas 130, 140 y 150, puede utilizar a este respecto métodos basados en la intensidad (por ejemplo, optimización de la información mutua) o basados en puntos de referencia (por ejemplo, Sift/SURF en combinación con detectores covariantes afines), o procedimientos modernos de correspondencia basados en CNN para determinar las correspondencias necesarias y así estimar la transformación inicial. La superposición calculada 150 se puede utilizar además para referenciar cámaras adicionales o para georreferenciar estructuras 3D de una secuencia de imágenes, como ya se ha descrito.

Aunque algunos aspectos se han descrito en relación con un dispositivo, se entiende que estos aspectos también representan una descripción del procedimiento correspondiente, de manera que un bloque o componente de un dispositivo también se debe entender como una etapa de procedimiento correspondiente o como una característica de una etapa de procedimiento. Análogo a esto, los aspectos que se describieron en relación con una etapa de procedimiento, o como tal, representan también una descripción de un bloque o detalle o característica de un dispositivo correspondiente. Algunas o todas las etapas de procedimiento pueden ser realizadas por un aparato de hardware (o usando un aparato de hardware), como, por ejemplo, un microprocesador, un ordenador programable o un circuito electrónico. En algunos ejemplos de realización, algunas o varias de las etapas de procedimiento más importantes pueden ser realizadas por dicho aparato.

Dependiendo de determinados requisitos de implementación, los ejemplos de realización de la invención se pueden implementar en hardware o en software. La implementación se puede realizar usando un medio de almacenamiento digital, por ejemplo, un disquete, un DVD, un disco Blu-ray, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, un disco duro o cualquier otro medio de almacenamiento magnético u óptico en el que se almacenen señales de control legibles electrónicamente, que pueda interactuar o cooperar con un sistema informático programable de manera que se realice el procedimiento respectivo. Por lo tanto, el medio de almacenamiento digital puede ser legible por ordenador.

Por lo tanto, algunos ejemplos de realización según la invención comprenden un soporte de datos que presenta señales de control legibles electrónicamente capaces de interactuar con un sistema informático programable de manera que se realice uno de los procedimientos descritos en el presente documento.

En general, los ejemplos de realización de la presente se pueden implementar como un producto de programa de ordenador con un código de programa, en donde el código de programa está operativo para realizar uno de los procedimientos cuando el producto de programa de ordenador se ejecuta en un ordenador.

Por ejemplo, el código de programa también se puede almacenar en un medio legible por máquina.

Otros ejemplos de realización comprenden el programa de ordenador para la realización de uno de los procedimientos descritos en el presente documento, en donde el programa de ordenador se almacena en un medio legible por máquina.

En otras palabras, un ejemplo de realización del procedimiento según la invención es, por tanto, un programa de ordenador que comprende un código de programa para realizar uno de los procedimientos descritos en el presente documento cuando el programa de ordenador se ejecuta en un ordenador.

Por lo tanto, otro ejemplo de realización del procedimiento según la invención es un soporte de datos (o un medio de almacenamiento digital o un medio legible por ordenador) en el que está grabado el programa de ordenador para realizar uno de los procedimientos descritos en el presente documento.

Por lo tanto, un ejemplo de realización del procedimiento según la invención es un flujo de datos o una secuencia de señales que representa el programa de ordenador para realizar uno de los procedimientos descritos en el presente documento. El flujo de datos o la secuencia de señales pueden, por ejemplo, estar configurados para ser transferidos a través de un enlace de comunicación de datos, por ejemplo, a través de internet.

Otro ejemplo de realización comprende un dispositivo de procesamiento, por ejemplo un ordenador o un dispositivo lógico programable que está configurado o adaptado para realizar uno de los procedimientos descritos en el presente documento.

Otro ejemplo de realización comprende un ordenador en el que se instala el programa de ordenador para realizar uno de los procedimientos descritos en el presente documento.

Otro ejemplo de realización según la invención comprende un dispositivo o un sistema que está adaptado para transmitir a un receptor un programa de ordenador para realizar al menos uno de los procedimientos descritos en el presente documento. La transmisión puede ser, por ejemplo, electrónica u óptica. El receptor puede ser, por ejemplo, un ordenador, un dispositivo móvil, un dispositivo de almacenamiento o un dispositivo similar. El dispositivo o el sistema puede comprender, por ejemplo, un servidor de archivos para transmitir el programa de ordenador al receptor.

En algunos ejemplos de realización, se puede usar un dispositivo lógico programable (por ejemplo, una matriz de puertas programables en campo, una FPGA) para realizar algunas o todas las funcionalidades de los procedimientos descritos en el presente documento. En algunos ejemplos de realización, una matriz de puertas programables de campo puede cooperar con un microprocesador para realizar uno de los procedimientos descritos en el presente documento. En general, en algunos ejemplos de realización, los procedimientos se realizan en la parte de un dispositivo de hardware discrecional. Este puede ser un hardware de propósito general, como un procesador de ordenador (CPU), o un hardware específico para el procedimiento, como, por ejemplo, un ASIC.

Los ejemplos de realización anteriormente descritos representan únicamente una ilustración de los principios de la presente invención. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en el presente documento serán evidentes para otros expertos en la técnica. Por lo tanto, se pretende que la invención esté limitada únicamente por el ámbito de protección de las siguientes reivindicaciones y no por los detalles específicos que se presentaron en el presente documento por la descripción y la explicación de los ejemplos de realización.

Claims (14)

REIVINDICACIONES

1. Procedimiento (100) de referenciación 3D, con las siguientes etapas:

captura (110) de una primera perspectiva de cámara de al menos cuatro puntos homólogos de al menos un objeto en una primera captura;

captura (110) de una segunda perspectiva de cámara de los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en una segunda captura;

obtención (120) de una ortorrepresentación 2D (14) en una región en la que se encuentran los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d');

registro (130) de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en la primera captura en la ortorrepresentación 2D (14), en la que se conocen las posiciones de los puntos en la ortorrepresentación 2D (14), de manera que en la etapa de registro (130) de los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') se obtenga una información de posición de los cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') registrados;

transformación (140) de la ortorrepresentación 2D (14) en una perspectiva de cámara idéntica a la primera perspectiva de cámara para obtener una vista virtual (14') de la ortorrepresentación 2D (14); en la que la etapa de transformación (140) de la ortorrepresentación 2D (14) comprende una subetapa de determinación de los puntos de intersección de las líneas de visión de los contenidos de imagen de la primera captura con contenidos de imagen en la ortorrepresentación 2D (14);

reconstrucción de las posiciones 3D de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') basadas en la primera y segunda captura en un sistema de coordenadas de la cámara, así como reconstrucción 3D de objetos a los que pertenecen los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d'),

determinación de correspondencias 3D/3D mediante la superposición (150') de la vista virtual de la ortorrepresentación 2D (14) con un espacio formado en la reconstrucción 3D (13).

2. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la etapa de transformación (140) comprende la subetapa de determinación de una transformación de similitud 3D; o

en el que la etapa de transformación (140) comprende la subetapa de determinación de una transformación de similitud 3D, y en el que la transformación de similitud 3D se realiza con respecto a siete grados de libertad.

3. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la etapa de transformación (140) se realiza con ayuda de un algoritmo de ajustes próximos o un programa de estimación robusto.

4. Procedimiento (100) según una de las reivindicaciones precedentes, en el que durante el registro (130) de contenidos de imagen de la primera captura en la ortorrepresentación 2D (14) se realiza una determinación del ángulo de visión de la primera captura.

5. Procedimiento (100) según una de las reivindicaciones precedentes, en el que el procedimiento (100) se realiza sin conocimiento ni estimación de la posición de la cámara.

6. Procedimiento (100) según una de las reivindicaciones precedentes, en el que el procedimiento (100) comprende la etapa de captura (110) de una segunda perspectiva de cámara de los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en una segunda captura, así como de reconstrucción de posiciones 3D de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') basados en la primera y la segunda captura en un sistema de coordenadas de la cámara, y en el que la segunda perspectiva de cámara se diferencia de la primera perspectiva de cámara en que ha tenido lugar un movimiento de la cámara.

7. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la segunda perspectiva de cámara se diferencia de la primera perspectiva de cámara en que los cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') son capturados de diferentes ángulos de visión.

8. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la etapa de captura (110) de los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') se repite para múltiples perspectivas de cámara para obtener múltiples capturas; y/o

en el que la pluralidad de capturas pertenece a una secuencia de vídeo.

9. Procedimiento (100) según una de las reivindicaciones precedentes, en el que el resultado de la reconstrucción 3D comprende, además del objeto reconstruido, una localización de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en un sistema de coordenadas de la cámara; y

en el que en la etapa de superposición (150) el sistema de coordenadas de la cámara se superpone con el sistema de coordenadas conocido de la ortorrepresentación 2D (14).

10. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la etapa de registro (130) se repite para contenidos de imagen de la segunda captura en la ortorrepresentación 2D (14); o

en el que la etapa de registro (130) se repite para contenidos de imagen de la segunda captura en la ortorrepresentación 2D (14); y en el que una optimización de informaciones de posición de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') se realiza mediante la segunda captura (10b).

11. Procedimiento (100) según una de las reivindicaciones precedentes, en el que la transformación (140) de la ortorrepresentación 2D (14) se realiza en una perspectiva de cámara idéntica a la primera perspectiva de cámara para obtener una vista virtual (14') de la ortorrepresentación 2D (14) que es esencialmente igual a la primera perspectiva de cámara; en el que el procedimiento (100) comprende la etapa de registro (130) de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en la primera captura; en el que se conocen las posiciones de puntos en la ortorrepresentación 2D (14), de manera que en la etapa de registro (130) de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') se obtiene una información de posición de los cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') registrados; en el que la etapa de transformación (140) comprende la subetapa de determinación de una transformación de similitud 3D y en el que la etapa de transformación (140) de la ortorrepresentación 2D (14) comprende una subetapa de determinación de los puntos de intersección de las líneas de visión de los contenidos de imagen de la primera captura con contenidos de imagen en la ortorrepresentación 2D (14).

12. Programa de ordenador para realización el procedimiento según una de las reivindicaciones 1 a 11, cuando el programa se ejecuta en un ordenador.

13. Dispositivo para la referenciación 3D, con las siguientes características:

una interfaz de cámara para la obtención (120) de una primera captura de una primera perspectiva de cámara de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') de al menos un objeto y para la obtención (120) de una segunda captura de los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') de una segunda perspectiva de cámara;

una interfaz para la obtención (120) de una ortorrepresentación 2D (14) de una región en la que están presentes los cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d');

un procesador para el registro (130) de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') en la primera captura en la ortorrepresentación 2D (14), en el que se conocen las posiciones de los puntos en la ortorrepresentación 2D (14), de manera que en la etapa de registro (130) de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') se obtenga una información de posición de los cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') registrados;

en el que el procesador está configurado para transformar la ortorrepresentación 2D (14) en una perspectiva de cámara idéntica a la primera perspectiva de cámara para obtener una vista virtual (14') de la ortorrepresentación 2D (14); en el que la transformación (140) de la ortorrepresentación 2D (14) comprende la determinación de los puntos de intersección de las líneas de visión de los contenidos de imagen de la primera captura con contenidos de imagen en la ortorrepresentación 2D (14);

en el que el procesador está configurado para reconstruir posiciones 3D de al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d') basados en la primera y segunda captura en un sistema de coordenadas de la cámara, así como realizar una reconstrucción 3D de objetos a los que pertenecen los al menos cuatro puntos homólogos (12a, 12b, 12c, 12d, 12a', 12b', 12c', 12d'); para determinar correspondencias 3D/3D mediante la superposición (150') de la vista virtual de la ortorrepresentación 2D (14) con un espacio formado en la reconstrucción 3D (13).

14. Sistema que comprende al menos una cámara, así como el dispositivo según la reivindicación 13.