ES2894046T3 - Mejora de la resolución de imágenes aéreas o imágenes de satélite - Google Patents

Abstract

Un método para mejorar la resolución de imágenes aéreas o imágenes de satélite, que comprende la etapa de - proporcionar (101) al menos una primera imagen de entrenamiento bidimensional (2D) que comprende una imagen de una primera área (2) sobre el suelo (1), en donde la subimagen 2D se ha capturado en un primer ángulo (α) hacia el suelo (1) y en una primera altura (h1) por encima del suelo (1), - proporcionar (103) una Red de Aprendizaje Automático (MLN), caracterizado por que el método comprende adicionalmente las etapas de - proporcionar (102) un mapa tridimensional (3D) de alta resolución creado basándose en imágenes aéreas capturadas desde al menos dos ángulos diferentes, en donde el mapa 3D de alta resolución cubre una segunda área (3) que al menos es una parte de la primera área (2), y en donde el mapa 3D de alta resolución tiene una mayor resolución que la imagen de entrenamiento 2D, - extraer (104), del mapa 3D de alta resolución, un submapa bidimensional (2D) en un segundo ángulo (β) hacia el suelo y en una segunda altura (h2) por encima del suelo, que representa una tercera área que es al menos una parte de la segunda área y que comprende datos de coordenadas 2D geocodificados e información de textura, en donde el segundo ángulo (β) difiere no más de 5° del primer ángulo (α) y en donde la segunda altura (h2) difiere no más del 5 % de la primera altura (h1), - extraer (105) una subimagen 2D de la imagen de entrenamiento 2D, siendo la subimagen 2D una imagen de la tercera área, y - entrenar (106) a la MLN, usando el submapa 2D de alta resolución y la subimagen 2D.

Description

DESCRIPCIÓN

Mejora de la resolución de imágenes aéreas o imágenes de satélite

Campo técnico

La presente invención se refiere a un método y una disposición para mejorar la resolución de imágenes aéreas o imágenes de satélite.

Antecedentes de la técnica

Un mercado de rápido crecimiento tanto en el sector civil como militar es el de los sistemas de información geográficos. El conocimiento acerca de las condiciones geográficas forma un soporte de decisión fundamental para empresas, autoridades y en las fuerzas armadas. La información geográfica puede comprender mapas digitales que tienen capas de información superpuestas tales como infraestructura, tipo de terreno y diferentes tipos de objetos. Esta forma de proporcionar mapas digitales comprende formar mapas bidimensionales que comprenden capturar imágenes del terreno desde una aeronave y el posprocesamiento de las imágenes capturadas. Es posible formar mapas tridimensionales a partir de las imágenes capturadas o conjuntos de datos de alcance del terreno/infraestructura.

Para conseguir una captura eficiente de imágenes del suelo es ventajoso usar imágenes de satélite ya que los satélites pueden capturar imágenes que cubren un gran área en poco tiempo. Un inconveniente con las imágenes de satélite es que tienen menor resolución que las imágenes aéreas tomadas desde, por ejemplo, un aeroplano. Sin embargo, lleva mucho tiempo y en ocasiones es imposible capturar imágenes aéreas que cubren grandes áreas, siendo una razón que las áreas de suelo a capturar en imágenes están en un país que no permiten la captura de imágenes aéreas.

En algunos casos, se han capturado imágenes del suelo con cámaras no optimizadas específicamente para capturar imágenes del suelo. Es deseable poder mejorar la resolución también en tales imágenes.

Charles B. Collins et al: "Deep learning for multisensor image resolution enhancement", Actas del 1er Taller sobre Inteligencia Artificial y Aprendizaje Profundo para Descubrimiento de Conocimiento Geográfico, 1 de enero de 2017, páginas 37-44, XP055489254, Nueva York, Estados Unidos, describe un método para la mejora de resolución de imágenes aéreas o imágenes de satélite.

Sumario de la invención

Un objetivo de la presente invención es proporcionar un método, un sistema y un programa informático, que habilita una formación más eficiente de mapas 3D de alta resolución de grandes áreas, de lo que ha sido posible de acuerdo con la técnica anterior.

Otro objetivo de la presente invención es proporcionar un método, un sistema y un programa informático, que habilita una mejora de resolución de imágenes aéreas o imágenes de satélite.

Al menos se consigue uno de estos objetivos con un método, un sistema y un programa informático de acuerdo con las reivindicaciones independientes.

Se consiguen ventajas adicionales con las características de las reivindicaciones dependientes.

De acuerdo con un primer aspecto de la presente invención, se proporciona un método para la mejora de resolución de imágenes aéreas o imágenes de satélite. El método comprende las etapas de proporcionar al menos una primera imagen de entrenamiento bidimensional (2D) que comprende una imagen de una primera área sobre el suelo, en donde la subimagen 2D se ha capturado en un primer ángulo (a) hacia el suelo y en una primera altura por encima del suelo, y proporcionar una Red de Aprendizaje Automático (MLN). El método se caracteriza por que el método comprende adicionalmente las etapas de proporcionar un mapa tridimensional (3D) de alta resolución creado basándose en imágenes aéreas capturadas desde al menos dos ángulos diferentes, en donde el mapa 3D de alta resolución cubre una segunda área que al menos es una parte de la primera área, y en donde el mapa 3D de alta resolución tiene una mayor resolución que la imagen de entrenamiento 2D, y extraer, del mapa 3D de alta resolución, un submapa bidimensional (2D) en un segundo ángulo hacia el suelo y en una segunda altura por encima del suelo, que representa una tercera área que es al menos una parte de la segunda área, y que comprende datos de coordenadas 2D geocodificados e información de textura, en donde el segundo ángulo difiere no más de 5° del primer ángulo y en donde la segunda altura difiere no más del 5 % de la primera altura. El método se caracteriza también por las etapas de extraer una subimagen 2D de la imagen de entrenamiento 2D, cuya subimagen 2D es una imagen de la tercera área, y entrenar a la MLN, usando el submapa 2D de alta resolución y la subimagen 2D.

La formación de imágenes que usa imágenes aéreas o de satélite a menudo se denomina obtención imágenes aéreas o espaciales.

El método descrito para la mejora de resolución de imágenes es favorable en que facilita el entrenamiento de la MLN para la mejora de resolución. Proporcionar un mapa 3D de alta resolución con mayor resolución que la imagen de entrenamiento 2D, es posible extraer un submapa 2d del suelo desde el mismo ángulo y misma altura que la imagen 2D. La subimagen 2D extraída de la imagen de entrenamiento 2D será, por tanto, una representación del suelo desde el mismo ángulo y la misma altura que el submapa 2D. Teniendo una coincidencia perfecta de este tipo entre la subimagen 2D y la subimagen 2D, el entrenamiento de la MLN se vuelve mejor que si existe una diferencia de ángulo y/o una diferencia de altura entre la subimagen 2D y el submapa 2D. Una diferencia de ángulo y/o diferencia de altura de este tipo se produciría si se usara un mapa 2D de alta resolución ya que entonces no sería posible cambiar el ángulo o altura del submapa 2D.

El método de acuerdo con la invención es especialmente ventajoso en la mejora de imágenes de satélite. Por lo tanto, el método de acuerdo con la invención es especialmente para la mejora de resolución de imágenes de satélite.

Mediante el uso de una subimagen 2D extraída de a imagen de satélite 2D en el entrenamiento de la MLN, la MLN se entrena para tener en cuenta diferentes factores que tienen un efecto en la imagen y que son específicos para imágenes de satélite. Ejemplos de tales factores son la influencia de la atmósfera en la imagen de satélite, y el balance de colores, que es diferente en imágenes de satélite que en imágenes capturadas desde una aeronave.

Adicionalmente, las imágenes de satélite normalmente se comprimen cuando se proporcionan desde proveedores de servicios. La compresión de las imágenes de satélite resulta en errores de compresión. Usando una subimagen 2D extraída de la imagen de entrenamiento 2D en el entrenamiento de la MLN, la MLN se entrena para tener en cuenta tales errores de compresión. Cuando la MLN entrenada se usa posteriormente para mejorar la resolución de imágenes de satélite, se ha entrenado para ocuparse de algunos de los errores de compresión.

Una alternativa al método descrito de uso de imágenes 2D y un mapa 3D para entrenar a la MLN sería generar, basándose en una imagen aérea, una imagen falsa con una resolución deteriorada. El entrenamiento de una MLN con una imagen aérea y una imagen falsa de este tipo resultaría en una MLN entrenada para mejorar imágenes falsas, pero no especialmente entrenada para mejorar imágenes aéreas reales o imágenes de satélite reales.

Además de tomarse desde el mismo ángulo, la subimagen 2D y el submapa 2D deberían tomarse desde el mismo ángulo, los píxeles de la subimagen 2D también deberían tener una correspondencia en el submapa 2D. La subimagen 2D y el submapa 2D podrían tener el mismo número de píxeles tales como, por ejemplo, 1000x1000 píxeles. También debería ser posible tener una mayor resolución en el submapa 2D siempre que los píxeles de la subimagen 2D tengan píxeles correspondientes en el submapa 2D. El submapa 2D puede tener, por ejemplo, una resolución de 2000x2000 píxeles mientras la subimagen 2D tiene una resolución de 1000x1000 píxeles. 2x2 píxeles en el submapa 2D tienen entonces una correspondencia clara en 1x1 píxel en la subimagen 2D.

Incluso si es deseable que la subimagen 2D y el submapa 2D se hayan capturado en esencialmente el mismo ángulo con respecto al suelo, es posible tener una pequeña diferencia entre sus ángulos. La primera subimagen 2D puede haberse capturado en un primer ángulo hacia el suelo, en donde el submapa 2D se ha extraído en un segundo ángulo hacia el suelo. El segundo ángulo difiere no más de 1° del primer ángulo. Se prefiere más que el primer ángulo sea esencialmente el mismo que el segundo ángulo.

Incluso si es deseable que la subimagen 2D y el submapa 2D se hayan capturado a esencialmente la misma altura, es posible tener una pequeña diferencia entre las alturas en las que se han capturado. La subimagen 2D puede haberse capturado en una primera altura por encima del suelo 1, y el submapa 2D puede haberse extraído a una segunda altura por encima del suelo. La segunda altura no difiere más del 1 % de la primera altura.

Capturando la subimagen 2D y el submapa 2D a la misma altura y en el mismo ángulo con respecto al suelo, las perspectivas se vuelven iguales en la subimagen 2D y el submapa 2D.

El método puede comprender las etapas de proporcionar al menos una imagen de prueba 2D que comprende una imagen de un área sobre el suelo, y generar, a partir de la al menos una imagen de prueba 2d , usando la MLN entrenada, una imagen 2D sintética, en donde la imagen 2D sintética tiene una resolución mejorada en relación con dicha al menos una imagen de prueba 2D. La generación de la imagen 2D sintética puede realizarse por una entidad diferente que la que entrena la MLN. El método, por lo tanto, proporciona una forma favorable de proporcionar una resolución mejorada de las imágenes 2D.

Al menos pueden proporcionarse dos imágenes de prueba 2D diferentes, en donde cada una de las imágenes de prueba 2D comprende una imagen de la misma área sobre el suelo, en donde las imágenes de prueba 2D se toman desde al menos dos ángulos diferentes hacia el suelo, y en donde se genera una respectiva imagen 2D sintética a partir de cada una de las imágenes de prueba 2D usando la MLN entrenada. Proporcionando una imagen 2D sintética a partir de cada una de las imágenes de prueba 2D es posible generar un mapa 3D con resolución mejorada.

El mapa 3D de alta resolución puede comprender datos de coordenadas 3D geocodificados e información de textura. Esto hace posible generar imágenes 2D sintéticas con resolución mejorada tanto con respecto a los datos de coordenadas como con respecto a la información de textura.

La generación de un mapa 3D a partir de imágenes 2D se conoce de la técnica anterior y se describe en, por ejemplo, el documento WO2014/112911. El método descrito en dicha publicación comprende las etapas de proporcionar una pluralidad de imágenes solapantes del entorno, estando cada imagen asociada a los datos de navegación; proporcionar información de distancia, comprendiendo dicha información de distancia un valor de distancia y datos de navegación desde una pluralidad de mediciones de distancia; y desarrollar el modelo 3D basándose en la pluralidad de imágenes solapantes y la información de distancia. La etapa de desarrollar el modelo 3D comprende las etapas de proporcionar el modelo 3d basándose en la pluralidad de imágenes solapantes y actualizar el modelo 3D con la información de distancia usando un proceso iterativo.

Por lo tanto, cada una de las imágenes 2D se asocia preferentemente a datos de navegación e información de distancia que comprenden un valor de distancia y datos de navegación desde una pluralidad de mediciones de distancia. La etapa de desarrollar el mapa 3D sintético comprende las etapas de proporcionar el mapa 3D sintético basándose en la pluralidad de imágenes solapantes y actualizar el mapa 3D con la información de distancia usando un proceso iterativo. Existen unas cuantas formas diferentes de representar el mapa 3D sintético. El mapa 3D sintético puede representarse como una malla, como una representación de superficie o como una representación de vóxel.

Cada una de las imágenes de prueba 2D puede asociarse con datos de navegación e información de distancia. El método puede comprender, por lo tanto, la etapa de generar a partir de las imágenes 2D sintéticas, usando los datos de navegación y la información de distancia, un mapa 3D sintético que comprende datos de coordenadas e información de textura. Existen dos posibilidades principales para la creación del mapa 3D sintético. De acuerdo con una primera alternativa, la información de coordenadas podría tomarse solamente de las imágenes de prueba 2D, mientras que la información de textura puede tomarse de las imágenes 2D sintéticas. Por lo tanto, el método puede comprender las etapas de generar a partir de las imágenes de prueba 2D un mapa 3D que comprende datos de coordenadas 3D geocodificados, y mejorar, usando las imágenes 2D sintéticas, la información de textura en el mapa 3D sintético. Como alternativa, la información de coordenadas así como la información de textura puede tomarse de las imágenes 2D sintéticas.

El mapa 3D de alta resolución se basa preferentemente en imágenes aéreas. Sin embargo, es posible basar el mapa 3D de alta resolución en imágenes capturadas desde edificios, mástiles o torres altas.

El Algoritmo de Aprendizaje Automático puede elegirse de una Red Generativa Antagónica (GAN), una Red Completamente Conectada (FCN) y una Red Neural Convolucional (CNN). Existen diferentes variantes de GAN, tales como, por ejemplo, GAN de Súper Resolución (SRGAN) GAN de Wasserstein (WGAN) y GAN de Autoatención (SAGAN).

Si la MLN es una GAN, puede comprender un primer perceptrón multicapa que constituye un generador, y un segundo perceptrón multicapa que constituye un discriminador.

De acuerdo con un segundo aspecto de la presente invención, se proporciona un sistema para la mejora de resolución de imágenes, cuyo sistema se implementa en un dispositivo de servidor y se dispone para realizar el método de acuerdo con el primer aspecto o cualquiera de sus realizaciones preferidas descritas anteriormente.

Las ventajas de un sistema de este tipo son las mismas que las descritas en relación con el primer aspecto de la invención.

De acuerdo con un tercer aspecto de la presente invención, se proporciona un programa informático para la mejora de resolución de imágenes, que comprende instrucciones que, cuando se ejecutan por al menos un procesador, provocan que el al menos un procesador efectúe el método de acuerdo con el primer aspecto o cualquiera de las realizaciones preferidas del primer aspecto.

Breve descripción de los dibujos

En la siguiente descripción de las realizaciones preferidas, se hará referencia a los dibujos adjuntos en los que La Figura 1 muestra esquemáticamente la captura de imágenes de un área sobre el suelo usando un satélite y una aeronave.

La Figura 2 muestra esquemáticamente cómo puede cubrirse una gran área sobre el suelo mediante una pluralidad de imágenes.

La Figura 3 ilustra un mapa 3D.

La Figura 4 ilustra un método de acuerdo con la invención.

La Figura 5 muestra un sistema para la mejora de resolución de imágenes.

Descripción detallada

En la siguiente descripción de las realizaciones preferidas se usarán los mismos números de referencia para características similares en los diferentes dibujos. Los dibujos no están dibujados a escala.

En las diferentes realizaciones descritas a continuación, las imágenes cuya resolución tiene que mejorarse se ilustran como imágenes de satélite. Sin embargo, también sería posible mejorar la resolución de imágenes aéreas.

La Figura 1 muestra esquemáticamente la captura de imágenes de un área sobre el suelo 1 usando un primer satélite 11, un segundo satélite 12 y una aeronave 13. Como se muestra en la Figura 1, el primer satélite 11 captura una primera imagen de satélite bidimensional (2D) de una primera área 2 desde un primer ángulo y el segundo satélite 12 captura una segunda imagen de satélite bidimensional (2D) de la primera área 2 desde un segundo ángulo. En la Figura 1 también se muestra una aeronave, que captura una imagen de una segunda área 3 desde un tercer ángulo. En la Figura 1 la segunda área 3 está en su totalidad dentro de la primera área 2, es decir, no hay ninguna parte de la segunda área 3 fuera de la primera área 2. Debido a la menor distancia entre la aeronave 13 y el suelo 1 en comparación con la distancia entre los satélites 11, 12 y el suelo 1, es posible conseguir una mayor resolución en las imágenes capturadas desde la aeronave 13 que en las imágenes capturadas desde los satélites. El mapa 3D de alta resolución tiene una mayor resolución que la imagen de satélite 2D.

Las imágenes se han capturado de la segunda área por la aeronave 13 desde al menos dos ángulos diferentes, de los cuales únicamente se muestra uno en la Figura 1. Basándose en dichas imágenes, puede crearse un mapa tridimensional (3D) de alta resolución de la segunda área 3. A partir del mapa 3D de alta resolución es posible extraer un submapa bidimensional (2D), que representa una tercera área que es al menos una parte de la segunda área. En la Figura 1 el submapa 2D representa toda la segunda área y comprende datos de coordenadas 2D geocodificados e información de textura. Se extrae una subimagen 2D de la imagen de entrenamiento de satélite 2D, cuya subimagen 2D es una imagen de la tercera área, que en este caso corresponde a la segunda área 3. La subimagen 2D se ha tomado en un primer ángulo a al suelo como se indica con las líneas continuas desde el satélite 11 al suelo. La subimagen 2D se ha capturado en una primera altura h1 por encima del suelo 1. El submapa 2D se extrae en un segundo ángulo p al suelo y en una segunda altura h2 por encima del suelo. El segundo ángulo p difiere no más del 5°, preferentemente no más de 1°, del primer ángulo a. La segunda altura h2 difiere no más del 5 %, preferentemente no más del 1 %, de la primera altura h1. Teniendo el submapa 2D y la subimagen 2D capturados a esencialmente la misma altura y el mismo ángulo con respecto al suelo la perspectiva se vuelve igual.

El submapa 2D es, por lo tanto, una imagen sintética que se ha extraído del mapa 3D de alta resolución. El submapa 2D corresponde a una captura de imágenes desde una aeronave que tiene la posición como se indica por la segunda aeronave imaginaria 14 mostrada con líneas discontinuas. La posición de la aeronave imaginaria 14 es esencialmente la misma que la posición del satélite 11. Existe una pequeña diferencia en posición entre la aeronave imaginaria 14 y el satélite para ilustrar que es posible tener posiciones ligeramente diferentes que resultan en la pequeña diferencia entre el primer ángulo a y el segundo ángulo p, y la pequeña diferencia en altura entre la primera altura h1 y la segunda altura h2. Se proporciona una Red de Aprendizaje Automático (MLN). El Algoritmo de Aprendizaje Automático se elige de una Red Generativa Antagónica (GAN), una Red Completamente Conectada (FCN) y una Red Neural Convolucional (CNN). Las GAN se conocen de la técnica anterior, tal como a partir de (lan J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville y Yoshua Bengio. Generative adversarial nets. En Avances en Sistemas de Procesamiento de Información Neural 27: Conferencia Anual sobre Sistemas de Procesamiento de Información Neural 2014, 8-13 de diciembre de 2014, Montreal, Quebec, Canadá, páginas 2672-2680, 2014). Existen diferentes variantes de GAN, tales como, por ejemplo, GAN de Súper Resolución (SRGAN) GAN de Wasserstein GAN (WGAN) y GAN de Autoatención (SAGAN). Con una MLN es posible mejorar la resolución de una imagen 9. La MLN comprende un generador y un discriminador. El generador genera, basándose en la subimagen 2D, una imagen sintética. El discriminador compara la imagen sintética con la subimagen 2D y hace una determinación sobre si la imagen sintética es real o falsa. El proceso se reitera un gran número de veces para entrenar al generador para producir imágenes que engañe al discriminador.

Para que el entrenamiento sea significativo y satisfactorio la primera imagen de satélite 2D debe haberse capturado en un primer ángulo con respecto al suelo que es aproximadamente el mismo que un segundo ángulo con respecto al suelo en el que se ha capturado el submapa 2D. La primera imagen de satélite 2D puede haberse capturado en un ángulo con respecto al suelo que difiere del ángulo con respecto al suelo al que se ha capturado el submapa 2D con como máximo 1° para obtener un buen resultado e incluso con como máximo 5° para obtener un resultado satisfactorio.

Después de que se considera que el entrenamiento del generador ha finalizado, el generador puede usarse para generar imágenes de satélite 2D sintéticas basándose en imágenes de prueba 2D, que en esta realización son imágenes de prueba de satélite 2D. En esta etapa, así denominada, de prueba, la MLN se usa para generar, a partir de las imágenes de prueba de satélite 2D, usando la MLN entrenada, imágenes de satélite 2D sintéticas, en donde las imágenes de satélite 2D sintéticas tienen una resolución mejorada en relación con las imágenes de prueba de satélite 2D. Esencialmente lo que se mejora es la textura. En la Figura 1 el primer satélite 10 y el segundo satélite 11 capturan imágenes desde ángulos diferentes. Esto hace posible generar un mapa 3D sintético que comprende datos de coordenadas e información de textura de las imágenes de satélite 2D sintéticas. El mapa 3D sintético tiene una mayor resolución que las imágenes de prueba de satélite 2D originales. En la Figura 1 las imágenes de prueba son de la misma área 2 que las imágenes de entrenamiento. En una aplicación real las imágenes de prueba normalmente serían imágenes de diferentes áreas que las áreas capturadas por la imagen de entrenamiento.

Como una alternativa, a partir de las imágenes por satélite 2D puede generarse un mapa 3D que comprende datos de coordenadas 3D geocodificados. La información de textura en el mapa 3D sintético puede mejorarse, a continuación, usando las imágenes de satélite 2D sintéticas.

Cada una de las imágenes por satélite 2D se asocia con datos de navegación e información de distancia. El mapa 3D sintético que comprende datos de coordenadas e información de textura se genera a partir de las imágenes de satélite 2D sintéticas, usando los datos de navegación y la información de distancia. La generación de un mapa 3D a partir de imágenes 2D se ha descrito en detalle en el documento WO2014/112911 y no se describirá en detalle en esta solicitud.

La Figura 2 ilustra cómo puede cubrirse una mayor área capturando imágenes de prueba de una pluralidad de, en este caso, seis diferentes áreas 2a-2f del suelo, cuyas áreas se están solapando ligeramente entre sí. Esto hace posible corresponder las imágenes capturadas entre sí. Al menos se capturan 2 imágenes de prueba de satélite de cada área 2a-2f. Después del entrenamiento de la MLN, se genera una imagen de satélite 2D sintética a partir de cada una de las imágenes por satélite 2D. Un mapa 3D sintético, que cubre todo el área 2a-2f, puede generarse, a continuación, a partir de las imágenes de satélite 2D sintéticas. En la Figura 2 también se muestra una segunda área 3 de la que se captura una imagen aérea desde una aeronave 13, 14. La imagen aérea de la segunda área se usa para entrenar a la MLN como se ha explicado anteriormente. Como se ha mencionado anteriormente, la imagen de entrenamiento de satélite 2D usada para entrenar a la MLN es normalmente diferente de las imágenes de prueba de satélite 2D usadas para crear el mapa 3D sintético.

La MLN comprende preferentemente un primer perceptrón multicapa que constituye un generador, y un segundo perceptrón multicapa que constituye un discriminador.

La Figura 3 ilustra un mapa 3D 9 que comprende datos de coordenadas e información de textura en la parte inferior derecha 7 del mapa y que comprende únicamente datos de coordenadas en la parte superior izquierda 8 del mapa. Los datos de coordenadas del mapa 3D 9 pueden generarse o bien a partir de las imágenes de satélite 2D sintéticas o bien directamente a partir de las imágenes por satélite 2D. Después de la generación de los datos de coordenadas el mapa 3D 9 se parece a la parte superior izquierda 8 del mapa 3D 9. La información de textura se aplica, a continuación, usando la información de las imágenes 2D sintéticas para crear un mapa 3D 9 como se muestra en la parte inferior derecha 7.

El método anteriormente descrito se realiza preferentemente por un sistema para la mejora de resolución de imágenes. El sistema se implementa preferentemente en un dispositivo de servidor y se dispone para realizar el método como se ha descrito anteriormente.

Un programa informático para la mejora de resolución de imágenes, que comprende instrucciones que, cuando se ejecutan por al menos un procesador, provocan que el al menos un procesador efectúe el método como se ha descrito anteriormente, puede almacenarse en un medio de almacenamiento legible por ordenador.

La Figura 4 muestra esquemáticamente un método de acuerdo con una realización de la invención. Las primeras seis etapas 101-106 dentro del marco discontinuo 100 describe las etapas de método básicas. El método, por lo tanto, comprende la primera etapa de proporcionar 101 al menos una primera imagen bidimensional (2D) que comprende una imagen de una primera área 2 sobre el suelo 1. El método se caracteriza por que el método comprende adicionalmente la segunda etapa de proporcionar 102 un mapa tridimensional (3D) de alta resolución, en donde el mapa 3D de alta resolución cubre una segunda área (3) que al menos es una parte de la primera área, y en donde el mapa 3D de alta resolución tiene una mayor resolución que la imagen 2D. El método también comprende la tercera etapa de proporcionar 103 una Red de Aprendizaje Automático (MLN), y la cuarta etapa de extraer 104, del mapa 3D de alta resolución, un submapa bidimensional (2D), que representa una tercera área que es al menos una parte de la segunda área, y que comprende datos de coordenadas 2D geocodificados e información de textura. El método también comprende la quinta etapa de extraer 105 una subimagen 2D de la imagen 2D, cuya subimagen 2D es una imagen de la tercera área, y la sexta etapa de entrenar 106 a la MLN, usando el submapa 2D de alta resolución y la subimagen 2D. Estas seis etapas son las etapas básicas del método. En la Figura 4 también se muestra la etapa adicional de generar 107, a partir de al menos dos imágenes 2D diferentes, en donde cada una de las imágenes 2D comprende una imagen de la primera área 2, en donde las imágenes 2D se toman desde al menos dos ángulos diferentes hacia el suelo 1, y en donde se generan imágenes 2D sintéticas para cada imagen 2D usando la MLN entrenada. Las imágenes 2D sintéticas tienen una resolución mejorada en relación con las imágenes 2D. El método ilustrado en la Figura 4 finalmente comprende la etapa de generar 108 a partir de las imágenes 2D sintéticas un mapa 3D sintético que comprende datos de coordenadas e información de textura. La séptima etapa 107 y la octava etapa 108 pueden modificarse como se ha descrito anteriormente.

El Algoritmo de Aprendizaje Automático se elige de una Red Generativa Antagónica (GAN), una Red Completamente Conectada (FCN) y una Red Neural Convolucional (CNN).

La Figura 5 muestra un sistema para la mejora de resolución de imágenes, cuyo sistema se implementa en un dispositivo de servidor 200. El dispositivo de servidor comprende una primera entrada 201 para un mapa 3D de alta resolución y una segunda entrada 202 para imágenes. El dispositivo de servidor 200 también comprende un procesador en el que se ejecuta un programa informático que hace que el dispositivo de servidor 200 realice el método de acuerdo con la invención. El procesador ejecuta un generador virtual 204 y un discriminador virtual 205 que realizan el entrenamiento de la MLN. Después de entrenar al procesador, puede generar las imágenes sintéticas como se ha descrito anteriormente.

Las realizaciones anteriormente descritas pueden modificarse de muchas formas sin alejarse del alcance de la presente invención, que se limita únicamente por las reivindicaciones adjuntas.

En aplicaciones más prácticas el mapa 3D de alta resolución se basa en imágenes aéreas. Sin embargo, es posible que el mapa 3D de alta resolución se base en imágenes 2D capturadas desde edificios o torres altas.

Claims (13)

REIVINDICACIONES

1. Un método para mejorar la resolución de imágenes aéreas o imágenes de satélite, que comprende la etapa de - proporcionar (101) al menos una primera imagen de entrenamiento bidimensional (2D) que comprende una imagen de una primera área (2) sobre el suelo (1), en donde la subimagen 2D se ha capturado en un primer ángulo (a) hacia el suelo (1) y en una primera altura (h1) por encima del suelo (1),

- proporcionar (103) una Red de Aprendizaje Automático (MLN),

caracterizado por que el método comprende adicionalmente las etapas de

- proporcionar (102) un mapa tridimensional (3D) de alta resolución creado basándose en imágenes aéreas capturadas desde al menos dos ángulos diferentes, en donde el mapa 3D de alta resolución cubre una segunda área (3) que al menos es una parte de la primera área (2), y en donde el mapa 3D de alta resolución tiene una mayor resolución que la imagen de entrenamiento 2D,

- extraer (104), del mapa 3D de alta resolución, un submapa bidimensional (2D) en un segundo ángulo (p) hacia el suelo y en una segunda altura (h2) por encima del suelo, que representa una tercera área que es al menos una parte de la segunda área y que comprende datos de coordenadas 2D geocodificados e información de textura, en donde el segundo ángulo (p) difiere no más de 5° del primer ángulo (a) y en donde la segunda altura (h2) difiere no más del 5 % de la primera altura (h1),

- extraer (105) una subimagen 2D de la imagen de entrenamiento 2D, siendo la subimagen 2D una imagen de la tercera área, y

- entrenar (106) a la MLN, usando el submapa 2D de alta resolución y la subimagen 2D.

2. El método de acuerdo con la reivindicación 1, en donde el segundo ángulo (p) difiere no más de 1° del primer ángulo (a).

3. El método de acuerdo con las reivindicaciones 1 o 2, en donde la segunda altura (h2) difiere no más del 1 % de la primera altura (h1).

4. El método de acuerdo con las reivindicaciones 1, 2 o 3, que comprende las etapas de

- proporcionar al menos una imagen de prueba 2D que comprende una imagen de un área (2) sobre el suelo (1), y

- generar (107), a partir de la al menos una imagen de prueba 2D, usando la MLN entrenada, una imagen 2D sintética, en donde la imagen 2D sintética tiene una resolución mejorada en relación con dicha al menos una imagen de prueba 2D.

5. El método de acuerdo con las reivindicaciones 1, 2, 3 o 4, en donde se proporcionan al menos dos imágenes de prueba 2D diferentes, en donde cada una de las imágenes 2D comprende una imagen de la misma área (2) sobre el suelo (1), en donde las imágenes de prueba 2D se toman desde al menos dos ángulos diferentes hacia el suelo, y en donde se genera una respectiva imagen 2D sintética a partir de cada una de las imágenes de prueba 2D usando la MLN entrenada.

6. El método de acuerdo con una cualquiera de las reivindicaciones 1-5, en donde el mapa 3D de alta resolución comprende datos de coordenadas 3D geocodificados e información de textura.

7. El método de acuerdo con las reivindicaciones 5 y 6, en donde cada una de las imágenes de prueba 2D se asocia a datos de navegación e información de distancia, comprendiendo el método la etapa de

- generar (108), a partir de las imágenes 2D sintéticas, usando los datos de navegación y la información de distancia, un mapa 3D sintético que comprende datos de coordenadas e información de textura.

8. El método de acuerdo con las reivindicaciones 5 y 6, que comprende las etapas de

- generar (108), a partir de las imágenes de prueba 2D, un mapa 3D sintético que comprende datos de coordenadas 3D geocodificados, y

- mejorar, usando las imágenes 2D sintéticas, la información de textura en el mapa 3D sintético.

9. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde el Algoritmo de Aprendizaje Automático se elige de una Red Generativa Antagónica (GAN), una Red Completamente Conectada (FCN) y una Red Neural Convolucional (CNN).

10. El método de acuerdo con una cualquiera de las reivindicaciones anteriores en donde el Algoritmo de Aprendizaje Automático es una GAN que comprende un primer perceptrón multicapa que constituye un generador, y un segundo perceptrón multicapa que constituye un discriminador.

11. Un sistema para la mejora de resolución de imágenes, estando el sistema implementado en un dispositivo de servidor (200) y dispuesto para realizar el método de acuerdo con una cualquiera de las reivindicaciones 1 a 9.

12. Un programa informático para la mejora de resolución de imágenes, que comprende instrucciones que, cuando son ejecutadas por al menos un procesador, provocan que el al menos un procesador lleve a cabo el método de acuerdo con una cualquiera de las reivindicaciones 1 a 10.

13. Un medio de almacenamiento legible por ordenador que transporta un programa informático para la mejora de resolución de imágenes de acuerdo con la reivindicación 12.