ES2848851T3

ES2848851T3 - Procedimiento y sistema para la construcción de imágenes basados en la costura de fotogramas en un entorno interior

Info

Publication number: ES2848851T3
Application number: ES19154975T
Authority: ES
Inventors: Lakshminarasimha Jayavardhana Rama Gubbi; Akshaya Ramaswamy; Rishin Raj; Balamuralidhar Purushothaman
Original assignee: Tata Consultancy Services Ltd
Current assignee: Tata Consultancy Services Ltd
Priority date: 2018-04-30
Filing date: 2019-02-01
Publication date: 2021-08-12
Anticipated expiration: 2039-02-01
Also published as: EP3564899B1; US10803551B2; EP3564899A1; DK3564899T3; US20190333187A1

Abstract

Un procedimiento de construcción de imágenes basado en la costura de fotogramas implementado en un procesador, comprendiendo el procedimiento: recibir (302), una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior; unos datos posicionales del dispositivo de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen; y una pluralidad de parámetros de dispositivo del dispositivo de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen; caracterizado porque el procedimiento comprende adicionalmente: seleccionar (304) un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen, en el que el conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial, en el que cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza; coser (306) el conjunto de fotogramas clave para construir una imagen de la escena de interés, en el que la costura comprende: seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave seleccionado es el fotograma clave inicial durante la primera iteración de la costura del conjunto de fotogramas clave; determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización durante el registro de imágenes, en el que elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical derivados a partir de un cambio en datos posicionales de IMU recibidos para cada fotograma clave y la pluralidad de parámetros de dispositivo; generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen; estimar una matriz de deformación basada en características de restricción para coser el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la matriz de deformación basada en características de restricción se estima a partir de la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo; y construir (308) una imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo de cada fotograma clave, en secuencia.

Description

DESCRIPCIÓN

Procedimiento y sistema para la construcción de imágenes basados en la costura de fotogramas en un entorno interior

Campo técnico

La divulgación en el presente documento se refiere en general al procesamiento de imágenes y, más particularmente, a la construcción de imágenes basada en la costura de fotogramas para un entorno interior.

Antecedentes

Los dispositivos de formación de imágenes móviles, tales como Vehículos Aéreos No Tripulados (UAV) o similares, se usan ampliamente para multitud de tareas en las que la implicación humana puede ser un desafío o puede proporcionar una baja eficiencia. Habitualmente, en entornos interiores que se extienden ampliamente a través de áreas más grandes a menudo con condiciones de iluminación limitadas y dificultad en la facilidad de acceso a las ubicaciones del entorno interior, los dispositivos de formación de imágenes son una elección popular para explorar y supervisar los entornos interiores. Ejemplos típicos de tales entornos interiores incluyen un entorno industrial, entorno de almacén, centros comerciales y similares. La tarea de supervisión e inspección del dispositivo de formación de imágenes móvil, por ejemplo el UAV, requiere que el UAV capture una imagen de una escena de interés. Una vez que se captura la escena como una serie de fotogramas de imagen, se realiza un procesamiento de imágenes en los fotogramas de imagen para extraer información. Para capturar los máximos detalles o información de la escena, las imágenes se capturan desde un alcance más cercano. Detalles específicos de interés pueden incluir información de un producto almacenado en un almacén, tal como código de barras de un producto y similares. Sin embargo, la captura cercana de imágenes conduce a la pérdida de contexto, también denominado contexto global, asociado con la escena de interés. La recuperación del contexto global es posible a través de la costura de vídeos o costura de fotogramas, en la que fotogramas clave de una secuencia de fotogramas de imagen en un vídeo que se captura se cosen para construir una imagen de la escena de interés. Los procedimientos existentes para la selección de fotogramas clave se centran principalmente en criterios solapantes para la selección de los fotogramas clave consecutivos, sin embargo tales criterios de selección pueden comprometer la calidad del fotograma clave, reduciendo de forma efectiva la calidad de la imagen construida.

Los procedimientos existentes cosen los fotogramas clave a base de características extraídas a partir de los fotogramas clave. Sin embargo, estos procedimientos existentes funcionan bien, con la condición de que la escena sea plana, las imágenes se toman con una colocación apropiada del dispositivo de formación de imágenes móvil y son estáticas. Los entornos interiores sin embargo a menudo plantean múltiples desafíos. En primer lugar, a menudo existe una pérdida de señal de Sistema de Posicionamiento Global (GPS) y el entorno interior puede tener condiciones de iluminación malas y variables. En segundo lugar, para aplicaciones tales como la supervisión de bienes, se requiere que se captura un vídeo (de un objeto / área de interés) desde distancias muy cercanas a un objeto de interés, por lo tanto se pierde el contexto global. En tercer lugar, entre fotogramas consecutivos, los puntos de característica se repiten ya que el área o escena de interés que se supervisa tiene objetos similares apilados unos sobre otros. Por lo tanto, los enfoques de costura de vídeo existentes cuando se aplican a entornos interiores pueden tener limitaciones que afectan a la costura clara entre los fotogramas clave, que a su vez introduce errores en una imagen construida para la escena de interés mediante la costura de los fotogramas clave.

La publicación de patente EP2423871 A1, 29.02.2012 y la publicación de actas de la conferencia "Incremental mosaicking of images from autonomous, small-scale uavs", Saeed Yahyanejad y col., 2010 7th IEEE International Conference on Advanced Video and Signal Based Surveillance, desvelan ambas la creación en mosaico de imágenes para UAV en la que una estimación inicial de la deformación se basa en una Unidad de Medición Inercial, IMU, y un refinamiento con restricciones de espacio de búsqueda usando un procedimiento basado en características.

Sumario

Realizaciones de la presente divulgación presentan mejoras tecnológicas como soluciones a uno o más de los problemas técnicos anteriormente mencionados reconocidos por los inventores en sistemas convencionales. Por ejemplo, se desvela en una realización, un procedimiento para la construcción de imágenes basada en la costura de fotogramas. El procedimiento comprende recibir una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior. El procedimiento comprende adicionalmente recibir unos datos posicionales del dispositivo de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen. El procedimiento comprende adicionalmente recibir una pluralidad de parámetros de dispositivo del dispositivo de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen. Además, el procedimiento comprende seleccionar un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen. El conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial. Cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza sobre un intervalo predefinido. Además, el procedimiento comprende coser el conjunto de fotogramas clave para construir una imagen de la escena de interés. La costura comprende seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave seleccionado es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave. Además, determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización durante el registro de imágenes. Elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical y se derivan a partir de un cambio en datos posicionales de IMU recibidos para cada fotograma clave y la pluralidad de parámetros de dispositivo, en el que datos posicionales de IMU corresponden a una información de acelerómetro y giroscopio de la IMU. Además, la costura comprende generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen. Además la costura comprende estimar una matriz de deformación basada en características de restricción para coser el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo. La estimación se basa en la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo. La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo. Además, el procedimiento comprende construir una imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo de cada fotograma clave en secuencia.

En otra realización más, un sistema de construcción de imágenes para la construcción de imágenes basada en la costura de fotogramas. El sistema de construcción de imágenes comprende un procesador, una interfaz de Entrada/Salida (E/S), una memoria. La memoria comprende un módulo de costura de fotogramas configurado para recibir una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior. Además, recibir datos posicionales del dispositivo de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen. Además, recibir una pluralidad de parámetros de dispositivo del dispositivo de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen. El módulo de costura de fotogramas está configurado adicionalmente para seleccionar un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen, en el que el conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial. Cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza sobre un intervalo predefinido definido por número de fotogramas de imagen. El módulo de costura de fotogramas está configurado adicionalmente para coser el conjunto de fotogramas clave para construir una imagen de la escena de interés. Para coser los fotogramas clave el módulo de costura de fotogramas está configurado para seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave. Además, determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización para el registro de imágenes, en el que elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical derivados a partir de un cambio en datos posicionales de IMU recibidos para cada fotograma clave y los parámetros de dispositivo. Los datos posicionales de IMU corresponden a una información de acelerómetro y giroscopio de la IMU. Además, generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen. El módulo de costura de fotogramas está configurado adicionalmente para estimar una matriz de deformación basada en características de restricción para coser el fotograma clave y el fotograma clave consecutivo a partir de la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo. La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo. Adicionalmente, el módulo de costura de fotogramas está configurado para construir una imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y la correspondiente clave consecutiva de cada fotograma clave, en secuencia.

En otro aspecto más, se proporciona un medio legible por ordenador no transitorio. El medio legible por ordenador no transitorio almacena instrucciones que, cuando se ejecutan por un procesador de hardware, provocan que el procesador de hardware realice acciones que comprenden recibir una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior. Las acciones comprenden además recibir datos posicionales del dispositivo de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen. Las acciones comprenden además recibir una pluralidad de parámetros de dispositivo del dispositivo de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen. Las acciones comprenden además seleccionar un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen. El conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial. Cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza sobre un intervalo predefinido definido por número de fotogramas de imagen. Además, las acciones comprenden coser el conjunto de fotogramas clave para construir una imagen de la escena de interés. La costura comprende seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave. Además, determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización para el registro de imágenes. Elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical que se derivan a partir del cambio en datos posicionales de IMU recibidos para cada fotograma clave y los parámetros de dispositivo, en el que datos posicionales de IMU corresponden a una información de acelerómetro y giroscopio de la IMU. Además, la costura comprende generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen. Además la costura comprende estimar una matriz de deformación basada en características de restricción para coser el fotograma seleccionado y el correspondiente fotograma clave consecutivo a partir de la matriz de deformación refinada. La estimación se basa en una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo. La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo. Adicionalmente, las acciones comprenden construir una imagen de la escena de interés iterando la costura de cada fotograma clave y el correspondiente fotograma clave consecutivo de cada fotograma clave, en secuencia.

Debe apreciarse que tanto la descripción general anterior y la siguiente descripción detallada son únicamente ilustrativas y explicativas y no son restrictivas de la invención, según se revindican.

Breve descripción de los dibujos

Los dibujos adjuntos, que se incorporan en y constituyen una parte de esta divulgación, ilustran realizaciones ilustrativas y, junto con la descripción, sirven para explicar los principios desvelados:

La Figura 1 ilustra un entorno ilustrativo que implementa un sistema de construcción de imágenes basada en la costura de fotogramas para un entorno interior para construir una imagen de una escena de interés a partir de una pluralidad de fotogramas de la escena capturada por un dispositivo de formación de imágenes móvil, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 2 es un diagrama de bloques funcional del sistema de construcción de imágenes de la Figura 1, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 3 es un diagrama de flujo que ilustra un procedimiento para la construcción de imágenes basada en la costura de fotogramas para el entorno interior para construir una imagen de la escena de interés de la pluralidad de fotogramas de la escena capturada por el dispositivo de formación de imágenes móvil, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 4 es un diagrama de flujo que ilustra un procedimiento para la construcción de imágenes basada en la costura de fotogramas a base de un enfoque selectivo con realimentación, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 5 es un ejemplo que ilustra la selección de una pluralidad de fotogramas clave de la pluralidad de fotogramas de imagen capturados por el dispositivo de formación de imágenes móvil para la construcción de imagen de la escena de interés, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 6a ilustra parámetros usados para el cálculo de un parámetro traslacional horizontal y un parámetro traslacional vertical para una matriz de deformación, de acuerdo con algunas realizaciones de la presente divulgación.

Las Figuras 6b y 6c son un ejemplo que ilustra el refinamiento basado en intensidad en inicialización de Unidad de Medición Inercial (IMU), de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 6d compara la costura de dos fotogramas clave usando la inicialización basada en IMU y posterior refinamiento basado en intensidad, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 7 es una ilustración esquemática de la extracción de características de un espacio restringido de un fotograma clave para la construcción de imágenes basada en la costura de fotogramas, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 8 ilustra un ejemplo de imagen construida con y sin el uso del enfoque de realimentación selectivo, de acuerdo con algunas realizaciones de la presente divulgación.

La Figura 9 ilustra una comparación del enfoque de costura de fotogramas existente y el propuesto, de acuerdo con algunas realizaciones de la presente divulgación.

Descripción detallada de las realizaciones

Realizaciones ilustrativas se describen con referencia a los dibujos adjuntos. En las figuras, el dígito(s) más a la izquierda de un número de referencia identifica la figura en la que el número de referencia aparece primero. Donde sea conveniente, los mismos números de referencia se usan a lo largo de los dibujos para referirse a las mismas o similares partes. Mientras en el presente documento se describen ejemplos y características de principios desvelados, son posibles modificaciones, adaptaciones y otras implementaciones sin alejarse del ámbito de las realizaciones desveladas. Se concibe que la siguiente descripción detallada se considera únicamente como ilustrativa, siendo el ámbito de la invención definido por las siguientes reivindicaciones.

Haciendo referencia ahora a los dibujos, y más particularmente a las Figuras 1 a 9, en las que caracteres de referencia similares indican correspondientes características consistentemente a lo largo de todas las figuras, se muestran realizaciones preferidas y estas realizaciones se describen en el contexto del siguiente sistema y/o procedimiento ilustrativo. Las realizaciones en el presente documento proporcionan un procedimiento y un sistema para la construcción de imágenes basada en la costura de fotogramas para un entorno interior. El procedimiento habilita construir una imagen de una escena de interés (escena) en el entorno interior cosiendo una pluralidad de fotogramas clave identificados a partir de una pluralidad de fotogramas de imagen (fotogramas) de la escena. La pluralidad de fotogramas de imagen se capturan por un dispositivo de formación de imágenes móvil mientras que atraviesa una trayectoria para cubrir toda la escena. El procedimiento y el sistema pueden aplicarse al entorno interior tal como un almacén, un gran mercado y similares y supera los múltiples desafíos planteados por el entorno interior, proporcionando de forma efectiva una costura clara y uniforme de los fotogramas clave para construir la imagen de la escena, en comparación con los procedimientos de costura de fotogramas existentes. El término claro o uniforme se refiere a la demarcación reducida en el límite de cada fotograma clave. El procedimiento proporciona un enfoque de costura de imágenes que combina datos de un sensor visual, tal como el dispositivo de formación de imágenes móvil y un sensor inercial tal como una Unidad de Medición Inercial (IMU) montada en el dispositivo de formación de imágenes móvil, con una realimentación para la corrección de errores para generar resultados de costura robustas en un escenario interior. El procedimiento habilita el tratamiento de los problemas de puntos de característica dispersos o falta de correspondencia de puntos de característica en una escena dada extrayendo fotogramas clave del vídeo, y la combinación de forma inteligente de los datos posicionales disponibles a partir de la IMU a bordo y características visuales de la pluralidad de fotogramas de imagen capturados por el dispositivo de formación de imágenes móvil, para coser juntos los fotogramas clave.

La Figura 1 ilustra un entorno 100 ilustrativo que implementa un sistema 102 de construcción de imágenes basado en la costura de imágenes para el entorno interior para construir una imagen de una escena 106 de interés (escena) a partir de una pluralidad de fotogramas de la escena capturada por un dispositivo 104 de formación de imágenes móvil, de acuerdo con algunas realizaciones de la presente divulgación. El entorno 100 representa la escena 106 de interés, como alternativa denominada como escena 106, en el entorno interior. Como se representa, la escena 106 puede capturarse por el dispositivo 104 de formación de imágenes móvil, mientras atraviesa una trayectoria predefinida. Toda la escena 106 se captura en forma de un vídeo que comprende una secuencia de fotogramas de imagen, como alternativa denominada como una pluralidad de fotogramas de imagen (fl-fn). La trayectoria atravesada por el dispositivo 104 de formación de imágenes móvil, por ejemplo, puede ser una trayectoria de exploración en cuadrícula o similar que cubre toda la escena 106. En una realización, el sistema 102 de construcción de imágenes puede implementarse internamente dentro de un dispositivo informático o puede acoplarse externamente al dispositivo informático.

En una realización, el sistema 102 de construcción de imágenes puede configurarse para recibir el vídeo, como una secuencia de la pluralidad de fotogramas de imagen, transmitido por el dispositivo 104 de formación de imágenes móvil. La transmisión y recepción de los fotogramas de imagen (fl-fn) entre el dispositivo de formación de imágenes móvil y el sistema de construcción de imágenes puede ser a través de una red 108 por cable o inalámbrica, o una combinación de los mismos. En un ejemplo, la red 108 puede implementarse como una red informática, como uno de los diferentes tipos de redes, tales como red privada virtual (VPN), intranet, red de área local (LAN), red de área extensa (WAN), la internet y tales. La red 108 puede ser o bien una red especializada o bien una red compartida, que representa una asociación de los diferentes tipos de redes que usan una diversidad de protocolos, por ejemplo, Protocolo de Transferencia de Hipertexto (HTTP), Protocolo de Control de Transmisión/Protocolo de Internet (TCP/IP) y Protocolo de Aplicación Inalámbrica (WAP), para comunicarse entre sí. Además, la red 108 puede incluir una diversidad de dispositivos de red, incluyendo encaminadores, puentes, servidores, dispositivos informáticos, dispositivos de almacenamiento. Los dispositivos de red dentro de la red 108 pueden interactuar con el sistema 102 de construcción de imágenes a través de enlaces de comunicación. En una realización, el dispositivo informático, que implementa el sistema 102 de construcción de imágenes puede ser una estación de trabajo, un ordenador central, un asistente digital personal, un servidor de fin general, un servidor de red o similar. Además, al recibir la pluralidad de fotogramas de imagen fl-fn, el sistema 102 de construcción de imágenes puede configurarse para identificar o seleccionar un conjunto de fotogramas clave (kl-kp, p<n) de la pluralidad de fotogramas fl-fn recibidos desde el dispositivo 104 de formación de imágenes móvil. Cada fotograma clave se cose, a continuación, con un fotograma clave consecutivo usando una matriz de deformación basada en características de restricción determinadas para los dos fotogramas clave (fotograma clave seleccionado y correspondiente fotograma clave consecutivo) en consideración. La matriz de deformación basada en características de restricción se estima a partir de una pluralidad de características extraídas de un espacio restringido limitado del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo. La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo. Además, el sistema 102 de construcción de imágenes puede configurarse para construir la imagen de la escena 106 de interés iterando la costura del fotograma clave y el fotograma clave consecutivo para todos los fotogramas clave del conjunto de fotogramas clave, en secuencia.

En una realización, si la pluralidad de características extraídas, que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, están por debajo de un umbral de punto clave entonces el sistema 106 de construcción de imágenes se configura adicionalmente para aplicar un enfoque selectivo con realimentación para el procedimiento de construcción de imágenes basada en la costura de fotogramas. El enfoque selectivo con realimentación aplica una matriz de deformación modificada para coser los fotogramas clave para construir la imagen de la escena 106, explicado adicionalmente en conjunto con la Figura 4.

Los componentes o módulos y funcionalidades del sistema 102 de construcción de imágenes para la construcción de imágenes basada en la costura de fotogramas se describen adicionalmente en detalle en conjunto con la Figura 2.

La Figura 2 es un diagrama de bloques funcional del sistema 102 de construcción de imágenes de la Figura 1, de acuerdo con algunas realizaciones de la presente divulgación. El sistema 102 de construcción de imágenes incluye o está de otra manera en comunicación con uno o más procesadores de hardware tales como un procesador o procesadores 202, al menos una memoria tal como una memoria 204 y una interfaz 206 de E/S. El procesador 202 (procesador de hardware), la memoria 204 y la interfaz o interfaces 206 de E/S pueden acoplarse mediante un bus de sistema tal como un bus 208 de sistema o un mecanismo similar. La memoria 204 puede incluir adicionalmente módulos 210.

En una realización, los módulos 210 incluyen un módulo 212 de costura de fotogramas y otros módulos (no mostrados) para la implementación de funciones del sistema 102 de construcción de imágenes. En una realización, los módulos 210 pueden ser un circuito integrado (IC), externo a la memoria 204 (no mostrado), implementado usando un Campo de Matriz de Puertas Programables (FPGA) o un Circuito Integrado Específico de la Aplicación (ASIC). Los nombres de los módulos de bloque funcional dentro de los módulos 210, referidos en el presente documento, se usan para el fin de explicación/ilustración y no son una limitación. Además, la memoria 204 también puede incluir un repositorio 214.

En una realización, el módulo 212 de costura de fotogramas puede configurarse para recibir la pluralidad de fotogramas de imagen fl-fn transmitidos por el dispositivo 104 de formación de imágenes móvil. El módulo 212 de costura de fotogramas también recibe datos posicionales del dispositivo de formación de imágenes móvil desde la Unidad de Medición Inercial (IMU) del dispositivo 104 de formación de imágenes móvil. La IMU proporciona datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen. Además, el módulo 212 de costura de fotogramas también recibe una pluralidad de parámetros de dispositivo (indistintamente denominados como parámetros de dispositivo) del dispositivo 104 de formación de imágenes móvil. Los parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen. Al recibir la pluralidad de fotogramas de imagen f1-fn, el sistema 102 de construcción de imágenes puede configurarse para identificar o seleccionar el conjunto de fotogramas clave (kl-kp, p<n) de la pluralidad de fotogramas fl-fn recibidos desde el dispositivo 104 de formación de imágenes móvil. Cada fotograma clave se cose, a continuación, con el fotograma clave consecutivo usando la matriz de deformación basada en características de restricción determinadas para los dos fotogramas clave en consideración. La matriz de deformación basada en características de restricción se estima a partir de la pluralidad de características extraídas del espacio restringido limitado del fotograma clave y el fotograma clave consecutivo y una matriz de deformación refinada ^{(M in t) .} La matriz de deformación refinada se deriva a partir de una matriz de deformación ^{( M m u )} definida por elementos de matriz que comprenden los datos posicionales y los parámetros de dispositivo. La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo. Además, el módulo 212 de costura de fotogramas puede configurarse para construir la imagen de la escena 106 de interés iterando la costura del fotograma clave y el fotograma clave consecutivo para todos los fotogramas clave del conjunto de fotogramas clave, en secuencia.

En una realización, si la pluralidad de características extraídas, que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, están por debajo del umbral de punto clave, entonces el módulo de costura de fotogramas se configura adicionalmente para aplicar el enfoque selectivo con realimentación ^{(A s e i)} para el procedimiento de construcción de imágenes basada en la costura de fotogramas. El enfoque selectivo con realimentación crea la matriz de deformación modificada para coser los fotogramas clave para construir la imagen de la escena 106, como se explica adicionalmente en conjunto con la Figura 4, no explicado en el presente documento por brevedad.

El procesador o procesadores 202 de hardware pueden implementarse como uno o más procesadores de múltiples núcleos, microprocesadores, microordenadores, microcontroladores, procesadores de señales digitales, unidades de procesamiento central, máquinas de estado, circuiterías lógicas y/o cualquier dispositivo que manipula datos a base de instrucciones operacionales. Entre otras capacidades, el procesador 202 de hardware está configurado para buscar y ejecutar instrucciones legibles por ordenador almacenadas en la memoria 204 y comunicarse con los módulos 210 tales como el módulo 212 de costura de fotogramas y otros módulos de memoria (no mostrados), que pueden ser internos o externos a la memoria 204, para desencadenar la ejecución de funciones a implementar por los módulos 210.

La interfaz o interfaces 206 de E/S en el sistema 102 de construcción de imágenes puede incluir una diversidad de interfaces de software y hardware, por ejemplo, una interfaz web, una interfaz de usuario gráfica y similares. La interfaz o interfaces 206 pueden incluir una diversidad de interfaces de software y hardware, por ejemplo, interfaces para dispositivo o dispositivos periféricos, tales como un teclado, un ratón, una memoria externa, sensores, la pluralidad de fotogramas de imagen desde el dispositivo 104 de formación de imágenes móvil, y una impresora y un visualizador para imprimir o visualizar la imagen construida de la escena 106 de interés. La interfaz o interfaces 206 pueden habilitar que el sistema 102 de construcción de imágenes se comunique con otros dispositivos, tales como el dispositivo informático, servidores web y bases de datos externas (tales como el repositorio 214, si es externo al sistema 102 de construcción de imágenes). La interfaz o interfaces 206 pueden facilitar múltiples comunicaciones dentro de una amplia variedad de tipos de redes y protocolos, incluyendo redes por cable, por ejemplo, red de área local (LAN), cable, etc., y redes alámbricas, tales como LAN inalámbrica (WLAN), celular o satélite. Para este fin, la interfaz o interfaces 206 pueden incluir uno o más puertos para la conexión de un número de sistemas de cálculo entre sí o a otro ordenador de servidor. La memoria 204 puede incluir cualquier medio legible por ordenador conocido en la técnica incluyendo, por ejemplo, memoria volátil, tal como memoria de acceso aleatorio estática (SRAM) y memoria de acceso aleatorio dinámica (DRAM) y/o memoria no volátil, tal como memoria de sólo lectura (ROM), ROM programable borrable, memorias flash, discos duros, discos ópticos y cintas magnéticas. Además, los módulos 210 pueden incluir rutinas, programas, objetos, componentes, estructuras de datos, y así sucesivamente, que realizan tareas particulares o implementan tipos de datos abstractos particulares. Los módulos 210 pueden incluir instrucciones legibles por ordenador que complementan aplicaciones o funciones realizadas por el sistema 102 de SAE. El repositorio 214 puede almacenar datos que se procesan, reciben o generan como resultado de la ejecución de uno o más módulos en el módulo o módulos 210. Los datos almacenados pueden incluir una pluralidad recibida de fotogramas fl-fn, el conjunto de fotogramas clave seleccionado kl-kp, la matriz de deformación, la matriz de deformación refinada, la matriz de deformación basada en características de restricción, la matriz de deformación modificada y todos los datos intermedios generados durante el procesamiento para construir la imagen usando fotogramas clave.

La Figura 3 es un diagrama de flujo que ilustra un procedimiento 300 para la construcción de imágenes basada en la costura de fotogramas para el entorno interior, de acuerdo con algunas realizaciones de la presente divulgación.

En una realización, en la etapa 302, el procedimiento 300 permite que el módulo 212 de costura de fotogramas reciba la secuencia de la pluralidad de fotogramas de imagen (fl-fn) desde el dispositivo 104 de formación de imágenes móvil, capturada para la escena 106 de interés para el entorno interior. Junto con la pluralidad de fotogramas, el módulo 212 de costura de fotogramas también recibe datos posicionales del dispositivo 104 de formación de imágenes móvil desde la IMU del dispositivo 104 de formación de imágenes móvil. La iMu proporciona datos posicionales en términos de coordinadas (x,y,z) que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen. La IMU también proporciona los parámetros de dispositivo del dispositivo de formación de imágenes móvil. Los parámetros de dispositivo comprenden el campo de visión (FoV) horizontal, el FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen.

Por ejemplo, el dispositivo 104 de formación de imágenes móvil tal como un dron se pilota en el entorno interior, aproximadamente a un metro de la escena 106 de interés. El dispositivo 104 de formación de imágenes móvil puede configurarse para volar en la trayectoria de exploración en cuadrícula para capturar toda el área o escena 106. La pluralidad de fotogramas de imagen (fl-fn) pueden capturarse a 30 fotogramas por segundo, con una resolución de 4096 X 2160. La trayectoria de exploración en cuadrícula proporciona una trayectoria para capturar mejor la escena 106 equilibrando entre múltiples capturas de fotograma de imagen innecesarias de la misma área dentro de la escena 106 y saltarse un área de la escena. Sin embargo, la exploración en cuadrícula es una trayectoria de ejemplo usada y puede seguirse cualquier otra trayectoria que captura la escena 106, en su totalidad. Junto con los fotogramas de imagen, la IMU también proporciona información de acelerómetro y giroscopio. Esta información proporcionada por los datos posicionales de IMU, como alternativa denominados como datos de IMU, se usa para calcular el cambio en posición del dispositivo 104 de formación de imágenes móvil.

En la etapa 304, el procedimiento 300 permite que el módulo 212 de costura de fotogramas seleccione el conjunto de fotogramas clave (kl-kp, p<n) de la pluralidad de fotogramas de imagen. El conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas consecutivos clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial. Cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza sobre un intervalo predefinido definido por número de fotogramas de imagen. La Figura 5 es un ejemplo que ilustra la selección de fotogramas clave (kltokp, p<n) de la pluralidad de fotogramas de imagen fl-fn capturados por el dispositivo 104 de formación de imágenes móvil para la construcción de imágenes basada en la costura de fotogramas de la escena 106 de interés, de acuerdo con algunas realizaciones de la presente divulgación. Por ejemplo, los criterios de fotograma clave inicial pueden ser 'seleccionar un primer fotograma de imagen como un fotograma clave inicial, o seleccionar primer fotograma de imagen de fl-fn que tiene el valor de luminancia por encima de un umbral'. Además, pueden definirse los criterios para la selección de fotogramas consecutivos clave, en los que indica, 'debería haber un solapamiento razonable entre los fotogramas clave', y 'que los fotogramas clave deben tener buena calidad (contraste alto y no borrosos)'. El solapamiento razonable se refiere a un solapamiento del 60 % o más. Una vez que se selecciona el fotograma clave inicial, seleccionar los otros fotogramas clave para el conjunto de fotograma clave comprende identificar el siguiente fotograma clave que se encuentra en un intervalo de distancia D±e del fotograma clave anterior, en el que E se elige empíricamente. La selección de fotogramas clave del fotograma en este intervalo D como se muestra en la Figura 5, que ilustra la selección de una pluralidad de fotogramas clave de la pluralidad de fotogramas de imagen capturados por el dispositivo 104 de formación de imágenes móvil para la construcción de imagen de la escena de interés, se realiza midiendo dos métricas, la luminancia y la varianza. En un intervalo particular (por ejemplo, del fotograma fl-fn), la imagen que proporciona el promedio máximo de luminancia y varianza se elige como el fotograma clave.

La Ecuación 1a proporciona el cálculo de la luminancia L usando las intensidades de imagen RGB.

L = media(0:2126 * R 0:7152* G 0:0722* B) (1a)

La ecuación de varianza se proporciona mediante la Ecuación 1b:

Z ( I - m e d i a (I ) ) 2

^{( r * c -} ¹⁾ ( )

En la que, r y c son la longitud y anchura de la imagen respectivamente.

Por lo tanto, este procedimiento de seleccionar fotogramas clave mirando el intervalo de distancia desde los fotogramas clave anteriores, y la calidad de los fotogramas en el intervalo. Esta selección de fotogramas clave basada en IMU proporciona el conjunto de fotogramas clave que abarcan toda la escena 106. Habitualmente, el intervalo de distancia D se establece como 1,5 cm a 2,5 cm. Esto resulta en aproximadamente diez fotogramas para un vídeo de un minuto de duración.

Por lo tanto, el procedimiento 300 habilita la selección de fotogramas clave a base de una combinación de posición de fotogramas de imagen y calidad de fotogramas de imagen. Esto asegura que se eligen un número óptimo de fotogramas clave con un solapamiento razonable, y los fotogramas clave tienen buena calidad para la costura. Los datos posicionales se extraen de los sensores de IMU tal como el giroscopio y el acelerómetro, y se usan directamente para determinar el intervalo de distancia D para la selección de fotogramas clave. Adicionalmente, las métricas de calidad de imagen se calculan para un subconjunto de los fotogramas en una vecindad alrededor del intervalo de distancia D y, a continuación, se seleccionan los fotogramas clave. Por lo tanto, el procedimiento 300 proporciona una ganancia considerable en términos de eficiencia de cálculo que reduce el tiempo que se tarda en coser los fotogramas clave para construir la imagen.

El procedimiento 300 proporciona la combinación de características de imagen de los fotogramas clave y los metadatos de la IMU. La IMU proporciona información posicional aproximada (datos posicionales) acerca de cada fotograma, mientras que las características o características de imagen proporcionan correspondencias de puntos entre los fotogramas clave. Basándose únicamente en los datos de IMU para la costura puede crear problemas de alineamiento y provocar una acumulación de errores, mientras que usar únicamente características de imagen para la costura puede proporcionar una deformación inestable o completamente incorrecta en ciertos casos. Por lo tanto, el procedimiento 300 proporciona el uso de la ventaja ofrecida por ambos enfoques combinando los dos de una manera inteligente.

Por lo tanto, en la etapa 306, el procedimiento 300 incluye permitir que el módulo 212 de costura de fotogramas cosa el conjunto de fotogramas clave para construir la imagen de la escena 106. La costura comprende seleccionar el fotograma clave y el fotograma clave consecutivo del conjunto de fotogramas clave. El fotograma clave es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave. Una vez que se seleccionan los fotogramas clave, el procedimiento 300 comprende determinar la matriz de deformación entre el fotograma clave y el fotograma clave consecutivo para la inicialización. Los elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical. La información posicional proporcionada por la IMU, y los parámetros de dispositivo se usan para calcular las traslaciones horizontal y vertical tx (parámetro traslacional horizontal) y ty (parámetro traslacional vertical) respectivamente, e inicializar la matriz de deformación entre dos fotogramas consecutivos clave.

Sean las posiciones de los fotogramas clave k1 y K2 (x1, y1, z1) y (x2, y2, z2) (en metros) como se muestra en la Figura 6a (a y b) y la convención xyz como se muestra en la Figura 6a (a). Sean el FoV horizontal, el FoV vertical dados por Fx y Fy grados respectivamente y las dimensiones de fotograma capturadas como (n^x* n^y) en píxeles como se muestra en la Figura 6a (b). La distancia perpendicular del dispositivo 104 de formación de imágenes móvil desde un objeto en la escena 106 de interés viene dada por Dist (en metros). Estos parámetros se indican en la Figura 6a (b). Las traslaciones t^xy t^y se calculan usando las siguientes ecuaciones:

tx = Sx£ ,ty = 6y% (2)

En las que, 6x A 5y es el desplazamiento en las direcciones x e y dadas por (x2-x1) e (y2-y1) respectivamente, y 6x A 5y son las dimensiones horizontal y vertical de la imagen en metros, calculadas usando las ecuaciones a continuación.

5x = 2(Dist)tan (Fx/2); 5y = 2(Dist)tan (Fy/2) (3a)

La matriz de deformación (Mmu) para la inicialización viene dada, a continuación, por la matriz

1 0 1-X

0 1 ty (3b)

■0 0 í i

Una vez que se genera la matriz de deformación (M^imu), en la etapa 306, el procedimiento 300 incluye adicionalmente generar la matriz de deformación refinada (M^{n t}) a partir de la matriz de deformación. La matriz de deformación (M^imu) calculada, se usa como inicialización para realizar adicionalmente un refinamiento de registro basado en intensidad de imagen (A^{n t}). Se usa un optimizador de descenso de gradiente, y una métrica cuadrática media, en el que la transformación se establece a únicamente traslación, para conseguir la matriz de deformación refinada M^{n t}. La matriz de deformación refinada se genera a partir de la matriz de deformación aplicando un optimizador de descenso de gradiente y minimización de una métrica de error cuadrático medio (MSE) con transformación establecida a traslación.

Esto se explica usando una ilustración en las Figuras 6b y 6c. La Figura 6b muestra la matriz de transformación T que se inicializa como Mi^mu. Esto seguido por la minimización del error cuadrático medio (MSE) entre la primera clave fotograma (I¹) y el segundo fotograma clave transformado (I²) (aplicando la transformación Ton I²) usando el optimizador de descenso de gradiente. La transformación para la que se consigue el MSE mínimo es la matriz de deformación refinada M^{n t} obtenida por:

Minimizar error: J(T) = MSE (Ii, T(h) (3c)

La mejora en la transformación puede verse en el alineamiento entre I¹y I²en la Figura 6c.

La Figura 6d compara la costura de dos fotogramas clave usando inicialización basada en IMU (A^{m u}) y posterior refinamiento basado en intensidad (A^{n t}). Los datos posicionales de IMU proporcionan los valores de traslación aproximados. Esto resulta en desalineaciones como se ve en la Figura 6d (a), que se corrigen considerablemente mediante un refinamiento adicional usando información de imagen como se observa en la Figura 6d (b).

Una vez que se genera la matriz de deformación refinada M^{n t}, los dos fotogramas clave que se consideran (el fotograma y el fotograma clave consecutivo) pueden coserse estimando la matriz de deformación basada en características de restricción (M^fea) a partir de una pluralidad de características extraídas de un espacio restringido (A^fea). La pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, en el que el espacio restringido (A^fea) se determina por el parámetro de traslación horizontal (tx) y el parámetro de traslación vertical (ty). La inicialización basada en IMU (A^{m u}) seguida por refinamiento basado en intensidad de imagen (A^{n t}) funciona razonablemente bien para dos imágenes, como se muestra en la Figura 6d (b). Sin embargo, los datos de IMU (txy ty) proporcionan únicamente estimadas aproximadas de las posiciones de fotograma, y son propensos al error. Con más número de imágenes para coser, este error se acumula y provoca desalineamientos grandes y problemas de costura graves, como puede observarse en la Figura 8 (a). El refinamiento basado en intensidad de imagen puede encontrar únicamente una transformación adecuada dentro de un intervalo de inicialización proporcionada, y falla con acumulación de error de IMU. Aplicar un enfoque de costura basado en características, que se basa solamente en conseguir coincidencias de puntos clave entre fotogramas, requiere que las imágenes sean de alta calidad, y contengan suficiente información para establecer correspondencias de puntos fiables. Estas condiciones no siempre pueden satisfacerse en un escenario de inspección interior. Específicamente, se encuentran estos problemas para múltiples objetos similares situados juntos (en un escenario de almacén); y reflejos de luz de las cajas envueltas en láminas transparentes, que conduce a correspondencias de puntos erróneas entre fotogramas consecutivos. En tales casos, la costura basada en características resulta en deformaciones inestables, como se muestra en la Figura 8 (b).

Por lo tanto, el procedimiento 300 proporciona un procedimiento único para combinar datos de IMU y características de imagen, realizando una costura basada en características en el espacio de parámetro restringido (A^fea). Los datos de IMU proporcionan la información de acelerómetro y giroscopio que se usa para calcular las información posicional aproximada o datos posicionales. Usando esto y los parámetros de dispositivo, se calculan los valores iniciales para tx y ty. Como se representa en la Figura 7, características clave corresponden a la extracción de puntos de interés (como bordes y esquinas) y características correspondientes de las dos imágenes. La deformación entre dos fotogramas clave se estima usando características de imagen de Transformadas de Características Invariantes a Escala (SIFT) en un espacio de parámetro más pequeño que se determina mediante los datos de IMU, en el que los parámetros de traslación (tx y ty) se derivan a partir de los datos de IMU. La correlación de puntos clave de la primera imagen a la segunda imagen proporciona la matriz de deformación basada en características de restricción (M^fea). La matriz de deformación (M^fea) se calcula a partir del espacio de parámetro restringido (A^fea). Las correlaciones correctas entre las imágenes se toman cuando el espacio de parámetro se restringe para estar dentro de la vecindad de la matriz de inicialización M^{n t}.

La matriz de deformación refinada basada en intensidad M^{n t} se usa como una estimada inicial, y las correspondencias de puntos clave de imagen se usan para encontrar la deformación cercana a esta estimada. La matriz de deformación basada en características de restricción (M^fea) se estima de tal forma que se satisfacen los siguientes criterios:

M^fea (1; 1) > 0:8; Mfea (2; 2) > 0:8 (4)

j(M ^fea (1; 3) - Mint(1; 3))j < 300 (5)

j(M ^fea (2; 3) - Mint(2; 3))j < 300 (6)

Las ecuaciones en 4 ponen una restricción en la rotación de la imagen y las ecuaciones 5 y 6 limitan la traslación horizontal y la traslación vertical a dentro de 300 píxeles de los correspondientes valores en M^{n t} conseguidos usando A ^int. Este conjunto de condiciones asegura que M^fea es un refinamiento de segundo nivel de M^int, y al mismo tiempo es robusto para las correspondencias de puntos erróneas entre fotogramas clave.

En la etapa 308, el procedimiento permite que el módulo 212 de costura de fotogramas construya la imagen de la escena de interés iterando la costura del fotograma clave y el fotograma clave consecutivo para todos los fotogramas clave del conjunto de fotogramas clave, en secuencia.

La Figura 4 es un diagrama de flujo que ilustra un procedimiento 400 para el enfoque selectivo con realimentación (A^sei) para la construcción de imágenes basada en la costura de fotogramas, de acuerdo con algunas realizaciones de la presente divulgación.

En una realización, si la pluralidad de características extraídas, que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, están por debajo del umbral de punto clave entonces en la etapa 402, el procedimiento 400 permite que el módulo de costura de fotogramas elija la matriz de deformación refinada como una matriz de deformación final para la costura de fotogramas, si la pluralidad de características extraídas que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo están por debajo de un umbral de punto clave, de lo contrario si las correspondencias clave están por encima de un umbral de punto clave se elige la matriz de deformación restringida, como la matriz de deformación final para coser los dos fotogramas clave

En la etapa 404, el procedimiento 400 permite que el módulo 212 de costura de fotogramas modifique el parámetro de traslación horizontal y el parámetro de traslación vertical de la matriz de deformación a base de la matriz de deformación final y una matriz de deformación anterior para crear una matriz de deformación modificada. La matriz de deformación anterior es la matriz de deformación creada durante la costura de fotogramas del fotograma anterior. En la etapa 406, el procedimiento 400 permite que el módulo 212 de costura de fotogramas cosa el fotograma clave y el fotograma clave consecutivo a base de la matriz de deformación modificada. En la etapa 408, el procedimiento 400 permite que el módulo 212 de costura de fotogramas construya la imagen de la escena 106 de interés iterando la costura del fotograma clave y el fotograma clave consecutivo para todos los fotogramas clave del conjunto de fotogramas clave, en secuencia.

El enfoque basado en características restringido potencia de forma inteligente la transformación de nivel aproximada extraída de los datos de IMU para elegir la mejor matriz de deformación calculada mediante una técnica de coincidencia de puntos clave. Surge un problema grave cuando no se encuentran suficientes coincidencias de puntos clave. Por ejemplo, cuando el dispositivo 104 de formación de imágenes móvil captura vídeos para un escenario industrial interior, este enfoque tiene limitaciones en muchos casos, debido a la mala calidad de imágenes y redundancia introducida mediante cajas de aspecto similar. Para abordar este problema, el enfoque selectivo (A^sel), que elige entre A^{n t}y A ^fea. Cuando no hay suficientes coincidencias de puntos clave entre dos fotogramas clave usando A ^fea (correspondencia clave por debajo del umbral de punto clave), entonces se usa A^{n t}. Basándose solamente en resultados de IMU en propagación de errores, como se observa en la Figura 8 (a). Para que el enfoque selectivo funcione bien, se realiza una corrección de errores introduciendo una etapa de realimentación. Con el bucle de realimentación, cada vez que dos fotogramas clave se cosen usando A ^feao A^{n t}, puede usarse una matriz de deformación final M^finai para corregir la inicialización basada en IMU M^{m u}. Esto se implementa introduciendo un término de corrección a la traslación basada en IMU de la Ecuación 2.

t’^x= t^x + A(M^final (1,3) - M^imu (1,3)) (7)

t’^y= t^y+ A(M^final (2,3) - M^imu (2,3)) (8)

Incluyendo esta realimentación, la propagación de errores se restringe en gran medida, resultando en un enfoque robusto para coser cualquier clase de imágenes. El resultado de A^sei se muestra en la Figura 8 (c). Este resultado puede compararse con la Figura 8 (a y b), que son resultados de la costura del mismo conjunto de imágenes usando otros enfoques descritos (A^{n t}y A ^fea).

La Figura 9 ilustra una comparación del enfoque de costura de fotogramas existente y el propuesto, de acuerdo con algunas realizaciones de la presente divulgación. La construcción de imágenes basada en la costura de fotogramas propuesta se compara con el enfoque de costura de APAP los datos de almacén para conseguir las imágenes cosidas de estanterías. La Figura 9 muestra los resultados de (A^se) en la Figura 9(b) y el APAP en la Figura 9(a) para cuatro estanterías. Para cada estantería, se extraen de cuatro a siete fotogramas clave para la costura. Puede observarse que el APAP funciona bien cuando la escena es principalmente plana. En escenas altamente no planas, falla en encontrar una deformación adecuada. La construcción de imágenes basada en la costura de fotogramas propuesta puede verse que funciona razonablemente bien incluso en estos escenarios.

Para una evaluación cuantitativa, se calculan el parámetro de relación señal a ruido de cresta (PSNR) y el índice de similitud estructural. La Tabla 1 visualiza los valores de estas métricas para el APAP, el enfoque de coincidencia de SIFT tradicional y la construcción de imágenes basada en la costura de fotogramas con y sin realimentación (como se propone en el procedimiento 300 y el procedimiento 400). Los resultados demuestran que la construcción de imágenes basada en la costura de fotogramas con y sin realimentación (como se propone en el procedimiento 300 y el procedimiento 400) logra una calidad de imagen cosida más alta en comparación con los otros algoritmos de costura. También, cuando el procedimiento 300 y el procedimiento 400 se implementan en MATLAB, para cada estantería el tiempo que tarda en calcular la costura es de aproximadamente 40 segundos, indicando un cálculo más rápido. La Tabla 1 a continuación proporciona una comparación cuantitativa del procedimiento con el algoritmo APAP para la costura de vídeo de seis estanterías.

El procedimiento y el sistema de construcción de imágenes desvelado en el presente documento, incluso aunque se explica particularmente en conjunto con el dispositivo de formación de imágenes móvil que captura fotogramas de imagen que atraviesa una trayectoria definida para cubrir toda la escena de interés, pueden aplicarse a un escenario que tiene múltiples cámaras estáticas (dispositivos de formación de imágenes) con la condición de que se conozcan las posiciones de cámara y los parámetros cámara y los fotogramas capturados por las diferentes cameras tienen suficiente solapamiento. Pueden requerirse pequeñas modificaciones a la matriz de deformación (Mimu) para la inicialización, perteneciendo aún al ámbito del procedimiento y sistema de construcción de imágenes desvelados.

La descripción descrita describe la materia objeto en el presente documento para habilitar que cualquier experto en la materia fabrique y use las realizaciones. El ámbito de la materia objeto realizaciones se define mediante las reivindicaciones.

En una realización, medios de almacenamiento legibles por ordenador contienen medios de código de programa para la implementación de una o más etapas del procedimiento, cuando el programa se ejecuta en un servidor o dispositivo móvil o cualquier dispositivo programable adecuado. El dispositivo de hardware puede ser cualquier clase de dispositivo que puede programarse incluyendo, por ejemplo, por cualquier clase de ordenador como un servidor o un ordenador personal, o similar o cualquier combinación de los mismos. El dispositivo también puede incluir medios que podrían ser, por ejemplo, medios de hardware como por ejemplo un circuito integrado específico de la aplicación (ASIC), un campo de matriz de puertas programables (FPGA), o una combinación de medios de hardware y software, por ejemplo un ASIC y un FPGA, o al menos un microprocesador y al menos una memoria con módulos de software ubicados en la misma. Por lo tanto, los medios pueden incluir tanto medios de hardware como medios de software. Las realizaciones del procedimiento descrito en el presente documento podrían implementarse en hardware y software. El dispositivo también puede incluir medios de software. Como alternativa, las realizaciones pueden implementarse en diferentes dispositivos de hardware, por ejemplo, usando una pluralidad de CPU.

Las realizaciones en el presente documento pueden comprender elementos de hardware y software. Las realizaciones que se implementan en software incluyen pero sin limitación, firmware, software residente, microcódigo, etc. Las funciones realizadas por diversos módulos descritos en el presente documento pueden implementarse en otros módulos o combinaciones de otros módulos. Para los fines de esta descripción, un medio utilizable por ordenador o medio legible por ordenador puede ser cualquier aparato que puede comprender, almacenar, comunicar, propagar o transportar el programa para su uso por o en conexión con el sistema de ejecución de instrucciones, aparato o dispositivo.

Las etapas ilustradas del procedimiento 300 y el procedimiento 400 se exponen para explicar las realizaciones ilustrativas mostradas, y debería anticiparse que el desarrollo tecnológico en curso cambiará la manera en la que se realizan funciones particulares. Estos ejemplos se presentan en el presente documento para fines de ilustración, y no limitación. Además, los límites de los componentes básicos funcionales se han definido arbitrariamente en el presente documento para la conveniencia de la descripción. Pueden definirse límites alternativos siempre que las funciones especificadas y relaciones de las mismas se realicen apropiadamente. Serán evidentes alternativas (incluyendo equivalentes, extensiones, variaciones, deviaciones, etc., de los descritos en el presente documento) para expertos en la materia(s) a base de los contenidos contenidos en el presente documento. También, las palabras "que comprende", "que tiene", "que contiene" y "que incluye", y otras formas similares se conciben para ser equivalentes en significado y abiertos en que un artículo o artículos a continuación de cualquiera de estas palabras no se concibe para ser un listado exhaustivo de tal artículo o artículos, o se conciben para limitarse a únicamente el artículo o artículos listados.

Adicionalmente, pueden utilizarse uno o más medios de almacenamiento legibles por ordenador en la implementación de realizaciones consistentes con la presente divulgación. Un medio de almacenamiento legible por ordenador se refiere a cualquier tipo de memoria física en la que puede almacenarse información o datos legibles por un procesador. Por lo tanto, un medio de almacenamiento legible por ordenador puede almacenar instrucciones para su ejecución por uno o más procesadores, incluyendo instrucciones para provocar que los procesadores realicen etapas o fases consistentes con las realizaciones descritas en el presente documento. La expresión "medio legible por ordenador" debería entenderse para incluir artículos tangibles y excluir ondas portadoras y señales transitorias, es decir, para ser no transitorias. Ejemplos incluyen memoria de acceso aleatorio (RAM), memoria de sólo lectura (ROM), memoria volátil, memoria no volátil, discos duros, CD ROM, DVD, unidades flash, discos y cualquier otro medio de almacenamiento físico conocido.

Se concibe que la divulgación y ejemplos se consideran únicamente como ilustrativos, definiéndose el ámbito de la invención solamente por las siguientes reivindicaciones.

Claims

REIVINDICACIONES

1. Un procedimiento de construcción de imágenes basado en la costura de fotogramas implementado en un procesador, comprendiendo el procedimiento:

recibir (302),

una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior;

unos datos posicionales del dispositivo de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen; y una pluralidad de parámetros de dispositivo del dispositivo de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen;

caracterizado porque el procedimiento comprende adicionalmente:

seleccionar (304) un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen, en el que el conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial, en el que cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza;

coser (306) el conjunto de fotogramas clave para construir una imagen de la escena de interés, en el que la costura comprende:

seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave seleccionado es el fotograma clave inicial durante la primera iteración de la costura del conjunto de fotogramas clave;

determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización durante el registro de imágenes, en el que elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical derivados a partir de un cambio en datos posicionales de IMU recibidos para cada fotograma clave y la pluralidad de parámetros de dispositivo;

generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen;

estimar una matriz de deformación basada en características de restricción para coser el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la matriz de deformación basada en características de restricción se estima a partir de la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo; y

construir (308) una imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo de cada fotograma clave, en secuencia.

2. El procedimiento implementado en un procesador de la reivindicación 1, en el que el procedimiento comprende adicionalmente aplicar un enfoque selectivo con realimentación para el procedimiento de construcción de imágenes basado en la costura de fotogramas, en el que el enfoque selectivo con realimentación comprende:

elegir (402) una de:

la matriz de deformación refinada como una matriz de deformación final para la costura de un fotograma clave y el correspondiente fotograma clave consecutivo, si la pluralidad de características extraídas que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo están por debajo de un umbral de punto clave; y

la matriz de deformación basada en características de restricción como la matriz de deformación final para la costura de un fotograma clave y el correspondiente fotograma clave consecutivo, si la pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo y están por encima de un umbral de punto clave;

modificar (404) el parámetro de traslación horizontal y el parámetro de traslación vertical de la matriz de deformación a base de la matriz de deformación final y una matriz de deformación anterior para crear una matriz de deformación modificada, en el que la matriz de deformación anterior es la matriz de deformación creada durante la costura de fotogramas del fotograma anterior;

coser (406) un fotograma clave y el correspondiente fotograma clave consecutivo a base de la matriz de deformación modificada; y

construir (408) la imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo, en secuencia.

3. El procedimiento implementado en un procesador de la reivindicación 1, en el que generar la matriz de deformación refinada a partir de la matriz de deformación comprende aplicar un optimizador de descenso de gradiente y minimización de una métrica de error cuadrático medio (MSE) con transformación establecida a traslación.

4. El procedimiento implementado en un procesador de la reivindicación 1, en el que la matriz de deformación basada en características de restricción se define por una restricción de rotación, una restricción de traslación horizontal basada en la matriz de deformación refinada y una restricción de traslación vertical basada en la matriz de deformación refinada establecida usando la matriz de deformación refinada, en el que la matriz deformada basada en una característica de restricción proporciona un refinamiento sobre la matriz de deformación refinada.

5. Un sistema (102) de construcción de imágenes para la construcción de imágenes basado en la costura de fotogramas, el sistema (102) de construcción de imágenes comprende:

un procesador (202);

una interfaz (206) de Entrada/Salida (E/S);

una memoria (204), comprendiendo la memoria un módulo (212) de costura de fotogramas;

en el que el módulo (212) de costura de fotogramas está configurado para:

recibir,

una secuencia de una pluralidad de fotogramas de imagen desde un dispositivo (104) de formación de imágenes móvil, en el que la pluralidad de fotogramas de imagen corresponden a una escena de interés en un entorno interior;

unos datos posicionales del dispositivo (104) de formación de imágenes móvil desde una Unidad de Medición Inercial (IMU) del dispositivo (104) de formación de imágenes móvil, en el que la IMU proporciona un cambio en los datos posicionales que corresponden a cada fotograma de imagen entre la pluralidad de fotogramas de imagen; y

una pluralidad de parámetros de dispositivo del dispositivo (104) de formación de imágenes móvil, en el que la pluralidad de parámetros de dispositivo comprenden un campo de visión (FoV) horizontal, un FoV vertical y dimensiones de fotograma de la pluralidad fotogramas de imagen;

caracterizado porque el módulo (212) de costura de fotogramas está configurado adicionalmente para: seleccionar un conjunto de fotogramas clave de la pluralidad de fotogramas de imagen, en el que el conjunto de fotogramas clave comprende un fotograma clave inicial identificado a base de un criterio de fotograma clave inicial y fotogramas clave situados en un intervalo de distancia predefinido comenzando desde el fotograma clave inicial, en el que cada fotograma clave del conjunto de fotogramas clave proporciona un promedio máximo de luminancia y varianza sobre un intervalo predefinido definido por número de fotogramas de imagen; coser el conjunto de fotogramas clave para construir una imagen de la escena de interés, en el que para coser los fotogramas clave el módulo (212) de costura de fotogramas está configurado para:

seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave seleccionado es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave; determinar una matriz de deformación entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo para la inicialización durante el registro de imágenes, en el que elementos de la matriz de deformación comprenden un parámetro de traslación horizontal y un parámetro de traslación vertical derivados a partir de un cambio en datos posicionales de IMU recibidos para cada fotograma clave y la pluralidad de parámetros de dispositivo; generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen;

estimar una matriz de deformación basada en características de restricción para coser el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la matriz de deformación basada en características de restricción se estima a partir de la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo; y construir una imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo de cada fotograma clave, en secuencia.

6. El sistema (102) de construcción de imágenes de la reivindicación 5, en el que el módulo (212) de costura de fotogramas está configurado para aplicar un enfoque selectivo con realimentación para el procedimiento de construcción de imágenes basado en la costura de fotogramas, en el que para aplicar el enfoque selectivo con realimentación el módulo (212) de costura de fotogramas está configurado para:

elegir una de:

la matriz de deformación refinada como una matriz de deformación final para la costura de un fotograma clave y los correspondientes fotogramas clave consecutivos, si la pluralidad de características extraídas, que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, están por debajo de un umbral de punto clave; y

la matriz de deformación basada en características de restricción como la matriz de deformación final para la costura de un fotograma clave y el correspondiente fotograma clave consecutivo, si la pluralidad de características extraídas, que proporcionan una correspondencia de puntos clave entre el fotograma clave y el fotograma clave consecutivo, están por encima de un umbral de punto clave;

modificar el parámetro de traslación horizontal y el parámetro de traslación vertical de la matriz de deformación a base de la matriz de deformación final y una matriz de deformación anterior para crear una matriz de deformación modificada, en el que la matriz de deformación anterior es la matriz de deformación creada durante la costura de fotogramas del fotograma anterior;

coser un fotograma clave y el correspondiente fotograma clave consecutivo a base de la matriz de deformación modificada; y construir la imagen de la escena de interés iterando la costura de cada fotograma clave del conjunto de fotogramas clave y el correspondiente fotograma clave consecutivo, en secuencia.

7. El sistema (102) de construcción de imágenes de la reivindicación 5, en el que el módulo (212) de costura de fotogramas está configurado para generar la matriz de deformación refinada a partir de la matriz de deformación comprende aplicar un optimizador de descenso de gradiente y minimización de una métrica de error cuadrático medio (MSE) con transformación establecida a traslación.

8. El sistema (102) de construcción de imágenes de la reivindicación 5, en el que la matriz de deformación basada en características de restricción se define por una restricción de rotación, una restricción de traslación horizontal basada en la matriz de deformación refinada y una restricción de traslación vertical basada en la matriz de deformación refinada establecida usando la matriz de deformación refinada, en el que la matriz deformada basada en una característica de restricción proporciona un refinamiento sobre la matriz de deformación refinada.

9. Uno o más medios de almacenamiento de información legibles por máquina no transitorios que comprenden una o más instrucciones que cuando se ejecutan por uno o más procesadores de hardware provocan que uno o más procesadores de hardware realicen un procedimiento para la construcción de imágenes basado en la costura de fotogramas, comprendiendo dicho procedimiento:

recibir (302),

caracterizado porque dicho procedimiento comprende además:

seleccionar un fotograma clave y un correspondiente fotograma clave consecutivo del conjunto de fotogramas clave, en el que el fotograma clave seleccionado es el fotograma clave inicial durante la primera iteración de costura del conjunto de fotogramas clave;

generar una matriz de deformación refinada a partir de la matriz de deformación para realizar un refinamiento de registro basado en intensidad de imagen; estimar una matriz de deformación basada en características de restricción para coser el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la matriz de deformación basada en características de restricción se estima a partir de la matriz de deformación refinada y una pluralidad de características extraídas de un espacio restringido del fotograma clave seleccionado y el correspondiente fotograma clave consecutivo, en el que la pluralidad de características extraídas proporcionan una correspondencia de puntos clave entre el fotograma clave seleccionado y el correspondiente fotograma clave consecutivo; y

10. El uno o más medios de almacenamiento de información legibles por máquina no transitorios de la reivindicación 9, comprendiendo adicionalmente: elegir (402) una de:

11. El uno o más medios de almacenamiento de información legibles por máquina no transitorios de la reivindicación 9, en los que generar la matriz de deformación refinada a partir de la matriz de deformación comprende aplicar un optimizador de descenso de gradiente y minimización de una métrica de error cuadrático medio (MSE) con transformación establecida a traslación.

12. El uno o más medios de almacenamiento de información legibles por máquina no transitorios de la reivindicación 9, en los que la matriz de deformación basada en características de restricción se define por una restricción de rotación, una restricción de traslación horizontal basada en la matriz de deformación refinada y una restricción de traslación vertical basada en la matriz de deformación refinada establecida usando la matriz de deformación refinada, en el que la matriz deformada basada en una característica de restricción proporciona un refinamiento sobre la matriz de deformación refinada.