ES2849273T3

ES2849273T3 - Sistema y procedimiento de captura y generación de imágenes 3D

Info

Publication number: ES2849273T3
Application number: ES16756818T
Authority: ES
Inventors: Utku Buyuksahin
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-06-03
Filing date: 2016-06-03
Publication date: 2021-08-17
Anticipated expiration: 2036-06-03
Also published as: WO2017209707A1; EP3466068A1; JP2019528582A; US10917627B2; DK3466068T3; US20190230342A1; KR102537416B1; EP3466068B1; JP6837498B2; KR20190015503A

Abstract

Un sistema de generación de imágenes tridimensionales que captura y genera una imagen tridimensional de un objetivo que comprende una pluralidad de obstáculos (4), caracterizado por comprender: - una fuente de luz (1) con una intensidad que se puede ajustar; - al menos una grabadora de imágenes (2), que captura imágenes de dicho objetivo y - al menos una unidad de control, que controla dicha fuente de luz (1) aumentando o disminuyendo su intensidad dentro de un período de tiempo, en el que la intensidad de la fuente de luz (1) varía continuamente, y además controla dicha grabadora de imágenes (2) para capturar una pluralidad de imágenes de dicho objetivo dentro de dicho período de tiempo, y por determinar la profundidad de dichos obstáculos (4) para capturar y generar una imagen tridimensional comparando la variación en el nivel de iluminación de los obstáculos (4) entre la pluralidad de imágenes capturadas dentro de dicho período de tiempo.

Description

DESCRIPCIÓN

Sistema y procedimiento de captura y generación de imágenes 3D

Campo técnico

La presente invención se refiere a un procedimiento y a un sistema de generación de una imagen tridimensional de un objetivo utilizando una sola cámara.

Técnica anterior

La imagen tridimensional de un elemento o una escena objetivo normalmente se genera utilizando una pluralidad de (al menos dos) grabadoras de imágenes (cámaras), en las que cada grabadora de imágenes graba una imagen de dicho elemento o escena objetivo con un ángulo diferente. Combinando las imágenes grabadas por dichas grabadoras de imágenes, se genera información de profundidad del elemento o la escena objetivo. De este modo, utilizando la información de profundidad, se puede generar una imagen 3D del elemento o escena objetivo.

Para generar la información de profundidad, la mayoría de las técnicas conocidas requieren al menos dos grabadoras de imágenes. Sin embargo, la utilización de dos grabadoras de imágenes es una solución cara. Por otra parte, la utilización de dos grabadoras de imágenes en un solo dispositivo (por ejemplo, un dispositivo portátil como un teléfono móvil) provoca un problema de calentamiento en dicho dispositivo.

Para superar dichos problemas, se proponen sistemas que generan imágenes 3D utilizando una única grabadora de imágenes. El artículo de Thomas Lu y Tien-Hsin Chao "A single-camera system captures high-resolution 3D images in one shot" (DOI: 10.1117/2.1200611.0303) desvela un sistema y un procedimiento de captura de una imagen 3D utilizando una sola cámara. Según dicho artículo, se añade un sistema óptico a la cámara para capturar dos imágenes distintas desde diferentes ángulos. A continuación, se combinan dichas imágenes para generar una imagen 3D. Sin embargo, según dicho artículo, dado que se generan 2 imágenes distintas al mismo tiempo, la resolución de cada imagen tiene la mitad de resolución de la cámara. En otras palabras, según dicho artículo, la resolución de la imagen 3D generada es menor que la resolución real de la cámara. Por otra parte, dado que dicho procedimiento requiere un sistema óptico difícil de encontrar, también aumentan las dimensiones de la cámara. Por lo tanto, dicho procedimiento no se puede utilizar con dispositivos móviles, cuyo tamaño es limitado.

El documento de patente US2015208057A1 desvela un dispositivo para generar información de profundidad. Dicho dispositivo comprende una pluralidad de fuentes de luz, una unidad de captura de imágenes, una unidad de control y una unidad de procesamiento. Cada fuente de luz de la pluralidad de fuentes de luz emite una luz de intensidad correspondiente. La unidad de control controla cada fuente de luz de la pluralidad de fuentes de luz para emitir a su vez la luz de intensidad correspondiente, y controla la unidad de captura de imágenes para capturar una pluralidad de imágenes correspondientes a la pluralidad de fuentes de luz. La unidad de procesamiento genera una pluralidad de información de profundidad correspondiente a la pluralidad de fuentes de luz según la pluralidad de imágenes correspondientes a la pluralidad de fuentes de luz y una imagen de fondo después de que la unidad de captura de imágenes capture la pluralidad de imágenes correspondientes a la pluralidad de fuentes de luz y a la imagen de fondo.

El documento de patente US2013069934A1 desvela un sistema y un procedimiento de reproducción de imágenes estereoscópicas. Dicho procedimiento de reproducción de una imagen estereoscópica basándose en un marco de imagen bidimensional y un mapa de profundidad comprende la generación de un mapa de prominencia del marco de imagen bidimensional, determinar una región en la que está ubicado el objeto de enfoque a partir del mapa de prominencia, modificar el mapa de profundidad de manera que un intervalo de valores de profundidad del mapa de profundidad que está asociado al objeto de enfoque se redistribuya hacia un nivel de profundidad de una pantalla de visualización, y generar un marco de imagen estereoscópica virtual basándose en el mapa de profundidad modificado y en el marco de imagen bidimensional.

El documento de patente US2012092459A1 desvela un procedimiento de reconstrucción de una imagen tridimensional de un objeto. Se adquiere una primera imagen del objeto iluminado por un flujo luminoso que tiene, en una región que incluye el objeto, una intensidad luminosa que depende de la distancia, con una fuente de luz que emite el flujo luminoso. Se adquiere una segunda imagen del objeto iluminado por un flujo luminoso que tiene, en una región que incluye el objeto, una intensidad luminosa constante. Por cada píxel de una imagen tridimensional, se determina una distancia relativa de un punto del objeto en función de la intensidad de un píxel correspondiente al punto del objeto en cada una de las imágenes adquiridas.

El documento de patente US2015193973A1 desvela procedimientos para reconstruir la geometría de la superficie de un objeto utilizando una sola imagen. Un dispositivo informático está configurado para reconstruir una superficie de un objeto coloreado a partir de una sola imagen utilizando la capacidad de integrarse de la superficie como una restricción adicional. La imagen se captura bajo una iluminación de tres luces fijas coloreadas que corresponden a tres canales de color, tal como el rojo, el verde y el azul (RVA). La imagen RVA se puede separar en tres imágenes en una escala de grises, con diferente iluminación para cada imagen, y la geometría se puede reconstruir calculando las normales de la superficie de estas imágenes separadas. La profundidad se puede estimar integrando las normales de la superficie. El documento de patente US2016057340A1 desvela un aparato de detección de gestos que incluye un emisor de luz configurado para emitir luz hacia un objeto, una cámara configurada para capturar la luz emitida por el emisor de luz y reflejada por el objeto, y un controlador de señales configurado para controlar el emisor de luz y la cámara, en el que el emisor de luz comprende una primera luz y una segunda luz, de las que al menos una está configurada para emitir luz que tiene características de intensidad no monotónica.

Breve descripción de la invención

De acuerdo con la presente invención, se proporciona un procedimiento y un sistema para generar una imagen tridimensional de un objetivo utilizando una sola cámara tal y como se establece en las reivindicaciones independientes. Dicho sistema comprende, al menos una fuente de luz, cuya intensidad se puede ajustar; al menos una grabadora de imágenes, que captura imágenes de un objetivo que comprende una pluralidad de obstáculos; y al menos una unidad de control (no mostrada en las figuras), que controla dicha fuente de luz aumentando o disminuyendo su intensidad dentro de un período de tiempo, que controla dicha grabadora de imágenes para capturar una pluralidad de imágenes de dicho objetivo dentro de dicho período de tiempo, y que determina la profundidad de dichos obstáculos para capturar y generar una imagen tridimensional comparando la variación en el nivel de iluminación de los obstáculos entre las imágenes capturadas dentro de dicho período de tiempo. Dicho procedimiento comprende las etapas de, aumentar o disminuir la intensidad de dicha fuente de luz dentro de un período de tiempo; capturar las imágenes de dicho objetivo a través de dicha grabadora de imágenes dentro de dicho período de tiempo; y determinar la profundidad de dichos obstáculos, para capturar y generar una imagen tridimensional, comparando la variación en el nivel de iluminación de los obstáculos entre las imágenes capturadas dentro de dicho período de tiempo a través de al menos una unidad de control.

Según la presente solicitud, dado que una grabadora de imágenes, una fuente de luz de intensidad ajustable y una unidad de control son suficientes para capturar y generar una imagen 3D, los dispositivos portátiles convencionales con cámaras, tal como teléfonos móviles/teléfonos inteligentes, se puede utilizar para capturar y generar imágenes 3D. Por lo tanto, sin cambiar el hardware de un teléfono móvil/teléfono inteligente, se pueden capturar y generar imágenes 3D fácilmente.

Objeto de la invención

El objeto principal de la presente invención es proporcionar un sistema y un procedimiento de captura y generación de una imagen tridimensional de un objetivo utilizando una sola cámara.

Otro objetivo de la presente invención es proporcionar un sistema y un procedimiento de captura y generación de una imagen tridimensional que se pueda implementar fácilmente en dispositivos portátiles.

Otro objetivo de la presente invención es proporcionar un sistema y un procedimiento de captura y generación de un vídeo tridimensional de un objetivo utilizando una sola cámara.

Otro objetivo de la presente invención es proporcionar un sistema y un procedimiento económicos y fiables de captura y generación de una imagen y un vídeo tridimensionales.

Descripción de los dibujos

La Figura 1 muestra un ejemplo de realización del sistema de captura y generación de imágenes tridimensionales de la presente invención.

La figura 2 muestra otro ejemplo de realización del sistema de captura y generación de imágenes tridimensionales de la presente invención.

La Figura 3 muestra un gráfico de intensidad de una fuente de luz con respecto al tiempo de un ejemplo de realización de la presente invención.

La figura 4 muestra otro gráfico de intensidad de una fuente de luz con respecto al tiempo de un ejemplo de realización de la presente invención.

Las referencias en las figuras pueden tener los siguientes significados;

Fuente de luz (1)

Grabadora de imágenes (2)

Intervalo de iluminación (3)

Obstáculo (4)

Descripción detallada de la invención

Las imágenes tridimensionales contienen datos de imagen y datos de profundidad. En los procedimientos convencionales, para capturar y generar una imagen 3D de un objetivo (un objeto o una escena), se utilizan imágenes que tienen diferentes puntos de vista. Por lo tanto, los procedimientos convencionales requieren una pluralidad de grabadoras de imágenes (cámaras) para capturar y generar una imagen 3D. De acuerdo con la presente invención, se proporcionan un procedimiento y un sistema de captura y generación de una imagen tridimensional de un objetivo utilizando una sola cámara.

El sistema de captura y generación de imágenes tridimensionales de la presente invención, del que se ilustran unos ejemplos de realización en las figuras 1-4, comprende al menos una fuente de luz (1), cuya intensidad se puede ajustar; al menos una grabadora de imágenes (2) (tal como una cámara), que captura imágenes (imágenes bidimensionales) de un objetivo que comprende una pluralidad de obstáculos (4); y al menos una unidad de control (no mostrada en las figuras), que controla dicha fuente de luz (1) aumentando o disminuyendo su intensidad dentro de un período de tiempo, que controla dicha grabadora de imágenes (2) para capturar una pluralidad de imágenes de dicho objetivo dentro de dicho período de tiempo, y que determina la profundidad de dichos obstáculos (4) para capturar y generar una imagen tridimensional comparando la variación en el nivel de iluminación de los obstáculos (4) entre las imágenes capturadas dentro de dicho período de tiempo.

El procedimiento de captura y generación de imágenes tridimensionales de la presente invención comprende las etapas de, aumentar o disminuir la intensidad de al menos una fuente de luz (1) dentro de un período de tiempo, en el que dicha fuente de luz (1) ilumina un objetivo que comprende una pluralidad de obstáculos (4); capturar las imágenes de dicho objetivo a través de al menos una grabadora de imágenes (2) dentro de dicho período de tiempo; determinar la profundidad de dichos obstáculos (4), para capturar y generar una imagen tridimensional, comparando la variación en el nivel de iluminación de los obstáculos (4) entre las imágenes capturadas dentro de dicho período de tiempo a través de al menos una unidad de control. En una realización preferida, utilizando la profundidad determinada de los obstáculos (4), se genera un mapa de prominencia, que se usa en aplicaciones de imágenes tridimensionales.

En un ejemplo de realización de la presente invención, que se ilustra en la figura 1, se aumenta la intensidad de la fuente de luz (1) dentro de un período de tiempo. Al inicio de dicho período de tiempo, tiempo 1a, la intensidad de la fuente de luz (1) es tan baja que el intervalo de iluminación (3) de la fuente de luz (1) solo es capaz de iluminar el obstáculo (4) más próximo a la fuente de luz (1). Durante ese tiempo, la imagen capturada por la grabadora de imágenes (2) muestra que solo el obstáculo (4) más próximo a la fuente de luz (1) está iluminado. Cuando se aumenta la intensidad de la fuente de luz (1), tiempo 1b, el intervalo de iluminación (3) de la fuente de luz (1) alcanza el obstáculo (4), que es el segundo más próximo a la fuente de luz (1). Durante el tiempo 1b, la imagen capturada por la grabadora de imágenes (2) muestra que solo los dos obstáculos (4) más próximos a la fuente de luz (1) están iluminados. Comparando la variación en el nivel de iluminación de los dos obstáculos (4) que están más próximos a la fuente de luz (1) entre las imágenes capturadas en el tiempo 1a y el tiempo 1b, se pueden calcular las distancias entre la fuente de luz (1) y dichos obstáculos (4). Aumentando aún más la intensidad de la fuente de luz (1) en los tiempos 1c y 1d y comparando la variación en el nivel de iluminación de los obstáculos (4) durante esos tiempos, se pueden calcular las distancias entre la fuente de luz (1) y dichos obstáculos (4). Utilizando dicha información de distancia y la distancia entre la fuente de luz (1) y la grabadora de imágenes (2), se calculan las distancias entre la grabadora de imágenes (2) y dichos obstáculos (4) (que son las profundidades de dichos obstáculos (4)). Esta realización es preferible en un entorno relativamente oscuro porque el aumento en el nivel de iluminación de los obstáculos (4) a lo largo del tiempo se vuelve evidente. Por otra parte, cuando se alcanza el intervalo de iluminación más alto (3) (como se muestra en las figuras 1d y 2a), también es posible determinar el orden de profundidad de los obstáculos iluminados (4) según el nivel de diferenciación de variación de color de cada obstáculo (4). El obstáculo más próximo (4) será más brillante y la diferenciación de color será la más alta y viceversa.

En la figura 2 se ilustra un ejemplo de realización alternativo de la presente invención. En esta realización, la intensidad de la fuente de luz (1) disminuye dentro de un período de tiempo. Se manera similar a la realización anterior, utilizando la variación en el nivel de iluminación de los obstáculos (4) a lo largo de diferentes tiempos (tiempos 2a-2d), se puede calcular la información de profundidad para cada uno de los obstáculos (4). En esta realización, el nivel de iluminación de los obstáculos (4) disminuye con el tiempo. Por lo tanto, esta realización es preferible en entornos relativamente brillantes.

En una realización preferida de la presente invención, la intensidad de la fuente de luz (1) varia (aumenta o disminuye) escalonadamente, como se muestra en la figura 3. Los grados de intensidad pueden variar discretamente (en otras palabras, la intensidad de la fuente de luz (1) pasa a ser 0 durante un breve espacio de tiempo entre dos grados) o puede variar continuamente (en otras palabras, la intensidad de la fuente de luz (1) aumenta o disminuye como los escalones de una escalera). En estas realizaciones, la anchura de cada grado (espacio de tiempo de cada nivel de intensidad) es preferentemente igual o mayor que la velocidad de obturación (tiempo de exposición) de la grabadora de imágenes (2), de manera que la intensidad de la fuente de luz (1) no varíe dentro de un tiempo de exposición. Por lo tanto, los niveles de iluminación de los obstáculos (4) se pueden determinar con mayor precisión.

En otra realización preferida de la presente solicitud, la intensidad de la fuente de luz (1) varia de manera continua como se muestra en la figura 4.

En otra realización de la presente solicitud, el color (longitud de onda) de la fuente de luz (1) se puede ajustar mediante dicha unidad de control. Dado que los obstáculos de diferentes colores (4) absorben luces de diferentes colores, la variación en el nivel de iluminación de un obstáculo (4) puede no ser evidente si este está iluminado con una fuente de luz de un color específico (1). Por lo tanto, de acuerdo con esta realización, si la variación en el nivel de iluminación de un obstáculo (4) no es evidente dentro de un período de tiempo, se cambia el color de la fuente de luz (1) y las etapas de aumentar o disminuir la intensidad de al menos una fuente de luz (1); se repite la captura de las imágenes de dicho objetivo a través de al menos una grabadora de imágenes (2) y la determinación de la profundidad de dichos obstáculos (4) para el nuevo color. Por lo tanto, la información de profundidad de los obstáculos (4) se determina con mayor precisión.

En otra realización, la intensidad luminosa de la fuente de luz (1) se propaga hacia fuera de forma semiesférica. En esta realización, la profundidad de los obstáculos se puede calcular en un sistema de coordenadas polares.

En otra realización preferida de la presente solicitud, el sistema de captura y generación de imágenes tridimensionales se utiliza para capturar y generar vídeos tridimensionales. En esta realización, en primer lugar, se determina la profundidad de los diferentes obstáculos (4) según las aplicaciones mencionadas anteriormente y se determinan los tamaños iniciales de los obstáculos (4) dentro de las imágenes capturadas (el tamaño de los obstáculos (4) se determina en términos de píxeles). A continuación, se graba un vídeo utilizando dicha grabadora de imágenes (2) u otro dispositivo de grabación de vídeos. Durante dicha grabación, la profundidad de los obstáculos (4) puede variar. Para determinar dicha variación de profundidad, se miden las variaciones relativas de tamaño de los obstáculos (4) (de nuevo en términos de píxeles). Dado que dicha variación relativa de tamaño está relacionada con el cambio de profundidad, se puede calcular la nueva profundidad de los obstáculos (4).

En otra realización preferida de la presente solicitud, una vez determinada la profundidad de los obstáculos (4), dicha información de profundidad se utiliza para distinguir un objeto en primer plano de un objeto de fondo. De este modo, es posible cambiar un objeto de fondo a otra imagen o vídeo capturado. En otras palabras, según el sistema y el procedimiento de la presente solicitud, se pueden utilizar aplicaciones de recuadro verde (o recuadro azul o con la misma finalidad) sin una pantalla verde (o azul).

De acuerdo con la presente invención, una grabadora de imágenes (2) es suficiente para determinar la información de profundidad, así como para capturar y generar una imagen 3D. Sin embargo, en realizaciones alternativas de la presente solicitud, se puede utilizar una pluralidad de grabadoras de imágenes (2). En la aplicación convencional, en la que se utilizan al menos dos cámaras para generar una imagen 3D, el punto de vista de las cámaras es diferente. Por lo tanto, si un segmento de un objetivo es visto solo por una cámara, no se pueden identificar intrusiones/extrusiones en dicho segmento. La realización, en la que se utiliza una pluralidad de grabadoras de imágenes (2), supera dicho problema. Por lo tanto, según la presente solicitud, se puede capturar y generar información de profundidad más precisa e imágenes 3D más precisas.

Según la presente solicitud, dado que una grabadora de imágenes (2), una fuente de luz de intensidad ajustable (1) y una unidad de control son suficientes para generar una imagen 3D, los dispositivos portátiles convencionales con cámaras, tal como teléfonos móviles/teléfonos inteligentes, se puede utilizar para capturar y generar imágenes 3D. Por lo tanto, sin cambiar el hardware de un teléfono móvil/teléfono inteligente, se pueden capturar y generar imágenes 3D fácilmente.

Claims

REIVINDICACIONES

1. Un sistema de generación de imágenes tridimensionales que captura y genera una imagen tridimensional de un objetivo que comprende una pluralidad de obstáculos (4), caracterizado por comprender:

- una fuente de luz (1) con una intensidad que se puede ajustar;

- al menos una grabadora de imágenes (2), que captura imágenes de dicho objetivo y

- al menos una unidad de control, que controla dicha fuente de luz (1) aumentando o disminuyendo su intensidad dentro de un período de tiempo, en el que la intensidad de la fuente de luz (1) varía continuamente, y además controla dicha grabadora de imágenes (2) para capturar una pluralidad de imágenes de dicho objetivo dentro de dicho período de tiempo, y

por determinar la profundidad de dichos obstáculos (4) para capturar y generar una imagen tridimensional comparando la variación en el nivel de iluminación de los obstáculos (4) entre la pluralidad de imágenes capturadas dentro de dicho período de tiempo.

2. Un sistema según la reivindicación 1, caracterizado porque un color de la fuente de luz (1) puede ser ajustado por dicha unidad de control.

3. Un sistema según la reivindicación 1, caracterizado porque la intensidad luminosa de la fuente de luz (1) se propaga hacia fuera de forma semiesférica.

4. Un procedimiento de generación de imágenes tridimensionales que captura y genera una imagen tridimensional de un objetivo que comprende una pluralidad de obstáculos (4), caracterizado por comprender las etapas de: - aumentar o disminuir la intensidad de una fuente de luz (1) dentro de un período de tiempo, en el que dicha fuente de luz (1) ilumina dicho objetivo y en el que la intensidad de la fuente de luz (1) varía continuamente; - capturar una pluralidad de imágenes de dicho objetivo a través de al menos una grabadora de imágenes (2) dentro de dicho período de tiempo;

- determinar la profundidad de dichos obstáculos (4), para capturar y generar una imagen tridimensional, comparando la variación en el nivel de iluminación de los obstáculos (4) entre la pluralidad de imágenes capturadas dentro de dicho período de tiempo a través de al menos una unidad de control.

5. Un procedimiento según la reivindicación 4, caracterizado por comprender, además, la etapa de, determinar un mapa de prominencia para al menos una imagen capturada utilizando la profundidad determinada de los obstáculos (4).

6. Un procedimiento según la reivindicación 4, caracterizado por comprender, además, las etapas de, variar un color de la fuente de luz (1) y repetir las etapas de aumentar o disminuir la intensidad de la fuente de luz (1); capturar la pluralidad de imágenes de dicho objetivo a través de al menos una grabadora de imágenes (2) y determinar la profundidad de dichos obstáculos (4) para el color de la fuente de luz (1).

7. Un procedimiento según la reivindicación 4, caracterizado por comprender, además, las etapas de, determinar los tamaños iniciales de los obstáculos (4) y grabar un vídeo, en el que las variaciones de profundidad de los obstáculos (4) durante dicha grabación se determinan según su variación de tamaño con respecto a sus tamaños iniciales determinados.

8. Un procedimiento según la reivindicación 4, caracterizado por comprender, además, la etapa de, distinguir un objeto en primer plano de un objeto de fondo utilizando determinada información de profundidad de los obstáculos (4).