ES2617831T3 - Sistemas de detección de profundidad activos de luz estructurada que combinan múltiples imágenes para compensar las diferencias de reflectividad y/o absorción - Google Patents
Sistemas de detección de profundidad activos de luz estructurada que combinan múltiples imágenes para compensar las diferencias de reflectividad y/o absorción Download PDFInfo
- Publication number
- ES2617831T3 ES2617831T3 ES13789092.7T ES13789092T ES2617831T3 ES 2617831 T3 ES2617831 T3 ES 2617831T3 ES 13789092 T ES13789092 T ES 13789092T ES 2617831 T3 ES2617831 T3 ES 2617831T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- code mask
- scene
- images
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
Un procedimiento para compensar las diferencias en la reflectividad superficial en un sistema de detección de profundidad activo mediante luz estructurada, comprendiendo el procedimiento: obtener (506a, 514a, 606a), a partir de uno o más sensores receptores (105, 208, 304, 806), una pluralidad de imágenes de una escena (206, 308, 802) sobre la que una máscara de código (204, 310, 400) se proyecta (504a, 604a) utilizando una fuente de luz (102, 202, 302, 808), comprendiendo la máscara de código una pluralidad de partes únicas de código espacial, en el que la pluralidad de imágenes es capturada por los uno o más sensores receptores utilizando dos o más tiempos de exposición; y combinar (614) la pluralidad de imágenes mediante la extracción de partes decodificables de la máscara de código de cada imagen entre la pluralidad de imágenes, para generar una imagen combinada.
Description
5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Sistemas de deteccion de profundidad activos de luz estructurada que combinan multiples imageries para compensar las diferencias de reflectividad y/o absorcion
ANTECEDENTES
CAMPO
Varias caracteristicas se refieren a la deteccion de profundidad activa y, mas especificamente, a tecnicas para compensar los diferentes coeficientes de reflectividad/absorcion de los objetos en una escena cuando se realiza un sistema de deteccion de profundidad activo utilizando luz estructurada.
ANTECEDENTES
En la deteccion activa, un patron conocido (por ejemplo, una mascara de codigo) se utiliza para iluminar una escena u objeto en un proceso a menudo mencionado como "luz estructurada". La estructura del patron proyectado sobre la escena u objeto codifica la informacion de profundidad de la escena u objeto. Una vez que el patron se encuentra en una imagen recibida, la escena o el objeto tridimensional pueden ser reconstruidos. La relacion entre el patron proyectado conocido y el decodificado se puede utilizar para obtener informacion de profundidad sobre la escena capturada.
Un sensor de receptor/camara puede capturar una imagen de una escena a partir de la luz incidente procedente de un reflejo de una fuente de luz sobre la escena (por ejemplo, persona, objeto, lugar, etc.). La intensidad de la luz incidente puede depender de: (a) las propiedades de reflectancia de las superficies en la escena, (b) la potencia de la luz que genera el patron proyectado y/o (c) la luz ambiental. Si la luz incidente sobre el sensor de la camara es demasiado fuerte, satura el sensor. Si es demasiado debil, el sensor de la camara no captura las variaciones en la reflectividad de la escena. Incluso dentro de una escena, en funcion del tipo de superficies capturadas en una imagen, ambas situaciones (por ejemplo, luz capturada demasiado fuerte y demasiado debil) pueden ocurrir al mismo tiempo. Si no se incluye ningun ajuste para la potencia de la luz incidente en el sistema, es imposible capturar las variaciones en la iluminacion de patron proyectado (por ejemplo, la mascara de codigo) para una amplia gama de situaciones (diferentes luces ambientales, diferente potencia pre-establecida de la fuente de luz, diferentes tipos de superficie).
En consecuencia, se necesita una solucion para compensar las variaciones en la intensidad de la luz incidente cuando se realiza la deteccion de profundidad de una escena usando un sistema de luz estructurada.
En el documento US 2009/022367 A1 de Sasaki se describe un dispositivo de deteccion de formas tridimensionales que puede detectar una forma tridimensional de un objeto a captar, incluso en el caso en que se utiliza una parte de captacion de imagenes con un rango dinamico estrecho. Una imagen de un objeto a captar es captada en una pluralidad de diferentes condiciones de exposicion, en un estado en que cada uno entre una pluralidad de tipos de luces modeladas, disponiendo alternativamente partes claras y oscuras, es proyectado secuencialmente en el tiempo sobre el objeto a captar y sobre el cual se genera una pluralidad de imagenes de brillo para respectivas condiciones de exposicion. Ademas, en base a tal pluralidad de imagenes de brillo, se forma una imagen codificada en cada condicion de exposicion y se obtiene una posicion de borde de codigo para un codigo de espacio, para cada condicion de exposicion. En base a una pluralidad de posiciones de borde de codigo para cada condicion de exposicion obtenida de esta manera, se determina una posicion de borde de codigo para el calculo de una forma tridimensional del objeto a captar, de tal manera que se calcule la forma tridimensional del objeto a captar.
SUMARIO
A continuacion se ofrece un resumen simplificado de uno o mas aspectos de la presente divulgacion, con el fin de proporcionar un entendimiento basico de tales aspectos. Este resumen no es una vision global extensa de todas las caracteristicas contempladas de la divulgacion, y no pretende ni identificar elementos clave o criticos de todos los aspectos de la divulgacion ni delimitar el alcance de algunos de, o todos, los aspectos de la divulgacion. Su unica finalidad es presentar algunos conceptos de uno o mas aspectos de la divulgacion de manera simplificada, como un preludio de la descripcion mas detallada que se presentara posteriormente.
Un dispositivo esta adaptado para compensar las diferencias de reflectividad superficial en un sistema de deteccion de profundidad activo, utilizando luz estructurada. El dispositivo puede incluir un sensor receptor y un circuito de procesamiento. El sensor receptor sirve para capturar una pluralidad de imagenes de una escena sobre la que se proyecta una mascara de codigo que comprende una pluralidad de partes de codigo espacial unico, donde el sensor receptor captura la pluralidad de imagenes en dos o mas tiempos de exposicion diferentes. El circuito de procesamiento esta adaptado para combinar las dos o mas, entre la pluralidad de imagenes, mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada. Ademas, el circuito de procesamiento esta adicionalmente adaptado para determinar la informacion de profundidad de la escena
5
10
15
20
25
30
35
40
45
50
55
60
65
en base a la imagen combinada y al uso de la mascara de codigo.
En un ejemplo, el circuito de procesamiento puede estar adaptado ademas para: (a) determinar uno o mas parametros a partir de la pluralidad de imagenes capturada; y/o (b) ajustar dinamicamente el tiempo de exposicion para el sensor receptor de acuerdo con los uno o mas parametros, para mejorar la decodificacion de la mascara de codigo en una pluralidad de imagenes capturadas posteriormente.
El sensor receptor puede estar adaptado para: (a) capturar, usando un primer tiempo de exposicion, una primera imagen de la escena sobre la que se proyecta la mascara de codigo que comprende una pluralidad de partes unicas de codigo espacial; y/o (b) capturar, usando un segundo tiempo de exposicion, una segunda imagen de la escena sobre la que se proyecta la mascara de codigo, donde se selecciona el segundo tiempo de exposicion, para reducir, ya sea la sobre-exposicion o la sub-exposicion, en la primera imagen.
De manera similar, tambien se proporciona un procedimiento para compensar las diferencias en la reflectividad superficial en un sistema de deteccion de profundidad activo utilizando luz estructurada. Se captura una pluralidad de imagenes de una escena sobre la que se proyecta una mascara de codigo que comprende una pluralidad de partes unicas de codigo espacial, donde el sensor receptor captura la pluralidad de imagenes en dos o mas tiempos de exposicion. Las dos o mas, entre la pluralidad de imagenes, se combinan mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada. La informacion de profundidad para la escena se determina en base a la imagen combinada y al uso de la mascara de codigo.
En una realizacion, uno o mas parametros se pueden determinar a partir de la pluralidad de imagenes capturada. Entonces, el tiempo de exposicion para el sensor receptor se puede ajustar de forma dinamica de acuerdo con los uno o mas parametros, para mejorar la decodificacion de la mascara de codigo en una pluralidad de imagenes capturadas posteriormente.
Otra caracteristica puede incluir: (a) la captura, utilizando un primer tiempo de exposicion, de una primera imagen de la escena sobre la que se proyecta la mascara de codigo; y/o (b) la captura, utilizando un segundo tiempo de exposicion, de una segunda imagen de la escena sobre la que se proyecta la mascara de codigo que comprende una pluralidad de partes unicas de codigo espacial, donde el segundo tiempo de exposicion se selecciona para reducir, ya sea la sobre-exposicion o la sub-exposicion, en la primera imagen.
Otra implementacion proporciona un dispositivo adaptado para compensar las diferencias de reflectividad superficial en un sistema de deteccion de profundidad activo utilizando luz estructurada, en donde dicho dispositivo incluye un primer receptor, un segundo receptor y un circuito de procesamiento. El primer sensor receptor sirve para capturar una primera imagen de una escena sobre la que se proyecta una mascara de codigo que comprende una pluralidad de partes unicas de codigo espacial, donde el primer sensor receptor captura la primera imagen en un primer tiempo de exposicion. El segundo sensor receptor sirve para capturar una segunda imagen de la escena sobre la que se proyecta la mascara de codigo, donde el segundo sensor receptor captura la segunda imagen en un segundo tiempo de exposicion. El circuito de procesamiento esta adaptado para combinar la primera y segunda imagenes mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada.
El circuito de procesamiento tambien puede estar adaptado para determinar la informacion de profundidad de la escena, en base a la imagen combinada y al uso de la mascara de codigo.
En diversas implementaciones, la primera y segunda imagenes pueden ser capturadas simultaneamente y/o al mismo nivel de iluminacion de la mascara de codigo.
Tambien se proporciona un procedimiento para compensar las diferencias en la reflectividad superficial en un sistema de deteccion de profundidad activo utilizando luz estructurada. El procedimiento puede (a) capturar, usando un primer sensor receptor, una primera imagen de una escena sobre la que se proyecta una mascara de codigo que comprende una pluralidad de partes unicas de codigo espacial, donde el primer sensor receptor captura la primera imagen en un primer tiempo de exposicion; (b) capturar, usando un segundo sensor receptor, una segunda imagen de la escena sobre la que se proyecta una mascara de codigo, donde el segundo sensor receptor captura la segunda imagen en un segundo tiempo de exposicion; (c) combinar la primera y segunda imagenes mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada; y/o (d) determinar informacion de profundidad para la escena, en base a la imagen combinada y al uso de la mascara de codigo.
BREVE DESCRIPCION DE LOS DIBUJOS
Estos y otros aspectos de ejemplo de la divulgacion se describiran en la siguiente descripcion detallada, y en los dibujos adjuntos, en los que:
La figura 1 ilustra un sistema de deteccion activa donde una escena tridimensional (3D) se construye a partir de
5
10
15
20
25
30
35
40
45
50
55
60
65
imageries o informacion bidimensionales (2D).
La figura 2 ilustra la deteccion activa donde un patron conocido se utiliza para iluminar una escena u objeto y obtener informacion de profundidad, con la cual generar informacion tridimensional a partir de las imagenes y/o informacion bidimensionales.
La figura 3 ilustra como se puede detectar la profundidad de un objeto o escena.
La figura 4 ilustra una mascara de codigo ejemplar 400 que utiliza tres niveles de escala de grises (por ejemplo, negro, blanco y un gris).
La figura 5 ilustra al menos dos procedimientos para el ajuste de energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo utilizando luz estructurada.
La figura 6 ilustra al menos dos procedimientos para el ajuste de energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo utilizando luz estructurada.
La figura 7 ilustra otro procedimiento para ajustar la energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo utilizando luz estructurada.
La figura 8 ilustra un sistema ejemplar sensor de profundidad que utiliza luz estructurada, que se ajusta dinamicamente para diferentes coeficientes de reflectividad/absorcion de las superficies de los objetos en una escena capturada.
La figura 9 ilustra como una palabra de codigo binaria se puede representar dentro de un portador modulado en su forma.
La figura 10 ilustra detalles adicionales de la micro-estructura del codigo utilizando una capa portadora y una capa de codigo.
DESCRIPCION DETALLADA
En la siguiente descripcion, se dan detalles especificos para proporcionar una comprension exhaustiva de los modos de realizacion. Sin embargo, se entendera por un experto en la tecnica que pueden llevarse a la practica los modos de realizacion sin estos detalles especificos. Por ejemplo, pueden mostrarse circuitos en diagramas de bloques para evitar oscurecer los modos de realizacion con detalles innecesarios. En otros casos, pueden no mostrarse en detalle circuitos, estructuras y tecnicas ya conocidos, para no oscurecer los modos de realizacion.
La expresion "ejemplar" se usa en el presente documento en el sentido de "que sirve como ejemplo, instancia o ilustracion". No debe interpretarse necesariamente que cualquier implementacion o realizacion descrita en el presente documento como "ejemplar" sea preferida o ventajosa con respecto a otras realizaciones. Asimismo, la expresion "modos de realizacion" no requiere que todas las realizaciones incluyan la caracteristica, ventaja o modalidad de funcionamiento expuesta.
PANORAMA GENERAL
Se proporcionan tecnicas para compensar los diferentes coeficientes de reflectividad/absorcion de los objetos en una escena al realizar deteccion de profundidad activa utilizando luz estructurada. Se proporcionan varias caracteristicas que se ajustan a, y compensan, dinamicamente, las variaciones en la reflectividad/absorcion de los objetos en una escena capturada.
Una primera caracteristica proporciona un sensor receptor que captura una imagen de una escena sobre la que se proyecta una mascara de codigo. Uno o mas parametros se determinan a partir de la imagen capturada. A continuacion, una potencia de una fuente de luz, para una fuente de luz proyectada, se ajusta dinamicamente de acuerdo con los uno o mas parametros, para mejorar la decodificacion de la mascara de codigo en una imagen capturada posteriormente. La informacion de profundidad para la escena puede entonces determinarse en base a la imagen capturada, en base a la mascara de codigo. En un ejemplo, la potencia de la fuente de luz se fija en una iluminacion particular, mientras se ajusta un tiempo de exposicion para el sensor receptor. En otro ejemplo, un tiempo de exposicion para el sensor receptor se mantiene/conserva en un valor fijo mientras se ajusta la potencia de la fuente de luz.
Una segunda caracteristica proporciona un sensor receptor que captura una pluralidad de imagenes, en dos o mas tiempos (diferentes) de exposicion, de una escena sobre la que se proyecta una mascara de codigo. Las dos o mas, entre la pluralidad de imagenes, se combinan mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada. La informacion de profundidad para la escena puede entonces determinarse en base a la imagen combinada y el uso de la mascara de codigo.
5
10
15
20
25
30
35
40
45
50
55
60
65
Una tercera caracteristica provee el uso de dos sensores receptores, cada uno en un tiempo de exposicion diferente, para capturar una escena u objeto. Un primer sensor receptor captura una primera imagen, en un primer tiempo de exposicion, de una escena sobre la que se proyecta una mascara de codigo. Un segundo sensor receptor captura una segunda imagen, en un segundo tiempo de exposicion, de la escena sobre la que se proyecta la mascara de codigo. La primera y segunda imagenes se combinan entonces mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen, para generar una imagen combinada. La informacion de profundidad para la escena puede entonces determinarse en base a la imagen combinada y el uso de la mascara de codigo.
DETECCION DE PROFUNDIDAD ACTIVA
La figura 1 ilustra un sistema de deteccion activa donde una escena tridimensional (3D) se construye a partir de imagenes o informacion bidimensionales (2D). Una o mas opciones para compensar los diferentes coeficientes de reflectividad/absorcion de los objetos en una escena cuando se realiza un sistema de deteccion de profundidad activo utilizando luz estructurada. Un codificador/modulador de forma 100 puede servir para generar una mascara de codigo que despues es proyectada por un dispositivo transmisor 102 por un canal de transmision 104. La mascara de codigo puede ser proyectada sobre un objetivo (por ejemplo, una escena u objeto) y la luz reflejada es capturada por un sensor receptor 105 como una imagen (por ejemplo, la imagen de la mascara de codigo). Esta imagen recibida puede ser decodificada 106 y utilizada para presentar, generar y/o proporcionar una version tridimensional 110a a 100e del objetivo. La deteccion activa se basa en ser capaz de reconocer todos los codigos espaciales (es decir, palabras de codigo) de la mascara de codigo que se proyecta sobre el objetivo. Varias caracteristicas y aspectos descritos en este documento pueden implementarse como parte del sistema y el(los) dispositivo (s) que se ilustran en el presente documento.
La figura 2 ilustra la deteccion activa, donde un patron conocido se utiliza para iluminar una escena u objeto y obtener informacion de profundidad, con la cual generar informacion tridimensional a partir de imagenes y/o informacion bidimensionales. Aqui, un transmisor 202 proyecta un campo luminoso a traves de una mascara de codigo 204 (por ejemplo, una imagen con codigos) para proyectar palabras de codigo sobre un objeto o escena 206. Un receptor 208 (por ejemplo, un sensor de camara) captura la mascara de codigo proyectada 210 y las palabras de codigo en la misma. Este ejemplo ilustra como se proyecta una seccion/parte/ventana 212 de la mascara de codigo 204 (como la seccion/parte/ventana 214) sobre la superficie (por ejemplo, la seccion/parte/ventana proyectada 216) del objeto o escena 206. La seccion/parte/ventana proyectada 216 puede entonces ser capturada por el receptor 108 como un segmento capturado 218. La seccion/parte/ventana 212 se puede utilizar como una palabra de codigo que puede ser identificada univocamente. Por lo tanto, cubriendo la escena o el objeto 206 con palabras de codigo unicas de este modo, las secciones/partes de la escena o el objeto 206 pueden ser identificadas/etiquetadas y esta informacion se puede utilizar para la deteccion de la profundidad.
A partir de la imagen capturada por el receptor 208 (sensor de camara), multiples segmentos pueden ser identificados sobre la escena o el objeto 206. Cada segmento 218 puede ser identificado de forma univoca en el receptor 108, y determinada su ubicacion con respecto a otros segmentos, a partir del patron conocido de la mascara codificada 204. La identificacion de un codigo a partir de cada segmento/parte/ventana puede implicar la segmentacion de patrones (por ejemplo, para hacer frente a la distorsion) y la decodificacion del segmento/parte/ventana percibidos en un(os) codigo(s) correspondiente(s). Ademas, la triangulacion se puede aplicar sobre cada segmento/parte/ventana capturados para determinar una orientacion y/o una profundidad. Multiples segmentos/partes/ventanas de ese tipo se pueden combinar para hilvanar conjuntamente un patron de imagen capturada. De esta manera, un mapa de profundidad 207 se puede generar para la escena, objetivo u objeto 206.
La figura 3 ilustra como se puede detectar la profundidad de un objeto o escena. Aqui, un transmisor 302 esta en el mismo plano de referencia de linea de base que el receptor 304. El transmisor proyecta una mascara de codigo 310 sobre una escena u objeto a traves de una abertura o lente. Aqui, con fines de ilustracion, un segmento/parte/ventana proyectados 312 (que representan una palabra de codigo) se muestran como parte de la mascara de codigo transmitida 310. Este segmento/parte/ventana de codigo 312 puede ser proyectado sobre una escena u objeto 306 a una primera distancia o a una segunda distancia. El receptor 304 captura la mascara de codigo proyectada 310 a traves de una abertura del receptor. Se puede apreciar que, cuando la escena u objeto 306 esta situado mas cerca (por ejemplo, a una primera distancia desde el transmisor), el segmento proyectado 312 aparece a una distancia d1 desde su ubicacion inicial. Mientras tanto, cuando la escena u objeto 308 esta situado mas lejos (por ejemplo, a una segunda distancia desde el transmisor), el segmento/parte/ventana proyectado 312 aparece a una distancia d2 desde su ubicacion inicial (donde d2 < d1). Es decir, cuanto mas lejos esta un objeto del transmisor/receptor (por ejemplo, del transmisor 302 a la escena o el objeto 308), mas cerca esta el segmento/parte/ventana proyectado y recibido de su posicion original en el receptor (por ejemplo, la proyeccion saliente y la proyeccion entrante son mas paralelas). Por el contrario, cuanto mas cerca esta un objeto del transmisor/receptor (por ejemplo, del transmisor 302 a la escena u objeto 306), mas alejado esta el segmento/parte/ventana proyectado y recibido de su posicion original en el receptor. Por lo tanto, la diferencia entre la posicion de palabra de codigo recibida y la transmitida da la profundidad de la escena o del objeto. En un ejemplo, tal profundidad (por ejemplo, la profundidad relativa) puede proporcionar una profundidad para cada pixel o
5
10
15
20
25
30
35
40
45
50
55
60
65
subconjunto de pixeles agrupados (por ejemplo, las regiones de dos o mas pixeles).
Varios tipos de esquemas de modulacion y codificacion han sido concebidos para generar una mascara de codigo. Estos esquemas de modulacion y codificacion incluyen la codificacion temporal, la codificacion espacial y la codificacion directa.
La figura 4 ilustra una mascara de codigo ejemplar 400 que utiliza tres niveles de escala de grises (por ejemplo, negro, blanco y un gris). En este ejemplo, el negro se utiliza para un intervalo de guardia y el blanco/gris se utilizan para las franjas de codigo/referencia.
La imagen obtenida con un sensor receptor 208 (por ejemplo, una camara) esta formada por la luz incidente procedente de la reflexion de la fuente de luz en la escena. La intensidad de la luz incidente puede depender de: (a) las propiedades de reflectancia de las superficies en la escena, (b) la potencia de la luz que genera el patron proyectado y/o (c) la luz ambiental. Si la luz incidente sobre el sensor de la camara es demasiado fuerte, satura el sensor. Si es demasiado debil, el receptor 208 (por ejemplo, el sensor de la camara) no captura las variaciones en la reflectividad de la escena. Incluso dentro de una escena, en funcion del tipo de superficies capturadas en una imagen, ambas situaciones (por ejemplo, luz capturada demasiado fuerte y demasiado debil) pueden ocurrir al mismo tiempo. Si no se incluye ningun ajuste para la potencia de la luz incidente en el sistema, es dificil capturar las variaciones en la iluminacion del patron proyectado (por ejemplo, la mascara de codigo) para una amplia gama de situaciones (diferentes luces ambientales, diferente potencia prefijada de la fuente de luz, diferentes tipos de superficie).
Se proporcionan varias soluciones en las que la energia luminica recibida puede ser ajustada en base a (a) el tiempo de exposicion del sensor de la camara y/o (b) la potencia de la fuente de luz proyectada. Se miden uno o mas parametros (por ejemplo, la saturacion de pixeles, los pixeles no decodificables, la media, la varianza y/o la entropia de la iluminacion de pixeles, etc.) a partir de las una o mas imagenes capturadas, obtenidas en un valor preestablecido, o un rango, de tiempos de exposicion (por ejemplo, tiempos de obturador) y/o las potencias de fuentes de luz proyectadas (por ejemplo, intensidad de iluminacion). El tiempo de exposicion y/o la potencia de la fuente de luz proyectada entonces se ajustan en base a los uno o mas parametros, para capturar una imagen adicional para la escena.
PRIMERA SOLUCION EJEMPLAR - AJUSTE DE LA ENERGIA LUMINICA RECIBIDA
De acuerdo con una primera solucion ejemplar, la energia luminica recibida por un sensor de receptor/camara se controla de acuerdo con ciertos parametros medidos a partir de una imagen adquirida.
La figura 5 ilustra al menos dos procedimientos para el ajuste de la energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo, utilizando luz estructurada. Estos procedimientos pueden ser implementados, por ejemplo, en uno o mas componentes de los sistemas de deteccion activa de las figuras 2 y/u 8.
De acuerdo con un primer procedimiento (Procedimiento A), el tiempo de exposicion de un sensor receptor (camara) se ajusta para compensar la sobre-exposicion y/o la sub-exposicion de una imagen utilizada para la deteccion de profundidad activa. En este enfoque, el tiempo de exposicion para el sensor receptor se ajusta mientras se mantiene fija la potencia de la fuente de luz.
Se obtiene un tiempo de exposicion predefinido para el sensor receptor 502a. Una fuente de luz de proyeccion proyecta entonces al menos una parte de una mascara de codigo sobre una escena (por ejemplo, un objetivo) a capturar 504a. El sensor receptor, en el tiempo de exposicion predefinido, a continuacion, captura una imagen de la escena sobre la que se proyecta la mascara de codigo 506a.
Uno o mas parametros pueden entonces ser determinados a partir de la imagen capturada 508. Por ejemplo, los parametros pueden incluir: (a) estadisticas relacionadas con la informacion, es decir, media, varianza y entropia de la iluminacion de pixeles, (b) un numero de pixeles saturados en el sensor receptor y/o (c) un numero de pixeles en donde la mascara de codigo proyectado no pudo ser decodificada.
El tiempo de exposicion para el receptor sensor puede entonces ser aumentado o disminuido de acuerdo con los uno o mas parametros 510a. Es decir, si los uno o mas parametros indican sobre-saturacion de los pixeles del sensor receptor, a continuacion, se disminuye la potencia de la fuente de luz. De lo contrario, si los uno o mas parametros indican sub-exposicion de los pixeles del sensor receptor, entonces se aumenta la potencia de la fuente de luz.
La fuente de luz de proyeccion proyecta de nuevo, o sigue proyectando (por ejemplo, con su potencia original de la fuente de luz), al menos una parte de la mascara de codigo sobre la escena a capturar 5l2a. El sensor receptor captura ahora, en el tiempo de exposicion ajustado, una nueva imagen de la escena sobre la que se proyecta la mascara de codigo 514a. La informacion de profundidad para la escena puede entonces determinarse a partir de la mascara de codigo en la nueva imagen 516.
5
10
15
20
25
30
35
40
45
50
55
60
65
De acuerdo con un segundo procedimiento (Procedimiento B), la potencia de la fuente de luz para un proyector (de la mascara de codigo) se ajusta para compensar la sub-iluminacion y/o la sobre-iluminacion en una imagen utilizada para la deteccion de profundidad activa. En este enfoque, el tiempo de exposicion para el sensor receptor se mantiene fijo mientras se ajusta la potencia de la fuente de luz.
Se obtiene una potencia predefinida de fuente de luz para una fuente de luz 502b. La fuente de luz de proyeccion proyecta entonces al menos una parte de una mascara de codigo sobre una escena a capturar 504b. Un sensor receptor captura despues una imagen de la escena sobre la que se proyecta la mascara de codigo 506b.
Uno o mas parametros pueden entonces ser determinados a partir de la imagen capturada 508. Por ejemplo, los parametros pueden incluir: (a) estadisticas relacionadas con la informacion, es decir, media, varianza y entropia, (b) un numero de pixeles saturados en el sensor receptor y/o (c) un numero de pixeles donde la mascara de codigo proyectada no pudo ser decodificada.
La potencia de la fuente de luz se puede ajustar entonces (por ejemplo, aumentarse o disminuirse) de acuerdo con los uno o mas parametros 510b. Es decir, si los uno o mas parametros indican sobre-saturacion de los pixeles del sensor receptor, entonces se disminuye la potencia de la fuente de luz. De lo contrario, si los uno o mas parametros indican sub-exposicion de los pixeles del sensor receptor, entonces se aumenta la potencia de la fuente de luz.
La fuente de luz de proyeccion puede proyectar al menos una parte de la mascara de codigo sobre la escena a capturar 512b. El sensor receptor despues captura una nueva imagen de la escena sobre la que se proyecta la mascara de codigo 514b. La informacion de profundidad de la escena puede entonces determinarse a partir de la mascara de codigo en la nueva imagen 516.
De acuerdo con diversas implementaciones, el tiempo de exposicion del sensor receptor y/o la potencia de la fuente luminosa pueden ser ajustados, solos o en combinacion. Por ejemplo, si el numero de pixeles saturados del sensor receptor esta por encima de un cierto umbral, el tiempo de exposicion del sensor receptor se disminuye, o se reduce la potencia de la fuente de luz. En otro ejemplo, si el numero de codigos negros medidos en la mascara de codigo en la imagen capturada esta por encima de un cierto umbral, el tiempo de exposicion del sensor receptor se aumenta y/o se aumenta la potencia de la fuente de luz.
De acuerdo con un enfoque alternativo, los uno o mas parametros se pueden obtener para mas de una imagen (por ejemplo, adquiridos al mismo tiempo por multiples sensores receptores o adquiridos en varios casos por el mismo sensor receptor). En un ejemplo, diferentes tiempos de exposicion pueden ser usadosen una pluralidad de diferentes sensores receptores (por ejemplo, camaras).
De acuerdo con otro enfoque alternativo, las "regiones saturadas" o "regiones negras” pueden ser rastreadas entre las imagenes capturadas, y utilizar estas regiones solamente para la medicion de los uno o mas parametros. Esta variacion puede proporcionar algunas ventajas de calculo en cuanto a que reduce las regiones de las que se obtienen parametros.
En algunas implementaciones, un dispositivo receptor puede estar acoplado al sensor receptor y a una fuente de luz de proyeccion, para realizar el(los) procedimiento(s) ilustrado(s) en la figura 5. En tales implementaciones, el dispositivo receptor puede determinar los uno o mas parametros a partir de la imagen capturada. Despues, puede hacer que la potencia de la fuente de luz, para la fuente de luz que se proyecta, se ajuste dinamicamente para mejorar la decodificacion de la mascara de codigo en una imagen capturada posteriormente.
SEGUNDA SOLUCION EJEMPLAR - AJUSTE DE RANGO DINAMICO DEL RECEPTOR
De acuerdo con una segunda solucion ejemplar, la energia luminica recibida por un sensor de receptor/camara se controla en base a ciertos parametros, medidos a partir de una imagen adquirida en diferentes tiempos de exposicion y combinados.
La figura 6 ilustra al menos dos procedimientos para el ajuste de energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo utilizando luz estructurada. Estos procedimientos pueden ser implementados, por ejemplo, en uno o mas componentes de los sistemas de deteccion activa de las figuras 2 y/u 8. Estos procedimientos son similares a los ilustrados en la figura 5, pero una pluralidad de imagenes es capturada inicialmente en diferentes tiempos de exposicion y/o potencias de la fuente de luz. Las partes de dos o mas entre la pluralidad de imagenes se pueden combinar de acuerdo con un algoritmo de alto rango dinamico (HDR). La imagen combinada puede extraer las partes de dos o mas entre la pluralidad de imagenes, de las cuales pueden percibirse las palabras de codigo en la mascara de codigo proyectada (por ejemplo, de las cuales pueden reconocerse patrones en la mascara de codigo).
Segun un tercer procedimiento (Procedimiento C), los tiempos de exposicion de uno o mas sensores receptores (camara) se ajustan para compensar la sobre-exposicion y/o la sub-exposicion en una imagen utilizada para la
5
10
15
20
25
30
35
40
45
50
55
60
65
deteccion de profundidad activa. En este enfoque, los tiempos de exposicion para el(los) sensor(es) receptor(es) se ajustan mientras se mantiene fija la potencia de la fuente de luz.
Se obtiene una pluralidad de tiempos de exposicion predefinidos para el(los) sensor(es) receptor(es) 602a. Una fuente de luz de proyeccion proyecta entonces al menos una parte de una mascara de codigo sobre una escena a capturar 604a. El sensor receptor, en el tiempo de exposicion predefinido, captura entonces una pluralidad de imagenes (por ejemplo, una para cada tiempo de exposicion predefinido) de la escena sobre la que se proyecta la mascara de codigo 606a.
Uno o mas parametros pueden entonces ser determinados para cada una de las imagenes capturadas 608. Por ejemplo, los parametros pueden incluir: (a) estadisticas relacionadas con la informacion, es decir, media, varianza y entropia, (b) un numero de pixeles saturados en el sensor receptor y/o (c) un numero de pixeles donde la mascara de codigo proyectada no pudo ser decodificada.
Los ajustes del sensor receptor para la adquisicion del conjunto de imagenes que participan en el algoritmo de alto rango dinamico (HDR) pueden ser cambiados dinamicamente en base a los uno o mas parametros. Por ejemplo, los tiempos de exposicion de uno o mas de los sensores receptores que se utilizan para cada adquisicion de la imagen pueden, optativamente, ser ajustados de acuerdo con los parametros medidos 612a. Dos o mas de las imagenes capturadas pueden entonces ser combinadas (por ejemplo, de acuerdo con un algoritmo de HDR) mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen 614. La informacion de profundidad de la escena puede determinarse a partir de la mascara de codigo en la imagen combinada 616.
En una escena que incluye superficies de objetos de diferentes coeficientes de reflectividad/absorcion, la combinacion de imagenes tomadas en diferentes tiempos de exposicion puede servir para capturar adecuadamente estos objetos, pero en diferentes tiempos de exposicion para el sensor receptor. Por ejemplo, una primera imagen tomada con un primer tiempo de exposicion puede capturar correctamente la mascara de codigo proyectada en algunos objetos de una escena, pero no lograr capturar correctamente la mascara de codigo proyectada sobre otros objetos de la misma escena. Una segunda imagen tomada por el sensor receptor (o un sensor receptor diferente) en un segundo tiempo de exposicion puede capturar correctamente la mascara de codigo proyectada sobre los otros objetos de la misma escena. Por lo tanto, mediante la combinacion de partes de dos o mas imagenes tomadas en diferentes tiempos de exposicion, puede obtenerse una imagen combinada formada por las partes decodificables de la mascara de codigo tomada desde las dos o mas imagenes.
De acuerdo con un cuarto procedimiento (Procedimiento D), el control de potencia de la fuente de luz de uno o mas sensores receptores (camara) se ajusta para compensar la sobre-exposicion y/o la sub-exposicion de una imagen utilizada para la deteccion de profundidad activa. Este enfoque es en gran parte el mismo que el Procedimiento C, pero, en el paso 612b, se ajusta la potencia de la fuente de luz (en vez de los tiempos de exposicion) de acuerdo con los uno o mas parametros.
TERCERA SOLUCION EJEMPLAR - AJUSTE SELECTIVO DE POTENCIA DE LA FUENTE DE LUZ
De acuerdo con una tercera solucion ejemplar, la potencia de la fuente de luz es controlada localmente/selectivamente entre diferentes regiones para adaptarse a los diferentes coeficientes de reflectividad/absorcion de las superficies en la escena. Es decir, la fuente de luz puede incluir una pluralidad de elementos luminicos que pueden ser controlados de forma independiente de manera que diferentes regiones de la escena puedan ser iluminadas de manera diferente en funcion de la reflectividad/absorcion de las superficies en la escena. En consecuencia, la intensidad de la luz en cada region de la escena se puede ajustar de acuerdo con los coeficientes de reflectividad/absorcion de las superficies de los objetos en cada una de tales regiones de la escena.
La figura 7 ilustra otro procedimiento para ajustar la energia luminica recibida por un sensor receptor en un sistema de deteccion de profundidad activo utilizando luz estructurada. Este procedimiento puede ser implementado, por ejemplo, en uno o mas componentes de los sistemas de deteccion activa de las figuras 2 y/u 8. Un primer ejemplo (Procedimiento E) supone que la fuente de luz de proyeccion se compone de una pluralidad de elementos de luz (por ejemplo, diodos emisores de luz dispuestos en una configuracion matricial, etc.) cuya intensidad puede ser controlada individualmente. Un segundo ejemplo (Procedimiento F) supone que una pluralidad de obturadores de sensores receptores puede controlarse individualmente para ajustar la cantidad de luz que recibe cada sensor receptor correspondiente.
Se obtiene una potencia uniforme (predefinida) de fuente de luz para la fuente de luz de proyeccion 702. Segun el primer procedimiento ejemplar (Procedimiento E), la fuente de luz de proyeccion comprende una pluralidad de elementos de luz y proyecta al menos una parte de una mascara de codigo, usando la potencia uniforme de la fuente de luz, sobre una escena a capturar 704a. De acuerdo con el segundo procedimiento (Procedimiento F), la fuente de luz de proyeccion proyecta por lo menos una parte de una mascara de codigo, utilizando la potencia uniforme de la fuente de luz, sobre una escena a capturar 704b. Un sensor receptor captura despues una imagen de la escena sobre la que se proyecta la mascara de codigo 706.
5
10
15
20
25
30
35
40
45
50
55
60
65
Uno o mas parametros pueden entonces ser determinados para cada una entre la pluralidad de regiones dentro de la imagen capturada 708. Tales regiones pueden corresponder a un area cubierta por un unico elemento de luz o un sub-conjunto de elementos de luz. Tales elementos de luz pueden proporcionar haces de luz sumamente paralelizados, por ejemplo, de tal manera que haya un minimo cruce entre los elementos de luz. Los parametros obtenidos pueden incluir: (a) estadisticas relacionadas con la informacion, es decir, media, varianza y entropia, (b) un numero de pixeles saturados en el sensor receptor y/o (c) un numero de pixeles donde la mascara de codigo proyectada no pudo ser decodificada.
De acuerdo con el primer ejemplo (Procedimiento E), cada elemento de la potencia de la fuente de luz puede entonces ser ajustado/controlado individualmente (por ejemplo, aumentado o disminuido) en base a los correspondientes uno o mas parametros 710a. Es decir, si los uno o mas parametros indican sobre-saturacion de los pixeles del sensor receptor, correspondientes a una primera region, entonces la potencia de la fuente de luz para el elemento de luz correspondiente se reduce. Del mismo modo, si los uno o mas parametros indican la sub-exposicion de los pixeles del sensor receptor para una segunda region, se aumenta la potencia de la fuente de luz para el elemento de luz correspondiente. Despues de ajustar/controlar individualmente cada potencia de elemento de luz, la mascara de codigo puede ser proyectada nuevamente por la fuente de luz de proyeccion 712a.
De acuerdo con el segundo ejemplo alternativo (Procedimiento F), al menos una parte de la mascara de codigo puede ser proyectada sobre una pluralidad de diferentes regiones de la escena a capturar, utilizando la fuente de luz de proyeccion en la potencia uniforme de la fuente de luz 710b.
Una pluralidad de obturadores de sensores receptores puede ser controlada de forma individual en base a los correspondientes uno o mas parametros para ajustar la luz capturada por el sensor receptor 712b. Esto puede permitir la variacion de la cantidad de luz capturada por el(los) sensor(es) receptor(es) para cada una entre la pluralidad de regiones.
El sensor receptor puede entonces capturar una nueva imagen de la escena sobre la que se proyecta la mascara de codigo 714. La informacion de profundidad puede entonces determinarse para la escena a partir de la mascara de codigo en la nueva imagen 716.
Estos enfoques se adaptan a variaciones en la intensidad de la luz incidente, para el caso donde materiales de reflectancia muy diferente son parte de la misma escena. En el Procedimiento E, ya que la intensidad/potencia de cada elemento de luz de la fuente de luz de proyeccion se controla individualmente, las regiones individuales de una escena pueden ser iluminadas con diferentes intensidades de luz al mismo tiempo. Esto proporciona una mejor granularidad en el ajuste de la luz proyectada (y el consumo de energia) para los requisitos particulares de la escena. El HDR puede lograrse sin necesidad de combinar varias imagenes; en consecuencia, son posibles mayores velocidades de fotogramas. De manera similar, en lugar de ajustar la potencia/intensidad de la luz proyectada, en el Procedimiento F la cantidad de luz recibida por el(los) sensor(es) receptor(es) se puede ajustar mediante el control individual de una pluralidad de obturadores receptores. Esto permite reducir la cantidad de luz recibida en algunas regiones y/o aumentar la cantidad de luz recibida en otras regiones.
SISTEMA EJEMPLAR DE DETECCION DE PROFUNDIDAD
La figura 8 ilustra un sistema ejemplar de deteccion de profundidad 800 que utiliza luz estructurada que se ajusta dinamicamente para diferentes coeficientes de reflectividad/absorcion de las superficies de objetos en una escena capturada. Un dispositivo de proyeccion de mascaras de codigo 808 puede servir para proyectar una mascara de codigo (por ejemplo, utilizando una fuente de luz) sobre una escena 802 de interes. Un sensor receptor 806 (por ejemplo, una camara) captura la luz incidente procedente del reflejo de la fuente de luz sobre la escena 802, para obtener una imagen que incluye al menos una parte de la mascara de codigo, tal como es reflejada por la escena 802. Un dispositivo de deteccion activa de profundidad 804 puede estar acoplado al dispositivo de proyeccion de la luz (fuente de luz) 808 y/o al receptor sensor 806, y puede estar configurado para ajustar dinamicamente el tiempo de exposicion para el sensor receptor 806 y/o la potencia de la fuente de luz para el dispositivo de proyeccion 808. El dispositivo sensor de profundidad activo 804 puede incluir un circuito de procesamiento 805 y/o un dispositivo de almacenamiento 809. El circuito de procesamiento 805 puede incluir o implementar un modulo/circuito de calculo de parametros 810, un modulo/circuito de ajuste del tiempo de exposicion 812, un modulo/circuito de ajuste de potencia de la luz 814 y/o un modulo/circuito de calculo de profundidad 816. Estos modulos/circuitos pueden estar adaptados para realizar una o mas funciones descritas y/o ilustradas en las figuras 3, 5, 6 y/o 7. El dispositivo de almacenamiento 809 puede servir, por ejemplo, para almacenar uno o mas parametros de ajuste para el sensor receptor 806 y/o el dispositivo de proyeccion de mascaras de codigo 808.
El modulo/circuito de calculo de parametros 810 puede incluir una interfaz de entrada a traves de la cual puede recibir una o mas imagenes capturadas (por ejemplo, imagenes de una escena o un objeto con una mascara de codigo proyectada sobre el mismo) desde el sensor receptor 806. El modulo/circuito de calculo de parametros 810 tambien puede incluir uno o mas circuitos de procesamiento de imagenes que determinan la saturacion absoluta o relativa de pixeles, los pixeles no decodificables, la media, varianza y/o entropia de la iluminacion de pixeles, etc., para cada una de las una o mas imagenes capturadas recibidas. Estos uno o mas parametros se pueden calcular
5
10
15
20
25
30
35
40
45
50
55
60
65
para toda la imagen y/o para las regiones (por ejemplo, sectores, pixeles) de cada imagen. Estos uno o mas parametros pueden servir como entradas para el modulo/circuito de ajuste de tiempo de exposicion 812 y/o el modulo/circuito de ajuste de potencia de la luz 814.
El modulo/circuito de ajuste del tiempo de exposicion 812 puede utilizar los uno o mas parametros para determinar si deberia o no ser ajustado un tiempo de exposicion para el sensor receptor 806, y como deberia ser ajustado. Por ejemplo, si los uno o mas parametros indican que un porcentaje de pixeles mayor que un porcentaje de umbral estan sobre-saturados (es decir, demasiada iluminacion), entonces el modulo/circuito de ajuste del tiempo de exposicion 812 reduce el tiempo de obturacion para el sensor receptor 806. A la inversa, si los uno o mas parametros indican que un porcentaje de pixeles mayor que un porcentaje de umbral estan sub-expuestos (es decir, demasiado poca iluminacion), entonces el modulo/circuito de ajuste del tiempo de exposicion 812 aumenta el tiempo de obturacion para el sensor receptor 806. De manera similar, otros umbrales para pixeles no decodificables, la media, varianza y/o entropia de iluminacion de pixeles, etc., pueden ser utilizados para determinar si y/o como deberia ajustarse el sensor receptor. El modulo/circuito de ajuste del tiempo de exposicion 812 puede incluir una interfaz de salida que le permita comunicar tales ajustes al sensor receptor 806.
El modulo/circuito de ajuste de potencia de la luz 814 puede utilizar los uno o mas parametros para determinar si una potencia de iluminacion para el dispositivo de proyeccion de mascaras de codigo 808 deberia o no ser ajustada, y como deberia ser ajustada. Por ejemplo, si los uno o mas parametros indican que un porcentaje de pixeles mayor que un porcentaje de umbral estan sobre-saturados (es decir, demasiada iluminacion), entonces el modulo/circuito de ajuste de potencia de la luz 814 reduce la potencia (de iluminacion) de la fuente de luz para el dispositivo de proyeccion 808. Por el contrario, si los uno o mas parametros indican que un porcentaje de pixeles mayor que un porcentaje de umbral estan sub-expuestos (es decir, demasiado poca iluminacion), entonces el modulo/circuito de ajuste de potencia de la luz 814 aumenta la potencia (de iluminacion) de la fuente de luz para el dispositivo de proyeccion 808. De manera similar, otros umbrales de los pixeles no decodificables, la media, varianza y/o entropia de iluminacion de pixeles, etc., pueden ser utilizados para determinar si y/o como se deberia ajustar el sensor receptor. El modulo/circuito de ajuste de potencia de la luz 814 puede incluir una interfaz de salida que le permita comunicar tales ajustes al sensor receptor 806.
El modulo/circuito de calculo de profundidad 816 puede usar una mascara de codigo que se proyecta sobre una escena u objeto en una o mas imagenes capturadas (por ejemplo, imagenes de una escena u objeto con una mascara de codigo proyectada sobre el mismo) desde el sensor receptor 806 para determinar una profundidad. El modulo/circuito de calculo de profundidad 816 puede realizar uno o mas calculos, como se ilustra en las figuras 2 y 3, por ejemplo, para determinar una profundidad para diferentes regiones o grupos de pixeles de una imagen. Esta informacion de profundidad de la imagen puede entonces ser almacenada junto con la imagen.
Segun otra caracteristica alternativa, un primer dispositivo receptor puede ser usado para controlar la potencia de la luz y un segundo dispositivo receptor independiente se puede utilizar para capturar la imagen desde la que se obtiene un mapa de profundidad. Por ejemplo, el primer dispositivo receptor puede ser un sensor de resolucion mas baja (con respecto al segundo dispositivo receptor) que funciona a una velocidad de fotogramas aumentada/superior.
En algunas implementaciones, el dispositivo de proyeccion de mascaras de codigo 808 puede proyectar la mascara de codigo en un espectro de luz no visible por los seres humanos (por ejemplo, infrarrojos). Por ejemplo, un primer receptor se puede utilizar para capturar la mascara de codigo proyectada sobre una escena o un objeto, mientras que un segundo receptor puede ser usado para capturar una imagen de la escena u objeto sin la mascara de codigo.
En algunas implementaciones, el sistema de deteccion de profundidad 800 puede ser considerado un sistema de retroalimentacion donde, tras la proyeccion de la mascara de codigo, el reflejo de la mascara de codigo (o parte de la misma) es capturado como una imagen por el sensor receptor 806, que puede ajustar la potencia de la fuente de luz de proyeccion para el dispositivo de proyeccion 808. Por lo tanto, una proyeccion inicial de la mascara de codigo puede servir como retroalimentacion para ajustar el sistema de deteccion de profundidad 800, de modo que las palabras de codigo en la mascara de codigo proyectada y reflejada puedan determinarse correctamente. Si la imagen inicial capturada por el sensor receptor 806 tiene parametros que indican saturacion (por ejemplo, potencia de la luz demasiado fuerte para el sensor receptor), entonces el modulo/circuito de ajuste de potencia de la luz 814 puede reducir la potencia de la fuente de luz de proyeccion del dispositivo de proyeccion 808. De manera similar, si la imagen inicial capturada por el sensor receptor 806 tiene parametros que indican sub-exposicion (por ejemplo, potencia de la luz demasiado debil para el sensor receptor), entonces el modulo/circuito de ajuste de potencia de la luz 814 puede aumentar la potencia de la fuente de luz de proyeccion del dispositivo de proyeccion 808. Este proceso puede repetirse varias veces hasta que se consiga una potencia de luz de proyeccion aceptable, que de como resultado que los parametros de una imagen capturada esten dentro de un rango o umbral. En un ejemplo, el proceso de retroalimentacion puede ser iterativo, utilizando pasos incrementales (por ejemplo, etapas de ajuste fijas o variables) para aumentar/disminuir la potencia de luz de proyeccion del dispositivo de proyeccion 808. En otro ejemplo, los parametros obtenidos para una imagen inicial (anterior) capturada pueden servir para calcular o estimar un ajuste de potencia particular, que despues se utiliza para ajustar el dispositivo de proyeccion 808.
5
10
15
20
25
30
35
40
45
50
55
60
65
En implementaciones alternativas, este sistema de retroalimentacion puede servir para ajustar un tiempo de exposicion para el sensor receptor 806. Es decir, en lugar de ajustar la potencia de la luz de proyeccion, el sensor receptor 806 puede ajustar su propio tiempo de exposicion de obturador, aumentando el tiempo de disparo si se determina una sub-exposicion a partir de una imagen capturada inicial, o disminuyendo un tiempo de obturacion si se determina una sobre-exposicion (saturacion) a partir de una imagen capturada inicial. Esto puede ser un proceso iterativo en el que el tiempo de exposicion del obturador se puede ajustar incrementalmente en un tamano de paso fijo/variable, o en base a una estimacion determinada a partir de los parametros de una imagen capturada.
Determinacion de parametros para imaqene(s) capturadas
En las figuras 5, 6 y/o 7, con el fin de ajustar el sensor receptor y/o la fuente de luz de proyeccion, la(s) imagen(es) capturada(s) se procesa(n) para determinar si la mascara de codigo (y las palabras de codigo en la misma) son o no decodificables en la imagen capturada. Un ejemplo de una mascara de codigo se ilustra en la figura 4. Las figuras 9 y 10 ilustran adicionalmente como las palabras de codigo se definen dentro de mascaras de codigo.
La figura 9 ilustra como una palabra de codigo binaria 902 puede estar representada dentro de un portador modulado en su forma 904. La portadora modulada 904 puede incluir franjas de codigo/referencia 906 (por ejemplo, franjas activas) e intervalos de guardia 908. La capa portadora 902 puede estar definida por una anchura w1 de franja activa y un intervalo de guardia w2. La anchura de franja activa w1 puede ser determinada por requisitos de potencia en el transmisor. El intervalo de guardia w2 puede ser determinado por la Funcion de Dispersion de Puntos (PSF) del transmisor/receptor. En este caso, se utiliza un sistema de escala de grises de tres estados para representar la guardia, "0" y "1", donde la razon entre los niveles "0" y "1" puede ser del 50 %.
La figura 10 ilustra detalles adicionales de la micro-estructura de codigo 1002 usando una capa portadora y una capa de codigo. En este ejemplo, el tamano de la mascara de codigo puede ser n1 x n2, donde n1 = 7 (vertical), n2 = 585 (horizontal), de manera que sea posible un total de 4.095 palabras de codigo unicas. Son posibles libros de codigos mas pequenos mediante el uso de un subconjunto de estas palabras de codigo. Pueden ser deseables libros de codigos mas pequenos, en cuanto a que reducen el numero de comparaciones que se deben realizar para determinar si se encuentra o no una coincidencia de palabra de codigo. Esto es, una mascara de codigo recibida/capturada puede ser comparada con el libro de codigos utilizado para determinar cada palabra de codigo en el mismo. Tal comparacion puede implicar aparear una region de la mascara de codigo recibida/capturada con cada palabra de codigo definida en el libro de codigos, para determinar una coincidencia (por ejemplo, o la coincidencia mas cercana). En consecuencia, la reduccion del tamano del libro de codigos (por ejemplo, usando un pequeno numero de palabras de codigo) reduce el numero de comparaciones necesarias para encontrar una coincidencia de palabra de codigo y reduce los recursos de procesamiento y/o el tiempo para encontrar coincidencias de palabras de codigo para la mascara de codigo recibida/capturada.
El tamano de una ventana de mascara de codigo (por ejemplo, una ventana de tamano k1 x k2), utilizada para una palabra de codigo, puede ser dependiente del minimo objeto detectable buscado. Por ejemplo, la ventana de mascara de codigo puede ser una ventana de simbolos de tamano k 1 x k 2 = 3 x 4. Por lo tanto, el tamano de la ventana esta definido por el tamano minimo de objeto detectable (por ejemplo, objeto o caracteristica detectable) y la distancia a la que ocurre tal deteccion de objetos. Ademas, la resolucion de profundidad puede ser igual a la separacion de portadoras. El intervalo de guardia es una contramedida contra la propagacion desconocida. Los parametros seleccionados pueden proporcionar un equilibrio entre la resolucion y la deteccion.
Dado que se conoce la mascara de codigo proyectada sobre una escena para generar una imagen en particular, esto se puede utilizar para obtener un error cuadratico medio, la distancia de Hamming, y/u otras metricas/parametros que puedan servir para indicar como ajustar el tiempo de exposicion y/o la potencia de la fuente de luz.
En algunas implementaciones, la cuidadosa seleccion de palabras de codigo tambien puede servir para llevar a cabo la correccion de errores de palabras de codigo capturadas en una imagen.
Uno o mas de los componentes, etapas, caracteristicas y/o funciones que se ilustran en las figuras pueden reorganizarse y/o combinarse en un unico componente, etapa, caracteristica o funcion, o constituirse en varios componentes, etapas o funciones. Tambien pueden anadirse elementos, componentes, etapas y/o funciones adicionales sin apartarse de las caracteristicas novedosas divulgadas en el presente documento. Los aparatos, dispositivos y/o componentes ilustrados en las figuras pueden configurarse para realizar uno o mas de los procedimientos, caracteristicas o etapas que se describen en las figuras. Los novedosos algoritmos descritos en el presente documento tambien pueden implementarse eficazmente en software y/o integrarse en hardware.
Ademas, debe observarse que los modos de realizacion pueden describirse como un proceso que se representa como un grafico de flujo, un diagrama de flujo, un diagrama estructural o un diagrama de bloques. Aunque un grafico de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o simultaneamente. Ademas, el orden de las operaciones puede reorganizarse. Un proceso se termina
5
10
15
20
25
30
35
40
45
50
55
60
65
cuando sus operaciones se completan. Un proceso puede corresponder a un procedimiento, una funcion, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una funcion, su finalizacion corresponde al retorno de la funcion a la funcion de llamada o a la funcion principal.
Ademas, un medio de almacenamiento puede representar uno o mas dispositivos para almacenar datos, incluyendo memora de solo lectura (ROM), memoria de acceso aleatorio (RAM), medios de almacenamiento de disco magnetico, medios de almacenamiento optico, dispositivos de memoria flash y/u otros medios legibles a maquina, medios legibles por procesador, y/o medios legibles por ordenador para almacenar informacion. Las expresiones "medio legible a maquina", "medio legible por ordenador", y/o "medio legible por procesador" pueden incluir, pero sin limitacion, medios no transitorios, tales como dispositivos de almacenamiento fijos y extraibles, dispositivos de almacenamiento opticos, y diversos medios diferentes capaces de almacenar, contener o portar instrucciones y/o datos. Por lo tanto, los diversos procedimientos descritos en el presente documento pueden ser implementados, parcial o completamente, por instrucciones y/o datos que pueden almacenarse en un "medio legible a maquina", un "medio legible por ordenador" y/o un "medio legible por procesador" y ejecutarse mediante uno o mas procesadores, maquinas y/o dispositivos.
Ademas, los modos de realizacion pueden implementarse en hardware, software, firmware, middleware, micro- codigo o cualquier combinacion de los mismos. Al implementarse en software, firmware, middleware o micro-codigo, el codigo de programa o los segmentos de codigo para realizar las tareas necesarias pueden almacenarse en un medio legible por maquina, tal como un medio de almacenamiento u otro(s) almacenamiento(s). Un procesador puede realizar las tareas necesarias. Un segmento de codigo puede representar un procedimiento, una funcion, un subprograma, un programa, una rutina, una subrutina, un modulo, un paquete de software, una clase o cualquier combinacion de instrucciones, estructuras de datos o sentencias de programa. Un segmento de codigo puede acoplarse a otro segmento de codigo o a un circuito de hardware pasando y/o recibiendo informacion, datos, argumentos, parametros o contenidos de memoria. La informacion, los argumentos, los parametros, los datos, etc. se puede pasar, remitir o transmitir mediante cualquier medio adecuado, incluyendo la comparticion de memoria, el paso de mensajes, el paso de testigos, la transmision por red, etc.
Los diversos bloques logicos, modulos, circuitos, elementos y/o componentes ilustrativos descritos en relacion con los ejemplos divulgados en el presente documento pueden implementarse o realizarse con un procesador de proposito general, con un procesador de senales digitales (DSP), con un circuito integrado especifico de la aplicacion (ASIC), con una formacion de compuertas programables en el terreno (FPGA) o con otro componente de logica programable, logica de transistor o de compuertas discretas, componentes de hardware discretos, o con cualquier combinacion de los mismos disenada para realizar las funciones descritas en el presente documento. Un procesador de proposito general puede ser un microprocesador pero, como alternativa, el procesador puede ser cualquier procesador, controlador, micro-controlador o maquina de estados convencional. Un procesador tambien puede implementarse como una combinacion de componentes informaticos, por ejemplo, una combinacion de un DSP y un microprocesador, varios microprocesadores, uno o mas microprocesadores junto con un nucleo de DSP o cualquier otra configuracion de este tipo.
Los procedimientos o algoritmos descritos en relacion con los ejemplos divulgados en el presente documento pueden realizarse directamente en hardware, en un modulo de software ejecutable por un procesador, o en una combinacion de ambos, en forma de unidad de procesamiento, instrucciones de programacion, u otras instrucciones, y pueden estar contenidos en un unico dispositivo o distribuirse entre multiples dispositivos. Un modulo de software puede residir en memoria RAM, memoria flash, memoria ROM, memoria EPROM, memoria EEPROM, registros, un disco duro, un disco extraible, un CD-ROM o cualquier otra forma de medio de almacenamiento conocida en la tecnica. Un medio de almacenamiento puede estar acoplado al procesador de manera que el procesador pueda leer informacion de, y escribir informacion en, el medio de almacenamiento. Como alternativa, el medio de almacenamiento puede estar integrado en el procesador.
Los expertos en la tecnica apreciaran ademas que los diversos bloques logicos, modulos, circuitos y etapas de algoritmo ilustrativos descritos en relacion con las realizaciones divulgadas en el presente documento pueden implementarse como hardware electronico, software informatico o combinaciones de ambos. Para ilustrar claramente esta intercambiabilidad de hardware y software, anteriormente se han descrito diversos componentes, bloques, modulos, circuitos y etapas ilustrativos en lo que respecta generalmente a su funcionalidad. Si tal funcionalidad se implementa como hardware o software depende de la aplicacion particular y de las limitaciones de diseno impuestas sobre todo el sistema.
Las diversas caracteristicas de la invencion descritas en el presente documento pueden implementarse en diferentes sistemas sin apartarse de la invencion. Cabe apreciarse que las realizaciones anteriores son simplemente ejemplos y no han de interpretarse como limitantes de la invencion. La descripcion de las realizaciones pretende ser ilustrativa, y no limitar el alcance de las reivindicaciones. Como tal, las presentes ensenanzas pueden aplicarse facilmente a otros tipos de aparatos, y muchas alternativas, modificaciones y variaciones seran evidentes para los expertos en la tecnica.
Claims (12)
10
15 2.
20 3.
4.
25
30
5.
35
40
6.
45
50
7.
55 8.
9.
60
REIVINDICACIONES
Un procedimiento para compensar las diferencias en la reflectividad superficial en un sistema de deteccion de profundidad activo mediante luz estructurada, comprendiendo el procedimiento:
obtener (506a, 514a, 606a), a partir de uno o mas sensores receptores (105, 208, 304, 806), una pluralidad de imagenes de una escena (206, 308, 802) sobre la que una mascara de codigo (204, 310, 400) se proyecta (504a, 604a) utilizando una fuente de luz (102, 202, 302, 808), comprendiendo la mascara de codigo una pluralidad de partes unicas de codigo espacial, en el que la pluralidad de imagenes es capturada por los uno o mas sensores receptores utilizando dos o mas tiempos de exposicion; y
combinar (614) la pluralidad de imagenes mediante la extraccion de partes decodificables de la mascara de codigo de cada imagen entre la pluralidad de imagenes, para generar una imagen combinada.
El procedimiento de la reivindicacion 1, que comprende ademas:
determinar (516, 616) informacion de profundidad (207) para la escena en base a la imagen combinada y al uso de la mascara de codigo.
El procedimiento de la reivindicacion 1 o la reivindicacion 2, en el que la pluralidad de imagenes es capturada por un sensor receptor utilizando dos o mas tiempos de exposicion.
El procedimiento de la reivindicacion 3, que comprende:
la determinacion (508, 608) de uno o mas parametros a partir de la pluralidad de imagenes;
la reduccion (510a, 612a) del tiempo de exposicion para el sensor receptor, en base a un primer
parametro, de los uno o mas parametros, que supera un primer umbral; y
el aumento (510a, 612a) del tiempo de exposicion para el sensor receptor, en base a un segundo parametro, de los uno o mas parametros, que supera un segundo umbral.
El procedimiento de la reivindicacion 3, que comprende:
obtener, desde el sensor receptor, una primera imagen de la escena sobre la que se proyecta la mascara de codigo, utilizando la primera imagen capturada un primer tiempo de exposicion; y obtener, desde el sensor receptor, una segunda imagen de la escena sobre la que se proyecta la mascara de codigo, utilizando la segunda imagen capturada un segundo tiempo de exposicion,
en el que el segundo tiempo de exposicion se selecciona para reducir la sobre-exposicion detectada en la primera imagen, o para reducir la sub-exposicion detectada en la primera imagen.
El procedimiento de la reivindicacion 1 o la reivindicacion 2,
en el que una primera imagen, entre la pluralidad de imagenes de la escena sobre la que se proyecta la mascara de codigo, se obtiene de un primer sensor receptor, capturada utilizando un primer tiempo de exposicion,
en el que una segunda imagen, entre la pluralidad de imagenes de la escena sobre la que se proyecta la mascara de codigo, se obtiene de un segundo sensor receptor, capturada utilizando un segundo tiempo de exposicion,
en el que la combinacion de la pluralidad de imagenes para generar una imagen combinada comprende combinar la primera imagen y la segunda imagen, mediante la extraccion de partes decodificables de la mascara de codigo de la primera imagen y de la segunda imagen.
El procedimiento de la reivindicacion 6, en el que la primera imagen y la segunda imagen son capturadas simultaneamente.
El procedimiento de la reivindicacion 6, en el que un nivel de iluminacion de la mascara de codigo es el mismo durante la captura de la primera imagen y de la segunda imagen.
Un dispositivo (804) adaptado para compensar las diferencias de reflectividad superficial en un sistema de deteccion de profundidad activa, utilizando luz estructurada, comprendiendo el dispositivo:
medios para proyectar una mascara de codigo (204, 310, 400) que comprende una pluralidad de partes unicas de codigo espacial, por lo que dichos medios para proyectar comprenden una fuente de luz (102, 202, 302, 808); y
medios para capturar (506a, 514a, 606a) una pluralidad de imagenes de una escena (206, 308, 802) sobre la que se proyecta (504a, 604a) dicha mascara de codigo (204, 310, 400), estando dichos medios para la captura dispuestos para capturar dicha pluralidad de imagenes usando dos o mas tiempos de
5
10
15
20
25
30
35
40
45
50
55
exposicion diferentes;
y
medios para combinar (614) dicha pluralidad de imagenes mediante la extraccion de partes decodificables de dicha mascara de codigo de cada imagen entre dicha pluralidad de imagenes, para generar una imagen combinada;
medios (816) para determinar la informacion de profundidad.
10. El dispositivo de la reivindicacion 9, que comprende:
medios (816) para determinar (516, 616) la informacion de profundidad de la escena en base a la imagen combinada y al uso de la mascara de codigo.
11. El dispositivo de la reivindicacion 9, que comprende:
medios (810) para determinar (508, 608) uno o mas parametros a partir de la pluralidad de imagenes, en el que los uno o mas parametros incluyen la media de la iluminacion de pixeles, la varianza de la iluminacion de pixeles, entropia de iluminacion de pixeles, un numero de pixeles saturados, un numero de pixeles sobre-saturados, un numero de pixeles sub-expuestos, un numero de pixeles en los que la mascara de codigo no es decodificable, o una combinacion de los mismos; y
medios (812) para ajustar dinamicamente (510a, 612a) el tiempo de exposicion para los medios, para la captura en base a los uno o mas parametros.
12. El dispositivo de la reivindicacion 9, que comprende medios para la captura:
utilizando un primer tiempo de exposicion, de una primera imagen de la escena sobre la que se proyecta la mascara de codigo; y
utilizando un segundo tiempo de exposicion, de una segunda imagen de la escena sobre la que se proyecta la mascara de codigo,
en el que el segundo tiempo de exposicion se selecciona para reducir la sobre-exposicion detectada en la primera imagen, o para reducir la sub-exposicion detectada en la primera imagen.
13. El dispositivo de la reivindicacion 9 o la reivindicacion 10, que comprende:
medios para capturar una primera imagen de una escena sobre la que se proyecta la mascara de codigo usando la fuente de luz, en el que la primera imagen se captura usando un primer tiempo de exposicion; y
medios para capturar una segunda imagen de la escena sobre la que se proyecta la mascara de codigo usando la fuente de luz, en el que la segunda imagen se captura usando un segundo tiempo de exposicion,
en el que la combinacion de la pluralidad de imagenes para generar una imagen combinada comprende combinar la primera imagen y la segunda imagen mediante la extraccion de partes decodificables de la mascara de codigo de la primera imagen y de la segunda imagen.
14. El dispositivo de la reivindicacion 13, en el que:
la primera imagen y la segunda imagen son capturadas simultaneamente, o
un nivel de iluminacion de la mascara de codigo es el mismo durante la captura de la primera imagen y de la segunda imagen.
15. Un medio de almacenamiento legible por procesador que tiene una o mas instrucciones para compensar las diferencias en la reflectividad superficial en un sistema de deteccion de profundidad activo, utilizando luz estructurada, en el que las una o mas instrucciones, cuando son ejecutadas por uno o mas procesadores, hacen que los uno o mas procesadores lleven a cabo un procedimiento de acuerdo con cualquiera de las reivindicaciones 1 a 8.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261726387P | 2012-11-14 | 2012-11-14 | |
| US201261726387P | 2012-11-14 | ||
| US13/723,873 US10368053B2 (en) | 2012-11-14 | 2012-12-21 | Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption |
| US201213723873 | 2012-12-21 | ||
| PCT/US2013/065931 WO2014078015A1 (en) | 2012-11-14 | 2013-10-21 | Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2617831T3 true ES2617831T3 (es) | 2017-06-19 |
Family
ID=50681316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES13789092.7T Active ES2617831T3 (es) | 2012-11-14 | 2013-10-21 | Sistemas de detección de profundidad activos de luz estructurada que combinan múltiples imágenes para compensar las diferencias de reflectividad y/o absorción |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11509880B2 (es) |
| EP (2) | EP2920545B1 (es) |
| JP (1) | JP6193390B2 (es) |
| KR (1) | KR102111821B1 (es) |
| CN (3) | CN109612404B (es) |
| ES (1) | ES2617831T3 (es) |
| HU (1) | HUE033203T2 (es) |
| WO (2) | WO2014078005A1 (es) |
Families Citing this family (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11509880B2 (en) | 2012-11-14 | 2022-11-22 | Qualcomm Incorporated | Dynamic adjustment of light source power in structured light active depth sensing systems |
| US9350921B2 (en) * | 2013-06-06 | 2016-05-24 | Mitutoyo Corporation | Structured illumination projection with enhanced exposure control |
| US10089739B2 (en) | 2013-06-28 | 2018-10-02 | Texas Instruments Incorporated | Structured light depth imaging under various lighting conditions |
| US9817489B2 (en) * | 2014-01-27 | 2017-11-14 | Apple Inc. | Texture capture stylus and method |
| CN105338255B (zh) * | 2014-06-24 | 2019-04-26 | 联想(北京)有限公司 | 一种深度恢复调整方法及电子设备 |
| US9507995B2 (en) | 2014-08-29 | 2016-11-29 | X Development Llc | Combination of stereo and structured-light processing |
| CN104243843B (zh) | 2014-09-30 | 2017-11-03 | 北京智谷睿拓技术服务有限公司 | 拍摄光照补偿方法、补偿装置及用户设备 |
| EP3002550B1 (en) * | 2014-10-03 | 2017-08-30 | Ricoh Company, Ltd. | Information processing system and information processing method for distance measurement |
| JP2016075658A (ja) * | 2014-10-03 | 2016-05-12 | 株式会社リコー | 情報処理システムおよび情報処理方法 |
| US9638801B2 (en) * | 2014-11-24 | 2017-05-02 | Mitsubishi Electric Research Laboratories, Inc | Depth sensing using optical pulses and fixed coded aperature |
| US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
| US10068338B2 (en) * | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
| US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
| WO2016161104A1 (en) | 2015-04-01 | 2016-10-06 | Vayavision, Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
| CN107850782B (zh) * | 2015-05-13 | 2019-10-25 | 脸谱科技有限责任公司 | 用反射率图表示增强深度图表示 |
| CN104952074B (zh) * | 2015-06-16 | 2017-09-12 | 宁波盈芯信息科技有限公司 | 一种深度感知计算的存储控制方法及装置 |
| US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
| US10282591B2 (en) | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
| US9846943B2 (en) * | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
| TWI726937B (zh) | 2015-11-11 | 2021-05-11 | 新加坡商海特根微光學公司 | 增強型距離資料獲取 |
| US20170153107A1 (en) * | 2015-11-30 | 2017-06-01 | Heptagon Micro Optics Pte. Ltd. | Optoelectronic device including event-driven photo-array and method for operating the same |
| US9800795B2 (en) * | 2015-12-21 | 2017-10-24 | Intel Corporation | Auto range control for active illumination depth camera |
| US9996933B2 (en) * | 2015-12-22 | 2018-06-12 | Qualcomm Incorporated | Methods and apparatus for outlier detection and correction of structured light depth maps |
| US10372968B2 (en) * | 2016-01-22 | 2019-08-06 | Qualcomm Incorporated | Object-focused active three-dimensional reconstruction |
| KR102550469B1 (ko) | 2016-05-20 | 2023-07-04 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| KR102529120B1 (ko) | 2016-07-15 | 2023-05-08 | 삼성전자주식회사 | 영상을 획득하는 방법, 디바이스 및 기록매체 |
| JP6611691B2 (ja) * | 2016-10-06 | 2019-11-27 | 株式会社日立製作所 | 鉄道車両の外形形状測定方法及び装置 |
| US10771768B2 (en) * | 2016-12-15 | 2020-09-08 | Qualcomm Incorporated | Systems and methods for improved depth sensing |
| DE102017000908A1 (de) | 2017-02-01 | 2018-09-13 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme |
| US10302764B2 (en) | 2017-02-03 | 2019-05-28 | Microsoft Technology Licensing, Llc | Active illumination management through contextual information |
| US10445928B2 (en) | 2017-02-11 | 2019-10-15 | Vayavision Ltd. | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types |
| US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
| US10009554B1 (en) * | 2017-02-24 | 2018-06-26 | Lighthouse Ai, Inc. | Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions |
| US10643358B2 (en) * | 2017-04-24 | 2020-05-05 | Intel Corporation | HDR enhancement with temporal multiplex |
| US10620316B2 (en) | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
| JP7113283B2 (ja) * | 2017-05-26 | 2022-08-05 | パナソニックＩｐマネジメント株式会社 | 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置 |
| US10044922B1 (en) | 2017-07-06 | 2018-08-07 | Arraiy, Inc. | Hardware system for inverse graphics capture |
| US10666929B2 (en) | 2017-07-06 | 2020-05-26 | Matterport, Inc. | Hardware system for inverse graphics capture |
| EP3652703B1 (en) | 2017-07-12 | 2023-12-13 | Gentex Corporation | Visual, depth and micro-vibration data extraction using a unified imaging device |
| CN107564050B (zh) * | 2017-08-09 | 2020-01-10 | Oppo广东移动通信有限公司 | 基于结构光的控制方法、装置和终端设备 |
| WO2019080934A1 (zh) | 2017-10-27 | 2019-05-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置和电子装置 |
| CN107800963B (zh) * | 2017-10-27 | 2019-08-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN108553027A (zh) * | 2018-01-04 | 2018-09-21 | 深圳悉罗机器人有限公司 | 移动机器人 |
| US10991112B2 (en) * | 2018-01-24 | 2021-04-27 | Qualcomm Incorporated | Multiple scale processing for received structured light |
| DE102018102159A1 (de) * | 2018-01-31 | 2019-08-01 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme |
| JP6770254B2 (ja) | 2018-02-07 | 2020-10-14 | オムロン株式会社 | ３次元測定装置、３次元測定方法及び３次元測定プログラム |
| CN108471525B (zh) * | 2018-03-27 | 2020-07-17 | 百度在线网络技术（北京）有限公司 | 用于投影仪的控制方法和装置以及实现该方法的投影仪 |
| CN110310963A (zh) * | 2018-03-27 | 2019-10-08 | 恒景科技股份有限公司 | 调整光源功率的系统 |
| KR20190114332A (ko) * | 2018-03-29 | 2019-10-10 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
| WO2019194550A1 (ko) * | 2018-04-02 | 2019-10-10 | 엘지전자 주식회사 | 구속 방지 필터를 구비하는 로봇 청소기 |
| KR102549434B1 (ko) * | 2018-04-02 | 2023-06-28 | 엘지전자 주식회사 | 깊이 센서 제어 시스템 |
| GB2572831A (en) * | 2018-04-04 | 2019-10-16 | Cambridge Mechatronics Ltd | Apparatus and methods for 3D sensing |
| US10999524B1 (en) * | 2018-04-12 | 2021-05-04 | Amazon Technologies, Inc. | Temporal high dynamic range imaging using time-of-flight cameras |
| US20190349569A1 (en) * | 2018-05-10 | 2019-11-14 | Samsung Electronics Co., Ltd. | High-sensitivity low-power camera system for 3d structured light application |
| US11040452B2 (en) | 2018-05-29 | 2021-06-22 | Abb Schweiz Ag | Depth sensing robotic hand-eye camera using structured light |
| US10708484B2 (en) | 2018-06-20 | 2020-07-07 | Amazon Technologies, Inc. | Detecting interference between time-of-flight cameras using modified image sensor arrays |
| US10681338B1 (en) | 2018-07-24 | 2020-06-09 | Amazon Technologies, Inc. | Detecting interference in depth images captured using overlapping depth cameras |
| US10812731B2 (en) * | 2018-08-22 | 2020-10-20 | Qualcomm Incorporated | Adjustable receiver exposure times for active depth sensing systems |
| CN110857855B (zh) * | 2018-08-22 | 2022-09-02 | 杭州海康机器人技术有限公司 | 一种图像数据获取方法、装置及系统 |
| US11353588B2 (en) * | 2018-11-01 | 2022-06-07 | Waymo Llc | Time-of-flight sensor with structured light illuminator |
| US10915783B1 (en) * | 2018-12-14 | 2021-02-09 | Amazon Technologies, Inc. | Detecting and locating actors in scenes based on degraded or supersaturated depth data |
| JP7135846B2 (ja) * | 2018-12-27 | 2022-09-13 | 株式会社デンソー | 物体検出装置および物体検出方法 |
| CN110324602A (zh) * | 2019-06-17 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种三维图像的生成方法及装置、终端、存储介质 |
| CN110462438A (zh) * | 2019-06-24 | 2019-11-15 | 深圳市汇顶科技股份有限公司 | 结构光投射装置、结构光投射方法及三维测量系统 |
| CN112241976A (zh) * | 2019-07-19 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 一种训练模型的方法及装置 |
| US10939047B2 (en) * | 2019-07-22 | 2021-03-02 | Himax Technologies Limited | Method and apparatus for auto-exposure control in a depth sensing system |
| EP3835721A1 (en) * | 2019-12-13 | 2021-06-16 | Mitutoyo Corporation | A method for measuring a height map of a test surface |
| CN111174702B (zh) * | 2020-01-22 | 2022-03-15 | 无锡微视传感科技有限公司 | 一种自适应结构光投射模组及测量方法 |
| CA3198326A1 (en) | 2020-07-21 | 2021-10-06 | Leddartech Inc. | Beam-steering device particularly for lidar systems |
| US11828853B2 (en) | 2020-07-21 | 2023-11-28 | Leddartech Inc. | Beam-steering device particularly for LIDAR systems |
| CA3125716C (en) | 2020-07-21 | 2024-04-09 | Leddartech Inc. | Systems and methods for wide-angle lidar using non-uniform magnification optics |
| EP4002833B1 (en) * | 2020-11-17 | 2023-02-15 | Axis AB | Method and electronic device for increased dynamic range of an image |
| TWI757015B (zh) | 2020-12-29 | 2022-03-01 | 財團法人工業技術研究院 | 取像方法 |
| CN113340235B (zh) * | 2021-04-27 | 2022-08-12 | 成都飞机工业（集团）有限责任公司 | 基于动态投影的投影系统及相位移动图案生成方法 |
Family Cites Families (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5467413A (en) | 1993-05-20 | 1995-11-14 | Radius Inc. | Method and apparatus for vector quantization for real-time playback on low cost personal computers |
| WO1996041304A1 (en) | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
| FR2748484B1 (fr) * | 1996-05-13 | 1998-07-24 | Atochem Elf Sa | Polymerisation en presence d'un radical libre stable et d'un initiateur de radicaux libres |
| EP0822389B1 (de) | 1996-07-29 | 2003-04-16 | Elpatronic Ag | Verfahren und Vorrichtung zur Kantenverfolgung und Kantenprüfung |
| US6377700B1 (en) | 1998-06-30 | 2002-04-23 | Intel Corporation | Method and apparatus for capturing stereoscopic images using image sensors |
| CN1159566C (zh) | 1999-05-14 | 2004-07-28 | 北京三维世界科技有限公司 | 三维成像系统 |
| US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
| US6825936B2 (en) | 2000-08-23 | 2004-11-30 | Lmi Technologies, Inc. | High speed camera based sensors |
| US7106377B2 (en) * | 2001-07-25 | 2006-09-12 | Hewlett-Packard Development Company, L.P. | Image capturing device capable of single pixel exposure duration control |
| JP3819275B2 (ja) | 2001-10-17 | 2006-09-06 | ローランドディー．ジー．株式会社 | ３次元測定装置における露光制御装置 |
| SE523681C2 (sv) | 2002-04-05 | 2004-05-11 | Integrated Vision Prod | System och sensor för avbildning av egenskaper hos ett objekt |
| JP4565192B2 (ja) | 2003-03-31 | 2010-10-20 | オムニビジョン テクノロジーズ， インコーポレイテッド | 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法 |
| US8118732B2 (en) * | 2003-04-01 | 2012-02-21 | Boston Scientific Scimed, Inc. | Force feedback control system for video endoscope |
| KR20060052699A (ko) | 2003-06-11 | 2006-05-19 | 솔비젼 인코포레이티드 | 감도 및 다이내믹 레인지가 증가된 3ｄ 및 2ｄ 측정장치 및방법 |
| JP4059173B2 (ja) * | 2003-06-27 | 2008-03-12 | 株式会社デンソーウェーブ | 光学的情報読取装置および光学的情報の読取方法 |
| DE10333493A1 (de) | 2003-07-22 | 2005-02-10 | FRIEMEL, Jörg | Streifenprojektor für ein dreidimensionales Objektvermessungssystem |
| CN1267766C (zh) | 2003-12-26 | 2006-08-02 | 四川大学 | 用频闪结构照明实现高速运动物体三维面形测量的方法 |
| JP4746841B2 (ja) | 2004-01-23 | 2011-08-10 | ルネサスエレクトロニクス株式会社 | 半導体集積回路装置の製造方法 |
| US7182465B2 (en) | 2004-02-25 | 2007-02-27 | The University Of North Carolina | Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces |
| US20050206874A1 (en) | 2004-03-19 | 2005-09-22 | Dougherty Robert P | Apparatus and method for determining the range of remote point light sources |
| JP4688866B2 (ja) | 2004-03-31 | 2011-05-25 | ダンマークス テクニスク ユニバーシテット | 所望の３次元電磁気フィールドの生成 |
| JP2005293075A (ja) * | 2004-03-31 | 2005-10-20 | Brother Ind Ltd | ３次元形状検出装置、３次元形状検出方法、３次元形状検出プログラム |
| US7605852B2 (en) | 2004-05-17 | 2009-10-20 | Micron Technology, Inc. | Real-time exposure control for automatic light control |
| KR100752545B1 (ko) | 2005-11-24 | 2007-08-29 | 에이티아이 주식회사 | 2개 영상을 이용한 물체 표면 형상 및 반사율 정보 획득 시스템 |
| JP2007271530A (ja) | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | ３次元形状検出装置及び３次元形状検出方法 |
| ATE441087T1 (de) | 2006-04-27 | 2009-09-15 | 3D Scanners Ltd | Optische rastersonde |
| JP4889373B2 (ja) | 2006-05-24 | 2012-03-07 | ローランドディー．ジー．株式会社 | ３次元形状測定方法およびその装置 |
| US7227117B1 (en) | 2006-05-30 | 2007-06-05 | Symbol Technologies, Inc. | High speed auto-exposure control |
| US8284194B2 (en) * | 2006-09-21 | 2012-10-09 | Thomson Licensing | Method and system for three-dimensional model acquisition |
| DE102006048234A1 (de) | 2006-10-11 | 2008-04-17 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts |
| WO2008062407A2 (en) | 2006-11-21 | 2008-05-29 | Mantisvision Ltd. | 3d geometric modeling and 3d video content creation |
| KR100914961B1 (ko) | 2008-01-23 | 2009-09-02 | 성균관대학교산학협력단 | 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템 |
| US8162222B2 (en) | 2008-01-25 | 2012-04-24 | Intermec Ip Corp. | System and method for identifying erasures in a 2D symbol |
| US8059280B2 (en) | 2008-01-31 | 2011-11-15 | Cyberoptics Corporation | Method for three-dimensional imaging using multi-phase structured light |
| CN101520319B (zh) | 2008-02-27 | 2012-02-22 | 邹小平 | 复合式三维激光测量系统及测量方法 |
| US8422030B2 (en) | 2008-03-05 | 2013-04-16 | General Electric Company | Fringe projection system with intensity modulating by columns of a plurality of grating elements |
| WO2010048960A1 (en) | 2008-10-28 | 2010-05-06 | 3Shape A/S | Scanner with feedback control |
| JP5370056B2 (ja) | 2008-11-04 | 2013-12-18 | オムロン株式会社 | 画像処理装置 |
| WO2010077900A1 (en) | 2008-12-16 | 2010-07-08 | Faro Technologies, Inc. | Structured light imaging system and method |
| JP5218316B2 (ja) | 2009-07-23 | 2013-06-26 | 株式会社デンソーウェーブ | 光学的情報読取装置 |
| US20110080471A1 (en) | 2009-10-06 | 2011-04-07 | Iowa State University Research Foundation, Inc. | Hybrid method for 3D shape measurement |
| JP4666272B1 (ja) | 2009-10-19 | 2011-04-06 | 住友金属工業株式会社 | 板材の平坦度測定方法及びこれを用いた鋼板の製造方法 |
| CN101694376B (zh) | 2009-10-23 | 2011-01-05 | 北京航空航天大学 | 一种光学条纹正弦性评测方法 |
| JP5290233B2 (ja) | 2010-04-13 | 2013-09-18 | Ｃｋｄ株式会社 | 三次元計測装置及び基板検査装置 |
| CN102918353B (zh) | 2010-05-18 | 2015-11-25 | 新日铁住金株式会社 | 板材的平坦度测量方法及采用该方法的钢板的制造方法 |
| EP2573510B1 (en) | 2010-05-19 | 2018-02-14 | Nikon Corporation | Shape measuring device and shape measuring method |
| CN101865671B (zh) | 2010-06-03 | 2012-09-19 | 厦门思泰克光电科技有限公司 | 一种投影三维测量方法 |
| CN201748900U (zh) | 2010-07-08 | 2011-02-16 | 上海雷尼威尔测量技术有限公司 | 环境光自适应位移测量装置 |
| US8994843B2 (en) | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
| US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| WO2012046270A1 (en) | 2010-10-05 | 2012-04-12 | Empire Technology Development Llc | Generation of depth data based on spatial light pattern |
| US20120087573A1 (en) * | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
| US8811767B2 (en) | 2011-03-15 | 2014-08-19 | Mitsubishi Electric Research Laboratories, Inc. | Structured light for 3D shape reconstruction subject to global illumination |
| JP5962056B2 (ja) | 2012-02-27 | 2016-08-03 | 富士ゼロックス株式会社 | 画像判定装置及び画像形成装置 |
| US11509880B2 (en) | 2012-11-14 | 2022-11-22 | Qualcomm Incorporated | Dynamic adjustment of light source power in structured light active depth sensing systems |
-
2012
- 2012-12-21 US US13/723,891 patent/US11509880B2/en active Active
- 2012-12-21 US US13/723,873 patent/US10368053B2/en active Active
-
2013
- 2013-10-17 CN CN201811299616.8A patent/CN109612404B/zh active Active
- 2013-10-17 WO PCT/US2013/065386 patent/WO2014078005A1/en active Application Filing
- 2013-10-17 EP EP13789081.0A patent/EP2920545B1/en active Active
- 2013-10-17 CN CN201380057488.5A patent/CN104769388B/zh active Active
- 2013-10-17 JP JP2015541781A patent/JP6193390B2/ja active Active
- 2013-10-17 KR KR1020157011356A patent/KR102111821B1/ko active IP Right Grant
- 2013-10-21 EP EP13789092.7A patent/EP2920546B1/en active Active
- 2013-10-21 HU HUE13789092A patent/HUE033203T2/en unknown
- 2013-10-21 WO PCT/US2013/065931 patent/WO2014078015A1/en active Application Filing
- 2013-10-21 ES ES13789092.7T patent/ES2617831T3/es active Active
- 2013-10-21 CN CN201380057460.1A patent/CN104769387B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109612404A (zh) | 2019-04-12 |
| HUE033203T2 (en) | 2017-11-28 |
| KR102111821B1 (ko) | 2020-05-15 |
| JP2016505133A (ja) | 2016-02-18 |
| CN104769388B (zh) | 2018-11-27 |
| US20140132721A1 (en) | 2014-05-15 |
| KR20150082262A (ko) | 2015-07-15 |
| EP2920545A1 (en) | 2015-09-23 |
| WO2014078005A1 (en) | 2014-05-22 |
| EP2920546A1 (en) | 2015-09-23 |
| US11509880B2 (en) | 2022-11-22 |
| US20140132722A1 (en) | 2014-05-15 |
| EP2920546B1 (en) | 2016-11-30 |
| CN109612404B (zh) | 2021-02-26 |
| EP2920545B1 (en) | 2020-12-09 |
| WO2014078015A1 (en) | 2014-05-22 |
| CN104769387A (zh) | 2015-07-08 |
| CN104769387B (zh) | 2017-10-10 |
| JP6193390B2 (ja) | 2017-09-06 |
| CN104769388A (zh) | 2015-07-08 |
| US10368053B2 (en) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2617831T3 (es) | Sistemas de detección de profundidad activos de luz estructurada que combinan múltiples imágenes para compensar las diferencias de reflectividad y/o absorción | |
| CN108702437B (zh) | 计算深度图的方法、系统、设备和存储介质 | |
| ES2658061T3 (es) | Método para generar una imagen HDR de una escena basándose en una solución de compromiso entre la distribución de brillo y el movimiento | |
| JP6766102B2 (ja) | コンテンツフィルタリングに基づく構造化光３次元（３ｄ）奥行きマップ | |
| US20190361258A1 (en) | Structured light projection and imaging | |
| ES2868075T3 (es) | Procedimiento de control, aparato de control, dispositivo de formación de imágenes y dispositivo electrónico | |
| ES2690270T3 (es) | Sincronización automática de múltiples cámaras de profundidad mediante el uso compartido del tiempo | |
| ES2788854T3 (es) | Método y dispositivo de procesamiento de imágenes | |
| US9863767B2 (en) | Motion sensor device having plurality of light sources | |
| US20170023780A1 (en) | Catadioptric projector systems, devices, and methods | |
| US9554057B2 (en) | Wide dynamic range depth imaging | |
| US20170230584A1 (en) | Photography illumination compensation method, compensation apparatus, and user equipment | |
| CN107370951B (zh) | 图像处理系统及方法 | |
| EP3524929B1 (en) | Projection system | |
| US9197881B2 (en) | System and method for projection and binarization of coded light patterns | |
| US10270964B2 (en) | Camera and illumination system | |
| WO2023084790A1 (ja) | ３次元計測システム、並びにその制御方法及び制御プログラム | |
| KR20120036206A (ko) | 프로젝터와 카메라를 이용한 3차원 거리 측정 장치 |