ES2677550T3

ES2677550T3 - Sistema de detección de luz

Info

Publication number: ES2677550T3
Application number: ES16174686.2T
Authority: ES
Inventors: Frederik Jan De Bruijn; Ruud Vlutters; Lorenzo Feri; Tim Corneel Wilhelmus Schenk; Ronald Rietman
Original assignee: Philips Lighting Holding BV
Current assignee: Signify Holding BV
Priority date: 2011-03-22
Filing date: 2012-03-22
Publication date: 2018-08-03
Anticipated expiration: 2032-03-22
Also published as: US9871586B2; EP2689638A1; JP6291008B2; BR112013023965A2; CN103430626B; CN103430626A; JP2014515892A; RU2589721C2; KR20140023935A; MX2013010660A; DK2689638T3; EP3107356A1; RU2013146941A; US9379814B2; ES2608831T3; EP2689638B1; WO2012127439A1; DK3107356T3; US20160134368A1; US20140314420A1

Abstract

Un sistema de detección de luz, caracterizado por que el sistema de detección de luz comprende: una cámara con obturador rodante (220), dispuesta para la adquisición de una pluralidad de imágenes de una escena que está iluminada por un sistema de iluminación (110) que comprende al menos una primera fuente de luz (111, 112, 113) que proporciona una contribución de luz que comprende un primer código integrado (ID 1, ID 2, ID 3), emitido como una secuencia temporal de modulaciones en una característica de la luz emitida, y en el que el código integrado se repite periódicamente, en el que cada una de dicha pluralidad de imágenes comprende una matriz de píxeles, representando cada píxel una intensidad de una salida total de luz de dicho sistema de iluminación en una posición física diferente de la escena, y en el que unas respectivas de dichas imágenes se adquieren como una pluralidad de instancias de línea desplazadas temporalmente, comprendiendo cada una de ellas una línea de dichos píxeles, muestreando una instancia diferente de dicha secuencia temporal de modulaciones del primer código integrado, estando expuestas las líneas temporalmente, línea por línea, en diferentes instancias de tiempo con un retardo temporal entre las líneas adyacentes, de tal manera que den lugar a un patrón espacial de modulaciones correspondiente a la secuencia temporal de modulaciones; y una unidad de procesamiento (230) dispuesta para determinar dicho primer código integrado a partir del patrón espacial de modulaciones desde la pluralidad de imágenes, determinando bits del primer código integrado desde las respectivas de la pluralidad de imágenes hasta que cada bit del primer código integrado se ha determinado.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Sistema de deteccion de luz Campo de la invencion

La presente invencion se refiere, en general, al campo de los sistemas de deteccion de luz de iluminacion y, mas en particular, a un sistema para la deteccion de datos integrados en la salida lummica de dichos sistemas de iluminacion.

Antecedentes de la invencion

En estos ultimos anos, se estan desarrollando sistemas de iluminacion sumamente avanzados para permitir a un usuario obtener un ambiente deseado para una habitacion o un espacio particular. En estos sistemas de iluminacion se emplea el denominado ajuste de escena, en el que uno o mas conjuntos de fuentes de luz se controlan de forma simultanea, al contrario del control tradicional de las fuentes de luz individuales con respecto, por ejemplo, al encendido/apagado, la atenuacion y el ajuste del color. Para estas aplicaciones de puesta en escena, la interaccion intuitiva del usuario es un importante factor de exito. Proporcionar a un usuario la informacion relativa a las fuentes de luz, como, por ejemplo, la identificacion localizada de las fuentes de luz individuales, sus capacidades y su configuracion actual, es clave para permitir una interaccion intuitiva.

Para proporcionar dicha informacion al usuario, se han propuesto tecnicas basadas en luz codificada, CL. La CL se basa en integrar datos en la salida lummica de las fuentes de luz. La salida lummica de una fuente de luz habitualmente esta modulada en respuesta a una senal de datos repetitiva, que puede contener codigos identificadores, por ejemplo, codigos de identificacion para identificar la fuente de luz o de un grupo de fuentes de luz al que pertenece la fuente de luz. La modulacion normalmente se produce a una frecuencia que es lo suficientemente alta como para ser imperceptible por los humanos. La deteccion simultanea de las contribuciones lummicas de multiples fuentes de luz es posible mediante la modulacion de cada fuente de luz de una manera unica. Existen diversos procedimientos, continuos y binarios, que permiten la deteccion, tanto smcrona como asmcrona, de un numero (teoricamente) ilimitado de fuentes de luz.

Previamente se ha mostrado como se puede utilizar la tecnologfa de CL para la puesta en servicio de los sistemas de iluminacion, por ejemplo, apuntando a las fuentes de luz individuales y leyendo los codigos identificadores.

Los datos integrados, por ejemplo, los codigos identificadores, en la salida lummica de las fuentes de luz se pueden detectar mediante un receptor optico que puede estar implementado, por ejemplo, en un mando a distancia para el control de la lampara, o incluido en otra unidad tal como un interruptor o un dispositivo sensor. Esto tiene el inconveniente de que solo se pueden detectar los datos integrados presentes en posiciones individuales. Por el contrario, es deseable caracterizar la escena bidimensional (2D) completa en tiempo real, en terminos de los codigos identificadores que esten presentes, y distinguir los codigos identificadores de las diferentes fuentes de luz en la escena de luz.

Se han propuesto sensores de camara que pueden determinar los datos integrados presentes en multiples posiciones dentro de una imagen de una escena. El documento WO 2009/010926 divulga un procedimiento para el procesamiento de la luz emitida desde multiples fuentes de luz en una habitacion, mediante el uso de una camara para registrar las zonas iluminadas del suelo o las imagenes directas de las fuentes de luz. Los codigos individuales emitidos por las fuentes de luz se obtienen a partir de las imagenes registradas, y la huella de la luz asociada a cada fuente de luz se determina en base a los mismos.

Sin embargo, un inconveniente de las tecnicas anteriores que emplean sensores de camara es que el tiempo entre adquisiciones sucesivas de imagenes generalmente debe ser igual a, o mas corto que, la duracion de un unico bit dentro del codigo integrado. Los bits consecutivos del codigo integrado se detectan entonces mediante el analisis de los resultados obtenidos en adquisiciones consecutivas de la camara. Esto requiere el uso de camaras avanzadas y, por lo tanto, caras, capaces de proporcionar una alta velocidad de adquisicion. Los sensores de camara convencionales de bajo coste tienen habitualmente una velocidad de adquisicion demasiado baja como para que sea util para la deteccion de los datos integrados que sean invisibles para el ojo humano, es decir, la CL de alta frecuencia.

Por lo tanto, hay necesidad en la tecnologfa de una tecnica para detectar la CL integrada en una salida lummica de las fuentes de luz, que aborde al menos algunos de los problemas mencionados anteriormente.

Sumario de la invencion

Un objetivo de la presente invencion es superar los problemas mencionados anteriormente, y proporcionar un sistema de deteccion de luz segun la reivindicacion 1, capaz de detectar la CL bidimensional integrada en una salida lummica de las fuentes de luz, de tal manera que permita la identificacion de los codigos integrados de las diferentes

5

10

15

20

25

30

35

40

45

50

55

60

65

fuentes de luz que estan presentes en una escena bidimensional. Un objetivo adicional de la invencion es proporcionar un sistema de deteccion adecuado para la deteccion de CL de alta frecuencia, utilizando a la vez camaras menos costosas que las utilizadas en tecnicas anteriores. En realizaciones adicionales de la invencion se proporciona un sistema de iluminacion que comprende el sistema de deteccion de luz. Los modos de realizacion preferidos se exponen en las reivindicaciones dependientes y en la siguiente descripcion y dibujos.

Se proporciona un sistema de deteccion de luz que comprende medios de deteccion de luz dispuestos para la adquisicion de al menos una imagen de una escena, que esta iluminada por un sistema de iluminacion que comprende al menos una primera fuente de luz que proporciona una contribucion lummica que comprende un primer codigo integrado, emitido como una secuencia temporal de modulaciones en unas caractensticas de la luz emitida. La imagen comprende una matriz de pfxeles, representando cada pixel una intensidad de una salida lummica total del sistema de iluminacion en una posicion ffsica diferente dentro de la escena. La imagen es adquirida por una pluralidad de instancias de lmea desplazadas temporales, comprendiendo cada una de ellas una instancia de la secuencia temporal de modulaciones del primer codigo integrado. El sistema de deteccion de luz comprende ademas medios de procesamiento dispuestos para determinar el primer codigo integrado a partir del patron espacial de modulaciones.

De este modo, se proporciona un sistema de deteccion de luz que captura la luz emitida desde una escena en una imagen bidimensional, y en el que las instancias de lmea desplazadas temporales sirven como momentos de muestreo de la luz. El desplazamiento temporal entre la captura de filas consecutivas en los medios de deteccion de luz durante el proceso de captura de la imagen da lugar a una variacion a nivel de lmea en los valores de pixel para aquellas areas en la imagen capturada final de la escena que corresponden a partes de los objetos que se iluminan con dicha fuente de luz modulada, o a la propia fuente de luz. La variacion a nivel de lmea en los valores de pixel constituye un patron de lmeas horizontales superpuestas en la parte superior de la imagen en los objetos iluminados. La descodificacion del mensaje, es decir, el codigo integrado, en la luz codificada requiere la recuperacion de una senal unidimensional (1D) que esta asociada a las variaciones de intensidad originales de la fuente de luz modulada.

Mediante la utilizacion de la adquisicion de imagenes basada en la adquisicion de la imagen lmea por lmea, y como la frecuencia de lmeas de una imagen tiende a ser de un orden de 102 a 103 veces mayor que una correspondiente velocidad de los fotogramas de video, la velocidad del muestreo temporal de la luz modulada aumenta en ese mismo orden. Por ello, se proporciona un sistema de deteccion de luz que proporciona un tiempo de medicion significativamente reducido, mediante la medicion de multiples bits del canal dentro del tiempo de un unico fotograma. El sistema puede basarse en una captura de imagen con obturador rodante, es decir, el medio de deteccion de luz comprende un sensor de imagen y un medio de obturador rodante. Esto es tfpico de los sensores de imagen de bajo coste que se utilizan actualmente en dispositivos moviles, lo que por tanto proporciona una solucion de bajo coste para el sistema de deteccion. Ademas, el uso de la captura de imagenes con obturador rodante permite transformar los telefonos inteligentes actuales en detectores de luz codificada, lo que abre un mundo de aplicaciones que utilizan la informacion proporcionada, por ejemplo, en la luz codificada presente en la iluminacion de areas publicas o privadas. La conectividad inalambrica adicional de los telefonos actuales (Wi-Fi, Bluetooth) proporciona diversas oportunidades para la retroalimentacion de las senales de control. Ademas de la deteccion de los datos codificados en la luz, el sensor de imagen continua proporcionando informacion espacial relativa a las contribuciones de luz independientes a la escena observada.

El medio de procesamiento puede configurarse para determinar el primer codigo integrado basandose en una combinacion de los valores de pixel a lo largo de cada instancia de lmea. Por lo tanto, la recuperacion de la senal unidimensional a partir de la imagen (bidimensional) se basa en la combinacion de los valores de pixel a lo largo de cada fila de la imagen adquirida. La combinacion de los valores de pixel puede ser una suma acumulativa o un promedio de los valores de pixel a lo largo de cada fila, es decir, a lo largo de cada instancia de lmea.

La combinacion de los valores de pixel a lo largo de las instancias de lmea puede limitarse a al menos una sub-area predeterminada de la imagen adquirida. Mediante la limitacion de la combinacion de los valores de pixel, en el sentido de las filas, a sub-areas predeterminadas que son, por ejemplo, aquellas regiones en la imagen que corresponden a los objetos iluminados en la escena, se puede mejorar la relacion entre senal y ruido (SNR) de la senal recuperada. La seleccion de estas regiones de imagen pertinentes se puede realizar de varias maneras, la mas simple de las cuales es la seleccion del area mas brillante en la imagen. La descodificacion del mensaje a partir de la senal unidimensional recuperada se puede realizar utilizando procedimientos usados en las redes electricas de ordenadores.

Se puede llevar a cabo una seleccion de la sub-area predeterminada mediante la convolucion de la imagen con un filtro que tiene un nucleo de filtro, estando el nucleo de filtro dispuesto para coincidir con un patron espacial esperado de modulaciones asociadas a dicho primer codigo integrado. El filtro puede ser un filtro unidimensional o bidimensional y, por lo tanto, esta dispuesto de tal manera que el nucleo de filtro coincida con un patron de intensidad esperado que esta asociado a una caractenstica de la senal de modulacion de la luz.

5

10

15

20

25

30

35

40

45

50

55

60

65

El medio de deteccion de luz puede comprender un sensor de imagen que comprende una matriz de p^xeles de los cuales se leen grupos de pfxeles complementarios en diferentes instancias del tiempo. Esto es ventajoso, puesto que no es necesario leer grupos de pfxeles complementarios que sean filas o columnas completas, sino que simplemente es necesario leer un numero seleccionado de pfxeles, lo que proporciona una lectura rapida. La recuperacion del codigo a partir de la luz modulada se puede realizar ventajosamente cuando se conoce el orden temporal de los grupos de pfxeles. Se debe observar que cada grupo de pfxeles no tiene que estar compuesto de pfxeles adyacentes.

Cada grupo de pfxeles complementarios puede constituir una fila de pfxeles de la matriz de pfxeles del sensor de imagen. En este caso, cuando se realizan posteriormente lecturas de filas de pfxeles del sensor, el orden temporal de las lecturas no tiene que corresponder necesariamente al orden espacial de las filas de pfxeles, lo que es ventajoso.

El medio de deteccion de la luz puede comprender un sensor de imagen que comprende una matriz de pfxeles, y las instancias de lmea corresponden a posteriores lecturas de las filas de la matriz de pfxeles.

La lectura de las filas de pfxeles en diferentes instancias del tiempo se puede producir en un orden espacialmente monotono, tal que las instancias de tiempo adyacentes correspondan a filas de pfxeles espacialmente adyacentes. En este caso, por ejemplo, cuando cada instancia de lmea corresponde a una lectura de fila de la matriz de pfxeles del sensor de imagen, se obtiene una lectura normal de obturador rodante.

El sistema de deteccion de luz puede estar dispuesto para detectar y analizar una imagen adquirida que comprende contribuciones procedentes de una pluralidad de fuentes de luz, en donde cada contribucion de luz de una respectiva fuente de luz comprende un codigo unico integrado, emitido como secuencias temporales de modulaciones en unas caractensticas de la luz emitida.

De acuerdo con un modo de realizacion del sistema de deteccion de luz, este comprende ademas un sistema optico para proporcionar el desenfoque de la imagen adquirida.

El sistema optico puede comprender un elemento de mascara de abertura para proporcionar un patron en la imagen adquirida desenfocada.

Se puede seleccionar una forma espacial del elemento de mascara de abertura para separar espacialmente las contribuciones de luz procedentes de diferentes fuentes de luz.

El sistema de deteccion de la luz, para un retardo temporal seleccionado entre las lecturas de lmea de las instancias de lmea desplazadas temporales, puede seleccionar un tiempo de exposicion de los medios de deteccion de luz que sea mas largo que el retardo temporal seleccionado entre lecturas de lmea.

El sistema de deteccion de la luz, para un retardo temporal seleccionado entre las lecturas de lmea de las instancias de lmea desplazadas temporales, puede seleccionar un tiempo de exposicion de los medios de deteccion de luz que sea igual al retardo temporal seleccionado entre lecturas de lmea.

El sistema de deteccion de la luz, para un retardo temporal seleccionado entre las lecturas de lmea de las instancias de lmea desplazadas temporales, puede seleccionar un tiempo de exposicion de los medios de deteccion de luz que sea mas corto que el retardo temporal seleccionado entre lecturas de lmea.

Los medios de deteccion de luz pueden ser una camara con obturador rodante.

El codigo integrado se transmite de manera repetitiva, que segun una realizacion puede ser uno de entre un flujo de datos repetitivo continuo, un flujo de datos empaquetado, con paquetes a intervalos regulares, y un flujo de datos empaquetado, con paquetes a intervalos irregulares.

De acuerdo con un modo de realizacion del sistema de deteccion de luz, las caractensticas de la luz emitida son una entre una modulacion de la intensidad y una modulacion del color.

Tal como se utiliza en el presente documento, el termino "pixel" se refiere a una unidad de los datos de imagen correspondientes a un punto particular dentro de una escena. Los datos de imagen comprenden intensidades (o derivados de las mismas) de la salida lummica total del sistema de iluminacion en diferentes puntos dentro de la escena. La disposicion de los datos de imagen en filas y columnas de pfxeles es una forma de representar la escena tridimensional (3D) en una imagen bidimensional.

Estos y otros aspectos, caractensticas y ventajas de la invencion resultaran evidentes y se esclareceran con referencia a las realizaciones descritas a continuacion en el presente documento. Se debe observar que la invencion se refiere a todas las combinaciones posibles de caractensticas expuestas en las reivindicaciones.

5

10

15

20

25

30

35

40

45

50

55

60

65

Breve descripcion de los dibujos

Este y otros aspectos de la presente invencion se describiran ahora con mas detalle, haciendo referencia a los dibujos adjuntos

la figura 1 es una ilustracion esquematica de un sistema de iluminacion en el que se emplea un modo de realizacion de un sistema de deteccion de luz de acuerdo al concepto de la presente invencion; la figura 2 es un diagrama de bloques esquematico de un modo de realizacion de un sistema de deteccion de luz de acuerdo al concepto de la presente invencion;

la figura 3a es un diagrama temporal para una tfpica camara con obturador global durante la modalidad de transmision continua de video, y la figura 3b es un diagrama temporal para una tfpica camara con obturador rodante durante la modalidad de transmision continua de video;

la figura 4 es un diagrama temporal que ilustra un tiempo de exposicion largo con respecto a una frecuencia media de modulacion de la intensidad de la luz, tal como se utiliza en un sistema de deteccion de luz; la figura 5 ilustra una representacion de la senal en el dominio del tiempo y en el dominio de la frecuencia tras la transformacion de Fourier;

la figura 6 es un diagrama temporal que ilustra un tiempo de exposicion corto con respecto a una frecuencia

media de modulacion de la intensidad de la luz, tal como se utiliza en un sistema de deteccion de luz;

la figura 7 es un diagrama temporal que ilustra un tiempo de exposicion muy corto con respecto a una frecuencia

media de modulacion de la intensidad de la luz, tal como se utiliza en un sistema de deteccion de luz; y

la figura 8 ilustra el uso de una operacion de filtrado, cuyo nucleo de filtro coincide con el patron de intensidad

esperado que esta asociado a una caractenstica de la senal de modulacion de la luz, es decir, el codigo

integrado.

Descripcion detallada

A continuacion se describira la presente invencion con mas detalle, haciendo referencia a los dibujos adjuntos. La siguiente descripcion se proporciona a modo de ejemplo para que esta divulgacion sea minuciosa y completa, y transmita completamente el alcance de la invencion a los expertos en la tecnica. Los mismos numeros se refieren a los mismos elementos en toda la presente extension.

La figura 1 ilustra una estructura 100, siendo aqrn una habitacion, en la que esta instalado un sistema de iluminacion 110. El sistema de iluminacion 110 comprende tres fuentes de luz 111, 1l2 y 113, y una o mas unidades de control para controlar las fuentes de luz 111, 112, 113. El sistema de iluminacion comprende aqrn un mando a distancia 150 para permitir que un usuario controle las fuentes de luz. Las fuentes de luz pueden comprender cualquier fuente de luz adecuada, como fuentes de descarga de gas de alta/baja presion, diodos laser, diodos emisores de luz inorganicos/organicos, fuentes incandescentes o fuentes halogenas. Durante el funcionamiento, la salida lummica proporcionada individualmente Im, I112, I113, desde cada fuente de luz 111, 112, 113, respectivamente, contribuye a la luz total desde el sistema de iluminacion para iluminar la estructura 100. Las contribuciones de iluminacion de las distintas fuentes de luz 111, 112, 113 en la estructura se muestran aqrn como las huellas 114, 115. Las huellas de las fuentes de luz se pueden solapar. Cada fuente de luz se codifica de tal manera que su salida lummica I comprenda un codigo de identificacion individual ID#1-3, que habitualmente es un codigo integrado, emitido como una secuencia temporal de modulaciones en las caractensticas de la luz emitida desde la fuente de luz individual. La luz codificada puede comprender ademas otra informacion relativa a la fuente de luz, tal como los ajustes actuales de la luz y/u otra informacion, pero, en aras de la simplicidad, en el presente documento solo se expone el codigo de identificacion para ilustrar la idea basica del concepto de la invencion. El codigo de identificacion comprende una secuencia repetitiva de N sfmbolos (por ejemplo, bits). En la siguiente descripcion, los sfmbolos se denominaran bits. Sin embargo, se debena reconocer que siempre que se utilice la palabra "bit" en la presente solicitud, rige una definicion mas amplia de un "sfmbolo", que tambien puede comprender multiples bits representados por un solo sfmbolo. Los ejemplos de esto son los sfmbolos de multiples niveles, donde no solo existen el 0 y el 1 para incrustar datos, sino tambien multiples niveles discretos. La salida total de luz del sistema de iluminacion puede contener una pluralidad de codigos de identificacion, procedente cada uno de ellos de la fuente de luz individual.

Existen varias tecnicas para integrar un codigo en la salida lummica de una fuente de luz, que son conocidas por los expertos en la materia y, por lo tanto, no se describen aqrn en detalle.

Para continuar, el mando a distancia 150 comprende un sistema de deteccion de luz de acuerdo al concepto de la presente invencion, que se ilustra esquematicamente en la figura 2. El sistema de deteccion de luz 200 comprende un sensor de imagen 210 para la adquisicion de una imagen de una escena, es decir, en este ejemplo, una imagen de un area de la estructura 100, hacia la cual el usuario apunta el mando a distancia. Ademas, el sistema de deteccion de luz comprende un obturador 220 para seleccionar la temporizacion, el tiempo de exposicion y el area de exposicion del sensor de imagen 210, una unidad de procesamiento 230 y, optativamente, una memoria 240. El sistema de deteccion de luz puede comprender ademas, optativamente, un sistema optico 250. Cuando se esta adquiriendo una imagen, el obturador 220 esta abierto y, cuando no se esta adquiriendo una imagen, el obturador 220 esta cerrado. La imagen adquirida comprende una matriz de pfxeles, representando cada pixel una intensidad de la salida total de luz del sistema de iluminacion en una posicion ffsica diferente dentro de la escena. En funcion

5

10

15

20

25

30

35

40

45

50

55

60

65

de, por ejemplo, (i) la resolucion del sensor de imagen 210 (es decir, el numero de p^xeles contenidos en cada imagen/seccion de imagen), (ii) cuantas fuentes de luz estan incluidas en el sistema de iluminacion y (iii) si dichas fuentes de luz funcionan de manera smcrona o asmcrona, la unidad de procesamiento 230 esta configurada para implementar diferentes procedimientos para el procesamiento de los datos contenidos en la imagen adquirida (filas de la imagen) para determinar los codigos de identificacion de la fuente de luz presentes en una posicion particular dentro de la escena.

Para un procedimiento implementado en el sistema de deteccion de luz, la unidad de procesamiento 230 puede tener acceso a los codigos de identificacion o a derivados de los codigos de identificacion, es decir, parametros a partir de los cuales se puede obtener informacion relativa a los codigos de identificacion.

De acuerdo con un ejemplo del sistema de deteccion de luz, el sistema de deteccion de luz no conoce inicialmente el codigo de identificacion. En este caso, el sistema de deteccion de luz solo tiene conocimiento del protocolo que se utiliza para codificar los mensajes en la luz codificada. En caso de que no se conozca de antemano el protocolo utilizado, el sistema de deteccion de luz esta dispuesto para ser capaz de reconocer el protocolo utilizado, con el fin de ser capaz de descodificar el mensaje en la luz codificada.

Aunque el sistema de deteccion de luz en este ejemplo esta dispuesto en un mando a distancia, puede estar dispuesto integrado en la estructura, por ejemplo, montado en la pared, o de cualquier otra forma conveniente.

El obturador 220, en el concepto de la presente invencion, es de un tipo de obturador rodante, y puede ser un obturador mecanico o electronico. El obturador rodante 220 y el sensor de imagen 210 pueden estar integrados, y en lo que sigue del presente documento se denominan un sensor de imagen o una camara de video de obturador rodante.

Los sensores de imagen con obturador rodante se aplican tfpicamente en fotograffa, en donde, por lo general, los requisitos de resolucion espacial superan a los del video (—de Alta Definicion). La captura de imagenes con obturador rodante es consecuencia de la transferencia de datos lmea por lmea del sensor de imagen tras la exposicion de cada lmea, mientras que en un sensor con obturador global, todas las filas de pfxeles se restablecen y se exponen de forma simultanea. Al final de la exposicion, todas las filas del sensor con obturador global se desplazan simultaneamente a una zona oscurecida del sensor de imagen. Entonces, los pfxeles se leen fila por fila. La exposicion de todos los pfxeles simultaneamente, como en un sensor con obturador global, tiene la ventaja de que los objetos que se mueven rapidamente pueden ser captados sin distorsiones geometricas. Los sensores de imagen que utilizan el sistema de obturador global tienen un diseno mas complejo que los sensores con obturador rodante.

Para continuar, la figura 3 ilustra un diagrama temporal para un tfpico sistema con obturador global (figura 3a) y un tfpico sistema con obturador rodante (figura 3b) durante la modalidad de transmision continua de video, respectivamente. Los pfxeles en el sensor de imagen, siendo aqrn un sensor de CMOS en una camara, se restablecen en primer lugar en una primera etapa si, a continuacion se exponen a la luz de la escena en la etapa s2, a continuacion sigue una etapa s3 de transferencia de carga y, finalmente, en la ultima etapa s4 se leen los pfxeles. Se ilustran los dos principios fundamentales de un sistema con obturador global y el sistema con obturador rodante.

Haciendo referencia ahora a la figura 3a, en un sistema con obturador global, durante un fotograma, todos los pfxeles en todas las filas se restablecen en primer lugar (si), y posteriormente todas las filas R se exponen simultaneamente (s2) durante un tiempo de exposicion Te, a continuacion sigue una transferencia de carga (donde todas las filas se desplazan simultaneamente a un area oscurecida del sensor) (s3) y, finalmente, los pfxeles se leen fila por fila (s4) durante un tiempo de lectura Tr.

Haciendo referencia ahora a la figura 3b, en un sistema con obturador rodante, durante un fotograma cada fila de pfxeles R se restablece en primer lugar (si), y posteriormente se expone (s2) durante un tiempo de exposicion de Te, a continuacion sigue una transferencia de carga (donde la fila se desplaza a un area oscurecida del sensor) (s3) y, finalmente, se lee (s4) durante un tiempo de lectura Tr. Las filas se restablecen y se exponen, y se leen una fila tras otra. Los sensores con obturador rodante ofrecen una densidad de pfxeles mayor en comparacion con los sensores de CMOS con obturador global. La exposicion secuencial de las lmeas subsiguientes se traduce en un retardo temporal entre las exposiciones de filas adyacentes. Esto hace que las imagenes capturadas de objetos en movimiento se distorsionen.

Ademas, en el concepto de la presente invencion se utiliza una introduccion de distorsiones a nivel de lmea en el caso de que la iluminacion vane durante la exposicion subsiguiente de las filas en el sensor de imagen con obturador rodante, para capturar una senal de luz codificada de alta frecuencia, que aqrn se ejemplifica mediante el codigo de identificacion en una fuente de luz codificada.

En el ejemplo de un sistema de deteccion de luz tal como se describe con referencia a la figura 2, el obturador 220 y el sensor de imagen 210 es un sensor de imagen con obturador rodante, mencionado en el presente documento como una camara. Las distorsiones a nivel de lmea creadas al capturar la imagen de la escena se utilizan para

5

10

15

20

25

30

35

40

45

50

55

60

proporcionar un mecanismo para distinguir variaciones temporales de la luz en la salida lummica del sistema de iluminacion 100, muy por encima de la frecuencia de actualizacion de los fotogramas o de la velocidad de los fotogramas de la camara. En el ejemplo ejemplar, la velocidad de los fotogramas de video se selecciona dentro de un intervalo entre 25 y 60 Hz. Este intervalo ofrece una frecuencia de lectura de lmeas del orden de entre 10 000 Hz y 20 000 Hz. La frecuencia de lectura de lmeas determina la velocidad del muestreo temporal y, por lo tanto, el lfmite del ancho de banda temporal para la recuperacion inequvoca de las senales de luz moduladas, que es proporcionado por el teorema de muestreo de Nyquist, que indica que solo las senales de hasta la mitad de la frecuencia de muestreo, la frecuencia de Nyquist, se pueden recuperar a partir de los datos muestreados. Aqrn la frecuencia de muestreo fs esta determinada por el retardo temporal entre lecturas de lmea.

imagen1

(1)

Un segundo aspecto que influye en la recuperacion de las senales de luz moduladas es el tiempo de exposicion Te del sensor. En este parrafo se exponen tres situaciones, un tiempo de exposicion largo de tal manera que:

Te>Tr (2)

en donde los tiempos de exposicion largos tienden a deteriorar la posibilidad de deteccion de las modulaciones rapidas de la luz; sin embargo, una eleccion inteligente del tiempo de exposicion puede eliminar una senal interferente por debajo de la frecuencia de Nyquist; un tiempo de exposicion "optimo"

Te=Tr (3)

esta es la eleccion optima para la deteccion de modulaciones de la luz que estan limitadas en ancho de banda por debajo de la frecuencia de Nyquist; y un tiempo de exposicion corto de tal manera que

Te<Tr (4)

esta situacion proporciona una opcion para detectar modulaciones de la luz que superan la frecuencia de Nyquist. Estas tres posibles modalidades de funcionamiento se detallan en las siguientes secciones.

En la figura 4, se representa una situacion tfpica en la cual el tiempo de exposicion es mucho mas largo que el retardo entre lecturas de lmeas. Para mayor claridad, y sin perdida de aplicabilidad general, se obvia el tiempo de restablecimiento y el tiempo de transferencia de carga, tal como se representa en la figura 3a y la figura 3b. El proceso de muestreo se puede considerar como una multiplicacion con un peine de funciones de Dirac equidistantes. El proceso de exposicion se puede expresar como una convolucion de la senal de luz modulada con un filtro rectangular, con la duracion temporal del tiempo de exposicion. En el dominio de la frecuencia esto hace que el espectro de la senal se multiplique por una funcion de sincronizacion. Esto se representa en la figura 5, que ilustra el efecto de filtrado de los diferentes ajustes del tiempo de exposicion, dado un determinado retardo temporal entre lmeas consecutivas. Los diagramas de la izquierda representan un valor de senal en funcion del tiempo, y los diagramas de la derecha representan el modulo de la transformacion de Fourier como funcion de la frecuencia. Para aumentar el tiempo de exposicion, este filtro suprime progresivamente el contenido de alta frecuencia de la senal de luz modulada mediante la creacion de ceros en el intervalo de frecuencias hasta la frecuencia de Nyquist y atenuando en otro caso la amplitud de la senal. La ocurrencia de ceros por debajo de la frecuencia de Nyquist se puede utilizar para suprimir una senal interferente que este presente en esas posiciones de los ceros en ese rango de frecuencias.

La figura 6 ilustra un tiempo de exposicion corto con respecto a la frecuencia de la modulacion de la intensidad de la luz. El tiempo de exposicion Te, durante (s2), es aqrn igual al tiempo de transferencia de datos, es decir, el tiempo de lectura Tr, durante (s4). Esto permite la adquisicion de senales hasta la mitad de la frecuencia de muestreo. Cuando el tiempo de exposicion es igual al tiempo de lectura, Te=Tr, los primeros ceros de la funcion de sincronizacion aparecen en multiplos de la frecuencia de muestreo. Dentro de la banda de frecuencias fundamental, hasta la frecuencia de Nyquist, la cafda de la amplitud del lobulo central de la respuesta sinusoidal solo causa una moderada atenuacion de la alta frecuencia, que se puede corregir facilmente.

La figura 7 ilustra el tiempo de exposicion muy corto Te, durante (s2), con respecto a la frecuencia de la modulacion de la intensidad de la luz. El tiempo de exposicion Te es aqrn menor que el tiempo de transferencia de datos, es decir, el tiempo de lectura Tr, durante (s4), es decir, Te < Tr. Siempre que la senal de la intensidad de la luz sea repetitiva, esta situacion permite la deteccion de senales de frecuencia superior a la mitad de la frecuencia de muestreo, basandose en el solapamiento. Cuando se puede elegir un tiempo de exposicion mas corto que el retardo de lectura de lmeas, como se muestra en la figura 7, la atenuacion del lobulo central, tal como se ha descrito

5

10

15

20

25

30

35

40

45

50

55

60

65

anteriormente para cuando el tiempo de exposicion es igual al tiempo de lectura, Te=Tr, se vuelve insignificante. En esta situacion, en ausencia de atenuacion de alta frecuencia, es posible detectar la modulacion de la luz de alta frecuencia muy por encima de la frecuencia de muestreo, ya que el tiempo de exposicion corto permite la deteccion por encima de la velocidad de lmea.

En la figura 8 se muestra un ejemplo del uso de un filtro para la seleccion de regiones de imagen relevantes para la deteccion de imagenes, de acuerdo con un ejemplo. El nucleo del filtro utilizado en el ejemplo indicado esta concebido para identificar las regiones con una frecuencia de modulacion espedfica. El nucleo del filtro bidimensional mostrado esta basado en un filtro de Gabor unidimensional en el que los coeficientes del filtro (complejos) son esencialmente una funcion coseno y una funcion seno, atenuadas por una ventana Gaussiana. Un filtro de Gabor unidimensional se utiliza generalmente para la deteccion de sucesos aislados de una frecuencia espedfica. Extendiendo el filtro en la direccion horizontal, de nuevo dentro de una ventana Gaussiana, aprovechamos el hecho de que la modulacion de la luz procedente de una lampara espedfica causa una modulacion a nivel de fila en la imagen que aparecera casi por igual en las columnas adyacentes. Los componentes real e imaginario del nucleo del filtro bidimensional resultante se indican como 801 y 802.

En el caso de la modulacion binaria de la luz, el procedimiento se puede utilizar para detectar todas las fuentes de luz en una escena basandose en la presencia de una senal de reloj espedfica que esta integrada en el flujo de datos. Al contrario, en el caso de una modulacion continua, el procedimiento se puede utilizar para detectar una fuente de luz espedfica entre una multitud de fuentes de luz, cada una de las cuales esta caracterizada por una frecuencia de modulacion unica. En el ejemplo, una imagen de entrada 803, que muestra una escena iluminada por dos lamparas diferentes, se convoluciona con los dos nucleos 801 y 802 del filtro de Gabor complejo, dando como resultado una imagen resultante de valores complejos, de la cual se representa la amplitud (el modulo) como 804. La respuesta de amplitud a otro filtro de Gabor, caracterizado por otra frecuencia correspondiente a otra lampara, se representa como 805. La identificacion de una lampara espedfica se deduce de la comparacion de la respuesta de amplitud con multiples filtros de Gabor, disenado cada uno de ellos en torno a una frecuencia diferente. El filtro que tiene localmente la respuesta de amplitud mas alta revela que fuente de luz esta contribuyendo localmente a la escena. Los diferentes valores de frecuencia se han elegido para evitar la aparicion de nuevas frecuencias ambiguas debido a la distorsion armonica por transformaciones de intensidades no lineales en la deteccion de la luz, por ejemplo, debido a la correccion gamma en la camara. Por lo tanto, en el ejemplo las frecuencias se han seleccionado a partir de la serie de frecuencias que se utilizan como tonos de marcacion en telefoma (el denominado sistema de multiples frecuencias de doble tono (DTMF). Referencia: el artfculo de L. Schenker, "Llamadas de pulsador con un codigo de frecuencia vocal de dos grupos", The Bell System Technical Journal, 39(1): 235-255, enero de 1960, es decir, separadas por un factor incremental de 21/19, lo que da como resultado 697 Hz, 770 Hz, 852 Hz, 941 Hz, 1.209 Hz, 1.336 Hz, ... Un resultado de la clasificacion 806 muestra las huellas de luz detectadas, etiquetadas con la correspondiente fuente de luz (LED 4 y LED 6, respectivamente).

Una imagen adquirida de una escena se captura a medida que la captura con obturador rodante se desplaza en direccion vertical. Por lo tanto, la modulacion de la luz se distribuye tambien en la direccion vertical del fotograma de video. Como consecuencia, la dimension vertical del fenomeno luirnnico en el fotograma de video limita la ventana temporal con la que se puede observar la modulacion. Como la luz codificada esta iluminando la escena, la modulacion de la luz aparece tanto en las imagenes de la propia fuente de luz como en las imagenes de la escena iluminada. Siempre que la huella de luz capturada, que es la localizacion espacial de una contribucion de luz individual en una escena, sea lo suficientemente grande y se registre un numero suficientemente grande de imagenes, se puede reconstruir el codigo de identificacion completo (u otro mensaje codificado en la luz modulada), a condicion de que el codigo de identificacion se repita periodicamente y cada bit del codigo de identificacion aparezca eventualmente en la huella de la luz capturada.

De acuerdo con un ejemplo del sistema de deteccion de luz, el sistema comprende ademas un sistema optico (vease el sistema optico 250 en la figura 2). El sistema optico, por ejemplo, la lente de la camara de video, se utiliza para proporcionar el desenfoque de la luz detectada, es decir, de la imagen adquirida. En caso de que las dimensiones de la fuente de luz o de la huella iluminada no sean practicas por ser pequenas, por ejemplo, cuando la fuente de luz comprende un pequeno grupo de diodos emisores de luz, LED, como ejemplo, cuatro LED, la lente se dispone fuera de foco. Como consecuencia, incluso las lamparas codificadas con forma de punto crearan un patron circular borroso, mencionado a menudo utilizando el termino japones "bokeh". Al capturar una imagen de una fuente de luz en forma de punto en una escena con la lente fuera de foco, la salida lummica desde la fuente de luz en forma de punto crea un bokeh que es mucho mas grande que su dimension cuando esta enfocada en el fotograma de la imagen. En una exposicion corta la imagen correctamente enfocada muestra la fuente de luz como un punto (en realidad, mostrando sus cuatro elementos LED). La imagen fuera de foco muestra el bokeh con un patron de lmeas debido a la modulacion de la fuente de luz.

De acuerdo con un ejemplo del sistema de deteccion de luz, el sistema optico 250 comprende un elemento de mascara de abertura (no mostrado) para proporcionar un patron en la imagen detectada desenfocada. El contorno del patron borroso esta determinado principalmente por el tamano y la forma de la abertura, que generalmente es circular. Sin embargo, mediante la sustitucion de la abertura circular por una mascara de atenuacion, cada luz en forma de punto adoptara el patron de la mascara de atenuacion. Esto se conoce como el uso de una abertura

5

10

15

20

25

30

35

40

45

50

55

60

65

codificada. Preferiblemente, como en el caso de que la fuente de luz sea un grupo de LED, la forma espacial del elemento de mascara de abertura se puede seleccionar para separar espacialmente las contribuciones de luz procedentes de diferentes fuentes de luz. Como el tamano del patron borroso se ajusta a escala con la diferencia entre la distancia del objeto y la distancia de enfoque, incluso pequenas aberturas pueden crear grandes patrones de desenfoque. El patron de la luz modulada permanece presente dentro del patron de desenfoque. Se puede seleccionar una forma espacial de una abertura de camara codificada para separar de manera optima racimos de luces con forma de punto, cada uno de los cuales esta modulado con su propia senal unica.

De acuerdo con un ejemplo del sistema de deteccion de luz, la forma de las fuentes de luz con forma de punto se altera por el uso de un elemento optico no isotropico, por ejemplo, una lente cilmdrica, que extiende cada forma de punto en una unica direccion dominante, o un elemento de difusion de luz que difunde cada forma de punto en una gran zona espacial en la imagen capturada. Cuando se elige la direccion de extension en la direccion vertical, la gran extension espacial proporciona una ventana temporal mas grande que muestra un fragmento con mas informacion codificada. Otros elementos opticos adecuados pueden ser elementos difusivos, rejillas de difraccion y lentes de codificacion del frente de onda. El uso de instancias a nivel de lmea de la senal de luz de salida de un sistema de iluminacion de acuerdo al concepto de la presente invencion tiene varias ventajas para la deteccion de senales, que se pueden utilizar en los medios de procesamiento al analizar los datos de imagen. La extension horizontal permite el uso de la acumulacion de multiples valores de pixel a lo largo de una fila de imagen, de tal manera que mejore la relacion entre senal y ruido de la senal recuperada y se pueda eliminar la perturbacion debida a trasfondos no homogeneos.

En caso de que se desee recuperar la imagen normal, sin las distorsiones de la luz modulada, se requieren operaciones relativamente simples para eliminar la perturbacion, similares al proceso de des-entrelazado, que se aplica comunmente en la conversion de formatos de video. El des-entrelazado se utiliza para crear filas de imagen faltantes en una secuencia de video entrelazado con el fin de crear una secuencia de imagenes progresivas.

En la aplicacion a la smtesis de huellas, como se ha mencionado anteriormente, el procesamiento de la imagen puede aislar las diferentes contribuciones de luz y reconstruir imagenes independientes sin la perturbacion de la modulacion.

Por lo general, hay un equilibrio entre la percepcion no deseada por los humanos de la modulacion de la luz, la visibilidad de la senal no deseada en las imagenes de la camara y la posibilidad de deteccion con camaras. Como generalmente prevalece la percepcion no deseada por los humanos, se impone un primer conjunto de condiciones sobre el procedimiento y las caractensticas de la modulacion de la luz. A fin de garantizar imagenes de la camara libres de distorsiones, la modulacion debena elegirse de tal manera que los valores de pixel en cada imagen capturada vanen dentro del tamano del paso de cuantizacion de los valores de pixel, que generalmente estan en un intervalo entre 0 y 255. Se sabe que dicha acumulacion de multiples pfxeles a lo largo de una fila permite recuperar la senal moduladora.

La identificacion de las lamparas independientes, asf como la transferencia de otros datos espedficos de la lampara, puede basarse en esquemas de modulacion de valores tanto continuos como binarios.

La separacion de diferentes lamparas (en este contexto: diferentes lamparas) puede estar basada en la asignacion de diferentes frecuencias de modulacion, o combinaciones de frecuencias, a cada lampara. La naturaleza repetitiva de la modulacion es que los fragmentos de senal pequenos son suficientes para la separacion ineqrnvoca de diferentes canales de datos, a condicion de que el numero de codigos de identificacion unicos de las fuentes de luz diferentes pueda ser relativamente bajo. En el caso de que las diferentes contribuciones de luz se solapen espacialmente sobre el sensor, este procedimiento tambien puede proporcionar una ortogonalidad suficiente para separar las senales superpuestas.

En cambio, en caso de que el numero de codigos de identificacion de las fuentes de luz diferentes sea grande y, en particular, cuando cada fuente de luz transmite datos adicionales que cambian lentamente con el tiempo (por ejemplo, temperatura, horas de funcionamiento), por lo general es mas adecuada la transferencia digital de datos. En el caso de que las diferentes contribuciones de luz se solapen, el procedimiento de modulacion digital tambien debena proporcionar una ortogonalidad suficiente para asegurar la separacion de los canales para fuentes de luz tanto smcronas como asmcronas.

Para habilitar la deteccion por las camaras con obturador rodante, asf como por los detectores con forma de punto (por ejemplo, los fotodiodos), es posible combinar varios esquemas de modulacion. La naturaleza de frecuencia relativamente baja (hasta ~10 kHz) de la deteccion basada en camaras habitualmente es insensible a las modulaciones de alta frecuencia (hasta ~10 MHz) que pueden seguir siendo captadas por un fotodiodo. Dicho esquema hubrido de modulacion de la luz permite la transmision simultanea de pequenas cantidades de datos a los sensores basados en camaras y grandes cantidades de datos a los sensores basados en puntos.

En la descripcion anterior, el concepto de la invencion se describe con referencia a, pero no debena limitarse a, la aplicacion de camaras de bajo coste para la deteccion de fuentes de luz codificada. Dentro de las limitaciones de las

camaras de bajo coste como parte de los productos existentes (como los telefonos inteligentes), se han presentado diversas medidas para mejorar la deteccion (tiempo de exposicion corto, desenfoque intencional). Como los sensores con obturador rodante siguen siendo mas rentables que los sensores con obturador global, se puede hacer que las camaras personalizadas sean parte del propio sistema de iluminacion, ya sea como elementos de deteccion 5 en un dispositivo de mano o como parte de un sistema de deteccion de luz permanente. En estos casos tambien se han presentado otras medidas para mejorar la deteccion (aberturas codificadas).

Se debe observar que, para los fines de esta solicitud y, en particular, con respecto a las reivindicaciones adjuntas, la palabra "comprende" no excluye otros elementos o etapas, y que la palabra "un" o "una" no excluye una 10 pluralidad, lo que de por sf sera evidente para una persona experta en la tecnica.

Claims

5

10

15

20

25

30

35

REIVINDICACIONES

1. Un sistema de deteccion de luz, caracterizado por que el sistema de deteccion de luz comprende:

una camara con obturador rodante (220), dispuesta para la adquisicion de una pluralidad de imagenes de una escena que esta iluminada por un sistema de iluminacion (110) que comprende al menos una primera fuente de luz (111, 112, 113) que proporciona una contribucion de luz que comprende un primer codigo integrado (ID#1, ID#2, ID#3), emitido como una secuencia temporal de modulaciones en una caractenstica de la luz emitida, y en el que el codigo integrado se repite periodicamente, en el que cada una de dicha pluralidad de imagenes comprende una matriz de pfxeles, representando cada pixel una intensidad de una salida total de luz de dicho sistema de iluminacion en una posicion ffsica diferente de la escena, y en el que unas respectivas de dichas imagenes se adquieren como una pluralidad de instancias de lmea desplazadas temporalmente, comprendiendo cada una de ellas una lmea de dichos pfxeles, muestreando una instancia diferente de dicha secuencia temporal de modulaciones del primer codigo integrado, estando expuestas las lmeas temporalmente, lmea por lmea, en diferentes instancias de tiempo con un retardo temporal entre las lmeas adyacentes, de tal manera que den lugar a un patron espacial de modulaciones correspondiente a la secuencia temporal de modulaciones; y una unidad de procesamiento (230) dispuesta para determinar dicho primer codigo integrado a partir del patron espacial de modulaciones desde la pluralidad de imagenes, determinando bits del primer codigo integrado desde las respectivas de la pluralidad de imagenes hasta que cada bit del primer codigo integrado se ha determinado.
2. Un sistema de deteccion de luz de acuerdo con la reivindicacion 1, que comprende ademas un sistema optico para proporcionar el desenfoque de dicha pluralidad de imagenes adquiridas.
3. Un sistema de deteccion de luz de acuerdo con cualquiera de las reivindicaciones precedentes, en el que dicho codigo integrado se transmite como uno de un flujo de datos repetitivo continuo, un flujo de datos empaquetado, con paquetes a intervalos regulares, y un flujo de datos empaquetado, con paquetes a intervalos irregulares.
4. Un sistema de deteccion de luz de acuerdo con cualquiera de las reivindicaciones precedentes, en el que la caractenstica de la luz emitida es una entre una modulacion de la intensidad y una modulacion del color.
5. Un sistema de iluminacion que comprende:

- un sistema de deteccion de luz de acuerdo con una cualquiera de las reivindicaciones 1-4 y

- al menos una primera fuente de luz (111, 112, 113) que proporciona una contribucion de luz que comprende un primer codigo integrado (ID#1, ID#2, ID#3) emitido como una secuencia temporal de modulaciones en una caractenstica de la luz emitida y en el que el primer codigo integrado se repite periodicamente.