ES2650071T3

ES2650071T3 - Luz codificada

Info

Publication number: ES2650071T3
Application number: ES15702792.1T
Authority: ES
Inventors: Constant Paul Marie Jozef Baggen; Ronald Rietman; Paul Henricus Johannes Maria Van Voorthuisen
Original assignee: Philips Lighting Holding BV
Current assignee: Signify Holding BV
Priority date: 2014-02-14
Filing date: 2015-02-06
Publication date: 2018-01-16
Anticipated expiration: 2035-02-06
Also published as: EP3105867A1; US10298326B2; US10313009B2; RU2016136683A3; EP3105868A1; WO2015121155A1; JP6198965B2; RU2682427C2; JP6198966B2; US20160359561A1; CN106063155A; RU2016136683A; CN106063155B; EP3105868B1; EP3105867B1; CN106063154A; CN106063154B; US20160359559A1; JP2017512401A; JP2017512400A

Abstract

Un dispositivo que comprende: una entrada para recibir una señal desde una cámara (12) de obturador rodante que captura fotogramas de una duración dada a una tasa de fotograma dada exponiendo una pluralidad (21) de líneas(18) de cada fotograma (16) en una secuencia, comprendiendo la señal una señal de luz codificada; un módulo (14) de procesamiento de señal conectado a dicha entrada y dispuesto para tener, a través de dicha entrada, una muestra (19) respectiva de la señal de luz codificada para cada una de un número (24) de dichas líneas (18), estando expuesto dicho número (24) de líneas durante una duración, y siendo dicho número (24) un número sustancialmente más pequeño de dichas líneas que la pluralidad (21) de líneas expuestas por la cámara en cada fotograma; la señal de luz codificada comprende un mensaje que tiene una duración más larga que la duración sobre la cual dicho número de líneas está expuesta, y dicho dispositivo está configurado de tal manera que se reciben múltiples repeticiones del mensaje dentro de una temporización tal que una parte diferente del mensaje es vista por la cámara en cada una de la pluralidad de diferentes fotogramas de dichos fotogramas; y el módulo de procesamiento de señal está configurado para alinear en el tiempo las diferentes partes del mensaje desde la pluralidad de fotogramas diferentes, y reensamblar el mensaje a partir de las partes alineadas en el tiempo.

Description

imagen1

imagen2

imagen3

imagen4

imagen5

imagen6

imagen7

5

15

25

35

45

55

65

La figura 16 muestra señales reconstruidas a partir de una pluralidad de fotogramas,

La figura 17 muestra un mensaje reconstruido,

La figura 18 muestra una alineación no rodante de mensajes,

La figura 19 muestra una alineación de “cambio” de mensajes,

La figura 20 es un diagrama de bloques esquemático de un filtro Wiener que ecualiza un filtro H,

La figura 21 es un diagrama de bloques esquemático de un filtro ISI resultante de un obturador rodante,

La figura 22 es un diagrama de bloques esquemático que representa un ruido adicional, y

La figura 23 es un diagrama de bloques esquemático de un filtro Wiener que ecualiza un filtro H.

DESCRIPCIÓN DETALLADA DE MODOS DE REALIZACIÓN

Lo siguiente se refiere a una aplicación de luz codificada, y proporciona un formato para permitir luz codificada, un decodificador para recibir la luz codificada, y un bloque de construcción ventajoso particular utilizado en el decodificador (que también puede ser utilizado en otras aplicaciones diferentes de la luz codificada).

El formato y técnicas de decodificación están destinados a proporcionar una solución práctica para la luz codificada, definiendo un formato que pueda trabajar con cámaras de obturador rodante existentes, así como dedicado a cámaras denominadas de región de interés (ROI) similares. La divulgación proporciona un método de codificación y decodificación, un codificador y un decodificador, un formato de señal, y un software para codificar y decodificar, que en modos de realización permite a dichas cámaras de obturador rodante es barata recibir la luz codificada y decodificar los mensajes contenidos en la misma.

Las cámaras de obturador rodante baratas escanean de forma efectiva sus imágenes, así como el progreso de líneas, y el tiempo. Esto implica que el sello de tiempo de la línea superior es más temprano que el sello de tiempo de la línea inferior. Ahora imaginemos que la luz codificada está presente en la imagen, la luz codificada típicamente sólo será visible en una pequeña sección de la imagen.

Las líneas que realmente representan la luz son líneas que contienen luz codificada. Cada línea está “condensada” en un valor único y ese valor único corresponde a un bit de información o un símbolo; es decir el bit o símbolo transmitidos en el momento en el tiempo en que la línea fue escaneada. Ahora para qué la cámara obturador rodante de codifique un mensaje, se debería estar seguro de que el número de líneas por fotograma es lo suficientemente alto (así como la luz suficientemente grande) y decodificar imágenes basándose en un único fotograma. Sin embargo, tal y como se discutirá en mayor detalle en breve, esto no es siempre posible.

La figura 1 proporciona una visión general esquemática de un sistema para transmitir y recibir luz codificada. El sistema comprende un transmisor 2 y un receptor 4. Por ejemplo, el transmisor 2 puede tomar la forma de una luminaria (por ejemplo, montada en un techo o una pared y una habitación, una lámpara de pie, o un poste de luz exterior); y el receptor 4 puede tomar la forma de un terminal de usuario móvil tal como un teléfono inteligente, una tableta o un ordenador portátil. El transmisor 2 comprende una fuente 10 de luz y un controlador 8 conectado a la fuente 10 de luz. El trasmisor 2 también comprende un dispositivo en forma de un programa 6 controlador y una salida al controlador 8, para controlar la fuente 10 de luz para ser controlada a través del controlador 8. Por ejemplo el programa 6 controlador puede tomar la forma de un software almacenado en una memoria del transmisor 2 y dispuesto para su ejecución en un procesador del transmisor, de forma alternativa, no se excluye que alguno o todos los programas 6 controladores puedan implementarse en un hardware, o en una circuitería de hardware configurable

o reconfigurable. El receptor 4 comprende una cámara 12 y el dispositivo en forma de un módulo 14 de procesamiento de señal y una salida de la cámara 12. El módulo 14 de procesamiento de señal puede por ejemplo tomar la forma de un software almacenado en una memoria del receptor 4 y dispuesto para la ejecución en un procesador del receptor 4, o de forma alternativa, no se excluye que alguno o varios de los módulos 14 de procesamiento de señal puedan implementarse en una circuitería de hardware dedicada, una circuitería de hardware configurable o reconfigurable. El programa 6 controlador y el módulo 14 de procesamiento de señal están configurados para realizar una trasmisión lateral y recibir operaciones laterales (respectivamente) de acuerdo con modos de realización del presente documento.

Con referencia a las figuras 2 y 3, la cámara 12 está dispuesta para capturar una serie de fotogramas 16 los cuales, si la cámara está apuntada hacia la fuente 10 de luz, contendrán una imagen de luz de la fuente 10 de luz. La cámara 12 es una cámara de obturador rodante, lo que significa que captura cada fotograma 16 no todos de una sola vez (como en una cámara de obturador global), sino línea por línea en una secuencia de líneas 18. Es decir, cada fotograma 16 está dividido en una pluralidad de líneas 18 (número total de líneas indicadas 20), típicamente líneas horizontales, cada una que se extiende a través del fotograma 16 y que es de uno o más píxeles de ancha

imagen8

imagen9

5

15

25

35

45

55

65

deseable mantener la longitud del paquete pequeña con huecos bien dimensionados entre el mismo. Los huecos de inactividad (sin datos, por ejemplo, todo ceros) entre paquetes de datos ayudan a mitigar la interferencia entre símbolos, ya que mantienen la longitud de paquete corta. De nuevo estas propiedades se pueden adaptar en respuesta al conocimiento actual de un tiempo de exposición Texp de una cámara particular que es retroalimentado a través de un canal de retorno adecuado tal como un canal de RF entre el recibidor 4 y el transmisor 2 (“formato negociado”), o de forma alternativa la temporización se puede formatear de una manera predeterminada para anticipar un rango de posibles valores de tiempo de exposición Texp de cámaras diseñadas para acomodar el formato (“formato universal”). En modos de realización, los inventores han descubierto que una longitud de paquete no más larga de 9 bits separada por un periodo de inactividad entre paquetes de al menos el Texp proporciona un buen rendimiento en términos de mitigación de la ISI. Por una coincidencia conveniente, los 9 bits también permiten de una forma ventajosa un byte de datos más un bit de sincronización. Sin embargo, en otros modos de realización, se tolera una longitud de paquete de por encima de 12 bits, o incluso por encima de 17 bits.

Así como lograr el “rodamiento”, otro problema adicional es la sincronización. El receptor tiene una plantilla del formato de mensaje que es utilizada para sincronizar con la señal recibida, por ejemplo, sabe que después de un hueco del IPIP + IMIP, para esperar un bit de sincronización, después un byte de datos, después el IPIP, después otro bit de sincronización y byte de datos, etc. comparando esta plantilla con la señal de luz codificada recibida, el receptor puede sincronizarse con la señal. En modos de realización, con el fin de ayudar a la sincronización, los inventores han encontrado que el periodo de inactividad entre mensajes debería ser preferiblemente de al menos 4 símbolos del código de modulación relevante, por ejemplo, 4 símbolos de Manchester ternario.

Teniendo en cuenta las consideraciones anteriores, un formato de mensaje de ejemplo comprende:

(i): el uso de un formato de señal donde se repite de forma cíclica un mensaje (muchas veces) por el transmisor, por tanto permitiendo una recombinación (temporal) de huellas desde fotogramas de video consecutivos, conteniendo cada huella un mensaje recibido parcial, para tener un mensaje recibido completo, el tamaño del mensaje puede elegirse de tal manera que mediante repetición cíclica, eventualmente se puede recuperar el mensaje completo;

(ii): un mensaje que tiene paquete relativamente cortos (por ejemplo de 9 bits), separado por periodos de inactividad entre paquetes para permitir a un ecualizador reconstruir la forma de onda transmitida original en presencia de una ISI fuerte causada por una configuración de tiempo de exposición de cámara no controlable; y

(iii) utilizando una forma de Manchester ternario (TM), un código de modulación libre de DC, llevando a una supresión adicional de componentes de baja frecuencia, por tanto eliminando el parpadeo en frecuencias de símbolo bajas.

Son también posibles variaciones. Por ejemplo, aunque el código de modulación preferido es un Manchester ternario (que puede abreviarse con las iniciales TM), se podrían utilizar de forma alternativa otros códigos (preferiblemente libres de DC o de bajo contenido de DC sin parpadeo visible), por ejemplo, un Manchester convencional o sin retorno a cero (NRZ). Lo siguiente también describe adicionalmente varias elecciones particularmente ventajosas para los parámetros de formato (por ejemplo, IMIP). En modos de realización adicionales, el IPIP puede ajustarse al tiempo de exposición máximo. La longitud de símbolo TM también puede ajustarse al tiempo de exposición cuando el tiempo de exposición >IPIP. En más modos de realización adicionales, se puede utilizar una encriptación guiada para mensajes de longitud media, y/o paquetes cortos no encriptados para mensajes cortos.

Volviendo a la figura 2, se discuten ahora detalles adicionales. Tal y como se mencionó, la literatura existente asume que la fuente que se va a decodificar cubre casi o enteramente cada fotograma. Se asume que la duración de un mensaje sencillo que se va a decodificar es tal que se puede capturar en la huella de la fuente en un solo fotograma.

Se reconoce que las “líneas ocultas” 26 pueden constituir un problema debido a la sincronización entre los paquetes de datos y al disparo de los fotogramas. Se sugiere que se puede repetir un mensaje de tal manera que al menos una repetición satisface la condición de que es capturado completamente dentro de un solo fotograma. Sin embargo, los formatos de datos existentes para luz codificada aun así pueden sufrir de varios problemas.

Tal y como se discutió ya, un problema particular al utilizar una cámara de obturador rodante para la detección de luz codificada surge debido a que la fuente de luz que sirve como un transmisor de luz codificada puede cubrir sólo una fracción de las líneas de cada fotograma (ver de nuevo la figura 2). En realidad, sólo las líneas que cubren la fuente contienen píxeles que registran las variaciones de intensidad de la fuente de luz codificada. Todas las líneas y píxeles restantes no contienen información de luz codificada relacionada con la fuente de interés. Si la fuente es pequeña, se obtiene solo vistas cortas interrumpidas temporalmente de la fuente de luz codificada en cada fotograma y por lo tanto las técnicas existentes sólo permiten mensajes muy cortos.

Otro problema es que los teléfonos inteligentes actuales tales como los iPhone y los iPads no permiten controlar el tiempo de exposición Texp y la ISO mediante una “app”. Los algoritmos de control integrados automáticos existentes a menudo llevan a tiempos de exposición largos que, después de la detección de la cámara, llevan a una

5

10

15

20

25

30

35

40

45

50

55

60

interferencia entre símbolos (ISI) fuerte entre los símbolos digitales que son transmitidos de forma secuencial por la fuente de luz.

Además, la tecnología de controlador de LED actual sólo permite soluciones eficientes energéticamente baratas si el ancho de banda (tasa de símbolo) de la señal digital remitida es muy limitado (es decir una tasa de símbolo entre 1 y 8kHz). Para dichas frecuencias bajas, los efectos de parpadeo y estroboscópicos pueden llegar a ser serios, a menos que se tomen precauciones especiales en el formato de señal para suprimir frecuencias bajas. Tener sólo un código libre de DC no es siempre suficiente.

La presente divulgación describe un formato de señal que permite una combinación fiable de la información de fotogramas de video múltiples tal que los mensajes más largos que la “huella”, incluso mensajes que tienen una duración de muchos fotogramas se pueden capturar y decodificar. Por otro lado, el formato de señal permite una ecualización asíncrona (de tipo Wiener) para deshacer la ISI causada por la cámara en el receptor. Finalmente, el contenido de frecuencia de los mensajes puede ser tal que no hay efectos estroboscópicos visibles, incluso para longitudes de mensajes que tengan una frecuencia de repetición de, por ejemplo, 18 Hz (frecuencia de parpadeo muy sensible).

Una captura de una señal de luz codificada típica en el transmisor es representada en la figura 9, que se describe a continuación. Se asume que la fuente de luz puede variar su intensidad de luz emitida (de forma instantánea) entre 0 y 1. En la figura 9, la intensidad de luz promedio (DC) se establece a 0,8, y la amplitud de la señal de luz codificada es igual a 0,1. La señal de luz codificada se superpone sobre el nivel alto (DC) promedio.

Un mensaje, en este ejemplo que tiene una duración de 161ms, consta de 3 paquetes, cada paquete comprendiendo 9 bits codificados TM. Mensaje he repetido de forma cíclica por el transmisor (3 repeticiones son mostradas en la figura 9). La tasa de símbolo TM es igual a1 kHz (1000 símbolos TM por segundo).

Cada paquete de un mensaje en este ejemplo es rastreado por un periodo de inactividad entre paquetes de 33 símbolos TM (~33ms). Al final de cada mensaje, hay un periodo de inactividad entre mensajes (adicional) de 5 símbolos TM, resultando en un periodo de inactividad total de 33+5=38 símbolos de inactividad entre el 3er paquete del mensaje actual y el primer paquete del siguiente mensaje. La figura 9 representa 3 repeticiones de mensaje, donde cada mensaje consta de 3 paquetes.

La figura 10 representa un mensaje sencillo de la figura 9, en donde la DC ha sido retirada y la amplitud de la señal ha sido hecha igual a 1. La parte activa de cada paquete consta de 9 bits codificados TM, lo que lleva a 2∙9+1=19 símbolos TM. Se debe notar que el primer y el último símbolo TM de cada paquete tienen una amplitud de ±0,5, consistente con las reglas de codificación TM. El formato de mensaje, tal y como se describe en las figuras 9 y 10, se puede decodificar utilizando una cámara que tiene cualquier Texp dado tal que Texp ≤1/30. En general todos los parámetros tales como, por ejemplo, la tasa de símbolo TM, los periodos de inactividad, el código de modulación se pueden seleccionar para facilitar la detección.

La razón para una repetición cíclica del mensaje es que, en cada fotograma de una película de cámara de obturador rodante, sólo una pequeña parte del mensaje trasmitido puede ser recuperable. El tamaño de la parte depende del tamaño de la fuente de luz de las imágenes de la cámara (huella), y de la duración del mensaje. Por ejemplo, si el tamaño de la fuente de luz es tal que sólo un 14% de las líneas de un fotograma son cubiertas por la fuente de luz, y si la duración del mensaje está en el orden de 5 fotogramas (asumiendo una velocidad de grabación de 30 fotogramas/segundo), sólo aproximadamente un 3% de un mensaje es recuperable de forma potencial a partir de una película de un solo fotograma.

Si la duración del mensaje se elige de forma cuidadosa con respecto a la tasa de fotogramas de la película, fotogramas consecutivos de la película revelan diferentes partes del mensaje repetido de manera que, eventualmente, se recupera el mensaje completo.

La figura 8 representa como el número de fotogramas requerido para obtener un mensaje completo, depende de la duración del mensaje y del tamaño de la huella en la imagen para una tasa de fotograma de 29,97 fps.

Lo siguiente considera la relación mostrada en la figura 8. Para cada fotograma de duración Tf, se obtiene una vista de duración Tfootprint del mensaje. Una recolección de N huellas de N fotogramas consecutivos tiene que cubrir al menos 1 mensaje completo. Las huellas tienen que “discurrir” sobre las imágenes. Las huellas tienen una frecuencia de repetición igual a la tasa de fotograma (= 29,97 Hz), los mensajes tienen una frecuencia de repetición de 1/T, y estas frecuencias deben ser lo “suficientemente” diferentes.

También puede desearse minimizar N, ya que un N grande lleva a latencias grandes. También para una huella “pequeña”, se puede desear un N pequeño, por ejemplo, N = 30 ~1 segundo.

Las desviaciones de frecuencia del transmisor llevan a variaciones de Tm. Algunas desviaciones pueden llevar a un “rodamiento lento” o incluso a una ausencia de rodamiento. N tiene que permanecer razonable para un cierto rango de duraciones de mensaje alrededor de un valor nominal.

5 Ahora se considera lo que ocurre para cubrir un mensaje con huellas sí:

-la huella α relativa = Tfootprint/Tf = 0,4

-0 < a ≤ 1, (en la práctica por ejemplo, 0 < a ≤ 0,88 debido a las líneas ocultas)

10 Si Tm es aproximadamente Tf, el mensaje difícilmente rueda (cada fotograma lee prácticamente la misma parte del mensaje). Pero si Tm es aproximadamente 1,5 veces Tf, el mensaje “cambia” de manera que cada fotograma ve partes alternativas del mensaje, pero unas partes se pierden de forma repetida.

15 Resulta que, si α < 1, se obtienen huellas “no rodantes” si las duraciones Tm del mensaje son Tf del fotograma. Si α < 0,5, se obtienen huellas “cambiantes” si Tm es un múltiplo de medio número entero de Tf (0,5, 1,5, 2,5,..).

En general, si 1/(n+1) < α ≤1/n, donde N es un número entero, entonces se encuentran huellas “no rodantes” si:

20

imagen10

Resulta que el rodamiento puede ser ya suficiente si la relación anterior está “próxima” a una de las relaciones “no rodantes”. También resulta que el rodamiento puede ser ya suficiente si la relación anterior está “próxima” a una de las relaciones “no rodantes”.

25 El resultado es una relación complicada tal y como se muestra en la figura 8.

CODIGO DE MODULACION

30 El código de modulación preferido para tasas de bit bajas es un Manchester ternario (TM) debido a la supresión adicional de componentes de baja frecuencia que puede llevar a un parpadeo. Bajas tasas de bit podrían ser imperativas debido a dos razones: (i) la complejidad permisible limitada y la eficiencia requerida mínima para controladores de fuentes de luz LED; y/o (ii) para obtener una velocidad de señalización que pueda ser recuperada durante tiempos de exposición muy largos.

35 Comparando NRZ, Manchester y Manchester ternario, se ha de notar que NRZ (realmente: ningún código de modulación) tiene un contenido de DC muy alto. El código de modulación Manchester, bien conocido para la grabación magnética, y también propuesto por el estándar IEEE de Comunicación de Luz Visible (VLC), es también denominado un código libre de DC, es decir, el contenido espectral a una frecuencia cero es igual a 0. El código de

40 modulación de Manchester ternario es denominado un código de modulación libre de DC2, que implica que la densidad espectral alrededor de DC permanece mucho más pequeña en comparación con un código libre de DC como el Manchester. En el espectro para frecuencias bajas, Tm es por tanto ventajoso en comparación a Manchester. Para parpadeo, frecuencias por encima de 100 Hz son importantes.

45 Dado que el formato de señal hace uso de paquetes relativamente cortos, intercalados con los símbolos de inactividad, se puede garantizar un mensaje que va a estar libre de DC2, dejando cada paquete que sea libre de DC2. Esto se logra modulando los bits de usuario utilizando la respuesta de impulso TM {-0,5, 1, -0,5}. Se ha de notar que un paquete de 9 bis de usuario lleva a un paquete TM codificado de 19 símbolos TM.

50 Para tasas de bit más grandes, se contempla otros códigos de modulación, quizás incluso códigos de modulación libres de DC multinivel uniformes (por ejemplo Manchester cuaternario), dado que las densidades espectrales no llevan a un parpadeo visible.

Los códigos de modulación que se van a utilizar se pueden definir de una manera que permiten algo de libertad en la

55 implementación actual del controlador, por ejemplo, para controladores que tienen una implementación de modulación de amplitud (AM) o para controladores que tienen una implementación de modulación de anchura de pulso (PWM). Esto implica que en contraste con los formatos de modulación tradicionales, la forma actual de las formas de onda que se va a transmitir no es exactamente definida para la luz codificada.

60 Una manera preferida de definir un código de modulación para luz codificada podría ser definir las reglas y valores aceptables de la salida de un filtro T completo aplicado a la forma de onda de salida del modulador en puntos de muestreo óptimos.

imagen11

imagen12

imagen13

imagen14

5

15

25

35

45

55

65

fotogramas por segundo (Tframe) para reconstruir un mensaje completo a partir de capturas parciales obtenidas en cada fotograma (esto es el proceso de reensamblado que se va a describir con mayor detalle a continuación);

(iii) utilizar correlaciones entre señales reconstruidas sucesivas para estimar el reloj de transmisión;

(iv): utilizar un filtrado de Wiener robusto en un solo periodo del mensaje para mitigar la ISI causada por el Texp;

(v): aplicar una interpolación de Wiener robusta si el procedimiento de reensamblado ha dejado agujeros en la reconstrucción;

(vi): encontrar una sincronización circular global mediante procesamiento utilizando un patrón de sincronización;

(vii) decodificar los bits tomando decisiones de los puntos de muestreo óptimos dados por la sincronización circular global; y/o

(viii) hacer una comprobación CRC en mensajes reconstruidos consecutivos. Si m de n reconstrucciones consecutivas tienen un CRC=OK, aceptar el mensaje.

Para un formato de mensaje particular y una huella dada, puede tomar por ejemplo 30 fotogramas consecutivos reensamblar un mensaje completo. Si uno tiene una grabación de 2 segundos (digamos, 60 fotogramas), el receptor puede generar 31 realizaciones diferentes del mismo mensaje. En modos de realización, comparando estos resultados de decodificación diferentes es posible ayudar a la sincronización del reloj receptor con la señal recibida.

Teniendo en cuenta la selección de color apropiada, resulta que la selección del color apropiado puede ser significativa para recuperar la señal de luz codificada. Por ejemplo el color verde (V) se caracteriza por la densidad de píxeles más alta en la cámara, por tanto dando la resolución espacial más alta (y por tanto temporal) de una señal de luz codificada. Esto puede ser de importancia si la luz codificada está utilizando una frecuencia de símbolo alta (una anchura de banda amplia), por otro lado, resulta que el color azul (A) es favorable si la fuente de luz tiene una densidad alta y si Texp es lo bastante largo, dado que este color tiende a conducir a un menor recorte de los píxeles.

Con referencia las figuras 2 a 4, por segmentación de imagen, modos de realización de la presente divulgación utilizan un enfoque de “mancha” para reconocer regiones en una imagen que puede n ser asociadas a una lámpara que transmite posiblemente información de luz codificada. Típicamente, una mancha es una región de intensidad alta en una imagen (por ejemplo, ver la figura 3). Un algoritmo puede reconocer y diferenciar diferentes manchas en una imagen. Por ejemplo utilizando bordes de las manchas se permite un seguimiento de forma eficiente de una mancha y limitando el procesamiento de señal en 2D asociado con cada mancha en los fotogramas diferentes de la secuencia de video.

Para encontrar píxeles que contribuyen dentro de una mancha, sólo esos píxeles que son modulados, es decir, que tienen variaciones de intensidad suficientes debido a la fuente de luz modulada, contribuyen de forma efectiva la señal. Otra fuente de píxeles efectivamente sólo producen “ruido” U otros efectos secundarios no deseados.

Típicamente, los píxeles que están recortados también son retirados para una consideración posterior (por ejemplo, ver la figura 4). También los píxeles que tienen una intensidad insuficiente son retirados. El conjunto resultante de “píxeles que contribuyen” pertenece a una fuente de luz que se puede representar como un filtro 2D espacial binario.

Lo siguiente describe un algoritmo que funciona en las muestras que son obtenidas como las “marginales” en cada fotograma (las muestras 19 en la figura 2, es decir, las muestras “combinadas de línea”).

La figura 3 representa una imagen binaria generada por receptor que indica la fuente de interés. La figura 4 muestra, en binario, los píxeles que contribuyen de la fuente seleccionada en cada fotograma. Se ha de notar que los píxeles en la parte central de la fuente no contribuyen, debido a que esos píxeles están sobre expuestos, es decir, recortados.

La figura 13 muestra “señales marginales”(constituidas de muestras 19 de la figura 2) de cada uno de los 100 fotogramas consecutivos tomados en la película, cada muestra obtenida mediante una operación adecuada de los píxeles activos de su línea correspondiente, es decir, cada “señal marginal” es la señal obtenida a partir de un fotograma 16 dado, con las muestras 19 tomadas desde cada línea 18 activa del fotograma que está posicionado en el tiempo en la respectivos tiempos dentro de la duración del fotograma en los cuales fueron muestreados. Se ha de notar que en la figura 2 el eje de tiempo que corresponde a muestras consecutivas de un solo fotograma discurre desde arriba a abajo, mientras que en la figura 13, el eje de tiempo de muestras consecutivas en un solo fotograma discurre de izquierda a derecha (con la página apaisada). En la figura 13, los 100 fotogramas de video consecutivos (generando cada fotograma una sola señal unidimensional) son apilados unos encima de otros, yendo los fotogramas consecutivos de arriba a abajo.

5

15

25

35

45

55

65

También se ha de notar, que aunque Tframe es igual aproximadamente 1/30~33 ms, la señal marginal de un fotograma simple tiene una duración de sólo aproximadamente 26,5 ms debido a las líneas 26 ocultas. En la parte inferior de la figura 13 se muestra una barra 46 que indica las muestras que se originan a partir de las líneas que cubren la fuente de luz en cada fotograma, es decir, sólo esta parte de cada fila contiene muestras que se originan de la fuente. Para este ejemplo, resulta que la huella de la fuente con respecto a un fotograma, FSF ~0,14, es decir, solo aproximadamente un 14% de las líneas por fotograma realmente contienen píxeles de la fuente.

En la figura 14 se muestra cómo usar las duraciones Tm y Tframe conocidas para generar “señales marginales extendidas” o “señales de fotograma extendidas”, siendo cada una versión extendida de la señal muestreada desde un fotograma respectivo. Esto se hace como sigue.

(i): se define para cada fotograma un tramo, es decir, una región temporal alrededor (por ejemplo después de extenderse) de las muestras activas de la figura 13, de tal manera que se obtiene la duración de tramo de m veces, Tm, donde m es un número entero elegido de forma conveniente. Se ha de notar que los ceros pueden añadirse o retirarse fuera de las muestras activas.

(ii): computar num_periodos = límite (Tframe/(m*Tm)), donde “límite” significa redondear al número entero más cercano.

(iii) repetir de forma cíclica cada tramo num_periodos veces de tal manera que se tiene una “señal marginal extendida” para cada fotograma que tiene una duración total de al menos Tframe. Se ha de notar que la señal marginal extendida siempre tiene una duración que es más grande que Tframe, y que es un múltiplo de número entero de Tm.

En el ejemplo, Tm = 158 ms; Tframe = 33,36, de manera que m=1 y num_periodos = 1, y cada fotograma se extiende mediante ceros para obtener un tramo de 158 ms (= 1 periodo del mensaje). Se ha de notar que la observación útil actual en cada fotograma (tramo) es sólo una fracción de aproximadamente 0,03 de un mensaje completo, indicada por la barra 48 la figura 14. Se puede decir que la huella de la fuente con respecto a un mensaje, FSM, ~0,03.

Se ha de notar que en modos de realización no es necesario utilizar dos números enteros m y num_periodos separados. El punto es determinar un período de tiempo que sea un múltiplo de número entero de la longitud del mensaje (duración) Tm, y que se más largo que la longitud del fotograma (duración) Tframe. Este periodo define una escala de tiempo de referencia o un fotograma de referencia dentro del cual las señales obtenidas a partir de fotogramas diferentes se pueden alinear, tal y como se describe ahora.

La alineación en el tiempo de las observaciones que se originan a partir de fotogramas diferentes se realiza utilizando Tframe y el DC del fotograma de referencia o escala ahora definidos determinados como se explica más abajo. La “señal marginal extendida” de cada línea es desplazada Tframe hacia la derecha (en la dirección de tiempo positiva) con respecto a la señal marginal extendida de su fotograma previo. Sin embargo, como las señales marginales extendidas fueron hechas un múltiplo de la duración del mensaje Tm, y debido a que el mensaje trasmitido se repite de forma cíclica, se puede reemplazar el desplazamiento de cada señal marginal extendida por un desplazamiento (de replegado) cíclico, por tanto obteniendo los resultados en la figura 15.

Es decir, tal y como se ha mencionado, la “extensión” discutió anteriormente proporciona un periodo de referencia de sincronización, que define un fotograma de trabajo o escala dentro del cual se posiciona las señales obtenidas desde cada fotograma. Este periodo de referencia tiene una longitud que es un múltiplo de número entero de la duración del mensaje Tm. Además, la escala o fotograma de trabajo define un replegado, es decir, más allá del final del periodo de referencia de sincronización, la escala o el fotograma de trabajo envuelve de vuelta hasta el comienzo del periodo de referencia. Por tanto en el desplazamiento de las señales de un fotograma dado justo por Tframe con respecto a su fotograma precedente provoca que una porción de esa señal de fotograma se desplace “fuera del final” o “fuera del lado a mano derecha) de la escala o fotograma de referencia (más allá del periodo de referencia de sincronización, es decir, más allá del múltiplo de número entero de Tm que ha sido definido para este propósito) entonces la porción de esa señal continúa reapareciendo en el comienzo de la escala o fotograma de referencia (comenzando desde un tiempo cero con respecto al periodo de referencia de sincronización).

Se ha de notar que en los modos de realización, necesita ser necesario “extender” las señales desde cada fotograma (las “señales marginales”) añadiendo ceros. Esto es sólo una forma de implementar la idea de crear un fotograma de replegado de referencia que es un múltiplo de número entero de la duración del mensaje Tm. Una forma equivalente de implementar o considerar esto podría ser que este periodo de referencia de temporización (que es un múltiplo de número entero de Tm) define un “lienzo” sobre el cual colocar las señales de cada fotograma, y sobre el cual desplazarlos sus múltiplos respectivos de Tframe de una manera replegada.

Se ha de notar también que en todas las señales marginales extendidas desplazadas de forma cíclica, el receptor mantiene el seguimiento de las localizaciones de las muestras activas originadas a partir de la fuente de luz codificada.

5

15

25

35

45

55

Teniendo resultados como en la figura 15, el receptor puede ahora, para cada muestra de tiempo del mensaje, buscar en la dirección vertical fotogramas que tengan una muestra de contribución válida en esa posición.

A partir de FSM que es de aproximadamente 0,03, se puede esperar que tome al menos (0,03)-1 ~33 fotogramas para recuperar un mensaje completo. Típicamente, debido a un solapamiento, en los modos de realización el receptor puede necesitar aproximadamente el doble de muchos fotogramas para una recuperación completa.

De la figura 16, se puede apreciar que el decodificador, en el ejemplo, necesita 70 fotogramas consecutivos para una reconstrucción de un mensaje completo (de una película de ~2 segundos). Dado que cada 70 fotogramas consecutivos dan una reconstrucción, un video de 100 fotogramas da 31 reconstrucciones diferentes (a pesar de que son dependientes).

La figura 17 muestra el resultado de la reconstrucción 48 (y la salida de la ecualización 50 de Wiener robusta) del primer mensaje reconstruido. La longitud de la barra 52 en negrita, en la parte superior de la figura indica cual fracción (~3%, ~5ms) del mensaje completo es obtenida a partir de un solo fotograma en este ejemplo.

En modos de realización adicionales, el procedimiento descrito anteriormente también puede tratar los denominados “fotogramas omitidos”. La suposición es que un fotograma posiblemente omitido es detectado conservando los tiempos de grabación de fotograma que son dados por la cámara. Si se omite un fotograma, la señal marginal correspondiente nos tendrá un soporte válido en las figuras 16 y 17. Por lo tanto, el algoritmo de reensamblado descartará de forma automática el fotograma correspondiente.

En más modos de realización adicionales, observando las correlaciones entre diferentes señales reconstruidas (31 de ellas en la figura 17), se pueden corregir las desviaciones de reloj entre el transmisor y el receptor. Si todos los relojes están en una perfecta sincronización (asumiendo un conocimiento perfecto de Tm y Tframe), estas señales reconstruidas diferentes serán alineadas perfectamente verticalmente (efectos de ruido diferentes del módulo). Una desviación de reloj se mostrará como un desplazamiento distinto de cero de la mejor correlación. De esta manera, el receptor se puede adaptar al reloj del transmisor. Resulta que este método funciona, incluso si la señal recibida está seriamente corrompida por la ISI provocada por el tiempo de exposición de la cámara.

El número mínimo de fotogramas requeridos con el fin de conseguir un reensamblado completo se describe ahora.

Se ha de considerar de nuevo lo que sucede para cubrir un mensaje con huellas si:

-la huella relativa α = Tfootprint/Tf = 0,4

-0 < α ≤ 1, (en la práctica, por ejemplo, 0 < α ≤ 0,88 debido a las líneas ocultas)

Si Tm es aproximadamente Tframe, la alineación de los mensajes se parece a la figura 18.

Si Tm es aproximadamente 1,5 veces Tframe, la alineación de los mensajes se parece a la figura 19.

Resulta que si α < 1, se obtienen huellas “no rodantes” y las duraciones de mensaje Tm son un múltiplo de la duración de fotograma Tf. Si α < 0,5, se obtienen huellas “cambiadas” si Tm es un múltiplo de la mitad de número entero de Tf (0,5, 1,5, 2,5...).

Tal y como se describió anteriormente en relación con la figura 8, es general si 1/(n+1) < α ≤ 1/n, donde n es un número entero, entonces se tienen duraciones de mensaje Tm no rodantes si:

imagen15

Se ha de notar que las singularidades para un m pequeño son más amplias que para un m más grande.

Para duraciones de mensaje no rodantes Tm=T0, se define m0, el m más pequeño de manera que m0∙T0=k0∙Tframe, como el orden del T0 no rodantes. CGD(m0, k0)=1.

Los números m0 y k0 determinan el patrón repetido y las huellas y mensajes en las inmediaciones de T0: aproximadamente k0 huellas no rodantes van en m0 mensajes.

Se ha de considerar un mensaje de duración Tm ~ T0 en las proximidades de una duración de mensaje no rodante T0: después de una vuelta de m0 mensajes, hay k0 huellas equidistantes separadas que cubren parcialmente el mensaje.

La parte no cubierta es: T0 – k0 ∙ α ∙ Tframe, dividido en k0 partes iguales de tamaño Tg, donde

imagen16

La figura 18 muestra una alineación en el tiempo de mensajes con huellas consecutivas donde α = 0,4; próximo a m0 = 1, k0 = 1, aquí el mensaje no discurre de forma significativa y cada fotograma de casi la misma parte del mensaje 5 (rodamiento sólo muy lentamente).

La figura 19 muestra una alineación en el tiempo de mensajes con huellas consecutivas en otro caso donde α = 0,4; próximo a m0 = 2, k0 = 3. Aquí sólo se ve “el cambio”.

10 Después de 1 vuelta de m0 mensajes, hay k0 huecos cada duración Tg que tienen que ser cubiertos por los desplazamientos incrementales de las huellas en las siguientes vueltas.

Considerando un desplazamiento ΔT de huellas desde una a la siguiente vuelta:

15 -se necesitan ~ 1+Tg / ΔT vueltas para cubrir el mensaje completo -1+Tg / ΔT vueltas corresponden a Nf = (1+Tg / ΔT) ∙ k0 fotogramas 20

imagen17

imagen18

Se ha de notar el comportamiento hiperbólico de Nf para Tm en las inmediaciones de To. Se ha de notar también el efecto de m0 y T0 en la “anchura” de una singularidad.

25 FILTRADO DE WIENER ROBUSTO

Lo siguiente describe otra parte del decodificador que permite a la implementación anterior tener un rendimiento considerablemente mejor y permitir al dispositivo ser utilizado con un rango de cámaras mucho más amplio.

30 Se introduce un filtro de Wiener robusto, que puede ser utilizado, por ejemplo, para ecualizar una señal que está corrompida mediante un filtro H(f) que tiene parámetros desconocidos, y mediante un ruido adicional. El Wiener robusto es un filtro constante que produce resultados óptimos en un sentido MSE, asumiendo que la distribución de probabilidad de los parámetros de filtro es conocida.

35 La teoría del filtro Wiener en sí misma es conocida en el procesamiento de señal digital, y ha sido utilizada de forma extensiva desde la Segunda Guerra Mundial. Los filtros Wiener pueden, por ejemplo, ser utilizados para la estimación de una señal distorsionada (linealmente) en presencia de ruido. Un filtro (ecualizador) Wiener entonces proporciona el mejor resultado (error medio cuadrático, MSE).

40 En el filtrado Wiener clásico (frecuencia-dominio), por ejemplo, la de-convolución, se tienen dos procesos X y No aleatorios de media cero, estacionarios, independientes tal y como se muestra en la figura 20.

En una aplicación típica, X representa una señal de entrada introducida en un filtro H (número 54 en la figura 20), y

45 No representa un ruido adicional añadido a la salida del filtro G. El filtro G Wiener (número 56) está dispuesto para ecualizar el filtro H, es decir, para deshacer el efecto del filtro H en la señal X de entrada en presencia del ruido N (para la mejor aproximación).

Una aplicación típica es la detección de luz codificada con una cámara de obturador rodante. En este caso, la señal

50 digital equivalente que procesa el problema corresponde a la restauración de una señal digital que ha sido filtrada mediante una función de caja temporal. Ver la figura 21. Es decir, la señal X de entrada representa la señal de luz codificada como se captura por la cámara de obturador rodante, y el filtro H representa el efecto de filtrado del proceso de adquisición del obturador rodante. Este filtro H es creado por la exposición de cada línea. Equivale a una función de caja (es decir, una función rectangular) en el dominio de tiempo con una anchura Texp, es decir, una

55 línea está expuesta durante un tiempo Texp, en cuyo tiempo captura la señal (la función de transferencia y el filtro H en el dominio de tiempo están “encendidas” de forma uniforme), y antes y después de que no capture ninguna señal (la función de trasferencia de H en el dominio de tiempo es cero). Una función de caja en el dominio de tiempo corresponde a una función de sincronización en el dominio de frecuencia. Un efecto de este filtro puede ser producir una interferencia entre símbolos. Por lo tanto de aquí en adelante, el filtro creado por Texp puede referirse en

60 términos de un efecto no deseado como un “filtro ISI”.

(La figura 21 y 22 también muestran como el ruido No puede considerarse como la suma de: (i) un término n1 de ruido en la entrada del filtro H que pasa a través del filtro H, y (i) un término n2 de ruido en una salida del filtro H).

La misión es encontrar un filtro G lineal que proporcione un error medio cuadrático mínimo estimado de X utilizando sólo Y. Para hacer esto el filtro G Wiener es configurado previamente basándose en un conocimiento asumido del filtro H que se va a ecualizar (es decir, sin hacer), así como No. Está configurado de forma analítica de tal manera que, en un conocimiento dado teórico de H y el espectro de X y N), aplicando el filtro G Wiener a Y (donde y es la señal X de entrada más el ruido N) resultará en una señal X^ de salida que minimiza el error medio cuadrático (MSE) con respecto a la señal X de entrada original.

La formulación del filtro Wiener clásico (en el dominio de frecuencia) es:

10

imagen19

donde S(f) es la densidad espectral de la señal X de entrada y N(f) es la densidad espectral del término No de ruido.

Tal y como se puede apreciar, la formulación del filtro Wiener comprende una representación del filtro que se va a

15 ecualizar, en este caso, en la forma de H* y |H|2 (=HH*). Tradicionalmente en el filtro Wiener clásico, se asume que H(f), el filtro que se va a ecualizar, y N(f), la densidad espectral de ruido, son exactamente conocidos. En el caso de ecualizar el filtro ISI creado por un proceso de adquisición de obturador rodante, esto implica un conocimiento exacto de Texp. También se asume que las densidades S(f) y No(f) espectrales de los procesos X y N son respectivamente conocidas.

20 Sin embargo, los filtros Wiener son de hecho muy sensibles a errores en la estimación de H(f). Se han desarrollado algunas técnicas en el pasado para tratar una distorsión desconocida, tales como

-enfoques iterativos (que lleva mucho tiempo), en donde se intenta variar la respuesta objetivo hasta que se alcanza 25 el mejor resultado, o

-enfoques mínimo/máximo, en donde se intenta identificar el peor caso de H(f) y se optimiza el filtro Wiener para esto.

30 Un problema por lo tanto de utilizar el filtrado Wiener clásico para la realización, está en aplicar esta teoría si la ganancia del filtro tiene que ser grande y el filtro que se va a ecualizar no es conocido de forma muy precisa.

Por ejemplo, para un ancho de banda de la señal en el orden de 1 kHz con Texp en el rango de 1/30 de un segundo, el filtro ISI puede introducir una interferencia entre símbolos (ISI) se verá como se muestra en las figuras 11 y 12.

35 Con el fin de deshacer esta ISI en el lado del receptor, sería deseable proporcionar un filtro de ecualizador “potente” que sea insensible a imprecisiones en la definición de H(f).

De acuerdo con la presente divulgación, esto se puede lograr computando un “filtro Wiener promedio” fijo, un filtro de 40 tipo Wiener que es robusto bajo variaciones conocidas del filtro H(f) ISI . Este “filtro Wiener robusto” produce una salida más óptima en términos de MSE, dada una distribución estadística de los parámetros relevantes de H(f).

En una aplicación para una luz codificada, esta teoría permite reconstruir una señal de luz codificada donde el Texp de la cámara es sólo conocido de forma aproximada, lo que puede ser, a menudo, el caso.

45 Los inventores han encontrado una derivación particularmente eficiente de un filtro Wiener robusto óptimo. A continuación, se describe el problema en el dominio de frecuencia (por tanto en términos de H(f), tal y como se introdujo antes). Se ha de notar que en una aplicación para la luz codificada, el filtro Wiener robusto puede ser construido en tiempo real en un algoritmo de decodificación basado en una cámara (teléfono inteligente), como

50 Texp, y por lo tanto H(f) se define o cambia durante la lectura actual de una lámpara.

El filtrado Wiener robusto se basa en la notificación de que H(f) no es conocido exactamente, pero puede ser de hecho dependiente de al menos una cantidad θ desconocida, es decir, un parámetro de H cuyo valor no es conocido y que puede de hecho en cualquier caso dado, encontrarse dentro de unos rangos de valores, por ejemplo, entre

55 dos límites –Δ y +Δ (de forma más general Δ1 y Δ2). Es decir, se asume que el filtro H(f,θ) depende de un parámetro θ aleatorio, independiente de X y N.

Para una función de caja de anchura θ, es decir, una sincronización en el dominio de frecuencia, se puede escribir:

imagen20

Y en el caso de un filtro ISI creado por la caja, θ es Texp.

imagen21

imagen22

Para aplicar esto, resta la computación de . Algunos ejemplos son dados más abajo.

Un primer enfoque es utilizar una expansión de series de Taylor de H y momentos de θ. En la aplicación de obturador rodante de luz codificada θ = Texp.

imagen23

10 Una expansión de series de Taylor da:

imagen24

En la aplicación de obturador rodante:

Entonces:

imagen25

Este enfoque funciona mejor para frecuencias bajas dado que H’’(f,θ) salta con la frecuencia creciente.

Un segundo enfoque es utilizar una computación más exacta asumiendo una distribución de θ conocida. Ejemplo: θ 25 está distribuida uniforme entre θ^-Δ y θ ^+Δ, y

imagen26

Entonces:

imagen27

5 Aunque lo anterior ha sido descrito en términos de una cierta modificación a la formulación del dominio de frecuencia Wiener clásica, puede haber otras formulaciones de filtro Wiener (, por ejemplo dominio de tiempo o aproximaciones de un filtro Wiener o formulaciones resueltas para un H) particular y el principio de reemplazar un H que se va a conocer, asumido, o una función de, con un H promedio o función de H también se puede aplicar en dichas formulaciones.

10 Se ha de notar también que el filtro Wiener robusto divulgado en el presente documento se puede utilizar para ecualizar otros filtros distintos de un filtro de caja (rectangular, y/o en otras aplicaciones distintas de la recepción de una luz codificada. Otro ejemplo es un filtro de paso de banda que tiene una frecuencia f0 central que puede que no sea exactamente conocida. En este caso, el filtro que se va a ecualizar es una función de la frecuencia f y la

15 frecuencia f0 central, H(f;f0), y el filtro Wiener robusto es determinado a partir de una representación promediada de H(f;f0) promediada con respecto a f0. Por ejemplo:

imagen28

20 Además, la idea del filtro Wiener robusto también se puede extender a una theta dimensional más alta, es decir, se puede permitir que más de un parámetro sea desconocido. En este caso, la representación del filtro H que se va a ecualizar (por ejemplo H* y HH*) es promediada sobre cada una de las cantidades desconocidas. Por ejemplo, los parámetros pueden ser la frecuencia central y/o el ancho de banda de un filtro de paso de banda.

25 Además, el término No de ruido podría de forma alternativa o de forma adicional representar la densidad espectral de una señal de interferencia. Un término genérico para el ruido y/o interferencia es la “disturbancia”.

Se apreciará que los modos de realización anteriores han sido descritos sólo a modo de ejemplo. Se pueden entender y efectuar otras variaciones a los modos de realización divulgados por los expertos en la materia llevando a 30 la práctica la invención reivindicada, a partir de un estudio de los dibujos, la divulgación, y las reivindicaciones adjuntas. En las reivindicaciones, la palabra “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un/uno/una” no excluye una pluralidad. Un procesador único u otra unidad pueden cumplir las funciones de varios objetos enumerados en las reivindicaciones. El mero hecho de que ciertas medidas son enumeradas en reivindicaciones dependientes mutuamente diferentes no indica que una combinación de esas medidas no se pueda

35 utilizar como una ventaja. Un programa de ordenador se puede almacenar y/o distribuir en un medio adecuado, tal como un medio de almacenamiento óptico, o un medio de estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tal como a través de Internet u otros sistemas de telecomunicaciones cableados o inalámbricos. Cualquier signo de referencia en las reivindicaciones no debería considerarse como que limita el alcance.

40

Claims

imagen1

imagen2