ES2856208T3 - Dispositivo para visualizar una secuencia de imágenes y sistema para visualizar una escena - Google Patents

Abstract

Un dispositivo de visualización de una secuencia de imágenes en forma de una matriz de píxeles, que comprende una unidad de control (102) acoplada operativamente a un proyector (104), comprendiendo la unidad de control (102) - una interfaz de entrada (101) configurada para recibir información asíncrona que representa, para cada píxel de la matriz, eventos relacionados con el píxel; y - un procesador (103a) configurado para controlar la activación de cada píxel de la matriz a momentos determinados por eventos respectivos indicados por la información asíncrona para dicho píxel; en el que el proyector (104) está dispuesto sobre un soporte (150) para iluminar los fotorreceptores del ojo durante el uso del dispositivo, y configurado para proyectar un flujo luminoso correspondiente a los píxeles activados por la unidad de control (102).

Description

DESCRIPCIÓN

Dispositivo para visualizar una secuencia de imágenes y sistema para visualizar una escena

Sector de la técnica

La presente invención se refiere a dispositivos de visualización de información visual a partir de información asíncrona.

Estado de la técnica

Desde hace varios años se comercializan dispositivos en forma de gafas que permiten al usuario ver una escena captada por una cámara en una pantalla en miniatura, fijadas en la montura o dispuestas en una lente. La cámara generalmente está fijada a la montura de las gafas para capturar una escena en el campo de visión del usuario, por ejemplo, para aplicaciones de realidad aumentada.

T ambién hay dispositivos para ayudar a la visión destinados a usuarios equipados con un implante visual que responde a la estimulación eléctrica. Algunos de estos dispositivos tienen forma de gafas en las que se monta una cámara que produce un flujo de vídeo enviado a una unidad de procesamiento de vídeo que codifica este flujo para generar una señal de estimulación eléctrica y una bobina externa para transmitir por inducción electromagnética a una bobina interna conectada a un implante de retina.

Sin embargo, estos dispositivos existentes no pueden ser utilizados por personas equipadas con un implante visual de fotodiodo o por personas que se hayan beneficiado de un tratamiento optogenético. De hecho, los implantes o los métodos de tratamiento optogenético requieren señales de estimulación de luz de una intensidad mucho mayor que la de la luz ambiental. Un implante de ayuda para la visión colocado debajo del ojo, que generalmente comprende un electrodo alrededor del cual se colocan de uno a tres fotodiodos, funcionará eficazmente solo si estos fotodiodos reciben una luz siete veces más potente que la de la luz ambiental, de modo que los fotodiodos puedan emitir un estímulo. Asimismo, los tratamientos optogenéticos actuales solo son totalmente efectivos si el ojo tratado recibe señales de luz con una longitud de onda específica y una intensidad de luz que varía de dos a siete veces la de la luz ambiental. Por tanto, las potencias luminosas necesarias son tan elevadas que el uso de métodos de visualización implementados en dispositivos convencionales, a estos niveles de potencia, provocaría lesiones en los órganos visuales de los usuarios.

Por tanto, existe la necesidad de dispositivos de visualización de una escena que no tengan los inconvenientes de los métodos convencionales descritos anteriormente. En particular, una primera necesidad es proporcionar dispositivos de visualización de una escena que sea posible utilizar para aplicaciones en el campo de la visión asistida. Otra necesidad es proporcionar dispositivos de visualización de una escena que sean compatibles con su uso por personas equipadas con un implante visual de fotodiodo y/o por personas que se han beneficiado de un tratamiento optogenético.

Objeto de la invención

Según un primer aspecto, se proporciona un dispositivos de visualización de una secuencia de imágenes en forma de matriz de píxeles, que comprende una unidad de control acoplada operativamente a un proyector, comprendiendo la unidad de control una interfaz de entrada configurada para recibir información asíncrona que representa, para cada píxel de la matriz, eventos relacionados con el píxel y un procesador configurado para controlar la activación de cada píxel de la matriz en momentos determinados por eventos respectivos indicados por la información asíncrona para dicho píxel. El proyector del dispositivo de visualización propuesto está dispuesto sobre un soporte para iluminar los fotorreceptores del ojo durante el uso del dispositivo y configurado para proyectar un flujo luminoso correspondiente a los píxeles activados por la unidad de control.

Los eventos relacionados con el píxel pueden, según la realización, corresponder a variaciones de luz para el píxel, a la detección de una forma de interés o a la detección de una primitiva, y más generalmente a cualquier tipo de información asíncrona para el píxel.

El uso de información asíncrona que representa eventos para generar comandos para la activación de los píxeles de una matriz tiene muchas ventajas. Estas resultan en particular del hecho de que estas señales no se muestrean a lo largo del tiempo de acuerdo con una frecuencia de reloj predefinida, tal como el reloj de los fotogramas en una señal de vídeo convencional. Proporcionan lo que se llama una representación de dirección-evento (en inglés "addressevent representation", AER) de una escena que se va a visualizar. Cada píxel corresponde a una secuencia de señales basada en eventos (en inglés, "event based'.

Los métodos para adquirir o sintetizar una secuencia de imágenes por fotogramas tienen el inconveniente de producir datos con una fuerte redundancia, debido a que cada fotograma representa una gran cantidad de píxeles de una imagen si no es una imagen completa, y que todos estos píxeles para los que la información no cambia de una imagen a otra, genera redundancias en los datos que representan la secuencia de imágenes. Esta redundancia solo puede eliminarse parcialmente mediante una codificación por compresión de una señal de vídeo convencional. Por el contrario, las señales asíncronas permiten obtener una representación muy compacta de los datos relativos a una secuencia de imágenes, debido a que estos datos, que representan eventos para un píxel (y no para todos los píxeles de una matriz o un gran número de ellos), no son redundantes de una imagen a otra.

La activación de un píxel a partir de información asíncrona se puede realizar respetando, con una resolución temporal cercana, el carácter asíncrono de la secuencia de eventos, de manera que se lleve a cabo una activación dirigida por evento (en inglés "event driven").

Así, el dispositivo propuesto permite la proyección hacia los fotorreceptores del ojo del usuario (fotorreceptores presentes de forma natural en el ojo y/o fotorreceptores de un implante visual) de un flujo de luz correspondiente a los píxeles activados de forma asíncrona. La activación asíncrona de los píxeles permite activar simultáneamente solo un pequeño número de píxeles (por ejemplo, un solo píxel o grupo de píxeles colocados) y, en consecuencia, estimular con un flujo luminoso solo una parte local de la zona de luz de los fotorreceptores. La intensidad de la luz de tal flujo, destinada únicamente a estimular un área localizada, se puede llevar entonces a los niveles requeridos para la aplicación prevista. En particular, la pequeña cantidad de datos que representan una secuencia de imágenes de una señal asíncrona de tipo AER permite aumentar la intensidad de las señales luminosas para la excitación de los fotorreceptores de una prótesis visual o de un órgano visual al que se ha aplicado un tratamiento optogenético.

En una realización, la unidad de control puede configurarse además para, después de la activación de un píxel de la matriz en un momento determinado por un evento indicado por la información asíncrona, repetir el comando de activación de dicho píxel sustancialmente en el mismo nivel de activación en los momentos definidos por una secuencia de actualización.

La activación de un píxel a partir de información asíncrona permite considerar la activación de un píxel solo cuando se detecta un evento correspondiente a este píxel en los datos de entrada que representan, por ejemplo, una secuencia de imágenes, y realizar activaciones de actualización solo a una frecuencia más baja que la de los métodos de visualización convencionales.

En una realización, la recepción de la información asíncrona puede comprender la recepción de una señal que transporta la información asíncrona y la orden de activación de un píxel comprende la detección en la señal de una información que representa un evento.

Además, la secuencia de actualización puede definir instantes de activación del píxel separados por un intervalo de tiempo. Este intervalo de tiempo entre la activación de un evento y una activación de actualización, o entre dos activaciones de actualización, puede determinarse, por ejemplo, en función de la persistencia retiniana del ojo humano. La persistencia retiniana del ojo humano constituye un umbral límite que es preferible no sobrepasar para realizar una visualización de actualización de píxeles, con el riesgo de deteriorar el confort visual del usuario. Por ejemplo, este intervalo de tiempo se elegirá entre 40 ms y 800 ms, y, preferiblemente, entre 40 ms y 150 ms, para evitar efectos de parpadeo, sabiendo que un intervalo de tiempo más largo corresponde a una frecuencia de actualización más baja y un flujo reducido de comandos de visualización. y cálculos asociados.

Según una realización del dispositivo, el proyector comprende una matriz de microespejos, una unidad para controlar la matriz de microespejos, una entrada de control para recibir órdenes de activación de píxeles y una entrada óptica para recibir un flujo luminoso.

Según una forma de realización del dispositivo, el soporte del proyector tiene la forma de un par de gafas, estando colocado el proyector sobre una superficie de las gafas.

Según otro aspecto, se proporciona un sistema de visualización de una escena, que comprende un subsistema de visualización acoplado operativamente a un subsistema de adquisición, en el que el subsistema de visualización comprende un dispositivo según el primer aspecto, y en el que el subsistema de adquisición comprende un sensor dispuesto frente la escena, acoplado operativamente a una unidad de procesamiento configurada para generar información asíncrona que representa eventos para cada píxel.

Según una realización del sistema, el sensor es un sensor de luz que comprende una óptica para adquirir la escena y una matriz de elementos fotosensibles.

Según una realización del sistema, el sensor se monta sobre el soporte del proyector de modo que la escena capturada corresponda sustancialmente al campo visual de un usuario del dispositivo.

Según una realización del sistema, el soporte del proyector tiene la forma de un par de gafas, el proyector está montado en una primera superficie de las gafas, el sensor está montado en la parte superior de la montura de las gafas y la unidad de control del dispositivo y la unidad de procesamiento del subsistema de adquisición están montadas sobre una segunda superficie de las gafas.

Como variante, se podría prever un sistema en el que el soporte del proyector sea en forma de unas gafas, el proyector esté montado en una primera superficie de las gafas, y el sensor, la unidad de control del dispositivo y la unidad del subsistema de adquisición se montan en una segunda superficie de las gafas.

Descripción de las figuras

Otras características y ventajas de la presente invención aparecerán en la siguiente descripción de realizaciones no limitantes, con referencia a los dibujos adjuntos, en los que:

La figura 1 es un diagrama de bloques de un dispositivos de visualización de una secuencia de imágenes según una realización del dispositivo propuesto;

la figura 2 es un diagrama de bloques de un dispositivo de proyección según una realización del dispositivo propuesto;

la figura 3 es un diagrama de bloques de un subsistema óptico de un dispositivo de proyección según una realización del dispositivo propuesto;

las figuras 4a y 4b son diagramas de bloques de un subsistema óptico de un dispositivo de proyección según realizaciones particulares del dispositivo propuesto;

las figuras 5a, 5b, 5c y 5d ilustran pares de gafas sobre las que se monta un dispositivo de visualización de una secuencia de imágenes y un sensor de luz según realizaciones del dispositivo y del sistema propuesto;

las figuras 6a y 6b son diagramas que ilustran métodos de control de activación de píxeles implementados por el dispositivo y sistema proporcionados en una realización;

las figuras 7a y 7b son diagramas que muestran una secuencia temporal de eventos recibidos en una señal asíncrona para la implementación del dispositivo y sistema propuestos;

las figuras 7c y 7d son diagramas que muestran una secuencia temporal de comandos de activación de píxeles generados de acuerdo con realizaciones particulares del dispositivo y sistema propuestos;

la figura 8 es un diagrama de bloques de un sistema para visualizar una escena según una realización del sistema propuesto;

la figura 9a es un diagrama de bloques de un dispositivo de adquisición de luz capaz de generar una señal asíncrona según una realización del sistema propuesto;

la figura 9b es un diagrama que muestra un ejemplo de un perfil de intensidad de luz a nivel de píxel de un sensor asíncrono;

la figura 9c muestra un ejemplo de una señal entregada por el sensor asíncrono en respuesta al perfil de intensidad de la figura 9b;

la figura 9d ilustra la reconstrucción del perfil de intensidad a partir de la señal de la figura 9c;

Descripción detallada de la invención

En la siguiente descripción detallada de las realizaciones de la invención, se presentan numerosos detalles específicos para proporcionar una comprensión más completa. Sin embargo, un experto en la técnica puede apreciar que las realizaciones se pueden practicar sin estos detalles específicos. En otros casos, las características bien conocidas no se describen en detalle para evitar complicar innecesariamente la descripción.

La invención se describirá a continuación en el contexto no limitativo de información asíncrona que representa, para un píxel de una matriz de píxeles, eventos correspondientes a variaciones de luz para el píxel. Sin embargo, los dispositivos y sistemas propuestos no se limitan a esta realización particular, pudiendo los eventos relacionados con el píxel, según la realización, corresponder a variaciones de luz para el píxel, a la detección de una forma de interés o a la detección. de una primitiva, y más generalmente a cualquier tipo de información asíncrona para el píxel.

La figura 1 muestra un dispositivos de visualización de una secuencia de imágenes 100 que comprende una unidad de control 102 para controlar la activación de píxeles y un proyector 104 para proyectar un flujo luminoso sobre el ojo de un usuario.

A continuación, las imágenes que se van a visualizar se consideran en forma de una matriz de objetos elementales denominados píxeles.

En una realización del dispositivo propuesto, la unidad de control 102 comprende una interfaz de entrada 101 para recibir información asíncrona. La información asíncrona recibida en la interfaz de entrada (101) representa, para cada píxel de la matriz, eventos correspondientes a variaciones de luz para el píxel. Por lo tanto, corresponde a una secuencia de imágenes, cada una considerada en forma de matriz de píxeles.

La interfaz de entrada 101 puede configurarse para recibir información asíncrona en diferentes formas o formatos, correspondientes a diferentes realizaciones del dispositivo. También se puede proporcionar de acuerdo con varios formatos estándar, como, por ejemplo, el formato USB (en inglés, Universal Serial Bus). El dispositivo propuesto no se limita a un formato particular de información asíncrona, un vector de esta información (por ejemplo, una señal asíncrona que transporta información representativa de un flujo de eventos) o un formato específico de interfaz de entrada.

De hecho, la información asíncrona se puede generar por diferentes medios. Por ejemplo, puede ser transportada por una señal asíncrona producida por un sensor de visión asíncrono y recibida en la interfaz de entrada (101). También puede resultar de la codificación de una secuencia de imágenes sintéticas que producen un conjunto de datos recibidos en la interfaz (101).

En general, la información asíncrona representa eventos relacionados con los píxeles de la matriz. En una realización particular, el elemento de información asíncrono indica, o señala, eventos relacionados con uno o más píxeles. Por ejemplo, puede comprender datos que identifiquen eventos con sus respectivas características.

Según una realización, la información asíncrona para un píxel puede ser transportada por una sucesión de pulsos o líneas, positivas o negativas, posicionadas en el tiempo en los momentos t^k dependiendo del perfil de luz del píxel. Estas líneas se pueden representar matemáticamente mediante picos de Dirac positivos o negativos y cada una se caracteriza por un momento de emisión t^k y un bit de signo. La información correspondiente a un evento para un píxel puede comprender una primera información relacionada con un momento en que se produce el evento, y una segunda información relacionada con una característica de luz para el píxel en ese momento.

La forma de la información asíncrona para un píxel puede ser diferente de una sucesión de picos de Dirac, los eventos representados pueden tener cualquier ancho temporal o cualquier amplitud o forma de onda.

La interfaz de entrada 101 recibe así en esta realización, para cada píxel de posición p = (x; y), datos que representan una serie de pulsos binarios, que pueden ser modelados por eventos de ENCENDIDO o APAGADO generados asíncronamente en tiempos respectivos t^k.

La información correspondiente a un evento incluye información de posición del píxel para el que ocurrió el evento (por ejemplo, el par (x; y) de números de fila y columna en la matriz de píxeles), información del momento en que ocurrió el evento (por ejemplo un valor discreto de tiempo con respecto a una referencia) y una información del tipo de evento (por ejemplo, un bit para codificar eventos de dos tipos).

En una realización particular, la interfaz de entrada 101 se puede configurar para recibir una señal asíncrona que transporta información representativa de un flujo de eventos, cada uno definido por un cuadruplete e(x; y; t; ENCENDIDO/APAGADO) que da la posición p = (x; y) del píxel al que está asociado el evento, el momento t en el que se detectó el evento y el tipo (ENCENDIDO o APAGADO) del evento.

En otra realización particular, la señal asíncrona recibida en la entrada de la interfaz 101 transporta información representativa de un flujo de eventos donde cada evento está definido por un cuadruplete e(x; y; t; g) que da la posición p = (x; y) del píxel con el que está asociado el evento, el momento t en el que se detectó el evento y un nivel de gris g asociado con el evento.

La unidad 102 de control comprende además una unidad 102a de procesamiento de datos que incluye un procesador 103a acoplado operativamente a una memoria 103b así como a la interfaz 101 de entrada. Dependiendo de la realización, la memoria 103b puede contener instrucciones de software que, cuando son ejecutadas por el procesador 103a de la unidad de procesamiento de datos 102a, hacen que esta unidad 102a realice o controle las partes de la interfaz de entrada. 101, comando de activación de píxeles de acuerdo con los diversos métodos aquí descrito, y la transmisión de comandos al proyector 104. La unidad de procesamiento 102a puede ser un componente que implementa un procesador o una unidad de cálculo para la generación de comandos de activación de píxeles según los diversos métodos descritos y el control de las interfaces de entrada 101 y del proyector 104 del dispositivo 100.

Además, la interfaz de entrada 101, la unidad de procesamiento de datos 102a, el procesador 103a y/o los medios de memoria 103b pueden implementarse, por separado o conjuntamente, en forma de software, como se ha descrito anteriormente, en forma de hardware, tal como una aplicación específica. circuito integrado (ASIC), o en forma de una combinación de elementos de hardware y software, como por ejemplo uno o más programas de software destinados a ser cargados y ejecutados respectivamente en uno o más componentes del tipo FPGA (del inglés, Field Programmable Gate Array). Pueden implementarse, por separado o en conjunto, en forma de circuito electrónico, o bien dentro de uno o más componentes electrónicos (en inglés, chip o chipset).

Asimismo, pueden contemplarse diferentes modos de implementación del dispositivo 100. Por ejemplo, la interfaz de entrada 101, la unidad de procesamiento de datos 102a y/o los medios de memoria 103b pueden implementarse en un módulo electrónico de procesamiento de información asíncrono acoplado operativamente a un módulo de proyección electrónico que implementa los componentes del proyector 104.

La unidad de control 102 genera comandos de activación de píxeles cuyo formato está adaptado a la interfaz de entrada del proyector 104.

En una realización particular del dispositivo, la interfaz de salida de la unidad de control 102 está configurada para generar una señal de salida de un formato adecuado para controlar un proyector de vídeo usando la tecnología de matrices de microespejos (en inglés DMD, "Digital Micromirror Device"). A este tipo de proyector a veces se le conoce con el acrónimo DLP, de "Digital Light Processing', y funciona con una fuente de luz que ilumina una matriz de microespejos que vibran según la cantidad de luz a reflejar. Las vibraciones de cada espejo tienen lugar alrededor de dos posiciones que corresponden, respectivamente, a inclinaciones alrededor de un eje, una en la que la luz es reflejada por el espejo hacia una óptica de salida, y la otra en la que la luz es reflejada por el espejo hacia una superficie absorbente y, por lo tanto, no proyectada. Cada espejo de la matriz DMD proyecta luz para un píxel de la matriz de píxeles que forma la imagen proyectada.

Algunos proyectores DLP son además capaces de iluminar píxeles con diferentes niveles de gris y, por lo tanto, pueden recibir comandos de activación para cada píxel, incluida información relativa al nivel de gris con el que se va a iluminar el píxel. Por ejemplo, es posible utilizar un proyector DLP capaz de gestionar 1024 niveles de gris y proporcionarle comandos de activación según los métodos descritos en los que el nivel de gris de iluminación de un píxel se codifica en 10 bits.

La figura 2 muestra un ejemplo de implementación del proyector 104 según una realización particular del dispositivo propuesto utilizando un proyector DLP.

El proyector 104 incluye una interfaz de entrada 111, una unidad de controla de matriz DMD 112 y un subsistema óptico 113 que comprende la matriz DMD.

La interfaz de entrada 111 está acoplada operativamente a la unidad de control 102 de la figura 1 y está adaptada para recibir comandos de activación de píxeles generados por la unidad de control 102. Este acoplamiento se puede proporcionar de acuerdo con varios formatos estándar, tal como, por ejemplo, el formato USB (Bus Universal en Serie, en inglés, Universal Serial Bus).

La unidad de control de matriz DMD controla el posicionamiento de cada espejo en la matriz DMD en función de los comandos de activación de píxeles recibidos por la interfaz 111.

La resolución espacial para controlar los microespejos se puede elegir dependiendo de la aplicación prevista y del tamaño de la matriz de microespejos del DMD utilizado. Por ejemplo, se puede mantener una resolución espacial del orden de un píxel e iluminar un píxel sin activar a sus vecinos, y, por tanto, activar un único microespejo. En otra realización, también es posible agrupar píxeles en paquetes, por ejemplo de 3 x 3 píxeles, para generar diferentes niveles de gris en función del número de píxeles activados en el paquete, y activar los correspondientes microespejos.

Además, la interfaz de entrada 111 se puede configurar para recibir comandos de activación de píxeles en diferentes formas o formatos, correspondientes a diferentes realizaciones del dispositivo. El dispositivo propuesto no se limita a un formato de control de activación de píxeles en particular, o un formato de interfaz de entrada específico. El formato de los comandos de activación de píxeles se proporcionará, preferiblemente, compatible con la interfaz de entrada 111 y la unidad de control 112.

Por ejemplo, los comandos de activación de píxeles recibidos por la interfaz de entrada 111 pueden, en una realización, solo concernir a un solo píxel de la matriz, ya que la interfaz de entrada 111 y la unidad de control 112 son capaces de operar en modo de direccionamiento de píxeles individuales.

Sin embargo, en otra realización del dispositivo, es posible utilizar un proyector que opera en modo fotograma, aprovechando los altos valores (en comparación con otros tipos de proyectores) de resolución temporal de los proyectores DLP existentes (1440 Hz, 4 KHz, 22 KHz). En este modo de funcionamiento, los comandos de activación comprenderán fotogramas en los que solo se iluminan los píxeles sujetos al comando de activación.

La unidad de control 112 comprende una unidad de procesamiento de datos que comprende un procesador acoplado operativamente a una memoria (no mostrada en la figura). Dependiendo de la realización, la memoria puede contener instrucciones de software que, cuando son ejecutadas por el procesador de la unidad de procesamiento de datos, hacen que esta unidad realice o controle las partes de interfaz de entrada 111 y de control DMD. La unidad de procesamiento puede ser un componente que implementa un procesador o una unidad de cálculo para la generación de comandos de control de DMD y el control de la interfaz de entrada 111.

Además, la interfaz de entrada 111 y los diferentes componentes de la unidad de control 112 pueden implementarse, por separado o conjuntamente, en forma de software, como se ha descrito anteriormente, en forma de hardware, tal como un circuito integrado específico de la aplicación (ASIC). o en forma de una combinación de elementos de hardware y software, como, por ejemplo, uno o más programas de software destinados a ser cargados y ejecutados respectivamente en o más componentes del tipo FPGA (del inglés, Field Programmable Gate Array). Pueden implementarse, por separado o en conjunto, en forma de circuito electrónico, o bien dentro de uno o más componentes electrónicos (en inglés, chip o chipset).

La figura 3 ilustra la arquitectura del subsistema óptico del proyector 104 según una realización particular del dispositivo propuesto.

La figura 3 muestra una fuente de luz (20) dispuesta para emitir en la dirección de una matriz de microespejos (21) una señal de proyección óptica. Esta señal de proyección óptica se adapta según la aplicación implementada por el dispositivo y la normativa vigente. Por ejemplo, en el caso de la utilización del dispositivo por una persona dotada de un implante de fotodiodos visuales, la señal óptica de proyección se adaptará para proporcionar una intensidad de luz por píxel que permita estimular los fotodiodos del implante. Asimismo, en el caso de la utilización del dispositivo por parte de una persona que se haya beneficiado de tratamientos optogenéticos, la señal óptica de proyección se adaptará para proporcionar una intensidad de luz por píxel en longitudes de onda específicas de esta aplicación que permita estimular la zona tratada. Por tanto, la fuente de luz (20) se elige en particular con un rango espectral y una intensidad que corresponda a la aplicación prevista. La fuente de luz (20) puede ser, por ejemplo, una fuente de láser o también una fuente de luz incoherente. De forma preferente se elige portátil, de modo que el usuario del dispositivo propuesto pueda transportar fácilmente el dispositivo y todos los elementos que lo acompañan (fuente de luz, fuente o fuentes de alimentación eléctrica(s(, etc.).

Además, la fuente de luz (20) puede ser desviada y la señal óptica de proyección que proviene de ella transportada para iluminar el conjunto de microespejos, por ejemplo mediante una fibra óptica (no mostrada en la figura). En este caso, la fuente de luz (20) puede incluir un diodo láser acoplado a una fibra óptica para transportar la señal de luz al componente DMD.

Una primera lente de colimación (22) permite obtener una señal óptica de proyección enfocada en toda la superficie de la matriz de microespejos utilizados. Por tanto, esta lente estará dispuesta y posicionada en función del componente DMD (21) elegido y de la fuente de luz (20).

El haz de luz de la primera lente (22) ilumina la matriz de microespejos, que se coloca de manera que los microespejos, colocados para reflejar la luz hacia una óptica de salida, reflejen la luz según una dirección elegida para iluminar la zona del ojo en la que se encuentran los fotodetectores a estimular (ya sean fotodetectores naturales, tratados o no por optogenética, o fotodetectores de un implante). Preferiblemente, se elegirá una disposición del subsistema óptico que permita iluminar localmente la zona foveal del ojo.

En una realización, la matriz de microespejos se coloca de modo que los microespejos reflejen la luz hacia una óptica de salida en una dirección sustancialmente alineada con el eje óptico del ojo.

Una segunda lente colimadora (23) permite captar la luz reflejada por un microespejo o un grupo de microespejos coubicados en un haz de luz con una sección de dimensiones correspondientes a la del área del ojo a iluminar. Preferiblemente, la segunda lente estará dispuesta de modo que el haz de luz que emerge de ella ilumine localmente esta zona del ojo en una parte correspondiente a la posición del microespejo o del grupo de microespejos en la matriz DMD.

De hecho, la óptica del ojo funciona como una lente de enfoque cuyo plano focal del objeto corresponde a la zona foveal. Por tanto, el haz procedente de la segunda lente 23 se enfoca para estimular localmente la zona foveal.

También es posible, en una realización particular, añadir a la segunda lente 23 una lente de enfoque para corregir defectos de visión, como, por ejemplo, una lente líquida que permita enfocar objetos que se encuentran a una distancia que puede oscilar entre diez centímetros hasta el infinito. Esta lente líquida se puede controlar, por ejemplo, mediante un potenciómetro que permita al usuario del dispositivo elegir entre varios modos de visualización, como, por ejemplo, la visión de cerca, visión a 1,50 m y la visión de lejos.

En una realización, el haz procedente de la segunda lente 23 está dimensionado para iluminar un área un poco más grande que el área foveal. El haz puede, por ejemplo, tener un diámetro del orden de 4,5 mm para evitar la pérdida de iluminación de la zona foveal cuando el ojo se mueve.

La figura 4a ilustra una primera realización del subsistema óptico del proyector.

En la Figura 4a se expone una lente 32 de colimación combinada con una matriz de lentes (en inglés, microlens array) 35 para concentrar la luz de un haz de luz 34a de una fibra óptica de transporte acoplada a una fuente de luz (no mostrada en la figura), en una señal óptica de proyección 34b capaz de iluminar el conjunto de microespejos de la matriz de microespejos (DMD) 31 con las características (en particular potencia y longitud de onda) requeridas.

La matriz de lentes permite limitar la difracción generada por la gran cantidad de microespejos. Por tanto, en una realización del subsistema óptico del proyector que utiliza un componente DMD, se puede insertar una matriz de lentes en la trayectoria de la luz, posiblemente combinada con una modulación realizada en la fibra óptica, para reducir el efecto de moteado.

Una unidad óptica compuesta por una lente 36 y un prisma óptico 37 permite desviar la dirección de la señal óptica de proyección en un ángulo correspondiente al ángulo de giro de los espejos del DMD a lo largo de su eje de giro. Por ejemplo, algunos componentes DMD funcionan con microespejos que giran alrededor de un eje en un ángulo de 12°.

Por lo tanto, reflejan la luz en una dirección que está separada 12° del eje perpendicular a la matriz. La emisión de luz hacia la matriz con un ángulo de 12° compensa esta diferencia.

La señal óptica de proyección 34b se refleja entonces en un espejo dicroico 38 (divisor de haz polarizado, en inglés, polarized beam splitter) para ser dirigido hacia la matriz de microespejos 31. Una placa de cuarto de onda 39 (en inglés, quarter wave plates) se coloca entre la matriz de microespejos 31 y el espejo dicroico 38 en el camino de la señal de estimulación óptica 34c resultante de la reflexión de la matriz de microespejos 31 para cambiar la polarización de la señal 34c para que pueda pasar a través del espejo dicroico 38 a la óptica de salida.

La óptica de salida comprende una ventana óptica 40 y una segunda lente colimadora 33 que desempeña un papel correspondiente al de la segunda lente colimadora 23 de la figura 3.

La figura 4b ilustra una segunda realización del subsistema óptico del proyector.

El haz de luz 54a, por ejemplo generado por un diodo láser y transportado por fibra óptica al subsistema óptico del proyector, es reflejado por un prisma óptico 52 ubicado en la entrada del subsistema óptico. La figura 4b muestra una lente colimadora 53, posiblemente combinada con una matriz de lentes, para concentrar la luz del haz de luz 54a procedente de una fibra óptica de transporte en una señal de proyección óptica 54b capaz de iluminar el conjunto de microespejos de la matriz de microespejos (DMD) 51 con las características (en particular, potencia y longitud de onda) requeridas.

Una unidad óptica compuesta por un espejo dicroico 59, de un primer prisma óptico 55 separado de un segundo prisma óptico 57 por una lente 56 permite guiar la señal óptica de proyección 54b hacia la matriz de microespejos del componente DMD 51. Como se ha indicado anteriormente, se compensa la diferencia de proyección introducida por el componente DMD colocando este último aparte en un ángulo correspondiente (en el ejemplo ilustrado en la figura, la diferencia angular es de 12°).

El camino de la señal de estimulación óptica 54c resultante de la reflexión por la matriz de microespejos 51 es el inverso al de la señal óptica de proyección 54b desde la matriz del componente DMD al espejo dicroico 59, donde la señal óptica de estimulación 54c se refleja de nuevo a la óptica de salida.

La óptica de salida comprende una unidad de ventana óptica y lente de colimación 58 que desempeñan un papel correspondiente al de la segunda lente colimadora 23 de la figura 3.

Los elementos 52, 53, 55, 58 y 59 descritos anteriormente también están representados en la figura 4c donde se puede ver la trayectoria del haz de luz 54a y de la señal de estimulación óptica 54c dentro de estos componentes visto bajo un ángulo diferente al mostrado en la figura 4b.

Las indicaciones de dimensiones de los distintos componentes indicados en la figura 4b ilustran un ejemplo de realización del subsistema óptico que permite obtener un equipo de tamaño muy reducido y suficientemente compacto como para poder montarlo en la cara interna de un cristal para gafas, como se describe a continuación.

Las dimensiones y las tolerancias asociadas que se muestran en las figuras 4b y 4c se expresan en mm.

Volviendo a las figuras 1 y 2, el proyector 104 está montado sobre un soporte para dirigir la señal óptica de estimulación desde el subsistema óptico del proyector al área del ojo que se desea iluminar.

Este soporte puede tener la forma de un par de gafas 150, como se ilustra en las figuras 5a, 5b y 5c, que muestran un módulo de proyector 104, 153 montado en la cara interior de una lente de un par de gafas.

Este soporte también puede tener forma de máscara o de casco, y, preferiblemente, estará conformado para poder colocarse en la cabeza del usuario, y el proyector dispuesto sobre el soporte para iluminar los fotorreceptores del ojo cuando se utilice el dispositivo.

La figura 5a muestra un par de gafas 150 en las que está montado un módulo 153 de proyector. El módulo del proyector comprende un subsistema electrónico y un subsistema óptico que se pueden producir de acuerdo con los ejemplos de implementación descritos anteriormente.

El proyector 153 ilustrado en la figura 5a comprende una interfaz 154 de acoplamiento de fibra óptica, una salida de señal óptica para estimular los fotorreceptores 155 y un bloque optoelectrónico 156 que comprende una serie de microespejos.

El módulo del proyector puede comprender un proyector DLP controlado mediante los métodos descritos a continuación, que puede comprender, por ejemplo, un componente DMD de tamaño 4,6 mm x 5,2 mm, y admitir una resolución de pantalla, es decir, un tamaño de la imagen mostrada en píxeles, de 608 x 684 píxeles (correspondiente al estándar WVGA) y una resolución temporal de hasta 1440 Hz. Estos componentes son de un tamaño suficientemente pequeño para permitir el montaje del módulo del proyector en un par de gafas como se ilustra en las figuras 5A, 5b y 5c.

A continuación se describen métodos para controlar la activación de píxeles que se pueden implementar dentro del dispositivo propuesto.

Con referencia a las figuras 1 y 6a, la unidad de control de activación de píxeles 102 controla independientemente cada píxel de una matriz de píxeles para la activación de este píxel. El dispositivo 100 recibe (500) a través de la interfaz de entrada 101 información asíncrona representativa de eventos correspondientes a variaciones de luz para el píxel.

Por ejemplo, para un píxel de posición (x^c , y^ü) en la matriz de píxeles (píxel colocado en la línea del índice x⁰ y en la columna del índice y⁰ en una matriz MxN, con x e {0, et y E {0, la información recibida incluirá información asíncrona para el píxel de posición (x⁰ , y^o).

La información asíncrona es procesada por la unidad de procesamiento de datos 102a para identificar un evento para el píxel con el fin de ordenar (501) una primera activación del píxel en un tiempo de activación determinado por el evento identificado.

La identificación de un evento puede apuntar a eventos caracterizados por un primer elemento de información que indica un momento en que se produce el evento, y un segundo elemento de información relacionado con una característica de luz para el píxel en un momento correspondiente. Por ejemplo, la identificación de un evento puede incluir la detección de dos picos o pulsos en una señal que transporta información asíncrona, indicando el primero un momento en que se produce el evento y el segundo un nivel de gris característico del evento para el píxel.

En la realización en la que los eventos se caracterizan por el momento de ocurrencia de una variación en la intensidad de la luz más allá de un umbral y la dirección de esta variación, el comando de activación puede incluir un nivel de iluminación del píxel determinado teniendo en cuenta la variación detectada aplicada al nivel de iluminación del comando de activación de píxeles anterior.

En la realización en la que los eventos se caracterizan por el momento de ocurrencia de una variación en la intensidad de la luz más allá de un umbral y un nivel de gris asociado con esta variación, la orden de activación puede incluir un nivel de iluminación del píxel correspondiente al nivel de gris determinado tras la detección del evento.

Por lo tanto, esta primera activación del píxel se controla al identificar un evento para un píxel utilizando la información asíncrona recibida en la entrada del dispositivo de visualización de una secuencia de imágenes 100. En una realización particular, la activación se controla tan pronto como se identifica un evento para un píxel, con el tiempo de procesamiento necesario para que el sistema 100 procese la información relacionada con el evento. Como variante, el sistema 100 podría mantener una referencia de tiempo de activación, sobre la base de la cual las activaciones de los píxeles se conducirán en tiempos correspondientes respectivamente a los eventos identificados para cada píxel. Como se ha descrito anteriormente, cada evento puede caracterizarse por un momento de ocurrencia y uno o más valores correspondientes a la información de luz respectiva (intensidad de luz, nivel de gris, color, etc.).

En una realización particular del dispositivo propuesto, se puede ordenar (502) una segunda activación del píxel después de la primera activación para repetir la última en momentos respectivos definidos por una secuencia de actualización. Por lo tanto, la primera activación puede ir seguida de una o más activaciones destinadas a actualizar la activación ordenada en la identificación de un evento.

Se puede prever que la secuencia de actualización defina momentos de activación del píxel separados por un intervalo de tiempo. Este intervalo de tiempo puede ser común al conjunto de los píxeles de la matriz o bien definido para cada píxel o para diferentes subconjuntos de píxeles. En particular, se puede determinar en función de la persistencia retiniana del ojo humano. Esto le permite elegir valores de intervalo de actualización lo suficientemente grandes como para evitar la visualización de información redundante a una frecuencia alta a expensas de la eficiencia del sistema, teniendo en cuenta la duración de la persistencia retiniana de la activación anterior. Por ejemplo, el intervalo de tiempo de actualización se puede elegir entre 40 ms y 150 ms, sabiendo que cuanto mayor sea el valor seleccionado, mayor será la eficiencia del comando de activación de píxeles, evitando aún más activaciones de redundancia.

Por tanto, se puede ordenar una segunda activación del píxel para efectuar una actualización de la activación del píxel durante el intervalo de tiempo así determinado y actual a partir de la activación del píxel después del comando de activación anterior.

Este comando de activación anterior puede ser un comando de activación en la identificación del evento como se ha descrito anteriormente, o bien un comando de activación de actualización en el caso, por ejemplo, donde no se ha producido una activación en la identificación del evento. Se ha ordenado por una duración correspondiente al intervalo de tiempo de actualización actual desde el activación previa del píxel.

La figura 6b ilustra una realización particular del método propuesto, en el que el dispositivo 100 de la figura 1 recibe una señal que transporta información asíncrona, procesa esta señal para detectar eventos y luego genera comandos de activación de píxeles transmitidos al proyector 104 usando un formato apropiado para este último.

Con referencia a las figuras 1 y 6b, el dispositivo de visualización de una secuencia de imágenes 100 recibe (400) a través de la interfaz de entrada 101 una señal asíncrona que lleva información representativa de eventos correspondientes a variaciones de luz para el píxel. La señal asíncrona es procesada por la unidad de procesamiento de datos 102a para detectar (401) información que representa un evento para el píxel.

Como se ha descrito anteriormente, de acuerdo con la realización del dispositivo propuesto, la detección de un elemento de información que representa un evento podría apuntar a eventos caracterizados por el momento en que se produce una variación en la intensidad de la luz más allá de un umbral (que podría ser, en una realización, específico del píxel) y la dirección de esta variación, o bien eventos objetivo caracterizados por el momento en que se produce una variación en la intensidad de la luz más allá de un umbral (que podría ser, en una realización, específico del píxel) y un nivel de gris asociado con esta variación.

La información que representa un evento para el píxel es procesada por la unidad de procesamiento de datos 102a para generar (402) una primera señal de control de activación de píxel. El carácter asíncrono de la señal de entrada del dispositivo de visualización de una secuencia de imágenes 100 será tanto más respetado como el tiempo de generación y transmisión de un comando para activar el píxel desde el momento en que se detecta un evento para el píxel será corto. Por tanto, se preferirá el procesamiento en tiempo real para obtener una activación casi instantánea en función de los eventos detectados para cada píxel.

El primer comando de activación, generado al detectar un evento para un píxel, se transmite al proyector 104 con el que se interconecta la unidad de control 102.

Como se ha descrito anteriormente, esta primera activación de píxel, realizada al detectar un evento para el píxel, podría ir seguida de una segunda activación destinada a actualizar la activación anterior en la detección de eventos. En este caso, la segunda activación da lugar a la generación (403) de un segundo comando de activación. Este segundo comando de activación se genera de tal manera que la activación que resulta de él permite el refresco de la activación realizada previamente para el píxel. Para hacer esto, se determina un intervalo de tiempo de actualización, cuya duración define la diferencia de tiempo máxima entre dos activaciones por píxel. Este intervalo de tiempo puede ser común al conjunto de los píxeles de la matriz o bien definido para cada píxel o para diferentes subconjuntos de píxeles. Por ejemplo, se puede determinar en función de la persistencia retiniana del ojo humano. Esto le permite elegir valores de intervalo de actualización lo suficientemente grandes como para evitar la visualización de información redundante a una frecuencia alta a expensas de la eficiencia del sistema, teniendo en cuenta la duración de la persistencia retiniana de la activación anterior.

Por lo tanto, se puede generar una segunda señal de comando de activación (403) para efectuar la actualización de la activación del píxel durante el intervalo de tiempo determinado de este modo y actual desde la activación del píxel que sigue al comando de activación anterior. Este comando de activación anterior puede ser un comando de activación en la detección de eventos como se ha descrito anteriormente, o bien un comando de activación de actualización en el caso, por ejemplo, en el que no se ha generado ningún comando de activación en la detección de eventos durante un período correspondiente al intervalo de tiempo de actualización actual desde la activación anterior.

Las figuras 7a y 7b ilustran una secuencia de señal asíncrona para un píxel y los correspondientes comandos de activación.

La figura 7a ilustra la información transportada por una muestra de señal asíncrona en la que los eventos para un píxel están representados en un eje de tiempo por picos de Dirac de amplitud G (t) correspondientes a un nivel de gris. En la figura 7a se representan cinco eventos e¹, e², e3, e4,y es, ubicados respectivamente en los tiempos te1, te2, te3, te4 y te5 con respecto a una referencia de tiempot0, con te¹ < te² < te3 < te4 < te5. Cada uno de los 5 eventos lleva información de nivel de gris para el píxel considerado anotado g (t = te ) con i = {1, 2, 3, 4, 5}

Estos valores de nivel de gris podrían resultar, por ejemplo, de la cuantificación de un valor de nivel de gris en niveles 2ncuant y codificarse en bits ncquant.

La figura 7b muestra una vista simplificada de la secuencia de eventos ilustrada por la figura 7a en la que los eventos están representados por picos de Dirac de amplitud constante. El intervalo de tiempo Atp se define en función de la persistencia retiniana del ojo y para corresponder a un intervalo de tiempo máximo que separa dos activaciones consecutivas del mismo píxel. En el ejemplo ilustrado en la figura 7b, las diferencias de tiempo entre dos eventos consecutivos no exceden la cantidad Atp, excepto por la diferencia entre los eventos e² y e3 te3 - te².

En el ejemplo de una secuencia de eventos ilustrada en las figuras 7a y 7b, es posible generar un comando de activación el píxel después de la detección del evento e¹ para una activación con las características (típicamente un nivel de gris) que lleva la señal asíncrona procesada para el evento e¹. Lo mismo se aplica a los eventos e², e3, e4 y e5 cuyas detecciones, en una realización, pueden dar lugar cada una a la generación de una orden de activación con características respectivas.

En una realización particular del método propuesto, también se generará un comando de activación para realizar una activación de actualización en un intervalo de tiempo predeterminado después de la activación del píxel tras la detección del evento e². Este comando de activación se puede generar, por ejemplo, si no se ha detectado ningún evento en el intervalo de tiempo [te²; te²+Atp] de duración Atp desde el momento te².

Como variante, se puede generar en cualquier momento durante la duración del intervalo de tiempo [te²; te²+Atp] de duración Atp desde el momento te².

La figura 7c muestra un ejemplo de una secuencia de comandos de activación generados según una realización del método propuesto aplicado a la secuencia de eventos de la figura 7a. Los comandos de activación están representados en la figura por picos de Dirac de amplitud variable. Muestra los comandos de activación Ce¹, Ce², Ce3, Ce4 y Ce5, correspondientes respectivamente a los eventos ei, e², e3, e4 y e5 de la figura 7a, generados respectivamente en los tiempos tcei, tce², tce3, tce4 y tce5. Cada uno de los comandos incluye información relacionada con el nivel de gris en el que debe iluminarse el píxel, indicado en la figura g(tei), con i = {1, 2, 3, 4, 5}.

Además de los comandos de activación que Cei genera al detectar un evento ei, se genera un comando de activación de actualización Cr, e² en el momento t'e²+Atp después de la no detección de un nuevo evento después del evento e² durante un tiempo Atp.

El comando de activación de actualización Cr,e² se puede generar con las mismas características de activación, y, por ejemplo, el mismo nivel de gris g (te²), que los incluidos en el comando de activación del evento Ce². Como variante, se puede generar el comando de activación de refresco Cr, e² con características de activación determinadas en función de las determinadas para el comando de activación en el evento Ce².

La actualización de los píxeles de la matriz también se puede realizar en grupos y puede haber una actualización sistemática y periódica de los píxeles de la matriz a una frecuencia de actualización predeterminada. La ventaja de esta realización es evitar la gestión individualizada de cada píxel con respecto a la actualización. La actualización de la matriz se repite luego a una velocidad al menos igual al intervalo de actualización más corto definido para un píxel.

De acuerdo con esta variante, la matriz de píxeles se actualiza periódicamente, mientras permanece completamente no correlacionada e independiente de la secuencia de comandos de activación en el evento. La generación del comando de actualización de activación es independiente de la del comando de activación en caso de evento y la frecuencia de actualización de activación se elige de modo que la diferencia entre una activación en evento de cada píxel y la activación de actualización inmediatamente posterior no exceda un intervalo de tiempo predeterminado Atp que, como se ha tratado anteriormente, puede elegirse de acuerdo con la persistencia retiniana del ojo humano del orden de 40 ms a 150 ms. Este modo de activación "mixto" permite combinar una activación sobre un evento que funciona de forma asíncrona con una activación periódica de actualización realizada de forma síncrona. Por lo tanto, dependiendo de la ocurrencia de eventos para cada píxel, la activación de actualización de píxel puede ocurrir en un período de tiempo muy corto después de la activación de un evento del píxel o al final de una duración predeterminada después de una activación en el evento del píxel definido como la diferencia máxima entre dos activaciones del píxel. Este modo mixto permite simplificar la gestión de la actualización de activación, al tiempo que limita, gracias a la activación en evento asíncrono para cada píxel, la activación de la información de redundancia, dado que la activación asíncrona permite elegir frecuencias de actualización bajas en comparación a los sistemas actuales.

Con referencia a la figura 1, cada generación de un comando de activación sobre un evento puede, por ejemplo, dar lugar al almacenamiento 103b por parte de la unidad de procesamiento de datos 102a de características de activación relativas al comando generado, de modo que estas características puedan ser recuperadas por la unidad 102 para la gestión de la activación de actualización.

La figura 7d representa esquemáticamente una serie de comandos de activación generados según otra realización del método propuesto aplicado a la secuencia de eventos de las figuras 7a y 7b.

Con referencia a la figura 7b, el evento e4 se detecta con un espaciado temporal te4 - te3 menor que el intervalo de tiempo Atmín. definido como el intervalo de tiempo mínimo que separa dos comandos de activación sucesivos en un evento del píxel.

La secuencia de comandos de activación de la figura 7d difiere de la secuencia ilustrada por la figura 7c en que no se genera ningún comando de activación para el evento e4, dado que la diferencia de tiempo entre el momento de detección de este evento y el momento de detección del evento inmediatamente anterior es menor que un umbral predefinido Amn..

La gestión del intervalo de tiempo de separación para cada píxel se puede llevar a cabo usando un temporizador, establecido en el valor Atmm. definido para el píxel y disparado en cada generación de un comando de activación en caso de evento para el píxel. Por ejemplo, un evento detectado mientras este temporizador no ha expirado para el píxel podría hacer que el evento se ignore y no genere un comando de activación de evento correspondiente.

Las características de activación transportadas por la información asíncrona para este evento ignorado también pueden ignorarse. Como variante, se podría proporcionar una implementación según la cual, aunque no se genere un comando de activación sobre un evento, las características de activación correspondientes al evento se registran en la memoria 103b para ser utilizadas posteriormente, por ejemplo, para la siguiente activación de actualización de píxeles.

Según la realización, se puede utilizar un solo temporizador para la gestión del intervalo de actualización y el del intervalo de separación. Este temporizador se puede iniciar en cada generación de un comando de activación para el píxel, registrando en la memoria un indicador que permite distinguir los comandos de activación en caso de evento de los comandos de activación de actualización.

La figura 8 muestra un sistema de visualización de una escena 800 que comprende un subsistema de adquisición 801 y un subsistema de visualización 802.

El subsistema de adquisición 801 comprende un dispositivo de adquisición de luz capaz de generar una señal que transporta información asíncrona que representa, para cada píxel de una matriz de píxeles, eventos correspondientes respectivamente a variaciones de luz en la escena. Está acoplado de forma operativa al subsistema de visualización 802, que incluye un dispositivo de visualización como se ha descrito anteriormente que incluye una interfaz de entrada configurada para recibir una señal que transporta información asíncrona.

La señal que transporta información asíncrona que pasa a través de la interfaz de acoplamiento entre los subsistemas 801 y 802 puede tener diferentes formas o formatos correspondientes a diferentes realizaciones del sistema. Además, la interfaz de acoplamiento se puede proporcionar de acuerdo con varios formatos estándar, como, por ejemplo, el formato USB. El sistema propuesto no se limita a un formato particular de información asíncrona, el vector de esta información (por ejemplo, una señal asíncrona que lleva información representativa de un flujo de eventos) o un formato específico de interfaz de acoplamiento entre los subsistemas 801 y 802.

La señal asíncrona recibida por el subsistema 802 transporta información representativa de eventos temporales correspondientes a variaciones de luz en una escena. Con este fin, el subsistema 802 puede incluir una interfaz de entrada configurada para recibir una señal producida por el subsistema de adquisición 801.

La figura 9a muestra un ejemplo de implementación del subsistema de adquisición 801 según una realización particular del sistema de visualización propuesto.

La figura 9a muestra un subsistema de adquisición 801 que comprende un dispositivo de adquisición de luz 200 que comprende un sensor de visión asíncrono basado en eventos (201) colocado enfrente de una escena y que recibe el flujo de luz desde la escena a través de una óptica de adquisición (202). El sensor (201) puede incluir una agrupación de elementos fotosensibles organizados en una matriz de píxeles, de modo que cada píxel de la matriz corresponda a un elemento fotosensible del sensor. Para cada píxel de la matriz, el dispositivo (200) genera una secuencia de señal asíncrona basada en eventos a partir de las variaciones de luz que siente el píxel en la escena que aparece en el campo de visión del dispositivo (200). Cada píxel correspondiente a un elemento fotosensible produce así eventos temporales que corresponden respectivamente a variaciones de luz en la escena.

Por tanto, el sensor 201 no produce fotogramas de vídeo formados por la matriz de píxeles correspondiente a los elementos fotosensibles del sensor a una frecuencia de muestreo predeterminada. Reacciona para cada píxel de la matriz a eventos correspondientes a variaciones de luz para el píxel. Por el contrario, no produce información para un píxel si no ocurre ningún evento para este píxel. En particular, no captura sistemáticamente la intensidad de la luz de los píxeles de la matriz. Por tanto, los eventos a los que reacciona son asíncronos y no dependen de una frecuencia de adquisición de fotogramas de vídeo. Esto permite reducir en gran medida, si no eliminar, las redundancias creadas por la adquisición de fotogramas de vídeo a una velocidad determinada que no tiene en cuenta la ausencia de cambio en la información transportada por un píxel de fotograma a fotograma.

Una unidad de procesamiento (203) procesa la información proveniente del sensor (201) y representativa de los eventos producidos de forma asíncrona por los diferentes píxeles, para generar una señal asíncrona que transporta esta información.

Un ejemplo de principio de adquisición por este sensor asíncrono se ilustra en las figuras 9b-9d. Según este ejemplo, la información consiste en una sucesión de momentos, indicados como tk (k = 0,1,2,...) en los que se alcanza un umbral de activación Q. Por tanto, el sensor 201 está provisto de un detector de variación que, para cada píxel, mide y registra la intensidad de luz del píxel cuando esta intensidad ha variado más allá de un umbral Q.

La figura 9b muestra un ejemplo de un perfil de intensidad de luz P1 visto por un píxel de la matriz del sensor de visión asíncrono. Cada vez que esta intensidad aumenta en una cantidad igual al umbral de activación Q en comparación con lo que era en el momento t^k, se identifica un nuevo evento y se emite una línea positiva (nivel 1 en la figura 9c) correspondiente al momento en el que se excede el umbral diferencial Q, indicado como t^{k 1}. Simétricamente, cada vez que la intensidad del píxel disminuye en la cantidad Q en comparación con lo que era en el momento t^k', se identifica un nuevo evento y se emite una línea negativa (nivel -1 en la figura 9c) correspondiente al momento en el que el se supera el umbral diferencial Q, indicado como t^k +¹.

La figura 9d muestra el perfil de intensidad P2 que se puede reconstruir como una aproximación del perfil P1 mediante la integración en el tiempo de la señal asíncrona de la figura 9c.

El umbral de activación Q puede ser fijo, como en el caso de las figuras 9b-d, o adaptativo según la intensidad de la luz. Por ejemplo, el umbral de ± Q se puede comparar con las variaciones en el logaritmo de la intensidad de la luz para la generación de un evento de ± 1.

La clase de sensores fotosensibles asíncronos que generan eventos a partir de variaciones en la intensidad de la luz se designa con el acrónimo DVS, de "Dynamique Vision Sensor' (sensor de visión dinámica).

A modo de ejemplo, el sensor 201 puede ser un sensor DVS del tipo descrito en "A 128x128 120 dB 15 ps Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, vol. 43, No. 2, febrero de 2008, pág. 566-576 o en la solicitud de patente US 2008/0135731 A1. Un sensor DVS utilizado para un dispositivo de ayuda visual se describe en la patente FR 2975251.

Otra generación de sensores fotosensibles asíncronos permite generar información asíncrona que indica eventos, así como una característica asociada, por ejemplo, un nivel de gris.

El artículo de Posch, C., Matolin, D. y Wohlgenannt, R. (2011) titulado "A qvga 143 db dynamic range frame-free pwm image sensor with lossless pixel-level video compression and time-domain cds", y publicado en el IEEE Journal of Solid-State Circuits, 46, páginas 259 -275. doi:10.1109/JSSC.2010.2085952, proporciona una descripción de ejemplos de eventos codificados en escala de grises.

La información asíncrona para cada píxel consiste nuevamente en una sucesión de pulsos o líneas posicionadas en el tiempo en los momentos tk dependiendo del perfil de luz del píxel. Cada evento puede corresponder por ejemplo a dos pulsos sucesivos, el primero indicando el momento del evento y el segundo permitiendo determinar un nivel de gris para el píxel en función de la diferencia de tiempo entre los dos pulsos. La información correspondiente a un evento para un píxel comprende así una primera información relativa a un momento en que se produce el evento, y una segunda información relativa a una característica de luz (nivel de gris) para el píxel en ese momento.

El subsistema de adquisición 801 puede incorporar en una realización un sensor 201 de visión asíncrono basado en eventos de nueva generación, al que a veces se hace referencia con el acrónimo ATIS, del inglés "Asynchronous, Time-Based Image Sensor'. El subsistema de adquisición y el sensor ATIS que incorpora pueden ser, por ejemplo, del tipo descrito en el artículo de C. Posch et al., titulado "An Asynchronous Time-based Image Sensor" (IEEE International Symposium on Circuits and Systems, 2008, pages 2130-2133) o del tipo descrito en el artículo de C. Posch et al., titulado "A QVGA 143 dB dynamic range frame-free PWM image sensor with loss-less pixel-level video compression and time-domain CDS" (46(1):259275, 2011).

La dinámica de la retina (duración mínima entre los potenciales de acción) del orden de unos milisegundos se puede reproducir adecuadamente con un sensor de tipo DVS o ATIS. El rendimiento dinámico es en cualquier caso mucho más alto que el que se puede lograr con una cámara de vídeo convencional que tenga una frecuencia de muestreo realista. Por ejemplo, un sensor de este tipo permite alcanzar resoluciones temporales del orden de un microsegundo con un intervalo de luminancia superior a 120 dB, que es mucho mayor que una cámara CMOS/CCD estándar que normalmente tiene un intervalo de luminancia de 60 -70 dB.

En una realización, la unidad de procesamiento 203 incluye un procesador acoplado operativamente a la memoria. La memoria puede contener instrucciones de software que, cuando son ejecutadas por el procesador de la unidad de procesamiento de datos, hacen que esta unidad procese las señales recibidas del sensor y genere la información asíncrona que representa, para cada píxel, eventos correspondientes a variaciones de luz relacionadas con el píxel de acuerdo con los diversos métodos descritos en el presente documento y la transmisión de la información asíncrona en una interfaz de salida. La unidad de procesamiento puede ser un componente que implementa un procesador o una unidad de computación para la generación de información asíncrona según los diversos métodos descritos y el control del sensor de visión asíncrono del dispositivo 200 dentro del subsistema 801.

Además, la unidad de procesamiento, y en particular su procesador y/o sus medios de memoria, pueden implementarse, por separado o conjuntamente, en forma de software, como se ha descrito anteriormente, en forma de hardware, tal como un circuito integrado específico de la aplicación (ASIC), o en forma de una combinación de elementos de hardware y software, como por ejemplo uno o más programas de software destinados a ser cargados y ejecutados respectivamente en o más componentes del tipo FPGA (del inglés, Field Programmable Gate Array). Pueden implementarse, por separado o en conjunto, en forma de circuito electrónico, o bien dentro de uno o más componentes electrónicos (en inglés, chip o chipset).

Con referencia a las figuras 5b, 5c y 5d, el sensor de visión asíncrono se puede montar en el soporte en el que está montado el proyector. Las figuras 5b, 5c y 5d representan el ejemplo de realización en el que el soporte es un par de gafas 150. El sensor 151 está montado en la parte superior 152 de la montura de gafas. Preferiblemente, el sensor se montará centrado en la parte superior 152 de las gafas, para evitar errores de paralaje entre la escena adquirida y la reproducida por estimulación de los fotorreceptores de un ojo por el proyector 153.

Como variante, se puede prever colocar el sensor en una superficie de las gafas, como la superficie, interna o externa, de una de las lentes de las gafas 150.

Se entiende por "cristal" una parte de los cristales de forma superficial fijada debajo de la parte superior de los cristales, y que puede ser de vidrio pero también de cualquier otro material, no necesariamente translúcido. Un par de gafas incluye dos lentes, cada lente está formada por una superficie interior y una superficie exterior.

Cuando el proyector 153 está montado en una primera superficie 158 de las gafas 150, la unidad de control del dispositivo y la unidad de procesamiento del subsistema de adquisición pueden montarse en una segunda superficie 159 de las gafas. Estas dos unidades se pueden implementar en un módulo electrónico 157 fijado en la superficie interna de una lente para gafas, estando el proyector 153 fijado en la superficie interna de la otra lente, como se ilustra en las figuras 5b y 5d.

Como variante, una unidad optoelectrónica compuesta por el sensor, la unidad de control del dispositivo y la unidad de procesamiento del subsistema de adquisición se puede montar en una superficie de uno de los cristales de las gafas, estando el proyector montado en una superficie del otra lente o en la otra superficie de la misma lente.

Aunque se describe a través de una serie de realizaciones de ejemplo detalladas, el método de control de activación y el equipo para llevar a cabo el método incluyen diferentes variantes, modificaciones y mejoras que serán evidentes para los expertos en la técnica, entendiéndose que estas diversas variantes, modificaciones y mejoras forman parte del alcance de la invención, tal como se define en las reivindicaciones siguientes.

Además, los diferentes aspectos y características descritos anteriormente pueden implementarse juntos, o por separado, o sustituirse entre sí, y todas las diferentes combinaciones y subcombinaciones de aspectos y características están dentro del alcance de la invención. Además, algunos sistemas y equipos descritos anteriormente pueden no incorporar todos los módulos y funciones descritos para las realizaciones preferidas.

La información y las señales descritas en el presente documento se pueden representar mediante una variedad de tecnologías y técnicas. Por ejemplo, las instrucciones, mensajes, datos, comandos, información, señales, bits y símbolos se pueden representar mediante voltajes, corrientes, ondas electromagnéticas o una combinación de estos.

Dependiendo de la realización elegida, ciertos actos, acciones, eventos o funciones de cada uno de los métodos descritos en el presente documento pueden realizarse u ocurrir en un orden diferente al que fueron descritos, o pueden añadirse, fusionarse o bien no ser efectuados ni producirse, según sea el caso. Además, en algunas realizaciones, ciertos actos, acciones o eventos se realizan o se producen de forma simultánea y no secuencial.

Claims (9)

REIVINDICACIONES

1. Un dispositivo de visualización de una secuencia de imágenes en forma de una matriz de píxeles, que comprende una unidad de control (102) acoplada operativamente a un proyector (104), comprendiendo la unidad de control (102) ◦ una interfaz de entrada (101) configurada para recibir información asíncrona que representa, para cada píxel de la matriz, eventos relacionados con el píxel; y

◦ un procesador (103a) configurado para controlar la activación de cada píxel de la matriz a momentos determinados por eventos respectivos indicados por la información asíncrona para dicho píxel;

en el que el proyector (104) está dispuesto sobre un soporte (150) para iluminar los fotorreceptores del ojo durante el uso del dispositivo, y configurado para proyectar un flujo luminoso correspondiente a los píxeles activados por la unidad de control (102).

2. Un dispositivo según la reivindicación 1, en el que la unidad de control está configurada además para, después de activar un píxel de la matriz en un momento determinado por un evento indicado por la información asíncrona, repetir el comando de activación de dicho píxel sustancialmente al mismo nivel de activación en momentos definidos por una secuencia de actualización.

3. Un dispositivo según la reivindicación 1 o 2, en el que el proyector comprende una matriz de microespejos, una unidad de control de la matriz de microespejos, una entrada de control para recibir órdenes de activación de píxeles y una entrada óptica para recibir un flujo luminoso.

4. Un dispositivo según una cualquiera de las reivindicaciones anteriores, en el que el soporte del proyector tiene la forma de un par de gafas, estando colocado el proyector sobre una superficie de las gafas.

5. Un sistema de visualización de una escena, que comprende un subsistema de visualización (802) acoplado operativamente a un subsistema de adquisición (801), en el que:

• el subsistema de visualización (802) comprende un dispositivo según una cualquiera de las reivindicaciones 1 a 4;

• el subsistema de adquisición (801) comprende un sensor dispuesto frente a la escena, acoplado operativamente a una unidad de procesamiento (203) configurada para generar información asíncrona que representa eventos para cada píxel.

6. Un sistema según la reivindicación 5, en el que el sensor es un sensor de luz que comprende una óptica de adquisición de escenas y una serie de elementos fotosensibles.

7. Un sistema según la reivindicación 5 o 6, en el que el sensor está montado en el soporte del proyector de modo que la escena capturada coincida sustancialmente con el campo visual de un usuario del dispositivo.

8. Sistema según una cualquiera de las reivindicaciones 5 o 7 en el que:

• el soporte del proyector tiene la forma de un par de gafas,

• el proyector está montado en una primera superficie de las gafas;

• el sensor está montado en la parte superior de la montura de las gafas;

• la unidad de control del dispositivo y la unidad de procesamiento del subsistema de adquisición están montadas en una segunda superficie de las gafas.

9. Sistema según una cualquiera de las reivindicaciones 5 o 7 en el que:

• el soporte del proyector tiene la forma de un par de gafas,

• el proyector está montado en una primera superficie de las gafas;

• el sensor, la unidad de control del dispositivo y la unidad de procesamiento del subsistema de adquisición están montados en una segunda superficie de las gafas.