ES2836901T3 - Procedimiento de control de visualización y dispositivo para la implementación del procedimiento - Google Patents

Procedimiento de control de visualización y dispositivo para la implementación del procedimiento Download PDF

Info

Publication number
ES2836901T3
ES2836901T3 ES15714874T ES15714874T ES2836901T3 ES 2836901 T3 ES2836901 T3 ES 2836901T3 ES 15714874 T ES15714874 T ES 15714874T ES 15714874 T ES15714874 T ES 15714874T ES 2836901 T3 ES2836901 T3 ES 2836901T3
Authority
ES
Spain
Prior art keywords
pixel
event
activation
display
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15714874T
Other languages
English (en)
Inventor
Ryad Benosman
Guillaume Chenegros
Sihem Kime
Siohoi Ieng
José-Alain Sahel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Sorbonne Universite
Original Assignee
Centre National de la Recherche Scientifique CNRS
Sorbonne Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Sorbonne Universite filed Critical Centre National de la Recherche Scientifique CNRS
Application granted granted Critical
Publication of ES2836901T3 publication Critical patent/ES2836901T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526—Head electrodes
    • A61N1/0543—Retinal electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2085—Special arrangements for addressing the individual elements of the matrix, other than by driving respective rows and columns in combination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

Procedimiento de control para la visualización de imágenes en forma de una matriz de píxeles, comprendiendo el procedimiento, para cada píxel de un conjunto de píxeles de la matriz: recibir (500), desde un sensor de visión asíncrono basado en eventos (201), información asíncrona que representa eventos para el píxel, correspondiendo cada evento entre dichos eventos a una variación respectiva de intensidad lumínica más allá de un umbral en dicho píxel, estando asociado cada evento entre dichos eventos a al menos una información lumínica respectiva y a un instante de aparición respectivo de dicha variación respectiva de intensidad lumínica más allá del umbral; comprendiendo el procedimiento además: identificar un primer evento para dicho píxel entre dichos eventos representados por la información asíncrona recibida; determinar el instante de aparición asociado respectivamente a dicho primer evento; determinar, a partir del instante de aparición determinado, un instante de activación de dicho píxel; ordenar (501) una primera activación del píxel en el instante de activación determinado; ordenar (502) al menos una segunda activación del píxel para repetir la primera activación del píxel en instantes respectivos definidos por una secuencia de actualización.

Description

DESCRIPCIÓN
Procedimiento de control de visualización y dispositivo para la implementación del procedimiento
Sector de la técnica
La presente invención se refiere a procedimientos de control de visualización de informaciones visuales a partir de una información asíncrona, y a dispositivos para la implementación de estos procedimientos de control.
Estado de la técnica
Los métodos convencionales de gobierno de los dispositivos de visualización que constan de una pantalla en la que se proyectará la información prevén, en general, un modo de funcionamiento síncrono en el que la visualización de imágenes en forma de una matriz de píxeles se efectúa de forma sustancialmente periódica. El periodo de visualización determina la dinámica de visualización del dispositivo y, con mayor frecuencia, resulta de un compromiso entre los límites materiales del dispositivo (entre los cuales los relacionados con sus capacidades de cálculo) y la necesidad de alcanzar una resolución temporal proporcionando un confort visual máximo.
Este periodo de visualización corresponde además al periodo durante el cual se actualiza la visualización de los píxeles de la matriz, dado que la visualización está dirigida para visualizar el conjunto de los píxeles de la matriz simultáneamente o casi simultáneamente. Por ejemplo, la visualización de una trama de vídeo se llevará a cabo en determinados sistemas visualizando periódicamente una sucesión de subtramas (subtramas denominadas "pares", correspondientes a una submatriz que comprende las líneas de número de orden par de la matriz de píxeles correspondiente a la trama, y subtramas denominadas "impares", correspondientes a una submatriz que comprende las líneas de comando impar de la matriz de píxeles correspondiente a la trama), de modo que el conjunto de píxeles de cada subtrama se visualizará (o iluminará) periódicamente, mostrándose las subtramas de forma alterna a una frecuencia dos veces mayor que la frecuencia de visualización de las tramas.
La resolución temporal que se puede lograr en concreto para los sistemas destinados al público en general está, de este modo, limitada por el hecho de que los métodos de visualización utilizados prevén una visualización casi simultánea de un gran número de píxeles de la matriz de píxeles correspondiente, en la pantalla de visualización, a una frecuencia que a su vez está limitada por las capacidades de procesamiento de estos sistemas.
Por otra parte, parece que es casi imposible transponer los métodos de visualización convencionales en el contexto del control de los dispositivos de ayuda a la visión. En efecto, los implantes o los procedimientos de tratamiento optogenético requieren señales de estimulación lumínica de una intensidad mucho mayor que la de la luz ambiental. Un implante de ayuda para la visión colocado debajo del ojo, que comprende típicamente un electrodo alrededor del cual se disponen de uno a tres fotodiodos, funcionará eficazmente solo si estos fotodiodos reciben una luz siete veces más potente que la de la luz ambiental, de manera que los fotodiodos puedan emitir un estímulo. Asimismo, los tratamientos optogenéticos actuales solo son plenamente efectivos si el ojo tratado recibe señales de luz con una longitud de onda específica y una intensidad lumínica que varía de dos a siete veces la de la luz ambiental. Las potencias lumínicas necesarias son, por lo tanto, tan elevadas que la utilización de métodos de visualización convencionales, a estos niveles de potencia, provocaría lesiones en los órganos visuales de los usuarios.
Existe de este modo una necesidad de métodos de visualización, que no presenten los inconvenientes de los métodos convencionales expuestos anteriormente. En particular, una primera necesidad es proporcionar métodos de control de visualización que permitan alcanzar resoluciones de visualización más elevadas que las que resultan de los compromisos efectuados con sistemas convencionales. Otra necesidad es proporcionar métodos de control de visualización que sea posible utilizar para aplicaciones en el campo de la ayuda a la visión.
El documento Zhenjiang Ni: "Asynchronous Event Based Vision: Algorithmes and Applications to Microrobotics", XP055546230, describe un sistema de captura de imágenes en eventos.
Objeto de la invención
Según un aspecto, se propone un procedimiento de control para la visualización imágenes en forma de una matriz de píxeles tal como se reivindica.
En uno o varios modos de realización, el procedimiento comprende para un píxel de la matriz: recibir información asíncrona que representa eventos para el píxel, ordenar una primera activación del píxel en un instante de activación determinado por un primer evento de la información asíncrona, y ordenar al menos una segunda activación del píxel para repetir la primera activación del píxel a instantes respectivos definidos por una secuencia de actualización.
Los eventos que conciernen al píxel pueden, según el modo de realización, corresponder a variaciones de luz para el píxel, a la detección de una forma de interés o a la detección de una primitiva, y más generalmente a todo tipo de información asíncrona para el píxel.
Los procedimientos de adquisición o de síntesis de una secuencia de imágenes por tramas presentan el inconveniente de producir datos fuertemente redundantes debido al muestreo en el tiempo según una frecuencia de reloj de tramas predefinida. Cada trama representa un gran número píxeles de una imagen si esta no es una imagen entera, e incluye informaciones relativas a píxeles para los cuales la información no cambia de una trama a otra, lo que genera redundancias en los datos que representan la secuencia de imágenes. Esta redundancia solo puede ser suprimida en parte por una codificación de compresión de una señal de vídeo convencional. A la inversa, la utilización para cada píxel de la información asíncrona basada en evento ("event based") permite obtener una representación muy compacta de una secuencia de imágenes, debido a que la información asíncrona representa eventos. Por consiguiente, cuando los eventos considerados corresponden, por ejemplo, a variaciones de luz para el píxel, la ausencia de variaciones de luz para un píxel se traduce por la ausencia de evento para este píxel, lo que no genera, por lo tanto, información redundante para este píxel en la representación de la secuencia de imágenes.
La activación de un píxel a partir de una información asíncrona se puede efectuar respetando - a una resolución temporal próxima - el carácter asíncrono de la secuencia de eventos para este píxel, para realizar una activación del píxel que está controlada por evento ("event driven").
En un ejemplo de realización del procedimiento propuesto, se repite el comando de primera activación del píxel según la secuencia de actualización hasta la determinación de un próximo instante de activación del píxel por los eventos de la información asíncrona.
En un modo de realización del procedimiento propuesto, la recepción de la información asíncrona comprende la recepción de una señal que porta la información asíncrona, y el comando de primera activación del píxel comprende la detección en la señal de una primera información que representa el primer evento y el comando de activación en detección de la primera información que representa el primer evento.
Además, la secuencia de actualización puede definir instantes de activación del píxel separados por un intervalo de tiempo. Este intervalo de tiempo entre una activación en evento y una activación de actualización, o entre dos activaciones de actualización, puede, por ejemplo, determinarse en función de la persistencia retiniana del ojo humano. La persistencia retiniana del ojo humano constituye un umbral límite que es preferible no superar para efectuar una visualización de actualización del píxel, a riesgo de deteriorar el confort visual del usuario. Por ejemplo, este intervalo de tiempo se seleccionará entre 40 ms y 800 ms, y preferentemente entre 40 ms y 150 ms, para evitar los efectos de centelleo, sabiendo que un intervalo de tiempo más largo corresponde a una frecuencia de actualización menos elevada y una disminución del flujo de comandos de visualización y de cálculos asociados.
En un modo de realización del procedimiento propuesto, los comandos de activación se suministran en forma de estimulaciones eléctricas aplicadas a una prótesis visual de un dispositivo de ayuda a la visión.
La pequeña cantidad de datos que representan una secuencia de imágenes de una señal asíncrona de tipo AER permite aumentar la intensidad de las señales luminosas de excitación de los fotorreceptores de una prótesis visual o de un órgano visual al cual se ha aplicado un tratamiento optogenético. En efecto, el procedimiento propuesto permite considerar solo la visualización de un píxel cuando un evento correspondiente a este píxel se detecta en los datos de entrada que representan, por ejemplo, una secuencia de imágenes, y efectuar visualizaciones de actualización solamente a una frecuencia mucho más baja que la de los procedimientos de visualización convencionales.
En otro modo particular de realización, los comandos de activación están configurados para gobernar la visualización de píxeles en una pantalla de visualización de un dispositivo.
De este modo, el procedimiento propuesto se puede utilizar para la generación de comandos de activación de píxeles, en vista de la visualización de una secuencia de imágenes en la pantalla de un dispositivo cualquiera, como, por ejemplo, una pantalla de televisor, de teléfono inteligente, de tableta digital, de monitor informático, de GPS, etc.
El procedimiento propuesto también es aplicable a cualquier sistema de visualización por proyección, por ejemplo, en una pantalla, ya sea física o virtual.
En un modo de realización del procedimiento propuesto, la actualización de la activación se efectúa para una pluralidad de píxeles de la matriz de píxeles.
Se puede combinar además la visualización de un píxel en evento que reproduce el carácter asíncrono proveniente, por ejemplo, de una señal asíncrona recibida para visualización con una visualización de actualización síncrona, es decir periódica, que puede prever una visualización de actualización de toda o parte de la matriz de píxeles.
Es preferible, en este modo de realización con visualización de actualización síncrona, elegir una frecuencia de actualización mucho más baja que la de los sistemas actuales, para aprovechar mejor la asincronía de las visualizaciones en eventos para cada píxel.
En un modo de realización del procedimiento propuesto, la señal asíncrona consta de un tren de impulsos binarios situados en el tiempo en función de las variaciones de luz en la escena para el píxel. Como variante, la información representativa del evento puede comprender un primer impulso situado en el tiempo en función de las variaciones de luz en la escena para el píxel, y un segundo impulso situado en el tiempo en función de un nivel de gris para la visualización del píxel.
En un modo de realización del procedimiento propuesto, que corresponde a una situación en la que una señal asíncrona porta información representativa de una pluralidad de eventos para el píxel, el procedimiento propuesto podrá comprender además: detectar en la señal asíncrona una información que representa un segundo evento para el píxel, y, cuando la separación temporal entre los primer y segundo eventos es inferior a un umbral, no generar señal de control para la visualización asíncrona del píxel en detección de la información que representa el segundo evento. El umbral, que podrá predeterminarse, se podrá elegir comprendido entre 1 ms y 40 ms, y, por ejemplo, fijarse a un valor del orden de 30 ms.
Según otro aspecto, se propone un dispositivo de control para la visualización de imágenes en forma de una matriz de píxeles, que comprende una interfaz de entrada configurada para recibir información asíncrona que representa eventos para al menos un píxel de la matriz, y una unidad de control de activación de píxel, acoplada de manera operativa a la interfaz de entrada, y configurada para ordenar la activación del píxel según los diferentes modos de realización del procedimiento propuesto.
En un modo de realización del dispositivo propuesto, los eventos considerados corresponden respectivamente a variaciones de luz en una escena para el píxel.
En un modo de realización, el dispositivo comprende además una interfaz de salida, acoplada de manera operativa a la unidad de control de activación de píxel, para suministrar comandos de activación del píxel.
Según otro aspecto, se propone un visualizador de imágenes, que comprende una unidad de visualización que proporciona una matriz de píxeles, y un dispositivo de control para la visualización de imágenes en forma de una matriz de píxeles según los diferentes modos de realización propuestos para controlar la unidad de visualización.
Según otro aspecto, se propone un programa informático, cargable en una memoria asociada a un procesador, y que comprende partes de código para la implementación de las etapas del procedimiento propuesto durante la ejecución de dicho programa por el procesador, así como un conjunto de datos que representan, por ejemplo, por vía de compresión o de codificación, dicho programa informático.
Descripción de las figuras
Otras particularidades y ventajas de la presente invención se pondrán de manifiesto en la siguiente descripción de ejemplos de realización no limitativos, con referencia a los dibujos adjuntos, en los que:
La figura 1 es un esquema sinóptico de un dispositivo de control de visualización adaptado a la implementación del procedimiento propuesto según un modo de realización;
La figura 2a es un esquema sinóptico de un dispositivo de adquisición capaz de generar una señal asíncrona adaptada a la implementación del procedimiento propuesto;
La figura 2b es un diagrama que muestra un ejemplo de perfil de intensidad lumínica a nivel de un píxel de un sensor asíncrono;
La figura 2c muestra un ejemplo de señal suministrada por el sensor asíncrono en respuesta al perfil de intensidad de la figura 2b;
La figura 2d ilustra la reconstrucción del perfil de intensidad a partir de la señal de la figura 2c;
Las figuras 3a y 3b son diagramas análogos a los de las figuras 2b y 2c que ilustran otro modo de adquisición lumínica por un sensor asíncrono;
Las figuras 4a y 4b son diagramas que ilustran modos de realización del procedimiento propuesto;
Las figuras 5a y 5b son diagramas que muestran una secuencia temporal de eventos recibidos en una señal asíncrona para la implementación del procedimiento propuesto;
Las figuras 5c y 5d son diagramas que muestran una secuencia temporal de comandos de visualización generadas según modos de realización particulares del procedimiento propuesto;
La figura 6 es un diagrama que ilustra intervalos de tiempo tenidos en cuenta en modos de realización del procedimiento propuesto.
La figura 7 ilustra la variación del número de píxeles no actualizados en modo de visualización (o de activación) asíncrono con respecto a una visualización (o una activación) asíncrona en función del número de píxeles contenidos en las zonas de movimiento de una secuencia de imágenes.
Descripción detallada de la invención
En la descripción detallada a continuación de modos de realización de la invención, se presentan numerosos detalles específicos para aportar una comprensión más completa. No obstante, el experto en la materia puede darse cuenta de que se pueden poner en práctica modos de realización sin estos detalles específicos. En otros casos, características bien conocidas no se describen en detalle para evitar complicar inútilmente la descripción.
La invención se describirá a continuación en el marco non limitativo de una información asíncrona que representa, para un píxel de una matriz de píxeles, eventos que corresponden a variaciones de luz para el píxel. Los procedimientos y dispositivos propuestos no están, sin embargo, limitados a este modo de realización particular, pudiendo los eventos que conciernen al píxel, según el modo de realización, corresponder a variaciones de luz para el píxel, a la detección de una forma de interés o a la detección de una primitiva, y más generalmente a todo tipo de información asíncrona para el píxel.
La figura 1 muestra un sistema de control de visualización (100) que comprende una interfaz de entrada (101) para recibir una información asíncrona, una unidad de procesamiento de datos (102), medios de memoria (103), y una interfaz de salida (104) para transmitir señales de control de visualización.
En un modo de realización del procedimiento propuesto, la información asíncrona recibida en la interfaz de entrada (101) representa eventos que corresponden, respectivamente, a variaciones de luz en una escena para un píxel. De este modo, corresponde a una secuencia de imágenes, cada una considerada en forma de una matriz de píxeles, siendo un píxel un objeto elemental de una imagen. La información asíncrona recibida en la interfaz (101) también puede representar eventos que corresponden, respectivamente, a variaciones de luz en la secuencia de imágenes para un conjunto de píxeles de la matriz, incluso para todos los píxeles de la matriz.
Esta información se puede generar mediante diferentes medios. Por ejemplo, puede ser portada por una señal asíncrona producida por un sensor de visión asíncrono y recibido en la interfaz de entrada (101). También puede resultar de la codificación de una secuencia de imágenes de síntesis que produce un conjunto de datos recibido en la interfaz (101).
Además, el procedimiento propuesto no está limitado a un formato particular de información asíncrona. De manera general, la información asíncrona representa eventos relativos a los píxeles de la matriz. En un modo de realización particular, la información asíncrona indica, o señala, eventos relativos a uno o varios píxeles. Puede estar, por ejemplo, contenida en datos que identifican eventos con sus características respectivas.
Se considera en lo sucesivo el marco non limitativo de una información asíncrona portada por una señal recibida en la interfaz (101) en forma eventualmente codificada para su transmisión y/o su almacenamiento.
En este modo de realización, la señal asíncrona recibida en la interfaz de entrada (101) porta información representativa de eventos temporales correspondientes a variaciones de luz en una escena. En este caso en concreto, la interfaz de entrada 101 puede configurarse para recibir una señal producida por un subsistema de captura de imágenes asíncrono basado en eventos. Este subsistema incorpore típicamente un sensor de visión asíncrono basado en eventos.
La figura 2a muestra un dispositivo de adquisición de la luz (200) que comprende un sensor de visión asíncrono basado en eventos (201) colocado frente a una escena y que recibe el flujo lumínico de la escena a través de una óptica de adquisición (202). El sensor (201) puede constar de un grupo de elementos fotosensibles organizados en una matriz de píxeles, de modo que cada píxel de la matriz corresponde a un elemento fotosensible del sensor. Para cada píxel de la matriz, el dispositivo (200) genera una secuencia de señal asíncrona basada en evento a partir de las variaciones de luz detectadas por el píxel en la escena que aparece en el campo de visión del dispositivo (200). Al corresponder cada píxel a un elemento fotosensible, produce de este modo eventos temporales correspondientes, respectivamente, a variaciones de luz en la escena.
El sensor 201 no produce, por lo tanto, tramas de vídeo constituidas por la matriz de píxeles que corresponde a los elementos fotosensibles del sensor a una frecuencia de muestreo predeterminada. Reacciona, para cada píxel de la matriz, a eventos que corresponden a variaciones de luz para el píxel. A la inversa, no produce información para un píxel si no se produce ningún evento para este píxel. No efectúa, en particular, captura sistemática de intensidad lumínica de los píxeles de la matriz. De este modo, los eventos a los que reacciona son asíncronos, y no dependen de una frecuencia de adquisición de tramas de vídeo. Esto permite disminuir fuertemente, si no suprimir, las redundancias creadas por la adquisición de tramas de vídeo a un ritmo determinado que no tiene en cuenta la ausencia de cambio de la información portada por un píxel de una trama a otra.
Un ordenador (203) procesa la información proveniente del sensor (201) y representativa de los eventos producidos de manera asíncrona por los diferentes píxeles, para generar una señal asíncrona que porta esta información.
Un ejemplo de principio de adquisición por este sensor asíncrono se ilustra mediante las figuras 2b-2d. Según este ejemplo, la información consiste en una sucesión de instantes, denotados tk (k = 0,1,2,...) en los que se alcanza un umbral de activación Q. El sensor 201 está dotado, por lo tanto, de un detector de variaciones que, para cada píxel, mide y registra la intensidad lumínica del píxel cuando esta intensidad ha variado más allá de un umbral Q.
La figura 2b muestra un ejemplo de perfil de intensidad lumínica P1 visto por un píxel de la matriz del sensor de visión asíncrono. Cada vez que esta intensidad aumenta en una cantidad igual al umbral de activación Q en comparación con la que era en el instante tk, se identifica un nuevo evento y se emite una línea positiva (nivel 1 en la figura 2c) correspondiente en el instante de superación del umbral diferencial Q, denotado tk+1. Simétricamente, cada vez que la intensidad del píxel disminuye en la cantidad Q en comparación con la que era en el instante tk', se identifica un nuevo evento y se emite una línea negativa (nivel -1 en la figura 2c) correspondiente en el instante de superación del umbral diferencial Q, denotado tk 1.
La señal asíncrona para el píxel consiste entonces en una sucesión de impulsos o líneas, positivas o negativas, situados en el tiempo en los instantes tk dependiendo del perfil lumínico para el píxel. Estas líneas pueden representarse matemáticamente por picos de Dirac positivos o negativos y caracterizados, cada uno, por un instante de emisión tk y un bit de signo. La salida del sensor 201 está, de este modo, en forma de una representación de dirección-evento AER. La información producida por el sensor, que corresponde a un evento para un píxel, comprende una primera información relativa a un instante de incidencia del evento, y una segunda información relativa a una característica lumínica para el píxel en este instante.
La figura 2d muestra el perfil de intensidad P2 que se puede reconstruir como una aproximación del perfil P1 por integración en el tiempo de la señal asíncrona de la figura 2c.
El umbral de activación Q puede ser fijo, como en el caso de las figuras 2b-d, o adaptativo en función de la intensidad lumínica, como en el caso de las figuras 3a-b. Por ejemplo, el umbral ±Q se puede comparar con las variaciones del logaritmo de a 'intensidad lumínica para la generación de un evento ±1. La elección de la escala logarítmica para la medida de la intensidad lumínica presenta de este modo dos ventajas: por una parte, está mejor adaptada a la fisiología del ojo debido a que la sensibilidad a la luz de la retina es logarítmica, y por otra parte, como se ha indicado anteriormente, el umbral definido en la escala logarítmica puede ser adaptativo.
A título de ejemplo, el sensor 201 se puede describir en "A 128x128 120 dB 15 ps Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, N.° 2, febrero de 2008, págs. 566-576, o en la solicitud de patente US 2008/0135731 A1, que describen una primera generación de sensores asíncronos, habitualmente designados con el acrónimo DVS, para "Dynamic Vision Sensor".
La dinámica de la retina (duración mínima entre los potenciales de acción) del orden de varios milisegundos se puede reproducir convenientemente con un sensor de este tipo. El rendimiento en dinámica es, en todo caso, ampliamente superior al que se puede alcanzar con una cámara de vídeo convencional que tiene una frecuencia de muestreo realista. Por ejemplo, un sensor de este tipo permite alcanzar resoluciones temporales del orden del microsegundo con una gama de luminancia superior a 120 dB, lo que es muy superior a una cámara estándar CMOS/CCD que posee típicamente una gama de luminancia de 60-70 dB.
Cabe señalar que la forma de la señal asíncrona suministrada para un píxel por el sensor 201, que constituye la señal de entrada del ordenador 203, puede ser diferente de una sucesión de picos de Dirac, pudiendo tener los eventos representados una anchura temporal o una amplitud o una forma de onda cualquiera en esta señal asíncrona basada en evento.
Cada píxel del sensor de posición p = (x; y), suministra de este modo una serie de impulsos binarios, que se pueden modelizar mediante eventos ON u OFF generados de manera asíncrona en instantes respectivos tk. El ordenador 203 está configurado para generar una señal asíncrona que porta el conjunto de eventos para uno o varios píxeles de la matriz. La información que corresponde a un evento comprende una información de posición del píxel para el cual se ha producido el evento (por ejemplo, el par (x; y) de los números de línea y de columna en la matriz de píxeles), una información del tiempo de incidencia del evento (por ejemplo, un valor discreto de tiempo con respecto a una referencia), y una información de tipo de evento (por ejemplo, un bit para codificar eventos de dos tipos).
Con referencia a la figura 1, la señal asíncrona recibida en la entrada de la interfaz 101 puede portar, de este modo, la información representativa de un flujo de eventos, cada uno definido por un cuadruplete e(x; y t; ON/OFF) que da la posición p = (x; y) del píxel al que estás asociado el evento, el instante t en el que se ha detectado el evento, y el tipo (ON u Off) del evento.
En otro modo particular de realización, la señal asíncrona recibida en la entrada de la interfaz 101 porta información representativa de un flujo de eventos donde cada evento está definido por un cuadruplete e(x; y; t; g) que da la posición p = (x; y) del píxel al que estás asociado el evento, el instante t en el que se ha detectado el evento, y un nivel de gris g asociado al evento.
El artículo de Posch, C., Matolin, D., y Wohlgenannt, R. (2011) titulado "A qvga 143 db dynamic range frame-free pwm image sensor with lossless pixel-level video compression and time-domain cds", y publicado en el IEEE Journal of Solid-State Circuits, 46, páginas 259 -275. doi:10.1109/JSSC.2010.2085952, proporciona una descripción de ejemplos de eventos codificados por niveles de gris.
La información asíncrona para cada píxel consiste, de nuevo, en una sucesión de impulsos o líneas situados en el tiempo en los instantes tk dependiendo del perfil lumínico para el píxel. Cada evento puede corresponder, por ejemplo, a dos impulsos sucesivos, indicando el primero el instante del evento y permitiendo el segundo determinar un nivel de gris para el píxel en función de la separación temporal entre los dos impulsos. La información que corresponde a un evento para un píxel comprende de este modo una primera información relativa a un instante de incidencia del evento, y una segunda información relativa a una característica lumínica (nivel de gris) para el píxel en este instante.
Esta nueva generación de sensores capaces de generar un nivel de gris para cada evento se designa a veces con el acrónimo ATIS, para "Asynchronous, Time-Based Image Sensor". El subsistema de captura y el sensor ATIS que incorpora pueden ser, por ejemplo, del tipo del descrito en el artículo de C. Posch et al., titulado "An Asynchronous Time-based Image Sensor" (IEEe International Symposium on Circuits and Systems, 2008, páginas 2130-2133), o bien del tipo del descrito en el artículo de C. Posch et al., titulado "A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS" (46(1): 259275, 2011).
Con referencia a la figura 1, la unidad de procesamiento de datos 102 puede ser un ordenador, una red de ordenadores, u otro aparato que consta de un procesador, eventualmente acoplado de manera operativa a una memoria 103, y que pueden incluir además una unidad de almacenamiento de datos, y otros elementos materiales asociados como una interfaz de red y un lector de soporte para leer un soporte de almacenamiento amovible y escribir en dicho soporte (no representados en la figura). El soporte de almacenamiento amovible puede ser, por ejemplo, un disco compacto (CD), un disco de vídeo/polivalente digital (DVD), un disco flash, una llave USB, etc. En función del modo de realización, la memoria 103, la unidad de almacenamiento de datos o el soporte de almacenamiento amovible contiene instrucciones que, cuando son ejecutadas por la unidad de procesamiento de datos 102, llevan a esta unidad 102 a efectuar o controlar las partes de interfaz de entrada 101 y/o de salida 104 y/o procesamiento de datos de los ejemplos de implementación del procedimiento propuesto descritos en el presente documento. La unidad de procesamiento 102 puede ser un componente que implementa un procesador o una unidad de cálculo para la generación de comandos de visualización según el procedimiento propuesto y el control de las interfaces de entrada 101 y de salida 104 del sistema 100.
Además, el sistema de control de visualización 100 se puede implementar en forma de software, como se describe a continuación, o en forma material, como un circuito integrado específico de aplicación (ASIC), o en forma de una combinación de elementos materiales y de software, como por ejemplo un programa de software destinado a ser cargado y ejecutado en un componente de tipo FPGA (Field Programmable Gate Array).
El sistema de control 100 genera comandos de visualización cuyo formato está adaptado al sistema de visualización al que se transmiten estos comandos por medio de la interfaz de salida 104. El procedimiento propuesto es aplicable al control de todo tipo de sistema de visualización, tales como sistemas de visualización en pantalla, sistemas de proyección, o dispositivos de ayuda a la visión.
La interfaz de salida 104 podrá comprender, por lo tanto, un módulo piloto (no representado en la figura 1) que permite adaptar las señales en la salida del sistema 100 a la interfaz de entrada del sistema de visualización.
Por ejemplo, en el caso en que el sistema de visualización es una prótesis instalada en la retina, el módulo piloto de la interfaz 104 convertirá las señales de control en potenciales eléctricos analógicos que serán transmitidos por medio de la interfaz 104 a los electrodos de la prótesis.
En un modo particular de realización del procedimiento propuesto, la interfaz de salida 104 está configurada para generar una señal de salida de formato adaptado para gobernar un proyector de vídeo que utiliza la tecnología de las matrices de microespejos (en inglés DMD, para "Digital Micromirror Device"). Este tipo de proyector se designa a veces con el acrónimo DLP, para "Digital Light Processing", y funciona con una fuente de luz que ilumina una matriz de microespejos qui vibran en función de la cantidad de luz a reflejar. Las vibraciones de cada espejo se efectúan alrededor de dos posiciones que corresponden, respectivamente, a ángulos de inclinación alrededor de un eje, uno en el que la luz es reflejada por el espejo hacia una óptica de salida, y el otro en el que la luz es reflejada por el espejo hacia una superficie absorbente y, por lo tanto, no es proyectada. Cada espejo de la matriz DMD proyecta luz para un píxel en una pantalla de visualización.
Determinados proyectores DLP son capaces, además, de iluminar píxeles con diferentes niveles de gris, y pueden, por lo tanto, recibir comandos de visualización para cada píxel que comprende una información relativa a un nivel de gris con el que el píxel debe visualizarse. Se podrá utilizar, por ejemplo, un proyector DLP capaz de gestionar 1024 niveles de gris, y proporcionarle comandos de visualización según el procedimiento propuesto en los que el nivel de gris de iluminación de un píxel está codificado en 10 bits.
El proyector DLP gobernado utilizando el procedimiento propuesto podrá ser, por ejemplo, del tipo del montado sobre plataformas de evaluación "DLP Lightcrafter". Este tipo de dispositivo puede comprender, por ejemplo, un componente DMD de tamaño 4,6 mm x 5,2 mm, y soportar una resolución de visualización, es decir un tamaño de la imagen visualizada en píxeles, de 608 x 684 píxeles (correspondiente al estándar WVGA) y una resolución temporal que va hasta 1440 Hz.
De este modo, en el caso en que el sistema de visualización es un proyector DLP, el módulo piloto de la interfaz 104 convierte las señales de control para interactuar con el sistema de control de visualización 100 con una entrada del proyector DLP.
Con referencia a las figuras 1 y 4a, el dispositivo de control de visualización 100 gobierna independientemente cada píxel de una matriz de píxeles para la activación de este píxel. El dispositivo 100 recibe (500) por medio de la interfaz de entrada 101 de la información asíncrona representativa de eventos correspondientes a variaciones de luz para el píxel.
Por ejemplo, para un píxel de posición (x0 , yo) en la matriz de píxeles (píxel situado en la línea de índice x0 y en la columna de índice y0 en una matriz MxN, con x e {0,...,M - 1} y y e {0,...,N - 1}, la información recibida comprenderá información asíncrona para el píxel de posición (x0 , yo).
La información asíncrona es procesada por la unidad de procesamiento de datos 102 para identificar un evento para el píxel para ordenar (501) una primera activación del píxel en un instante de activación determinado por el evento identificado.
En un modo de realización particular, la identificación de un evento podrá apuntar a eventos caracterizados por una primera información que indica un instante de aparición del evento, y una segunda información relativa a una característica lumínica para el píxel en un instante correspondiente. Por ejemplo, la identificación de un evento podrá comprender la detección de dos picos o impulsos en una señal que porta la información asíncrona, indicando el primero un instante de aparición del evento y el segundo un nivel de gris característico del evento para el píxel.
En el modo de realización en el que los eventos se caracterizan por el instante de aparición de una variación de intensidad lumínica más allá de un umbral y el sentido de esta variación, el comando de activación podrá comprender un nivel de iluminación del píxel determinado teniendo en cuenta la variación detectada aplicada al nivel de iluminación del anterior comando de visualización del píxel.
En el modo de realización en el que los eventos se caracterizan por el instante de aparición de una variación de intensidad lumínica más allá de un umbral y un nivel de gris asociado a esta variación, el comando de activación podrá comprender un nivel de iluminación del píxel correspondiente al nivel de gris determinado tras la detección del evento.
Esta primera activación del píxel es, por lo tanto, ordenada en identificación de un evento para un píxel utilizando la información asíncrona recibida en la entrada del sistema de control de visualización 100. En un modo particular de realización, la activación es gobernada en cuando se identifica un evento para un píxel, promediando el tiempo de procesamiento necesario para el sistema 100 para el procesamiento de las informaciones relativas al evento. Como variante, el sistema 100 podrá mantener una referencia de tiempo de activación, sobre la base de la cual las activaciones de los píxeles serán gobernadas en instantes que corresponden, respectivamente, a los eventos identificados para cada píxel. Como se ha descrito anteriormente, cada evento se puede caracterizar por un instante de incidencia y uno o varios valores que corresponden a informaciones lumínicas respectivas (intensidad lumínica, nivel de gris, color, etc.).
Una segunda activación del píxel es ordenada (502) tras la primera activación para repetirla en instantes respectivos definidos por una secuencia de actualización. La primera activación viene seguida, por lo tanto, por una o por varias activaciones destinadas a actualizar la activación ordenada en la identificación de un evento.
En un modo particular de realización del procedimiento propuesto, la secuencia de actualización define instantes de activación del píxel separados por un intervalo de tiempo. Este intervalo de tiempo puede ser común al conjunto de los píxeles de la matriz o bien define para cada píxel o para diferentes subconjuntos de píxeles. Se puede determinar, en concreto, en función de la persistencia retiniana del ojo humano. Esto permite elegir valores de intervalo de actualización suficientemente grandes para evitar la visualización de informaciones redundantes a una frecuencia elevada en detrimento de la eficacia del sistema, todo teniendo en cuenta la duración de la persistencia retiniana de la visualización anterior. Por ejemplo, el intervalo de tiempo de actualización puede elegirse entre 40 ms y 150 ms, sabiendo que cuanto más elevado sea el valor elegido más ganará en eficacia el sistema de control de activación de píxeles evitando tanto más las activaciones de redundancia.
Una segunda activación del píxel es ordenada, por lo tanto, para efectuar una actualización de la activación del píxel durante el intervalo de tiempo determinado de este modo y que discurre a partir de la activación del píxel tras el comando de activación anterior.
Este comando de activación anterior puede ser un comando de activación en identificación de evento tal como se describe a continuación, o bien un comando de activación de actualización en el caso, por ejemplo, en que ninguna activación en identificación de evento no se ha ordenado durante un periodo que corresponde al intervalo de tiempo de actualización que discurre desde la anterior activación del píxel.
La figura 4b ilustra un modo de realización particular del procedimiento propuesto, en el que el dispositivo 100 de la figura 1 recibe una señal que porta información asíncrona, procesa esta señal para detectar eventos, y a continuación genera comandos de activación de píxeles para la iluminación del píxel, por ejemplo, por proyección en una pantalla de visualización.
Con referencia a las figuras 1 y 4b, el dispositivo de control de visualización 100 gobierna independientemente cada píxel de una matriz de píxeles para la activación de este píxel. El dispositivo 100 recibe (400) por medio de la interfaz de entrada 101 una señal asíncrona que porta información representativa de eventos correspondientes a variaciones de luz para el píxel.
Por ejemplo, para un píxel de posición (x0 , yo) en la matriz de píxeles (píxel situado en la línea de índice x0 y en la columna de índice y0 en una matriz MxN, con x e {0,M -1} y y e {0,..., N - 1}, la señal asíncrona recibida comprenderá una secuencia de señal para el píxel de posición (xo, yo).
La señal asíncrona es procesada por la unidad de procesamiento de datos 102 para detectar (401) una información que representa un evento para el píxel.
En un modo de realización, la detección de una información que representa un evento podrá apuntar a eventos caracterizados por el instante de aparición de una variación de intensidad lumínica más allá de un umbral (que podrá ser, en un modo de realización, específico del píxel) y el sentido de esta variación. Por ejemplo, la detección podrá comprender la detección de un impulso cuya situación con respecto a una referencia de tiempo corresponde al instante de aparición de una variación de intensidad lumínica más allá de un umbral y cuyo tipo (por ejemplo, ON u OFF, o bien 1 o -1) corresponderá al sentido de la variación lumínica.
En otro modo de realización del procedimiento propuesto, la detección de una información que representa un evento podrá apuntar a eventos caracterizados por el instante de aparición de una variación de intensidad lumínica más allá de un umbral (que podrá ser, en un modo de realización, específico del píxel) y un nivel de gris asociado a esta variación. Por ejemplo, la detección podrá comprender la detección de un primer impulso cuya situación con respecto a una referencia de tiempo corresponde al instante de aparición de una variación de intensidad lumínica más allá de un umbral y la detección de un segundo impulso cuya separación temporal con el primer impulso permitirá deducir un nivel de gris para el píxel.
La información que representa un evento para el píxel es procesada por la unidad de procesamiento de datos 102 para generar (402) una primera señal de control de visualización del píxel.
El carácter asíncrono de la señal de entrada del dispositivo de control de visualización 100 será tanto mejor respetado cuanto más corto sea el tiempo de generación y de transmisión de un comando de visualización del píxel a partir del momento en que un evento es detectado para el píxel. De este modo se preferirá un procesamiento en tiempo real para obtener una visualización casi instantánea de los eventos detectados para cada píxel.
El primer comando de visualización, generado en detección de un evento para un píxel, es transmitida al sistema de visualización con el que el sistema de control de visualización 100 interactúa por medio de la interfaz de salida 104.
En los modos de realización que utilizan un sistema de visualización en pantalla, la visualización en pantalla se podrá efectuar tras la recepción del comando de visualización con un retardo que corresponde al tiempo de procesamiento del comando y a la resolución temporal del sistema de visualización.
Por ejemplo, como se ha indicado anteriormente, un proyector DLP podrá utilizarse para recibir comandos de visualización generados según el procedimiento propuesto, en una configuración en la que su resolución temporal está cerca de 1440 Hz. Esta resolución temporal de 1440 Hz corresponde a una posibilidad de visualización cada 0,69 ms. Un proyector DLP podrá proyectar, de este modo, luz correspondiente a la iluminación de un píxel de una imagen como muy tarde 0,69 ms después de recibir y procesar un comando de visualización generado según el procedimiento propuesto.
Esta primera visualización de píxel, efectuada en detección de un evento para el píxel, viene seguida por una segunda visualización destinad a actualizar la anterior visualización en detección de evento. Esta segunda visualización da lugar a la generación (403) de un segundo comando de visualización. Este segundo comando de visualización es generado de manera que la visualización que se deriva de ella permite la actualización de la visualización efectuada anteriormente para el píxel. Para ello, se determina un intervalo de tiempo de actualización cuya duración define la separación temporal máxima entre dos visualizaciones para un píxel.
Este intervalo de tiempo puede ser común al conjunto de los píxeles de la matriz o bien definido para cada píxel o para diferentes subconjuntos de píxeles.
En un modo de realización del procedimiento particular, se determina en función de la persistencia retiniana del ojo humano. Esto permite elegir valores de intervalo de actualización suficientemente grandes para evitar la visualización de informaciones redundantes a una frecuencia elevada en detrimento de la eficacia del sistema, todo teniendo en cuenta la duración de la persistencia retiniana de la visualización anterior.
Por ejemplo, el intervalo de tiempo de actualización se puede elegir entre 40 ms y 150 ms, sabiendo que cuanto más elevado sea el valor elegido más ganará en eficacia el sistema de visualización evitando tanto más las visualizaciones de redundancia.
Una segunda señal de control de visualización se genera, por lo tanto, (403) para efectuar una actualización de la visualización del píxel durante el intervalo de tiempo determinado de este modo y que discurre a partir de la visualización del píxel tras el anterior comando de visualización.
Este anterior comando de visualización puede ser un comando de visualización en detección de evento tal como se describe a continuación, o bien un comando de visualización de actualización en el caso, por ejemplo, en que ningún comando de visualización en detección de evento no ha sido generado durante un periodo que corresponde al intervalo de tiempo de actualización que discurre desde la anterior visualización.
Las figuras 5a y 5b ilustran una secuencia de señal asíncrona para un píxel y los comandos de visualización correspondientes generados según una implementación del procedimiento propuesto.
La figura 5a ilustra la información portada por una muestra de señal asíncrona en la que los eventos para un píxel se representan en un eje de tiempos por picos de Dirac de amplitud G(t) correspondiente a un nivel de gris. Cinco eventos e1, e2 , e3 , e4 y es se representan en la figura 5a, situados, respectivamente, en los instantes te1, te2, te3, te4 y te5 con respecto a una referencia de tiempo t0, con te1 < te2 < te3 < te4 < te5. Cada uno de los 5 eventos porta una información de nivel de gris para el píxel considerado denotada g(t=te) con i = {1,2, 3, 4, 5}
Estos valores de nivel de gris podrán, por ejemplo, resultar de la cuantificación de un valor de nivel de gris en 2ncuant niveles y estar codificados en ncuant bits.
La figura 5b muestra una vista simplificada de la secuencia de eventos ilustrada por la figura 5a en la que los eventos están representados por picos de Dirac de amplitud constante. El intervalo de tiempo Atp se define en función de la persistencia retiniana del ojo y para corresponder a un intervalo de tiempo máximo que separa dos visualizaciones consecutivas de un mismo píxel. En el ejemplo ilustrado en la figura 5b, las separaciones temporales que separan dos eventos consecutivos que no superan la cantidad Atp, con excepción de la separación entre los eventos e2 y e3 te3 -te2.
En el ejemplo de una secuencia de eventos ilustrada en las figuras 5a y 5b, se podrá generar un comando de visualización del píxel tras la detección del evento e1 para una visualización con las características (típicamente un nivel de gris) portadas por la señal asíncrona procesada para el evento e1. Lo mismo ocurre para los eventos e2 , e3 , e4 y e5 cuyas detecciones, en un modo de realización, podrán dar lugar, cada una, a la generación de un comando de visualización con características respectivas.
En un modo particular de realización del procedimiento propuesto, un comando de visualización se generará además para efectuar una visualización de actualización en un intervalo de tiempo tras la visualización del píxel en detección del evento e2. Este comando de visualización podrá generarse, por ejemplo, si no se ha detectado ningún evento en el intervalo de tiempo [te2 ; te2+Atp] de duración Atp a partir del instante te2.
Como variante se podrá generar en cualquier instante durante la duración del intervalo de tiempo [te2 ; te2+Atp] de duración Atp a partir del instante te2.
La figura 5c muestra un ejemplo de secuencia de comandos de visualización generados según un modo de realización del procedimiento propuesto aplicado a la secuencia de eventos de la figura 5a. Los comandos de visualización se representan en la figura mediante picos de Dirac de amplitud variable. Esta muestra comandos de visualización Ce1, Ce2 , Ce3 , Ce4 y Ce5 que corresponden respectivamente a los eventos e1, e2 , e3 , e4 y e5 de la figura 5a generados respectivamente en instantes tce1, tce2 , tce3 , tce4 y tce5. Cada uno de los comandos consta de una información relativa al nivel de gris al que se debe iluminar el píxel, denotado en la figura g(tei), con i = {1, 2, 3, 4, 5}.
Además de los comandos de visualización Ce, generados en detección de un evento ei, un comando de visualización de actualización Cr,e2 se genera en el instante t'2+Atp tras la no detección de un nuevo evento consecutivo a la del evento e2 durante una duración Atp.
El comando de visualización de actualización Cr,e2 podrá generarse con las mismas características de visualización, y por ejemplo el mismo nivel de gris g(te2), que los comprendidos en el comando de visualización en evento Ce2. Como variante, el comando de visualización de actualización Cr,e2 podrá generarse con características de visualización determinadas en función de las determinadas para el comando de visualización en evento Ce2.
En un modo particular de realización del procedimiento propuesto, la gestión del intervalo de tiempo de actualización para cada píxel puede realizarse con ayuda de un temporizador, ajustado al valor Atp definido para el píxel y puesto en marcha con cada generación de comando de visualización para el píxel. Como variante, un temporizador de actualización podrá iniciarse para un píxel durante cada transmisión de una señal de control de visualización para el píxel. Este temporizador se podrá detener en detección de un nuevo evento para el cual el sistema de control de visualización determina que debe generarse un comando de visualización, y en expiración cuando no se ha generado ningún comando de visualización durante el intervalo Atp lo que dará lugar a la generación de un comando de visualización de actualización para el píxel.
Como variante, la actualización de los píxeles de la matriz puede efectuarse en grupo, y puede ser procedimiento con un actualización sistemático y periódico de píxeles de la matriz con una frecuencia de actualización predeterminada. La ventaja de este modo de realización es evitar una gestión individualizada de cada píxel en lo que concierne a la actualización. La actualización de la matriz se repite entonces con una cadencia al menos igual al intervalo de actualización más corto definido para un píxel.
En este modo de realización del procedimiento propuesto, la actualización de la matriz de píxeles se efectúa periódicamente, al tiempo que sigue estando completamente descorrelacionado e independiente de la secuencia de comandos de visualización en eventos. La generación del comando de actualización de visualización es independiente de la del comando de visualización en evento, y la frecuencia de actualización de visualización se elige de manera que la separación entre una visualización en evento de cada píxel y la visualización de actualización inmediatamente posterior no excede un intervalo de tiempo Atp que, como se discutió anteriormente, se podrá elegir en función de la persistencia retiniana del ojo humano del orden de 40 ms a 150 ms. Este modo "mixto" de visualización permite combinar una visualización en evento que funciona de manera asíncrona con una visualización periódica de actualización efectuada de manera síncrona. De este modo, en función de la aparición de los eventos para cada píxel, la visualización de actualización del píxel podrá aparecer en un lapso de tiempo muy corto, después de una visualización en evento del píxel, o bien al finalizar un periodo después de una visualización en evento del píxel definida como la separación máxima entre dos visualizaciones del píxel. Este modo mixto permite aligerar la gestión de la actualización de la visualización, al tiempo que limita gracias a la visualización en evento asíncrono para cada píxel la visualización de la información de redundancia, dado que la visualización asíncrona permite elegir frecuencias de actualización bajas en comparación con los sistemas actuales.
Con referencia a la figura 1, cada generación de comando de visualización en evento podrá, por ejemplo, dar lugar a la puesta en memoria 103 por la unidad de procesamiento de datos 102 de características de visualización relativas al comando generado, de modo que estas características puedan ser recuperadas por la unidad 102 para la gestión de la visualización de actualización.
La figura 5d representa esquemáticamente una serie de comandos de visualización generadas según otro modo de realización del procedimiento propuesto aplicado a la secuencia de eventos de las figuras 5a y 5b.
Con referencia a la figura 5b, el evento e4 se detecta con un espaciamiento temporal t4 - te3 inferior al intervalo de tiempo Atm n definido como el intervalo de tiempo mínimo que separa dos comandos de visualización en evento sucesivos del píxel.
La secuencia de comandos de visualización de la figura 5d difiere de la secuencia ilustrada por la figura 5c en que no se genera ningún comando de visualización para el evento e4, dado que la separación temporal entre el instante de detección de este evento y el instante de detección del evento inmediatamente anterior es inferior a un umbral predefinido Am n .
En un modo particular de realización del procedimiento propuesto, la gestión del intervalo de tiempo de separación para cada píxel puede realizarse con ayuda de un temporizador, ajustado al valor Am n definido para el píxel y puesto en marcha con cada generación de comando de visualización en evento para el píxel. Por ejemplo, un evento detectado mientras que este temporizador no ha expirado para el píxel podrá conducir a ignorar el evento y no generar comando de visualización en evento correspondiente.
Las características de visualización portadas por la información asíncrona para este evento ignorado también podrán ignorarse. Como variante, se podrá prever una implementación según la cual, cuando no se ha generado ningún comando de visualización en evento, las características de visualización que corresponden al evento se consignan en la memoria 103 para ser utilizados posteriormente, por ejemplo, para la próxima visualización de actualización del píxel.
Según un modo de realización, se puede utilizar un solo temporizador para la gestión del intervalo de actualización y la del intervalo de separación. Este temporizador se puede poner en marcha con cada generación de comando de visualización para el píxel, consignando en la memoria un indicador que permite distinguir los comandos de visualización en evento de los comandos de visualización de actualización.
La figura 6 ilustra diferentes periodos de la gestión de la visualización de un píxel según un modo de realización del procedimiento propuesto, indicados en un eje de tiempos.
La detección de un evento e¡ a partir del cual se genera un comando de visualización en evento constituye el punto de partida denotado te i de un periodo llamado periodo refractario, durante el cual no se considera útil visualizar un nuevo evento. Este periodo tiene una duración denotada A tmín que corresponde al intervalo de separación descrito anteriormente, y puede elegirse en un intervalo que va de 1ms a 40ms, y fijarse por ejemplo a un valor del orden de 30 ms. El valor de este periodo se podrá elegir en función de las limitaciones de cálculo del sistema que implementa el procedimiento propuesto y/o el grado de precisión deseado. Podrá definirse además de manera dinámica por el tipo de movimientos potencialmente presentes en la escena.
Más allá de este periodo Atmín, es preferible visualizar un nuevo evento detectado para el píxel. Dos instantes denotados respectivamente tp1 y tp2 definen un intervalo temporal durante el cual es preferible efectuar la visualización de actualización del píxel. La separación temporal entre te i et tp2 corresponde al intervalo de actualización, denotado Atp, descrito anteriormente. El sistema está configurado para generar una visualización de actualización de la última visualización en evento del píxel durante el intervalo de tiempo Atp. Como variante, el punto de partida te i del intervalo Atp puede corresponder, por ejemplo, a la generación del comando de visualización en evento, o bien también a la transmisión del comando una vez generada.
El umbral determinado por tp 1 puede utilizarse para evitar efectuar una visualización de actualización del píxel que esté demasiado cerca de la visualización en evento inicial.
Según un modo de realización, un evento ei+1 consecutivo al evento ei detectado como apareciendo después del periodo refractario de duración A tmín, conduce a la generación de un comando de visualización. El o los temporizadores de gestión del periodo refractario y de gestión de la visualización de actualización, respectivamente, se reinicializan a partir del instante te i+ 1, que puede corresponder al instante de detección del evento ei+ 1, en el instante de generación del comando correspondiente o de la transmisión de este.
Por el contrario, si no se detecta ningún evento ei+1 consecutivo al evento ei en el instante tp1, un comando de visualización de actualización se genera en el intervalo de tiempo [tp1, tp2], por ejemplo, en el instante tp1, o bien en cualquier instante entre tp1 y tp2 , incluyendo tp2 , si en este instante aún no se ha detectado ningún evento ei+1 consecutivo al evento ei.
Se pueden comparar los modos de visualización síncrono y asíncrono interesándose en la tasa de píxeles actualizados en un periodo dado. Por ejemplo, una visualización de tipo convencional (llamado "síncrono") en una pantalla con una frecuencia de actualización de 200 Hz dará lugar a una visualización de un píxel dado cada 5 ms. Una visualización de tipo asíncrono podrá efectuarse con una separación mínima de 5 ms y una separación máxima de 40 ms, mostrándose solamente los píxeles que corresponden a una zona de movimiento en la secuencia de imágenes visualizada cada 5 ms, interviniendo las visualizaciones de actualización, por ejemplo, solamente cada 40 ms para los píxeles que no corresponden a una zona de movimiento.
Para conocer la ganancia en términos de píxeles no actualizados del modo de visualización asíncrono, se puede determinar un número de píxeles que pertenecen a zonas en movimientos, y a continuación calcular el porcentaje de píxeles no actualizados a 200 Hz en modo asíncrono con respecto al modo síncrono en una duración de un segundo.
La figura 7 muestra la variación del número de píxeles no actualizados en modo asíncrono con respecto a una visualización síncrona en función del número de píxeles contenidos en las zonas de movimiento. Las cantidades se expresan en porcentajes, y el gráfico de la figura 7 muestra el porcentaje de píxeles no actualizados (en ordenadas) en asíncrono con respecto a un modo síncrono para un visualizador a 200 Hz en función del porcentaje de píxeles que pertenecen a una zona de movimiento (en abscisas).
Aunque descrito a través de determinado número de ejemplos de realización detallados, el procedimiento de control de visualización y el equipo para la implementación del procedimiento comprenden diferentes variantes, modificaciones y perfeccionamientos que aparecerán de forma evidente al experto en la materia, entendiéndose que estas diferentes variantes, modificaciones y perfeccionamientos forman parte del alcance de la invención, tal como se define por las siguientes reivindicaciones.
Por ejemplo, en un modo de realización, el procedimiento propuesto es un procedimiento de control de visualización de imágenes animadas en forma de una matriz de píxeles, que comprende: recibir información asíncrona que indica, para cada píxel de la matriz, eventos sucesivos que dependen de variaciones de luz en una escena; activar los píxeles de la matriz a instantes respectivos, estando cada instante de activación de un píxel determinado por un evento respectivo indicado por la información asíncrona para dicho píxel; después de la activación de un píxel de la matriz en un instante determinado por un evento indicado por la información asíncrona, repetir la activación de dicho píxel sustancialmente al mismos nivel de activación en instantes definidos por una secuencia de actualización hasta la determinación de un próximo instante de activación de dicho píxel por los eventos indicados por la información asíncrona.
Como variante, se pueden activar los píxeles de la matriz a instantes respectivos determinados por eventos indicados por la información asíncrona para dichos píxeles.
Se ha propuesto además un dispositivo correspondiente de control de visualización de imágenes animadas en forma de una matriz de píxeles, que comprende: una entrada para recibir información asíncrona que indica, para cada píxel de la matriz, eventos sucesivos que dependen de variaciones de luz en una escena; una unidad de activación de los píxeles de la matriz, dispuesta para activar cada píxel de la matriz a instantes determinados por eventos respectivos indicados por la información asíncrona para dicho píxel; y después de la activación de un píxel de la matriz en un instante determinado por un evento indicado por la información asíncrona, repetir la activación de dicho píxel sustancialmente al mismos nivel de activación en instantes definidos por una secuencia de actualización hasta la determinación de un próximo instante de activación de dicho píxel por los eventos indicados por la información asíncrona.
Además, diferentes aspectos y características descritos anteriormente se pueden implementar conjuntamente, o por separado, o bien sustituirse unos a otros, y el conjunto de las diferentes combinaciones y subcombinaciones de los aspectos y características forman parte del alcance de la invención. Además, Además, es posible que determinados sistemas y equipos descritos anteriormente no incorporen la totalidad de los módulos y funciones descritos para los modos de realización preferidos.
Las informaciones y señales descritas en el presente documento pueden representarse según una multitud de tecnologías y de técnicas. Por ejemplo, las instrucciones, mensajes, datos, comandos, informaciones, señales, bits y símbolos pueden representarse mediante tensiones, intensidades, ondas electromagnéticas o una combinación de estos últimos.
En función del modo de realización elegido, determinados actos, acciones, eventos o funciones de cada uno de los métodos descritos en el presente documento pueden efectuarse o producirse según un orden diferente de aquel en el que se han descrito, o pueden añadirse, fusionarse o bien no efectuarse o no producirse, según el caso. Además, en determinados modos de realización, determinados actos, acciones o eventos se efectúan o se producen concurrente y no sucesivamente.

Claims (14)

REIVINDICACIONES
1. Procedimiento de control para la visualización de imágenes en forma de una matriz de píxeles, comprendiendo el procedimiento, para cada píxel de un conjunto de píxeles de la matriz:
recibir (500), desde un sensor de visión asíncrono basado en eventos (201), información asíncrona que representa eventos para el píxel, correspondiendo cada evento entre dichos eventos a una variación respectiva de intensidad lumínica más allá de un umbral en dicho píxel,
estando asociado cada evento entre dichos eventos a al menos una información lumínica respectiva y a un instante de aparición respectivo de dicha variación respectiva de intensidad lumínica más allá del umbral; comprendiendo el procedimiento además:
identificar un primer evento para dicho píxel entre dichos eventos representados por la información asíncrona recibida;
determinar el instante de aparición asociado respectivamente a dicho primer evento;
determinar, a partir del instante de aparición determinado, un instante de activación de dicho píxel; ordenar (501) una primera activación del píxel en el instante de activación determinado;
ordenar (502) al menos una segunda activación del píxel para repetir la primera activación del píxel en instantes respectivos definidos por una secuencia de actualización.
2. Procedimiento según la reivindicación 1, en el que el comando de primera activación del píxel se repite según la secuencia de actualización hasta la determinación de un próximo instante de activación del píxel por los eventos de la información asíncrona.
3. Procedimiento según la reivindicación 1, en el que la secuencia de actualización define instantes de activación del píxel separados por un intervalo de tiempo.
4. Procedimiento según la reivindicación 3, en el que el intervalo de tiempo se determina en función de la persistencia retiniana del ojo humano.
5. Procedimiento según las reivindicaciones 3 o 4, en el que el intervalo de tiempo es superior a 40 ms e inferior a 800 ms.
6. Procedimiento según la reivindicación 3, en el que la actualización de la activación se efectúa simultáneamente para una pluralidad de píxeles de la matriz de píxeles.
7. Procedimiento según una cualquiera de las reivindicaciones 1 a 6, en el que la recepción de la información lumínica comprende un tren de impulsos binarios situados en el tiempo en función de las variaciones de luz en la escena para el píxel.
8. Procedimiento según una cualquiera de las reivindicaciones 1 a 6, en el que la información que representa el primer evento comprende un primer impulso situado en el tiempo en función de las variaciones de luz en la escena para el píxel, y un segundo impulso situado en el tiempo en función de un nivel de gris para la activación del píxel.
9. Procedimiento según una cualquiera de las reivindicaciones anteriores, que comprende además:
- detectar en la información asíncrona una primera información que representa el primer evento;
- detectar en la información asíncrona una segunda información que representa un segundo evento para el píxel; - cuando la separación temporal entre los primer y segundo eventos es inferior a un umbral, no ordenar la activación del píxel en un instante de activación determinado por el segundo evento.
10. Procedimiento según la reivindicación 9, en el que el umbral está comprendido entre 1 ms y 40 ms.
11. Dispositivo de control para la visualización de imágenes en forma de una matriz de píxeles, que comprende:
• una interfaz de entrada configurada para recibir información asíncrona que representa eventos para al menos un píxel de la matriz;
• una unidad de control de activación de píxel, acoplada de manera operativa a la interfaz de entrada, y configurada para ordenar la activación del píxel según el procedimiento de la una cualquiera de las reivindicaciones 1 a 10.
12. Dispositivo de control según la reivindicación 11, que comprende además una interfaz de salida, acoplada de manera operativa a la unidad de control de activación de píxel, para suministrar comandos de activación en forma de estimulaciones eléctricas aplicadas a una prótesis visual de un dispositivo de ayuda a la visión.
13. Visualizador de imágenes, que comprende:
- una unidad de visualización que proporciona una matriz de píxeles; y
- un dispositivo según una de las reivindicaciones 11 a 12 para controlar la unidad de visualización.
14. Producto de programa informático, cargable en una memoria asociada a un dispositivo según las reivindicaciones 11 a 13, y que comprende partes de código para la implementación de las etapas de un procedimiento según una cualquiera de las reivindicaciones 1 a 10 durante la ejecución de dicho programa por el dispositivo.
ES15714874T 2014-03-26 2015-03-18 Procedimiento de control de visualización y dispositivo para la implementación del procedimiento Active ES2836901T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1452557A FR3019365A1 (fr) 2014-03-26 2014-03-26 Procede de commande d'affichage et dispositif pour la mise en oeuvre du procede
PCT/FR2015/050654 WO2015145025A1 (fr) 2014-03-26 2015-03-18 Procede de commande d'affichage et dispositif pour la mise en oeuvre du procede

Publications (1)

Publication Number Publication Date
ES2836901T3 true ES2836901T3 (es) 2021-06-28

Family

ID=51210536

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15714874T Active ES2836901T3 (es) 2014-03-26 2015-03-18 Procedimiento de control de visualización y dispositivo para la implementación del procedimiento

Country Status (5)

Country Link
US (1) US10559247B2 (es)
EP (1) EP3123462B1 (es)
ES (1) ES2836901T3 (es)
FR (1) FR3019365A1 (es)
WO (1) WO2015145025A1 (es)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101331982B1 (ko) 2005-06-03 2013-11-25 우니페르지타에트 취리히 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이

Also Published As

Publication number Publication date
WO2015145025A1 (fr) 2015-10-01
US20170110045A1 (en) 2017-04-20
FR3019365A1 (fr) 2015-10-02
EP3123462A1 (fr) 2017-02-01
US10559247B2 (en) 2020-02-11
EP3123462B1 (fr) 2020-10-07

Similar Documents

Publication Publication Date Title
ES2856208T3 (es) Dispositivo para visualizar una secuencia de imágenes y sistema para visualizar una escena
CN110431841B (zh) 虚拟、增强和混合现实系统的深度感测技术
US10708577B2 (en) Range-gated depth camera assembly
ES2587436T3 (es) Cámara de profundidad de baja potencia integrada y dispositivo de proyección
CN104246578B (zh) 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
JP2020526098A (ja) デジタル画素画像センサ
CN110771145A (zh) 事件摄像机
JP6742379B2 (ja) 高効率レーザ変調
JP2018198388A (ja) 固体撮像素子、撮像装置及び撮像方法
JP2020006177A (ja) カメラスコープ電子可変プリズム
ES2744912T3 (es) Dispositivo de imagenología y procedimiento de imagenología
ES2908209T3 (es) Procedimiento para la medición de la latencia
CN113641088B (zh) 用于深度传感的时间数字转换器
JP2020006176A (ja) カメラスコープ電子可変プリズム
CN114341781A (zh) 使用定向光源的基于闪光的注视跟踪
US20240276107A1 (en) Spad array for intensity image sensing on head-mounted displays
KR20230025498A (ko) 펄스 신호 기반 디스플레이 방법 및 장치, 전자 디바이스, 및 매체
ES2836901T3 (es) Procedimiento de control de visualización y dispositivo para la implementación del procedimiento
WO2022115131A1 (en) Spad array for intensity image capture and time of flight capture
JP2008085550A (ja) 撮像装置、撮像制御方法、及び、撮像制御プログラム
US11513361B2 (en) Apparatus and method for frame cropping and shifting
WO2024209994A1 (ja) 画像センサ、データ処理装置、および画像センサシステム
US20230081574A1 (en) Apparatus and method for frame cropping and shifting
ES2868777T3 (es) Sistema de captación de imágenes y método para la obtención de imágenes de objetos en movimiento cíclico
CN118414132A (zh) 个人护理设备