ES2738702T3 - Método para el submuestreo de una señal emitida por un sensor asíncrono - Google Patents
Método para el submuestreo de una señal emitida por un sensor asíncrono Download PDFInfo
- Publication number
- ES2738702T3 ES2738702T3 ES16741905T ES16741905T ES2738702T3 ES 2738702 T3 ES2738702 T3 ES 2738702T3 ES 16741905 T ES16741905 T ES 16741905T ES 16741905 T ES16741905 T ES 16741905T ES 2738702 T3 ES2738702 T3 ES 2738702T3
- Authority
- ES
- Spain
- Prior art keywords
- value
- pixel
- asynchronous
- event
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000010354 integration Effects 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 239000000654 additive Substances 0.000 claims abstract description 7
- 230000000996 additive effect Effects 0.000 claims abstract description 7
- 210000001525 retina Anatomy 0.000 claims description 44
- 239000007943 implant Substances 0.000 claims description 30
- 230000002207 retinal effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000036962 time dependent Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
- A61F2/02—Prostheses implantable into the body
- A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Neurology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Transplantation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Prostheses (AREA)
Abstract
Un método para procesar señales asíncronas generadas por un sensor de luz, teniendo el sensor una matriz (100) de píxeles, comprendiendo el método: - recibir las señales asíncronas (401), estando cada señal asíncrona asociada con un píxel en un grupo de píxeles (101a, 102a, 101b, 102b) en la matriz, comprendiendo cada señal eventos sucesivos emitidos por el pixel asociado; - tras una ocurrencia de un evento en una de las señales asíncronas, actualizar (405) un valor de integración asociado a dicho grupo mediante la adición de un valor aditivo al valor de integración; - si el valor de integración es mayor que un umbral predeterminado (406), generar (408) un evento en una señal asíncrona emitida.
Description
DESCRIPCIÓN
Método para el submuestreo de una señal emitida por un sensor asíncrono
Sector de la invención
La presente invención se refiere al submuestreo de una señal emitida desde un sensor asíncrono especialmente para la introducción de la señal submuestreada en una prótesis retiniana/un implante de retina.
Estado de la invención
Los enfoques descritos en esta sección podrían llevarse a cabo, pero no son necesariamente enfoques que han sido concebidos o perseguidos anteriormente. Por lo tanto, a menos que se indique lo contrario en el presente documento, los enfoques descritos en esta sección no son la técnica anterior a las reivindicaciones en esta solicitud y no se admite que sean la técnica anterior por su inclusión en esta sección. Además, todas las realizaciones no están necesariamente destinadas a resolver todos o incluso ninguno de los problemas presentados en esta sección. Las prótesis retinianas mantienen la promesa de restaurar parcialmente la funcionalidad visual en los sujetos afectados por enfermedades degenerativas de la retina.
Sin embargo, los implantes del estado de la técnica comprenden únicamente un par de cientos de píxeles. El aumento de la densidad de píxeles en los implantes es un proceso muy difícil, y deben explotarse técnicas alternativas para compensar la reducción de la resolución espacial de dichos implantes.
Por otro lado, los sensores de retina (o sensores de luz asíncronos) pueden comprender miles de píxeles. Los sensores de visión neuromórficos (es decir, sensores de retina/sensores asíncronos) entregan de forma asíncrona flujos de información visual con una alta resolución temporal, sin la necesidad de esperar a que un cuadro esté listo. El muestreo de una escena a una resolución menor que la que se ha capturado por los sensores de retina (cámaras) es, por lo tanto, una posible etapa de procesamiento.
La forma habitual de implementar un submuestreo (es decir, el muestreo de una escena a una resolución más baja) es usar las técnicas de visión por ordenador estándar que pueden utilizarse con imágenes/cuadros estándar, etc. Lagorce et al. ("Características espaciotemporales para datos basados en eventos asíncronos", Fronteras de la ciencia neuronal, vol 9, Artículo 46, páginas 1-13; publicado: 24 de febrero de 2015) desvela el remuestreo de señales de luz asíncronas en células de píxeles. Una señal análoga se consigue posteriormente por filtración con un filtro exponencial.
Sin embargo, las técnicas de visión por ordenador estándar (que manejan cuadros) podrían no ser la solución más adecuada para ofrecer información útil para pacientes implantados. De hecho, la información asíncrona recibida de los sensores de retina tendrá, a continuación, que convertirse en cuadros estándar de 2D de modo que se pueda utilizar el método habitual para el submuestreo: esta conversión puede implicar un tiempo de uso del procesador e información que perderse.
Por tanto, existe la necesidad de un método para el submuestreo de una señal emitida desde los sensores asíncronos sin necesidad de convertir la señal en 2D (es decir, trabajando directamente en el dominio asíncrono). Objeto de la invención
La invención se define por las reivindicaciones independientes 1, 8 y 9 y se refiere a un método para procesar señales asíncronas generadas por un sensor de luz, teniendo el sensor una matriz de píxeles, comprendiendo el método:
- recibir las señales asíncronas, estando cada señal asociada con un píxel en un grupo de píxeles en la matriz, comprendiendo cada señal eventos sucesivos emitidos por el pixel asociado;
- tras una ocurrencia de un evento en una de las señales asíncronas, actualizar un valor de integración asociado a dicho grupo mediante la adición de un valor aditivo al valor de integración;
- si el valor de integración es mayor que un umbral predeterminado, generar un evento en una señal asíncrona emitida.
Los sensores de luz que son capaces de generar señales asíncronas pueden denominarse "sensores de retina" o "sensores asíncronos".
Los eventos en las señales asíncronas no están sincronizados por un reloj (o similar). Por lo tanto, un sensor de
vídeo estándar que genera los cuadros (que son síncronos con un reloj, por ejemplo, 25 imágenes por segundo) no es un sensor asíncrono.
El grupo de píxeles puede representar una subzona en la matriz de píxeles (por ejemplo, un cuadrado o un rectángulo).
Por lo tanto, el método permite la generación de un flujo de eventos (es decir, la señal asíncrona emitida) basándose en una pluralidad de señales asíncronas recibidas. Por lo tanto, es posible submuestrear las señales emitidas por un sensor de retina con el fin de introducirlas en un dispositivo de resolución inferior, tal como un implante de retina. El uso de un valor de integración reproduce el comportamiento de las neuronas humanas y, por lo tanto, la sensación de los usuarios implantados está muy cerca de lo que se supone que verían con deficiencias.
En una posible realización, el método puede comprender además:
- disminuir el valor de integración de acuerdo con una función dependiente del tiempo.
De hecho, al reducir el valor de integración (por ejemplo, la descomposición lineal o decaimiento exponencial), es posible evitar que dos eventos distantes tengan el mismo efecto que dos eventos cercanos. El comportamiento de las neuronas humanas es, por tanto, muy similar.
Ventajosamente, el valor aditivo puede ser uno de:
- un valor predeterminado;
- una función de valor de:
- un valor predeterminado y
- una función de parámetro de ponderación de una posición en el grupo del píxel a partir del que se emite el evento ocurrido;
- una función de valor de una información del nivel de gris asociada con el evento ocurrido;
- una función de valor de:
- una información del nivel de gris asociada con el evento ocurrido; y
- una función de parámetro de ponderación de una posición en el grupo del píxel a partir del que se emite el evento ocurrido.
El parámetro de ponderación permite la creación del patrón de reconocimiento ("kernel"). Además tal parámetro de ponderación puede permitir configurar un mayor peso en el centro del grupo, mientras que los píxeles cerca de los bordes del grupo se excluyen. La salida de una operación de este tipo puede alimentarse en otro kernel para realizar más cálculo o cálculos.
La información del nivel de gris puede proporcionarse por la señal secundaria emitida por un sensor de ATIS (ver a continuación): la distancia entre dos picos puede representar tal información del nivel de gris.
En una posible realización, el método puede comprender además enviar la señal asíncrona emitida a un píxel de un implante de retina.
Además, el método puede comprender además, después de la generación del evento en la señal emitida, establecer el valor de integración en 0 o tras la generación del evento en la señal emitida, establecer el valor de integración en un valor correspondiente a la diferencia del valor de integración y el umbral predeterminado.
La diferencia entre el valor de integración y el umbral predeterminado se puede realizar directamente o gracias al cálculo de un módulo. Al establecer el valor de integración en un valor correspondiente a la diferencia del valor de integración y el umbral predeterminado, es posible evitar "ignorar" la porción del valor de integración que excede el umbral. Esto puede ser particularmente relevante si esta parte es importante.
En una realización específica, el umbral predeterminado puede ser una función de un número de píxeles en el grupo de píxeles.
Por lo tanto, si el grupo de píxeles es grande, puede ser útil establecer el umbral para un gran valor a fin de evitar la
generación de un número demasiado grande de eventos en la señal emitida (es decir, evitar la saturación de la señal emitida). Si el grupo de píxeles es bastante pequeño, puede ser útil establecer el umbral en un valor pequeño con el fin de evitar una señal emitida "en blanco".
Un segundo aspecto se refiere a un producto de programa informático que comprende un medio legible por ordenador, que tiene en su interior un programa informático que comprende instrucciones de programa. El programa informático se puede cargar en una unidad de procesamiento de datos y adaptarse para hacer que la unidad de procesamiento de datos lleve a cabo el método descrito anteriormente cuando el programa informático se ejecuta por la unidad de procesamiento de datos.
Sin embargo, la implementación analógica de tal método también es posible. Por lo tanto, un aspecto de la invención puede referirse a un dispositivo de hardware que permite una implementación analógica del método anterior.
Por tanto, un tercer aspecto se refiere a un dispositivo de retina que comprende:
- un sensor de luz, teniendo el sensor una matriz de píxeles,
- un circuito, tal como ASIC, para:
- recibir las señales asíncronas, estando cada señal asíncrona asociada con un píxel en un grupo de píxeles en la matriz, comprendiendo cada señal eventos sucesivos emitidos por el pixel asociado;
- tras una ocurrencia de un evento en una de las señales asíncronas, actualizar un valor de integración asociado a dicho grupo mediante la adición de un valor aditivo al valor de integración;
- si el valor de integración es mayor que un umbral predeterminado, generar un evento en una señal asíncrona emitida.
Otras características y ventajas del método y aparato divulgados en el presente documento, serán evidentes a partir de la siguiente descripción de las realizaciones no limitantes, con referencia a los dibujos adjuntos.
Descripción de las figuras
La presente invención se ilustra a modo de ejemplo, y no a modo de limitación, en las figuras de los dibujos adjuntos, en los que los números de referencia similares se refieren a elementos similares y en los que:
- la Figura 1a y la Figura 1b son ejemplos de los diversos grupos de píxeles utilizados para el submuestreo de una señal de entrada en una señal submuestreada emitida;
- la Figura 2 es una representación de un sensor de ATIS;
- las Figuras 3a a 3c son ejemplos de un proceso de integración que se puede utilizar en una realización de la invención;
- la Figura 4 es un diagrama de flujo que describe una posible realización de la presente invención;
- la Figura 5 es un conjunto de ejemplos de la matriz de ponderación (o núcleo) que se utiliza en el proceso de integración.
Descripción detallada de la invención
La Figura 1a y la Figura 1b, son ejemplos de los diversos grupos de píxeles utilizados para el submuestreo de una señal de entrada en una señal submuestreada emitida.
Como el sensor de retina 100 comprende un mayor número de píxeles (8x8 en el presente ejemplo) en comparación con el número de pixel del implante de retina 110 (3x3 en el presente ejemplo), es posible calcular los eventos asociados a cada píxel del implante de retina (véase Figura 2 para la definición de un evento en el contexto de un sensor de retina o un implante de retina) basándose en los eventos de una pluralidad de píxeles (la mayoría de las veces, píxeles adyacentes) en el sensor de retina 100.
Por ejemplo, en una posible realización, los eventos del pixel 111 del implante de retina se pueden determinar basándose en los eventos que se producen para el grupo de píxeles 101a en el sensor de retina. De manera similar, los eventos del píxel 112 del implante retina se pueden determinar basándose en los eventos que se producen para el grupo de píxeles 102a en el sensor de retina.
Se observa que un mismo píxel del sensor de retina 100 puede ser utilizado para dos (o más) grupos de píxeles: de hecho, una superposición entre los grupos (101a, 102a) es aceptable.
Además, cualquier grupo de píxeles puede ser de cualquier forma. Por ejemplo, los eventos de grupo de píxeles 101b (respectivamente 102b) se pueden usar para calcular el evento del pixel 111 (respectivamente 112).
La influencia de cada píxel de un grupo puede no ser uniforme para el cálculo de los eventos del píxel en el implante de retina: por ejemplo, un píxel en el centro de un grupo puede tener un mayor impacto en el cálculo que los píxeles en los bordes del grupo. Para facilitar esta realización, es posible recibir una matriz de ponderación para cada grupo que facilita la determinación de un peso w para cada pixel en el grupo.
La Figura 2 es una representación de un sensor asíncrono.
Un píxel 201 de la matriz que constituye el sensor puede incluir dos elementos fotosensibles 202a, 202b, tales como fotodiodos, asociados con los respectivos circuitos electrónicos de detección 203a, 203b.
Si el píxel p comprende solamente el elemento 202a, el sensor es un sensor asíncrono clásico. Si el píxel comprende los dos elementos 202a y 202b, el sensor es un sensor de ATIS.
El sensor 202a y el circuito 203a producen un impulso P0 cuando la intensidad de luz recibida por el fotodiodo 202 varía en una cantidad predeterminada.
La información asíncrona procedente del sensor estándar incluye un tren de impulsos P0 que indica los tiempos en los que la intensidad de la luz ha cambiado más allá del umbral de detección: cada pulso individual puede ser entonces un "evento" e(p,t).
con C el dominio espacial del sensor de retina, pol la polaridad del cambio (por ejemplo, 1 para un aumento de la luminosidad o -1 para una disminución).
Si el sensor es un sensor de ATIS, el impulso P0 que marca el cambio de intensidad 203b activa el circuito electrónico asociado con el otro fotodiodo 202b. El circuito 203b genera a continuación un primer impulso P1 y un segundo impulso P2 cuando una cantidad de luz (por ejemplo, número de fotones) se recibe por el fotodiodo 202b. La diferencia de tiempo St entre los impulsos P1 y P2 es inversamente proporcional a la intensidad de luz recibida por el pixel 201 justo después de la aparición del impulso P0.
La información asíncrona procedente del ATIS incluye dos trenes de impulsos combinados para cada píxel (204): el primer tren de impulsos P0 indica los instantes en los que la intensidad de la luz ha cambiado más allá del umbral de detección, mientras que el segundo tren comprende los impulsos P1 y P2 (intervalo de tiempo St indica las intensidades luminosas asociadas o niveles de gris).
Para un sensor de ATIS, el "evento" se puede definir como:
(p€ C e m 2
e ( p , 0 = í
p o l
l l(P> 0
con C el dominio espacial del sensor de retina, pol la polaridad del cambio (por ejemplo, 1 para un aumento de la luminosidad o -1 para un descenso) y I(p, t) la variación de la intensidad (función de St)
Las Figuras 3a a 3c son ejemplos de un proceso de integración que se puede utilizar en una realización de la invención.
En el ejemplo de la Figura 3a, se considera que los eventos de un grupo (por ejemplo, 101a) de los píxeles del sensor de retina utilizados para calcular los eventos de un píxel dado (por ejemplo, 111) del implante de retina se representan en los gráficos 301 y 302 por picos verticales (los eventos son, respectivamente, {3011, 3012, 3013, 3014, 3015, 3016} y {3021, 3022, 3023} para el gráfico 301 y 302).
En la Figura 3a y por razones de claridad, el grupo comprende solo dos píxeles (es decir, solo dos gráficos se visualizan 301 y 302). Sin embargo, el grupo puede comprender un mayor número de píxeles.
El gráfico 303 representa un valor de "integración" B. Con el fin de calcular el valor de integración B en esta
realización, es posible inicializar el valor B en 0 y añadir después un valor predeterminado la cada vez que un evento es detectado en un pixel del grupo (es decir, cuando se detecta un pico en el gráfico 301 o 302). Si el valor de B es mayor que un umbral predeterminado Bmax (en la presente Figura 3a, cuando el pico 3022 se produce):
- un evento de salida se genera (3041) y envía a un implante de retina para activar el píxel (del implante de retina) asociado con dicho grupo (la señal enviada al píxel del implante de retina está representada por el gráfico 304); - el valor de B está ya sea reinicializado en 0 o el valor de B se establece en:
- la diferencia entre el valor anterior de B y Bmax (es decir, el valor de B se establece en el valor anterior de B superior a B max); o
- el módulo Bmax del valor B (es decir, el valor anterior de B después de la adición del módulo Ia Bmax).
Además, es posible reemplazar la adición del valor predeterminado Ia por una adición de una función de valor del valor predeterminado Ia: por ejemplo, si un peso w se determina de acuerdo con una matriz de ponderación para un pixel determinado del grupo (ver arriba), el valor añadido puede ser w.Ia.
El valor Bmax puede predeterminarse o determinarse basándose en el grupo de píxeles (del sensor de retina) considerado. Por ejemplo, el valor Bmax puede ser una función del número de píxeles en dicho grupo (por ejemplo, Bmax es igual al número de píxeles multiplicado por Ia).
En el ejemplo de la Figura 3b, se considera que los eventos de un grupo (por ejemplo, 101a) de los píxeles del sensor de retina utilizado para calcular los eventos de un píxel dado (por ejemplo, 111) del implante de retina se representan en los gráficos 301 y 302 por picos verticales (los eventos son, respectivamente, {3011, 3012, 3013, 3014, 3015, 3016} y {3021, 3022, 3023} para el gráfico 301 y 302).
En la Figura 3b y por razones de claridad, el grupo comprende solo dos píxeles (es decir, solo dos gráficos se visualizan 301 y 302). Sin embargo, el grupo puede comprender un mayor número de píxeles.
El gráfico 313 representa el valor de "integración" B. Con el fin de calcular el valor de integración B en esta realización, es posible inicializar el valor B en 0 y añadir después un valor predeterminado Ib cada vez que un evento es detectado en un pixel del grupo (es decir, cuando se detecta un pico en el gráfico 301 o 302). Si el valor de B es mayor que un umbral predeterminado Bmax (en la presente Figura 3b, cuando se producen, respectivamente, los picos 3012, 3022, 3015, 3023):
- un evento de salida se genera (respectivamente 3141, 3142, 3143, 3144) y envía al implante de retina para activar el píxel (del implante de retina) asociado con dicho grupo (la señal enviada al píxel del implante de retina está representada por el gráfico 314). El evento se puede enviar también a otra capa de cálculo antes de enviarse al implante de retina;
- el valor de B está ya sea reinicializado en 0 o el valor de B se establece en:
- la diferencia entre el valor anterior de B y Bmax (es decir, el valor de B se establece en el valor anterior de B superior a B max); o
- el módulo Bmax del valor B (es decir, el valor anterior de B después de la adición del módulo Ia Bmax).
Además, el valor de B puede no ser constante cuando no se detecta ningún evento para los píxeles del grupo. El valor de B puede disminuir con el tiempo cuando no se detecta ningún evento. Este decaimiento puede ser un decaimiento lineal, un decaimiento exponencial, o cualquier otro decaimiento.
Además, es posible reemplazar la adición del valor predeterminado Ib por una adición de una función de valor del valor predeterminado Ib: por ejemplo, si un peso w se determina de acuerdo con una matriz de ponderación para un determinado pixel del grupo (ver arriba), el valor añadido puede ser w.Ib.
El valor Bmax puede predeterminarse o determinarse basándose en el grupo de píxeles (del sensor de retina) considerado. Por ejemplo, el valor Bmax puede ser una función del número de píxeles en dicho grupo (por ejemplo, Bmax es igual al número de píxeles multiplicados por Ib).
Si los eventos recibidos desde el sensor de retina son eventos de nivel de gris (es decir, enviados por el sensor de ATIS como se ha detallado anteriormente), es posible adaptar ligeramente el proceso de integración descrito en relación con la Figura 3a o la Figura 3b.
En efecto, cada evento recibido no solo es representado por un único pico, sino por un par de picos. En el ejemplo de la Figura 3c, se considera que los eventos de un grupo (por ejemplo, 101a) de los píxeles del sensor de retina
utilizado para calcular los eventos de un píxel dado (por ejemplo, 111) del implante de retina se representan en los gráficos 321 y 322 por conjuntos de dos picos verticales (los eventos son, respectivamente, {3211, 3212, 3213} y {3221, 3222} para el gráfico 321 y 322).
El gráfico 323 representa el valor de "integración" B. Con el fin de calcular el valor de integración B en esta realización, es posible inicializar el valor B en 0 y añadir después un valor cada vez que se detecta un evento en un pixel del grupo (es decir, cuando se detecta el segundo pico de cada uno de los conjuntos de picos en el gráfico 321 o 322): el valor añadido puede ser una función de la distancia entre los dos picos del conjunto considerado.
Por ejemplo, en el valor añadido Ic1 es importante que la distancia entre los dos picos de eventos 3211 sea pequeña. El valor añadido Ic2 es pequeño puesto que la distancia entre los dos picos de eventos 3221 es importante. Por lo tanto, el valor añadido puede ser inversamente proporcional a la distancia de los dos picos del conjunto considerado. Si el valor de B es superior a un umbral predeterminado Bmax (en la presente Figura 3c, cuando se producen, respectivamente, los eventos 3212, 3222):
- un evento de salida se genera (respectivamente 3241, 3242) y envía al implante de retina para activar el píxel (del implante de retina) asociado con dicho grupo de píxeles (del sensor de retina) (la señal enviada al píxel del implante de retina está representada por el gráfico 324) o se envía a otra capa para la realización de otro cálculo o cálculos;
- el valor de B está ya sea reinicializado en 0 o el valor de B se establece en:
- la diferencia entre el valor anterior de B y Bmax (es decir, el valor de B se establece en el valor anterior de B superior a B max); o
- el módulo Bmax del valor B (es decir, el valor anterior de B después de la adición del módulo Ia Bmax).
La Figura 4 es un diagrama de flujo 400 que describe una posible realización de la presente invención.
Cuando se recibe una señal de entrada 401 con una pluralidad de eventos para una pluralidad de píxeles de un sensor de retina, es posible seleccionar/filtrar (etapa 402) los eventos asociados con una subparte 403 de píxeles (es decir, un grupo) que se van a utilizar para la creación de los eventos para un píxel dado del implante de retina. Como alternativa, es posible recibir directamente los eventos asociados con la subparte de píxeles (ningún filtro es por tanto necesario).
También es posible asociar a dicho evento un peso w, por ejemplo basándose en la posición del píxel (desde la que se emite el evento) en el grupo de píxeles (por ejemplo, basándose en una matriz de ponderación).
Una vez que los eventos se filtran/seleccionan, es posible actualizar (etapa 405) un "valor de integración" como se ha detallado en referencia a las Figuras 3a, 3b y/o 3c. El peso w se puede utilizar en esta etapa. Si el valor de integración tiene que disminuir con el tiempo, es posible reiterar la etapa 205 para disminuir el valor de integración o esperar hasta el próximo evento para actualizar el valor.
Si el valor de integración calculado en la etapa 205 es mayor que un valor predeterminado Bmax (que puede ser una función, por ejemplo, una función del número de píxeles en el grupo considerado) (prueba 406), entonces el valor de integración puede reinicializarse como se detalla en relación con las Figuras 3a, 3b y/o 3c (salida OK1 de la prueba 406, etapa 407) y un evento puede generarse (salida OK2 de la prueba 406, etapa 408) con el fin de introducirse en el píxel del implante de retina asociado con el grupo considerado.
Por lo tanto, al final, se genera un nuevo flujo de eventos (409) para un píxel del implante de retina basándose en los flujos recibidos (401) de los eventos emitidos por los píxeles de un grupo dado en el sensor de retina.
El diagrama de flujo de la Figura 4 puede ejecutarse en paralelo para una pluralidad de grupos de píxeles del sensor de retina y para una pluralidad de píxeles del implante de retina asociado con dichos grupos
Una parte de este diagrama de flujo puede representar etapas de un ejemplo de un programa informático que puede ejecutarse por un procesador o una unidad de procesamiento (por ejemplo, un circuito electrónico).
Un circuito (electrónico) puede ser, por ejemplo:
- un procesador o una unidad de procesamiento adaptada para interpretar instrucciones en un lenguaje informático, el procesador o la unidad de procesamiento pueden comprender, pueden asociarse con o unirse a una memoria que comprende las instrucciones, o
- la asociación de un procesador/unidad de procesamiento y una memoria, el procesador o la unidad de procesamiento adaptado para interpretar instrucciones en un lenguaje informático, comprendiendo la memoria dichas instrucciones, o
- una tarjeta electrónica en a que las etapas de la invención se describen dentro de silicio, o
- un chip electrónico programable tal como un chip FPGA (para "matriz de puertas programable encampo").
La Figura 5 es un conjunto de ejemplos de la matriz de ponderación (o núcleo) que se utiliza en el proceso de integración (véanse Figuras 3a a 4).
Como se ha indicado anteriormente, es posible determinar para cada píxel de un grupo de píxeles (del sensor de retina) un peso w asociado con dicho pixel.
Dicho peso se puede determinar ventajosamente por un "núcleo" o una matriz de ponderación.
Por ejemplo, si el grupo de píxeles es un cuadrado, es posible utilizar un núcleo similar al elemento 501, 502 o 503 (cambiándose la "forma" de kernel). En la representación de la Figura 5, si el píxel en el núcleo es oscuro (elemento 505), el peso asociado con dicho pixel es importante. Si el píxel en el núcleo es claro (elemento 504), el peso asociado con dicho pixel es bajo.
Por ejemplo, un núcleo similar al elemento 502 puede usarse para facilitar la detección del patrón vertical. Un núcleo similar al elemento 503 se puede usar para facilitar la detección del patrón oblicuo.
Al cambiar la forma de kernel, se pueden implementar operaciones de filtrado utilizando un enfoque de red de convolución basado en eventos. En lugar de cambiar el contorno o la forma del núcleo, diferentes operaciones de filtro se pueden implementar mediante el uso de diferentes matrices de ponderación, por ejemplo.
El núcleo puede tener cualquier forma.
Las expresiones tales como "comprender", "incluir", "incorporar", "contener", "ser" y "tener" deben interpretarse de manera no exclusiva cuando se interpreta la descripción y las reivindicaciones asociadas, en concreto interpretarse para permitir que otros artículos o componentes que no se definen explícitamente están también presente. La referencia al singular debe interpretarse también como una referencia al plural y viceversa.
Un experto en la materia apreciará fácilmente que diversos parámetros divulgados en la descripción pueden ser modificados y que diversas realizaciones divulgadas pueden combinarse sin apartarse del alcance de la invención.
Claims (9)
1. Un método para procesar señales asíncronas generadas por un sensor de luz, teniendo el sensor una matriz (100) de píxeles, comprendiendo el método:
- recibir las señales asíncronas (401), estando cada señal asíncrona asociada con un píxel en un grupo de píxeles (101a, 102a, 101b, 102b) en la matriz, comprendiendo cada señal eventos sucesivos emitidos por el pixel asociado;
- tras una ocurrencia de un evento en una de las señales asíncronas, actualizar (405) un valor de integración asociado a dicho grupo mediante la adición de un valor aditivo al valor de integración;
- si el valor de integración es mayor que un umbral predeterminado (406), generar (408) un evento en una señal asíncrona emitida.
2. Un método de acuerdo con la reivindicación 1, en el que el método comprende además:
- disminuir el valor de integración de acuerdo con una función dependiente del tiempo.
3. Un método de acuerdo con una de las reivindicaciones anteriores, en el que el valor aditivo es uno de:
- un valor predeterminado;
- una función de valor de:
- un valor predeterminado y
- una función de parámetro de ponderación de una posición en el grupo del píxel a partir del que se emite el evento ocurrido;
- una función de valor de una información del nivel de gris asociada con el evento ocurrido;
- una función de valor de:
- una información del nivel de gris asociada con el evento ocurrido; y
- una función de parámetro de ponderación de una posición en el grupo del píxel a partir del que se emite el evento ocurrido.
4. Un método de acuerdo con una de las reivindicaciones anteriores, en el que el método comprende además: - enviar la señal emitida asíncrona a un pixel de un implante de retina.
5. Un método de acuerdo con una de las reivindicaciones anteriores, en el que el método comprende además: - tras la generación del evento en la señal emitida, establecer (407) el valor de integración en 0.
6. Un método de acuerdo con una de las reivindicaciones 1 a 4, en el que el método comprende además:
- tras la generación del evento en la señal emitida, establecer (407) el valor de integración en un valor correspondiente a la diferencia del valor de integración y el umbral predeterminado.
7. Un método de acuerdo con una de las reivindicaciones anteriores, en el que el umbral predeterminado es función de un número de píxeles en el grupo de píxeles.
8. Un medio de almacenamiento legible por ordenador no transitorio, que tiene almacenado en su interior un programa informático que comprende instrucciones de programa, pudiendo el programa informático cargarse en una unidad de procesamiento de datos y adaptarse para hacer que la unidad de procesamiento de datos lleve a cabo las etapas de cualquiera de las reivindicaciones 1 a 7 cuando el programa informático se ejecuta por la unidad de procesamiento de datos.
9. Un dispositivo de retina, comprendiendo el dispositivo:
- un sensor de luz, teniendo el sensor una matriz (100) de píxeles,
- un circuito, tal como ASIC, para:
- recibir las señales asíncronas (401), estando cada señal asíncrona asociada con un píxel en un grupo de píxeles (101a, 102a, 101b, 102b) en la matriz, comprendiendo cada señal eventos sucesivos emitidos por el pixel asociado;
- tras una ocurrencia de un evento en una de las señales asíncronas, actualizar (405) un valor de integración asociado a dicho grupo mediante la adición de un valor aditivo al valor de integración;
- si el valor de integración es mayor que un umbral predeterminado (406), generar (408) un evento en una señal asíncrona emitida.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306193.2A EP3120897A1 (en) | 2015-07-22 | 2015-07-22 | Method for downsampling a signal outputted by an asynchronous sensor |
| PCT/EP2016/067059 WO2017013065A1 (en) | 2015-07-22 | 2016-07-18 | Method for downsampling a signal outputted by an asynchronous sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2738702T3 true ES2738702T3 (es) | 2020-01-24 |
Family
ID=53758159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES16741905T Active ES2738702T3 (es) | 2015-07-22 | 2016-07-18 | Método para el submuestreo de una señal emitida por un sensor asíncrono |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10500397B2 (es) |
| EP (2) | EP3120897A1 (es) |
| ES (1) | ES2738702T3 (es) |
| WO (1) | WO2017013065A1 (es) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10789495B2 (en) * | 2016-12-21 | 2020-09-29 | Volkswagen Ag | System and method for 1D root association providing sparsity guarantee in image data |
| US10922824B1 (en) | 2019-08-13 | 2021-02-16 | Volkswagen Ag | Object tracking using contour filters and scalers |
| CN112714301B (zh) * | 2020-12-21 | 2023-07-21 | 北京灵汐科技有限公司 | 双模态图像信号处理器和图像传感器 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020050518A1 (en) * | 1997-12-08 | 2002-05-02 | Roustaei Alexander R. | Sensor array |
| WO2003032627A1 (en) * | 2001-09-11 | 2003-04-17 | Deltapix Aps | A method and apparatus for producing a high resolution image |
| US8626306B2 (en) * | 2008-06-12 | 2014-01-07 | Second Sight Medical Products, Inc. | Visual prosthesis for control of spatiotemporal interactions |
| FR2975251B1 (fr) * | 2011-05-12 | 2015-12-04 | Univ Pierre Et Marie Curie Paris 6 | Procede et dispositif de commande d'un dispositif d'aide a la vision |
| EP2579575A1 (en) * | 2011-10-06 | 2013-04-10 | FEI Company | Method for acquiring data with an image sensor |
| FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| EP2677500B1 (en) * | 2012-06-19 | 2021-06-23 | Samsung Electronics Co., Ltd. | Event-based image processing apparatus and method |
| KR102203810B1 (ko) * | 2013-10-01 | 2021-01-15 | 삼성전자주식회사 | 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법 |
| FR3020699A1 (fr) * | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
| US9846677B2 (en) * | 2014-09-16 | 2017-12-19 | Qualcomm Incorporated | Event-based spatial transformation |
| FR3033914A1 (fr) * | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie (Paris 6) | Procede de traitement d'un signal asynchrone |
-
2015
- 2015-07-22 EP EP15306193.2A patent/EP3120897A1/en not_active Withdrawn
-
2016
- 2016-07-18 ES ES16741905T patent/ES2738702T3/es active Active
- 2016-07-18 US US15/744,194 patent/US10500397B2/en active Active
- 2016-07-18 EP EP16741905.0A patent/EP3325087B1/en active Active
- 2016-07-18 WO PCT/EP2016/067059 patent/WO2017013065A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP3120897A1 (en) | 2017-01-25 |
| WO2017013065A1 (en) | 2017-01-26 |
| US20180207423A1 (en) | 2018-07-26 |
| EP3325087A1 (en) | 2018-05-30 |
| US10500397B2 (en) | 2019-12-10 |
| EP3325087B1 (en) | 2019-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2738702T3 (es) | Método para el submuestreo de una señal emitida por un sensor asíncrono | |
| US10048206B2 (en) | Fluorescence viewing device and fluorescence viewing method | |
| EP2707093B1 (fr) | Procede et dispositif de commande d'un dispositif d'aide a la vision | |
| CN108065945A (zh) | 放射线成像装置、放射线成像系统和放射线成像方法 | |
| MY180913A (en) | Imaging method, imaging device, and electronic device | |
| JP2020129276A5 (es) | ||
| MY188976A (en) | Method for generating high-dynamic range image, camera device, terminal and imaging method | |
| CN104205822B (zh) | 采用异步传感器的场景三维重建方法 | |
| DE102020103858A1 (de) | Biometrische signalmessvorrichtung | |
| JP6918390B2 (ja) | 撮像素子、撮像機器及び画像情報処理方法 | |
| KR20190100833A (ko) | Hdr 이미지 생성 장치 | |
| KR102157955B1 (ko) | ReRAM-CMOS 기반의 인공 망막 장치 | |
| Shah et al. | Review of bio-inspired silicon retina: from cell to system level implementation | |
| JP2014090747A (ja) | 視覚装置及び視覚方法 | |
| McCarthy et al. | Augmenting intensity to enhance scene structure in prosthetic vision | |
| Liu et al. | A wireless neuroprosthetic for augmenting perception through modulated electrical stimulation of somatosensory cortex | |
| JPWO2016174775A1 (ja) | 撮像装置 | |
| Yoshida et al. | Saliency-guided neural prosthesis for visual attention: Design and simulation | |
| JP2015225393A (ja) | 画像強調処理システムおよび電子内視鏡システム | |
| WO2022116991A1 (zh) | 仿生视觉传感器 | |
| Liang et al. | 3D-stacked retinal prosthesis chip with binary image capture and edge detection functions for human visual restoration | |
| TWI547138B (zh) | 色彩校正系統及方法 | |
| US20240114263A1 (en) | Multi-mode image sensor architecture | |
| CN112600996A (zh) | 紫外仿生视觉传感器 | |
| Wen et al. | A software method to extend tonal levels and widen tonal range of CCD sensor images |