ES2767295T3 - Procedimiento de estimación de flujo óptico a partir de un sensor de luz asíncrono - Google Patents

Abstract

Procedimiento de estimación de flujo óptico, que comprende: - recibir información asíncrona proveniente de un sensor de luz (10) que tiene una matriz de píxeles dispuestos frente a una escena, comprendiendo la información asíncrona, para cada píxel de la matriz, eventos sucesivos que provienen de dicho píxel y que dependen de las variaciones de luz en la escena, caracterizado por que comprende además: - para cada píxel de la matriz, memorizar el tiempo de ocurrencia de un evento más reciente que se origina en dicho píxel; - para un lugar de estimación (p) en la matriz de píxeles y un tiempo de estimación (t), seleccionar un conjunto (Sp,t) de eventos provenientes de píxeles incluidos en una vecindad espacial (πp) del lugar de estimación y que ocurren en un intervalo de tiempo (θ) definido con respecto al tiempo de estimación, teniendo el conjunto como máximo un evento por píxel de la vecindad espacial e incluyendo cada evento que tiene un tiempo de ocurrencia en dicho intervalo de tiempo (θ) definido con respecto al tiempo de estimación y memorizado para un píxel de dicha vecindad espacial (πp) del lugar de estimación; y - cuantificar las variaciones de los tiempos de ocurrencia de los eventos del conjunto seleccionado en función de las posiciones, en la matriz, de los píxeles de donde provienen estos eventos.

Description

DESCRIPCIÓN

Procedimiento de estimación de flujo óptico a partir de un sensor de luz asíncrono

Sector de la técnica

La presente invención se refiere a los métodos de estimación de flujo óptico en las técnicas de imagenología.

Estado de la técnica

El flujo óptico es una aproximación del movimiento en una secuencia de imágenes que varía con el tiempo. Los primeros trabajos en términos de flujo óptico fueron realizados por ingenieros en el campo de la televisión y por personas interesadas en la modelización de la visión biológica. Desde entonces, estas técnicas han encontrado su lugar en una amplia variedad de disciplinas, incluida la visión informatizada y la navegación de robots. Estas sirven en concreto para realizar detección de movimiento, segmentación de objetos, cálculos de tiempo de colisión, codificación con compensación de movimiento, etc.

De forma conocida, el flujo óptico es una medida visual afectada por ruido. Comúnmente se expresa como un campo de velocidades dentro de la secuencia de imágenes. Pero la estimación de este campo supone la resolución de un problema mal planteado, es decir que comprende demasiadas incógnitas con respecto al número de ecuaciones. En consecuencia, para estimar los vectores de flujo, se deben aplicar hipótesis y restricciones suplementarias. No obstante, estas hipótesis y restricciones no siempre son válidas. Además, la presencia inevitable de ruido estocástico en secuencias de imágenes naturales sin filtrar da lugar a diversas dificultades para su uso en el bucle de control de un robot móvil.

Las técnicas de flujo óptico se pueden dividir en cuatro categorías (véase J.L. Barron, et al., ''Performance of Optical Flow Techniques", International Journal of Computer Vision, Vol. 12, No. 1, págs. 43-77):

- los métodos basados en energía expresan el flujo óptico según las salidas de filtros adaptadas a la velocidad definidos en el dominio de Fourier;

- los métodos basados en fase estiman las velocidades de cuadro en términos de salidas de filtros de paso de banda;

- los métodos basados en correlación buscan la mejor coincidencia entre pequeñas vecindades espaciales en imágenes temporalmente adyacentes;

- los métodos diferenciales, o basados en gradientes, utilizan derivadas espacio-temporales de la intensidad de la imagen y una hipótesis de iluminación constante.

La mayoría de los trabajos sobre el diseño, la comparación y la aplicación de técnicas de flujo óptico se centran en enfoques de correlación o basados en gradientes. No obstante, todos estos métodos sufren intrínsecamente de la lentitud de la ejecución, por lo que no son adecuados para las restricciones de ejecución en tiempo real que pueden existir en un cierto número de aplicaciones.

Otra solución para la detección de movimiento se basa en un sensor visual llamado EMD ("Elementary Motion Detector", detector de movimiento elemental). Los EMD se basan en modelos de detección de movimiento que reproducen supuestos mecanismos de visión de los insectos. Se utilizan dos fotorreceptores adyacentes para suministrar señales de imagen que luego se suministran a un banco de filtros de tiempo de paso alto y bajo. Los filtros de paso alto eliminan el componente continuo de la iluminación que no es portador información de movimiento. A continuación, la señal se subdivide entre dos canales, uno de los cuales consta de un filtro de paso bajo. El retardo aplicado por el filtro de paso bajo se usa para proporcionar una señal de imagen retardada que luego se correlaciona con la del canal adyacente no retardado. Por último, una resta entre los dos canales proporciona una respuesta que tiene una sensibilidad a la dirección del movimiento, que por lo tanto puede usarse para medir el movimiento visual. La detección de movimiento por un EMD es sensible al contraste de imagen, siendo la amplitud del movimiento detectado mayor cuando hay un alto contraste. Esto perturba la precisión de la medida de los movimientos visuales. Debido a esta falta de precisión, los EMD no son adecuados para aplicaciones de navegación general, sobre todo para tareas que requieren un control preciso del movimiento.

A diferencia de las cámaras convencionales que registran imágenes sucesivas en instantes de muestreo predefinidos, las retinas biológicas solo transmiten poca información redundante en la escena para ser vista, y esto de forma asíncrona. Los sensores de visión asíncronos basados en eventos suministran datos digitales comprimidos en forma de eventos. Se puede encontrar una presentación general de dichos sensores en " Activity-Driven, Event-Based Vision Sensors", T. Delbrück, et al., Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS), págs. 2426-2429. Los sensores de visión basados en eventos tienen la ventaja de eliminar la redundancia, reducir los tiempos de latencia y aumentar el rango dinámico con respecto a las cámaras convencionales.

La salida de dicho sensor de visión puede consistir, para cada dirección de píxel, en una secuencia de eventos asíncronos representativos de los cambios en la reflectancia de la escena en el momento en que se producen. Cada píxel del sensor es independiente y detecta cambios en la intensidad superiores a un umbral desde la emisión del último evento (por ejemplo, un contraste del 15 % en el logaritmo de la intensidad). Cuando el cambio de intensidad excede el umbral fijado, el píxel genera un evento ON u OFF dependiendo de si la intensidad aumenta o disminuye. Dado que el sensor no se muestrea en un reloj como una cámara convencional, puede explicar la secuencia de eventos con una precisión temporal muy alta (por ejemplo, del orden de 1 js). Si se utiliza un sensor de este tipo para reconstruir una secuencia de imágenes, se puede lograr una velocidad de imagen de varios kilohercios, frente a unas pocas decenas de hercios para las cámaras convencionales.

Si los sensores de visión basados en eventos tienen perspectivas prometedoras, hasta la fecha no hay un método adecuado para practicar para determinar un flujo óptico de las señales entregadas por dichos sensores. En "Framefree dynamic digital vision", Proceedings of the International Conférence on Secure- Life Electronics, Advanced Electronics for Quality Life and Society, Universidad de Tokyo, 6-7 de marzo de 2008, págs. 21-26, T. Delbrück sugiere usar etiquetadoras ("labelers") para dar significados adicionales a los eventos detectados, como orientaciones de contorno o direcciones de movimiento, sin proporcionar, no obstante, ninguna indicación que permita prever la estimación de un flujo óptico.

En el artículo "Asynchronous frameless event-based optical flow" aparecido en marzo 2012 en la revista "Neural Networks", Vol. 27, págs. 32-37, R. Benosman et al., evocan la estimación de flujos ópticos a partir de eventos detectados por un sensor asíncrono. El algoritmo utilizado está basado en gradientes y se basa en la resolución de un sistema de ecuaciones en el que los gradientes espaciales en un píxel dado con coordenadas (x, y) se estiman por diferencia entre los eventos que ocurren en este píxel (x, y) y aquellos que ocurren en píxeles con coordenadas (x-1, y) y (x, y-1) en el mismo instante.

Existe la necesidad de un procedimiento de estimación de flujo óptico que permita acelerar las estimaciones con respecto a lo que se sabe hacer con las cámaras convencionales. Otra necesidad es proporcionar un procedimiento de estimación de flujo óptico de las señales provenientes de un sensor de visión basado en eventos, para poder utilizar diversas técnicas y aplicaciones que se han desarrollado basándose en la explotación de flujos ópticos. Objeto de la invención

Se propone un procedimiento de estimación de flujo óptico tal como se define en la reivindicación 1.

El procedimiento explota el hecho de que el tiempo de ocurrencia del último evento en una posición de píxel dada es una función monótona creciente. Esta función define, para las diferentes posiciones de píxel, una superficie cuyas variaciones locales proporcionan información sobre el campo de velocidad en la escena tal como la ve el sensor. La cuantificación de estas variaciones puede efectuarse muy rápidamente, con un retardo del orden del tiempo de respuesta de los píxeles del sensor, por ejemplo, inferior a o del orden de un milisegundo.

Las realizaciones del procedimiento se especifican adicionalmente en las reivindicaciones 2-12.

Otro aspecto de la presente invención se refiere a un dispositivo de estimación de flujo óptico tal como se define en la reivindicación 13.

Descripción de las figuras

Otras particularidades y ventajas de la presente invención aparecerán en la descripción a continuación de un ejemplo de realización no limitante, con referencia a los dibujos adjuntos, en los que:

- la figura 1 es un esquema sinóptico de un dispositivo de estimación de flujo óptico adaptado a la implementación de la invención;

- la figura 2A es un diagrama que muestra un ejemplo de un perfil de intensidad luminosa al nivel de un píxel de un sensor asíncrono;

- la figura 2B muestra un ejemplo de una señal suministrada por el sensor asíncrono en respuesta al perfil de intensidad de la figura 2A;

- la figura 2C ilustra la reconstrucción del perfil de intensidad a partir de la señal de la figura 2B;

- las figuras 3A-B son diagramas análogos a los de las figuras 2A-B que ilustran un modo de adquisición luminosa utilizable en otro ejemplo de realización del procedimiento;

- la figura 4 es un diagrama que ilustra una realización del procedimiento de estimación de flujo óptico;

- la figura 5 es un diagrama que muestra eventos generados por un sensor asíncrono colocado frente a una escena que comprende una barra giratoria;

- la figura 6 es un diagrama que ilustra otra realización del procedimiento de estimación de flujo óptico.

Descripción detallada de la invención

El dispositivo de estimación de flujo óptico representado en la figura 1 consta de un sensor de visión asíncrono basado en eventos 10 colocados frente a una escena y que recibe el flujo luminoso de la escena a través de una óptica de adquisición 15 que comprende una o más lentes. El sensor 10 se coloca en el plano de imagen de la óptica de adquisición 15. Consta de una agrupación de elementos fotosensibles organizados en una matriz de píxeles. Cada píxel correspondiente a un elemento fotosensible produce eventos sucesivos que dependen de las variaciones de luz en la escena.

Un ordenador 20 procesa la información asíncrona f proveniente del sensor 10, es decir, las secuencias de eventos recibidas de manera asíncrona de los diferentes píxeles, para extraer de ellas información V sobre el flujo óptico observado en la escena. El ordenador 20 funciona con señales digitales. Se puede implementar por programación de un procesador apropiado. También es posible una implementación material del ordenador 20 con ayuda de circuitos lógicos especializados (ASIC, FPGA,...).

Para cada píxel de la matriz, el sensor 10 genera una secuencia de señal asíncrona basada en eventos a partir de las variaciones de luz que experimenta el píxel en la escena que aparece en el campo de visión del sensor. Dicho sensor fotosensible asíncrono permite en ciertos casos acercarse a la respuesta fisiológica de una retina. Entonces se designa con el acrónimo DVS: "Dynamic Vision Sensor" (sensor de visión dinámica).

El principio de adquisición por este sensor asíncrono se ilustra en las figuras 2A-C. La información consiste en una sucesión de tiempos t^k (k = 0, 1, 2,...) en los que se alcanza un umbral de activación Q. La figura 2A muestra un ejemplo de un perfil de intensidad luminosa P1 vista por un píxel de la matriz del DVS. Cada vez que esta intensidad aumenta en una cantidad igual al umbral de activación Q a partir de la que había en el tiempo t^k, se identifica un nuevo instante t^k+1 y una línea positiva (nivel 1 en la figura 2B) se emite en este instante t^k+1. De forma simétrica, cada vez que la intensidad del píxel disminuye en la cantidad Q a partir de la que había en el tiempo t^{k '}, se identifica un nuevo instante t^k+1 y una línea negativa (nivel -1 en la figura 2B) se emite en este instante t^{k+ 1}. La secuencia de señal asíncrona para el píxel consiste en una sucesión de pulsos o líneas ("spikes") positivas o negativas colocadas en el tiempo en los instantes t^k dependiendo del perfil luminoso para el píxel. Estas líneas pueden estar representadas matemáticamente por picos de Dirac positivos o negativos y caracterizadas, cada una, por un instante de emisión t^k y un bit de signo. La salida de DVS 10 tiene, por lo tanto, la forma de una representación de direcciónevento (AER). La figura 2C muestra el perfil de intensidad P2 que se puede reconstruir como una aproximación del perfil P1 mediante la integración a lo largo del tiempo de la señal asíncrona de la figura 2B.

El umbral de activación Q puede ser fijo, como en el caso de las figuras 2A-C, o adaptativo en función de la intensidad luminosa, como en el caso de las figuras 3A-B. Por ejemplo, el umbral ±Q se puede comparar con las variaciones en el logaritmo de la intensidad luminosa para la generación de un evento ±1.

A modo de ejemplo, el DVS 10 puede ser del tipo descrito en "A 128x128 120 dB 15 ps Latency Asynchronous Temporal Contrast Vision Sensor", P. Lichtsteiner, et al., IEEE Journal of Solid-State Circuits, Vol. 43, No. 2, febrero de 2008, págs. 566-576, o en la solicitud de patente US 2008/0135731 A1. La dinámica de una retina (duración mínima entre potenciales de acción) del orden de varios milisegundos se puede reproducir adecuadamente con un DVS de este tipo. En cualquier caso, el rendimiento dinámico es, en todo caso, mucho mayor que el que se puede lograr con una cámara de vídeo convencional que tenga una frecuencia de muestreo realista.

Cabe señalar que la forma de la señal asíncrona suministrada para un píxel por el DVS 10, que constituye la señal de entrada del ordenador 20, puede ser diferente de una sucesión de picos de Dirac, pudiendo tener los eventos representados una anchura temporal o amplitud o forma de onda cualquiera en esta señal asíncrona basada en eventos.

Se señalará que el procedimiento propuesto en el presente documento es aplicable a otros tipos de DVS, y también a sensores de luz cuyas señales de salida se generan según una representación de dirección-evento sin intentar necesariamente reproducir el comportamiento de la retina.

La figura 4 muestra muy esquemáticamente un sensor asíncrono unidimensional 20, es decir compuesto por una fila de píxeles, frente a la cual un objeto 25 se desplaza a una velocidad v. Se supone que la llegada del borde frontal del objeto 25 delante de un píxel genera en este píxel un evento ON (marcado "+" en la figura 4) y que el borde posterior del objeto 25 se genera al pasar delante del píxel un evento OFF (marcado "-" en la figura 4). Existe un interés en el flujo óptico visto por el sensor 10 en un lugar de estimación p y a un tiempo de estimación t. Para ello, se tiene en consideración una vecindad espacial n ^p del lugar de estimación p, así como un intervalo de tiempo 0 definido con respecto al tiempo de estimación t. En el caso representado en la figura 4, la vecindad n ^p tiene la forma n ^p = [p-R, p+R], y el intervalo de tiempo 0 es un período de duración predefinida T que termina en el tiempo estimado: 0 = [t-T, t].

La figura 4 también muestra el conjunto S^p,t de los eventos recibidos de los píxeles del sensor 10 provenientes de la vecindad espacial n ^p en el intervalo de tiempo 0. Se ve en la representación espacio-temporal del gráfico situado en la parte inferior de la figura 4, que los eventos del conjunto S^p,t están alineados. La pendiente de la recta que pasa por estos eventos indica la velocidad v del borde frontal del objeto 25 visto por ciertos píxeles del sensor 10. Esta velocidad v también se encuentra en otros puntos del sensor que han visto pasar el borde posterior del objeto 25 durante el intervalo de tiempo 0. Es, en concreto, la pendiente de los eventos del conjunto S^{p ,t} recibidos de los píxeles del sensor 10 provenientes de la vecindad espacial ny de otro lugar de estimación p' en el intervalo de tiempo 0.

En la práctica, los eventos ON u OFF enviados por los píxeles del sensor 10 no tienen la regularidad temporal representada en el esquema idealizado de la figura 4. Por el contrario, los tiempos de ocurrencia de eventos tienen un comportamiento relativamente caótico debido a los estados electrónicos que no son completamente predecibles dentro de los elementos fotosensibles del sensor, así como al ruido de adquisición. De este modo, los eventos del conjunto S^p,t normalmente tienen una dispersión alrededor de la recta cuya pendiente es representativa del flujo óptico en el punto (p, t). Esto no impide la estimación de la pendiente que presentan los eventos del conjunto S^p,t en la representación espacio-temporal. Una posibilidad es determinar la recta que mejor se aproxima a los puntos del conjunto S^p,t en el sentido de los mínimos cuadrados, posiblemente con una ponderación más fuerte de las posiciones de píxeles más cercanas al lugar de estimación p. La pendiente de esta recta puede entonces determinarse y después invertirse para proporcionar una estimación de la velocidad en el campo de visión del sensor 10.

La pendiente también se puede estimar rápidamente por convolución de los tiempos de ocurrencia de los eventos del conjunto S^p,t con un núcleo espacial de diferenciación. En un caso de este tipo, puede ser deseable atenuar los efectos del ruido aplicando, antes del núcleo de convolución, una operación de suavizado del conjunto de eventos S^p,t en la representación espacio-temporal. El suavizado se puede efectuar en concreto aplicando un filtro mediano. En aplicaciones de imagenología, la matriz de píxeles del sensor 10 es más a menudo bidimensional que unidimensional. La representación espacio-temporal donde se pueden colocar los eventos ON u OFF provenientes de los píxeles es entonces una representación tridimensional tal como la presentada en la figura 5. En esta figura, cada punto indica un evento generado asincronamente en un instante t al nivel de un píxel del sensor, de posición

, por el movimiento de una barra que gira a velocidad angular constante como se muestra en el recuadro A. La

mayoría de estos puntos se distribuyen cerca de una superficie de forma generalmente helicoidal. No obstante, los puntos no están exactamente alineados en esta superficie debido al comportamiento caótico mencionado anteriormente. Además, la figura muestra cierto número de eventos distantes de la superficie helicoidal que se miden sin corresponder con el movimiento real de la barra. Estos eventos son ruido de adquisición.

De manera más general, en presencia de movimientos de uno o más objetos en el campo de visión del sensor 10, aparecen eventos en la representación tridimensional (x, y, t), y existe un interés en encontrar el flujo óptico correspondiente a estos movimientos.

Se designa mediante e(p, t) un evento que ocurre en el tiempo t en

^. El valor de e(p, t) es 1 o -1 dependiendo de la polaridad ON (cambio de contraste positivo) u OFF (cambio de contraste negativo) del evento. Nuevamente, se puede definir una vecindad espacial ny del píxel p: ny = {p'/||p'-p||<R} y un intervalo de tiempo 0 = [t-T, t], y considerar los eventos que provienen del píxel de la vecindad ny en el intervalo de tiempo 0, reteniendo para cada píxel solo el evento más reciente (si hay un evento durante el intervalo 0). De este modo, se construye un conjunto de eventos S^p,t que se puede ver como una porción, comprendida en el volumen nyx0, de una superficie l ^e en la representación espacio-temporal de eventos.

Para cada píxel p de la matriz, se memoriza el tiempo de ocurrencia del último evento observado. Entonces se puede definir la función en la que cada posición p asigna el tiempo de ocurrencia I ^e(p) del evento más reciente en esta posición. La superficie l ^e es la representación de esta función en el espacio tridimensional. Se trata de una superficie ascendente en función del tiempo. Los puntos de esta superficie l ^e cuya proyección en el plano de la matriz de píxeles está fuera de la vecindad espacial ny y aquellos cuya proyección en el eje de tiempo está fuera del intervalo 0 se eliminan, para seleccionar el conjunto de eventos S^p,t.

El ordenador 20 estima entonces las derivadas parciales de la superficie le al nivel del punto e(p, t) con respecto a

los dos parámetros espaciales x e y: y ' Estas derivadas parciales indican la pendiente que presentan los eventos de S^p,t alrededor del lugar de estimación. Alrededor de e(p, t), es decir en la porción de superficie que representa SP,t, se puede escribir Ze como:

£ e(p+Ap) = Xe(P) V le-Ap o(||Ap||)

donde

Las derivadas parciales de le son funciones de una sola variable x o y. Como el tiempo es una función estrictamente creciente, Ze es una superficie de derivadas no nulas en cada punto. Entonces se puede usar el teorema de la

f

donde I ^e |^x=xo y Z^e |^Y=Y0 son l ^e restringidos respectivamente a x en x^o y a y en y^o . El gradiente V I ^e se puede escribir entonces V I ^e = (1 / v^x , 1/v^y), lo que da las inversas de las velocidades de píxeles v^x , v^y de los eventos en función del tiempo.

Análogamente al caso anterior, la cuantificación de las variaciones en los tiempos de ocurrencia de eventos puede incluir la determinación de un plano que tiene una distancia mínima, en el sentido de mínimos cuadrados, con respecto a los eventos del conjunto S^p,t en la representación espacio-temporal. Los componentes del gradiente V I ^e también se pueden estimar por convolución con núcleos de diferenciación en x e y después de una posible operación de suavizado.

Para completar la información del flujo óptico, el ordenador 20 también puede proceder a una estimación de segundas derivadas de Ze alrededor del punto e(p, t). Esta información sobre las segundas derivadas explica las

a2ze 3x2 aceleraciones observables en el campo de visión del sensor 10. Las derivadas de segundo orden

a2ze

dxd)/

aparente de un evento. Si la curvatura es nula, el evento ocurre a una velocidad fija en el plano focal. Los aumentos o disminuciones en la curvatura se refieren a la aceleración de los bordes que generan eventos en la escena.

En el ejemplo anterior, el conjunto S^p,t de eventos seleccionado para un lugar de estimación p y un tiempo de estimación t dados está compuesto por eventos de cualquier polaridad (ON u OFF). El tiempo de ocurrencia del evento más reciente, ON u ^o F^f , que provino de cada píxel se memoriza en relación con la posición de este píxel, lo que permite incluir siempre en los conjuntos S^p,t solo los últimos eventos vistos por píxeles de la matriz. Puede haber casos en los que el conjunto S^p,t incluya eventos de diferentes polaridades. Estos casos dan lugar a algunos errores, relativamente raros, en las pendientes estimadas, que no perturban significativamente las medidas.

Para reducir el número de estos casos, una posibilidad es incluir en los conjuntos de eventos S^p,t solo eventos de la misma polaridad. En concreto, se pueden memorizar dos tablas para los diferentes píxeles de la matriz, una que contiene los tiempos de ocurrencia de los eventos ON más recientes, otra que contiene los tiempos de ocurrencia de los eventos OFF más recientes. En una realización de este tipo, la recepción en un tiempo t de un evento que tiene una polaridad dada, ON u OFF, en un píxel de posición p hace construir un conjunto S^p,t compuesto por cada evento que tiene esta polaridad cuyo tiempo de ocurrencia está en el intervalo 0 = [t-T, t] y memorizado para un píxel en la vecindad n ^p. El ordenador puede proceder entonces a una estimación de la primera y/o segunda derivadas en el conjunto S^p,t así constituido.

Los momentos en los que el ordenador 20 procede a una cuantificación de las variaciones en los tiempos de ocurrencia de eventos alrededor de una posición de píxel dada se pueden elegir en función de la llegada de los eventos en este píxel.

Por ejemplo, al recibir un evento e (p, t) proveniente un píxel de posición p en la matriz, en un instante de detección t, el ordenador 20 actualiza la tabla en la que se memorizan los tiempos de ocurrencia de los eventos más recientes (reemplazando por t el valor anterior de la tabla en la posición p), después determina si el conjunto Sp,t consta de suficientes eventos recientes para poder realizar una estimación razonable del movimiento. Para ello, el ordenador 20 puede contar los tiempos de ocurrencia, memorizados en la tabla para las posiciones de píxeles de la vecindad espacial np que están en el intervalo de tiempo 0. Si el número de tiempos de ocurrencia así determinado es menor que un umbral a predefinido, no se efectúa ninguna cuantificación de las variaciones de los tiempos de ocurrencia, el evento que se acaba de detectar se considera ruido. En cambio, si se supera el umbral a, se estima que la superficie le contiene suficientes puntos cercanos a e(p, t) para poder realizar en ella una estimación de la pendiente a fin de cuantificar las variaciones de los tiempos de ocurrencia. El umbral a se define normalmente en proporción (por ejemplo, del 10 al 30 %) del número de píxeles de que consta el sensor en la vecindad espacial np

En los ejemplos de realización anteriores, se deben ajustar dos parámetros R y T para proceder a las estimaciones de flujo óptico. La elección de estos parámetros depende de las características físicas del sensor (separación entre píxeles, tiempo de respuesta) y del orden de magnitud de las dimensiones y velocidades, en el plano de la imagen, de los objetos cuyos movimientos se desean detectar. A modo de ejemplo, y sin que esto sea limitante, la vecindad espacial se puede dimensionar con un radio R del orden de 3 a 5 píxeles en el plano de la matriz, y la duración T del intervalo de tiempo 0 puede representar del orden de 500 ps a 2 ms. Esta elección depende del material empleado y la aplicación.

Las realizaciones descritas anteriormente son ilustraciones de la presente invención. Se les pueden hacer varias modificaciones sin apartarse del alcance de la invención que surge de las reivindicaciones adjuntas.

Claims (13)

REIVINDICACIONES

1. Procedimiento de estimación de flujo óptico, que comprende:

- recibir información asíncrona proveniente de un sensor de luz (10) que tiene una matriz de píxeles dispuestos frente a una escena, comprendiendo la información asíncrona, para cada píxel de la matriz, eventos sucesivos que provienen de dicho píxel y que dependen de las variaciones de luz en la escena,

caracterizado por que comprende además:

- para cada píxel de la matriz, memorizar el tiempo de ocurrencia de un evento más reciente que se origina en dicho píxel;

- para un lugar de estimación (p) en la matriz de píxeles y un tiempo de estimación (t), seleccionar un conjunto (S^p,t) de eventos provenientes de píxeles incluidos en una vecindad espacial (n^p) del lugar de estimación y que ocurren en un intervalo de tiempo (0) definido con respecto al tiempo de estimación, teniendo el conjunto como máximo un evento por píxel de la vecindad espacial e incluyendo cada evento que tiene un tiempo de ocurrencia en dicho intervalo de tiempo (0) definido con respecto al tiempo de estimación y memorizado para un píxel de dicha vecindad espacial (n^p) del lugar de estimación; y

- cuantificar las variaciones de los tiempos de ocurrencia de los eventos del conjunto seleccionado en función de las posiciones, en la matriz, de los píxeles de donde provienen estos eventos.

2. Procedimiento según la reivindicación 1, en el que la cuantificación de las variaciones comprende la estimación de una pendiente que presentan los eventos del conjunto seleccionado (S^p,t) en una representación espacio-temporal alrededor del lugar de estimación.

3. Procedimiento según la reivindicación 2, que comprende, antes de la estimación de la pendiente, una operación de suavizado, en la representación espacio-temporal, del conjunto de eventos seleccionado (S^p,t).

4. Procedimiento según una cualquiera de las reivindicaciones 2 y 3, en el que la matriz de píxeles es bidimensional y la cuantificación de las variaciones comprende determinar un plano que presenta una distancia mínima con respecto a los eventos del conjunto seleccionado (S^p,t) en la representación espacio-temporal.

5. Procedimiento según una cualquiera de las reivindicaciones 2 y 3, en el que la matriz de píxeles es unidimensional y la cuantificación de las variaciones comprende la determinación de una recta que presenta una distancia mínima con respecto a los eventos del conjunto seleccionado (S^p,t) en la representación espacio-temporal.

6. Procedimiento según una cualquiera de las reivindicaciones 2 a 5, en el que la cuantificación de las variaciones comprende además una estimación de segundas derivadas que presentan los eventos del conjunto seleccionado (S^p,t) en la representación espacio-temporal alrededor del lugar de estimación.

7. Procedimiento según una cualquiera de las reivindicaciones anteriores, en el que los eventos que provienen de los píxeles de la matriz tienen, cada uno, una polaridad entre varias polaridades posibles, y en el que el conjunto de eventos (S^p,t) seleccionado para el lugar tiempo de estimación y el tiempo de estimación se compone de eventos de cualquier polaridad.

8. Procedimiento según una cualquiera de las reivindicaciones 1 a 7, en el que los eventos que provienen de los píxeles de la matriz tienen, cada uno, una polaridad entre dos polaridades posibles, y en el que el conjunto de eventos (S^p,t) seleccionado para el lugar de estimación y el tiempo de estimación se compone de eventos de la misma polaridad.

9. Procedimiento según la reivindicación 8, en el que, para cada píxel de la matriz y cada polaridad posible, se memoriza el tiempo de ocurrencia del evento más reciente que proviene de dicho píxel con dicha polaridad, y en el que la selección del conjunto de eventos (S^p,t) para el lugar de estimación y el tiempo de estimación comprende, después de la recepción de un evento que tiene una polaridad dada en el lugar de estimación:

- incluir en dicho conjunto cada evento que tenga la polaridad dada y un tiempo de ocurrencia en el intervalo de tiempo definido con respecto al tiempo de estimación y memorizado para un píxel de la vecindad espacial del lugar de estimación.

10. Procedimiento según una cualquiera de las reivindicaciones anteriores, en el que dicho intervalo de tiempo (0) es un período de duración predefinida (T) que termina en el tiempo de estimación.

11. Procedimiento según una cualquiera de las reivindicaciones anteriores, en el que las etapas de selección de un conjunto de eventos (S^p,t) y de cuantificación de las variaciones de los tiempos de ocurrencia se ejecutan tomando como lugar de estimación la posición de un píxel donde se detecta un evento y, como tiempo de estimación, un instante de detección de dicho evento.

12. Procedimiento según la reivindicación 11, en el que la selección del conjunto de eventos (S^p,t) se efectúa en respuesta a la detección de un evento que proviene de un píxel de la matriz en un instante de detección, y en el que la cuantificación de las variaciones de los tiempos de ocurrencia se efectúa para actualizar una información de movimiento con la condición de que el conjunto de eventos contenga un número de eventos superior a un umbral.

13. Dispositivo de estimación de flujo óptico, que comprende:

- un sensor de luz que tiene una matriz de píxeles a disponer frente a una escena y adaptado para suministrar información asíncrona que comprende, para cada píxel de la matriz, eventos sucesivos que provienen de dicho píxel y que dependen de las variaciones de luz en la escena; y

- un ordenador,

caracterizado por que el ordenador está configurado para memorizar, para cada píxel de la matriz, el tiempo de ocurrencia del evento más reciente que proviene de dicho píxel y para ejecutar las etapas siguientes para un lugar de estimación n la matriz de píxeles y un tiempo de estimación:

• seleccionar un conjunto de eventos que provienen de píxeles comprendidos en una vecindad espacial del lugar de estimación y que ocurren en un intervalo de tiempo definido con respecto al tiempo de estimación, teniendo el conjunto como máximo un evento por píxel de la vecindad espacial e incluyendo cada evento que tiene un tiempo de ocurrencia en dicho intervalo de tiempo (0) definido con respecto al tiempo de estimación y memorizado para un píxel de dicha vecindad espacial (n^p) del lugar de estimación; y

• cuantificar las variaciones de los tiempos de ocurrencia de los eventos del conjunto seleccionado en función de las posiciones, en la matriz, de los píxeles de donde provienen estos eventos.