ES2912088T3 - Procedimiento para reproducir secuencias de imágenes y unidad de procesamiento de imágenes así como programa informático para ello - Google Patents

Abstract

Procedimiento para reproducir secuencias de imágenes con informaciones de luz (L) parpadeante de fuentes de luz led pulsadas, que modifican periódicamente su luminosidad, que se ejecuta mediante una unidad de procesamiento de imágenes (V), que está integrada en un automóvil., con los pasos: - generar una secuencia de imágenes, que comprende una sucesión de imágenes (Ei) de una escena de imagen registrada sucesivamente en el tiempo con píxeles de luminancia y píxeles de crominancia, mediante una cámara (K) integrada en el automóvil, en donde la cámara (K) es componente de la unidad de procesamiento de imágenes (V) o está conectada a la unidad de procesamiento de imágenes (V), - estimar (ME) vectores de movimiento para datos de imagen de una imagen (Ei) para describir el desplazamiento espacial de una fecha de imagen en una primera imagen (Ei) con respecto a la misma fecha de imagen en una segunda imagen (Ei+1) desplazada en el tiempo, - calcular una imagen intermedia (Bi) sometida a compensación de movimiento con los vectores de movimiento estimados, - generar (MIX) una tercera imagen (Ai) desplazada en el tiempo mediante la mezcla de los datos de imagen de la primera imagen (Ei), para los cuales se estimaron vectores de movimiento, con un desfase espacial definido por un vector de movimiento en cada caso con datos de imagen de la segunda imagen (Ei+1), caracterizado por que la mezcla se realiza filtrada con factores de ponderación de modo que un píxel de luminancia de la tercera imagen (Ai) generada obtiene el valor de luminancia del píxel de luminancia correspondiente de la primera imagen (Ei), sin que se mezcle la información de luminancia correspondiente de una imagen intermedia (Bi) sometida a compensación de movimiento, cuando el píxel de luminancia de la imagen (Ei) presenta un valor de luminosidad mayor que el píxel de luminancia correspondientes en la imagen intermedia (Bi) sometida a compensación de movimiento, y de lo contrario, el píxel de luminancia de la tercera imagen (Ai) generada obtiene el valor de luminancia del píxel de luminancia correspondiente de la primera imagen (Ei), ponderado con un primer factor de ponderación, añadido al valor de luminancia del píxel de luminancia correspondiente de la imagen intermedia (Bi) sometida a compensación de movimiento ponderado con un segundo factor de ponderación, que es más alto que el primer factor de ponderación.

Description

DESCRIPCIÓN

Procedimiento para reproducir secuencias de imágenes y unidad de procesamiento de imágenes así como programa informático para ello

La invención se refiere a un procedimiento para reproducir secuencias de imágenes con informaciones de luz parpadeante, en donde una secuencia de imágenes comprende una sucesión de imágenes de una escena de imagen registrada sucesivamente en el tiempo.

La invención se refiere además a una unidad de procesamiento de imágenes y a un programa informático para la realización del procedimiento.

Para la codificación de datos de imagen, por el estándar ISO/IEC 11172-2: "Information technology - Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s - Part 2: Video" se sabe cómo llevar a cabo una estimación de movimiento con el cálculo de vectores de movimiento. Con ello se mejora la eficiencia de la predicción de valores pel. Para ello, en el codificador, después de la reagrupación de imágenes está conectado aguas abajo un estimador de movimiento. En principio, para la estimación de vectores de movimiento se verifica qué bloques de imágenes en imágenes consecutivas de una secuencia de imágenes se adaptan mejor unos a otros. Para ello, se busca el mínimo error en la comparación de dos bloques de imágenes de imágenes consecutivas y el desfase espacial que se adopta como vector de movimiento entre los bloques de imágenes que mejor se adaptan. Para reducir el requerimiento de cálculo se establece un espacio de búsqueda. Estos procedimientos para la estimación de movimiento se describen en detalle en el capítulo D.6.2 del estándar ISO/IEC 11172-2.

El estándar MPEG-4 ISO/IEC 14496-10: "Coding of audiovisual objects - Part 10: Advanced Video Coding' describe la codificación de objetos, en donde también en este caso se efectúa una estimación de movimiento de la información de luminancia. Otros procedimientos para la estimación de movimiento se conocen del área de la correlación de fases, del flujo óptico (p.ej. procedimiento de Lucas-Kanade) y del área de la búsqueda recursiva temporal-local (3DRS). La meta de tales procedimientos para la estimación de movimiento es estimar de la manera más exacta posible los movimientos de todos los contenidos de imagen hasta los puntos de imagen individuales de una imagen a otra en dirección directa y/o dirección inversa.

El documento US 8,922,706 B2 describe un sistema de grabación de imágenes con un sensor de imágenes, una fuente de luz y una unidad de procesamiento de datos. Para eliminar el parpadeo de luz, provocado por modificaciones de luminosidad en la luz del entorno, está prevista una sincronización de la iluminación mediante la fuente de luz con la grabación de imágenes. La grabación de imágenes consecutivas se realiza en intervalos de la variación de luminosidad de la luz del entorno. Es necesario por ello una iluminación activa del entorno que va a capturarse.

Por el documento FORBIN, G. and VLACHOS, T.: "Nonlinear Flicker Compensation for Archived Film Sequences Using Motion-Compensated Graylevel Tracing', IEEE Transactions on Circuits and Systems for Video Technology, Institute of Electrical and Electronics Engineers, tomo 18, núm. 6, junio de 2008, páginas 803-816, se conoce un procedimiento para la restauración de secuencias de películas archivadas en archivos de películas, que utiliza una compensación de movimiento. El procedimiento sirve para eliminar o atenuar defectos de imagen, que pueden estar provocados por una exposición irregular del material de película, por una copia múltiple del material de película, por polvo o por procesos de envejecimiento del material de película.

Por el documento US 2010/103089 A1 se conoce un procedimiento, con el que puedan compensarse fluctuaciones de luminosidad en la iluminación de fondo de una pantalla LCD.

Por el documento US 2008/068359 A1 se conoce un procedimiento, con el que pueda compensarse una falta de nitidez de movimiento, que se origina inherentemente en la visualización en pantallas LCD, pantallas de plasma y pantallas similares.

Con la grabación de imágenes de secuencias de imágenes, que contienen luz emitida por diodos luminosos, se producen imágenes con informaciones de luz de la fuente de luz led y sin informaciones de luz alternativamente. Esto se basa en el hecho de que se conectan y desconectan fuentes de luz led con alta frecuencia. Cuando la unidad de grabación de imágenes no está sincronizada con la fuente de luz, entonces la información de imagen tomada y representada es eventualmente incompleta.

Esto es crítico en particular, cuando una cámara electrónica asume la función del espejo retrovisor en un automóvil y la imagen grabada se muestra en una pantalla después del procesamiento de imágenes. Después, debido a la ausencia de sincronización de la grabación de secuencia de imágenes con la cámara con las fuentes de luz del entorno puede suceder que, por ejemplo, un intermitente de un vehículo en el entorno no se reproduzca. Esto se basa en el hecho de que las imágenes durante la fase de iluminación del intermitente se toman en los intervalos de supresión del intermitente no visibles para el ojo humano pero presentes.

No obstante es solo un ejemplo para los problemas que se provocan mediante informaciones de luz parpadeante en relación con la utilización de cámaras en automóviles. Las cámaras, que están integrados en automóviles, es decir, cámaras de vehículo, se utilizan en automóviles para una pluralidad de tareas. Sirven, por ejemplo, como cámaras frontales, como cámaras traseras o cámaras de marcha atrás o como cámaras laterales para observar el entorno del vehículo por parte del conductor. Sin embargo, funcionan en la forma de monocámaras o cámaras estereoscópicas como sensores ópticos, que se utilizan para determinar datos de sensor para sistemas de asistencia al conductor como sistemas de asistencia de freno de emergencia, sistemas de asistencia de mantenimiento de distancia y de estabilización de dirección y otros sistemas de asistencia. En relación con tales cámaras integradas en automóviles la reproducción incompleta y/o defectuosa de secuencias de imágenes, que presentan informaciones de luz parpadeante, puede producir un riesgo de accidente elevado.

Por lo tanto el objetivo de la presente invención es crear un procedimiento mejorado para reproducir secuencias de imágenes con informaciones de luz parpadeante, en el que las informaciones de luz sin sincronización de la grabación de imágenes con una fuente luminosa estén contenidas de manera fiable en la secuencia de imágenes que va a reproducirse.

El objetivo se resuelve mediante el procedimiento con las características de la reivindicación 1, así como mediante la unidad de procesamiento de imágenes configurada para la realización del procedimiento con las características de la reivindicación 12 y el programa informático con las características de la reivindicación 15. En las reivindicaciones dependientes se describen formas de realización ventajosas.

Para reproducir secuencias de imágenes con informaciones de luz parpadeante se propone que el procedimiento se ejecute mediante una unidad de procesamiento de imágenes, que está integrada en un automóvil. Está prevista a este respecto que mediante una cámara integrada en el automóvil, que es componente de la unidad de procesamiento de imágenes o está conectada a la unidad de procesamiento de imágenes, se genere una secuencia de imágenes, que comprende una sucesión de imágenes de una escena de imagen registrada sucesivamente en el tiempo.

Por lo demás se propone estimar vectores de movimiento para datos de imagen de una imagen para describir el desplazamiento espacial de una fecha de imagen en una primera imagen con respecto a la misma fecha de imagen en una segunda imagen. desplazada en el tiempo. Se lleva a cabo entonces una tercera imagen desfasada en el tiempo mediante la mezcla de los datos de imagen de la primera imagen, para los cuales se estimaron vectores de movimiento, con los datos de imagen de la segunda imagen, en donde los datos de imagen de la primera imagen se desplazan con respecto a los datos de imagen de la segunda imagen mediante un desfase espacial definido por en cada caso un vector de movimiento. La estimación de movimiento puede realizarse a este respecto en sentido directo y/o sentido inverso.

Mediante la mezcla de dos imágenes desplazadas en el tiempo de la secuencia de imágenes grabada, las dos imágenes de la secuencia de imágenes grabada se interpolan por así decirlo. Para el caso de que en informaciones de luz parpadeante se haya tomado una imagen en un intervalo de supresión, se mantiene esta información de luz de la otra imagen. Aunque esta información de luz se atenúe la mezcla, sin embargo está presente. Las imágenes desplazadas en el tiempo grabadas se someten a compensación de movimiento para la mezcla según una estimación de movimiento, de modo que los contenidos de imagen desplazado mediante el movimiento intermedio se unen de nuevo. Para el procedimiento se utilizan con ello los métodos suficientemente conocidos para la estimación de movimiento y compensación de movimiento.

La tercera imagen generada, desplazada en el tiempo puede reproducirse entonces directamente o entrar después de un procesamiento adicional en una imagen que va a reproducirse de una secuencia de imágenes.

Por una información de luz parpadeante se entiende que la fuente de luz modifica periódicamente su luminosidad, tal como es el caso en el control de fuentes de luz led pulsada.

La estimación de los vectores de movimiento puede realizarse para datos de imagen de una primera imagen de salida generada a partir de una imagen de entrada tomada con respecto a una imagen de entrada desfasada en el tiempo para ello. Así, por ejemplo, es concebible que una imagen de salida generada mediante la mezcla sea la base para la estimación de movimiento con respecto a una imagen de entrada tomada de la escena de imagen. Una imagen de entrada de este tipo, desfasada en el tiempo, de la escena de imagen se mezcla entonces con los datos de imagen de la primera imagen de salida sometidos a compensación de movimiento mediante los vectores de movimiento estimados, para generar una segunda imagen de salida desplazada en el tiempo con respecto a la primera imagen de salida.

Estas imágenes de salida pueden reproducirse entonces de nuevo como secuencia de imágenes de emisión. La segunda imagen de salida puede utilizarse entonces a su vez como base para la estimación de vectores de movimiento con respecto a una imagen de entrada tomada siguiente de la secuencia de imágenes.

En este aspecto, los pasos de la estimación de vectores de movimiento y de la mezcla para la generación de una imagen de salida con una imagen de salida generada en el paso precedente pueden repetirse continuamente.

Este procedimiento puede realizarse con una complejidad y ancho de banda relativamente reducidos y produce una buena compensación de fluctuaciones de luminosidad entre imágenes (eliminación del parpadeo, "deflickei1').

Pero puede realizarse también una estimación de los vectores de movimiento para datos de imagen para una primera imagen de entrada tomada con respecto a estos datos de imagen en una imagen de entrada precedente en el tiempo y/o siguiente en el tiempo. Esta primera imagen de entrada se mezcla con los datos de imagen, sometidos a compensación de movimiento mediante los vectores de movimiento estimados, de la imagen de entrada precedente en el tiempo y/o siguiente en el tiempo para generar una imagen de salida que se adapta en el tiempo a la primera imagen de entrada.

Se combinan por consiguiente las imágenes de entrada tomadas de una secuencia de imágenes con una compensación de movimiento, para mezclar a partir de varias imágenes de entrada una imagen de salida. En este sentido puede efectuarse una estimación de movimiento de avance, una estimación de movimiento de retroceso o una estimación de movimiento de avance y de retroceso combinados en imágenes de entrada precedentes en el tiempo y/o siguientes en el tiempo.

También a este respecto se logra una buena compensación de fluctuaciones de luminosidad entre imágenes (rendimiento de eliminación de parpadeo). Los artefactos pueden reducirse adicionalmente. No obstante, la complejidad del algoritmo y el ancho de banda son algo más altas que en la forma de realización anteriormente mencionada.

Puede también realizarse también una estimación de los vectores de movimiento de datos de imagen para un par de imágenes de entrada consecutivas en el tiempo, tomadas para determinar el desplazamiento espacial de los datos de imagen entre estas imágenes de entrada y una generación de una imagen de salida mediante la mezcla de datos de imagen sometidos a compensación de movimiento mediante los vectores de movimiento estimados de este par de imágenes de entrada. También en este caso se mezclan imágenes de entrada consecutivas en el tiempo según una compensación de movimiento entre sí para la generación de una imagen de salida. A este respecto p.ej. puede llevarse a cabo una estimación de movimiento de avance desde una imagen de entrada a la siguiente imagen de entrada en el tiempo y una estimación de movimiento de retroceso desde la imagen siguiente en el tiempo hacia la imagen precedente en el tiempo. Las dos imágenes de entrada consecutivas en el tiempo se someten a compensación de movimiento con los vectores de movimiento determinados de este modo y se mezclan entre sí.

A este respecto puede realizarse una generación de una imagen de salida interpolada mediante la mezcla de un par de imágenes de salida consecutivas en el tiempo, sometidas a compensación de movimiento mediante los vectores de movimiento estimados.

Por consiguiente, las imágenes de salida generadas en el paso precedente no se utilizan directamente para la reproducción, sino se mezclan de nuevo entre sí mediante los vectores de movimiento estimados en el primer paso después de una compensación de movimiento.

El paso de la generación de imágenes de salida interpoladas con pares de imágenes de salida interpoladas generadas en el paso precedente puede repetirse mediante la mezcla en cada caso de un par de imágenes de salida consecutivas en el tiempo, interpoladas sometidas a compensación de movimiento mediante los vectores de movimiento estimados. Así esta generación de imágenes de salida interpoladas a partir de imágenes de salida interpoladas generadas en el paso precedente, puede repetirse varias veces en varias etapas, p.ej. de tres a cuatro veces.

Esto lleva a una mejora considerable de la compensación de fluctuaciones de luminosidad en artefactos muy reducidos. La complejidad del algoritmo al igual que la demanda de ancho de banda es muy alta.

Los datos de imagen, para los cuales se estiman vectores de movimiento, pueden ser, por ejemplo, bloques de imagen en una imagen. Un vector de movimiento describe el desfase espacial de un punto de anclaje para un bloque de imagen en un cuadro de imagen de la secuencia de imágenes precedente en el tiempo o siguiente en el tiempo.

Como ya se ha explicado al principio, mediante informaciones de luz parpadeante en secuencias de imágenes, que se han generado por cámaras de vehículo, pueden producirse riesgos en la seguridad, p.ej. debido a un peligro de accidente elevado, cuando las secuencias de imágenes debido a las informaciones de luz parpadeante se reproducen de manera defectuosa o incompleta en el vehículo.

El procedimiento de acuerdo con la invención se ejecuta por tanto en un automóvil.

El procedimiento de acuerdo con la invención se ejecuta mediante una unidad de procesamiento de imágenes, que está integrada en un automóvil. El procedimiento de acuerdo con la invención puede ejecutarse a este respecto en particular por una unidad de procesamiento de datos, que es componente de la unidad de procesamiento de imágenes o está conectada con esta. La secuencia de imágenes es una secuencia de imágenes generada mediante una cámara integrada en el automóvil. La cámara integrada en el automóvil es a este respecto componente de la unidad de procesamiento de imágenes o está conectada a la unidad de procesamiento de imágenes.

Una cámara de este tipo integrada en el automóvil se denomina también cámara de vehículo. Una cámara de este tipo integrada en el vehículo puede ser en particular una cámara frontal, una cámara trasera, una cámara de marcha atrás, una cámara lateral u otra cámara integrada en el vehículo. Una cámara de este tipo integrada en el vehículo puede ser en particular una cámara, que le sirve al conductor para observar el entorno del vehículo. Una cámara de este tipo integrada en el vehículo puede ser en particular también una monocámara o una cámara estereoscópica, que sirve como sensor óptico para determinar datos de sensor para uno o varios sistemas de asistencia al conductor del automóvil.

Una forma de realización de este tipo del procedimiento de acuerdo con la invención es especialmente ventajosa, porque por esta pueden reducirse, o incluso eliminarse por completo, los riesgos en la seguridad anteriormente mencionados en el entorno de la utilización de cámaras en automóviles. Esto es de especial importancia, dado que los ledes, que provocan las informaciones de luz parpadeante, tienen una aceptación cada vez mayor en el entorno de los vehículos.

Por lo tanto, las informaciones de luz parpadeante pueden ser en particular informaciones de luz parpadeante, provocadas por luz emitida por diodos luminosos.

La unidad de procesamiento de imágenes tiene una memoria de datos para almacenar datos de imagen y una unidad de procesamiento de datos. La unidad de procesamiento de datos está configurada entonces, por ejemplo, por ejemplo mediante programación adecuada o en hardware como ASIC, FPGA o similar para la realización del procedimiento. Para ello se realiza un acceso a los datos de imagen almacenados en la memoria de datos.

La unidad de procesamiento de imágenes comprende una cámara o está conectada a una cámara, que proporciona los datos de imagen digitales de una secuencia de imágenes para el procesamiento adicional. La unidad de procesamiento de imágenes puede conectarse además a una pantalla, para mostrar las imágenes de salida generadas de una secuencia de imágenes.

De acuerdo con la invención la unidad de procesamiento de imágenes y la cámara, que es componente de la unidad de procesamiento de imágenes o está conectada a la unidad de procesamiento de imágenes, está integrada en un automóvil.

De este modo es ventajosamente posible, utilizar el procedimiento de acuerdo con la invención en el automóvil y reducir, o incluso eliminar por completo, los riesgos en la seguridad anteriormente mencionados en el entorno de la utilización de cámaras en automóviles.

La invención se explica con más detalla a modo de ejemplo a continuación mediante ejemplos de realización con los dibujos adjuntos. Muestran:

figura 1 - esbozo de una primera forma de realización del procedimiento;

figura 2 - esbozo de una segunda forma de realización del procedimiento;

figura 3 - esbozo de una tercera forma de realización del procedimiento;

figura 4 - diagrama de bloque de una unidad de procesamiento de imágenes para la realización del procedimiento.

La figura 1 muestra un esbozo de una primera forma de realización del procedimiento para la reproducción de secuencias de imágenes con informaciones de luz parpadeante. Puede distinguirse que está presente una secuencia de imágenes con imágenes de entrada E¹, E² , E³ , E⁴ , ..., Eⁿ v registradas en el tiempo t sucesivamente en el tiempo. Estas imágenes de entrada pueden haberse registrado por ejemplo por una cámara de imágenes digital y almacenarse temporalmente en una memoria de datos.

Por "consecutivamente en el tiempo" en el sentido de la presente invención se entiende que dos imágenes de una secuencia de imágenes no necesariamente deban tomarse directamente de manera sucesiva. Es concebible que también estén presentes imágenes intermedias, que no se procesen adicionalmente. Debe estar presente solo un espacio de tiempo relativamente corto detrás de las imágenes de una secuencia de imágenes, para que la secuencia de imágenes puede reproducirse de manera todavía bien perceptible con los movimientos de imagen e informaciones de imagen reales.

Desde estas imágenes de entrada E¹, ..., Eⁿ de la secuencia de imágenes se generan imágenes de salida A¹, A² , A³ , A⁴ , ..., Aⁿ, que se reproducen directamente o después de un procesamiento posterior en una pantalla.

Ahora, en la primera forma de realización del procedimiento está previsto que se efectúe una estimación de movimiento ME de informaciones de imagen de una imagen de salida A ⁱ con i = 1, 2, 3, 4, n hacia una imagen de entrada Eⁱ⁺¹ desplazada en el tiempo (o dado el caso también E^i-1) de la secuencia de imágenes de entrada. En este caso con los procedimientos conocidos per se para la estimación de movimiento para informaciones de imagen se establece en qué medida estas están desfasadas especialmente de la imagen de salida A ⁱ con respecto a la imagen de comparación Eⁱ⁺¹. Para ello por ejemplo mediante las informaciones de luminancia puede verificarse el desplazamiento espacial de objetos detectados como informaciones de luz, para determinar para estos puntos de luz L vectores de movimiento. Sin embargo también es concebible que se determinen vectores de movimiento para bloques de imágenes de las imágenes.

Para la estimación de movimiento se verifica qué informaciones de imagen en la imagen de comparación coinciden mejor con las informaciones de imagen de la imagen de salida.

Con el al menos un vector de movimiento determinado se realiza entonces una compensación de movimiento de la imagen de salida A ⁱ, para calcular realmente una imagen intermedia B ⁱ⁺¹ real o mezclar esta como imagen intermedia virtual directamente con el paso siguiente de la mezcla de esta imagen intermedia Bⁱ⁺¹ con la imagen de entrada Eⁱ⁺¹ respectiva.

Puede distinguirse que de este modo una imagen de salida A ⁱ⁺¹ desfasada en el tiempo se genera mediante la mezcla de la imagen de salida A ⁱ precedente sometida a compensación de movimiento con la imagen de entrada Eⁱ⁺¹siguiente en el tiempo.

Una sucesión de este tipo generada de imágenes de salida A ⁱ con i = 1 ..., n puede emitirse entonces directamente sobre un monitor.

Se aclara que mediante la mezcla la información de luz L obtenida inicialmente todavía por completo de la imagen de salida según la estimación de movimiento se mezcla (interpola) con la información de luz L presente en la imagen de entrada Eⁱ⁺¹ siguiente. Aunque la información de luz en la imagen de salida A ⁱ⁺¹ siguiente en el tiempo está algo atenuada, sin embargo sigue presente. Esto se aclara en particular mediante la tercera imagen de salida A³ , donde la información de luz L atenuada está representada sombreada en gris. La información de luz L ya algo atenuada de la imagen de salida A² precedente se mezcla a este respecto con la tercera imagen de salida E³ , en la que la información de luz debido al parpadeo no es visible. No obstante, la información de luz en la secuencia de imágenes siempre puede distinguirse al menos parcialmente y es visible ópticamente debido a la sucesión de las imágenes en la secuencia de imágenes con su movimiento real en la imagen.

Con ello de manera sencilla se logra una eliminación de parpadeo de la información de luz parpadeante L parcialmente no visible en las imágenes de entrada de la secuencia de imágenes.

El procedimiento se basa principalmente en el principio de la estimación de movimiento entre la última imagen de salida y la nueva imagen de entrada subsiguiente. La compensación de movimiento traslada entonces la última imagen de salida hacia el marco de tiempo de la imagen de entrada siguiente. Esta compensación de movimiento puede integrarse directamente también en la estimación de movimiento o realizarse simultáneamente en el paso de la mezcla. Pero puede ejecutarse también como paso independiente.

La estimación de movimiento y compensación de movimiento puede llevarse a cabo para pel o píxeles enteros o con una exactitud de píxeles parciales (medio pel o cuarto de pel). La calidad de imagen cuando se consideran píxeles parciales en la estimación de movimiento y compensación de movimiento es mejor que en procedimientos con pel enteros.

La mezcla puede realizarse filtrada mediante interpolación directa o con factores de ponderación. A este respecto la mezcla para los píxeles de luminancia y crominancia puede realizarse de la misma manera o preferentemente de manera diferente. Cuando los píxeles de luminancia de la imagen de entrada presentan un valor de luminosidad mayor que los píxeles de luminancia correspondientes en la imagen intermedia Bⁱ sometida a compensación de movimiento, también una imagen de salida puede incluir solo el valor de luminancia de la imagen de entrada, sin que la información de luminancia correspondiente de la imagen intermedia Bⁱ sometida a compensación de movimiento se mezcle.

En otro caso es ventajoso, cuando la información de imagen de luminancia de la imagen intermedia Bⁱ sometida a compensación de movimiento se mezcla, p.ej., mediante adición con un factor de ponderación superior ponderada con respecto a una fecha de imagen correspondiente ponderada con un factor de ponderación menor de la imagen de entrada Eⁱ⁺¹ desplazada en el tiempo. Esto lleva a un filtro de paso bajo IIR de primer orden.

Para el píxel de crominancia es ventajoso, cuando el píxel de crominancia correspondiente de la imagen intermedia Bⁱ⁺¹ sometida a estimación de movimiento se mezcla ponderada con la imagen de salida Eⁱ⁺¹ correspondiente. La diferencia de los factores de ponderación debería ser en este caso menor que en la mezcla de los píxeles de luminancia, para reducir artefactos.

La figura 2 muestra un esbozo de una segunda forma de realización del procedimiento para la reproducción de secuencias de imágenes con informaciones de luz parpadeante L. A este respecto se utilizan tres imágenes de entrada E^i-1; Eⁱ, Eⁱ⁺¹ consecutivas en el tiempo para la generación de una imagen de salida A ⁱ correspondiente. Se realiza una estimación de avance desde la imagen de entrada E^i-1 precedente en el tiempo hacia la imagen de entrada Eⁱ siguiente en el tiempo y una estimación de retroceso desde la imagen de entrada Eⁱ⁺¹ siguiente en el tiempo hacia la imagen de entrada Eⁱ precedente en el tiempo. Por consiguiente, con esta estimación de movimiento bidireccional se determinan para cada fecha de imagen dos vectores de movimiento una vez para la estimación de avance FW y una vez para la estimación de retroceso BW. Con ello se realiza una compensación de movimiento de la imagen E^i-1 precedente en el tiempo con el vector de movimiento de avance FW y el vector de movimiento de retroceso BW negativo en el marco de tiempo de la imagen de entrada Eⁱ central. Además, se realiza una compensación de movimiento de la imagen Eⁱ⁺¹ siguiente en el tiempo con el vector de movimiento de retroceso BW y el vector de movimiento de avance FW negativo en el marco de tiempo de la imagen de entrada Eⁱ central. Estas imágenes intermedias Lⁱ, Rⁱ sometidas a compensación de movimiento de la imagen de salida E^i-1, Eⁱ⁺¹ precedente en el tiempo y siguiente en el tiempo se mezclan después con la imagen de salida Eⁱ central, para determinar a partir de estas tres imágenes una imagen de salida A ⁱ.

A su vez, la compensación de movimiento puede realizarse directamente junto con la estimación de movimiento o directamente en el paso de la mezcla, de modo que no debe generarse ni almacenarse obligatoriamente una imagen intermedia Lⁱ, Rⁱ completa. Estas imágenes intermedias Lⁱ, Rⁱ pueden emplearse también como un tipo de imágenes virtuales en el paso de la estimación de movimiento o de la mezcla.

También en este caso para la estimación de movimiento y compensación de movimiento pueden utilizarse píxeles enteros (Full-Pel) o píxeles parciales (p.ej. Half-Pel, Quarter-Pel).

La mezcla para los píxeles de luminancia y de crominancia puede realizarse de la misma manera p.ej. mediante adición. Sin embargo, también es concebible un filtrado. Para los píxeles de luminancia, el píxel de imagen de salida correspondiente, por ejemplo, puede utilizarse como promedio del valor máximo de la imagen intermedia Lⁱ, Rⁱ izquierda y derecha y de la imagen de entrada Eⁱ y de la mediana de los píxeles de estas imágenes. A este respecto es concebible también que la mediana se calcule a partir de las imágenes intermedias para la compensación de avance y la compensación de retroceso.

Para los píxeles de crominancia puede calcularse simplemente solo el promedio de los píxeles correspondientes a partir de las imágenes intermedias Lⁱ, Rⁱ y la imagen de entrada Eⁱ correspondiente.

La figura 3 permite distinguir un esbozo de una tercera forma de realización del procedimiento para la reproducción de secuencias de imágenes con informaciones de luz parpadeante. En este sentido se propone una aplicación recursiva de una interpolación sometida a compensación de movimiento en varias etapas. Se representan tres etapas intermedias, en donde también son concebibles otros números de dos, cuatro, cinco o más etapas intermedias. Cuantas más etapas intermedias estén presentes, mayor es la complejidad del procedimiento.

En principio, en este sentido a partir de dos imágenes de entrada Eⁱ Eⁱ⁺¹ consecutivas en el tiempo, según una estimación de movimiento entre estas imágenes de entrada Eⁱ, Eⁱ⁺¹ y una compensación de movimiento se genera una imagen intermedia Z1 ^i+0,5. La estimación de movimiento puede realizarse como estimación de avance desde la imagen de entrada Eⁱ precedente hacia la imagen de entrada Eⁱ⁺¹ siguiente y/o mediante la estimación de retroceso desde la imagen de entrada Eⁱ⁺¹ siguiente hacia la imagen de entrada Eⁱ precedente. Con los vectores de movimiento determinados de este modo estas imágenes de entrada Eⁱ, Eⁱ⁺¹ se transforman entonces en los marcos de tiempo de la imagen intermedia Z^i+0,5, y a este respecto, las informaciones de imagen sometidas a compensación de movimiento de ambas imágenes de entrada Eⁱ, Eⁱ⁺¹ se mezclan entre sí. También en este caso la mezcla para las informaciones de luminancia y crominancia puede realizarse de manera diferente o preferentemente de la misma manera. En este caso se propone hallar el promedio de los datos de imagen procedentes de imágenes intermedias generadas mediante la estimación de avance y de imágenes intermedias generadas mediante la estimación de retroceso. Mediante un filtro de mediana para la mezcla de la mediana de este promedio con las informaciones de imagen correspondientes procedentes de la compensación de avance y la compensación de retroceso pueden reducirse adicionalmente artefactos. Sin embargo puede utilizarse también simplemente la mediana de los píxeles de imagen para formar imágenes intermedias.

Sin embargo son concebibles también enlaces ponderados de los datos de imagen (píxeles) correspondientes de las imágenes de entrada Eⁱ, Eⁱ⁺¹ sometidas a compensación de movimiento, en donde los factores de ponderación en el caso más sencillo ascienden a 1.

Las imágenes intermedias Z1 ^i+0,5 determinadas así en la primera etapa se mezclan a su vez entre sí. A este respecto se mezclan dos imágenes intermedias Z^i+0,5 y Z ^i+1,5 consecutivas en el tiempo a su vez mediante los vectores de movimiento previamente determinados o después de una estimación de movimiento adicional. Esto se repite en varias etapas, para generar una imagen de salida A ⁱ.

Las imágenes intermedias Z ^i+k con k = 0,5, 1,5, ... pueden usarse ya como imágenes de salida para la representación o utilizarse para generar una imagen de salida A ⁱ definitiva. Las imágenes intermedias representan por consiguiente ya imágenes casi de salida.

La estimación de movimiento puede llevarse a cabo a su vez con píxeles enteros (Full-Pel) o con píxeles parciales.

La interpolación puede realizarse en etapas individuales. Sin embargo es concebible también un tratamiento diferente de las etapas pares e impares, en donde en las etapas pares, incluyendo la primera etapa se realiza una estimación y compensación de movimiento de avance y de retroceso, y en las etapas impares se realiza una compensación de avance de imagen precedente en el tiempo a la actual y una compensación de retroceso de imagen siguiente en el tiempo a la actual. La estimación de movimiento se lleva a cabo entonces respecto a la imagen intermedia en el tiempo con respecto a la imagen actual en el procedimiento de píxeles parciales.

La estimación de movimiento se realiza para todos los procedimientos anteriormente mencionados preferentemente con la componente de luminancia de dos imágenes consecutivas en el tiempo (cuadros de imagen) de una secuencia de imágenes (secuencia de imágenes). Una de esas imágenes es la imagen de referencia y la otra la imagen de búsqueda. Para el algoritmo de estimación de imágenes no es importante, si la imagen de referencia es la imagen precedente y la imagen de búsqueda es la imagen posterior en el tiempo o a la inversa. El orden debe mantenerse solo a lo largo de toda la secuencia de imágenes. La imagen de referencia se distribuye para la estimación de movimiento por regla general en bloques de píxeles rectangulares. El tamaño de bloque es un parámetro esencial del procedimiento de estimación de movimiento. El tamaño de bloque puede seleccionarse por ejemplo como de 16 x 16 píxeles.

Con la estimación de movimiento para cada bloque de píxeles en la imagen de referencia se determina un vector de movimiento. Este vector de movimiento indica hacia una posición en la imagen de búsqueda, que coincide mejor con el bloque de referencia y sigue por tanto la dirección de movimiento. Las coordenadas de los vectores de movimiento son relativas a la posición del bloque de referencia.

Los vectores de movimiento se determinan en una estrategia de búsqueda a partir de un número de vectores candidatos. Por consiguiente, para ello los vectores de candidatos pueden calcularse las diferencias absolutas entre el bloque de referencia y el bloque de búsqueda, y dado el caso también puede añadirse un factor específico para los candidatos para el cálculo de un factor de costes de los candidatos. El vector de candidato con los mínimos costes (desviación) se selecciona entonces como el vector de movimiento óptimo para el bloque respectivo.

Para calcular la suma de las diferencias absolutas de un bloque, se selecciona un bloque de la imagen de búsqueda en la posición señalada por el vector de candidato adoptado. En este sentido puede utilizarse eventualmente también una interpolación bilineal, para calcular un bloque de búsqueda a partir de la imagen de bloque de búsqueda. Se calcula entonces la suma de las diferencias absolutas entre los píxeles del bloque de referencia y del bloque de búsqueda.

El cálculo de los vectores de movimiento puede llevarse a cabo, al examinarse los bloques en un orden en forma de meandro. En este sentido, los bloques se examinan inicialmente de izquierda a derecha en una línea de matriz de imágenes y después las columnas de la matriz de imágenes que se intercalan.

Los vectores de candidatos pueden determinarse de diferente manera. Así los vectores pueden utilizarse para vectores ya determinados cerca como vectores de movimiento reconocidos como aceptados. También los vectores de movimiento de la cercanía del bloque actual pueden adoptarse como vectores de candidatos, que se han determinado para el marco de imagen precedente de la secuencia de imágenes como vector de movimiento óptimo. El campo de vector de movimiento determinado en el paso precedente debe almacenarse temporalmente para ello. Sin embargo, los vectores de candidatos pueden determinarse también a partir de los vectores de movimiento determinados para bloques vecinos mediante la adición de un desfase pseudoaleatorio. Un vector de candidato puede ser también un vector cero, en el que no se adopta ningún desplazamiento del bloque de imagen.

La figura 4 muestra un esbozo de una unidad de procesamiento de imágenes V con una unidad de procesamiento de datos pC y una memoria de datos MEM para almacenar datos de imagen. La unidad de procesamiento de datos es por ejemplo un microprocesador programado adecuadamente, un procesador de procesamiento de imágenes especializado, un FPGA (Field Programmable Gate Array, matriz de puerta lógica programable), un ASIC (circuito integrado de aplicación específica) o similar. La unidad de procesamiento de datos pC accede a la memoria de datos MEM mediante lectura y escritura. Esta puede ser fragmentada o constar de varias unidades de almacenamiento.

Los datos de imagen de entrada de una secuencia de imágenes se registran por una cámara K, que está conectada directa o indirectamente con la unidad de procesamiento de imágenes V. Los datos de imagen de entrada de la secuencia de imágenes pueden almacenarse temporalmente entonces en la memoria de datos MEM.

Después del procesamiento de estos datos de entrada de la manera anteriormente descrita mediante la unidad de procesamiento de datos pC, las imágenes de salida se transmiten entonces a un monitor (pantalla D) para la reproducción. Este monitor D está conectado directa o indirectamente con la unidad de procesamiento de imágenes V.

Sin embargo también es concebible que la corriente de datos de imagen de salida se almacene en un soporte de datos adecuado o se transmita adicionalmente a través de una telecomunicación de datos.

La unidad de procesamiento de imágenes V está integrada preferentemente en un automóvil. La cámara K y la pantalla D sustituyen a este respecto espejos retrovisores convencionales o los complementan. La cámara K está orientada a este respecto hacia el campo de visión que va a observarse, y la pantalla D está dispuesta en el espacio de visión del conductor adecuado.

Claims (15)

REIVINDICACIONES

1. Procedimiento para reproducir secuencias de imágenes con informaciones de luz (L) parpadeante de fuentes de luz led pulsadas, que modifican periódicamente su luminosidad, que se ejecuta mediante una unidad de procesamiento de imágenes (V), que está integrada en un automóvil., con los pasos:

- generar una secuencia de imágenes, que comprende una sucesión de imágenes (Eⁱ) de una escena de imagen registrada sucesivamente en el tiempo con píxeles de luminancia y píxeles de crominancia, mediante una cámara (K) integrada en el automóvil, en donde la cámara (K) es componente de la unidad de procesamiento de imágenes (V) o está conectada a la unidad de procesamiento de imágenes (V),

- estimar (ME) vectores de movimiento para datos de imagen de una imagen (Eⁱ) para describir el desplazamiento espacial de una fecha de imagen en una primera imagen (Eⁱ) con respecto a la misma fecha de imagen en una segunda imagen (Eⁱ⁺¹) desplazada en el tiempo,

- calcular una imagen intermedia (B ⁱ) sometida a compensación de movimiento con los vectores de movimiento estimados,

- generar (MIX) una tercera imagen (Aⁱ) desplazada en el tiempo mediante la mezcla de los datos de imagen de la primera imagen (Eⁱ), para los cuales se estimaron vectores de movimiento, con un desfase espacial definido por un vector de movimiento en cada caso con datos de imagen de la segunda imagen (Eⁱ⁺¹),

caracterizado por que la mezcla se realiza filtrada con factores de ponderación de modo que un píxel de luminancia de la tercera imagen (Aⁱ) generada obtiene el valor de luminancia del píxel de luminancia correspondiente de la primera imagen (E ⁱ), sin que se mezcle la información de luminancia correspondiente de una imagen intermedia (Bⁱ) sometida a compensación de movimiento, cuando el píxel de luminancia de la imagen (Eⁱ) presenta un valor de luminosidad mayor que el píxel de luminancia correspondientes en la imagen intermedia (Bⁱ) sometida a compensación de movimiento, y de lo contrario, el píxel de luminancia de la tercera imagen (Aⁱ) generada obtiene el valor de luminancia del píxel de luminancia correspondiente de la primera imagen (Eⁱ), ponderado con un primer factor de ponderación, añadido al valor de luminancia del píxel de luminancia correspondiente de la imagen intermedia (B ⁱ) sometida a compensación de movimiento ponderado con un segundo factor de ponderación, que es más alto que el primer factor de ponderación.

2. Procedimiento según la reivindicación 1, caracterizado por

- estimar los vectores de movimiento para datos de imagen de una primera imagen de salida, generada a partir de una imagen de entrada tomada, con respecto a una imagen de entrada desfasada en el tiempo para ello y - mezclar esta imagen de entrada desfasada en el tiempo con los datos de imagen de la primera imagen de salida sometidos a compensación de movimiento mediante los vectores de movimiento estimados para generar una segunda imagen de salida desfasada en el tiempo con respecto a la primera imagen de salida.

3. Procedimiento según la reivindicación 2, caracterizado por repetir los pasos de la estimación de vectores de movimiento y de mezcla para la generación de una imagen de salida con la imagen de salida generada en el paso precedente.

4. Procedimiento según la reivindicación 1, caracterizado por

- estimar los vectores de movimiento para datos de imagen para una primera imagen de entrada tomada con respecto a estos datos de imagen en una imagen de entrada precedente en el tiempo y/o siguiente en el tiempo y - mezclar esta primera imagen de entrada con los datos de imagen de la imagen de entrada precedente en el tiempo y/o siguiente en el tiempo, sometidos a compensación de movimiento mediante los vectores de movimiento estimados para generar una imagen de salida que se adapta en el tiempo a la primera imagen de entrada.

5. Procedimiento según la reivindicación 1, caracterizado por

- estimar los vectores de movimiento para datos de imagen para un par de imágenes de entrada tomadas, consecutivas en el tiempo, para determinar el desplazamiento espacial de los datos de imagen entre estas imágenes de entrada y

- generar una imagen de salida mediante la mezcla de datos de imagen de este par de imágenes de entrada sometidos a compensación de movimiento mediante los vectores de movimiento estimados.

6. Procedimiento según la reivindicación 5, caracterizado por generar una imagen de salida interpolada mediante la mezcla de un par de imágenes de salida consecutivas en el tiempo, sometidas a compensación de movimientos mediante los vectores de movimiento estimados.

7. Procedimiento según la reivindicación 6, caracterizado por la repetición del paso de la generación de imágenes de salida interpoladas con pares de imágenes de salida interpoladas, generadas en el paso precedente, mediante la mezcla en cada caso de un par de imágenes de salida consecutivas en el tiempo, interpoladas sometidas a compensación de movimientos mediante los vectores de movimiento estimados.

8. Procedimiento de acuerdo con una de las reivindicaciones anteriores, caracterizado por que los datos de imagen, para los cuales se estiman vectores de movimiento, son bloques de imágenes en una imagen.

9. Procedimiento de acuerdo con una de las reivindicaciones anteriores, caracterizado por que las informaciones de luz parpadeante son informaciones de luz parpadeante provocadas mediante luz emitida por diodos luminosos.

10. Procedimiento de acuerdo con una de las reivindicaciones anteriores, caracterizado por que la cámara integrada en el automóvil es una cámara, que le sirve a un conductor del automóvil para observar el entorno del vehículo.

11. Procedimiento de acuerdo con una de las reivindicaciones anteriores, caracterizado por que la cámara integrada en el automóvil es una monocámara o una cámara estereoscópica, que sirve como sensor óptico para determinar datos de sensor para uno o varios sistemas de asistencia al conductor del automóvil.

12. Unidad de procesamiento de imágenes (V) con memoria de datos para almacenar datos de imagen y con una unidad de procesamiento de datos, en donde la unidad de procesamiento de imágenes (V) y una cámara (K), que es componente de la unidad de procesamiento de imágenes (V) o está conectada a la unidad de procesamiento de imágenes (V), están integradas en un automóvil y la unidad de procesamiento de datos está configurada para la realización del procedimiento según una de las reivindicaciones anteriores mediante el acceso a datos de imagen almacenados en la memoria de datos.

13. Unidad de procesamiento de imágenes según la reivindicación 12, caracterizada por que la cámara integrada en el automóvil es una cámara, que le sirve a un conductor del automóvil para observar el entorno del vehículo.

14. Unidad de procesamiento de imágenes según la reivindicación 12 o 13, caracterizada por que la cámara integrada en el automóvil es una monocámara o una cámara estereoscópica, que sirve como sensor óptico para determinar datos de sensor para uno o varios sistemas de asistencia al conductor del automóvil.

15. Programa informático con medios de código de programa, que están configurados para la realización del procedimiento según una de las reivindicaciones 1 a 11, cuando el programa informático se ejecuta con una unidad de procesamiento de datos.