ES2388043T3 - Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo - Google Patents

Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo Download PDF

Info

Publication number
ES2388043T3
ES2388043T3 ES08874176T ES08874176T ES2388043T3 ES 2388043 T3 ES2388043 T3 ES 2388043T3 ES 08874176 T ES08874176 T ES 08874176T ES 08874176 T ES08874176 T ES 08874176T ES 2388043 T3 ES2388043 T3 ES 2388043T3
Authority
ES
Spain
Prior art keywords
image
windshield wiper
image information
windshield
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES08874176T
Other languages
English (en)
Inventor
Karsten Haug
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Application granted granted Critical
Publication of ES2388043T3 publication Critical patent/ES2388043T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Procedimiento para el tratamiento de informaciones de imagen (1) captadas desde un vehículo, con unpaso para detectar al menos partes de un limpiaparabrisas (4) en las informaciones de imagen (1) y unpaso de la división espacial de las informaciones de imagen (1) de una imagen aislada a través de unasombra de limpiaparabrisas (4) detectada del limpiaparabrisas en informaciones de imagencualitativamente de alto valor (3) y cualitativamente de bajo valor (2), en donde la sombra delimpiaparabrisas separa una primera región de imagen con las informaciones de imagen cualitativamentede bajo valor, que está situada con relación a un recorrido de limpiaparabrisas delante del limpiaparabrisas,de una segunda región de imagen con las informaciones de imagen cualitativamente de bajo valor, que seencuentra justo detrás del limpiaparabrisas en movimiento

Description

Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo
Campo técnico
La invención se refiere a un procedimiento y a un dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo
Estado de la técnica
Para un gran número de diferentes sistemas de ayuda al conductor en vehículos se necesitan datos de imagen del entorno del vehículo, que son suministrados desde cámaras. Estos datos de imagen ayudan a la hora de mantener el carril (LDW o Lane-Departure-Warning), para alertar al conductor por ejemplo de un cansancio propio excesivo, en el caso del control automático de carril (LKS o Lane-Keeping-Sulimpiaparabrisasort), por ejemplo como parte de una dirección automática del vehículo, a la hora de reconocer señales de tráfico en carretera (SRS, Road-Sign-Recognition) o también en el caso del apoyo a la visión nocturna con reconocimiento de objetos y función de alerta. Los datos de imagen para el apoyo a la visión nocturna se ponen a disposición mediante cámaras con capacidad de visión nocturna.
Todos los sistemas que presentan una función de reconocimiento activa, basada en cámaras sobre la base de datos de imagen del entorno del vehículo, tienen en común que son muy sensibles a la calidad de imagen disponible. Para el reconocimiento de delimitaciones de carreteras o líneas centrales, sí como a la hora de reconocer señales de tráfico en carretera se necesita una imagen de alta calidad desde la visual del conductor. Debido a que las cámaras utilizadas para ello se encuentran en el centro superior del parabrisas o también en cavidades del vehículo dispuestas específicamente, las cámaras no disponen de una visibilidad mejor a través del parabrisas que el propio conductor. En consecuencia la capacidad de estos sistemas desciende notablemente en caso de lluvia, ya que la trayectoria óptica de las cámaras se ve fuertemente perturbada y por ello las líneas centrales o bien no se reconocen en absoluto o sólo erráticamente, y las señales de tráfico no se detectan en absoluto.
En especial las imágenes del entorno del vehículo a través del parabrisas húmedo por la lluvia, que en caso de lluvia están en parte fuertemente distorsionadas, no permiten a los sistemas de ayuda al conductor antes citados, o sólo de forma insuficiente, analizar la imagen captada, o bien las gotas de lluvia sobre el parabrisas actúan como lentes locales y ciegan la cámara tan intensamente que ya no puede captarse ninguna imagen valorable.
Del documento DE 102 19 788 se conocen técnicas que valoran tan ampliamente informaciones de imagen mediante la valoración de la relación de contraste, que es posible una determinación de la distancia de visibilidad efectiva, de tal modo que la unidad conjunta puede separar informaciones de imagen valorables de informaciones de imagen no valorables. Una verdadera mejora de la función de ayuda al conductor, sin embargo, no puede lograrse mediante esta técnica.
El documento DE 103 03 046 A1 describe un dispositivo y un procedimiento para la estimación cuantitativa de la distancia de visibilidad en vehículos, en donde se detectan datos de imagen desde el entorno y se valoran para estimar la distancia de visibilidad. Con ello, en el caso de un empeoramiento de la visibilidad a causa de gotas de lluvia sobre el parabrisas, se activa el limpiaparabrisas para lograr una evaluación más precisa de las condiciones de visibilidad reales.
El documento US 2007/0047809 A1 describe un procedimiento de reconocimiento del entorno para un vehículo. Con ello se analizan imágenes de una cámara para obtener informaciones para el conductor del vehículo. El documento describe además un reconocimiento sobre si un limpiaparabrisas oculta un sector de la imagen.
El documento US 2008/0044062 A1 describe un sensor de imágenes para un vehículo. Con ello el control utiliza informaciones del control del limpiaparabrisas o motores del limpiaparabrisas, para evitar una detección de imágenes cuando el limpiaparabrisas cubre parcial o totalmente el campo de visión del sensor de imágenes.
Manifiesto de la invención
La invención pone a disposición un procedimiento para mejorar la función de ayuda al conductor, en especial de sistemas de ayuda al conducto que se basan en imágenes de vídeo captadas en un vehículo. Con ello se dividen en datos de imagen mejores o peores cualitativamente, mediante una ponderación o incluso mediante una selección de imágenes de vídeo aisladas o regiones de imágenes aisladas, los datos de imagen disponibles para la función de ayuda al conductor.
La invención hace uso de la acción de un limpiaparabrisas. Las imágenes de mejor calidad pueden obtenerse justo después de que el limpiaparabrisas pase por encima del parabrisas. Ya las imágenes que reproducen la sombra del limpiaparabrisas presentan partes de mayor calidad y aquellas partes de imagen con peor calidad. De este modo es importante, a la hora de captar imágenes, diferenciar las imágenes o las partes de imagen de mayor calidad de aquellas imágenes o partes de imagen que, a causa de la humedad sobre el limpiaparabrisas, se han distorsionado
o incluso vuelto inservibles.
De forma correspondiente a esto se propone un dispositivo para captar informaciones de imagen desde un vehículo, que presenta al menos una cámara y al menos una unidad de ordenador, en donde la unidad de ordenador divide las informaciones de imagen procedentes de la cámara en unidades de imagen aisladas y, para cada unidad de imagen aislada, lleva a cabo un cálculo estadístico, en donde la unidad de ordenador utiliza los datos del cálculo estadístico para diferenciar si está presente o no una sombra del limpiaparabrisas en la unidad de imagen y si la calidad de la información de imagen es alta o baja. Por ello se comprueba de forma preferida si la calidad de la información de imagen es mayor o menor que un valor umbral prefijado de la calidad.
En las reivindicaciones subordinadas se indican otras configuraciones ventajosas de la invención.
Para llevar a cabo el procedimiento se post-conecta a un sensor de vídeo una unidad de ordenador, la cual valora las informaciones de imagen. La valoración lleva a una detección de la sombra del limpiaparabrisas en las informaciones de imagen del sensor de vídeo, y esta detección de posición y momento de la sombra del limpiaparabrisas en las informaciones de imagen se utiliza para diferenciar imágenes completas o regiones de imagen aisladas con alta calidad de aquellas imágenes o regiones de imagen con menor calidad. Esto se produce de forma preferida por medio de que se diferencia si la calidad de imágenes o regiones de imagen es mayor o menor que un valor umbral prefijado. Si la calidad es mayor que un valor umbral prefijado están presentes imágenes o partes de imagen con alta calidad. En el caso de que la calidad sea menor que un valor umbral prefijado para la calidad, están presentes imágenes o partes de imagen con menor calidad.
En una imagen aislada la diferenciación se obtiene mediante una división espacial de la imagen aislada a través de una sombra del limpiaparabrisas, en donde sobre las regiones de imagen de alto valor cualitativo sólo hace poco tiempo que ha pasado el limpiaparabrisas y sobre las regiones de imagen de menor valor cualitativo ya ha pasado el limpiaparabrisas hace más tiempo o incluso sobre ellas va a pasar el limpiaparabrisas dentro de muy poco tiempo, en donde la imagen disponible es especialmente mala a causa de una onda de proa del limpiaparabrisas. En el caso más sencillo la unidad de ordenador divide la imagen en regiones de imagen aisladas, de forma preferida en segmentos circulares que hacen contacto unos con otros, y la unidad de ordenador determina el histograma de claridad para cada región de imagen aislada. A partir del histograma debe establecerse si la región de imagen en forma de segmento circular está cubierta por un limpiaparabrisas en el segmento circular o no.
Para determinar si un limpiaparabrisas ha cubierto la imagen se valora el histograma de cada región de imagen y un número predominantemente elevado de puntos de imagen oscuros con relación a las regiones de imagen circundantes indiza un limpiaparabrisas o una parte del mismo en la región de imagen. Para determinar a partir de un histograma, que representa una distribución de los valores de claridad de todos los puntos de imagen, si presenta puntos de imagen predominantemente oscuros o predominantemente claros, es posible correlacionar éste con otro histograma, en donde el otro histograma representa una distribución ideal de claridad de una región de imagen ensombrecida por el limpiaparabrisas. Después de que la unidad de ordenador haya detectado positivamente un limpiaparabrisas o su sombra, la unidad de ordenador puede clasificar las regiones de imagen que presentan una baja calidad de imagen, porque las regiones de imagen sobre las que acaba de pasar un limpiaparabrisas, normalmente presentan una imagen mejor y no distorsionada por un limpiaparabrisas húmedo.
A la hora de valorar los datos de imagen mediante el sistema de ayuda al conductor, para generar las señales de ayuda al conductor las regiones de imagen con datos de imagen mejores cualitativamente se ponderan con más intensidad que las regiones de imagen con datos de imagen peores cualitativamente. El algoritmo usado en el sistema de ayuda al conductor par valorar las imágenes determina la mejor clase de ponderación de las imágenes o regiones de imagen cualitativamente diferentes, que puede llevarse a cabo en principio en dos puntos en el algoritmo. Las imágenes o regiones de imagen de diferente calidad pueden introducirse en el algoritmo para su análisis junto con un número, que se corresponde con una ponderación, o las imágenes se valoran primero mediante el algoritmo sin información de ponderación y el resultado del análisis con un algoritmo elegido una vez se pondera con ayuda de la información sobre la calidad de la propia imagen analizada en cada caso. Por último pueden utilizarse también para la ponderación ambos procedimientos, uno junto al otro. Mediante la ponderación, que se explica a continuación con más detalle, puede llevarse a cabo con una mayor fiabilidad el reconocimiento de señales de tráfico o el reconocimiento de líneas centrales, porque las señales de ayuda al conductor están influenciadas en mayor medida por imágenes cualitativamente de mayor valor y sólo en menor medida por imágenes cualitativamente peores.
A la hora de captar imágenes consecutivas es posible mejorar la ponderación de los datos de imagen, por medio de que la captación de imágenes se sincroniza en tiempo con el movimiento del limpiaparabrisas. Para esto se usa de
forma ventajosa un procedimiento PLL, un Phase Locked Loop (PLL) implementado por software, el cual sincroniza entre sí un contador de fases y el resultado de la detección positiva del limpiaparabrisas. En especial en vehículos que no pueden entregar una información exacta sobre la posición del limpiaparabrisas, este procedimiento es adecuado para entregar al algoritmo para la valoración de imágenes, en paralelo a las imágenes aisladas procedentes del sensor de vídeo, una información sobre la posición de fase de limpiaparabrisas con relación a la captación de imágenes en un ciclo de limpiaparabrisas. Para una secuencia de muchas imágenes, sobre las que pasan en el tiempo varios ciclos de limpiaparabrisas, se obtiene de este modo una ponderación periódica en el tiempo de las imágenes en función de la fase de limpiaparabrisas, en donde las imágenes que se han captado en el tiempo justo después de pasar el limpiaparabrisas se introducen en el análisis de imágenes, mediante la correlación del contador de fases con la frecuencia del limpiaparabrisas, con un factor de ponderación mayor que aquellas imágenes que se han captado poco antes de una pasada del limpiaparabrisas.
Para sincronizar la ponderación de imágenes aisladas con ayuda del procedimiento PLL se comparan entre sí las fases de dos señales y se adapta una señal a la otra, hasta que impere una relación de fase estable entre ambas señales. La primera señal aquí utilizada procede de un algoritmo de la detección de limpiaparabrisas, que presenta dos veces durante un breve espacio de tiempo dentro de un ciclo de limpiaparabrisas completo el valor lógico “verdadero”, precisamente cuando el limpiaparabrisas pasa una vez por encima de la imagen del sensor de vídeo durante la primera pasada de ida y una vez por encima de la imagen durante la segunda pasada de vuelta. De forma correspondiente, esta señal de la detección del ciclo de limpiaparabrisas muestra entre el valor lógico “verdadero” el valor lógico “falso”, precisamente cuando el limpiaparabrisas no está reproducido en la imagen. Una segunda señal para la sincronización es un contador de fases, que puede empezar en cualquier punto dentro de un ciclo de limpiaparabrisas y puede contar la fase con cualquier frecuencia dentro de los límites del contador de fases. Debido a que el limpiaparabrisas está situado en la imagen durante una porción predeterminada de la fase de limpiaparabrisas, a causa de su disposición mecánica, se asocia al contador de fases para esta porción un valor lógico “verdadero” y para las restantes porciones el valor lógico “falso”. El algoritmo PLL modifica a continuación la fase del contador de fases y la frecuencia, hasta que la señal de detección de limpiaparabrisas, que posiblemente varía en su frecuencia con el limpiaparabrisas mediante un control del sensor de lluvia, funcione sincrónicamente. Para una explicación más detallada del algoritmo PLL se recomienda consultar bibliografía técnica. Por lo tanto, a la hora de ponderar las informaciones de imagen se utiliza la señal del contador de fases, generada mediante el algoritmo PLL, para ponderar las informaciones de imagen. Con ello se asocia a cada valor de fase del contador de fases un valor de ponderación, ya sea a través de una tabla o a través de una función cerrada, de tal modo que para cada imagen aislada se presenta en primer lugar una clara relación de fase con el movimiento del limpiaparabrisas, precisamente en forma de una posición de fase, expresada por ejemplo mediante 0 a 2n, 0º a 360º o un número directo y, a través de esta relación de fase, se asocia a la imagen un factor de ponderación, por ejemplo en el intervalo de 0 a 1, que representa la utilidad de la información de imagen, en donde en el ejemplo antes citado 0 significa nada útil y 1 completamente útil.
Mediante la sincronización puede anticiparse el paso del limpiaparabrisas por encima de la imagen captada. Por medio de que se conoce cuándo tiene lugar la siguiente pasada de limpiaparabrisas, puede asociarse a la primera imagen después de la pasada de limpiaparabrisas un elevado valor de calidad y las imágenes subsiguientes en el tiempo se valoran con una función temporal de relajación en su escala de calidad, de tal modo que la imagen se valora con un valor mínimo en su escala de calidad justo antes de otra pasada de limpiaparabrisas. Siempre que de un sistema eléctrico de bus del vehículo puedan extraerse datos sobre si está o no conectado un ventilador de parabrisas, es ventajoso que no se valore con la máxima calidad la primera imagen después de la detección del limpiaparabrisas, sino una imagen captada más tarde en el tiempo que la primera imagen después de la pasada de limpiaparabrisas. Esto se debe a que un ventilador de parabrisas conduce a que se evaporen franjas de limpieza que puedan quedar después de pasar el limpiaparabrisas. De este modo se desplaza en el tiempo hacia atrás, con relación a la pasada de limpiaparabrisas, la imagen valorada como mejor cualitativamente.
En una configuración del procedimiento, aparte de la valoración de histograma para generar una señal para la detección del limpiaparabrisas y la sincronización a continuación de la posición de limpiaparabrisas con la frecuencia de limpiaparabrisas, para generar un factor para la ponderación es también posible evaluar en su calidad regiones de imagen aisladas mediante la determinación del nivel de ruido. Con ello las imágenes con un elevado nivel de ruido tienen cualitativamente un menor valor que aquellas imágenes con un bajo nivel de ruido. Esta determinación del nivel de ruido puede llevarse a cabo con independencia de la detección del limpiaparabrisas.
Para mejorar todavía más la determinación de calidad pueden llevarse a cabo además pruebas de plausibilidad que, por ejemplo, utilicen el tiempo entre dos transiciones de limpiaparabrisas esperadas a partir de la sincronización para comprobar el contenido de la determinación de calidad. De esta forma, una imagen o una región de imagen sobre la que hace tiempo que no ha pasado un limpiaparabrisas, debe ser peor cualitativamente que una imagen o región de imagen que se tomó en un momento en el que hace poco tiempo que se había producido la pasada de limpiaparabrisas. Igualmente puede utilizarse la posición de las regiones de imagen para una prueba de plausibilidad. De este modo una imagen que esté situada antes del limpiaparabrisas, con relación al recorrido de limpiaparabrisas, debe ser peor que una región de imagen que se encuentre justo detrás del limpiaparabrisas en movimiento.
En una configuración especial de la invención pueden utilizarse también datos del limpiaparabrisas procedentes de un transductor angular para sincronizar el contador de fases con la ponderación. Con ello, en un transductor angular unido al limpiaparabrisas se lee el ángulo de ajuste actual del limpiaparabrisas y el contador de fases se sincroniza con esta señal.
Para aumentar todavía más la calidad de la valoración de los datos de imagen puede unirse al sistema un sensor de lluvia habitual, que ajuste la frecuencia del limpiaparabrisas. Para sincronizar el contador de fases se utiliza esta señal para establecer lo más rápidamente posible una relación de fase estable entre la frecuencia de limpiaparabrisas que se modifica según condiciones de lluvia variables y el contador de fases. Con ello es también el efecto del sensor de lluvia acoplado al control de limpiaparabrisas tal, que sobre la imagen del sensor de vídeo no pasa el limpiaparabrisas con mayor frecuencia que la necesaria, ya que en el caso de una lluvia insignificante una frecuencia excesivamente elevada del limpiaparabrisas puede conducir a un elevado número de valoraciones bajas de una imagen captada, porque el limpiaparabrisas pasa con más frecuencia de la necesaria por la imagen de cámara y con ello empeora con frecuencia grandes partes de imagen con una frecuencia innecesaria.
Una sincronización del control de iluminación de la cámara con el limpiaparabrisas consigue una mejora adicional. Un control de iluminación no sincronizado podría empezar a oscilar a causa de las sombras de limpiaparabrisas recurrentes, aumentar la iluminación de los objetos afectados al paso del limpiaparabrisas y reducirla a una medida regulada entre dos coberturas. Sin embargo, siempre que se sincronice el control de iluminación pueden utilizarse para una valoración también las partes de imagen cualitativamente de alto valor, que estén situadas detrás del limpiaparabrisas que pasa, en donde estas partes de imagen se incorporan a las otras partes de imagen con iluminación regulada y no incorporan al análisis ningún artefacto a causa de una falta o de un exceso de iluminación.
Descripción breve de los dibujos
La invención se explica con más detalle con base en las figuras adjuntas.
Aquí muestran:
la figura 1 una imagen esquematizada de una cámara para un sistema de ayuda al conductor, con la sombra allí reproducida de un limpiaparabrisas,
la figura 2 una división a modo de ejemplo de la imagen en segmentos circulares,
la figura 3 un esquema de conexiones en bloques de la función de ponderación.
la figura 4 un diagrama para explicar la reducción de la calidad de imagen, y
la figura 5 un esquema de conexiones en bloques de un sistema de ayuda al conductor, de un dispositivo para mejorar la información de imagen conforme a una forma de ejecución de la invención.
Descripción de los ejemplos de ejecución
En la figura 1 se ha representado una imagen de cámara 1 esquematizada, que se utiliza para un sistema de ayuda al conductor, como por ejemplo RSR, LDW o LKS. La imagen de cámara 1 presenta una región de cámara 2 con muy mala calidad y una región de imagen 3 con mejor calidad. Ambas regiones de imagen 2 y 3 se separan entre sí mediante una sombra de limpiaparabrisas 4, en donde la sombra de limpiaparabrisas 4 se desliza de derecha a izquierda por encima de la imagen 1. En esta región de imagen 3 de mejor calidad están presentes componentes de imagen 5 y 6 individuales, que pueden reconocerse como parte trasera de vehículo y como marcación de carretera. En la región de imagen 2 de peor calidad puede verse también un componente de imagen 7, que sólo puede reconocerse esquemáticamente como otra parte trasera de vehículo, porque la lluvia sobre el parabrisas, a través del cual se capta la imagen 1, distorsiona la visibilidad hasta llegar a la falta de reconocimiento. Además de la distorsión están presentes gotas de agua 8 y 9 de corta vida en la región de imagen 2 con peor calidad, que actúan como una lente y enfocan luz desde los vehículos que circulan por delante y, dado el caso, deslumbran un control de iluminación para la cámara. La región de imagen 2 con peor calidad casi no puede utilizarse para el análisis mediante un sistema de ayuda al conductor 300 en la figura 5, pero al menos se introduce con una ponderación muy reducida en un análisis de imágenes.
Para detectar el paso de una sombra de limpiaparabrisas 4, en la figura 2 se ha representado cómo regiones parciales de la imagen 1 se dividen en segmentos circulares 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21 y 22, en donde el tamaño se elige de tal modo que la anchura esté dentro del orden de magnitud de la imagen de limpiaparabrisas. Los segmentos circulares 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21 y 22 están dispuestos de tal modo, de forma ventajosa, que están orientados en la orientación del limpiaparabrisas 4 que pasa sobre la imagen de cámara 1. Por medio de esto pueden agruparse los segmentos circulares y, siempre que una sombra de limpiaparabrisas 4 pase
sobre la imagen de cámara 1, los histogramas de las regiones de imagen 11, 12, 13, 14, 15, 16, 17, 18, 20, 21 y 22 presentan aproximadamente el histograma 14’. La región de imagen que está cubierta por una sombra de limpiaparabrisas 4, presenta por el contrario aproximadamente el histograma 19’. Mediante la correlación de cada histograma con un histograma ideal para una región de imagen, que está cubierta por un limpiaparabrisas, la función para detectar el limpiaparabrisas genera su señal, en donde una correlación elevada conduce a una señal de detección positiva, mientras que por el contrario una correlación reducida conduce a una señal de detección negativa.
En la figura 3 se ha representado un esquema de conexiones en bloques 30 de la función de ponderación de imagen. Las imágenes de vídeo 23, que proceden de un sensor de vídeo 24, se alimentan directamente a la función de ayuda al conductor 25 y a una función de detección de limpiaparabrisas 26. La función de detección de limpiaparabrisas 26 está acoplada directamente a la pasada del limpiaparabrisas sobre la imagen de vídeo 23. La señal que procede de la función de detección de limpiaparabrisas 26 se introduce en un PLL 27 implementado por software, que genera una señal de contador de fases y sincroniza la misma con la señal de la función de detección de limpiaparabrisas 26. Opcionalmente el PLL 27 obtiene una señal adicional 28 de una detección de humedad por lluvia de un sensor de lluvia, para la variación de la frecuencia de limpiaparabrisas de un sensor de lluvia. La señal de contador de fases sincronizada se introduce a continuación en la función de ayuda al conductor 25, en donde a esta señal se asocia un factor de ponderación. Este factor de ponderación se utiliza para ponderar las imágenes de vídeo 23 para su valoración y para, de este modo, mejorar la señal de salida 29 de la función de ayuda al conductor.
En la figura 4 se ha representado el recorrido en el tiempo de una medida de calidad q de la calidad de imagen, en donde sobre la abscisa se ha aplicado la medida de calidad q no definida aquí con más detalle y sobre la ordenada el tiempo t o la secuencia de imágenes aisladas de un sensor de vídeo. En los puntos de discontinuidad 40 y 41 pasa el limpiaparabrisas sobre la imagen. En el diagrama a modo de ejemplo en la figura 4 la cámara 10 capta imágenes por cada semiperiodo de limpiaparabrisas. La primera imagen después de cada pasada de limpiaparabrisas presenta la máxima medida de calidad, que está registrada en los puntos 42a, 42b y 42c. Hacia la derecha en el diagrama, a los puntos registrados 42a, 42b y 42c siguen imágenes que presentan una peor calidad, conforme aumenta el tiempo después de la última pasada de limpiaparabrisas. La reducción de la calidad sigue normalmente una curva de relajación habitual, en donde el desarrollo exacto depende de un gran número de diferentes parámetros, como la calidad superficial del parabrisas, antigüedad del limpiaparabrisas, intensidad de la lluvia, tamaño de las gotas de lluvia, grado de ensuciamiento del agua que incide sobre el parabrisas, restos de detergentes sobre el parabrisas y otros parámetros no enumerados aquí. Un ciclo de limpiaparabrisas de 0º a 360º o de 0 a 2n comprende con ello el desarrollo desde un primer punto de discontinuidad, por ejemplo 39, hasta el punto de discontinuidad dos puestos más allá, por ejemplo 41, porque el limpiaparabrisas pasa en un ciclo dos veces sobre la imagen. Debido a que el limpiaparabrisas sólo oscila en vaivén dentro de un ángulo determinado, el ciclo de 0º a 360º se corresponde con posiciones de limpiaparabrisas reales con relación a la horizontal desde aproximadamente 0º a aproximadamente 90º, según cómo esté estructurado mecánicamente el limpiaparabrisas.
En la figura 5 se ha representado por último la vista de un parabrisas 50 con limpiaparabrisas 51 dibujado y cámara 100 representada en el centro superior. La cámara 100 capta imágenes a través del parabrisas 50, para captar detalles en el entorno del vehículo que son valorados mediante un sistema de ayuda al conductor 300 y sobre un interfaz hombre-máquina 400 (human machine interface, HMI), que puede estar configurado también óptica, acústica
o incluso hápticamente, se representa para apoyar al conductor el resultado de la valoración. Para mejorar la información de imagen para el sistema de apoyo al conductor 300, entre el sistema de ayuda al conductor y la cámara se interconecta una unidad de ordenador (200), que analiza la imagen de cámara de la cámara 100 y la compone de tal modo, que sólo se ponderan de forma superior en el sistema de ayuda al conductor imágenes cualitativamente de alto valor.

Claims (11)

  1. REIVINDICACIONES
    1. Procedimiento para el tratamiento de informaciones de imagen (1) captadas desde un vehículo, con un paso para detectar al menos partes de un limpiaparabrisas (4) en las informaciones de imagen (1) y un paso de la división espacial de las informaciones de imagen (1) de una imagen aislada a través de una
    5 sombra de limpiaparabrisas (4) detectada del limpiaparabrisas en informaciones de imagen cualitativamente de alto valor (3) y cualitativamente de bajo valor (2), en donde la sombra de limpiaparabrisas separa una primera región de imagen con las informaciones de imagen cualitativamente de bajo valor, que está situada con relación a un recorrido de limpiaparabrisas delante del limpiaparabrisas, de una segunda región de imagen con las informaciones de imagen cualitativamente de bajo valor, que se
    10 encuentra justo detrás del limpiaparabrisas en movimiento.
  2. 2. Procedimiento según la reivindicación 1, caracterizado por una sincronización de un contador de fases con los espacios de tiempo entre dos detecciones consecutivas de un limpiaparabrisas (4), en donde las informaciones de imagen (3) se clasifican con ayuda del contador de fases cualitativamente con un valor máximo si se han captado justo después de que el limpiaparabrisas pase sobre una imagen captada, y las
    15 informaciones de imagen (2) se clasifican cualitativamente con un valor mínimo si se han captado justo antes de que la detección de limpiaparabrisas pase sobre una imagen captada.
  3. 3. Procedimiento según una de las reivindicaciones 1 ó 2, caracterizado por una determinación alterna de la calidad de las informaciones de imagen en función de la detección de un limpiaparabrisas (4), en donde en el caso de una detección positiva del limpiaparabrisas se lleva a cabo en la imagen la división espacial y, en
    20 el caso de una detección negativa de un limpiaparabrisas, en la imagen la clasificación de calidad con ayuda del contador de fase sincronizado.
  4. 4. Procedimiento según una de las reivindicaciones 1 a 3, caracterizado por la detección de un limpiaparabrisas (4) mediante una determinación del nivel de ruido de imágenes aisladas (2, 3), en donde las partes de imagen (2, 3) que muestran un alto nivel de ruido (2) se clasifican como cualitativamente de
    25 bajo valor y las partes de imagen, que muestran un bajo nivel de ruido (3), como cualitativamente de alto valor.
  5. 5. Procedimiento según una de las reivindicaciones 1 a 4, caracterizado por la detección de un limpiaparabrisas (4) mediante la división de las informaciones de imagen (1) en partes de imagen aisladas (11, 12, 13, 14, 15, 16, 17) y la determinación a continuación de un histograma de claridad (18, 19) para
    30 cada parte de imagen aislada (11, 12, 13, 14, 15, 16, 17), en donde las partes de imagen, que presentan una iluminación baja en comparación con las otras partes de imagen se valoran como cubiertas por el limpiaparabrisas (4).
  6. 6. Procedimiento según una de las reivindicaciones 1 a 5, caracterizado por una prueba de plausibilidad adicional de la clasificación de calidad para diferentes regiones de imagen (2, 3), en donde para la
    35 plausibilización se utilizan la posición de las regiones de imagen (2, 3), el tiempo de la última detección de limpiaparabrisas positiva y/o el tiempo obtenido de los parámetros de sincronización.
  7. 7. Procedimiento según una de las reivindicaciones 1 a 6, caracterizado por un desplazamiento de las informaciones de imagen clasificadas como cualitativamente de alto valor, que en un momento posterior se captan como justo después de pasar sobre ellas el limpiaparabrisas (4), si se presentan datos sobre un
    40 ventilador de parabrisas conectado.
  8. 8. Procedimiento según una de las reivindicaciones 1 a 7, caracterizado por una sincronización PLL implementada por software, en la que la detección del limpiaparabrisas en la imagen se compara con el desarrollo de un contador de imágenes, en donde después se establece una diferencia de fase si el desarrollo del contador de fases no coincide en el tiempo con la detección del limpiaparabrisas y, en este
    45 caso, el desarrollo del contador de imágenes se modifica por medio de que el número de las imágenes a contar se modifica hasta que la detección del limpiaparabrisas en la imagen coincide en el tiempo con el desarrollo del contador de imágenes.
  9. 9. Procedimiento según una de las reivindicaciones 1 a 8, caracterizado por una sincronización de la clasificación de calidad con datos de transductor angular del limpiaparabrisas (4).
    50 10. Procedimiento según una de las reivindicaciones 1 a 9, caracterizado por una sincronización de los parámetros de iluminación con la detección del limpiaparabrisas (4).
  10. 11. Dispositivo para tratar informaciones de imagen captadas desde un vehículo, con al menos una cámara (24) y al menos una unidad de ordenador (200), en donde la unidad de ordenador (200) divide las informaciones
    de imagen procedentes de la cámara en partes de imagen aisladas y, para cada unidad de imagen aislada, lleva a cabo un cálculo estadístico, en donde la unidad de ordenador (200) utiliza los datos del cálculo estadístico para diferenciar si está presente o no una parte de un limpiaparabrisas en la respectiva unidad de imagen y si la calidad de la información de imagen es alta o baja, en donde, para determinar si la calidad 5 de la información de imagen es alta o baja, se dividen las informaciones de imagen (1) de una imagen aislada a través de una sombra de limpiaparabrisas (4) detectada del limpiaparabrisas en una primera región de imagen con informaciones de imagen cualitativamente de bajo valor, que está situada con relación a un recorrido de limpiaparabrisas delante del limpiaparabrisas, y una segunda región de imagen con informaciones de imagen cualitativamente de alto valor, que se encuentra justo detrás del
    10 limpiaparabrisas en movimiento.
  11. 12. Dispositivo según la reivindicación 11, en donde la unidad de ordenador utiliza adicionalmente datos de tiempo para el cálculo estadístico, y estos datos de tiempo se utilizan en forma de una sincronización, de forma preferida de una sincronización PLL, para mejorar la detección del limpiaparabrisas en partes de imagen individuales mediante anticipación.
ES08874176T 2008-05-09 2008-11-19 Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo Active ES2388043T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008001679A DE102008001679A1 (de) 2008-05-09 2008-05-09 Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
DE102008001679 2008-05-09
PCT/EP2008/065795 WO2009135541A1 (de) 2008-05-09 2008-11-19 Verfahren und vorrichtung zur verarbeitung von aufgenommenen bildinformationen aus einem fahrzeug

Publications (1)

Publication Number Publication Date
ES2388043T3 true ES2388043T3 (es) 2012-10-08

Family

ID=40302104

Family Applications (1)

Application Number Title Priority Date Filing Date
ES08874176T Active ES2388043T3 (es) 2008-05-09 2008-11-19 Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo

Country Status (6)

Country Link
US (1) US8854455B2 (es)
EP (1) EP2274709B1 (es)
CN (1) CN102016876B (es)
DE (1) DE102008001679A1 (es)
ES (1) ES2388043T3 (es)
WO (1) WO2009135541A1 (es)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) * 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US8376595B2 (en) * 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
KR20120051677A (ko) 2009-07-06 2012-05-22 콘티 테믹 마이크로일렉트로닉 게엠베하 두 화각에서 동시 초점 조절을 위한 광학 모듈
JP2012109900A (ja) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム
DE112011102968A5 (de) 2010-11-30 2013-07-04 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
US9457768B2 (en) 2011-04-21 2016-10-04 Pylon Manufacturing Corp. Vortex damping wiper blade
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
CA2843527C (en) 2011-07-28 2018-11-27 Pylon Manufacturing Corp. Windshield wiper adapter, connector and assembly
US9108595B2 (en) 2011-07-29 2015-08-18 Pylon Manufacturing Corporation Windshield wiper connector
US9235750B1 (en) * 2011-09-16 2016-01-12 Lytx, Inc. Using passive driver identification and other input for providing real-time alerts or actions
US8744642B2 (en) * 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
DE102011056051A1 (de) * 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US20130219649A1 (en) 2012-02-24 2013-08-29 Pylon Manufacturing Corp. Wiper blade
RU2577981C1 (ru) 2012-02-24 2016-03-20 Пилон Мануфэкчуринг Корп. Щетка стеклоочистителя
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US10829092B2 (en) 2012-09-24 2020-11-10 Pylon Manufacturing Corp. Wiper blade with modular mounting base
TWI494899B (zh) * 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
US10166951B2 (en) 2013-03-15 2019-01-01 Pylon Manufacturing Corp. Windshield wiper connector
EP2797050B1 (en) * 2013-04-26 2019-07-10 Veoneer Sweden AB A safety system and method for a motor vehicle
US20160109617A1 (en) * 2013-06-11 2016-04-21 Pioneer Corporation Information transmission apparatus, weather condition acquisition system, server apparatus, information transmission method and program
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
KR20150076759A (ko) * 2013-12-27 2015-07-07 주식회사 만도 차량용 카메라의 제어 장치 및 방법
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US9505380B2 (en) 2014-03-07 2016-11-29 Pylon Manufacturing Corp. Windshield wiper connector and assembly
DE102014209197A1 (de) 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
DE102015212735A1 (de) 2015-07-08 2017-01-12 Conti Temic Microelectronic Gmbh Radarsensor für ein Fahrzeug
WO2017075066A1 (en) 2015-10-26 2017-05-04 Pylon Manufacturing Corp. Wiper blade
US9774816B2 (en) * 2015-11-06 2017-09-26 At&T Intellectual Property I, L.P. Methods and apparatus to manage audiovisual recording in a connected vehicle
AU2017267978A1 (en) 2016-05-19 2018-11-22 Pylon Manufacturing Corp. Windshield wiper connector
EP3458315B1 (en) 2016-05-19 2021-09-08 Pylon Manufacturing Corp. Windshield wiper blade
US11040705B2 (en) 2016-05-19 2021-06-22 Pylon Manufacturing Corp. Windshield wiper connector
WO2017201485A1 (en) 2016-05-19 2017-11-23 Pylon Manufacturing Corp. Windshield wiper connector
US10513246B2 (en) 2016-05-19 2019-12-24 Pylon Manufacturing Corp. Windshield wiper connector
WO2018039925A1 (en) 2016-08-30 2018-03-08 SZ DJI Technology Co., Ltd. Method and system for detecting obstructive object at projected locations within images
US10086839B2 (en) * 2016-09-21 2018-10-02 Ford Global Technologies, Llc Semiautonomous vehicle control system
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
WO2018081791A1 (en) 2016-10-31 2018-05-03 Pylon Manufacturing Corp. Wiper blade with cover
DE102018208527A1 (de) * 2018-05-29 2019-12-05 Siemens Aktiengesellschaft Bildinformationsbewertungsverfahren, Computer-Programm-Produkt zur Bildinformationsbewertung, Bildinformationsbewertungssystem und Fahrzeug, insbesondere für den Schienen- und Straßenverkehr
WO2020112213A2 (en) * 2018-09-13 2020-06-04 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
DE102020209198A1 (de) * 2020-07-22 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors
DE102021203971A1 (de) 2021-04-21 2022-10-27 Volkswagen Aktiengesellschaft Verfahren zur Nachbearbeitung eines Waschvorgangs eines Kraftfahrzeugs
US11979655B2 (en) * 2021-09-30 2024-05-07 Gm Global Tehcnology Operations Llc Method to detect and overcome degradation image quality impacts

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281649B1 (en) * 1997-01-03 2001-08-28 Mccord Winn Textron Inc. Windshield wiper system
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
JP3367465B2 (ja) * 1999-05-13 2003-01-14 日本電気株式会社 発振周波数調整装置
DE10219788C1 (de) 2002-05-03 2003-11-13 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
DE10349631A1 (de) * 2003-10-24 2005-05-19 Robert Bosch Gmbh Fahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen
CN2728844Y (zh) * 2004-02-03 2005-09-28 叶荣 车辆行驶中的视觉装置
US7196305B2 (en) * 2005-01-18 2007-03-27 Ford Global Technologies, Llc Vehicle imaging processing system and method having obstructed image detection
US20070041657A1 (en) * 2005-08-19 2007-02-22 Samsung Electronics Co., Ltd. Image processing device to determine image quality and method thereof
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US8385672B2 (en) * 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
US20100029293A1 (en) * 2007-05-10 2010-02-04 Sony Ericsson Mobile Communications Ab Navigation system using camera
FR2920928A1 (fr) * 2007-09-07 2009-03-13 Thomson Licensing Sas Reduction de duree d'accrochage d'une boucle a verrouillage de phase apte a reconstituer un signal de synchronisation transmis sur un reseau ip.
JP2009159205A (ja) * 2007-12-26 2009-07-16 Panasonic Corp 撮像装置および半導体集積回路
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality

Also Published As

Publication number Publication date
DE102008001679A1 (de) 2009-11-12
CN102016876A (zh) 2011-04-13
EP2274709B1 (de) 2012-08-01
EP2274709A1 (de) 2011-01-19
CN102016876B (zh) 2014-09-17
US8854455B2 (en) 2014-10-07
WO2009135541A1 (de) 2009-11-12
US20110043624A1 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
ES2388043T3 (es) Procedimiento y dispositivo para el tratamiento de informaciones de imagen captadas desde un vehículo
EP3472000B1 (en) System and method for processing video data to detect and eliminate flickering light sources through dynamic exposure control
ES2735548T3 (es) Procedimiento para el control de un dispositivo de faros para un vehículo y dispositivo de faros
US6930593B2 (en) Lane tracking system employing redundant image sensing devices
ES2736162T3 (es) Procedimiento para el control de un dispositivo de faros para un vehículo y dispositivo de faros
JP3970843B2 (ja) イメージ・センサによるステレオイメージ形成を利用した湿気センサ
US20110025836A1 (en) Driver monitoring apparatus, driver monitoring method, and vehicle
EP2539197B1 (en) Automatic vehicle equipment monitoring, warning, and control system
JP4687150B2 (ja) 直射光検出装置
US6596978B2 (en) Stereo imaging rain sensor
US20060163458A1 (en) Rain sensor
JP4452833B2 (ja) 視線移動検出方法及び視線移動検出装置
CN111465819B (zh) 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测
US20130194390A1 (en) Distance measuring device
TWI332453B (en) The asynchronous photography automobile-detecting apparatus and method thereof
US20160063334A1 (en) In-vehicle imaging device
CN104395156A (zh) 车辆周围监视装置
CA2981779C (en) Traffic light detection device and traffic light detection method
JP6944525B2 (ja) オートバイバンキングのための画像補正
CN102971776A (zh) 障碍物检测系统以及方法、障碍物检测装置
ES2814201T3 (es) Oculómetro que tiene un tramo prolongado de distancias de funcionamiento
WO2015072133A1 (ja) ランプユニット
US11653832B2 (en) Image acquisition with reflex reduction
JP2006252363A (ja) 車両周囲物体検出装置、および車両周囲物体検出方法
JP2004235711A (ja) 対象物追跡システムおよび対象物追跡方法