ES2280049T3 - Procedimiento y dispositivo para visualizar un entorno de un vehiculo. - Google Patents
Procedimiento y dispositivo para visualizar un entorno de un vehiculo. Download PDFInfo
- Publication number
- ES2280049T3 ES2280049T3 ES04765635T ES04765635T ES2280049T3 ES 2280049 T3 ES2280049 T3 ES 2280049T3 ES 04765635 T ES04765635 T ES 04765635T ES 04765635 T ES04765635 T ES 04765635T ES 2280049 T3 ES2280049 T3 ES 2280049T3
- Authority
- ES
- Spain
- Prior art keywords
- objects
- video images
- weighting
- driver
- merged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Procedimiento para visualizar un entorno de un vehículo, especialmente para captar y representar la situación del tráfico existente delante de un conductor con un sistema de información para visión nocturna, en el que se fusionan imágenes de vídeo ampliamente iguales en lugar y tiempo provenientes de dominios espectrales diferentes y en el que se proveen los diferentes dominios espectrales con factores de ponderación durante la fusión de las imágenes de vídeo, caracterizado porque, en primer lugar, se ponderan las imágenes de vídeo con un factor de ponderación provisional globalmente ajustado, porque, en segundo lugar, se realiza un análisis de las imágenes de vídeo con ayuda de un sistema (5) de reconocimiento de objetos y porque, en tercer lugar, se efectúa sobre la base del análisis de objetos una adaptación local selectiva en objetos de los factores de ponderación.
Description
Procedimiento y dispositivo para visualizar un
entorno de un vehículo.
La invención concierne a un procedimiento para
visualizar un entorno de un vehículo, especialmente para captar y
representar la situación del tráfico existente delante de un
conductor con un sistema de información para visión nocturna, en el
que se fusionan imágenes de vídeo ampliamente iguales en lugar y
tiempo provenientes de dominios espectrales diferentes y en el que
se proveen los diferentes dominios espectrales con factores de
ponderación durante la fusión de las imágenes de vídeo.
La invención concierne también a un dispositivo
para visualizar un entorno de un vehículo, especialmente para
captar y representar la situación del tráfico existente delante de
un conductor con un sistema de información para visión nocturna, en
el que se pueden tomar con un sistema de cámaras unas imágenes de
vídeo ampliamente iguales en lugar y tiempo provenientes de zonas
espectrales diferentes y en el que se pueden fusionar en forma
ponderada las imágenes de vídeo con un equipo de fusión.
Se conocen sistemas de información para visión
nocturna destinados a favorecer las condiciones de visibilidad del
conductor de un vehículo durante la noche o con tiempo desfavorable,
por ejemplo con lluvia, niebla o ventisca. Estos sistemas recogen
imágenes de vídeo de una situación del tráfico existente delante el
conductor para presentarlas a éste sobre una pantalla. Los sistemas
de información para visión nocturna trabajan casi siempre con una
cámara de infrarrojos (IR) que detecta una imagen térmica de un
sector del entorno. Se le proporciona así al conductor un medio
auxiliar para reconocer a tiempo, en condiciones de visibilidad
desfavorables, objetos que irradian calor y que carecen de
iluminación y, por tanto, no pueden ser percibidos directamente por
el conductor, especialmente peatones, ciclistas o animales, y para
evitar con ello accidentes.
Se conocen por el documento DE 102 07 039 A1 un
procedimiento y un dispositivo para visualizar un entorno de un
vehículo, en los que, además de la cámara IR para el dominio
espectral infrarrojo, se utiliza una cámara VIS para el dominio
espectral visible (visual) en un sistema de información para visión
nocturna. En un equipo de fusión se superponen por medio de un
software y con precisión de pixeles una respectiva imagen IR y una
respectiva imagen VIS digitalizadas y sustancialmente igual en lugar
y tiempo. Se procesan en este caso pares de pixeles individuales o
bien zonas de pixeles completas por medio de una formación ponderada
del valor medio de las informaciones de los pixeles. En la
formación del valor medio se pueden ponderar de manera diferente
las informaciones IR y las informaciones VIS, particularmente en
función de la claridad ambiental, del color en la imagen visual o
de una abundancia de informaciones derivable de la teoría de la
información en el respectivo dominio espectral. La ponderación
puede efectuarse en toda la superficie o en zonas de imagen
individuales. Mediante la superposición de la imagen IR con la
imagen VIS el conductor puede asociar una a otra, más fácilmente
que en un sistema de información para visión nocturna que trabaje
sólo con imágenes IR, la situación del tráfico existente delante de
él, que capta él mismo visualmente a través del parabrisas, y la
situación correspondiente del tráfico que es presentada mediante
una imagen de vídeo por el sistema de información para visión
nocturna.
En el procedimiento conocido tiene una
repercusión desventajosa el hecho de que el contraste en las
imágenes fusionadas es ajustado de manera relativamente uniforme
por toda la superficie de la imagen. La ponderación ajustable de la
imagen IR y de la imagen VIS durante la formación del valor medio de
la imagen fusionada mejora ciertamente en conjunto la contrastación
con respecto a imágenes no ponderadas, pero se tratan entonces de
la misma manera detalles diferentes dentro de una zona de la imagen.
Esto puede conducir a que en la imagen de vídeo mostrada no se
destaquen en una medida deseada respecto del entorno algunos
detalles importantes en situaciones determinadas del tráfico, por
ejemplo personas sobre la calzada.
Por tanto, el cometido de la presente invención
consiste en mejorar el procedimiento conocido para visualizar un
entorno de un vehículo con un sistema de información para visión
nocturna de modo que se incremente la capacidad de percepción de
objetos individuales de la imagen.
El problema se resuelve según la invención en
combinación con el preámbulo de la reivindicación 1 porque, en
primer lugar, se ponderan las imágenes de vídeo con un factor de
ponderación provisional globalmente ajustado, porque, en segundo
lugar, se realiza un análisis de los objetos de las imágenes de
vídeo con ayuda de un sistema de reconocimiento de objetos y
porque, en tercer lugar, se efectúa sobre la base del análisis de
objetos una adaptación local selectiva en objetos de los factores
de ponderación.
La adaptación selectiva en objetos de los
factores de ponderación hace posible que los objetos detectados en
el entorno del vehículo sean presentados con un contraste óptimo
para lograr una mejor percepción por parte del conductor, ya que se
ponderan más fuertemente las porciones espectrales que aportan la
máxima contribución a la percepción de los objetos. A este fin, se
ajusta primero una ponderación provisional que cubre la superficie
(ponderación global) de las porciones espectrales para la fusión de
imágenes, por ejemplo cada vez la mitad de la intensidad del
dominio espectral VIS y del dominio espectral IR. Por fusión de
imágenes se entienden aquí en principio la formación de pixeles
nuevos a partir de una formación ponderada del valor medio de la
intensidad de pares de pixeles asociados y también la superposición
con una adición ponderada de las intensidades. A continuación, se
efectúan la adaptación local de los factores de ponderación y su
fijación definitiva con ayuda de los objetos detectados o
reconocidos por el sistema de reconocimiento de objetos.
En principio, están disponibles sistemas
adecuados de reconocimiento de objetos. Su funcionamiento es
conocido, por ejemplo, por el documento DE 199 55 919 C1 y por las
referencias transversales contenidas en éste. Estos sistemas se
basan generalmente en un análisis automático de objetos de imágenes
digitales o en un reconocimiento de modelos y proporcionan una
manifestación sobre la existencia de determinados objetos
prefijados. El sistema de reconocimiento de objetos según la
invención realiza un análisis de imagen en cada dominio espectral
recogido. Con ayuda del reconocimiento y la diferenciación de
objetos detectados, por ejemplo personas, animales u obstáculos,
los factores de ponderación espectrales pueden ser adaptados después
deliberadamente en las respectivas zonas de imagen según su
intensidad de radiación en el dominio visible y en el dominio de
infrarrojos. Los factores de ponderación pueden ajustarse de modo
que los objetos detectados se presenten todos ellos principalmente
en el dominio espectral en el que pueden ser percibidos con la
máxima claridad por el conductor sobre la imagen de vídeo
fusionada. En particular, personas y animales salvajes que no
presentan porciones visuales a una distancia relativamente grande,
pero que pueden ser bien detectados en el dominio de infrarrojos, se
pueden clasificar así aún mejor mediante esta adaptación dentro del
entorno propio del vehículo, ya que se suprime una disminución del
contraste por la fusión con el fondo oscuro. De manera
correspondiente, objetos que dejan tras de sí una signatura
significativamente mejor en el dominio visual, tal como, por
ejemplo, postes de limitación de la carretera a consecuencia de los
reflectores montados, son provistos de una ponderación más fuerte en
el dominio visual.
Según una forma de realización preferida de la
invención, se realiza con ayuda del sistema de reconocimiento de
objetos una valoración de los objetos detectados según su relevancia
y se adaptan los factores de ponderación locales a la relevancia
del respectivo objeto asignada sobre la base de la valoración de los
objetos, de modo que ciertos objetos detectados prefijados se
representan todo ellos principalmente en el dominio espectral en el
que pueden ser percibidos con la máxima claridad por el conductor
sobre la imagen de vídeo fusionada.
Mediante la valoración de objetos se puede
realizar una amplificación o atenuación deliberada de factores de
ponderación locales. En particular, es posible así que, con una
sobreponderación de una determinada porción espectral, se llame
explícitamente la atención del conductor sobre objetos especialmente
relevantes, en particular sobre objetos peligrosos y/o puestos en
peligro. Se puede conseguir así una seguridad incrementada para sí
mismo (para el conductor) y para otros usuarios del tráfico en caso
de oscuridad y de mala visibilidad. La sobreponderación puede
efectuarse, por un lado, por medio de un realce local en la zona de
imagen interesante o por medio de una reducción de una porción
espectral en el entorno del objeto.
Para la valoración de objetos son especialmente
adecuados unos sistemas de reconocimiento de objetos que trabajan
con una clasificación de objetos. Sobre la base de diferentes clases
de objetos, por ejemplo personas, animales, vehículos, obstáculos,
etc., se puede realizar una clasificación especialmente rápida y
fiable de la relevancia de los objetos detectados.
Según otra forma de realización preferida de la
invención, se ponderan con el factor de ponderación globalmente
ajustado unas zonas de imagen en las que no se detectan objetos
relevantes o cuya relevancia no puede asignarse unívocamente.
Mediante el ajuste del factor de ponderación
global en las zonas de imagen sin objetos relevantes o sin
asignación unívoca se asegura que también las informaciones de
estas zonas de imagen sean puestas a la vista del conductor.
Según otra forma de realización preferida de la
invención, se genera una transición continua en la imagen de vídeo
fusionada entre zonas de imagen contiguas relevantes y no relevantes
con ayuda de una evolución variable de la curva característica de
la relación de los factores de ponderación de los diferentes
dominios espectrales.
Debido a la transición continua entre zonas de
imagen especialmente destacadas porque son relevantes y su entorno
se genera por efecto de la débil evolución imperceptible una
impresión de imagen armónica y realista en la respectiva imagen de
vídeo fusionada.
Según otra forma de realización preferida de la
invención, se tienen en cuenta durante la fusión de las imágenes de
vídeo porciones de radiación con longitudes de onda del dominio
espectral visible y porciones de radiación con longitudes de onda
del dominio espectral infrarrojo.
Debido a la detección del dominio espectral
visible (aproximadamente 380 nm - 780 nm) se captan todos los
objetos que emiten luz o que están iluminados para el ojo humano. En
el dominio de infrarrojos (aproximadamente 780 nm - 1 mm) se captan
todos los objetos que emiten una radiación calorífica. Se consigue
así en las imágenes fusionadas un contenido de información que
reproduce completamente la situación actual del tráfico.
Particularmente en el caso de personas que no son captadas por
ninguna iluminación y, por tanto, no reflejan ninguna radiación
visible, es especialmente efectiva una ponderación más fuerte en el
dominio espectral del infrarrojo lejano (aproximadamente 25 \mum
= 1 mm).
Según otra forma de realización preferida, se
procesan informaciones de color en las imágenes de vídeo
visuales.
Las informaciones de color pueden mejorar aún
más la perceptibilidad de determinados objetos en las imágenes
fusionadas. Se favorece así la acción de la ponderación selectiva en
objetos. Puede llamarse la atención del conductor, por ejemplo aún
más claramente, acerca de pilotos de freno rojos, semáforos o
instalaciones de señalización, con lo que se capta aún más
rápidamente la situación actual del tráfico y se reduce en mayor
medida el riesgo de accidentes.
Según otra forma de realización preferida de la
invención, se suprimen al menos parcialmente efectos de
enmascaramiento y/o de ocultamiento de objetos detectados con ayuda
de la adaptación de los factores de ponderación locales.
Debido a los factores de ponderación locales
pasan a ser controlables posibles efectos de enmascaramiento y de
ocultamiento. Mediante una variación deliberada de los factores de
ponderación en las zonas de ocultamiento se puede suprimir
considerablemente el ocultamiento. Se mejora así adicionalmente la
interpretabilidad de las imágenes representadas.
El dispositivo conocido por el documento DE 102
07 039 A1 para visualizar un entorno de un vehículo adolece del
inconveniente de que capta ciertamente la imagen, pero no el
contenido, de la situación del tráfico existente delante de un
conductor en dominios espectrales diferentes. Esto puede conducir a
que algunos objetos relevantes le sean indicados al conductor con
relativamente poca vistosidad.
Por tanto, otro cometido de la presente
invención consiste en mejorar el dispositivo conocido para
visualizar un entorno de un vehículo de modo que se puedan mostrar
objetos relevantes en una forma más significativa.
El problema se resuelve según la invención en
unión del preámbulo de la reivindicación 9 porque delante del
equipo de fusión está montado un sistema de reconocimiento de
objetos con el cual se pueden detectar a través del sistema de
cámaras objetos que se encuentran en el entorno del vehículo, y
porque está previsto un equipo de control mediante el cual se puede
controlar, en unión operativa con el sistema de reconocimiento de
objetos, el equipo de fusión con una ponderación local selectiva en
objetos de los dominios espectrales.
Mediante la unión operativa del sistema de
información para visión nocturna, que combina a través del sistema
de cámaras informaciones de imagen procedentes de al menos dos
dominios espectrales diferentes, con el sistema de reconocimiento
de objetos, se puede llamar la atención del conductor acerca de
objetos especialmente importantes, es decir, relevantes, como, por
ejemplo, personas, ya que estos objetos pueden ser especialmente
destacados en las imágenes de vídeo fusionadas por la ponderación
selectiva en objetos de los dominios espectrales. En conjunto, se
incrementa el contraste en las imágenes de vídeo fusionadas, ya que
en principio se pueden representar todos los objetos detectados en
el dominio espectral en el que dejan tras de sí la mejor signatura,
es decir que aparecen con el mayor grado de significancia.
Según una forma de realización preferida de la
invención, el sistema de cámaras presenta al menos un sensor
sensible en el dominio espectral visible y al menos un sensor
sensible en el dominio espectral infrarrojo.
Como quiera que el sistema de cámaras puede
detectar objetos en el dominio visible y en el dominio infrarrojo,
se pueden representar objetos visibles y también radiadores de calor
puros en las imágenes de vídeo fusionadas. Se consiguen así una
calidad de percepción muy alta y una asignación sencilla de la
indicación del sistema de información para visión nocturna a la
situación del tráfico existente delante del conductor.
Según otra forma de realización preferida de la
invención, está prevista una pantalla de visualización elevada
sobre la cual se le pueden presentar al conductor las imágenes de
vídeo fusionadas.
Mediante la pantalla de visualización elevada se
pueden proyectar las imágenes de vídeo fusionadas especialmente
sobre una parte inferior del parabrisas de un vehículo. Las imágenes
aparecen así en el campo de visión directo del conductor sin
perturbar la visibilidad en línea recta del conductor, con lo que se
consigue un grado de atención especialmente alto en el conductor y
se puede producir una reacción rápida ante un peligro percibido.
Por supuesto, es en principio posible también representar las
imágenes de vídeo sobre un monitor convencional, por ejemplo una
pantalla LCD.
Otros detalles de la invención se desprenden de
la descripción pormenorizada siguiente y del dibujo adjunto, en el
que se ilustra a título de ejemplo una forma de realización
preferida de la invención.
Muestra:
La figura 1, un diagrama de bloques de un
dispositivo para visualizar un entorno de un vehículo.
Un dispositivo para visualizar un entorno de un
vehículo está constituido sustancialmente por un sistema 1 de
información para visión nocturna que está incorporado en un vehículo
y que presenta un sistema 5 de reconocimiento de objetos.
La estructura del sistema 1 de información para
visión nocturna representado como diagrama de bloques en la figura 1
corresponde en principio al sistema conocido por el documento DE 102
02 039 A1.
En un sistema de cámaras 2 están dispuestas una
cámara visual 3 para tomar imágenes de vídeo en el dominio
espectral visible y una cámara de infrarrojos 4 para tomar imágenes
de vídeo en el dominio espectral infrarrojo. Las cámaras están
configuradas ventajosamente como cámaras digitales con sensores
sensibles en los dominios espectrales correspondientes. Detrás del
sistema de cámaras 2 o delante de un equipo de fusión 9 está montado
según la invención el sistema 5 de reconocimiento de objetos. Este
sistema 5 lleva asociado un equipo de control 6 mediante el cual se
puede activar el equipo de fusión 9. Está intercalado un dispositivo
de normalización 7 en el que, de una manera conocida en principio,
se pueden eliminar con software defectos de grabación de las
imágenes de vídeo. Asimismo, está previsto un dispositivo de
alineación 8 en el que, con ayuda de un procesamiento digital de
imágenes, se pueden alinear una con otra las imágenes VIS y las
imágenes IR tomadas en el mismo lugar y al mismo tiempo, de modo
que los respectivos pares de imágenes correspondientes vengan a
coincidir exactamente con sus pixeles. Detrás del dispositivo de
alineación 8 está montado el equipo de fusión 9 para realizar una
fusión ponderada de las imágenes VIS y las imágenes IR puestas en
coincidencia unas con otras. Las imágenes fusionadas se pueden
mostrar en una pantalla de visualización elevada 10.
Un procedimiento para visualizar un entorno de
un vehículo se basa sustancialmente en una fusión ponderada de
imágenes de vídeo ampliamente iguales en lugar y tiempo provenientes
de zonas espectrales diferentes de una situación del tráfico
existente delante de un conductor.
En lo que sigue, se describe el procedimiento
con ayuda del dispositivo representado en la figura 1:
Mediante el sistema de cámaras 2 se realiza con
la cámara 3 sensible a la radiación visible y con la cámara 4
sensible a la radiación infrarroja, aproximadamente en el mismo
lugar y al mismo tiempo, una respectiva grabación de un entorno de
vehículo existente delante del conductor. La imagen digital VIS y la
imagen digital IR del entorno del vehículo que resultan de esto son
sometidas a un análisis de imagen automático en el sistema de
reconocimiento de objetos. Los objetos detectados, es decir,
reconocidos, son valorados según su relevancia en una unidad de
clasificación de objetos. Por ejemplo, las personas obtienen el mas
alto escalón de relevancia. Las imágenes de vídeo son corregidas
seguidamente en el dispositivo de normalización 7 en cuanto a
defectos de grabación existentes, por ejemplo distorsiones, y luego
son puestas en coincidencia en el dispositivo de alineación 8 con
exactitud de sus pixeles. Las imágenes de vídeo puestas en
coincidencia son procesadas a continuación digitalmente en el
equipo de fusión 9.
En este procesamiento digital de imágenes se
genera un pixel fusionado a partir de cada par de pixeles
correspondientes uno a otro. Se multiplican entonces la porción IR
y la porción VIS por factores de ponderación. Se ajusta primero en
toda la superficie (globalmente) una ponderación que depende, por
ejemplo, de la claridad del entorno (luz
diurna/crepúsculo/oscuridad). Se determinan después los factores de
ponderación locales en el sistema 5 de reconocimiento de objetos
con ayuda de un análisis de los objetos. Los objetos detectados
reciben así una ponderación más fuerte en el dominio espectral en
el que irradian con mayor fuerza. Asimismo, los objetos
especialmente relevantes reciben una ponderación más fuerte que los
objetos menos relevantes. A través del equipo de control 6 se
controla entonces el equipo de fusión 9 de modo que las zonas de
imagen locales que contienen los objetos detectados sean ponderadas
de conformidad con los factores de ponderación locales, es decir
que se representen sustancialmente en el dominio espectral en el que
estos objetos dejan tras de sí la mejor signatura. Por ejemplo, las
personas no iluminadas se presentan principalmente en el dominio
infrarrojo, mientras que las limitaciones reflectantes de la
carretera se presentan principalmente en el dominio visible.
Además, se puede realizar una sintonización de precisión para
generar transiciones suaves entre zonas de imagen relevantes e
irrelevantes y se puede efectuar también una supresión de efectos de
enmascaramiento. Como resultado se genera una imagen de vídeo
fusionada rica en contrastes sobre la cual aparecen especialmente
destacados los objetos relevantes.
Preferiblemente, se toman las imágenes visuales
con una cámara VIS de color para generar una imagen de vídeo en
color fusionada. Las imágenes parecen así más realistas y los
diferentes objetos detectados pueden ser reconocidos con aún mayor
precisión por parte del conductor y pueden ser asignados más
fácilmente al entorno de vehículo existente delante de éste.
Las imágenes fusionadas se proyectan
continuamente sobre la pantalla de visualización elevada 10 de
conformidad con la frecuencia de grabación del sistema de cámaras 2
y la velocidad de procesamiento en los equipos pospuestos 5 a 9, de
modo que los objetos que entran en el entorno del vehículo son
puestos inmediatamente a la vista del conductor y percibidos por
éste con alta fiabilidad incluso en caso de oscuridad y mala
visibilidad.
- 1
- Sistema de información para visión nocturna
- 2
- Sistema de cámaras
- 3
- Cámara VIS
- 4
- Cámara IR
- 5
- Sistema de reconocimiento de objetos
- 6
- Equipo de control
- 7
- Dispositivo de normalización
- 8
- Dispositivo de alineación
- 9
- Equipo de fusión
- 10
- Pantalla de visualización elevada
Claims (11)
1. Procedimiento para visualizar un entorno de
un vehículo, especialmente para captar y representar la situación
del tráfico existente delante de un conductor con un sistema de
información para visión nocturna, en el que se fusionan imágenes de
vídeo ampliamente iguales en lugar y tiempo provenientes de dominios
espectrales diferentes y en el que se proveen los diferentes
dominios espectrales con factores de ponderación durante la fusión
de las imágenes de vídeo, caracterizado porque, en primer
lugar, se ponderan las imágenes de vídeo con un factor de
ponderación provisional globalmente ajustado, porque, en segundo
lugar, se realiza un análisis de las imágenes de vídeo con ayuda de
un sistema (5) de reconocimiento de objetos y porque, en tercer
lugar, se efectúa sobre la base del análisis de objetos una
adaptación local selectiva en objetos de los factores de
ponderación.
2. Procedimiento según la reivindicación 1,
caracterizado porque se realiza con ayuda del sistema (5) de
reconocimiento de objetos una valoración de los objetos detectados
según su relevancia y porque se adaptan los factores de ponderación
locales a la relevancia del respectivo objeto asignada sobre la base
de la valoración de los objetos, de modo que ciertos objetos
detectados prefijados se presentan todos ellos principalmente en el
dominio espectral en el que pueden ser percibidos por el conductor
con la máxima claridad sobre la imagen de vídeo fusionada.
3. Procedimiento según la reivindicación 2,
caracterizado porque se dividen los objetos detectados, para
su valoración, en clases de objetos.
4. Procedimiento según una de las
reivindicaciones 1 a 3, caracterizado porque se ponderan con
el factor de ponderación globalmente ajustado zonas de imagen en
las que no se detectan objetos relevantes o cuya relevancia no
puede asignarse de manera unívoca.
5. Procedimiento según una de las
reivindicaciones 1 a 4, caracterizado porque se genera una
transición continua en la imagen de vídeo fusionada entre zonas de
imagen contiguas relevantes y no relevantes con ayuda de una
evolución variable de la curva característica de la relación de los
factores de ponderación de los diferentes dominios espectrales.
6. Procedimiento según una de las
reivindicaciones 1 a 5, caracterizado porque en la fusión de
las imágenes de vídeo se tienen en cuenta porciones de radiación
con longitudes de onda del dominio espectral visible y porciones de
radiación con longitudes de onda del dominio espectral
infrarrojo.
7. Procedimiento según una de las
reivindicaciones 1 a 6, caracterizado porque se procesan
informaciones de color en las imágenes de vídeo visuales.
8. Procedimiento según una de las
reivindicaciones 1 a 7, caracterizado porque se suprimen al
menos en parte efectos de enmascaramiento y/o de ocultamiento de
objetos detectados con ayuda de la adaptación de los factores de
ponderación locales.
9. Dispositivo para visualizar un entorno de un
vehículo, especialmente para captar y representar la situación del
tráfico existente delante de un conductor con un sistema de
información para visión nocturna, en el que se pueden tomar con un
sistema de cámaras imágenes de vídeo ampliamente iguales en lugar y
tiempo procedentes de dominios espectrales diferentes y en el que
se pueden fusionar de manera ponderada las imágenes de vídeo con un
equipo de fusión, caracterizado porque delante del equipo de
fusión (9) está montado un sistema (5) de reconocimiento de objetos
con el cual se pueden detectar por medio del sistema de cámaras (2)
objetos que se encuentran en el entorno del vehículo, y porque está
previsto un equipo de control (6) mediante el cual, en unión
operativa con el sistema (5) de reconocimiento de objetos, se puede
activar el equipo de fusión (9) con una ponderación local selectiva
en objetos de los dominios espectrales.
10. Dispositivo según la reivindicación 9,
caracterizado porque el sistema de cámaras (2) presenta al
menos un sensor sensible en el dominio espectral visible y al menos
un sensor sensible en el dominio espectral infrarrojo.
11. Dispositivo según la reivindicación 9 ó 10,
caracterizado porque está prevista una pantalla de
visualización elevada (10) sobre la cual se le pueden presentar al
conductor las imágenes de vídeo fusionadas.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10348109 | 2003-10-16 | ||
| DE10348109A DE10348109A1 (de) | 2003-10-16 | 2003-10-16 | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2280049T3 true ES2280049T3 (es) | 2007-09-01 |
Family
ID=34442004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES04765635T Active ES2280049T3 (es) | 2003-10-16 | 2004-09-24 | Procedimiento y dispositivo para visualizar un entorno de un vehiculo. |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7593573B2 (es) |
| EP (1) | EP1673751B1 (es) |
| JP (1) | JP4512595B2 (es) |
| CN (1) | CN1867954B (es) |
| DE (2) | DE10348109A1 (es) |
| ES (1) | ES2280049T3 (es) |
| WO (1) | WO2005038743A1 (es) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5145222B2 (ja) * | 2005-07-27 | 2013-02-13 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | ビデオ信号をアナログ伝達するための方法 |
| DE102006047777A1 (de) * | 2006-03-17 | 2007-09-20 | Daimlerchrysler Ag | Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten |
| US7848592B2 (en) * | 2006-07-31 | 2010-12-07 | Carestream Health, Inc. | Image fusion for radiation therapy |
| DE102006044864A1 (de) * | 2006-09-22 | 2008-04-10 | Siemens Ag | Verfahren zur rechnergestützten Bildverarbeitung in einem Nachtsichtsystem eines Verkehrsmittels |
| DE102006053109B3 (de) | 2006-11-10 | 2008-06-12 | Audi Ag | Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem |
| JP4584277B2 (ja) * | 2007-03-19 | 2010-11-17 | 本田技研工業株式会社 | 表示装置 |
| DE102007024639A1 (de) * | 2007-05-24 | 2008-01-10 | Daimlerchrysler Ag | Verfahren zur Objekterkennung |
| DE102008017833A1 (de) | 2008-02-06 | 2009-08-20 | Daimler Ag | Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung |
| US20090245594A1 (en) * | 2008-03-31 | 2009-10-01 | General Electric Company | Iris imaging and iris-based identification |
| JP4377439B1 (ja) * | 2008-06-12 | 2009-12-02 | 本田技研工業株式会社 | 車両周辺監視装置 |
| FR2933221B1 (fr) * | 2008-06-26 | 2013-04-05 | Renault Sas | Procede de fonctionnement d'un systeme de detection d'obstacles destine a etre embarque sur un vehicule automobile. |
| CN101727665B (zh) * | 2008-10-27 | 2011-09-07 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| US20100186234A1 (en) | 2009-01-28 | 2010-07-29 | Yehuda Binder | Electric shaver with imaging capability |
| JP4941482B2 (ja) * | 2009-02-17 | 2012-05-30 | 株式会社豊田中央研究所 | 擬似カラー画像生成装置、及びプログラム |
| US8629903B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
| CN102039842A (zh) * | 2009-10-22 | 2011-05-04 | 侯方勇 | 一种提示驾驶员观察目标的装置和方法 |
| US9123247B2 (en) * | 2010-03-17 | 2015-09-01 | Honda Motor Co., Ltd. | Surrounding area monitoring apparatus for vehicle |
| JP2012027773A (ja) * | 2010-07-26 | 2012-02-09 | Toyota Central R&D Labs Inc | 擬似濃淡画像生成装置及びプログラム |
| US20130241747A1 (en) * | 2010-12-08 | 2013-09-19 | Toyota Jidosha Kabushiki Kaisha | Vehicle information transmitting device |
| DE102011107458A1 (de) * | 2011-07-15 | 2013-01-17 | Audi Ag | Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs |
| DE102011083039B4 (de) * | 2011-09-20 | 2021-11-04 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs |
| US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
| CN104583841B (zh) * | 2012-08-14 | 2017-12-05 | 诺基亚技术有限公司 | 低光视觉辅助 |
| FR2997528B1 (fr) * | 2012-10-26 | 2021-10-15 | Oberthur Technologies | Identification biometrique |
| EP2765567A1 (en) * | 2013-02-07 | 2014-08-13 | Alcatel Lucent | A method, a device and a receiver for processing video |
| EP2772189A1 (en) * | 2013-02-28 | 2014-09-03 | Koninklijke Philips N.V. | Apparatus and method for determining vital sign information from a subject |
| US9580014B2 (en) * | 2013-08-08 | 2017-02-28 | Convoy Technologies Llc | System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles |
| US9367939B2 (en) * | 2013-10-22 | 2016-06-14 | Nokia Technologies Oy | Relevance based visual media item modification |
| US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
| WO2016050290A1 (en) * | 2014-10-01 | 2016-04-07 | Metaio Gmbh | Method and system for determining at least one property related to at least part of a real environment |
| US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
| KR101816449B1 (ko) * | 2016-10-20 | 2018-01-08 | 현대자동차주식회사 | 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법 |
| DE102017216058A1 (de) * | 2017-09-12 | 2019-03-14 | Bayerische Motoren Werke Aktiengesellschaft | Dynamisch kolorierte Anzeige eines Fahrzeugs |
| CN109398250A (zh) * | 2018-10-30 | 2019-03-01 | 泰州市华润纺织品有限公司 | 一种军用车载辅助夜视仪系统的安装方法 |
| DE102019209061B3 (de) * | 2019-06-24 | 2020-09-03 | Zf Friedrichshafen Ag | Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm |
| DE102019120214A1 (de) * | 2019-07-26 | 2021-01-28 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Fahrerassistenzsystem zum Bereitstellen von visuellen Informationen über ein erstes Fahrzeug in einer Umgebung eines zweiten Fahrzeugs, Computerprogramm und computerlesbares Medium |
| DE102019218078B4 (de) * | 2019-11-22 | 2024-04-18 | Zf Friedrichshafen Ag | Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5001558A (en) * | 1985-06-11 | 1991-03-19 | General Motors Corporation | Night vision system with color video camera |
| JPH01296785A (ja) * | 1988-05-24 | 1989-11-30 | Fujitsu Ltd | 画像重畳装置 |
| US6150930A (en) * | 1992-08-14 | 2000-11-21 | Texas Instruments Incorporated | Video equipment and method to assist motor vehicle operators |
| US5877897A (en) * | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US5414439A (en) * | 1994-06-09 | 1995-05-09 | Delco Electronics Corporation | Head up display with night vision enhancement |
| JPH10255019A (ja) * | 1997-03-07 | 1998-09-25 | Toyota Motor Corp | 車両認識装置 |
| US6061068A (en) * | 1998-06-30 | 2000-05-09 | Raytheon Company | Method and apparatus for providing synthetic vision using reality updated virtual image |
| JP3968867B2 (ja) * | 1998-04-24 | 2007-08-29 | 日産自動車株式会社 | 表示処理装置 |
| JP4103179B2 (ja) * | 1998-06-30 | 2008-06-18 | マツダ株式会社 | 環境認識装置 |
| US6163304A (en) * | 1999-03-16 | 2000-12-19 | Trw Inc. | Multimode, multi-step antenna feed horn |
| DE19911648A1 (de) * | 1999-03-16 | 2000-09-21 | Volkswagen Ag | Verfahren zur Anzeige von Objekten |
| JP2001101596A (ja) * | 1999-09-27 | 2001-04-13 | Mazda Motor Corp | 車両の表示装置 |
| DE19955919C1 (de) | 1999-11-20 | 2001-05-31 | Daimler Chrysler Ag | Verfahren zur Erkennung von Objekten in Bildern auf der Bildpixelebene |
| EP1202214A3 (en) * | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
| JP2002259980A (ja) * | 2001-03-05 | 2002-09-13 | Omron Corp | 生体照合装置、生体照合システム、生体照合方法および登録データ更新方法 |
| US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
| DE10124005A1 (de) * | 2001-05-17 | 2002-12-05 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen |
| JP2003016429A (ja) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
| US7027619B2 (en) * | 2001-09-13 | 2006-04-11 | Honeywell International Inc. | Near-infrared method and system for use in face detection |
| DE10207039A1 (de) * | 2002-02-20 | 2003-09-04 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung |
| AU2003295318A1 (en) * | 2002-06-14 | 2004-04-19 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
| CN2573324Y (zh) * | 2002-09-29 | 2003-09-17 | 峰鼎电子股份有限公司 | 具有全方位的车用影像装置 |
| DE10304703B4 (de) * | 2003-02-06 | 2023-03-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds |
| FR2857463B1 (fr) * | 2003-07-11 | 2005-09-02 | Valeo Vision | Systeme de vision nocturne a infrarouge, en couleur. |
-
2003
- 2003-10-16 DE DE10348109A patent/DE10348109A1/de not_active Withdrawn
-
2004
- 2004-09-24 CN CN2004800299785A patent/CN1867954B/zh active Active
- 2004-09-24 EP EP04765635A patent/EP1673751B1/de active Active
- 2004-09-24 DE DE502004002814T patent/DE502004002814D1/de active Active
- 2004-09-24 JP JP2006534628A patent/JP4512595B2/ja active Active
- 2004-09-24 ES ES04765635T patent/ES2280049T3/es active Active
- 2004-09-24 WO PCT/EP2004/010809 patent/WO2005038743A1/de active IP Right Grant
-
2006
- 2006-04-14 US US11/404,079 patent/US7593573B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| DE502004002814D1 (de) | 2007-03-15 |
| US20060257024A1 (en) | 2006-11-16 |
| JP2007515853A (ja) | 2007-06-14 |
| JP4512595B2 (ja) | 2010-07-28 |
| US7593573B2 (en) | 2009-09-22 |
| EP1673751A1 (de) | 2006-06-28 |
| CN1867954A (zh) | 2006-11-22 |
| WO2005038743A1 (de) | 2005-04-28 |
| DE10348109A1 (de) | 2005-05-19 |
| EP1673751B1 (de) | 2007-01-24 |
| CN1867954B (zh) | 2010-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2280049T3 (es) | Procedimiento y dispositivo para visualizar un entorno de un vehiculo. | |
| JP5299026B2 (ja) | 車両用表示装置 | |
| JP4853437B2 (ja) | 車両周辺監視システム | |
| ES2208428T3 (es) | Dispositivo sensora de vehiculo automovil para captar parametros ambientales. | |
| GB2363768A (en) | Attention control for equipment operators | |
| US20100052885A1 (en) | Object detection system | |
| US20160264051A1 (en) | Night Driving System and Method | |
| JP2003344167A (ja) | 遠赤外カメラのイメージを強調するシステム | |
| JP2005515930A5 (es) | ||
| JP2005136952A (ja) | 色付き赤外線夜間視覚装置 | |
| JP2006338594A (ja) | 歩行者認識装置 | |
| JP4927647B2 (ja) | 車両周辺監視装置 | |
| WO2017038125A1 (ja) | 違反抑止装置およびこれを備えた違反抑止システム | |
| EP1260411B1 (de) | Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen | |
| CN104992160B (zh) | 一种重型卡车夜间前方车辆检测方法 | |
| CN112116807A (zh) | 一种多功能交通安全引导装置 | |
| KR102185100B1 (ko) | 횡단보도 보행자 안전관리 시스템 및 그 방법 | |
| CN107735822B (zh) | 违章制止装置及具备其的违章制止系统 | |
| KR20200075692A (ko) | 좌표계를 이용한 안개 탐지 장치 및 그 방법 | |
| Gălăţanu et al. | Measuring the driver exposure to the light pollution Developing experimental setup | |
| ES2362490T3 (es) | Dispositivo para la observación continuada de instalaciones de catenarias con independencia de la luminosidad ambiente. | |
| KR20170129523A (ko) | 횡단보도용 조명 스마트 제어 시스템 | |
| JP3019309B2 (ja) | 撮像装置 | |
| JP2020121615A (ja) | 車両用道路標識認識支援装置 | |
| JP2004172828A (ja) | 車両用暗視装置 |