ES2410807T3

ES2410807T3 - Procedimiento y dispositivo para ampliar una zona de visibilidad

Info

Publication number: ES2410807T3
Application number: ES10728731T
Authority: ES
Inventors: Frédéric LARGE
Original assignee: Peugeot Citroen Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2009-05-18
Filing date: 2010-05-10
Publication date: 2013-07-03
Anticipated expiration: 2030-05-10
Also published as: BRPI1007119B1; US20120062739A1; CN102458923B; EP2432660A1; CN102458923A; BRPI1007119A2; FR2945491A1; EP2432660B1; WO2010133785A1; US8860810B2

Abstract

Procedimiento para ampliar una zona de visibilidad obtenida por medio de una cámara montada en un vehículo,que comprende: - una etapa (108) de creación de una imagen virtual elemental (I2v) en la cual un conjunto de píxeles de laimagen virtual elemental es puesto en correspondencia con un conjunto de píxeles de una imagen real (I1R)captada por la cámara, considerando que el conjunto de píxeles de la imagen real reproduce una superficieplana del mundo real; - una etapa (110) de caracterización de la imagen virtual elemental (I2v) en la cual se genera un conjunto depuntos de interés de la imagen virtual elemental (I2v); - una etapa (115) de construcción de una imagen virtual acumulativa (I3v) en la cual al menos una parte de laimagen virtual elemental (I2v) está superpuesta con al menos una parte de la imagen virtual acumulativa (I3v)haciendo coincidir puntos de interés de la imagen virtual elemental (I2v) con puntos de interés de la imagenvirtual acumulativa (I3v); la etapa (115) de construcción es reiterada para cada nueva imagen virtual elemental(I2v) suficientemente diferente de una antigua imagen virtual (@I2v) en términos de distancias entre los puntosde interés, estando caracterizado el citado procedimiento porque comprende una etapa (114) dediferenciación en la cual se efectúa una diferencia en términos de componentes de color entre cada píxel dela nueva imagen virtual elemental (I2v) y un píxel correspondiente de la antigua imagen virtual elemental(@I2v) y en la cual se atribuye al citado pixel de la nueva imagen virtual elemental (I2v), un nivel detransparencia que es función de la citada diferencia.

Description

Procedimiento y dispositivo para ampliar una zona de visibilidad

La invención concierne a un procedimiento y a un dispositivo para ampliar una zona de visibilidad obtenida por medio de una cámara montada en el vehículo, especialmente en un vehículo automóvil.

De modo más particular, el ámbito de la invención comprende los sistemas de ayuda visual al retroceso (AVR), que utilizan una o varias cámaras. El objetivo de tales sistemas es ayudar al conductor durante las maniobras a baja velocidad, mediante la visualización de una representación visual intuitiva del entorno próximo alrededor del vehículo.

Un procedimiento que comprende las etapas del preámbulo de la reivindicación 1 es conocido por el documento EP 1 830 321 A2.1.

El documento EP1094337 divulga un sistema destinado a asistir a un conductor durante una maniobra de estacionamiento advirtiéndole de una presencia de objeto tridimensional detectado por medio de un solo aparato de toma de vistas. El sistema divulgado tiene por objetivo determinar la distancia que separa al objeto del vehículo a partir de dos tomas sucesivas de imagen que son utilizadas para crear una vista estereoscópica en función del desplazamiento del vehículo calculado a partir de sensores.

Este tipo de realización necesita una gran precisión de los sensores. Además, durante los desplazamientos a baja velocidad como es generalmente el caso en el transcurso de una maniobra, la pequeña distancia recorrida por el vehículo entre dos tomas de imagen, plantea dificultades para una reconstrucción de imagen tridimensional porque esto equivale a un sistema estereoscópico que tenga una base muy corta. Saltar imágenes hasta obtener una distancia recorrida suficiente, plantea el problema de la dinámica del entorno. Un objeto en movimiento en la escena no puede ser reconstruido. Una reconstrucción suficientemente precisa de los obstáculos, exige una potencia de cálculo costosa. Finalmente, y esto no es el menor de los inconvenientes, solo pueden ser reconstruidos los objetos que estén dentro del campo de la cámara durante dos tomas de vista sucesivas.

Para poner remedio a los inconvenientes conocidos del estado de la técnica, un objeto de la invención es un procedimiento para ampliar una zona de visibilidad obtenida por medio de una cámara montada en un vehículo, que comprende:

-: una etapa de creación de una imagen virtual elemental en la cual un conjunto de píxeles de la imagen virtual elemental es puesto en correspondencia con un conjunto de píxeles de una imagen real captada por la cámara, considerando que el conjunto de píxeles de la imagen real reproduce una superficie plana del mundo real;

-: una etapa de caracterización de la imagen virtual elemental en la cual se genera un conjunto de puntos de interés de la imagen virtual elemental;

-: una etapa de construcción de una imagen virtual acumulativa en la cual se superpone al menos una parte de la imagen virtual elemental con al menos una parte de la imagen virtual acumulativa haciendo coincidir puntos de interés de la imagen virtual elemental con puntos de interés de la imagen virtual acumulativa.

De acuerdo con la invención, la etapa de construcción, es reiterada para cada nueva imagen virtual elemental suficientemente diferente de una antigua imagen virtual elemental en términos de distancias entre los puntos de interés y

el procedimiento comprende una etapa de diferenciación en la cual se efectúa una diferencia en términos de componentes de color entre cada píxel de la nueva imagen virtual elemental y un píxel correspondiente de la antigua imagen virtual elemental y en la cual se atribuye al citado pixel de la nueva imagen virtual elemental, un nivel de transparencia que es función de la citada diferencia.

Ventajosamente también, en la etapa de creación, el conjunto de pixeles de la imagen virtual elemental es puesto en correspondencia con el conjunto de pixeles de la imagen real por una tabla de correspondencia.

Ventajosamente todavía, el procedimiento comprende una etapa de visualización en la cual se superpone en tiempo real la imagen virtual elemental tal como ésta resulta de la etapa de creación con la imagen virtual acumulativa para generar una imagen instantánea de visualización.

Particularmente, en la etapa de visualización, se superpone una imagen de síntesis con la imagen virtual acumulativa.

De modo más particular, la imagen de síntesis es la de una rueda del vehículo.

De modo más particular todavía, la etapa de visualización es activada directamente después de la etapa de caracterización de la imagen virtual elemental para cada nueva imagen virtual elemental equivalente a una antigua imagen virtual elemental en términos de distancias entre los puntos de interés.

Preferentemente, la superficie plana es la del suelo.

5 De modo más preciso, la cámara utilizada comprende un plano retiniano oblicuo con respecto la citada superficie plana del mundo real.

Un objeto de la invención es también un dispositivo que comprende una cámara montada en un vehículo, caracterizado porque éste está dispuesto para poner en práctica el procedimiento de acuerdo con la invención.

Otras características y ventajas de la invención se pondrán de manifiesto de modo más claro en la descripción que 10 sigue, a título indicativo y en modo alguno limitativo, refiriéndose a los dibujos anejos, en los cuales:

-: la figura 1 es una vista en perspectiva de un vehículo en fase de maniobra;

-: la figura 2 es una vista desde arriba del vehículo de la figura 1;

-: la figura 3 muestra etapas de procedimiento de acuerdo con la invención;

-: la figura 4 es un esquema explicativo de las propiedades físicas utilizadas;

15 - la figura 5 es una vista esquemática de dispositivo de acuerdo con la invención.

La figura 1 muestra un vehículo 50 en fase de maniobra en la proximidad de un vehículo 60.

La figura 2 muestra el vehículo 50 equipado con una cámara 10 en la parte trasera.

El procedimiento explicado ahora refiriéndose a la figura 3, parte de una etapa inicial 100 en la cual el sistema, cuando éste es puesto en marcha, está en espera en tanto que la velocidad V del vehículo sea superior a una

20 velocidad de umbral Vs. En efecto, estando previstos el procedimiento y el sistema de acuerdo con la invención para ayudar al conductor a maniobrar, no es necesariamente útil hacerles funcionar cuando el vehículo está en carretera.

A partir de la etapa 100, una detección de velocidad V por debajo de la velocidad de umbral Vs valida una transición 101 que activa una etapa 102.

La etapa 102 consiste en captar una imagen real I1R del espacio cubierto por el campo de la cámara 10 en la parte

25 trasera del vehículo 50, de modo que crea por proyección, una vista desde arriba del suelo situado detrás del vehículo en el campo de la cámara.

En la figura 4, se ha representado un sistema óptico 11 y un plano retiniano 1 de la cámara real 10 en el cual se forma una imagen real I1R del suelo 3. Un eje f perpendicular al plano retiniano 1, pasa por el centro óptico del sistema óptico 11. Un sistema de referencia o1x1y1z1 ligado al plano retiniano 1 tiene su eje z1 paralelo al eje f

30 orientado hacia el suelo 3 y su origen o1 a una altura A1 por encima del suelo de valor constante que resulta del montaje de la cámara 10 en el vehículo 50. Un sistema de referencia OXYZ ligado al vehículo, tiene su origen O a nivel del suelo en la vertical del origen o1, su eje X paralelo al eje x1 horizontal y su eje Y horizontal perpendicular al eje X. El eje f forma un ángulo a con el plano del suelo.

Las coordenadas homogéneas w1u1, w1v1, w1 en un plano proyectivo del sistema de referencia o1x1y1z1 para z1 = 0,

35 están ligadas a las coordenadas u1, v1 de los puntos de la imagen real en el plano retiniano por el coeficiente de proporcionalidad w1. Aplicando a la cámara 10, el modelo estenopeico, las coordenadas homogéneas w1u1, w1v1, w1 de cada punto de la imagen correspondiente a un punto a nivel del suelo de coordenadas X, Y, 0 en el sistema de referencia OXYZ vienen dadas por una transformación de tipo conocido:

0 00

X

Y

0

1

l1u

f10 0 0

0

f

00

0 010

wu

wv

uv

c1u

a

0

-

0

sen

cos

0

l1v

c

1v

a

A1

0

-

sen

cos

001

w

00 01

40 En esta transformación, los coeficientes l1u y l1v son los factores de agrandamiento de la imagen. Se puede

atribuir un valor nulo al coeficiente

cuando las líneas y las columnas de células electrónicas fotosensibles que

uv

componen el sensor de la cámara, son ortogonales. Las coordenadas c1 y c1 de la proyección del centro óptico

u v

de la cámara sobre el plano imagen, son las de la intersección del eje f con el plano retiniano 1. El coeficiente f1 representa la distancia focal de la cámara 10. La cámara está fijada al vehículo con un ángulo de mira hacia el suelo constante de modo que se dan valores constantes a los coeficientes de la transformación.

Multiplicando las tres matrices anteriores, la transformación puede escribirse todavía:

X

mmm m

w1u11uX 1uY 1uZ 1u

Y

wvmmm m

11 1vX 1vY 1vZ 1v

w1 mm m m

1wX 1wY 1wZ 1w

Desarrollando los cálculos, el valor del coeficiente de proporcionalidad w1 viene dado por la fórmula:

w1= Ycosa – A1

A cada punto de coordenadas u1, v1 en la imagen real I1R corresponde entonces uno y un solo punto de coordenadas X, Y en el plano del suelo.

En la figura 4, se ha representado también un sistema óptico 21 y un plano retiniano 2 de una cámara virtual 20, en el cual se forma una imagen virtual I2v del suelo 3. Un eje perpendicular al plano retiniano 2 y al plano del suelo 3, pasa por el centro óptico del sistema óptico 21. Un sistema de referencia o2x2y2z2 ligado al plano retiniano 2, tiene su plano z2=0 paralelo al plano del suelo 3 y su origen o2 a una altura A2 por encima del suelo de valor constante de modo que abarca la misma superficie en el suelo que la cámara 10.

Igual que para la cámara real 10, las coordenadas homogéneas w2u2, w2v2, w2 en un plano proyectivo de referencia o2x2y2z2 a z2=0, están ligadas a las coordenadas u2, v2 de los puntos de la imagen virtual en el plano retiniano por el coeficiente de proporcionalidad w2. Aplicando también a la cámara 20, el modelo estenopeico, las coordenadas homogéneas w2u2, w2v2, w2 de cada punto de la imagen correspondiente a un punto a nivel del suelo de coordenadas X, Y, 0 en el sistema de referencia OXYZ, vienen dadas por una transformación semejante a la anteriormente explicada.

X

mm m m

wu 2uX 2uY 2uZ 2u

22 Y wvmmm m

22 2vX 2vY 2vZ 2v

w2 mmm m

2wX 2wY 2wZ 2w

w2 = – A2

A cada punto de coordenadas X, Y en el plano del suelo corresponde entonces uno y un solo punto de coordenadas u2, v2 en la imagen virtual I2v.

Por transitividad de las bisecciones, a cada punto de coordenadas u1, v1 en la imagen real I1R corresponde entonces uno y un solo punto de coordenadas u2, v2 en la imagen virtual I2v y recíprocamente.

Así, cada componente de color de una superficie elemental dS2 constituida por puntos de coordenadas en un plano u2, v2 en la imagen virtual I2v es igual a la misma componente de color de una superficie elemental dS1 constituida por puntos de coordenadas en un plano u1, v1 correspondientes en la imagen real I1R.

Cuando los recursos de cálculo lo permitan, los puntos de coordenadas en un plano u1, v1 correspondientes son calculados a partir de las transformaciones anteriormente explicadas y cada componente de color integrada en la superficie elemental dS1 que comprende estos puntos, es atribuida a la superficie elemental dS2 constituida por puntos de coordenadas en un plano u2, v2 en la imagen virtual I2v.

Se observará que estando fijados los parámetros de las cámaras, las correspondencias entre puntos de la imagen virtual I2v y de la imagen real I1R son constantes.

De modo ventajoso, la invención prevé una tabla de correspondencia con una entrada indexada por las coordenadas lineales k2 de los pixeles de la imagen virtual I2v. Se recuerda que, comprendiendo la imagen virtual I2v H2 líneas de L2 pixeles por línea, un pixel de índice j en una línea de índice i, está indicado por una coordenada lineal k2 tal que:

A cada entrada indexada por k2 está asociada la coordenada lineal k1 de un pixel de la imagen real I1R que comprende el punto de coordenadas en un plano u1, v1 que corresponde al punto de coordenadas en un plano u2, v2 en el que está centrado el pixel de coordenada lineal k2.

Esta tabla de correspondencia permite ahorros en términos de recursos materiales y en términos de ejecución. En términos de recursos materiales, la tabla de correspondencia puede residir en un emplazamiento de memoria que comprenda simplemente L*H casillas de memoria para las coordenadas lineales k2, y L*H casillas de memoria para las coordenadas lineales k1 asociadas. En términos de recursos de ejecución, un simple barrido de las entradas de la tabla de correspondencia suficiente para definir los pixeles de la imagen virtual refiriéndose a los pixeles de la imagen real correspondiente, es notablemente rápido.

A partir de la etapa 102 representada en la figura 3, la obtención de la imagen virtual I2v valida una transición 103 que activa la etapa 104.

La etapa 104 consiste en determinar puntos de interés que caracterizan a la imagen virtual I2v. Para determinar los puntos de interés, pueden ser utilizados diferentes métodos. Se conocen por ejemplo los puntos de interés de tipo Harris que están ligados a puntos singulares de la imagen tal como por ejemplo, una esquina de una acera. El algoritmo de Harris y Stephen tiene el mérito de ser simple y rápido. Otros algoritmos más complejos tienen el mérito de ser más robustos ofreciendo una mejor inmunidad a los ruidos, a las variaciones de iluminación y a las variaciones bruscas de enmarcado.

A título de ejemplo puramente ilustrativo y no limitativo, se pueden citar los métodos de detección de heterogeneidad local (blob detection en inglés) que se reparten en métodos diferenciales y en método de extremos locales. Considerando una componente de color que tenga el valor F(u2, v2) para un píxel de coordenadas u2, v2 y un filtro gausiano de valor G(u2, v2, 0) dado por una fórmula del tipo:

u �v

-

22 ,,( vG u: ) �2 1 e 2

en la cual 0 es un factor de escala, el sistema genera una representación tridimensional con dos dimensiones espaciales y con una dimensión de escala L(u2,v2,0) dada por el producto de convolución:

L(u2,v2,0) : = G(u2,v2,0) * F(u2,v2)

El sistema memoriza a continuación las coordenadas u2, v2, de cada pixel y el factor de escala 0 que corresponde a un extremo local de la Laplaciana f(L) de L:

� L(u ,�v ,) � L(u ,�v ,)

222, 222,

�L(u ,v ,) �

222 2

�u �u

La etapa 104 produce así una lista de puntos de interés de la imagen virtual que comprenden los pixeles de coordenadas u2, v2, con el factor de escala correspondiente a un extremo de la Laplaciana, es decir un máximo o un mínimo, incluso un máximo en una dirección y un mínimo en otra dirección.

En la etapa 105 que sigue, se crea en memoria una imagen virtual I3v. La imagen virtual I3v está destinada a representar una vista desde arriba del entorno del vehículo que va más allá de la superficie cubierta por la imagen virtual instantánea I2v. Al principio, la imagen virtual I3v comprende simplemente la primera imagen virtual instantánea I2v que acaba de calcularse. De acuerdo con la invención, la imagen virtual I3v se construirá en las etapas siguientes a medida que se produzca el desplazamiento del vehículo.

Las etapas siguientes 108 a 112, son ejecutadas en tiempo real, bajo el control de una transición 107, en tanto que la velocidad V del vehículo sea inferior a la velocidad de umbral Vs y naturalmente en tanto que el procedimiento esté activado. El procedimiento es desactivado por ejemplo por retirada de la llave de contacto.

Una detección de velocidad V superior a la velocidad de umbral, valida la transición 106 que reactiva la etapa 100, poniendo así al sistema de nuevo en el estado de espera.

Una detección de velocidad V inferior o igual a la velocidad de umbral, valida la transición 107 que activa una etapa

108.

En cada ejecución de la etapa 108, se capta una nueva imagen real I1R por medio de la cámara 10. Se produce una nueva imagen virtual I2v del suelo en vista desde arriba, a partir de la imagen real I1R como se explicó anteriormente a propósito de la etapa 102.

A partir de la etapa 108 representada en la figura 3, la obtención de la imagen virtual I2v valida una transición 109 que activa una etapa 110.

La etapa 110 consiste en determinar puntos de interés que caracterizan la nueva imagen virtual I2v, como se explicó anteriormente a propósito de la etapa 104. La nueva imagen virtual I2v es comparada con una antigua imagen virtual @I2v. La antigua imagen virtual @I2v es la última imagen virtual I2v que ha sido integrada en la imagen virtual I3v durante la ejecución de la etapa 105 o durante una ejecución precedente de una etapa 115 explicada en lo que sigue. La nueva imagen virtual I2v es considerada equivalente la antigua imagen virtual @I2v en tanto que la distancia entre cada punto de interés de la antigua imagen virtual @I2v y el punto de interés que le corresponde en la nueva imagen virtual I2v sea inferior a un valor de umbral predeterminado. La distancia puede concernir a una distancia euclidiana sobre la situación de los pixeles en el plano de la imagen. La distancia puede concernir también a una diferencia de nivel entre una componente de color del punto de interés de la antigua imagen virtual @I2v y la misma componente de color del punto de interés que le corresponde en la nueva imagen virtual I2v. La nueva imagen virtual I2v es considerada diferente de la antigua imagen virtual @I2v en cuanto la distancia entre uno o varios puntos de interés de la antigua imagen virtual @I2v y los puntos de interés que le corresponden en la nueva imagen virtual I2v sea superior al valor de umbral predeterminado.

Una transición 111, validada cuando la nueva imagen I2v sea equivalente a la antigua imagen @I2v, activa una etapa

112. Las imágenes virtuales son equivalentes en tanto en que el vehículo se desplace poco o no se desplace. Conviene entonces no tener en cuenta la nueva imagen virtual porque modificaciones pequeñas podrían correr el riesgo de provocar progresivamente una deriva por acumulación de errores sucesivos.

Una transición 113, validada cuando la nueva imagen I2v sea diferente de la antigua imagen @I2v, activa una etapa

114. Típicamente, las imágenes virtuales son netamente diferentes cuando el vehículo ha avanzado suficientemente, retrocedido o girado.

La etapa 114 consiste en evaluar la diferencia entre la nueva imagen virtual I2v y la antigua imagen virtual @I2v de modo que se superpongan un mayor número posible de puntos de interés de la nueva imagen virtual I2v con los puntos de interés correspondientes de la antigua imagen virtual @I2v. Por ejemplo, desplazamientos de puntos de interés en la imagen virtual según una dirección común con valores comunes, denota un movimiento del vehículo en traslación en un sentido opuesto al de los puntos de interés en la nueva imagen virtual. Por ejemplo todavía, desplazamientos de puntos de interés en la imagen virtual según direcciones diferentes con valores diferentes, denota un movimiento del vehículo en rotación o sobre un arco de curva en un sentido opuesto al de los puntos de interés en la nueva imagen virtual.

Para calcular la transformación afin que hace pasar de la antigua imagen virtual @I2v a la imagen virtual nueva I2v, se considera que los puntos de interés pertenecen a una escena plana que es rígida. En otras palabras, un punto de interés que pertenece a una parte de la nueva imagen virtual I2v que se superpone con la antigua imagen virtual @I2v, tiene un punto de interés combinado en la antigua imagen virtual @I2v y los dos puntos de interés están situados en un mismo elemento de la escena. Sin embargo, a causa de los ruidos, de puntos de interés que no verifiquen las hipótesis de la escena plana o a otros fenómenos, un punto de interés de una imagen virtual puede no tener punto de interés combinado en la otra imagen virtual que corresponda a un elemento del suelo o a un mismo elemento. Tales puntos de interés, considerados aberrantes (outliers en inglés), no son tenidos en cuenta para la superposición de las dos imágenes virtuales.

Después de la superposición de la nueva imagen virtual con la antigua imagen virtual de modo que se hagan coincidir los puntos de interés, se distingue una primera parte de la nueva imagen virtual que sale del marco de la antigua imagen virtual y una segunda parte de la nueva imagen virtual que recubre parcialmente a la antigua imagen virtual. Este recubrimiento parcial resulta del desplazamiento del vehículo. La primera parte servirá para ampliar el alcance la imagen virtual acumulativa I3v. Los pixeles de la primera parte no corresponden a ningún pixel de la antigua imagen virtual @I2v y por tanto podrán ser integrados tal cual en la imagen virtual acumulativa I3v.

Cada pixel de la segunda parte de la nueva imagen virtual I2v se superpone con un pixel de la antigua imagen virtual @I2v, idealmente con componentes de color RVB o de tinte y de luminosidad de valor idéntico.

Sin embargo, la realidad puede alejarse de la situación ideal por varias razones. Una primera razón es que la hipótesis de un suelo perfectamente plano en la parte trasera del vehículo, sobre la cual se basa la construcción de la imagen virtual I2v, no siempre se verifica. Un obstáculo que sobresalga del suelo o se hunda en el suelo, no verifica la transformación de solución única que resulta de Z nulo. Un mismo punto de este obstáculo aparece con coordenadas que no concuerdan en las dos imágenes virtuales. Recíprocamente, un pixel, correspondiente a un punto considerado en el plano mientras que éste sale del plano del suelo en la imagen virtual, corresponde a otro punto en la otra imagen virtual.

Para tener en cuenta este tipo de heterogeneidad, una solución posible consiste en evaluar la distancia que separa a los dos píxeles en términos de componentes de color, de tinte o de luminosidad. La distancia entre dos pixeles superpuestos, puede ser medida en un espacio de una dimensión de los niveles de gris o en un espacio de tres dimensiones de colores RVB (rojo, verde, azul), TSV (tinte, saturación, valor de brillo) u otro.

Una segunda razón es que incluso para pixeles representativos de puntos en el plano del suelo, los pixeles llevan una discretización que hace que dos pixeles representativos de un mismo punto, solamente se superpongan perfectamente cuando el desplazamiento del vehículo entre dos tomas de vistas, corresponda a un número entero de pixeles, lo que raramente es el caso. Para responder a esta segunda razón y, por vía de consecuencia, a la primera razón citada anteriormente, la invención prevé ventajosamente hacer una medición de correlación entre una primera ventana centrada en el pixel en la antigua imagen virtual y una segunda ventana centrada en el pixel superponible en la segunda imagen virtual. La correlación es entonces representativa del pixel en su entorno.

Con el fin de ganar en tiempo de tratamiento, la diferencia basada en el coeficiente de correlación entre las dos ventanas, es calculada por una aproximación multirresolución, denominada también piramidal. La analogía con una pirámide para cada imagen virtual es la siguiente. En la base de la pirámide se encuentra la imagen virtual con su resolución de origen. En cada nivel superior, la resolución de la imagen disminuye. Generalmente, el número de pixeles está dividido por dos en la longitud y por dos en la anchura de la imagen.

La distancia así calculada entre dos pixeles, es un valor numérico cuyos mínimos y máximos están fijados. La franja de valores definida por estos mínimos y estos máximos es llevada después por puesta a escala y filtrado por umbral de los valores altos, a una franja de valores comprendidos entre 0 en ausencia de diferencia y 255 para una diferencia total. El valor así calculado, es utilizado como valor de transparencia de cada pixel con miras a su adición a la imagen virtual acumulativa I3v en forma de mosaico. Un pixel, en el sentido que es definido en el presente procedimiento, está caracterizado por su posición en la imagen, su color y su transparencia, nula por defecto que se aplica a un pixel opaco. La codificación de la transparencia es puramente convencional sin incidencia sobre su tratamiento. En el ejemplo de puesta en práctica de la presente invención aquí descrito, un pixel cuyo valor de transparencia es máximo de 255, es totalmente transparente y no aparece cuando está superpuesto con otro pixel, un pixel cuyo valor de transparencia es mínimo de 0, es perfectamente opaco y enmascara al pixel con el cual está superpuesto. Los convenios pueden ser diferentes, incluso invertidos como es el caso en el método « Alpha blending ».

A continuación de la etapa 114, una etapa 115 consiste en superponer las partes superponibles de la nueva imagen virtual I2v con las partes correspondientes de la imagen virtual acumulativa o mosaico I3v. La transparencia asignada a cada pixel de la nueva imagen virtual I2v, permite memorizar el pixel a la altura de su grado de opacidad. El nivel de transparencia por pixel permite difuminar los pixeles detectados diferentes entre dos instantes de captación de imagen real por causa de ruido o de correspondencia a un obstáculo. La etapa 115 realiza así un filtrado temporal natural memorizando acumulativamente en el mosaico constituido por la imagen virtual I3v, solamente los pixeles más fiables desde el punto de vista de su pertenencia al plano del suelo.

Así, cuando el vehículo avanza lentamente en marcha hacia delante para prepararse a maniobrar, se crea progresivamente una vista de tipo mosaico del plano del suelo de la parte trasera del vehículo. El sistema puede prescindir de sensores de velocidad del vehículo o de rotación del volante de dirección porque los puntos de interés que son generados permiten detectar los desplazamientos en traslación y en rotación del vehículo en el plano del suelo. El sistema detecta naturalmente que el vehículo se detiene cuando los puntos de interés permanecen inmovilizados y el vehículo cambia de sentido de desplazamiento en función del sentido de desplazamiento de los puntos de interés. Cuando el vehículo retrocede, éste recorre en sentido inverso el plano del suelo precedentemente escrutado. Las partes de la imagen virtual acumulativa I3v, precedentemente en la parte trasera del vehículo pasan progresivamente debajo y a los costados del vehículo hasta encontrarse en la parte delantera del vehículo, reproduciendo así una vista desde arriba de un entorno que rodea al vehículo. De cualquier modo, el vehículo en marcha atrás penetra virtual y progresivamente en la imagen virtual y a continuación evoluciona en ella cuando éste gira o parte de nuevo en marcha adelante.

La etapa 112 es activada a continuación de la etapa 115 para crear una vista de visualización I5v a partir de la imagen virtual acumulativa I3v que acaba de ser construida en forma de mosaico. La vista de visualización I5v no es memorizada. La vista de visualización I5v se crea añadiendo una imagen I4 en sobreimpresión sobre la imagen virtual I3v.

La imagen I4 comprende especialmente un ejemplar de la nueva imagen virtual I2v, sin coeficiente de transparencia, de modo que permite al conductor del vehículo, un control visual directo de la escena, especialmente si un ser vivo pasa por detrás del vehículo dentro del campo de la cámara real 10.

La activación de la etapa 112 directamente por la transición 111 o indirectamente por la transición 113 pasando por la etapa 115, actualiza en tiempo real la vista de la Interfaz hombre máquina (IHM) con la vista procedente de lacámara de retroceso. Ésta es la garantía de que el conductor pueda tener permanentemente un control visual sobre su maniobra.

Un desplazamiento del vehículo demasiado pequeño, no puede ser aproximado con precisión por el algoritmo. Debido a este desplazamiento pequeño, la última imagen virtual I2v queda fijada en el mosaico precedente tomando como hipótesis que el vehículo no se ha movido. Por el contrario, el mosaico no es actualizado, porque pequeños desplazamientos acumulados podrían conducir a derivas. Por esta razón, es necesario esperar a que la imagen corriente presente suficientemente diferencias con la antigua imagen para estimar con suficiente precisión el desplazamiento y reajustar correctamente la última imagen con el mosaico. En otras palabras, si el vehículo no se mueve o lo hace demasiado lentamente para que su movimiento pueda ser estimado con suficiente precisión por el algoritmo, el usuario continúa teniendo una vista reactualizada que tiene en cuenta una presencia de peatón o de cualquier obstáculo móvil que pase dentro del campo de la cámara real, pero el mosaico permanece inalterado. En cuanto el movimiento del vehículo sea perceptible por el usuario y por consiguiente por el algoritmo, el mosaico es actualizado y reajustado.

Introduciendo los datos del vehículo tales como sus cotas, su forma y su color, en forma de parámetros en el sistema en el momento de su montaje en el vehículo, es posible visualizar un trazado del vehículo sobre el plano del suelo.

La imagen I4 comprende opcionalmente una imagen de síntesis 3D de objetos fuera del plano del suelo que pueden constituir obstáculos a la maniobra. La imagen de síntesis puede ser construida por estereoscopia temporal a partir de dos imágenes reales I1R sucesivas suficientemente distantes una de la otra.

La utilización de sensores ultrasónicos como complemento del sistema, permite indicar la proximidad de un obstáculo en la zona cubierta por cada sensor. La repartición de los sensores en el contorno del vehículo, por ejemplo a nivel de los escudos delantero y trasero, permite reconstruir una cartografía grosera de la proximidad de eventuales obstáculos alrededor del vehículo.

La información facilitada por los sensores de ultrasonidos, es utilizable por el sistema de diferentes maneras:

-: de manera pasiva, las zonas asociadas a cada sensor de ultrasonidos, se superponen gráficamente por encima de la imagen del suelo. El usuario dispone entonces simultáneamente de la información visual del suelo alrededor del vehículo, y de la información visual de la presencia de obstáculo retornada por los sensores de ultrasonidos.

-: de manera activa, la presencia de obstáculo deducida de las transparencias puede ser comparada con la cartografía de los obstáculos que es retornada por los sensores de ultrasonidos. Estas informaciones pueden ser fusionadas entonces para obtener más precisión.

-: de manera combinada activa y pasiva, la visualización de la cartografía de los obstáculos facilitada por los sensores de ultrasonidos se superpone con la imagen del suelo, en el marco de una indicación visual pasiva. Por otra parte, la presencia de un obstáculo próximo que es detectado por los sensores de ultrasonidos, es explotada para adaptar la vista utilizada con el fin de recentrarla en esta zona, realizando así un zoom adaptativo activo.

En lo que concierne a la manipulación de la interfaz hombre máquina (IHM), están previstas varias variantes entre las cuales se indica una utilización de pantallas táctiles, una utilización de un designador de tipo moleta dispuesto para seleccionar la vista activa entre un conjunto de elecciones predefinidas, una utilización de datos de entradas exteriores tal como el zoom adaptativo en función de los obstáculos detectados por los ultrasonidos.

Después de un retroceso suficiente del vehículo, el procedimiento permite conocer el plano del suelo debajo del vehículo y en los costados del vehículo. Es posible entonces reproducir fácilmente una imagen tridimensional de síntesis de una rueda en un plano perpendicular al plano del suelo circundante. Una rueda delantera puede ser representada con su ángulo de giro cuando la información pertinente esté disponible, por ejemplo a partir de la mensajería del vehículo o de un cálculo de la rotación del vehículo alrededor de un eje perpendicular al plano que resulta de los desplazamientos de los puntos característicos en las imágenes virtuales elementales I2v.

La figura 5 representa esquemáticamente un sistema para poner en práctica el procedimiento que se acaba de explicar.

La cámara 10 montada en la parte trasera del vehículo comprende un plano reticular oblicuo con respecto al plano del suelo como se ha visto anteriormente refiriéndose a la figura 4. El plano reticular puede ir hasta ser perpendicular al plano del suelo pero entonces la superficie visualizada del suelo en la proximidad del vehículo, es pequeña. A diferencia de las vistas aéreas en las que una cámara colocada debajo de un avión permite tener una vista del plano del suelo consecuente gracias a la altitud a la cual el avión sobrevuela el suelo, una cámara colocada debajo del vehículo o en la parte trasera del vehículo con un plano reticular paralelo a la superficie del suelo, cubriría solamente un espacio relativamente restringido. El plano reticular de la cámara no paralelo al plano del suelo permite cubrir una superficie que se extienda considerablemente más lejos en la parte trasera y en los costados del vehículo.

Cada imagen de vídeo captada por la cámara 10 es transmitida hacia un módulo 51 a la cadencia de restitución en tiempo real. El módulo 51 está dispuesto para corregir las distorsiones provocadas por el sistema óptico de la cámara, especialmente en presencia de un objetivo de focal corta, denominado también de gran angular, que permite tener una zona de visibilidad amplia de base de manera apreciable hacia la parte trasera y los costados del vehículo.

Las imágenes reales que son tratadas por el módulo 51, son transmitidas a un módulo 52 que calcula una vista desde arriba como se explicó anteriormente. El módulo 52 está dispuesto esencialmente para ejecutar las etapas 102 y 108 del procedimiento. Se observará que los recursos particularmente económicos, simple tabla de correspondencia de entrada única, permiten integrar fácilmente los módulos 51 y 52 en la cámara 10.

Opcionalmente, se prevé transmitir las imágenes reales que son tratadas por el módulo 51, a un módulo 56 y/o a un módulo 58.

El módulo 56 está dispuesto para construir objetos en tres dimensiones que serán integrados en la imagen visualizada en una pantalla 55 a través de un módulo de visualización 54. Los objetos pueden ser construidos a

5 partir de las imágenes recibidas del módulo 51 y de algoritmos de segmentación o a partir de datos geométricos y colorimétricos procedentes de una base de datos que describe por ejemplo la carrocería del vehículo o el montaje de las ruedas.

El módulo 58 está dispuesto también para construir objetos en tres dimensiones que serán integrados en la imagen visualizada en la pantalla 55 a través del módulo de visualización 54. Los objetos pueden ser construidos en este

10 caso a partir de señales recibidas de un sensor 57 de ultrasonidos y eventualmente de las imágenes recibidas del módulo 51.

Las imágenes virtuales elementales generadas por el módulo 52, son transmitidas a un módulo 53 dispuesto esencialmente para ejecutar las etapas 104, 105, 110 y 115 del procedimiento, de modo que se construya la imagen virtual acumulada que amplía la visibilidad del suelo debajo y alrededor del vehículo.

15 La imagen virtual construida en el módulo 52, es transmitida al módulo de visualización 54 dispuesto esencialmente para ejecutar la etapa 112.

Claims

REIVINDICACIONES

1. Procedimiento para ampliar una zona de visibilidad obtenida por medio de una cámara montada en un vehículo, que comprende:

-

una etapa (108) de creación de una imagen virtual elemental (I2v) en la cual un conjunto de píxeles de la imagen virtual elemental es puesto en correspondencia con un conjunto de píxeles de una imagen real (I1R) captada por la cámara, considerando que el conjunto de píxeles de la imagen real reproduce una superficie plana del mundo real;

-

una etapa (110) de caracterización de la imagen virtual elemental (I2v) en la cual se genera un conjunto de puntos de interés de la imagen virtual elemental (I2v);

-

una etapa (115) de construcción de una imagen virtual acumulativa (I3v) en la cual al menos una parte de la imagen virtual elemental (I2v) está superpuesta con al menos una parte de la imagen virtual acumulativa (I3v) haciendo coincidir puntos de interés de la imagen virtual elemental (I2v) con puntos de interés de la imagen virtual acumulativa (I3v); la etapa (115) de construcción es reiterada para cada nueva imagen virtual elemental (I2v) suficientemente diferente de una antigua imagen virtual (@I2v) en términos de distancias entre los puntos de interés, estando caracterizado el citado procedimiento porque comprende una etapa (114) de diferenciación en la cual se efectúa una diferencia en términos de componentes de color entre cada píxel de la nueva imagen virtual elemental (I2v) y un píxel correspondiente de la antigua imagen virtual elemental (@I2v) y en la cual se atribuye al citado pixel de la nueva imagen virtual elemental (I2v), un nivel de transparencia que es función de la citada diferencia.
2.

Procedimiento de acuerdo con la reivindicación precedente, caracterizado porque en la etapa (108) de creación, el conjunto de pixeles de la imagen virtual elemental es puesto en correspondencia con el conjunto de pixeles de la imagen real por una tabla de correspondencia.
3.

Procedimiento de acuerdo con una de las reivindicaciones precedentes, caracterizado porque comprende una etapa (112) de visualización en la cual la imagen virtual elemental tal como resulta de la etapa de creación (108) es superpuesta en tiempo real con la imagen virtual acumulativa (I3v) para generar una imagen instantánea de visualización (I5v).
4.

Procedimiento de acuerdo con la reivindicación 3, caracterizado porque en la etapa (112) de visualización, una imagen de síntesis es superpuesta con la imagen virtual acumulativa (I3v).
5.

Procedimiento de acuerdo con la reivindicación 4, caracterizado porque la imagen de síntesis es la de una rueda del vehículo.
6.

Procedimiento de acuerdo con una de las reivindicaciones 3 a 5, caracterizado porque la etapa (112) de visualización es activada directamente después de la etapa (110) de caracterización de la imagen virtual elemental (I2v) para cada nueva imagen virtual elemental (I2v) equivalente a una antigua imagen virtual elemental (@I2v) en términos de distancias entre los puntos de interés.
7.

Procedimiento de acuerdo con una de las reivindicaciones precedentes, caracterizado porque la superficie plana es la del suelo.
8.

Procedimiento de acuerdo con la reivindicación precedente, caracterizado porque la cámara utilizada comprende un plano retiniano oblicuo con respecto a la citada superficie plana del mundo real.
9.

Dispositivo que comprende una cámara montada en un vehículo, caracterizado porque está dispuesto para poner en práctica el procedimiento de acuerdo con una cualquiera de las reivindicaciones precedentes.