ES2746194T3 - Procedimiento de reajuste de un sector de imagen - Google Patents

Abstract

Procedimiento de reajuste de un sector (104a, 104b, KBA) de una imagen (104, KB) de una cámara representado sobre un monitor (101) en sustitución de un espejo exterior (102) de un vehículo (103) cuando toma un curva un atalaje (106) constituido por el vehículo (103) y un remolque (105), caracterizado por que - se determina la posición (KP, KP1, KP2, KP3) de un canto vertical (K5) del remolque (105) a partir de al menos dos imágenes de cámara consecutivas (KB(tj)) y - se reajusta el sector de imagen (104a, 104b) de conformidad con la posición (KP, KP1, KP2, KP3) del canto vertical (K5).

Description

DESCRIPCIÓN

Procedimiento de reajuste de un sector de imagen.

La presente invención concierne a un procedimiento de reajuste de un sector de una imagen de una cámara que se representa sobre un monitor en sustitución de un espejo exterior de un vehículo, particularmente al tomar una curva un atalaje constituido por el vehículo y un remolque.

Se conoce por el documento WO 2016/024405 A2 un procedimiento de reajuste de un sector de una imagen de una cámara - representado sobre un monitor en sustitución de un espejo exterior de un vehículo - de un atalaje constituido por el vehículo y un remolque cuando se toma una curva. Se muestra allí un sistema monitor como sustitutivo de un espejo retrovisor, en el que se adapta el sector de imagen representado al movimiento de la posición de la cabeza del conductor. El conductor mueve la cabeza cuando el remolque, al tomar una curva, se desplaza hacia “fuera” sobre un espejo retrovisor convencional para seguir teniendo a la vista el final del remolque. Se detecta para ello el movimiento de la posición de la cabeza del conductor. A este fin, es necesaria una detección fiable del movimiento, lo que en general solo puede materializarse de una manera bastante complicada. Los movimientos de la cabeza del conductor que se producen por motivos diferentes a la variación del sector de imagen visible para el conductor en el espejo retrovisor convencional conducen a adaptaciones no deseadas del sector de imagen sobre el monitor.

El documento EP 3 028 898 A1 divulga una unidad de control según el preámbulo de la reivindicación 12 y un procedimiento según el preámbulo de la reivindicación 1 para reajustar un sector de una imagen de una cámara representado sobre un monitor en sustitución de un espejo exterior de un vehículo cuando toma un curva un atalaje constituido por el vehículo y un remolque.

Frente a esto, se propone un procedimiento mejorado de reajuste del sector de imagen.

Según la invención, se determina primeramente la posición de un canto vertical del remolque a partir de al menos dos imágenes de cámara consecutivas y seguidamente se reajusta el sector de imagen de conformidad con la posición del canto vertical. Esto tiene la ventaja de que no se precisa una detección del movimiento de la cabeza del conductor y así se puede prescindir de un hardware necesario para ello en la cabina del conductor. Se consigue que los movimientos de la cabeza del conductor producidos por motivos diferentes a la variación del ángulo de visión no tengan como consecuencia un reajuste no deseado del sector de imagen. La evaluación de al menos dos imágenes de cámara consecutivas aumenta la fiabilidad de la detección de la posición del canto en comparación con la evaluación de una imagen fija. Se tienen en cuenta aquí movimientos que se pueden reconocer a partir de imágenes consecutivas. Los efectos de suciedad producidos de manera diferente de una imagen a otra, tal como ruido de la imagen, tienen menos influencia sobre la evaluación, ya que se promedian y eliminan. Cuantas más imágenes consecutivas se empleen tanto mejor podrán utilizarse los efectos del movimiento para evitar detecciones erróneas y tanto mejor se promediarán y eliminarán los errores. Se prevé que se empleen imágenes de cámara directamente consecutivas. Como alternativa o adicionalmente, se aprovecha para la evaluación cada segunda, tercera o, en general, enésima imagen, pudiendo omitirse también alternativamente un número diferente de imágenes para conseguir un n efectivo que esté entre dos número naturales. Por un lado, se adapta así la cadencia de la evaluación a la frecuencia de imágenes de la cámara. Por otro lado, se destacan más claramente las diferencias de movimiento al emplear cada segunda, tercera, etc. imagen. Esto puede ser ventajoso especialmente cuando se circula despacio, pudiendo resultar la evaluación demasiado lenta en el caso de un n demasiado grande. Es práctico aquí adaptarse a las condiciones actualmente reinantes. El reajuste del sector de imagen representado sobre el monitor se efectúa de modo el canto trasero del remolque y las partes del ambiente situadas detrás de éste sean visibles para el conductor. Esto se efectúa, por ejemplo, comprimiendo la zona de la imagen de cámara situada entre el vehículo y el canto trasero del remolque de modo que el canto se reproduzca aproximadamente en el tercio del monitor vuelto hacia el vehículo, visualizando el sector de imagen ampliado o procediendo de otra manera adecuada.

El vehículo es el vehículo tractor de un atalaje y puede ser un camión, un turismo, un tractor, un autobús, un camión articulado o similar. Como remolque se prevé un semirremolque de un tren de vehículos articulados o un remolque de uno o varios ejes. Eventualmente, el atalaje presenta también más de un remolque. El canto vertical es un canto significativo del extremo trasero del remolque. Los cantos pueden determinarse fiablemente con ayuda de procedimientos conocidos. En remolque de carrocería alta el extremo trasero presenta habitualmente un canto vertical. En remolque que se utilizan para transportar contenedores se puede utilizar como canto significativo el canto trasero del contenedor. Cuando un remolque de esta clase está de camino sin llevar un contenedor, se utiliza el canto trasero del remolque situado en la zona inferior.

Según la invención, a lo largo de al menos un línea que se corta con el canto vertical de un remolque se determina al menos un punto como punto de canto. Se determinan para este punto de canto un vector de movimiento y un grado de fiabilidad para éste. El grado de fiabilidad sirve para ponderar más alto o más bajo el vector. El sector de imagen no se reajusta directamente con ayuda de los vectores de movimiento. Por el contrario, se emplean los vectores para localizar el canto del remolque y reajustar entonces el sector de conformidad con la posición localizada. Esto tiene la ventaja de que se simplifica y acelera la evaluación, ya que no hay que evaluar toda la imagen, sino que la evaluación se limita a una zona relevante de la imagen, aquí la zona de alrededor de la línea o las zonas correspondientes de la imagen en el cado de varias líneas. En lugar de una evaluación bidimensional que afecte a toda la imagen de la cámara, la evaluación se limita a una o varias zonas casi unidimensionales. En general, todo remolque presenta un canto trasero vertical que separa los puntos de imagen del remolque respecto de los puntos de imagen del entorno. La línea a evaluar se elige de modo que se corte con este canto. En un primer enfoque la línea es una recta, pero es práctica aquí también una línea curva, por ejemplo como adaptación a la configuración de vehículo-remolque, propiedades de la cámara, distorsión o ángulo de montaje de la cámara o similares. Una línea preferida está situada por debajo de la altura de la superficie de carga, aproximadamente en la zona prevista para los elementos indicadores traseros, tales como luz de freno, piloto de marcha atrás, indicadores de dirección, luz trasera, placa de identificación de material peligroso, protección contra empotramiento o similares. En cualquier caso, a esta altura están presentes partes integrantes del remolque, aun cuando no haya carga alguna con un canto vertical. Particularmente en remolque con carrocería fija o con contenedores es práctico evaluar adicional o incluso exclusivamente una línea que se encuentre a la altura de la carrocería o del contenedor. A esta altura el contraste entre el remolque y el entorno es frecuentemente mayor que a una pequeña altura y, por tanto, este contraste puede evaluarse mejor. Es también más pequeño a esta altura el posible deterioro de la imagen de la cámara producido por polvo arremolinado, salpicaduras de agua o similares, lo que aumenta la fiabilidad de la evaluación.

Al menos al principio del procedimiento se elige como la línea que se cruza con el canto vertical una línea que recorre una gran parte de la imagen de la cámara o toda la imagen de dicha cámara. Esto asegura que esté presente un punto de cruce de la línea y el canto, con independencia de la posición actual del canto en la imagen. En el curso posterior del procedimiento se elige convenientemente una línea más corta que esté dispuesta en una posición aproximadamente simétrica con respecto al punto anteriormente determinado del canto. Esto reduce el gasto de cálculo sin reducir la probabilidad de encontrar un punto del canto.

Si el punto del canto presenta un vector de movimiento diferente de cero, esto es un indicio de que el canto trasero se mueve lateralmente, lo que hace necesario un reajuste del sector de imagen. Por el procesamiento de imágenes se conocen procedimientos para determinar la fiabilidad de un vector de movimiento. Intervienen aquí la fiabilidad de la detección de canto unidimensional y la detección de movimiento, la fiabilidad de la evaluación influenciada por las propiedades de la imagen de la cámara, como el contraste respecto del color o la luminosidad, y/u otros factores. Se conocen procedimientos semejantes por la bibliografía, por ejemplo en el “flujo óptico diferencial” el número de condiciones del sistema de ecuaciones 2x2, en el emparejamiento de bloques la SAD o SSD que resulta de la comparación de los bloques de imágenes, o en el cotejo de características la distancia entre los descriptores de los puntos característicos concordantes. Si el grado de fiabilidad está por encima de un valor prefijado, se parte entonces de la consideración de que el vector de movimiento no es diferente de cero, por ejemplo debido a una detección errónea, sino que indica un movimiento realmente existente. Los grados de fiabilidad anteriormente citados de procedimientos semejantes, conocidos por la bibliografía, son, en rigor, grados de infiabilidad: Cuando son cero, la fiabilidad es máxima y, en base al cálculo, éstos no pueden resultar inferiores a cero. Se obtiene entonces un grado de fiabilidad, por ejemplo mediante una simple inversión, es decir, por formación de 1/x.

Según una variante, se previsto por la invención determinar extremos locales en derivadas de una función de imagen a lo largo de la línea y calcular vectores de movimiento en estos puntos. Los extremos locales son una sencilla posibilidad para esto. Los puntos pertenecientes al remolque, situados sobre la línea, se mueven usualmente muy poco con relación a la cámara. En el caso de movimientos en sombra se efectúa el movimiento en general con otra velocidad u otra componente direccional que para el segundo plano. Como derivadas se emplean diferencias finitas en la función de intensidad, la distancia de color de píxeles contiguos u otras evaluaciones adecuadas de funciones de imagen. Los extremos locales en las derivadas se presentan también como provocados por el ruido. La función de imagen consiste en los valores de gris de una imagen. Según otra variante de la invención, se adapta un procedimiento conocido cualquiera de detección de puntos al caso unidimensional sobre la línea. Esto tiene la ventaja de proporcionar resultados más fiables sin que se requiera un gran gasto de cálculo adicional.

Según la invención, se ha previsto que se determinen sendos vectores de movimiento para varios puntos de la línea que se corta con el canto vertical del remolque. Se puede determinar entonces, por ejemplo, una discontinuidad en la secuencia de los vectores de movimiento determinados para estos puntos a lo largo de la línea como lugar de ubicación del punto del canto. Se aprovecha aquí un efecto semejante al anteriormente descrito, si bien se prescinde aquí de la formación de la derivada y se realiza únicamente un comparación y detección de discontinuidades. Esto reduce el gasto de cálculo necesario. Sin embargo, son convenientemente posibles también otros usos de los vectores de movimiento aquí determinados.

La línea que se corta con el canto vertical se determina según la invención a partir de la línea empleada para evaluar la imagen de cámara precedente, a cuyo fin se desplaza dicha línea en la medida del vector de movimiento determinado para la imagen de cámara precedente. Esto tiene la ventaja de que la línea está situada con alta probabilidad allí donde ésta se corta con el canto, ya que dicha línea se desplaza de conformidad con el canto. Este desplazamiento se efectúa tanto en dirección horizontal como en dirección vertical cuando el vector de movimiento presenta las componentes correspondientes. En particular, se hace así posible el empleo de líneas cortas que no cubren toda la anchura de la imagen de la cámara, sin peligro de que se mueva el canto hacia fuera de la zona de la línea. La línea no se mueve en dirección vertical, ya que la geometría del atalaje con relación a la cámara se mantiene siempre igual, prescindiendo del ángulo de acodamiento del remolque. Constituye una posibilidad el que dicha línea no discurra de enteramente a la izquierda a enteramente a la derecha en la imagen y, por tanto, no pueda moverse horizontalmente. La línea puede discurrir también de enteramente a la izquierda a enteramente a la derecha.

Ventajosamente, se toma como punto de partida un vector de movimiento determinado para una imagen de cámara precedente o proporcionado por un modelo ambiental y se determina a partir del mismo, por ejemplo con ayuda de un procedimiento de flujo óptico a través de un sistema de ecuaciones 2x2, un vector de movimiento actualizado conjugado de la imagen de cámara actual. Un sistema de ecuaciones 2x2 puede resolverse de manera conocida sin un gran gasto. Existen varios procedimientos para determinar los vectores de movimiento. Uno es el procedimiento diferencial de Lukas-Kanade que trabaja con los sistemas de ecuaciones 2x2. Sin embargo, se pueden emplear también procedimientos de comparación de píxeles o de características.

Se prevé también determinar una matriz regularizada por adición de una matriz de regularización a la matriz 2x2 del sistema de ecuaciones. Se busca así el movimiento principalmente en dirección horizontal, es decir, en la dirección que admite una determinación fiable del vector de movimiento. Lo decisivo en el caso de la regularización es que se regularice solamente en dirección vertical. En los procedimientos de regularización convencionales se regulariza siempre en ambas direcciones. Sería útil también una determinación del movimiento vertical, pero a menudo esto no es fiablemente posible, ya que es frecuente que el canto trasero del remolque parezca igual en todas las posiciones verticales. Por tanto, se ahorra según la invención el gasto de la búsqueda y se prefija por la regularización una posición vertical preferida que resulta, por ejemplo, de movimientos anteriores o de un modelo ambiental. No se actualiza aquí directamente el vector de movimiento, sino que se actualiza la matriz y se determina entonces a partir de ella el vector de movimiento por la solución del sistema de ecuaciones 2x2.

Asimismo, multiplicando la matriz de regularización por una matriz de rotación se determina una matriz final en caso de que la línea a evaluar que se corta con el canto trasero del remolque sea una línea curva.

Una sencilla posibilidad para obtener el grado de fiabilidad consiste en emplear para ello el número de condiciones de la matriz final. El empleo de un vector de movimiento actualizado determinado a base de un vector de movimiento que pertenece a una imagen de cámara precedente tiene la ventaja de que tal vector de movimiento actualizado es una aproximación mejor que el vector de movimiento precedente inalterado.

El procedimiento de búsqueda del vector de movimiento se inicializa preferiblemente por medio de vectores de movimiento anteriores (BVi(t-1)) y/o por conocimientos previos. Asimismo, es limitado adicional o alternativamente por vectores de movimiento anteriores (BVi(t-1)) y/o por conocimientos previos.

Una unidad de control según la invención presenta una unidad de determinación de un punto de un canto que realiza una determinación de un canto de una imagen o una determinación de características, una unidad de determinación de un vector de movimiento, una unidad de determinación de un grado de fiabilidad, una unidad de valoración del grado de fiabilidad y una unidad de reajuste de un sector de imagen. La unidad de reajuste del sector de imagen presenta también la función de una unidad de determinación de un canto de un remolque. La función y las ventajas corresponden a las que se han descrito para el procedimiento.

En otras palabras, la invención concierne a un sistema de cámara-monitor en sustitución de un espejo exterior en camiones para, por ejemplo, ahorrar costes de carburante. En remolques enganchados es necesario un reajuste hacia fuera del sector de imagen indicado sobre la pantalla al tomar una curva para facilitarle al conductor la visión del canto trasero de su remolque en lugar de solamente sus lonas laterales. Particularmente al realizar maniobras se produce también esta necesidad debido a la supresión de la posibilidad de variar el campo de visión moviendo la cabeza, tal como ocurre con los espejos convencionales.

Para ejecutar el reajuste se propone un reconocimiento automático de la posición x/y actual del canto trasero vertical del remolque en la imagen. Dado que el canto trasero se extiende en cierta longitud, rigen ciertas consignas para la posición y; por ejemplo, ésta se debe reconocer a un metro sobre el suelo. Es de hacer notar a este respecto que se puede emplear una multiplicidad de diferentes remolques y que se limita muy fuertemente la potencia de cálculo del sistema de procesamiento de imágenes.

Los procedimientos de detección de un canto basados en imágenes individuales, como la llamada “canny edge detection”, son inadecuados en su mayor parte para la tarea indicada, ya que es frecuente que estén contenidos otros muchos cantos en la imagen. Estos cantos son entre otros, la estructura y la impresión gráfica de la lona del camión-remolque, las marcaciones de los carriles de circulación sobre la carretera, los vehículos ajenos visibles, otros objetos del entorno, como, por ejemplo, rótulos, y obras. Los cantos de estos objetos no pueden diferenciarse del canto trasero de un remolque en todas las situaciones y con un gasto de cálculo asumible.

Por tanto, los procedimientos de reconstrucción del entorno y de reconocimiento de objetos, como, por ejemplo, el llamado procedimiento de “structure-from-motion”, se sirven de la función ligeramente desplazada de puntos destacados de los objetos en varias imágenes tomadas desde posiciones diferentes que provienen, por ejemplo, de diferentes cámaras o que se registran con cámaras movidas en instantes consecutivos. Se utiliza especialmente en este caso el diferente desplazamiento de objetos de primer plano y de segundo plano. Éstos se presentan a consecuencia de diferentes distancias a la cámara o a consecuencia de un movimiento independiente de los objetos.

En situaciones de circulación típicas existen tanto un movimiento de la cámara junto con el camión como un movimiento del remolque con independencia de su entorno. Sin embargo, sigue siendo crítico un robusto reconocimiento, localización y diferenciación del canto trasero del remolque frente a otros cantos de objetos en la imagen.

Los procedimientos actualmente más importantes para determinar el desplazamiento pueden diferenciarse a grandes rasgos en: Procedimientos diferenciales del flujo óptico (como Lucas-Kanade, Horn-Schunck), estimación de movimiento por medio de comparación de píxeles (como emparejamiento de bloques, correlación) y procedimientos de reconocimiento, descripción y cotejo de características (SIFT, SURF, Shi & Tomasi, Harris, BRISK, FAST, BRIEF, ORB).

Tanto el reconocimiento de puntos de interés en la imagen como el cálculo del respectivo vector de desplazamiento están diseñados y optimizados en los procedimientos convencionales para calcular desplazamientos lo más exactamente posible dentro de una zona determinada de la superficie de la imagen. Esto funciona especialmente bien en punto de esquina de objetos, pero menos bien en cantos, ya que no se puede lograr un robusto reconocimiento del desplazamiento en la dirección del canto. Por tanto, los desplazamientos se calculan preferiblemente en puntos de esquina por los procedimientos convencionales. Sin embargo, en la presente problemática es preciso reconocer el desplazamiento del canto trasero del remolque, necesitándose especialmente el desplazamiento horizontal. No obstante, en el desplazamiento vertical, es decir, en la dirección del canto, se pueden aceptar compromisos. Para esta tarea, los procedimientos anteriormente citados no son tampoco muy eficientes con respecto al gasto de cálculo, ya que se tiene que buscar siempre dentro de una región bidimensional de la imagen. La exactitud resultante de esto, entre otros factores, en dirección vertical no puede ser aprovechada la mayoría de las veces por los algoritmos siguientes de una manera que aporte ganancias. Asimismo, el conocimiento previo que se haya adquirido, por ejemplo, a partir de imágenes anteriores o modelos ambientales no puede ser aprovechado para reducir el gasto de cálculo.

En un primer paso según la invención se efectúa una detección de los puntos característicos de interés. Para la problemática planteada es esencial especialmente el reconocimiento del desplazamiento horizontal del canto trasero del remolque. Basta para ello con reconocer sobre este canto un punto cualquiera de interés que no sería suficiente para aplicaciones convencionales a consecuencia del desplazamiento vertical necesario y que, por tanto, no se reconoce por procedimientos típicos. Por consiguiente, con ayuda de conocimientos previos, modelos ambientales o similares se determinan una o varias líneas horizontales o curvas que se cortan con el canto trasero del remolque. En el caso más sencillo, basta aquí un recta horizontal a través del centro de la imagen. Sobre ésta se identifican puntos destacados por medio de algoritmos adaptados al problema unidimensional.

En un segundo paso según la invención se calculan los vectores de movimiento correspondientes. Para cada punto de interés determinado se determina ahora con ayuda de un procedimiento adaptado un vector de movimiento que indica desde qué posición en la imagen precedente se ha movido un punto hacia el punto de interés actual o hasta qué posición en la imagen inmediata siguiente es mueve el punto de interés actual. A este fin, se pueden adaptar discrecionalmente todos los procedimientos (diferencial, comparación de píxeles, cotejo de características) de una manera semejante, manteniéndose igual el principio de adaptación: En primer lugar, no se inicializan los procedimientos de búsqueda con sus vectores estándar, sin con estimaciones vectoriales ya conocidas por imágenes anteriores, modelos ambientales o similares. La búsqueda se limita aquí convenientemente a su entorno. Opcionalmente, la búsqueda en dirección vertical puede limitarse aún más fuertemente o puede omitirse pos completo, ya que un canto vertical como el que se presenta en el canto trasero de un remolque se asemeja muy fuertemente a cualquier otra de sus posiciones y, por tanto, no es frecuentemente posible de todos modos una determinación exacta del desplazamiento vertical. No obstante, en caso de que se realice una búsqueda vertical, se la regulariza convenientemente para posibilitar una solución unívoca. Esto corresponde a dar preferencia a vectores cercanos a las líneas horizontales desplazadas en la medida de las estimaciones vectoriales. Para un algoritmo siguiente a la detección del canto se determina entonces para cada vector un grado de fiabilidad que indica cuál es la probabilidad de que, en lugar del vector encontrado, un vector diferente del mismo describa el verdadero movimiento. Esto puede materializarse, por ejemplo, por medio de la exactitud de ajuste o por medio de la ganancia en exactitud de ajuste frente a vectores candidatos semejantes. En caso de que la determinación de la fiabilidad con el procedimiento previsto no sea posible o conveniente, se recurre aquí también al método correspondiente de otro procedimiento (por ejemplo, el llamado emparejamiento de bloques). Finalmente, gracias a los puntos característicos más próximos uno a otro se tiene que (debido a la determinación a lo largo de una sola dimensión) se puede reducir frecuentemente el gasto de cálculo por efecto de una habilidosa evitación de cálculos dobles.

La invención es adecuada para reconocer el canto trasero de remolques en vehículos industriales o camiones. La cámara puede ser en este caso tanto una cámara dirigida hacia atrás para generar una imagen sustitutiva del espejo retrovisor como otra cámara adecuada, tal como una cámara de marcha atrás.

Ventajas de la invención son, entre otras:

Se necesita un gasto de cálculo netamente menor para la detección de puntos de canto. Se encuentran con más frecuencia puntos de canto correctos sobre el canto trasero del remolque. Para el cálculo de vectores de movimiento es necesario un gasto de cálculo netamente menor. Debido a inicializaciones adecuadas se presentan menos fallos y menos vectores de movimiento deficientemente determinados. Por medio de la regularización se logra una solución unívoca y mejor del problema de determinación vectorial deficientemente acondicionado para puntos característicos en cantos. El grado de fiabilidad puede aprovecharse también en algoritmos subsiguiente aquí no descritos, lo que conduce allí a mejores resultados.

Otras ventajas y variantes de la invención pueden deducirse también de la descripción siguiente de ejemplos de realización con ayuda de las figuras. Muestran en éstas:

La figura 1, un atalaje en el que se implementa un procedimiento según la invención,

La figura 2, un monitor y un espejo exterior de la figura 1 vistos por el conductor,

La figura 3, la parte trasera del remolque con función de imagen a modo de ejemplo,

La figura 4, el monitor con diferentes sectores de imagen,

La figura 5, una unidad de control según la invención y un diagrama de flujo según la invención,

La figura 6, la determinación del punto de canto a partir de una línea prefijada,

La figura 7, la determinación del punto de canto a partir de diferencias,

La figura 8, la determinación del punto de canto a partir de una derivada,

La figura 9, un detalle para determinar el punto de canto,

La figura 10, una imagen de monitor según una forma de realización y

La figura 11, el cálculo del vector de movimiento según la forma de realización de la figura 10.

La figura 1 muestra un atalaje 106 constituido por un vehículo 103 y un remolque 105. El entorno 109 del atalaje 106 se ha representado aquí en forma esquematizada como un plano E1. El vehículo 103 está equipado con una unidad de control 110 para procesar una imagen de una cámara 111. La unidad de control 110 calcula según el procedimiento de la invención un sector de imagen que se representa sobre un monitor 101 instalado en el habitáculo del vehículo 103. Este sector de imagen corresponde a lo que el conductor del vehículo 103 ve habitualmente sobre los espejos exteriores 102 en su posición sentada normal o a lo que puede ver allí girando o desplazando la cabeza. La zona A encerrada dentro de un círculo muestra la zona de transición entre el parabrisas 112 y una ventanilla lateral derecha 113 (aquí no visible). La zona A se muestra en la siguiente ilustración de la visión del conductor.

La figura 2 muestra el monitor 101 y el espejo exterior 102 de la zona A de la figura 1 vistos por el conductor en la parte derecha del habitáculo del vehículo 103. El monitor 101 está instalado en la columna A 114 de la cabina del conductor. Por tanto, no oculta ninguna zona del parabrisas 112 o de las ventanillas laterales 113. A través de la ventanilla lateral 113 se ve el espejo exterior 102, constituido aquí por dos partes, situado en el lado derecho del vehículo 103. El espejo exterior 102 oculta una parte del campo de visión del conductor y, por tanto, se sustituye por el monitor 101. Dicho espejo se ha representado aquí solamente a efectos de aclaración y comparación con la solución convencional.

La figura 3 muestra la parte trasera del remolque 105 con unas líneas seleccionadas L1, L2, L3 para determinar puntos de canto KP1, KP2, KP3. Éstas pueden estar también más a la izquierda, es decir, en el remolque, o más a la derecha, es decir, en el segundo plano. En la parte inferior se muestran movimientos de distintos puntos de imagen y una función de imagen correspondiente G(x), así como su derivada G'(x). La línea L1 está dispuesta en la zona inferior del remolque 105, aproximadamente a la altura de una unidad de piloto trasero 201, medido a aproximadamente 1 m de altura sobre la calzada. La línea L1 se corta en todo caso con el canto K5, con independencia de si el remolque 105 está provisto o no de una carrocería, un contenedor u otra carga que forme la parte superior del canto trasero K5. El punto de intersección de la línea L1 con el canto K5 es el punto de canto KP1. En la zona superior del remolque 105 está dibujada otra línea recta L3. Esta se encuentra en la zona superior de la carga o la carrocería y, por tanto, se puede evaluar bien. Su punto de intersección con el canto K5 es el punto de canto KP3. Como variante adicional se ha dibujado una línea curva L2 con el punto de canto KP2. Su curvatura está adaptada a las propiedades de la cámara 111 y/o a la geometría/naturaleza del remolque 105, pero aquí solo ha sido insinuada esquemáticamente.

En la mitad inferior de la figura 3 se muestran en la parte superior unos vectores de movimiento para algunos puntos de la línea L1. Su longitud insinúa la velocidad del movimiento y es tanto mayor cuanto más rápido sea éste. Como función de imagen se ha registrado la velocidad G(x). En la parte derecha ésta es positiva, correspondiendo al movimiento de los puntos de imagen que, al tomar una cuerva, se desplazan hacia la derecha en la imagen de cámara 104, KB. En la zona derecha G(x) es negativa, correspondiendo a los puntos de imagen del entorno 109 que se mueven hacia la izquierda en la imagen de cámara KB, 104. Se calcula una derivada solamente de una función de imagen basada en los valores de gris de los pixeles en la imagen, pero no de una función basada en vectores de movimiento. El procedimiento según la invención concluye tan pronto como se determinan los vectores de movimiento.

La figura 4 muestra a la izquierda, en el centro y a la derecha sendos monitores 101 con diferentes sectores 104a, 104b de la imagen de cámara 104. La descripción siguiente se refiere primeramente a la parte izquierda de la figura 4. El sector de imagen 104a aquí representado muestra todas las informaciones relevantes para el conductor en esta situación: El remolque 105 con su canto trasero K5 y, como objeto 108 del entorno 109, un turismo siguiente. Al tomar una curva el atalaje 106, el canto K5, se desplaza desde la posición representada en la parte izquierda de la figura 4, correspondiente al vector de movimiento BV, hacia fuera del sector de imagen 104a representado sobre el monitor 101 y hacia dentro del sector de imagen 104b. Esto se muestra en la parte central de la figura 4, en la que el sector de imagen 104a es visible sobre el monitor 101 y el sector de imagen 104b está a la derecha junto al monitor, es decir que no es visible para el conductor.

El sector de imagen representado sobre el monitor 101 se reajusta según la invención de conformidad con el valor del vector de movimiento BV. Como se muestra en la parte derecha de la figura 4, se representa entonces el sector de imagen 104b sobre el monitor 101, en el que el canto trasero K5 del remolque 105 es nuevamente visible para el conductor. Junto con el canto K5 vuelven a ser entonces también visibles para el conductor las partes del entorno 109 situadas detrás de dicho canto. El segmento de imagen 104a, que en esta situación no contiene ninguna información relevante para el conductor, está insinuado aquí a la izquierda junto al monitor 101, es decir que no es visible sobre éste.

La figura 5 muestra una unidad de control 110 según la invención y un diagrama de flujo del procedimiento según la invención. La unidad de control 110 tiene una unidad de determinación de punto de canto 215, una unidad de determinación de vector de movimiento 216, una unidad de determinación de grado de fiabilidad 217, una unidad de valoración de grado de fiabilidad 218 y una unidad de reajuste de sector de imagen 118. Una salida de la cámara 111 está unida con una entrada de la unidad de determinación de punto de canto 215. En la unidad de determinación de punto de canto 215 se ejecuta un primer paso S1. Su salida está unida con una entrada de la unidad de determinación de vector de movimiento 216. La unidad de determinación de punto de canto 215 está unida con una memoria 202. Según una variante de la invención, se recuperan de la memoria 202 una o varias líneas Li que se emplean para determinar el punto de canto KPi. Existe también la posibilidad de archivar en la memoria 202 una línea Li eventualmente modificada, actualizada o nueva. Esto se efectúa, por ejemplo, saliendo del paso S1, operando desde fuera en la unidad de control 110 o procediendo de otra manera adecuada.

Según una variante, se hace lo mismo con la unidad de determinación de vector de movimiento 216. Se almacenan aquí en una memoria los vectores de movimiento de la imagen anterior y se les emplea para inicializar la determinación de vector de movimiento en la imagen inmediata siguiente. En una variante alternativa se emplean entonces también en esta memoria, para la inicialización, las informaciones de modelos ambientales o de modelos de vehículos.

En la unidad de determinación de vector de movimiento 216 se ejecuta un segundo paso S2; su salida está unida con la unidad de determinación de grado de fiabilidad 217. En ésta se ejecuta un paso S31: su salida está unida con la unidad de valoración de grado de fiabilidad 218. En ésta se ejecuta un paso S32; su salida está unida con la unidad de reajuste de sector de imagen 118. En ésta se ejecuta un cuarto paso S4.

En el primer paso S1 se determina la posición KP, KP1, KP2, KP3, designada generalmente como posición KPi, de un canto vertical en la imagen a partir de al menos una imagen de cámara KB(tj). En el procedimiento de cotejo de características se recorren también todos los pasos, como se muestra en la figura 5. La diferencia consiste únicamente en que en el paso S2 se emplean puntos característicos de dos imágenes consecutivas para determinar los vectores. En las demás formas de realización se determinan los puntos característicos a partir de una sola imagen de cámara.

Según una forma de realización para el paso S1 mostrada en la figura 6, se selecciona en el paso S101 al menos una línea L1, L2, L3, Li que se corta con el canto K5 para determinar la posición de este canto K5. A lo largo de esta línea, y no en toda la imagen de cámara, se detecta en el paso S102 el punto de canto KP1, KP2, KP3. Para este punto de canto KP1, KP2, KP3 se determina en el segundo paso S2 un vector de movimiento BV1, BV2, BV3 a partir de varios valores KPi(Tj) temporalmente consecutivos.

La línea L1, L2, L3, Li es preferiblemente una línea prefijada Li archivada en una memoria 202 del vehículo 103 mostrada en la figura 5. En la memoria 202 están almacenadas ventajosamente varias líneas Li adaptadas a diferentes condiciones ambientales o configuraciones de vehículo. Así, por ejemplo, están previstas diferentes líneas prefijadas para diferentes longitudes de remolque, para diferentes longitudes de vehículo, para atalajes con varios remolques, para remolques con carrocería alta o baja y similares. Según una variante, se archiva en la memoria 202 una línea Li adaptada a una nueva configuración de vehículo y remolque para que esté disponible en el futuro. Esto puede ser tanto para el paso o pasos inmediatos siguientes dentro de un breve plazo como permanentemente para todas las ejecuciones futuras del procedimiento.

En el paso S31 se determina un grado de fiabilidad BVV1, BVV2, BVV3 para el vector de movimiento BV1, BV2, BV3. En caso de que el grado de fiabilidad BVV1, BVV2, BVV3 esté dentro de un intervalo prefijado, especialmente cuando sea mayor que un valor mínimo, se reenvía un valor BV al paso S4. El sector de imagen KBA se reajusta en el paso S4 de conformidad con el valor BV del vector de movimiento.

Según una forma de realización para el paso S1 mostrada en la figura 7, se eligen la línea Li en el paso S121 y varios puntos KPi-k sobre esta línea Li en el paso S122. Para determinar la posición del canto K5 se determina en el paso S123 sendos vectores de movimiento BVi-k para los puntos KPi-k de la línea Li que se corta con el canto vertical K5 del remolque 105. Según un ejemplo, se analiza entonces la secuencia de los vectores BVi-k determinados para estos puntos KPi-k para descubrir discontinuidades a lo largo de esta línea Li. A este fin, se forma en el paso S124 la diferencia Ai-k de dos vectores de movimiento consecutivos BVi-k, BVi-(k-1) y se forma en el paso S125 el máximo de la diferencia Ai-k. El punto PKi en el que está situado el máximo, es decir, en el que se presenta la discontinuidad, se determina como punto de canto KPi. El vector de movimiento BVi perteneciente a este punto de canto PKi se emplea, según esta variante, en lugar del vector de movimiento BVi determinado en el paso S2. Convenientemente, se pueden utilizar aquí también otras posibilidades conocidas para determinar el canto K5. Según una forma de realización para el paso S1 mostrada en la figura 8, se evalúa una función de imagen G(x) a lo largo de la línea Li, véase la figura 3, para determinar la posición del canto K5. A este fin, se selecciona una línea Li en el paso S111 y se determina en el paso S112 una derivada G'(x), es decir, se determinan los valores de gris a lo largo de la línea Li, y se determina en el paso S113 una derivada G'(x). La selección de la línea Li se realiza en una primera variante de conformidad con los pasos S101 o S121.

En el paso S114 se determinan los extremos locales G(KP1), G(KP1-1) a partir de G'(Li(x)). Estos corresponden a los puntos de canto KPi. Para la búsqueda de los extremos locales se toman las derivadas de la función de imagen a lo largo de las líneas horizontales L1, L2, L3. Éstas se someten eventualmente a un filtrado pasabajos previo para suprimir el ruido. Las derivadas se forman, por ejemplo, por medio de diferencias finitas en la función de intensidad o por medio de distancias de color de píxeles contiguos en espectros de color adecuados. Es posible también adaptar de manera correspondiente un procedimiento corriente para realizar el reconocimiento de características.

En el paso S2, es decir, para la determinación de los vectores de movimiento, se utiliza un sistema de ecuaciones 2x2. Para determinar la matriz final MF se adiciona la matriz de regularización: Mf = Rot * Reg MM = Rot * Reg MAT * M. Esta matriz final da como resultado entonces, con un vector de derivada temporal de intensidad de imagen b, un sistema de ecuaciones a partir del cual se determina el vector de movimiento: BV = MFA-1 MAT b. Conforme a este vector de movimiento BV se determina entonces el nuevo vector de derivada de intensidad de imagen b y se repite así iterativamente el cálculo algunas veces. Los detalles son conocido bajo el término “método de Lucas-Kanade”.

En el caso de SIFT o de procedimientos semejante se efectúa esta adaptación preferiblemente como sigue: Se calcula solamente una llamada pirámide “scale space” a lo largo de la línea horizontal, es decir en una dimensión en vez de dos. Se obtiene así un scale space bidimensional en el que pueden buscarse los extremos por la comparación del valor actual con solo ocho valores vecinos, en lugar de los 26 de otros casos. No es necesaria una eliminación subsiguiente de puntos de canto. De esta manera, casi se garantiza en condiciones ambientales adecuada que se encuentre un punto sobre el canto del remolque.

Según una forma de realización de la invención, el cálculo de vector de movimiento en el segundo paso S2 o en el paso 123 se efectúa como sigue: Se emplea un procedimiento de flujo óptico diferencial, por ejemplo según B. D. Lucas y T. Kanade (1981) “An iterative image registration technique with an application to stereo vision”, Proceedings of Imaging Understanding Workshop, páginas 121-130.

Cuando se emplean procedimientos iterativos implícitos de solución, se acelera y mejora netamente el cálculo por inicialización con una estimación vectorial. En caso de que se trabaje adicionalmente con planos jerárquicos de resolución, se pueden dejar de considerar y, por tanto, de calcular jerarquías de resolución sometidas a un fuerte filtrado pasabajos sin que se produzca una degradación del resultado.

La figura 9 muestra un detalle para determinar el punto de canto KPi. La solución del sistema de ecuaciones no se diferencia de lo conocido bajo el término “método de Lucas-Kanade”. No obstante, la invención se diferencia de éste en el presente ejemplo de realización en lo que sigue: En primer lugar, la inicialización en la primera iteración se efectúa con una estimación vectorial - en lugar de hacerla con un vector nulo - que viene dada por vectores de movimiento anteriores o por un modelo de vehículo. Se pueden suprimir también parcialmente los primeros planos jerárquicos de resolución. En segundo lugar, la regularización es perpendicular a la línea horizontal. En tercer lugar, se efectúa una actualización de la matriz 2x2 MM o MF en vez de un nuevo cálculo. Esta actualización funciona como sigue: M consiste en una matriz nx2, designando n el número de píxeles empleados dentro de un entorno alrededor del punto de canto actual. En cada una de estas n posiciones se calcula un gradiente que se inscribe después en las filas de la matriz M. Si se debe calcular ahora también MM = MAT * M para el cálculo de MF en una posición de canto adyacente con un entorno superpuesto, se emplea, en lugar de un doble cálculo de gradiente y adición en la zona de intersección, el procedimiento siguiente: Se calculan tres matrices MM_1, MM_r y MM_s, concretamente la matriz MM_1 a partir de las posiciones de entorno que pueden encontrarse exclusivamente en el entorno de la primera posición de canto KP1, la matriz MM_r a partir de las posiciones de entorno que pueden encontrarse exclusivamente en el entorno de la segunda posición de canto KP2, y la matriz MM_s a partir de las posiciones de entorno que pueden encontrarse tanto en el entorno de la primera posición de canto KP1 como en el entorno de la segunda posición de canto KP2, o sea, por así decirlo, en la cantidad de intersecciones. La matriz para la primera posición de canto KP1 se obtiene ahora como MM1 = MM_1 MM_s y la matriz para la segunda posición de canto KP2 se obtiene como MM2 = MM_r MM_s. El procedimiento se puede ampliar convenientemente también a más de dos zonas del entorno. Se cumple entonces: MF = Rot * Reg MM, con MM = MAT * M: MF = Rot * Reg MAT * M, y BV = MFA-1 MAT * b. En cada iteración se resuelve un sistema de ecuaciones 2x2 para actualizar el vector de movimiento calculado. En el caso de una línea de características exactamente horizontal L1, L3 se pueden preferir, con ayuda de un regularizador de Tikhonov limitado a la dirección vertical, vectores cuya componente vertical corresponda a la de la estimación vectorial. A este fin, se adiciona a la matriz 2x2 correspondiente una matriz [0, 0; 0, r], correspondiendo r a la magnitud de la regularización. En el caso de una línea curva L2 se regulariza en una dirección correspondientemente ortogonal multiplicando para ello una matriz de rotación. Como grado de fiabilidad se emplea preferiblemente el número de condiciones K de la matriz final. Se evitan cálculos dobles en puntos de canto KPi situados uno cerca de otro, ya que, para la obtención de las matrices, en el caso de vecindades superpuestas, únicamente se actualizan las matrices en lugar de realizar siempre un nuevo cálculo. Se suprimen así nuevas adiciones en la zona superpuesta.

Según una forma de realización de la invención, el cálculo de vector de movimiento en el segundo paso S2 se efectúa como sigue: Se emplea un procedimiento de comparación de píxeles, el llamado emparejamiento de bloques. El emparejamiento de bloques se utiliza frecuentemente en la videocompresión. Existen diversos patrones de búsqueda rápida que comienzan típicamente con la búsqueda en el mismo sitio de la imagen anterior KB(t^j-1). Por el contrario, en el presente caso se comienza con la búsqueda en la posición estimada para establecer la aceleración. Para la regularización se modifica ligeramente el criterio de distancia empleado, por ejemplo SAD, SSD, mediante la adición de un valor de penalización. El valor de penalización corresponde aquí a la distancia a la coordenada vertical de la estimación de vector de movimiento. Como exactitud de ajuste se emplea típicamente este mismo criterio de distancia. En el caso de bloques solapados, se evitan preferiblemente aquí también cálculos dobles mediante la reutilización de adiciones ya realizadas en el ámbito de la superposición.

Según una forma de realización de la invención, el cálculo de vector de movimiento en el segundo paso S2 se efectúa como sigue: Se utiliza un procedimiento de cotejo de características.

La figura 10 muestra la indicación en el monitor 101 con la línea L1 no indicada allí realmente, la cual se encuentra aquí a 1 m sobre el suelo, el plano D1. La línea horizontal L1 está típicamente curvada en esta vista y, por tanto, también se representa de esta manera. En el caso de una búsqueda completa, no se logra ninguna ventaja mediante una inicialización adecuada. Sin embargo, según la invención se limita localmente la comparación de puntos característicos entre dos imágenes de cámara consecutivas KB(t^j-1), KB(t^j). La búsqueda se sigue limitando en este caso al entorno de la estimación vectorial. Véase a este respecto la figura 11 con la línea L1(t) en el instante t y, rayado, su entorno U(t) empleado para la estimación vectorial. Frente a éstos están desplazados la línea L1(t+1) y su entorno U(t+1) en un instante posterior t+1. Preferiblemente, la detección de puntos de canto KP1, KP2, KP3 en la segunda imagen, la cual tiene lugar aquí adicionalmente a la realizada en la imagen actual, se limita también a la línea horizontal L1 (t+1) desplazada en la medida de la estimación vectorial y opcionalmente a su entorno. Se quiere dar a entender aquí una línea L1 (t+1) temporalmente desplazada en dirección vertical, pero que, por un lado, no se reutiliza como línea en una imagen posterior y, por otro lado, no se determina a partir de los vectores de movimiento determinados BVi, sino a partir de los vectores de, por ejemplo, un modelo de entorno. Los vectores de movimiento BVi representan el movimiento de los puntos de canto KPi entre el instante t y el instante t+1. Por consiguiente, se puede utilizar aquí el procedimiento anteriormente descrito. Para el punto de canto KPB se adiciona en la regularización un valor de penalización, ya que está muy alejado de la línea horizontal desplazada L1 (t+1). Al igual que con el emparejamiento de bloques, se regulariza aquí también mediante la adición de un valor de penalización al criterio de distancia de características o al valor del descriptor. En este caso, se emplea como exactitud de ajuste la distancia entre los descriptores mejor coincidentes en el espacio de los mismos.

En un cuarto paso S4 se reajusta el sector de imagen de cámara KBA de conformidad con la posición KP, KP1, KP2; KP3 del canto vertical K5.

Queda al criterio del experto el sustituir algunas variantes de las formas de realización por otras adecuadas, así como el modificarlas o combinarlas de una manera distinta a la anteriormente descrita.

Claims (12)

REIVINDICACIONES

1. Procedimiento de reajuste de un sector (104a, 104b, KBA) de una imagen (104, KB) de una cámara representado sobre un monitor (101) en sustitución de un espejo exterior (102) de un vehículo (103) cuando toma un curva un atalaje (106) constituido por el vehículo (103) y un remolque (105), caracterizado por que

- se determina la posición (KP, KP1, KP2, KP3) de un canto vertical (K5) del remolque (105) a partir de al menos dos imágenes de cámara consecutivas (KB(tj)) y

- se reajusta el sector de imagen (104a, 104b) de conformidad con la posición (KP, KP1, KP2, KP3) del canto vertical (K5).

2. Procedimiento según la reivindicación 1, en el que

- se determina al menos un punto (KP1, KP2, KP3) de un canto vertical (K5) del remolque (105) como punto de canto (KP1, KP2, KP3) a lo largo de al menos un línea (L1, L2, L3) que se corta con este canto (K5),

- se determina para este punto de canto (KP1, KP2, KP3) un vector de movimiento (BV1, BV2, BV3),

- se determina un grado de fiabilidad (BVV1, BVV2, BVV3, BVVi) para el vector de movimiento (BV1, BV2, BV3) y - se reajusta el sector de imagen (104a, 104b) de conformidad con el valor del vector de movimiento (BV1, BV2, BV3) cuando el grado de fiabilidad (BVV1, BVV2, BVV3) está dentro de un intervalo prefijado.

3. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se determina unos extremos locales (G(KP1-k), G(KP2-k), G(KP3-k)) en derivadas (G'(x)) de una función de imagen (G)x)) a lo largo de la línea (L1, L2, L3).

4. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se adapta un procedimiento cualquiera de detección de puntos al caso unidimensional sobre la línea (Li).

5. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se determina un respectivo vector de movimiento (BVi-k) para varios puntos (KPi-k) de la línea (Li) que se corta con el canto vertical (K5) del remolque (105).

6. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se determina la línea (Li(t)) de una imagen de cámara KB(t) a evaluar que se corta con el canto vertical (K5), a partir de la línea (Li(t-1)) empleada para evaluar la imagen de cámara precedente (KB(t-1)), por desplazamiento de dicha línea en la medida del vector de movimiento (BV1(t-1)) determinado para la imagen de cámara precedente (KB(t-1)).

7. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se resuelve un sistema de ecuaciones 2x2 para actualizar un vector de movimiento (BVi(t-1)).

8. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se determina una matriz regularizada (MR) por adición de una matriz de regularización (Reg) a una matriz 2x2 (M) del sistema de ecuaciones.

9. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se determina una matriz final (MF) multiplicando la matriz de regularización (Reg) por una matriz de rotación(Rot).

10. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se emplea el número de condiciones (K) de la matriz final (MF) como grado de fiabilidad (BVVi).

11. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se inicializa y/o se determina el procedimiento de búsqueda de vector de movimiento por medio de vectores de movimiento anteriores (BVi(t-1) y/o por conocimientos previos.

12. Unidad de control (110) para reajustar un sector (104a, 104b, KBA) de una imagen (104, KB) de una cámara representado sobre un monitor (101) en sustitución de un espejo exterior (102) de un vehículo (103) cuando toma un curva un atalaje (106) constituido por el vehículo (103) y un remolque (105), caracterizada por:

- una unidad de determinación de punto de canto (215) por medio de la cual se determina al menos un punto (KP1, KP2, KP3) de un canto vertical (K5) del remolque (105) como punto de canto (KP1, KP2, KP3) a lo largo de al menos un línea (L1, L2, L3) que se corta con este canto (K5),

- una unidad de determinación de vector de movimiento (216) por medio de la cual se determina para este punto (KP1, KP2, KP3) del canto un vector de movimiento (BV1, BV2, Bv 3),

- una unidad de determinación de grado de fiabilidad (217) por medio de la cual se determina un grado de fiabilidad (BVV1, BVV2, BVV3) para el vector de movimiento (BV1, BV2, BV3),

- una unidad de valoración de grado de fiabilidad (218) por medio de la cual se determina si el grado de fiabilidad (BVV1, BVV2, BVV3) está dentro de un intervalo prefijado, y

- una unidad de reajuste de sector de imagen (118) por medio de la cual se reajusta el sector de imagen (104a, 104b, KBA) de conformidad con el valor (BV) del vector de movimiento (BV1, BV2, BV3) cuando el grado de fiabilidad (BVV1, BVV2, BVV3) está dentro del intervalo prefijado.