ES2535018T3 - Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado - Google Patents

Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado Download PDF

Info

Publication number
ES2535018T3
ES2535018T3 ES10003856.1T ES10003856T ES2535018T3 ES 2535018 T3 ES2535018 T3 ES 2535018T3 ES 10003856 T ES10003856 T ES 10003856T ES 2535018 T3 ES2535018 T3 ES 2535018T3
Authority
ES
Spain
Prior art keywords
determined
matrix
points
orientation
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10003856.1T
Other languages
English (en)
Inventor
Patrick Heinemann
Björn Giesler
Martin Roehder
Julian Braun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Application granted granted Critical
Publication of ES2535018T3 publication Critical patent/ES2535018T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11Pitch movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112Roll movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114Yaw movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado, en particular el cambio del ángulo de cabeceo y/o ángulo de balanceo y/o ángulo de guiñada, en el cual el parámetro objetivo es determinado a partir del desplazamiento de perspectiva de puntos de orientación notables de al menos dos imágenes cronológicamente consecutivas tomadas por un dispositivo de toma de imágenes, en particular una monocámara, colocada en una relación posicional fija con el vehículo motorizado y en el cual del desplazamiento en perspectiva se determinan una matriz de rotación que describe la rotación del dispositivo de toma de imágenes entre la toma de ambas imágenes y de allí la dimensión del objeto prefijado, caracterizado por que para la determinación de la matriz de rotación - se determina una matriz fundamental que describe el desplazamiento en perspectiva, en particular mediante un algoritmo de ocho puntos, - se determina una matriz esencial respetando la calibración intrínseca que describe las características de reproducción del dispositivo de toma de imágenes puesta a disposición como magnitud de entrada, - mediante la descomposición de valor singular a partir de la matriz esencial se determinan cuatro matrices de cámara posibles que comprenden una posible rotación del dispositivo de toma de imágenes entre las tomas de ambas imágenes, - para la determinación de la matriz de cámara correcta para al menos un punto de orientación, en particular múltiples puntos de orientación, es determinada la reconstrucción tridimensional y controlado respecto de si el punto reconstruido se encuentra delante del dispositivo de toma de imágenes, - de la matriz de cámara correcta se determina la matriz de rotación, usando en particular un algoritmo RANSAC, múltiples matrices fundamentales de diferentes conjuntos parciales de los puntos de orientación y se determina una matriz fundamental óptima mediante la comprobación de cada matriz fundamental en otros puntos de orientación.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65 E10003856
15-04-2015
DESCRIPCIÓN
Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado
La invención se refiere a un procedimiento para la determinación automática de al menos un parámetro objetivo que describa el cambio de posición de un vehículo motorizado, en particular el cambio del ángulo de cabeceo y/o ángulo de balanceo y/o ángulo de guiñada.
Para un número creciente de aplicaciones en el vehículo motorizado se requiere actualmente también una información respecto de la posición actual, o sea la orientación, del vehículo motorizado. Como ejemplo deben hoy nombrarse sistemas de asistencia al conductor que incluyen un sinnúmero de sensores del campo circundante. Estos sensores entregan información respecto del campo circundante del vehículo en relación con la orientación constructiva en el vehículo motorizado. Como, sin embargo, la posición del vehículo respecto del campo circundante no es fija, se produce en la localización de datos de entorno un error en función del movimiento intrínseco del vehículo.
Para recolectar informaciones respecto de la posición del vehículo motorizado es conocido, por ejemplo, consultar datos a la estructura básica o usar una plataforma de navegación inercial, con una pluralidad de sensores de aceleración y/o de velocidad de giro, instalada en el vehículo motorizado. No obstante, las informaciones disponibles según la estructura básica respecto de la posición del vehículo son muy imprecisas y, por ejemplo, no apropiadas para una detección de campo circundante precisa. Al usar una plataforma de navegación inercial se detectan con frecuencia ángulos de posición muy derivantes; además está tecnología es muy cara.
La detección de la posición de un vehículo a partir de las tomas de un dispositivo de toma de imágenes se conoce, por ejemplo, por los documentos WO 2006/002322, US 2004/0179104 y DE 10 2004 057 947.
La invención tiene el objetivo de indicar un procedimiento para la determinación del cambio de posición de un vehículo motorizado que permita una a ser posible precisa y rápida determinación, sea constructivamente poco costoso y sencillo de realizar.
Este objetivo se consigue según la invención mediante el procedimiento definido en la reivindicación 1.
En este caso se ha previsto que el parámetro objetivo es determinado a partir del desplazamiento de perspectiva de puntos de orientación notables de al menos dos imágenes cronológicamente consecutivas tomadas por un dispositivo de toma de imágenes, en particular una monocámara, colocada en una relación posicional fija con el vehículo motorizado.
Por consiguiente se propone que para la determinación de dimensiones de objeto prefijado usar únicamente al menos dos imágenes cronológicamente consecutivas de un dispositivo de toma de imágenes, por ejemplo una cámara, o sea una primera imagen tomada en un primer instante y una segunda imagen tomada en un segundo instante. En particular, es posible usar imágenes inmediatas cronológicamente consecutivas. Consecuentemente, estas imágenes cubren el intervalo de tiempo, concretamente la diferencia entre el primer y el segundo instante, y de ellos es posible determinar mediante el procedimiento según la invención el cambio de posición del vehículo motorizado en términos cualitativos y cuantitativos. Para ello, en primer lugar, se han previsto determinar puntos de orientación notables, por ejemplo ángulos o similares. Los puntos de orientación se destacan porque, determinados en la primera imagen es posible detectarlos nuevamente también en la segunda imagen gracias a su entorno. Los puntos de orientación correspondientes a los puntos de orientación en la segunda imagen, frecuentemente también se denominan puntos de correspondencia. Consecuentemente, resulta un campo de movimiento (el desplazamiento en perspectiva) que describe una regla de cómo varía la posición de los puntos de orientación de la primera imagen a la segunda imagen: para conseguir una información fiable es posible determinar, por ejemplo, 1.000 a 2.000 puntos de orientación.
El desplazamiento de perspectiva está, por consiguiente, en una relación concreta respecto del cambio de posición del dispositivo de toma de imágenes entre la toma de ambas imágenes: como dispositivo de toma de imágenes se encuentra en una relación posicional fija respecto del vehículo motorizado, el desplazamiento en perspectiva determinado puede, por consiguiente, ser evaluado para determinar las dimensiones de objeto prefijado que describen el cambio de posición del vehículo motorizado.
Como dispositivo de toma de imágenes se puede usar, en particular, un dispositivo de toma de imágenes previsto de todos modos en el vehículo motorizado, por ejemplo una cámara de entorno de un sistema de asistencia el conductor. Como las posibilidades de determinar tales puntos de orientación son conocidos, tema sobre el cuál se volverá en detalle más adelante, en el procedimiento según la invención no es necesario, por consiguiente, ningún conocimiento previo, a excepción dado el caso del calibrado intrínseco del dispositivo de toma de imágenes, de modo que el procedimiento según la invención puede, ventajosamente, ser realizado sencillamente, en cualquier
E10003856
15-04-2015
vehículo motorizado provisto de un dispositivo de toma de imágenes. Además, se produce un perfeccionamiento de la precisión que conlleva mayor calidad y seguridad de las funciones vehiculares. De esta manera, dado el caso, se puede prescindir de sensores especiales. En particular, mediante el procedimiento según la invención es posible con una medición frecuente conseguir una elevada resolución angular, siendo posible de manera particularmente
5 ventajosa determinar como dimensiones de objeto prefijado los cambios del ángulo de cabeceo y/o del ángulo de balanceo y/o del ángulo se guiñada.
En este punto se debe remarcar que la disposición o bien posición del dispositivo de toma de imágenes en el vehículo motorizado puede ser seleccionada de manera completamente aleatoria, ya que finalmente se determinan 10 cambios que son visibles en todas direcciones.
Como ya se ha mencionado, se conocen algoritmos para la realización de los diferentes pasos del dispositivo según la invención conocido, básicamente, según el estado actual de la técnica. Es así que, por ejemplo, puede estar previsto que los puntos de orientación en la primera imagen sean determinados por medio de un algoritmo SIFT 15 (Scale-Invariant Feature Transform) y/o un algoritmo de detección de ángulos, en particular un algoritmo de detección de ángulos de Harris y/o un algoritmo FAST (Features from Accelerated Segment Test). Mientras las primeras dos posibilidades ya se conocen desde hace mucho tiempo, el algoritmo FAST, que trabaja rápidamente y es particularmente bien apropiado para el procedimiento de la invención, es verdaderamente novedoso. Para mayor información en ese sentido nos debemos referir al artículo de Edward Rosten and Tom Drummond, "Machine
20 learning for high-speed corner detection", European Conference on Computer Vision 2006, 430-443. Mediante dichos algoritmos se determinan, finalmente, características de la imagen mediante la cual se identifican los puntos de orientación por medio de su entorno.
Para poder detectar en la segunda imagen los puntos de correspondencia de los puntos de orientación
25 determinados en la primera imagen es posible, por ejemplo, usar el método de Lukas-Kanade y/o el método de Horn-Schunk y/o el algoritmo SIFT que puede ser empleado para la determinación de puntos de orientación como también de puntos de correspondencia. También dichos diferentes algoritmos ya son ampliamente conocidos, de manera que los puntos de orientación en la segunda imagen pueden ser recuperados y, por lo tanto, el campo de movimiento se encuentra determinado.
30 Según la invención, se ha previsto que del desplazamiento en perspectiva se determine una matriz de rotación que describa la rotación del dispositivo de toma de imágenes entre la toma de ambas imágenes y determine de allí la dimensión del objeto prefijado. Una matriz de rotación de este tipo indica, consecuentemente, la posición que ocupa el dispositivo de toma de imágenes en la toma de la segunda imagen respecto de su posición en la toma de la
35 primera imagen. En este caso, concretamente, puede estar previsto que para la determinación de la matriz de rotación -se determine una matriz fundamental que describe el desplazamiento en perspectiva, en particular mediante un algoritmo de ocho puntos, -se determine una matriz esencial respetando la calibración intrínseca que describe las características de 40 reproducción del dispositivo de toma de imágenes puesta disposición como magnitud de entrada,
-se determinan cuatro matrices de cámara que abarcan una posible rotación del dispositivo de toma de imágenes entre las tomas de ambas imágenes, mediante la descomposición de valor singular a partir de la matriz esencial,
-la reconstrucción tridimensional es determinada y controlada respecto de si el punto reconstruido se 45 encuentra delante del dispositivo de toma de imágenes para la determinación de la matriz de cámara correcta para al menos un punto de orientación, en particular múltiples puntos de orientación, -la matriz de rotación sea determinada a partir de la correcta matriz de cámara.
O sea, en primer lugar, se determina la matriz fundamental o bien una matriz fundamental óptima.
50 La matriz fundamental está caracterizada mediante siete variables desconocidas, de manera que, básicamente, siete puntos son suficientes para crear una ecuación lineal; porque la matriz fundamental resulta de la ecuación definitoria
pi F qi =0
55 cuando con pi se referencia un punto de orientación, con qi el punto de correspondencia respectivo mediante, designando F la matriz fundamental. De tal manera, aquí se calcula con coordenadas homogéneas. Conocida para la determinación de la matriz fundamental es, particularmente, el algoritmo de ocho puntos que agrega otro punto, por consiguiente sobredetermina el sistema de ecuaciones para permitir inmediatamente una primera comprobación.
60 Por consiguiente, la matriz fundamental describe la geometría, o sea una reproducción entre la primera imagen y la segunda imagen.
En este punto debe mencionarse que en el procedimiento según la invención, en las imágenes se puede respetar también, ventajosamente, la existencia de puntos de orientación que se mueven relativamente respecto del entorno 65 estático. De tal manera, finalmente, se parte de la idea de que la mayoría de los puntos usados para la
5
10
15
20
25
30
35
40
45
50
55
60
65 E10003856
15-04-2015
determinación de la matriz fundamental son estáticos, de manera que se puede encontrar una matriz fundamental óptima que se refiera a estos puntos estáticos. Para ello se ha previsto, según la invención, que particularmente usando un algoritmo RANSAC se determinan múltiples matrices fundamentales de diferentes conjuntos parciales de los puntos de orientación y se determina una matriz fundamental mediante la comprobación de cada matriz fundamental óptima en otros puntos de orientación. El algoritmo RANSAC es, finalmente, un procedimiento de Monte-Carlo, que selecciona muestras de las cuales se determinan matrices fundamentales. Por ejemplo, en 1.000 a
2.000 pueden ejecutarse puntos de orientación, por ejemplo en el rango de varios centenares de muestras. Las matrices fundamentales determinadas de esta manera son comprobadas, entonces, mediante otros puntos de orientación para, por lo tanto, comprobar cuál es la matriz fundamental que para la mayoría de los puntos copia la reproducción correcta sobre los puntos de correspondencia.
La matriz fundamental F describe el espacio tridimensional de las tomas de imágenes solamente hasta una reproducción en perspectiva, ya que hasta ahora la geometría de cámaras es aceptada como geometría unitaria, de manera que, para poder emitir un resultado respecto de un espacio tridimensional en el cual se encuentra el dispositivo de toma de imágenes y el vehículo motorizado, se determina ahora la matriz esencial en un paso siguiente a dicha configuración. Para ello, del dispositivo de toma de imágenes se necesita la calibración intrínseca que describe las características de reproducción del dispositivo de toma de imágenes. Si una matriz que describe las características de reproducción del dispositivo de toma de imágenes como calibración intrínseca es designada con K, vale para la matriz esencial
E = KTFK
Por consiguiente, la matriz esencial comprende no solamente la geometría, sino adicionalmente también las características de proyección del dispositivo de toma de imágenes, luego de haber sido incorporada por medio de la matriz K que reproduce la proyección del espacio tridimensional en el espacio bidimensional de las imágenes. No obstante, la matriz esencial tiene, finalmente, cuatro soluciones posibles para una rotación de cámara, debido a la emisión de datos bidimensionales. Consecuentemente, en el siguiente paso se determinan cuatro matrices de cámara que en el espacio cuatridimensional describen, además de las características de proyección, la rotación y la traslación de una matriz común (se usan coordenadas homogéneas), de las cuales cada una corresponde a una de las soluciones. O sea, la matriz de cámara describe cómo un punto definido en un sistema de coordenadas tridimensionales con un origen definido en la posición del dispositivo de toma de imágenes durante la toma de la primera imagen es reproducido en la imagen bidimensional por la posición del dispositivo de toma de imágenes durante la toma de la segunda imagen. Para ahora poder seleccionar la matriz de cámara correcta, se realiza una prueba multipuntos, lo que significa que se calcula la reconstrucción tridimensional de múltiples puntos hasta una escalada y comprueba si los puntos realmente se encuentran delante del dispositivo de toma de imágenes. En este caso, unos pocos puntos, por ejemplo 6 a 8 puntos son suficientes para excluir, por ejemplo, puntos de orientación patológicos
De la matriz correcta de cámara se puede ahora de manera sencilla determinar la matriz de rotación y de allí la/s dimensión/es de objeto prefijado, en particular los ángulos que indican el cambio de orientación.
Como ya se mencionó, resultan un sinnúmero de posibilidades de aplicación para las dimensiones de objeto prefijado determinadas mediante el procedimiento según la invención. No obstante, el procedimiento según la invención es útil ventajosamente en la adaptación de visualizaciones que reproducen, por ejemplo, informaciones respecto de objetos situados delante del vehículo motorizado, que después pueden ser adaptadas. De manera particularmente ventajosa es posible aplicar el procedimiento según la invención en el margen de la “Augmented reality”, en la que mediante una visualización head-up se proyectan para el conductor informaciones adicionales sobre el parabrisas, lo que se ha de producir a manera análoga a un contacto. De manera acorde, tales representaciones también se denominan representaciones análogas a contactos. Con ello es posible, por ejemplo, destacar especialmente objetos representando encima de ellos una información más clara. Representaciones análogas a contactos son especialmente delicadas respecto de cambios de la posición del vehículo, de manera que las dimensiones de objeto prefijado determinables rápida, sencilla y precisamente mediante el procedimiento según la invención pueden tener aplicación en este caso. Una especial ventaja es en este caso cuando la representación de informaciones mostradas se determinan, al menos en parte, a partir de imágenes del mismo dispositivo de toma de imágenes, es decir que la representación análoga a contactos tiene por base las mismas imágenes que la Determinación de dimensiones de objeto prefijado, de manera que, finalmente, es posible reajustar “en la imagen” y estabilizar y mejorar la representación análoga a contactos. O sea, también se determina cómo se mueve la imagen.
Por supuesto, las dimensiones de objeto prefijado determinadas también se pueden usar para otros sistemas vehiculares, por ejemplo para la regulación de estructuras básicas y/o para el preprocesamiento de imágenes y/o por un sistema de asistencia al conductor. En el preprocesamiento de imágenes, el procedimiento según la invención puede ser usado, por ejemplo, para como quien dice “desmover” imágenes o, particularmente, un videoclip teniendo también en cuenta el movimiento en el que se basan. Otro campo de aplicación ventajoso son también los sistemas de navegación que usando sensores de navegación deben detectar objetos en una imagen tomada por un o el dispositivo de imágenes. Porque un sensor de radar no puede determinar el ángulo de cabeceo bajo el cual se
E10003856
15-04-2015
encuentra un objeto, de manera que no se sabe exactamente donde en la imagen se debería encontrar el objeto. En este caso es posible como información adicional tener en cuenta como parámetro objetivo, por ejemplo, el cambio del ángulo de cabeceo.
5 Debe mencionarse que el procedimiento según la invención puede ser combinado, naturalmente, también con otras posibilidades para la determinación de la posición del vehículo motorizado o su cambio, por ejemplo como correctivo complementario, como comprobación de plausibilidad o similares.
Otras ventajas y detalles de la presente invención resultan de los ejemplos de realización descritos a continuación y 10 mediante los dibujos. Muestran:
La figura 1, un ciclograma del procedimiento según la invención,
la figura 2, una ilustración del desplazamiento de características de imagen a imagen, y 15 la figura 3, una representación esquemática de un vehículo motorizado.
La figura 1 muestra un ciclograma del procedimiento según la invención. En este caso, para determinar el cambio de posición de un vehículo motorizado se usan imágenes de un flujo de imágenes de una monocámara o una cámara 20 monocular. En este caso, la cámara está dispuesta fija en términos de posición respecto del vehículo motorizado. Entran al procedimiento según la figura 1 dos imágenes cronológicamente consecutivas 1 y 2, caracterizadas mediante las referencias n-1 y n, y la calibración intrínseca 3 de la cámara, en este caso designada con la referencia
K. La calibración intrínseca de la cámara comprende sus características de reproducción, o sea, por ejemplo, la resolución, la distancia focal, distorsiones por lentes o similares.
25 En un paso S1 se determinan en primer lugar en la primera imagen 1 puntos de orientación pi que se destacan especialmente, o sea, por ejemplo, ángulos que debido a su entorno se presume que puedan reencontrarse sin problemas en la imagen 2. Tal extracción de características o características de puntos identificatorios se puede producir, por ejemplo, por medio de un algoritmo SIFT, una detección de ángulos de Harris o un algoritmo FAST.
30 Entonces, en un paso S2 se determinan en la imagen 2 los puntos de correspondencia qi asignados a los puntos de orientación pi. Ello puede suceder, por ejemplo, mediante el método de Lucas-Kanade, el método de Horn-Schunk o también el algoritmo SIFT. Si para el punto de orientación pi no se encuentra ningún punto de correspondencia qi, se desecha el punto de orientación.
35 De este modo se conoce ahora el campo de movimiento (y con ello el desplazamiento en perspectiva) respecto de los puntos de orientación entre las imágenes 1 y 2, lo que se muestra con mayor detalle en la figura 2. En el plano de proyección bidimensional, o sea la imagen, se sabe cómo se desplaza cada uno de los puntos de orientación pi, representado aquí mediante los pares de puntos p1, q1, p2, q2 y p3, q3.
40 Dicho flujo óptico se caracteriza por la denominada matriz fundamental F que se determina en un paso S3 (véase, a su vez, la figura 1).
Ahora debe determinarse de tal manera una matriz fundamental F óptima para que se cumpla, a ser posible, para 45 muchos puntos de orientación pi la condición
pi F qi =0
Para ello se han previsto determinar mediante el algoritmo de ocho puntos, a manera de comprobación aleatoria,
50 múltiples matrices fundamentales que son controladas después mediante los demás puntos de orientación. Esta selección estática puede realizarse, por ejemplo, mediante un algoritmo RANSAC. Como matriz fundamental F se elige entonces la matriz F para la cual, a ser posible, muchos puntos de orientación pi cumplen la condición anterior (al menos aproximadamente).
55 La matriz fundamental F describe la relación geométrica de la orientación de toma de la cámara hasta la perspectiva y la escalada. Se busca, sin embargo, el cambio de orientación de la cámara, de manera que se necesita una reproducción en el espacio tridimensional. Para ello, en el paso S4 se determina una matriz esencial E como
E = KTFK
60 Por consiguiente, con ello se tienen en cuenta las características de proyección de la cámara, por lo tanto la calibración intrínseca 3.
De allí, mediante una descomposición de valor singular de E se determinan en un paso S5 cuatro posibles matrices 65 de cámara Pi, o sea una reproducción en coordenadas homogéneas que indica cómo un punto determinado en el
E10003856
15-04-2015
espacio tridimensional se encuentra, finalmente, en la imagen bidimensional. En este caso se parte de la idea de que al instante de la toma de la primera imagen la cámara se encuentra en el origen, de manera que se dan cuatro matrices de cámara posibles para el instante de la toma de la segunda imagen que, después, además de las características de proyección de la cámara y una traslación determinable en este caso sólo en términos de dirección,
5 puede contener muy exactamente la rotación de la cámara (en cuatro dimensiones – o sea en coordenadas homogéneas – se pueden representar una rotación y una traslación con una única matriz 4 x 4).
En el paso S6 se debe ahora determinar mediante una prueba multipuntos la correcta de las cuatro matrices de cámara Pi. De tal manera, la reconstrucción tridimensional de múltiples puntos de orientación es calculada hasta una 10 escalada y se controla si los puntos – como deberían estar – están delante de la cámara. Aquí se seleccionan varios puntos para que un error de medición o similar no tenga por resultado una decisión incorrecta.
La matriz de rotación, contenida en la matriz de cámara correcta, indica consecuentemente cuán grande son los cambios del ángulo de cabeceo, del ángulo de balanceo y del ángulo de guiñada, cambios que son determinados en 15 el paso S7 como dimensiones de objetos prefijados.
Los ángulos así determinados pueden ser usados de diferentes maneras en el vehículo motorizado, sea para el preprocesamiento de imagen, para sistemas de asistencia al conductor o para la regulación de la estructura básica. Sin embargo es particularmente ventajoso usar el procedimiento según la invención cuando de las imágenes de la 20 cámara se determinan también informaciones para una representación análoga a contactos en una visualización head-up. A continuación, con el procedimiento según la invención es posible determinar, adicionalmente a dichas informaciones, los cambios de ángulos y usarlos directamente para la adaptación/seguimiento de la representación análoga a contactos. De esta manera resulta una representación altamente actualizada y precisa, debido a que el cambio de la posición del vehículo motorizado puede ser determinada rápida y precisamente de las mismas
25 imágenes.
Finalmente, la figura 3 muestra esquemáticamente un vehículo motorizado 4 con un ordenador 5 configurado para la realización del procedimiento según la invención. Las imágenes de una cámara 6 son transmitidas al dispositivo ordenador 5 que de allí determina las dimensiones de objeto prefijado que describen el cambio de posición del
30 vehículo motorizado, las cuales, por ejemplo, pueden ser suministradas por medio de un bus CAN indicado con 7 a otros sistemas de vehículos 8, en particular una visualización head-up.

Claims (8)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    REIVINDICACIONES
    1.
    Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado, en particular el cambio del ángulo de cabeceo y/o ángulo de balanceo y/o ángulo de guiñada, en el cual el parámetro objetivo es determinado a partir del desplazamiento de perspectiva de puntos de orientación notables de al menos dos imágenes cronológicamente consecutivas tomadas por un dispositivo de toma de imágenes, en particular una monocámara, colocada en una relación posicional fija con el vehículo motorizado y en el cual del desplazamiento en perspectiva se determinan una matriz de rotación que describe la rotación del dispositivo de toma de imágenes entre la toma de ambas imágenes y de allí la dimensión del objeto prefijado, caracterizado por que para la determinación de la matriz de rotación -se determina una matriz fundamental que describe el desplazamiento en perspectiva, en particular mediante un algoritmo de ocho puntos, -se determina una matriz esencial respetando la calibración intrínseca que describe las características de reproducción del dispositivo de toma de imágenes puesta a disposición como magnitud de entrada, -mediante la descomposición de valor singular a partir de la matriz esencial se determinan cuatro matrices de cámara posibles que comprenden una posible rotación del dispositivo de toma de imágenes entre las tomas de ambas imágenes, -para la determinación de la matriz de cámara correcta para al menos un punto de orientación, en particular múltiples puntos de orientación, es determinada la reconstrucción tridimensional y controlado respecto de si el punto reconstruido se encuentra delante del dispositivo de toma de imágenes, -de la matriz de cámara correcta se determina la matriz de rotación, usando en particular un algoritmo RANSAC, múltiples matrices fundamentales de diferentes conjuntos parciales de los puntos de orientación y se determina una matriz fundamental óptima mediante la comprobación de cada matriz fundamental en otros puntos de orientación.
  2. 2.
    Procedimiento según la reivindicación 1, caracterizado por que al menos se usan dos imágenes inmediatas cronológicamente consecutivas.
  3. 3.
    Procedimiento según las reivindicaciones 1 o 2, caracterizado por que se determinan 1000 a 2000 puntos de orientación.
  4. 4.
    Procedimiento según una de las reivindicaciones precedentes, caracterizado por que los puntos de orientación en la primera imagen son determinados por medio de un algoritmo SIFT y/o un algoritmo de detección de ángulos, en particular un algoritmo FAST.
  5. 5.
    Procedimiento según una de las reivindicaciones precedentes, caracterizado por que se determinan en la segunda imagen puntos de correspondencia respecto de los puntos de orientación determinados en la primera imagen, en particular mediante el método de Lukas-Kanade y/o método de Horn-Schunk y/o algoritmo SIFT.
  6. 6.
    Procedimiento según una de las reivindicaciones precedentes, caracterizado por que el parámetro objetivo determinado es usado para la adaptación de una visualización, en particular una representación análoga a contactos de una visualización head-up.
  7. 7.
    Procedimiento según la reivindicación 6, caracterizado por que las informaciones mostradas en la visualización, en particular la representación, es determinada, al menos en parte, a partir de imágenes del dispositivo de toma de imágenes.
  8. 8.
    Procedimiento según una de las reivindicaciones precedentes, caracterizado por que la dimensión del objeto prefijado se usa para la regulación de la estructura básica y/o el procesamiento de imágenes y/o el sistema de asistencia al conductor.
    7
ES10003856.1T 2009-04-29 2010-04-10 Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado Active ES2535018T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009019399 2009-04-29
DE102009019399.5A DE102009019399B4 (de) 2009-04-29 2009-04-29 Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße

Publications (1)

Publication Number Publication Date
ES2535018T3 true ES2535018T3 (es) 2015-05-04

Family

ID=42313972

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10003856.1T Active ES2535018T3 (es) 2009-04-29 2010-04-10 Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado

Country Status (3)

Country Link
EP (1) EP2246664B1 (es)
DE (1) DE102009019399B4 (es)
ES (1) ES2535018T3 (es)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183638B2 (en) * 2011-08-09 2015-11-10 The Boeing Company Image based position determination
DE102011113197B4 (de) * 2011-09-10 2021-06-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug
US9214021B2 (en) 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
DE102013011843A1 (de) * 2013-07-16 2015-01-22 Connaught Electronics Ltd. Verfahren zum Verfolgen von charakteristischen Punkten über eine Sequenz von Bildern, Kamerasystem und Kraftfahrzeug
DE102016220559A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und System zur Ermittlung eines Rollwinkels eines Zweirads während einer Kurvenfahrt
KR20180061686A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치
DE102019133480A1 (de) * 2019-12-09 2021-06-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie System zur Bestimmung eines Relativwinkels einer Bewegung eines Fahrzeugs bezüglich eines Untergrunds
EP3922526B1 (de) * 2020-06-09 2023-09-20 Elektrobit Automotive GmbH Bestimmung eines rollwinkels oder eines nickwinkels eines fortbewegungsmittels
DE102021208144A1 (de) 2021-07-28 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Eigenbewegungsschätzung und Positionsbestimmung eines Fahrzeugs

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US20070288141A1 (en) * 2004-06-22 2007-12-13 Bergen James R Method and apparatus for visual odometry
DE102004057947B4 (de) * 2004-11-30 2009-10-29 Audi Ag Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
DE102006036921A1 (de) * 2005-08-05 2007-04-12 Continental Teves Ag & Co. Ohg Verfahren zum Stabilisieren eines Kraftfahrzeugs und Fahrdynamikregelsystem
GB0516403D0 (en) * 2005-08-10 2005-09-14 Trw Ltd Method and apparatus for determining motion of a vehicle

Also Published As

Publication number Publication date
DE102009019399B4 (de) 2015-09-24
EP2246664A1 (de) 2010-11-03
EP2246664B1 (de) 2015-03-18
DE102009019399A1 (de) 2010-11-11

Similar Documents

Publication Publication Date Title
ES2535018T3 (es) Procedimiento para la determinación automática de al menos un parámetro objetivo que describe el cambio de posición de un vehículo motorizado
AU2016335123B2 (en) Camera calibration using synthetic images
KR102451601B1 (ko) 카메라들 및 회절 광학 엘리먼트들의 외부 교정을 위한 시스템 및 방법들
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
JP5036260B2 (ja) 位置姿勢算出方法及び装置
JP2020520603A5 (es)
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
US10685431B1 (en) Optical measurement system
CN112655024B (zh) 一种图像标定方法及装置
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP5387580B2 (ja) カメラ角度算出装置およびカメラ角度算出方法
US20140085409A1 (en) Wide fov camera image calibration and de-warping
KR20150139610A (ko) 부품 조립 작업 지원 시스템 및 부품 조립 방법
CN105324792B (zh) 用于估计移动元件相对于参考方向的角偏差的方法
CN110006634B (zh) 视场角测量方法、视场角测量装置、显示方法和显示设备
JP6620869B2 (ja) 校正方法、校正装置、及びプログラム
CN110765999A (zh) 一种测温处理方法、装置及热成像设备
US20200007843A1 (en) Spatiotemporal calibration of rgb-d and displacement sensors
EP3216005B1 (en) Image processing device and method for geometric calibration of images
Beauchemin et al. Modelling and removing radial and tangential distortions in spherical lenses
JP2007327803A (ja) 車両周辺監視装置
AU2022337968A1 (en) Methods and systems of generating camera models for camera calibration
WO2022004248A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN110121023B (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体
JP5079779B2 (ja) カメラ較正方法、カメラ較正装置