ES2250218T3 - Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo. - Google Patents

Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo.

Info

Publication number
ES2250218T3
ES2250218T3 ES00982211T ES00982211T ES2250218T3 ES 2250218 T3 ES2250218 T3 ES 2250218T3 ES 00982211 T ES00982211 T ES 00982211T ES 00982211 T ES00982211 T ES 00982211T ES 2250218 T3 ES2250218 T3 ES 2250218T3
Authority
ES
Spain
Prior art keywords
vehicle
obstacle
psi
images
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES00982211T
Other languages
English (en)
Inventor
Gideon Stein
Amnon Shashua
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Technologies Ltd
Original Assignee
Mobileye Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Technologies Ltd filed Critical Mobileye Technologies Ltd
Application granted granted Critical
Publication of ES2250218T3 publication Critical patent/ES2250218T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Un sistema de determinación de estimación de tiempo a contacto (12) para generar una estimación sobre el tiempo a contacto de un vehículo (10) que avanza a lo largo de una carretera (11) con un obstáculo (15) incluyendo: A. Un receptor de imágenes (13) configurado para recibir información de imágenes relativa a una serie de al menos dos imágenes cuando el vehículo se mueve a lo largo de la carretera; y B. Un procesador (14); caracterizado porque el procesador está configurado para determinar un factor de escala que define una relación entre dimensiones del obstáculo en las imágenes y usa la relación para generar una estimación del tiempo a contacto del vehículo con el obstáculo.

Description

Sistema de detección de obstáculos en el desplazamiento de un vehículo.
La invención se refiere en general al campo de los sistemas y métodos para estimar el tiempo a contacto entre un vehículo en movimiento y un obstáculo, y más específicamente a sistemas y métodos que estiman el tiempo a contacto usando imágenes grabadas sucesivamente a lo largo del recorrido de movimiento del vehículo.
Antecedentes de la invención
La estimación exacta del tiempo a contacto entre un vehículo y obstáculos es un componente importante de la conducción autónoma y la conducción asistida basada en visión por ordenador. La utilización de técnicas de visión por ordenador para proporcionar asistencia mientras se conduce, en lugar de sensores mecánicos, permite que la información registrada usada al estimar el movimiento del vehículo sea utilizada también al estimar el ego-movimiento que identifica carriles y análogos, sin necesidad de calibración entre sensores que sería necesaria con sensores mecánicos. Esto puede reducir el costo de los dispositivos proporcionados para realizar estimaciones de tiempo a contacto y el mantenimiento que puede ser necesario.
La Patente de Estados Unidos 5.646.612 describe un aparato para evitar la colisión de un vehículo con un objeto. El aparato usa un sistema de radar por láser para determinar la posición del objeto y un sensor de velocidad para determinar la velocidad del vehículo. Los datos de posición y velocidad proporcionados por el radar y el sensor de velocidad se utilizan para determinar una estimación del tiempo a colisión del vehículo y el objeto.
Resumen de la invención
La invención proporciona un sistema nuevo y mejorado que estima el tiempo a contacto de un vehículo con un obstáculo usando imágenes grabadas sucesivamente a lo largo del recorrido de movimiento del vehículo.
Según la presente invención, un sistema de determinación de estimación de tiempo a contacto para generar una estimación sobre el tiempo a contacto de un vehículo que avanza a lo largo de una carretera con un obstáculo incluye:
A. Un receptor de imágenes configurado para recibir información de imágenes relativa a una serie de al menos dos imágenes cuando el vehículo se mueve a lo largo de la carretera; y
B. Un procesador, caracterizado porque el procesador está configurado para determinar un factor de escala que define una relación entre dimensiones del obstáculo en las imágenes y usa la relación para generar una estimación del tiempo a contacto del vehículo con el obstáculo.
Breve descripción de los dibujos
Esta invención se señala con detalle en las reivindicaciones anexas. Las ventajas anteriores y otras de esta invención se pueden entender mejor con referencia a la siguiente descripción tomada en unión con los dibujos anexos, en los que:
La figura 1 ilustra esquemáticamente un vehículo que se mueve en una carretera e incluyendo un sistema de estimación de tiempo a contacto construido según la invención.
Las figuras 2A y 2B son útiles para comprender el movimiento horizontal aparente de un obstáculo en una serie de imágenes en función de la posición horizontal del obstáculo con relación al vehículo, que es útil para estimar la probabilidad de que el vehículo contacte el obstáculo.
Y la figura 3 es un gráfico de flujo que ilustra operaciones realizadas por el sistema de estimación de tiempo a contacto al estimar el tiempo a contacto del vehículo con un obstáculo.
Descripción detallada de una realización ilustrativa
La figura 1 ilustra esquemáticamente un vehículo 10 que se mueve en una carretera 11 e incluyendo un sistema de estimación de tiempo a contacto 12 construido según la invención. El vehículo 10 puede ser cualquier tipo de vehículo 10 que se puede desplazar en la carretera 11, incluyendo, aunque sin limitación, automóviles, camiones, autobuses y análogos. El sistema de estimación de tiempo a contacto 12 incluye una cámara 13 y un procesador 14. La cámara 13 está montada en el vehículo 10 y apunta preferiblemente en una dirección hacia adelante, es decir, en la dirección en la que el vehículo avanzaría normalmente, para grabar imágenes sucesivas cuando el vehículo avanza por la carretera. Preferiblemente, cuando la cámara 13 grabe cada imagen, enviará la imagen al procesador 14. El procesador 14, a su vez, procesará la información que obtiene de las imágenes sucesivas, posiblemente junto con otra información, tal como información del velocímetro del vehículo (no mostrado por separado) para estimar un valor de tiempo a contacto correspondiente al tiempo a contacto estimado, si lo hay, del vehículo 10 con uno o varios obstáculos, identificados en general con el número de referencia 15. El procesador 14 también puede estar montado en o sobre el vehículo 11 y puede formar parte del mismo. Las estimaciones de tiempo a contacto generadas por el procesador 14 se pueden usar para varios fines, incluyendo, aunque sin limitación, conducción autónoma por el vehículo, proporcionar asistencia en la prevención de colisión, y análogos. Las operaciones realizadas por el procesador 14 al estimar el tiempo a contacto se describirán en conexión con el diagrama de flujo ilustrado en la figura 3.
Antes de proseguir, será útil dar algunas explicaciones básicas sobre las operaciones realizadas por el procesador de detección de colisión y estimación de tiempo a contacto 14 ilustrado en la figura 1 al detectar posibles obstáculos al movimiento del vehículo 10 y el período de tiempo a contacto entre el vehículo 10 y los respectivos obstáculos, si los hay. En general, las operaciones realizadas por el procesador 14 se pueden dividir en dos fases, a saber, una fase de detección de obstáculo y una fase de estimación de tiempo a contacto. Se apreciará que estas fases se pueden solapar en conexión con varios obstáculos, estando ocupado el procesador 14 en la fase de detección de obstáculos para intentar detectar nuevos obstáculos mientras está ocupado en la fase de estimación de tiempo a contacto para determinar el tiempo a contacto con obstáculos detectados previamente.
Durante la fase de detección de obstáculo, se realizan dos operaciones generales. Inicialmente, usando un operador de detección de carretera, entre imágenes sucesivas \Psi, \Psi', ..., se identifican las porciones de las imágenes que incluyen proyecciones de la carretera. Se ignorarán las porciones de las imágenes que se identifiquen como incluyendo proyecciones de la carretera. Usando una operación de detección de obstáculo, las porciones de las imágenes distintas de las que incluyen proyecciones de la carretera se analizan para identificar obstáculos. Después de identificar los obstáculos, durante la fase de estimación de tiempo a contacto, se genera una estimación de tiempo a contacto para los obstáculos identificados. La estimación de tiempo a contacto indica si el vehículo 10 y el obstáculo se están aproximando, alejándose, o mantienen una separación constante. En particular, si la estimación de tiempo a contacto para un obstáculo particular es positiva, el vehículo 10 y el obstáculo se están aproximando; si la estimación es infinita, la separación es constante, y si la estimación es negativa, el vehículo 10 y el obstáculo se están alejando.
Se apreciará que la estimación de tiempo a contacto generada para un par concreto de imágenes \Psi y \Psi' proporcionará una estimación sobre el tiempo a contacto al tiempo en que se grabó la imagen posterior. Sin embargo, la estimación del tiempo a contacto generada como se describe en la presente memoria no tiene en cuenta otra información que pueda ser útil al determinar la probabilidad de si el vehículo 10 contactará el obstáculo si su movimiento relativo permanece constante. Por ejemplo, la información de ego-movimiento (que se puede obtener generada, por ejemplo, usando una metodología descrita en la solicitud de patente de Stein) y la información sobre la forma de la carretera y el recorrido esperado del vehículo pueden ser útiles al determinar si es probable que el vehículo contacte con el obstáculo. Por ejemplo, si el obstáculo está en el mismo carril que el vehículo 10, y si la estimación de tiempo a contacto es positiva, indicando que la separación del vehículo 10 y obstáculo está disminuyendo, se puede determinar que el vehículo 10 contactará probablemente el obstáculo si no se cambia el movimiento del vehículo. Además, usando la misma información, se puede desarrollar estrategias para evitar el contacto, tal como cambiar la velocidad, cambiar de carril u otras estrategias como será evidente a los expertos en la materia.
Como se ha indicado anteriormente, durante la fase de detección de obstáculo, se utilizan un operador de detección de carretera y un operador de detección de obstáculo para facilitar la identificación de obstáculos. Aunque el operador de detección de obstáculo solo se podría usar en la identificación de obstáculos, dado que la carretera no es un obstáculo, y dado que típicamente la proyección de la carretera incluye típicamente porciones relativamente grandes de las respectivas imágenes \Psi, \Psi', dichas porciones pueden ser ignoradas al aplicar el operador de detección de obstáculo. El operador de detección de carretera recubre inicialmente, en las regiones correspondientes "R", la imagen \Psi y una imagen \hat{\Psi}', donde la imagen \hat{\Psi}' es la distorsión de la imagen \Psi' hacia la imagen \Psi usando el movimiento estimado del vehículo entre el tiempo en que se grabó la imagen \Psi y el tiempo en que se graba la imagen \Psi', y genera valores "Q" como sigue:
(1)Q = \sum\limits_{x, y \in R} (\hat{\Psi}' - \Psi)^{2}
El movimiento estimado que se utiliza para generar la imagen distorsionada \hat{\Psi}' incluye la traslación y rotación del vehículo 10 entre el punto en el tiempo en que se grabó la imagen \Psi y el punto en el tiempo en que se grabó la imagen \Psi', y puede ser una conjetura inicial basada, por ejemplo, en la velocidad del vehículo proporcionada por un velocímetro, o el movimiento estimado generado como se describe en la solicitud de patente de Stein. Se apreciará que la imagen distorsionada \hat{\Psi}' refleja en general una estimación de lo que la imagen habría sido en el tiempo en que se grabó la imagen \Psi. Esto es válido para regiones que son proyecciones de la carretera, pero no necesariamente para otras regiones, y particular no será válido para regiones que tienen una extensión vertical, que será el caso de los obstáculos. Por consiguiente, las regiones en las imágenes \Psi y \hat{\Psi}' para las que el valor "Q" es inferior a un umbral seleccionado, serán consideradas regiones que son proyecciones de la carretera, y se considerará que otras regiones no son proyecciones de la carretera. Igualmente, las regiones en la imagen \hat{\Psi}' que se distorsionaron a regiones en la imagen \hat{\Psi}' que se consideran regiones que son proyecciones de la carretera, también se consideran regiones que son proyecciones de la carretera, y otras regiones en la imagen \Psi' se consideran que no son proyecciones de la
carretera.
Después de usar el operador de detección de carretera para identificar regiones en las imágenes \Psi y \Psi' que no son proyecciones de la carretera, las regiones son procesadas usando el operador de detección de obstáculo para detectar obstáculos en las regiones. En general, se apreciará que, a diferencia de la carretera o elementos, artefactos tales como marcas de carretera, sombras proyectadas sobre la superficie de la carretera, y análogos, todos los cuales tienen solamente una extensión horizontal, los obstáculos tienen una extensión vertical así como una extensión horizontal. Por consiguiente, entre dos imágenes sucesivas \Psi y \Psi', artefactos tales como marcas en la superficie de la carretera, sombras proyectadas sobre la superficie de la carretera, y análogos, exhibirán expansión a lo largo de los ejes horizontales de las imágenes y poca o nula expansión a lo largo de los ejes verticales. Por otra parte, los obstáculos, que tienen extensión vertical, exhibirán una expansión más uniforme a lo largo de los ejes verticales de las imágenes así como a lo largo de los ejes horizontales.
Con esta observación, en la fase de detección de obstáculos, las imágenes son procesadas usando dos filtros, a saber, un filtro de carretera y un filtro de obstáculo. El filtro de carretera filtra porciones de la carretera y artefactos asociados en las imágenes \Psi y \Psi', y deja los obstáculos. El movimiento afín de un parche entre la imagen \Psi y la imagen \Psi' que es una proyección de un obstáculo exhibe una escala generalmente uniforme alrededor de un "foco de expansión" ("FOE") para el obstáculo. Es decir, si el FOE de un obstáculo está en el punto p_{FOE}(x_{o},y_{0}) en la imagen \Psi', el vector de movimiento (u, v) de una proyección de un punto P(X,Y,Z) en el obstáculo, que se proyecta al punto p(x,y) en la imagen \Psi, tendrá componentes
(2)u = s(x - x_{0})
(3)v = s(y - y_{0})
donde "s" es una constante que refleja la escala uniforme. Los componentes del vector de movimiento indican el movimiento horizontal y vertical de una proyección de un punto P(X,Y,Z) en el espacio tridimensional entre la proyección p(x,y) en la imagen \Psi y la proyección p'(x',y') en la imagen \Psi'. Si las coordenadas del FOE no se conocen, el vector de movimiento todavía reflejará una escala uniforme, y también reflejará una traslación
(4)u = sx + x_{f}
(5)v = sy + y_{f}
donde x_{f} = -sx_{0} e y_{f} = -sy_{0}. Se apreciará que, en las ecuaciones (4) y (5), los términos "sx" y "sy" reflejan la escala uniforme, y los términos x_{f} e y_{f} reflejan la traslación. Dado que, para el vector de movimiento, los componentes u=x'-x y v=y'-y, donde "x" y "y" son las coordenadas de la proyección de un punto en el espacio tridimensional en la imagen \Psi y "x'" e "y'" son las coordenadas de la proyección del mismo punto en el espacio tridimensional en imagen \Psi', y así
1
Sustituyendo al ecuación (6) en el criterio de brillo constante
(7)uI_{x} + vI_{y} + I_{t}=0
da
(8)(sx + x_{f})I_{x} + (sy + y_{f})I_{y} = -I_{t}
que se puede escribir
2
donde el subíndice "T" representa la operación de transposición. Las regiones de las imágenes \Psi, \Psi' para las que es válida la ecuación (9) representan obstáculos.
Si se detecta uno o varios obstáculos durante la fase de detección de obstáculo, el procesador 14 puede generar una estimación del tiempo a contacto, si lo hay, del vehículo 10 con el obstáculo. Aunque el tiempo a contacto reflejará la distancia entre el vehículo y el obstáculo, se apreciará que en muchas circunstancias el tiempo a contacto es una métrica más útil. La distancia del obstáculo al plano de imagen de la cámara 13, que, a su vez, refleja la distancia del obstáculo al vehículo 10, en el punto en el tiempo T-\DeltaT en el que se grabó la imagen \Psi, es Z+\DeltaZ, y la distancia en el punto en el tiempo T en el que se grabó la imagen \Psi' es Z. (Se deberá notar que los valores de "\DeltaT" y "\DeltaZ" son positivos). Si no hay cambio en el movimiento relativo entre el vehículo 10 y el obstáculo, la distancia Z al obstáculo se cerrará en un período de tiempo T, es decir, el tiempo a contacto es T.
El procesador 14 estima el tiempo a contacto T en relación a la relación de la escala del obstáculo grabado en las imágenes \Psi, \Psi', si lo hay, y específicamente en relación a la escala de la dimensión vertical. La dimensión vertical del obstáculo en la imagen \Psi es
(10)y_{2} = \frac{fY}{Z + \Delta Z}
donde "Y" se refiere a la altura del obstáculo en el espacio tridimensional y "f" es la longitud focal de la cámara 13. Igualmente, la dimensión vertical del obstáculo en la imagen \Psi' es
(11)y_{1} = \frac{fY}{Z}
puesto que la altura "Y" del obstáculo en el espacio tridimensional no cambia entre los tiempos en que se graban las imágenes \Psi y \Psi'. El factor de escala, o relación, de las dimensiones verticales "S" en las imágenes es
(12)S = \frac{y_{1}}{y_{2}} = \frac{Z + \Delta Z}{Z} = 1 + \frac{\Delta Z}{Z}
Además, suponiendo que no hay cambio en el movimiento entre el vehículo 10 y el obstáculo, la velocidad relativa \frac{\Delta Z}{\Delta T} entre el vehículo 10 y el obstáculo durante el período de tiempo entre los puntos en el tiempo en los se grabaron las imágenes \Psi y \Psi', será la misma que la velocidad relativa \frac{Z}{T} durante el período de tiempo entre el punto en el tiempo en el que se grabó la imagen y el punto en el tiempo en el que el vehículo 10 contactaría el obstáculo. Es decir,
(13)\frac{\Delta Z}{\Delta T} = \frac{Z}{T}
Reordenando la ecuación 13,
(14)\frac{T}{\Delta T} = \frac{Z}{\Delta Z}
Combinando las ecuaciones (14) y (12)
(15)S = 1 + \frac{\Delta Z}{Z} = 1 + \frac{\Delta T}{T}
Reordenando la ecuación (15) para resolver T, el tiempo a contacto,
(16)T = \frac{1}{S - 1} \Delta T
Se apreciará que, si el valor de \DeltaZ es positivo y no cero, por la ecuación (12), el valor de S será mayor que uno, en cuyo caso el valor del factor \frac{1}{S - 1} en la ecuación (16) será mayor que cero. En ese caso, el tiempo a colisión T será positivo. Se apreciará que esto se puede producir si la distancia que separa el vehículo 10 y el obstáculo está disminuyendo. Por otra parte, si el valor de la relación S es igual a uno, que se puede producir si la dimensión vertical del obstáculo en la imagen \Psi es la misma que la dimensión vertical en la imagen \Psi', el valor del factor \frac{1}{S - 1} en la ecuación (16) es infinito, en cuyo caso el tiempo a contacto T también será infinito. Se apreciará que, cuando se produce esto, si el vehículo 10 se está moviendo, el obstáculo también se estará moviendo, y se estará moviendo a la misma velocidad que el vehículo 10, y en ese caso, la separación entre el vehículo 10 y el obstáculo será constante. Finalmente, si el valor de la relación S es inferior a uno, que se puede producir si la dimensión vertical del obstáculo en la imagen \Psi es mayor que la dimensión vertical en la imagen \Psi', el valor del factor \frac{1}{S - 1} en la ecuación (16) es negativo, en cuyo caso el tiempo a contacto T también será negativo. Se apreciará que, cuando se produce esto, el obstáculo también se estará moviendo, y se estará moviendo a una velocidad mayor que, y en una dirección de alejamiento de, el vehículo 10. Se apreciará que, usando la ecuación (16), el procesador 14 puede estimar el tiempo a contacto usando solamente información de las imágenes \Psi y \Psi' y el período de tiempo \DeltaT, sin necesitar ninguna información sobre la distancia real entre el vehículo 10 y el obstáculo.
Como se ha indicado anteriormente, el valor de tiempo a contacto generado como se ha descrito anteriormente refleja realmente la velocidad a la que la separación entre el vehículo 10 y el obstáculo está disminuyendo en el punto en el tiempo en que se graba la imagen. Dependiendo de las posiciones y velocidades particulares (que reflejan la dirección así como velocidad) del vehículo 10 y el obstáculo en cualquier punto en el tiempo, así como los tamaños, y primariamente las dimensiones horizontales, del vehículo 10 y el obstáculo, el vehículo y obstáculo pueden llegar realmente a contacto o no. Esto se describirá en conexión con las figuras 2A y 2B. Con referencia a la figura 2A, que ilustra esquemáticamente una porción de una carretera con curvas 20 con tres carriles, incluyendo un carril central representado por la línea 21C, un carril a la izquierda del carril central representado por la línea 21L y un carril a la derecha del carril central representado por la línea 21R. El centro de curvatura de la carretera está en O. El vehículo 10 está avanzando en el carril central 21C, y los obstáculos, que incluyen otros vehículos, marchan en los tres carriles. Para simplificar la explicación, se considerará que el sistema de coordenadas se mueve con el vehículo 10. También se supondrá que se graba una serie de imágenes, incluyendo una primera imagen \Psi cuando los obstáculos están en las posiciones a, a', a'', una segunda imagen \Psi' cuando los obstáculos están en las posiciones b, b', b'', una tercera imagen \Psi'' cuando los obstáculos están en las posiciones c, c', c'', una cuarta imagen \Psi''' cuando los obstáculos están en las posiciones d, d', d'', y así sucesivamente. En este ejemplo, las separaciones entre el vehículo 10 y los tres obstáculos están disminuyendo. Los gráficos de las separaciones y las coordenadas horizontales de los respectivos obstáculos en la serie de imágenes (se apreciará que las coordenadas verticales de los respectivos obstáculos en las imágenes no cambiarán) se ilustran en la figura 2B, representándose la separación con el obstáculo en el carril 21C por círculos sólidos, representándose la separación con el obstáculo en el carril 21L por círculos vacíos, y representándose la separación con el obstáculo en el carril 21R por cruces ("+"). En la figura 2B, se considerará que el vehículo 10 está situado en el origen, es decir, donde la coordenada x es cero y la coordenada Z es cero, aunque se apreciará que, dado que el vehículo 10 tendrá una dimensión horizontal no cero, la porción de la dimensión horizontal de la anchura subtendida por el vehículo se extiende a la izquierda y a la derecha del origen una cantidad asociada con la anchura del vehículo. Como se representa en la figura 2B, los tres obstáculos se aproximarán inicialmente al vehículo 10, pero en algún punto las separaciones entre el vehículo 10 y los obstáculos en los carriles izquierdo y derecho 21R y 21L aumentarán de nuevo. Sin embargo, la separación entre el obstáculo en el mismo carril 21C que el vehículo 10 seguirá disminuyendo. Si los intervalos de tiempo entre los tiempos en los que se graban las imágenes son uniformes, la coordinada horizontal de la proyección del obstáculo en el carril 21C se aproximará uniformemente a cero. Para los obstáculos de los otros carriles 21L y 21R, el movimiento de la coordinada horizontal no será uniforme. Usando la información sobre la uniformidad de la progresión de las coordenadas horizontales de la proyección de los vehículos a través de las imágenes sucesivas, se puede determinar la probabilidad de que el vehículo contacte un obstáculo.
Con este trasfondo, las operaciones realizadas por el procesador 14 en conexión con determinar el tiempo a contacto se describirán en conexión con el diagrama de flujo ilustrado en la figura 3. Con referencia a la figura 3, después de recibir una nueva imagen \Psi', el procesador 14 estima inicialmente el ego-movimiento del vehículo 10 (paso 300) usando, por ejemplo, una metodología descrita en conexión con la solicitud de patente de Stein. Usando la información de ego-movimiento estimado y carril, si está disponible, el procesador 14 extrapola el recorrido futuro del vehículo (paso 301) e identifica una "zona de peligro" a lo largo del futuro recorrido extrapolado (paso 302). En el paso de la realización 302, el procesador 14 puede hacer uso de supuestos geométricos que se basan en los parámetros de calibración de la cámara, y la zona de peligro puede incluir, por ejemplo, una región trapezoidal a lo largo de la imagen de la carretera. El procesador 14 aplica entonces el operador de detección de carretera (paso 303) y el operador de detección de obstáculo (paso 304) a las porciones para identificar obstáculos que están en o cerca del recorrido extrapolado. A continuación, el procesador 14 determina si hay obstáculos identificados después de la aplicación del operador de detección de obstáculo (paso 305), y, en caso negativo, volverá al paso 300 para recibir la imagen siguiente.
Por otra parte, si el procesador 14 determina en el paso 305 que se ha identificado uno o varios obstáculos en el paso 304, el procesador 14 examinará las pocas imágenes siguientes \Psi'', \Psi''', \Psi'''', ..., para determinar si las imágenes contienen proyecciones del (de los) respectivo(s) obstáculo(s) (paso 306). El rastreo de obstáculo(s) cuyas proyecciones han sido detectadas en una o dos imágenes mediante imágenes sucesivas proporciona verificación de que los obstáculos existen de hecho y no son artefactos en las respectivas imágenes. Para obstáculos cuyas proyecciones se graban en un número predeterminado de imágenes siguientes, el procesador 14 determinará que el (los) obstáculo(s) ha(n) sido verificado(s) (paso 307), y, para los obstáculos verificados, el procesador 14 determinará el valor del factor de escala "S" para el obstáculo entre imágenes sucesivas (paso 308). Después de determinar el valor del factor de escala, el procesador 14 usa dicho valor y el valor \DeltaT en la ecuación (16) para determinar el tiempo a contacto T (paso 309). Después, el procesador puede hacer uso del valor de tiempo a contacto en conexión, por ejemplo, con proporcionar asistencia para prevención de colisión al vehículo o conductor, si, por ejemplo, el valor de tiempo a contacto es positivo. Como se ha indicado anteriormente, si el valor de tiempo a contacto no es positivo, no habrá contacto entre el vehículo 10 y el obstáculo.
La invención proporciona varias ventajas. En particular, la invención proporciona una disposición para estimar el tiempo a contacto de un vehículo 10 con un obstáculo directamente a partir de imágenes grabadas sucesivamente del obstáculo, sin precisar otros sensores mecánicos o electrónicos, que pueden ser caros de instalar y mantener.
Se apreciará que se puede hacer varios cambios y modificaciones en el sistema de estimación de tiempo a contacto 12 descrito anteriormente. Por ejemplo, en lugar de usar la escala de la dimensión vertical de obstáculos entre imagen \Psi y \Psi', el sistema 12 puede usar la escala de la dimensión horizontal, o ambos.
Además, se apreciará que imágenes \Psi y \Psi' son rectificadas preferiblemente, por ejemplo, como se describe en la solicitud de patente de Stein, de manera que sus planos de imagen sean perpendiculares al plano de la carretera.
Además, se apreciará que se puede usar filtros de detección de carretera y filtros de detección de obstáculos distintos o además de los descritos en la presente memoria. Por ejemplo, se puede usar un filtro como el descrito en dicha solicitud de patente de Stein para identificar parches que contienen proyecciones de obstáculos.
Se apreciará que un sistema según la invención se puede construir en todo o en parte a partir de hardware especial o un sistema informático general, o cualquier combinación de los mismos, del que cualquier porción puede ser controlada por un programa adecuado. Cualquier programa puede incluir total o parcialmente parte o almacenarse en el sistema de manera convencional, o puede preverse total o parcialmente en el sistema por una red u otro mecanismo para transferir información de manera convencional. Además, se apreciará que el sistema se puede operar y/o controlar de otro modo por medio de información suministrada por un operador usando elementos de entrada de operador (no representados) que pueden estar conectados directamente al sistema o que pueden transferir la información al sistema por una red u otro mecanismo para transferir información de manera convencional.

Claims (6)

1. Un sistema de determinación de estimación de tiempo a contacto (12) para generar una estimación sobre el tiempo a contacto de un vehículo (10) que avanza a lo largo de una carretera (11) con un obstáculo (15) incluyendo:
A. Un receptor de imágenes (13) configurado para recibir información de imágenes relativa a una serie de al menos dos imágenes cuando el vehículo se mueve a lo largo de la carretera; y
B. Un procesador (14);
caracterizado porque el procesador está configurado para determinar un factor de escala que define una relación entre dimensiones del obstáculo en las imágenes y usa la relación para generar una estimación del tiempo a contacto del vehículo con el obstáculo.
2. Un sistema según la reivindicación 1, donde el factor de escala define una relación entre las dimensiones verticales del obstáculo en las imágenes y el procesador usa la relación para estimar el tiempo a contacto.
3. Un sistema según la reivindicación 1, donde el factor de escala define una relación entre dimensiones horizontales del obstáculo en las imágenes y el procesador usa la relación para estimar el tiempo a contacto.
4. Un sistema según cualquiera de las reivindicaciones anteriores, donde el al menos dos imágenes incluyen más de dos imágenes.
5. Un sistema según la reivindicación 4, donde el procesador (14) procesa la información de imagen para determinar un desplazamiento lateral del objeto con relación a una posición del vehículo.
6. Un sistema según la reivindicación 5, donde el procesador (14) determina una probabilidad de colisión en respuesta a si el desplazamiento lateral se aproxima de forma sustancialmente uniforme a cero.
ES00982211T 1999-11-26 2000-11-27 Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo. Expired - Lifetime ES2250218T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16758799P 1999-11-26 1999-11-26
US167587P 1999-11-26

Publications (1)

Publication Number Publication Date
ES2250218T3 true ES2250218T3 (es) 2006-04-16

Family

ID=22607973

Family Applications (1)

Application Number Title Priority Date Filing Date
ES00982211T Expired - Lifetime ES2250218T3 (es) 1999-11-26 2000-11-27 Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo.

Country Status (8)

Country Link
EP (1) EP1236126B1 (es)
JP (1) JP2003527680A (es)
AT (1) ATE307370T1 (es)
AU (1) AU1927101A (es)
CA (1) CA2392578A1 (es)
DE (1) DE60023339T2 (es)
ES (1) ES2250218T3 (es)
WO (1) WO2001039018A1 (es)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1741079B1 (en) 2004-04-08 2008-05-21 Mobileye Technologies Limited Collision warning system
EP1717778B1 (en) * 2005-04-29 2007-07-11 Ford Global Technologies, LLC Method and system for forward collision avoidance in an automotive vehicle
JP4970926B2 (ja) 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
DE102009043705A1 (de) 2009-10-01 2011-04-07 Silicon Micro Sensors Gmbh Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit
EP2463843B1 (en) 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515448A (en) * 1992-07-28 1996-05-07 Yazaki Corporation Distance measuring apparatus of a target tracking type
JP2863381B2 (ja) * 1992-09-25 1999-03-03 矢崎総業株式会社 車両用監視方法
US5529138A (en) * 1993-01-22 1996-06-25 Shaw; David C. H. Vehicle collision avoidance system
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
KR960032262A (ko) * 1995-02-09 1996-09-17 배순훈 차량의 주행 안전 시스템
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system

Also Published As

Publication number Publication date
EP1236126A1 (en) 2002-09-04
CA2392578A1 (en) 2001-05-31
WO2001039018A1 (en) 2001-05-31
DE60023339T2 (de) 2006-06-29
AU1927101A (en) 2001-06-04
JP2003527680A (ja) 2003-09-16
DE60023339D1 (de) 2006-03-02
EP1236126B1 (en) 2005-10-19
ATE307370T1 (de) 2005-11-15
EP1236126A4 (en) 2004-04-14

Similar Documents

Publication Publication Date Title
JP7040867B2 (ja) システム、方法およびプログラム
US10384679B2 (en) Travel control method and travel control apparatus
EP3514032B1 (en) Adjusting velocity of a vehicle for a curve
CN112528737B (zh) 用于检测对象的系统和方法
EP3183688B1 (en) Recognition and prediction of lane constraints
CN110546696B (zh) 用于自主车辆的用于自动生成和更新数据集的方法
JP7074438B2 (ja) 自車位置推定装置
JP6601696B2 (ja) 予測装置、予測方法、およびプログラム
ES2250218T3 (es) Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo.
US9734719B2 (en) Method and apparatus for guiding a vehicle in the surroundings of an object
BR102016010430B1 (pt) Dispositivo de determinação de reconhecimento errôneo com base em parâmetros de deslocamento para controle de condução de um veículo
US20180266828A1 (en) Integrated vision-based and inertial sensor systems for use in vehicle navigation
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
JP2010072807A (ja) 道路境界検出判断装置
CN107097790A (zh) 用于阐明车辆的车辆周围环境的方法和设备以及车辆
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
US20230106644A1 (en) Systems and methods for detecting vehicle wheel slips
CN109624973A (zh) 车辆控制装置、车辆控制方法及存储介质
CN109987082A (zh) 车辆控制装置、车辆控制方法和存储介质
KR101980509B1 (ko) 차간 거리 추정 방법 및 차간 거리 추정 장치
CN112528719A (zh) 推定装置、推定方法以及存储介质
JP2020086956A (ja) 撮影異常診断装置
CN112613335A (zh) 识别装置、识别方法及存储介质
CN114868381A (zh) 图像处理装置、图像处理方法以及程序