ES2250218T3 - Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo. - Google Patents
Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo.Info
- Publication number
- ES2250218T3 ES2250218T3 ES00982211T ES00982211T ES2250218T3 ES 2250218 T3 ES2250218 T3 ES 2250218T3 ES 00982211 T ES00982211 T ES 00982211T ES 00982211 T ES00982211 T ES 00982211T ES 2250218 T3 ES2250218 T3 ES 2250218T3
- Authority
- ES
- Spain
- Prior art keywords
- vehicle
- obstacle
- psi
- images
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Un sistema de determinación de estimación de tiempo a contacto (12) para generar una estimación sobre el tiempo a contacto de un vehículo (10) que avanza a lo largo de una carretera (11) con un obstáculo (15) incluyendo: A. Un receptor de imágenes (13) configurado para recibir información de imágenes relativa a una serie de al menos dos imágenes cuando el vehículo se mueve a lo largo de la carretera; y B. Un procesador (14); caracterizado porque el procesador está configurado para determinar un factor de escala que define una relación entre dimensiones del obstáculo en las imágenes y usa la relación para generar una estimación del tiempo a contacto del vehículo con el obstáculo.
Description
Sistema de detección de obstáculos en el
desplazamiento de un vehículo.
La invención se refiere en general al campo de
los sistemas y métodos para estimar el tiempo a contacto entre un
vehículo en movimiento y un obstáculo, y más específicamente a
sistemas y métodos que estiman el tiempo a contacto usando imágenes
grabadas sucesivamente a lo largo del recorrido de movimiento del
vehículo.
La estimación exacta del tiempo a contacto entre
un vehículo y obstáculos es un componente importante de la
conducción autónoma y la conducción asistida basada en visión por
ordenador. La utilización de técnicas de visión por ordenador para
proporcionar asistencia mientras se conduce, en lugar de sensores
mecánicos, permite que la información registrada usada al estimar el
movimiento del vehículo sea utilizada también al estimar el
ego-movimiento que identifica carriles y análogos,
sin necesidad de calibración entre sensores que sería necesaria con
sensores mecánicos. Esto puede reducir el costo de los dispositivos
proporcionados para realizar estimaciones de tiempo a contacto y el
mantenimiento que puede ser necesario.
La Patente de Estados Unidos 5.646.612 describe
un aparato para evitar la colisión de un vehículo con un objeto. El
aparato usa un sistema de radar por láser para determinar la
posición del objeto y un sensor de velocidad para determinar la
velocidad del vehículo. Los datos de posición y velocidad
proporcionados por el radar y el sensor de velocidad se utilizan
para determinar una estimación del tiempo a colisión del vehículo y
el objeto.
La invención proporciona un sistema nuevo y
mejorado que estima el tiempo a contacto de un vehículo con un
obstáculo usando imágenes grabadas sucesivamente a lo largo del
recorrido de movimiento del vehículo.
Según la presente invención, un sistema de
determinación de estimación de tiempo a contacto para generar una
estimación sobre el tiempo a contacto de un vehículo que avanza a lo
largo de una carretera con un obstáculo incluye:
A. Un receptor de imágenes configurado para
recibir información de imágenes relativa a una serie de al menos
dos imágenes cuando el vehículo se mueve a lo largo de la carretera;
y
B. Un procesador, caracterizado porque el
procesador está configurado para determinar un factor de escala que
define una relación entre dimensiones del obstáculo en las imágenes
y usa la relación para generar una estimación del tiempo a contacto
del vehículo con el obstáculo.
Esta invención se señala con detalle en las
reivindicaciones anexas. Las ventajas anteriores y otras de esta
invención se pueden entender mejor con referencia a la siguiente
descripción tomada en unión con los dibujos anexos, en los que:
La figura 1 ilustra esquemáticamente un vehículo
que se mueve en una carretera e incluyendo un sistema de estimación
de tiempo a contacto construido según la invención.
Las figuras 2A y 2B son útiles para comprender el
movimiento horizontal aparente de un obstáculo en una serie de
imágenes en función de la posición horizontal del obstáculo con
relación al vehículo, que es útil para estimar la probabilidad de
que el vehículo contacte el obstáculo.
Y la figura 3 es un gráfico de flujo que ilustra
operaciones realizadas por el sistema de estimación de tiempo a
contacto al estimar el tiempo a contacto del vehículo con un
obstáculo.
La figura 1 ilustra esquemáticamente un vehículo
10 que se mueve en una carretera 11 e incluyendo un sistema de
estimación de tiempo a contacto 12 construido según la invención. El
vehículo 10 puede ser cualquier tipo de vehículo 10 que se puede
desplazar en la carretera 11, incluyendo, aunque sin limitación,
automóviles, camiones, autobuses y análogos. El sistema de
estimación de tiempo a contacto 12 incluye una cámara 13 y un
procesador 14. La cámara 13 está montada en el vehículo 10 y apunta
preferiblemente en una dirección hacia adelante, es decir, en la
dirección en la que el vehículo avanzaría normalmente, para grabar
imágenes sucesivas cuando el vehículo avanza por la carretera.
Preferiblemente, cuando la cámara 13 grabe cada imagen, enviará la
imagen al procesador 14. El procesador 14, a su vez, procesará la
información que obtiene de las imágenes sucesivas, posiblemente
junto con otra información, tal como información del velocímetro del
vehículo (no mostrado por separado) para estimar un valor de tiempo
a contacto correspondiente al tiempo a contacto estimado, si lo hay,
del vehículo 10 con uno o varios obstáculos, identificados en
general con el número de referencia 15. El procesador 14 también
puede estar montado en o sobre el vehículo 11 y puede formar parte
del mismo. Las estimaciones de tiempo a contacto generadas por el
procesador 14 se pueden usar para varios fines, incluyendo, aunque
sin limitación, conducción autónoma por el vehículo, proporcionar
asistencia en la prevención de colisión, y análogos. Las operaciones
realizadas por el procesador 14 al estimar el tiempo a contacto se
describirán en conexión con el diagrama de flujo ilustrado en la
figura 3.
Antes de proseguir, será útil dar algunas
explicaciones básicas sobre las operaciones realizadas por el
procesador de detección de colisión y estimación de tiempo a
contacto 14 ilustrado en la figura 1 al detectar posibles obstáculos
al movimiento del vehículo 10 y el período de tiempo a contacto
entre el vehículo 10 y los respectivos obstáculos, si los hay. En
general, las operaciones realizadas por el procesador 14 se pueden
dividir en dos fases, a saber, una fase de detección de obstáculo y
una fase de estimación de tiempo a contacto. Se apreciará que estas
fases se pueden solapar en conexión con varios obstáculos, estando
ocupado el procesador 14 en la fase de detección de obstáculos para
intentar detectar nuevos obstáculos mientras está ocupado en la fase
de estimación de tiempo a contacto para determinar el tiempo a
contacto con obstáculos detectados previamente.
Durante la fase de detección de obstáculo, se
realizan dos operaciones generales. Inicialmente, usando un operador
de detección de carretera, entre imágenes sucesivas \Psi, \Psi',
..., se identifican las porciones de las imágenes que incluyen
proyecciones de la carretera. Se ignorarán las porciones de las
imágenes que se identifiquen como incluyendo proyecciones de la
carretera. Usando una operación de detección de obstáculo, las
porciones de las imágenes distintas de las que incluyen proyecciones
de la carretera se analizan para identificar obstáculos. Después de
identificar los obstáculos, durante la fase de estimación de tiempo
a contacto, se genera una estimación de tiempo a contacto para los
obstáculos identificados. La estimación de tiempo a contacto indica
si el vehículo 10 y el obstáculo se están aproximando, alejándose, o
mantienen una separación constante. En particular, si la estimación
de tiempo a contacto para un obstáculo particular es positiva, el
vehículo 10 y el obstáculo se están aproximando; si la estimación es
infinita, la separación es constante, y si la estimación es
negativa, el vehículo 10 y el obstáculo se están alejando.
Se apreciará que la estimación de tiempo a
contacto generada para un par concreto de imágenes \Psi y \Psi'
proporcionará una estimación sobre el tiempo a contacto al tiempo en
que se grabó la imagen posterior. Sin embargo, la estimación del
tiempo a contacto generada como se describe en la presente memoria
no tiene en cuenta otra información que pueda ser útil al determinar
la probabilidad de si el vehículo 10 contactará el obstáculo si su
movimiento relativo permanece constante. Por ejemplo, la información
de ego-movimiento (que se puede obtener generada,
por ejemplo, usando una metodología descrita en la solicitud de
patente de Stein) y la información sobre la forma de la carretera y
el recorrido esperado del vehículo pueden ser útiles al determinar
si es probable que el vehículo contacte con el obstáculo. Por
ejemplo, si el obstáculo está en el mismo carril que el vehículo 10,
y si la estimación de tiempo a contacto es positiva, indicando que
la separación del vehículo 10 y obstáculo está disminuyendo, se
puede determinar que el vehículo 10 contactará probablemente el
obstáculo si no se cambia el movimiento del vehículo. Además, usando
la misma información, se puede desarrollar estrategias para evitar
el contacto, tal como cambiar la velocidad, cambiar de carril u
otras estrategias como será evidente a los expertos en la
materia.
Como se ha indicado anteriormente, durante la
fase de detección de obstáculo, se utilizan un operador de detección
de carretera y un operador de detección de obstáculo para facilitar
la identificación de obstáculos. Aunque el operador de detección de
obstáculo solo se podría usar en la identificación de obstáculos,
dado que la carretera no es un obstáculo, y dado que típicamente la
proyección de la carretera incluye típicamente porciones
relativamente grandes de las respectivas imágenes \Psi, \Psi',
dichas porciones pueden ser ignoradas al aplicar el operador de
detección de obstáculo. El operador de detección de carretera
recubre inicialmente, en las regiones correspondientes "R", la
imagen \Psi y una imagen \hat{\Psi}', donde la imagen
\hat{\Psi}' es la distorsión de la imagen \Psi' hacia la imagen
\Psi usando el movimiento estimado del vehículo entre el tiempo en
que se grabó la imagen \Psi y el tiempo en que se graba la imagen
\Psi', y genera valores "Q" como sigue:
(1)Q =
\sum\limits_{x, y \in R} (\hat{\Psi}' -
\Psi)^{2}
El movimiento estimado que se utiliza para
generar la imagen distorsionada \hat{\Psi}' incluye la traslación
y rotación del vehículo 10 entre el punto en el tiempo en que se
grabó la imagen \Psi y el punto en el tiempo en que se grabó la
imagen \Psi', y puede ser una conjetura inicial basada, por
ejemplo, en la velocidad del vehículo proporcionada por un
velocímetro, o el movimiento estimado generado como se describe en
la solicitud de patente de Stein. Se apreciará que la imagen
distorsionada \hat{\Psi}' refleja en general una estimación de lo
que la imagen habría sido en el tiempo en que se grabó la imagen
\Psi. Esto es válido para regiones que son proyecciones de la
carretera, pero no necesariamente para otras regiones, y particular
no será válido para regiones que tienen una extensión vertical, que
será el caso de los obstáculos. Por consiguiente, las regiones en
las imágenes \Psi y \hat{\Psi}' para las que el valor "Q"
es inferior a un umbral seleccionado, serán consideradas regiones
que son proyecciones de la carretera, y se considerará que otras
regiones no son proyecciones de la carretera. Igualmente, las
regiones en la imagen \hat{\Psi}' que se distorsionaron a
regiones en la imagen \hat{\Psi}' que se consideran regiones que
son proyecciones de la carretera, también se consideran regiones que
son proyecciones de la carretera, y otras regiones en la imagen
\Psi' se consideran que no son proyecciones de la
carretera.
carretera.
Después de usar el operador de detección de
carretera para identificar regiones en las imágenes \Psi y \Psi'
que no son proyecciones de la carretera, las regiones son procesadas
usando el operador de detección de obstáculo para detectar
obstáculos en las regiones. En general, se apreciará que, a
diferencia de la carretera o elementos, artefactos tales como marcas
de carretera, sombras proyectadas sobre la superficie de la
carretera, y análogos, todos los cuales tienen solamente una
extensión horizontal, los obstáculos tienen una extensión vertical
así como una extensión horizontal. Por consiguiente, entre dos
imágenes sucesivas \Psi y \Psi', artefactos tales como marcas en
la superficie de la carretera, sombras proyectadas sobre la
superficie de la carretera, y análogos, exhibirán expansión a lo
largo de los ejes horizontales de las imágenes y poca o nula
expansión a lo largo de los ejes verticales. Por otra parte, los
obstáculos, que tienen extensión vertical, exhibirán una expansión
más uniforme a lo largo de los ejes verticales de las imágenes así
como a lo largo de los ejes horizontales.
Con esta observación, en la fase de detección de
obstáculos, las imágenes son procesadas usando dos filtros, a saber,
un filtro de carretera y un filtro de obstáculo. El filtro de
carretera filtra porciones de la carretera y artefactos asociados en
las imágenes \Psi y \Psi', y deja los obstáculos. El movimiento
afín de un parche entre la imagen \Psi y la imagen \Psi' que es
una proyección de un obstáculo exhibe una escala generalmente
uniforme alrededor de un "foco de expansión" ("FOE") para
el obstáculo. Es decir, si el FOE de un obstáculo está en el punto
p_{FOE}(x_{o},y_{0}) en la imagen \Psi', el vector de
movimiento (u, v) de una proyección de un punto P(X,Y,Z) en
el obstáculo, que se proyecta al punto p(x,y) en la imagen
\Psi, tendrá componentes
(2)u =
s(x -
x_{0})
(3)v =
s(y -
y_{0})
donde "s" es una constante que
refleja la escala uniforme. Los componentes del vector de movimiento
indican el movimiento horizontal y vertical de una proyección de un
punto P(X,Y,Z) en el espacio tridimensional entre la
proyección p(x,y) en la imagen \Psi y la proyección
p'(x',y') en la imagen \Psi'. Si las coordenadas del FOE no se
conocen, el vector de movimiento todavía reflejará una escala
uniforme, y también reflejará una
traslación
(4)u = sx +
x_{f}
(5)v = sy +
y_{f}
donde x_{f} = -sx_{0} e y_{f}
= -sy_{0}. Se apreciará que, en las ecuaciones (4) y (5), los
términos "sx" y "sy" reflejan la escala uniforme, y los
términos x_{f} e y_{f} reflejan la traslación. Dado que, para el
vector de movimiento, los componentes u=x'-x y
v=y'-y, donde "x" y "y" son las
coordenadas de la proyección de un punto en el espacio
tridimensional en la imagen \Psi y "x'" e "y'" son las
coordenadas de la proyección del mismo punto en el espacio
tridimensional en imagen \Psi', y
así
Sustituyendo al ecuación (6) en el criterio de
brillo constante
(7)uI_{x} +
vI_{y} +
I_{t}=0
da
(8)(sx
+ x_{f})I_{x} + (sy + y_{f})I_{y} =
-I_{t}
que se puede
escribir
donde el subíndice "T"
representa la operación de transposición. Las regiones de las
imágenes \Psi, \Psi' para las que es válida la ecuación (9)
representan
obstáculos.
Si se detecta uno o varios obstáculos durante la
fase de detección de obstáculo, el procesador 14 puede generar una
estimación del tiempo a contacto, si lo hay, del vehículo 10 con el
obstáculo. Aunque el tiempo a contacto reflejará la distancia entre
el vehículo y el obstáculo, se apreciará que en muchas
circunstancias el tiempo a contacto es una métrica más útil. La
distancia del obstáculo al plano de imagen de la cámara 13, que, a
su vez, refleja la distancia del obstáculo al vehículo 10, en el
punto en el tiempo T-\DeltaT en el que se grabó la
imagen \Psi, es Z+\DeltaZ, y la distancia en el punto en el
tiempo T en el que se grabó la imagen \Psi' es Z. (Se deberá notar
que los valores de "\DeltaT" y "\DeltaZ" son
positivos). Si no hay cambio en el movimiento relativo entre el
vehículo 10 y el obstáculo, la distancia Z al obstáculo se cerrará
en un período de tiempo T, es decir, el tiempo a contacto es T.
El procesador 14 estima el tiempo a contacto T en
relación a la relación de la escala del obstáculo grabado en las
imágenes \Psi, \Psi', si lo hay, y específicamente en relación a
la escala de la dimensión vertical. La dimensión vertical del
obstáculo en la imagen \Psi es
(10)y_{2} =
\frac{fY}{Z + \Delta
Z}
donde "Y" se refiere a la
altura del obstáculo en el espacio tridimensional y "f" es la
longitud focal de la cámara 13. Igualmente, la dimensión vertical
del obstáculo en la imagen \Psi'
es
(11)y_{1} =
\frac{fY}{Z}
puesto que la altura "Y" del
obstáculo en el espacio tridimensional no cambia entre los tiempos
en que se graban las imágenes \Psi y \Psi'. El factor de escala,
o relación, de las dimensiones verticales "S" en las imágenes
es
(12)S =
\frac{y_{1}}{y_{2}} = \frac{Z + \Delta Z}{Z} = 1 + \frac{\Delta
Z}{Z}
Además, suponiendo que no hay cambio en el
movimiento entre el vehículo 10 y el obstáculo, la velocidad
relativa \frac{\Delta Z}{\Delta T} entre el vehículo 10 y el
obstáculo durante el período de tiempo entre los puntos en el tiempo
en los se grabaron las imágenes \Psi y \Psi', será la misma que
la velocidad relativa \frac{Z}{T} durante el período de tiempo
entre el punto en el tiempo en el que se grabó la imagen y el punto
en el tiempo en el que el vehículo 10 contactaría el obstáculo. Es
decir,
(13)\frac{\Delta Z}{\Delta T} =
\frac{Z}{T}
Reordenando la ecuación 13,
(14)\frac{T}{\Delta T} =
\frac{Z}{\Delta
Z}
Combinando las ecuaciones (14) y (12)
(15)S = 1 +
\frac{\Delta Z}{Z} = 1 + \frac{\Delta
T}{T}
Reordenando la ecuación (15) para resolver T, el
tiempo a contacto,
(16)T =
\frac{1}{S - 1} \Delta
T
Se apreciará que, si el valor de \DeltaZ es
positivo y no cero, por la ecuación (12), el valor de S será mayor
que uno, en cuyo caso el valor del factor \frac{1}{S - 1} en la
ecuación (16) será mayor que cero. En ese caso, el tiempo a colisión
T será positivo. Se apreciará que esto se puede producir si la
distancia que separa el vehículo 10 y el obstáculo está
disminuyendo. Por otra parte, si el valor de la relación S es igual
a uno, que se puede producir si la dimensión vertical del obstáculo
en la imagen \Psi es la misma que la dimensión vertical en la
imagen \Psi', el valor del factor \frac{1}{S - 1} en la ecuación
(16) es infinito, en cuyo caso el tiempo a contacto T también será
infinito. Se apreciará que, cuando se produce esto, si el vehículo
10 se está moviendo, el obstáculo también se estará moviendo, y se
estará moviendo a la misma velocidad que el vehículo 10, y en ese
caso, la separación entre el vehículo 10 y el obstáculo será
constante. Finalmente, si el valor de la relación S es inferior a
uno, que se puede producir si la dimensión vertical del obstáculo en
la imagen \Psi es mayor que la dimensión vertical en la imagen
\Psi', el valor del factor \frac{1}{S - 1} en la ecuación (16)
es negativo, en cuyo caso el tiempo a contacto T también será
negativo. Se apreciará que, cuando se produce esto, el obstáculo
también se estará moviendo, y se estará moviendo a una velocidad
mayor que, y en una dirección de alejamiento de, el vehículo 10. Se
apreciará que, usando la ecuación (16), el procesador 14 puede
estimar el tiempo a contacto usando solamente información de las
imágenes \Psi y \Psi' y el período de tiempo \DeltaT, sin
necesitar ninguna información sobre la distancia real entre el
vehículo 10 y el obstáculo.
Como se ha indicado anteriormente, el valor de
tiempo a contacto generado como se ha descrito anteriormente refleja
realmente la velocidad a la que la separación entre el vehículo 10 y
el obstáculo está disminuyendo en el punto en el tiempo en que se
graba la imagen. Dependiendo de las posiciones y velocidades
particulares (que reflejan la dirección así como velocidad) del
vehículo 10 y el obstáculo en cualquier punto en el tiempo, así como
los tamaños, y primariamente las dimensiones horizontales, del
vehículo 10 y el obstáculo, el vehículo y obstáculo pueden llegar
realmente a contacto o no. Esto se describirá en conexión con las
figuras 2A y 2B. Con referencia a la figura 2A, que ilustra
esquemáticamente una porción de una carretera con curvas 20 con tres
carriles, incluyendo un carril central representado por la línea
21C, un carril a la izquierda del carril central representado por la
línea 21L y un carril a la derecha del carril central representado
por la línea 21R. El centro de curvatura de la carretera está en O.
El vehículo 10 está avanzando en el carril central 21C, y los
obstáculos, que incluyen otros vehículos, marchan en los tres
carriles. Para simplificar la explicación, se considerará que el
sistema de coordenadas se mueve con el vehículo 10. También se
supondrá que se graba una serie de imágenes, incluyendo una primera
imagen \Psi cuando los obstáculos están en las posiciones a, a',
a'', una segunda imagen \Psi' cuando los obstáculos están en las
posiciones b, b', b'', una tercera imagen \Psi'' cuando los
obstáculos están en las posiciones c, c', c'', una cuarta imagen
\Psi''' cuando los obstáculos están en las posiciones d, d', d'',
y así sucesivamente. En este ejemplo, las separaciones entre el
vehículo 10 y los tres obstáculos están disminuyendo. Los gráficos
de las separaciones y las coordenadas horizontales de los
respectivos obstáculos en la serie de imágenes (se apreciará que las
coordenadas verticales de los respectivos obstáculos en las imágenes
no cambiarán) se ilustran en la figura 2B, representándose la
separación con el obstáculo en el carril 21C por círculos sólidos,
representándose la separación con el obstáculo en el carril 21L por
círculos vacíos, y representándose la separación con el obstáculo en
el carril 21R por cruces ("+"). En la figura 2B, se considerará
que el vehículo 10 está situado en el origen, es decir, donde la
coordenada x es cero y la coordenada Z es cero, aunque se apreciará
que, dado que el vehículo 10 tendrá una dimensión horizontal no
cero, la porción de la dimensión horizontal de la anchura subtendida
por el vehículo se extiende a la izquierda y a la derecha del origen
una cantidad asociada con la anchura del vehículo. Como se
representa en la figura 2B, los tres obstáculos se aproximarán
inicialmente al vehículo 10, pero en algún punto las separaciones
entre el vehículo 10 y los obstáculos en los carriles izquierdo y
derecho 21R y 21L aumentarán de nuevo. Sin embargo, la separación
entre el obstáculo en el mismo carril 21C que el vehículo 10 seguirá
disminuyendo. Si los intervalos de tiempo entre los tiempos en los
que se graban las imágenes son uniformes, la coordinada horizontal
de la proyección del obstáculo en el carril 21C se aproximará
uniformemente a cero. Para los obstáculos de los otros carriles 21L
y 21R, el movimiento de la coordinada horizontal no será uniforme.
Usando la información sobre la uniformidad de la progresión de las
coordenadas horizontales de la proyección de los vehículos a través
de las imágenes sucesivas, se puede determinar la probabilidad de
que el vehículo contacte un obstáculo.
Con este trasfondo, las operaciones realizadas
por el procesador 14 en conexión con determinar el tiempo a contacto
se describirán en conexión con el diagrama de flujo ilustrado en la
figura 3. Con referencia a la figura 3, después de recibir una nueva
imagen \Psi', el procesador 14 estima inicialmente el
ego-movimiento del vehículo 10 (paso 300) usando,
por ejemplo, una metodología descrita en conexión con la solicitud
de patente de Stein. Usando la información de
ego-movimiento estimado y carril, si está
disponible, el procesador 14 extrapola el recorrido futuro del
vehículo (paso 301) e identifica una "zona de peligro" a lo
largo del futuro recorrido extrapolado (paso 302). En el paso de la
realización 302, el procesador 14 puede hacer uso de supuestos
geométricos que se basan en los parámetros de calibración de la
cámara, y la zona de peligro puede incluir, por ejemplo, una región
trapezoidal a lo largo de la imagen de la carretera. El procesador
14 aplica entonces el operador de detección de carretera (paso 303)
y el operador de detección de obstáculo (paso 304) a las porciones
para identificar obstáculos que están en o cerca del recorrido
extrapolado. A continuación, el procesador 14 determina si hay
obstáculos identificados después de la aplicación del operador de
detección de obstáculo (paso 305), y, en caso negativo, volverá al
paso 300 para recibir la imagen siguiente.
Por otra parte, si el procesador 14 determina en
el paso 305 que se ha identificado uno o varios obstáculos en el
paso 304, el procesador 14 examinará las pocas imágenes siguientes
\Psi'', \Psi''', \Psi'''', ..., para determinar si las
imágenes contienen proyecciones del (de los) respectivo(s)
obstáculo(s) (paso 306). El rastreo de obstáculo(s)
cuyas proyecciones han sido detectadas en una o dos imágenes
mediante imágenes sucesivas proporciona verificación de que los
obstáculos existen de hecho y no son artefactos en las respectivas
imágenes. Para obstáculos cuyas proyecciones se graban en un número
predeterminado de imágenes siguientes, el procesador 14 determinará
que el (los) obstáculo(s) ha(n) sido
verificado(s) (paso 307), y, para los obstáculos verificados,
el procesador 14 determinará el valor del factor de escala "S"
para el obstáculo entre imágenes sucesivas (paso 308). Después de
determinar el valor del factor de escala, el procesador 14 usa dicho
valor y el valor \DeltaT en la ecuación (16) para determinar el
tiempo a contacto T (paso 309). Después, el procesador puede hacer
uso del valor de tiempo a contacto en conexión, por ejemplo, con
proporcionar asistencia para prevención de colisión al vehículo o
conductor, si, por ejemplo, el valor de tiempo a contacto es
positivo. Como se ha indicado anteriormente, si el valor de tiempo a
contacto no es positivo, no habrá contacto entre el vehículo 10 y el
obstáculo.
La invención proporciona varias ventajas. En
particular, la invención proporciona una disposición para estimar el
tiempo a contacto de un vehículo 10 con un obstáculo directamente a
partir de imágenes grabadas sucesivamente del obstáculo, sin
precisar otros sensores mecánicos o electrónicos, que pueden ser
caros de instalar y mantener.
Se apreciará que se puede hacer varios cambios y
modificaciones en el sistema de estimación de tiempo a contacto 12
descrito anteriormente. Por ejemplo, en lugar de usar la escala de
la dimensión vertical de obstáculos entre imagen \Psi y \Psi',
el sistema 12 puede usar la escala de la dimensión horizontal, o
ambos.
Además, se apreciará que imágenes \Psi y
\Psi' son rectificadas preferiblemente, por ejemplo, como se
describe en la solicitud de patente de Stein, de manera que sus
planos de imagen sean perpendiculares al plano de la carretera.
Además, se apreciará que se puede usar filtros de
detección de carretera y filtros de detección de obstáculos
distintos o además de los descritos en la presente memoria. Por
ejemplo, se puede usar un filtro como el descrito en dicha solicitud
de patente de Stein para identificar parches que contienen
proyecciones de obstáculos.
Se apreciará que un sistema según la invención se
puede construir en todo o en parte a partir de hardware especial o
un sistema informático general, o cualquier combinación de los
mismos, del que cualquier porción puede ser controlada por un
programa adecuado. Cualquier programa puede incluir total o
parcialmente parte o almacenarse en el sistema de manera
convencional, o puede preverse total o parcialmente en el sistema
por una red u otro mecanismo para transferir información de manera
convencional. Además, se apreciará que el sistema se puede operar
y/o controlar de otro modo por medio de información suministrada por
un operador usando elementos de entrada de operador (no
representados) que pueden estar conectados directamente al sistema o
que pueden transferir la información al sistema por una red u otro
mecanismo para transferir información de manera convencional.
Claims (6)
1. Un sistema de determinación de estimación de
tiempo a contacto (12) para generar una estimación sobre el tiempo a
contacto de un vehículo (10) que avanza a lo largo de una carretera
(11) con un obstáculo (15) incluyendo:
A. Un receptor de imágenes (13) configurado para
recibir información de imágenes relativa a una serie de al menos dos
imágenes cuando el vehículo se mueve a lo largo de la carretera;
y
B. Un procesador (14);
caracterizado porque el procesador está
configurado para determinar un factor de escala que define una
relación entre dimensiones del obstáculo en las imágenes y usa la
relación para generar una estimación del tiempo a contacto del
vehículo con el obstáculo.
2. Un sistema según la reivindicación 1, donde el
factor de escala define una relación entre las dimensiones
verticales del obstáculo en las imágenes y el procesador usa la
relación para estimar el tiempo a contacto.
3. Un sistema según la reivindicación 1, donde el
factor de escala define una relación entre dimensiones horizontales
del obstáculo en las imágenes y el procesador usa la relación para
estimar el tiempo a contacto.
4. Un sistema según cualquiera de las
reivindicaciones anteriores, donde el al menos dos imágenes incluyen
más de dos imágenes.
5. Un sistema según la reivindicación 4, donde el
procesador (14) procesa la información de imagen para determinar un
desplazamiento lateral del objeto con relación a una posición del
vehículo.
6. Un sistema según la reivindicación 5, donde el
procesador (14) determina una probabilidad de colisión en respuesta
a si el desplazamiento lateral se aproxima de forma sustancialmente
uniforme a cero.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16758799P | 1999-11-26 | 1999-11-26 | |
US167587P | 1999-11-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2250218T3 true ES2250218T3 (es) | 2006-04-16 |
Family
ID=22607973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES00982211T Expired - Lifetime ES2250218T3 (es) | 1999-11-26 | 2000-11-27 | Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo. |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP1236126B1 (es) |
JP (1) | JP2003527680A (es) |
AT (1) | ATE307370T1 (es) |
AU (1) | AU1927101A (es) |
CA (1) | CA2392578A1 (es) |
DE (1) | DE60023339T2 (es) |
ES (1) | ES2250218T3 (es) |
WO (1) | WO2001039018A1 (es) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1741079B1 (en) | 2004-04-08 | 2008-05-21 | Mobileye Technologies Limited | Collision warning system |
EP1717778B1 (en) * | 2005-04-29 | 2007-07-11 | Ford Global Technologies, LLC | Method and system for forward collision avoidance in an automotive vehicle |
JP4970926B2 (ja) | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
DE102009043705A1 (de) | 2009-10-01 | 2011-04-07 | Silicon Micro Sensors Gmbh | Verfahren und Kamerasystem zur Erzeugung von Bildern zur Übermittlung an eine externe Steuereinheit |
EP2463843B1 (en) | 2010-12-07 | 2015-07-29 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5515448A (en) * | 1992-07-28 | 1996-05-07 | Yazaki Corporation | Distance measuring apparatus of a target tracking type |
JP2863381B2 (ja) * | 1992-09-25 | 1999-03-03 | 矢崎総業株式会社 | 車両用監視方法 |
US5529138A (en) * | 1993-01-22 | 1996-06-25 | Shaw; David C. H. | Vehicle collision avoidance system |
JP3287117B2 (ja) * | 1994-07-05 | 2002-05-27 | 株式会社日立製作所 | 撮像装置を用いた車両用の環境認識装置 |
US5642093A (en) * | 1995-01-27 | 1997-06-24 | Fuji Jukogyo Kabushiki Kaisha | Warning system for vehicle |
KR960032262A (ko) * | 1995-02-09 | 1996-09-17 | 배순훈 | 차량의 주행 안전 시스템 |
JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
-
2000
- 2000-11-27 CA CA002392578A patent/CA2392578A1/en not_active Abandoned
- 2000-11-27 JP JP2001540612A patent/JP2003527680A/ja active Pending
- 2000-11-27 AU AU19271/01A patent/AU1927101A/en not_active Abandoned
- 2000-11-27 AT AT00982211T patent/ATE307370T1/de not_active IP Right Cessation
- 2000-11-27 DE DE60023339T patent/DE60023339T2/de not_active Expired - Lifetime
- 2000-11-27 ES ES00982211T patent/ES2250218T3/es not_active Expired - Lifetime
- 2000-11-27 EP EP00982211A patent/EP1236126B1/en not_active Expired - Lifetime
- 2000-11-27 WO PCT/US2000/032144 patent/WO2001039018A1/en active IP Right Grant
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917169B2 (en) | 1993-02-26 | 2014-12-23 | Magna Electronics Inc. | Vehicular vision system |
US8993951B2 (en) | 1996-03-25 | 2015-03-31 | Magna Electronics Inc. | Driver assistance system for a vehicle |
US9436880B2 (en) | 1999-08-12 | 2016-09-06 | Magna Electronics Inc. | Vehicle vision system |
US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
US9609289B2 (en) | 2004-04-15 | 2017-03-28 | Magna Electronics Inc. | Vision system for vehicle |
US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
US9008369B2 (en) | 2004-04-15 | 2015-04-14 | Magna Electronics Inc. | Vision system for vehicle |
US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
Also Published As
Publication number | Publication date |
---|---|
EP1236126A1 (en) | 2002-09-04 |
CA2392578A1 (en) | 2001-05-31 |
WO2001039018A1 (en) | 2001-05-31 |
DE60023339T2 (de) | 2006-06-29 |
AU1927101A (en) | 2001-06-04 |
JP2003527680A (ja) | 2003-09-16 |
DE60023339D1 (de) | 2006-03-02 |
EP1236126B1 (en) | 2005-10-19 |
ATE307370T1 (de) | 2005-11-15 |
EP1236126A4 (en) | 2004-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7040867B2 (ja) | システム、方法およびプログラム | |
US10384679B2 (en) | Travel control method and travel control apparatus | |
EP3514032B1 (en) | Adjusting velocity of a vehicle for a curve | |
CN112528737B (zh) | 用于检测对象的系统和方法 | |
EP3183688B1 (en) | Recognition and prediction of lane constraints | |
CN110546696B (zh) | 用于自主车辆的用于自动生成和更新数据集的方法 | |
JP7074438B2 (ja) | 自車位置推定装置 | |
JP6601696B2 (ja) | 予測装置、予測方法、およびプログラム | |
ES2250218T3 (es) | Sistema de deteccion de obstaculos en el desplazamiento de un vehiculo. | |
US9734719B2 (en) | Method and apparatus for guiding a vehicle in the surroundings of an object | |
BR102016010430B1 (pt) | Dispositivo de determinação de reconhecimento errôneo com base em parâmetros de deslocamento para controle de condução de um veículo | |
US20180266828A1 (en) | Integrated vision-based and inertial sensor systems for use in vehicle navigation | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
JP2010072807A (ja) | 道路境界検出判断装置 | |
CN107097790A (zh) | 用于阐明车辆的车辆周围环境的方法和设备以及车辆 | |
US11468691B2 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
JP6493000B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
US20230106644A1 (en) | Systems and methods for detecting vehicle wheel slips | |
CN109624973A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN109987082A (zh) | 车辆控制装置、车辆控制方法和存储介质 | |
KR101980509B1 (ko) | 차간 거리 추정 방법 및 차간 거리 추정 장치 | |
CN112528719A (zh) | 推定装置、推定方法以及存储介质 | |
JP2020086956A (ja) | 撮影異常診断装置 | |
CN112613335A (zh) | 识别装置、识别方法及存储介质 | |
CN114868381A (zh) | 图像处理装置、图像处理方法以及程序 |