ES2250636T3 - Equipo de analisis de imagenes. - Google Patents

Equipo de analisis de imagenes.

Info

Publication number
ES2250636T3
ES2250636T3 ES02720176T ES02720176T ES2250636T3 ES 2250636 T3 ES2250636 T3 ES 2250636T3 ES 02720176 T ES02720176 T ES 02720176T ES 02720176 T ES02720176 T ES 02720176T ES 2250636 T3 ES2250636 T3 ES 2250636T3
Authority
ES
Spain
Prior art keywords
image
modulation signal
light
time
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES02720176T
Other languages
English (en)
Inventor
Christopher John Instro Precision Limited MORCOM
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Instro Precision Ltd
Original Assignee
Instro Precision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB0108497A external-priority patent/GB2374743A/en
Application filed by Instro Precision Ltd filed Critical Instro Precision Ltd
Application granted granted Critical
Publication of ES2250636T3 publication Critical patent/ES2250636T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Abstract

Un sistema de análisis de imágenes que comprende: una fuente de luz (40); los medios (42) para iluminar el campo de visión de interés con la fuente de luz; ópticas receptoras (46) para recibir la luz reflejada desde el campo de visión que se va a analizar: un detector de luz de región múltiple (48) para detectar la luz recibida desde las ópticas receptoras, en el que las diferentes regiones del detector de luz se pueden actuar de manera separada; y los medios de procesamiento (56) para medir el tiempo de viaje de las señales de luz desde la fuente de luz a la porción actuada del detector (48) para todas las direcciones iluminadas y las derivar distancias de los tiempos de viaje; caracterizado en que el sistema comprende de manera adicional: electrónica de control (52) para sincronizar la medida del tiempo y la dirección de iluminación de la fuente de luz y la actuación del detector de luz; los medios para generar una alarma si la distancia derivada es inferior a un umbral predeterminado; yun sistema de captura de imágenes (48) para capturar una imagen y presentar la imagen al usuario, el campo de visión del cual se alinea con el campo de visión de los dos detectores de luz dimensionales (48), y en el que los dos detectores de luz dimensiónales (48) se usan como el detector del sistema de captura de imágenes, y la alerta se presenta usando el sistema de captura de imágenes.

Description

Equipo de análisis de imágenes.
Esta invención se refiere a un equipo de análisis de imagen, de manera particular para sistemas de alerta y prevención de colisiones.
El coste de accidentes de tráfico en carretera, tanto en términos de pérdidas económicas como humanas es amplio. Por ejemplo, en 1999 la US Federal Highway Administration informó de 6,3 millones de Accidentes de Tráfico en carretera (RTA) en los Estados Unidos, que dejaron 3,2 millones de heridos y 41.345 muertos. El coste económico total se estimó que era de 150.000 millones de dólares.
De manera similar, la Economic Comission for Europe informó en 1997 de 6.118.844 heridos y 164.677 muertos por RTA en Europa. Los costes directos de tratamiento médico, servicios de emergencia, daños a la propiedad y volumen de costes económicos se estimó que era de 36.000 millones de libras esterlinas, mientras que el coste económico total en la CEE se estimó en 150.000 millones de libras esterlinas.
Por tanto, se ha centrado mucha investigación en la búsqueda de vías para evitar las colisiones y los RTA mediante el suministro de mejor información al conductor y de activar una alerta temprana de peligro, y esto lleva a diferentes soluciones.
Las soluciones más simples para evitar la colisión se basan en medir la distancia entre el vehículo y el vehículo más cercano en frente, y proporcionar una luz o sonido de alerta al conductor si este conduce demasiado cerca, dada su velocidad actual.
Un enfoque simple para medir la distancia es usar un telémetro láser (LRF) Estos dispositivos trabajan sobre la base de medir el tiempo de viaje de un pulso láser hasta un objeto remoto y el de vuelta, y calculan la distancia a partir de la velocidad conocida de la luz. Una limitación de dichos dispositivos es que son solo capaces de monitorizar la distancia en una zona predefinida directamente al frente del vehículo, tal como se muestra en la Figura 1 (A). La ruta del vehículo 1 se muestra como 2, y la zona de monitorización de la distancia se muestra como 4. Si el vehículo está circulando por una curva, la región que se está monitorizando no se focalizará en la ruta del vehículo, pero se visualizará en la ruta del tráfico que se aproxima o en el lado del bordillo tal como se ilustra en la Figura 1, situaciones (B) y (C).
Esto produce falsas alertas de colisión cuando la carretera se curva o el conductor gira, reduciendo sustancialmente el beneficio de dichos sistemas y por tanto su atractivo para el motorista o el conductor profesional. De manera adicional, estas falsas alertas vuelven un problema que dichos sistemas controlen de manera automática la frenada del vehículo, lo que mejoraría por otra parte el tiempo de reacción del vehículo en circunstancias peligrosas.
A pesar de todo, las soluciones basadas en un LRF simple pueden proporcionar una solución efectiva al coste para la alerta de colisión o los sistemas inteligentes de control de crucero (en los que la velocidad del coche se controla de manera automática para mantener una distancia de seguridad detrás del coche de delante) para conducción en carreteras.
Para solucionar el problema de las falsas alertas en las carreteras de cada día y estimular más ampliamente la adopción de la alerta por colisión, se han ensayado muchas soluciones alternativas.
Por ejemplo, se han desarrollado sistemas (tales como el sistema Eaton® VORAD®) que usan técnicas de radar de microondas doppler de búsqueda hacia delante para medir la distancia con un número de vehículos locales. Desafortunadamente, dichos sistemas son caros de producir debido a la naturaleza sofisticada de sus componentes y a la tecnología, y como resultado se ha limitado su aplicación al mercado de vehículos comerciales en el que se puede tolerar un precio de sistema mayor debido a que los mismos vehículos son más caros y el coste económico de una colisión es mayor.
Otros investigadores han adoptado la solución de escanear el telémetro láser durante la escena frontal de un vehículo para medir la distancia a otros vehículos u obstáculos. El escaneado se lleva a cabo de manera usual con un espejo giratorio, Sin embargo el espejo necesita ser lo suficientemente grande para abarcar el haz del láser y la apertura de la óptica receptora del LRF sin producir la superposición de sonidos o la degradación de la imagen. Esto añade un coste y complejidad mecánica.
Para realizar un sistema de bajo coste otros investigadores han intentado usar una solución de "sensor de fusión", por la cual los datos de distancia capturados por un LRF o radar se combinan con la información capturada por una cámara de vídeo y un sistema de procesamiento de imágenes para intentar eliminar las lecturas falsas. Dichos sistemas usan a menudo un conocimiento a priori aproximado del tamaño y forma de los vehículos y las indicaciones de las marcas viales y el mobiliario urbano para evaluar cuando los carriles y bordes de la carretera se van a evaluar si los datos de distancia del LRF son utilizables y válidos. De manera adicional, algunos sistemas modifican los datos de imagen de la cámara de vídeo para dirigir la atención del conductor a las amenazas potenciales en el campo de visión.
Sin embargo, el entorno de la carretera está muy desestructurado desde el punto de vista de procesamiento de la imagen. Esto presenta un problema difícil de procesamiento de la imagen que requiere recursos de cálculo sustanciales y caros para extraer datos fiables. Incluso con dichos recursos estos sistemas encuentran muy difícil enfrentarse con características inesperadas de la imagen; por ejemplo, un niño que se atraviesa en el camino del vehículo o alguna otra obstrucción en la carretera, debido a su confianza sobre un conocimiento a priori. Como resultado, el alto coste de los recursos de cálculo necesario y el problema de las falsas alarmas ha retrasado la comercialización de dichos sistemas.
Como alternativa adicional al uso del telémetro láser o a las técnicas de radar para medir la distancia a los objetos sobre un campo de visión frontal de un vehículo, se han desplegado sistemas que usan dos cámaras de vídeo y técnicas estereográficas de procesamiento de imagen (por ejemplo, documento JP 2001/018738). Sin embargo, la línea base de dichos sistemas está limitada por el tamaño del vehículo y esto compromete la fiabilidad del intervalo. De manera adicional, se aplican también los problemas identificados anteriormente con respecto al procesamiento de imagen.
Existe por tanto una necesidad de un sensor de imagen y de un equipo de análisis fiable y con coste bajo que use una tecnología simple que sea capaz de medir la distancia a objetos sobre un campo de visión alrededor de un vehículo pero que permita distinguir fácilmente entre alertas falsas y verdaderas entre sí.
El Documento WO 01/22033 describe un sensor de imagen IC en el que un detector multi píxel tiene circuitos de medida del tiempo de viaje asociados con cada píxel.
De acuerdo con la invención se proporciona un sistema de análisis de imágenes que comprende:
una fuente de luz;
medios para iluminar de campo de visión de interés con la fuente de luz;
ópticas receptoras para recibir la luz reflejada desde el campo de visión que se va a analizar;
un detector de luz de región múltiple para detectar la luz recibida desde las ópticas receptoras, en el que las diferentes regiones del detector de luz pueden ser actuadas de manera separada; y
los medios de procesamiento para medir el tiempo de viaje de las señales de luz desde la fuente de luz a la porción actuada del detector para todas las direcciones iluminadas y distancias que derivan de los tiempos de viaje.
El sistema comprende de manera adicional: electrónica de control para sincronizar la medida del tiempo y la dirección de iluminación de la fuente de luz y la actuación del detector de luz;
los medios para generar una alerta si la distancia derivada es menor de un umbral predeterminado; y
un sistema de captura de imágenes para capturar una imagen y presentar la imagen a un usuario, el campo de visión de la cual se alinea con el campo de visión de los dos detectores de luz dimensionales,
en el que se usan los dos detectores de luz dimensionales así como el detector para el sistema de captura de imágenes, y se presenta la alerta usando el sistema de captura de imágenes.
En este sistema, las regiones seleccionadas del detector de luz pueden ser actuadas de manera independiente y la actuación se sincroniza con la medida del tiempo y la dirección de la fuente de luz. Se reduce por tanto la compensación de la señal de fondo, mejorando la relación señal a ruido.
El sistema se puede usar como un sistema de prevención de colisiones, con una imagen modificada cuando existe peligro de colisión. Existe un alineamiento perfecto entre el sistema de recogida de imágenes y el sistema de medida de la distancia, así como una reducción en el coste.
El detector de luz de región múltiple se puede implementar a bajo coste como una matriz de fotodiodos, por ejemplo, una matriz lineal o 2D. la matriz de fotodiodos es operable de manera preferible en un primer modo en el que las cargas se almacenan sobre los fotodiodos de la matriz en respuesta a la entrada de luz y a continuación leen (de manera convencional) para capturar los datos de imagen, y en un segundo modo en el que la señal fotogenerada a partir de un fotodiodo individual seleccionado o grupo de fotodiodos se enruta hasta un circuito de medida del tiempo de viaje para capturar los datos del intervalo.
Se pueden proporcionar medios para modificar la imagen presentada por el sistema de captura de imágenes en respuesta a la distancia determinada. Para aplicaciones de prevención de colisiones, el sistema comprende de manera preferible un sensor de velocidad y los medios para calcular una distancia de seguridad como umbral predeterminado en función de la salida del sensor de velocidad. Se puede calcular la distancia de seguridad basándose de manera adicional en las condiciones de la carretera, obtenidas a partir de un sensor de carretera.
Se puede modificar la imagen presentada por el sistema de captura de imágenes cuando una distancia para una región de la imagen es inferior que la distancia de seguridad.
El sistema puede comprender de manera adicional los medios para determinar la trayectoria de un cuerpo que transporta el sistema de análisis de imágenes, por ejemplo en función de la información sobre la velocidad y la dirección. Cuando se usa el sistema de captura de imágenes, la imagen presentada se puede modificar a continuación únicamente para las regiones de falsa imagen dentro de la trayectoria del cuerpo.
El sistema puede comprender un generador de secuencia de longitud máxima para generar una señal de modulación, y un correlacionador cruzado para obtener el tiempo de retardo de una señal de modulación reflejada en el tiempo a partir de una comparación de la señal de modulación y la señal de modulación reflejada retardada en el tiempo. De manera particular, el correlacionador cruzado puede comprender:
un correlacionador cruzado grueso para determinar de manera gruesa el tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación, y
un correlacionador cruzado fino para calcular la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación en función del tiempo de retardo de la señal de modulación con respecto a la señal recibida alrededor de un intervalo de tiempo de retardo del desplazamiento temporal determinado por el correlacionador cruzado grueso.
El uso de este sistema de correlación cruzada permite minimizar la interferencia entre sistemas contiguos.
Los ejemplos de la invención se describirán a continuación en detalle con referencia a los dibujos adjuntos en los que:
La Figura 1 se usa para ilustrar algunos problemas con los sistemas de prevención de colisiones;
La Figura 2 muestra un primer ejemplo del sistema de prevención de colisiones de la invención;
La Figura 3 muestra una segunda forma de realización del sistema de la invención;
La Figura 4 muestra la matriz de fotodiodos de la Figura 3 con más detalle;
La Figura 5 muestra una tercera forma de realización del sistema de la invención;
La Figura 6 muestra una cuarta forma de realización del sistema de la invención;
La Figura 7 muestra como se puede usar la información de trayectorias;
La Figura 8 muestra una cuarta forma de realización del sistema de la invención.
Se ilustra en la Figura 2 la versión más simple del sistema propuesto.
La salida de un haz láser pulsado de manera secuencial a partir de un láser 40 se barre a través del campo de visión 41. El escaneado se consigue bien escaneando el propio láser, o de manera preferible usando un espejo de escaneo 42 implementado usando técnicas conocidas tales como un galvanómetro o mecanismos piezoeléctricos 44.
Se dispone un sistema óptico receptor estacionario 46 para recoger toda la luz entre el objeto remoto y el foco sobre una matriz de fotodiodos 48. La matriz de fotodiodos 48 se conecta a un preamplificador, un discriminador de pulsos 54 y medida electrónica del tiempo 56.
La electrónica de control 52 controla el escaneado del haz láser, el azimut y la elevación (X, Y) y la medida del tiempo del pulso del láser. Cada pulso de láser se refleja desde los objetos en el campo de visión 41 se recoge mediante las ópticas receptoras 46 y se focaliza sobre la matriz de fotodiodos 48 para generar un pulso eléctrico, en una parte de la matriz en la que se focaliza la parte del objeto iluminado mediante el punto del láser.
La electrónica de control aplica señales de nivel lógico a las líneas de control X e Y relevantes de la matriz direccionada en X-Y de tal manera que el fotodiodo iluminado por la imagen del punto láser se conecta a un preamplificador y a los tiempos electrónicos de detección del viaje 56. El pulso de láser reflejado es capturado por este fotodiodo y la señal eléctrica resultante se enruta hacia el detector de pulso eléctrico y al tiempo de la circuitería de medida del viaje (TOF) 56. Este calcula el TOF del pulso del láser en el punto sobre el objeto remoto y de vuelta al fotodiodo sobre la matriz direccionada en X-Y y por tanto la distancia entre el objeto remoto y la matriz direccionada en X-Y.
Este procedimiento se repite para muchos puntos en el interior del campo de visión para medir el intervalo de objetos en el interior del campo de visión. Si la imagen formada del punto láser es más grande que un píxel único entonces la electrónica de control puede hacer que el detector se dirija a un grupo de fotodiodos adyacentes (por ejemplo, una submatriz 2 x 2 de fotodiodos) en paralelo para optimizar la recogida y detección de la energía del láser.
Debido a que la electrónica de control 52 está controlando el escaneado del láser y la medida del tiempo del pulso del láser, este es capaz de construir una matriz de números el azimut del barrido láser (X) y la elevación (Y) y el intervalo R (X, Y) para el objeto remoto en la línea del láser de la visión que representa el perfil de superficie 3D del objeto remoto.
Para objetivos de alerta de colisión, las distancias medidas a objetos remotos en el interior del campo de visión del equipo se comparan frente a un umbral predeterminado usando un comparador 51 y cuando la distancia medida cae por debajo del umbral se proporciona una alarma, bien de manera oral u óptica.
En una forma de realización preferida del sistema, se proporciona un sensor de velocidad 53 y se calcula una distancia de seguridad en la unidad 55 en función de la salida del sensor de velocidad y el comportamiento dinámico del vehículo. Esta distancia de seguridad se usa a continuación como el punto del umbral en el cual se dispara una alerta. En un refinamiento adicional, se puede calcular la distancia de seguridad en función de factores adicionales que incluyen las condiciones de conducción. Por ejemplo, se puede proporcionar un sensor de temperatura de tal manera que si la temperatura cae por debajo de la congelación, se extiende la distancia de seguridad para tener en cuenta el potencial del hielo que se ha formado. De manera similar, los sensores de humedad pueden determinar si está lloviendo para extender la distancia operativa de seguridad.
Puede verse que con la solución de análisis de imagen, la única parte de movimiento del sistema es un espejo escaneado que necesita únicamente ser lo suficientemente grande para dirigir el haz láser. Esto evita el alto coste de un plato motorizado de precisión y la inclinación de la cabeza y permite una alta velocidad de exploración. Además, debido a que el láser y las rutas ópticas receptoras se pueden mantener completamente separados no existen riesgos de réplicas ópticas.
Para minimizar el tamaño y el coste, se puede implementar el sistema de escaneado del láser 44 en un número de vías que incluyen espejos de escaneado electromagnéticos o piezoeléctricos un chip de láser sobre un microequipo de silicio o estructura piezoeléctrica compacta.
Es importante señalar que para los sistemas que operan durante intervalos más cortos, el escaneado se puede llevar a cabo junto con una fuente pulsada de luz focalizada de forma que ilumine el conjunto del campo de visión. Esto ofrece una reducción sustancial en el coste del sistema y en la complejidad. En este caso, se puede implementar la fuente de luz usando bien un láser, un diodo que emite luz de alta energía (LED) o una matriz de diodos.
Se puede mejorar sustancialmente el comportamiento del sistema sustituyendo la fuente pulsada del láser con una fuente modulada del láser y el discriminador de pulsos por un sistema de correlación cruzado. Se conoce dicho sistema, por ejemplo, a partir del Documento DE 19949803 de Denso Corp. De manera particular, el sistema puede incluir una fuente de señales tal como un láser para suministrar una señal de modulación y un sistema de transmisión conectado con la fuente de señales para transmitir una señal óptica transmitida modulada mediante la señal de modulación.
La señal de modulación puede ser, por ejemplo una secuencia de longitud máxima. Es esta vía, para una energía punta de láser dada, se puede liberar a continuación una energía mayor hacia el objeto remoto que mejora la relación señal a ruido y por lo tanto el intervalo máximo del sistema. A continuación se proporciona un sistema de recepción para recibir una versión reflejada y retardada de la señal transmitida, y un correlacionador cruzado para obtener el tiempo de retardo. El correlacionador cruzado se puede organizar para determinar, a una resolución gruesa, el tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal recibida. El correlacionador cruzado puede determinar a continuación, a una resolución más fina que la resolución gruesa, la correlación entre la señal de modulación y la señal recibida en un intervalo de tiempo de retardo más pequeño alrededor del tiempo de retardo determinado. Se calcula una medida de la distancia a partir del tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal
recibida.
El correlacionador cruzado se puede implementar digitalmente y la frecuencia de muestreo del conjunto del correlacionador cruzado para ser una frecuencia múltiple de la secuencia de longitud máxima del reloj del generador. Esta solución de sobremuestreo permite mejorar la resolución de la distancia del sistema; usando un procedimiento eficiente de procesamiento de la señal y minimizar la energía de procesamiento necesaria de los correlacionadores grueso y fino.
Un aspecto importante adicional de esta invención es que el uso de una señal modulada tal como un MLS y la solución de sobremuestreo se pueden usar para aumentar la inmunidad del sistema a la interferencia desde otros sistemas similares que se operan por vehículos cercanos (por ejemplo, en caminos adyacentes). Esto es debido a que el pico de la correlación detectado en una secuencia de longitud máxima (MLS) en función del sistema TOF usando un factor de sobremuestreo específico es insensible a otra señal MLS generada con un factor de sobremuestreo diferente. Por ejemplo, existe una correlación pequeña entre un MLS con factor de sobremuestreo 5 y con factor de sobremuestreo 6, incluso si las señales MLS son del mismo orden.
Se puede usar esta propiedad de manera ventajosa en un contexto de prevención de la colisión como sigue:
a) si un sistema de prevención de colisiones detecta la presencia de una señal reflejada desde un sistema adyacente usando el mismo factor de sobremuestreo, este puede cambiar a un factor de sobremuestreo diferente y/u orden MLS para evitar la interferencia entre los dos sistemas;
b) de manera alternativa, el sistema puede ciclar secuencialmente a través de numerosos factores de sobremuestreo y órdenes MLS durante el tiempo de tal manera que la probabilidad de interferencia entre dos sistemas adyacentes es mucho más reducida.
Por ejemplo, se podrían calcular el factor de sobremuestreo y la orden MLS mediante un generador de número seudoaleatorio que se siembra con un número en función del tiempo que el coche esta partiendo de tal manera que la probabilidad de que dos coches rueden con el mismo factor de sobremuestreo al mismo tiempo sería muy pequeña.
Se describirá ahora con mayor detalle la técnica MLS preferida esbozada anteriormente. Un generador MLS genera una señal MLS. La señal del reloj del generador MLS se deriva desde el reloj del sistema maestro mediante un divisor de tal manera que la frecuencia del reloj MLS es un submúltiplo M conocido de la señal del reloj maestro. En efecto, el MLS se extiende en el tiempo mediante el factor M. La señal MLS "extendida" produce que el láser emita una señal MLS extendida óptica, siendo la señal de retorno de los objetos en el campo de visión digitalizada y pasada a unidades de cálculo de correlación gruesas y finas.
La unidad de correlación cruzada gruesa se registra en la frecuencia del reloj MLS y correlaciona por tanto una versión submuestreada de la señal MLS reflejada digitalizada y la señal transmitida MLS extendida original. La salida de esta unidad de correlación cruzada es un pico que se detecta y que indica el tiempo de retardo grueso de la señal reflejada.
La electrónica de control puede hacer que el correlacionador cruzado fino calcule la correlación cruzada de las señales transmitidas y reflejadas únicamente en la región del tiempo de retardo grueso calculado. De manera típica, la función de correlación cruzada fina se calcularía para muestras 2M antes y después del tiempo de retardo grueso. La salida del correlacionador cruzado fino es la función de correlación cruzada de las señales transmitidas y reflejadas en la región del pico.
La forma del pico de correlación de una señal PRBS como un MLS es un pulso triangular: Se puede examinar la operación de correlación cruzada siendo similar al convoluto del MLS con una versión retardada del mismo y a continuación muestreando el resultado a una frecuencia igual a la frecuencia del reloj correlacionador cruzado. Por tanto, la forma de la salida del pico de correlación por la unidad de correlación cruzada se proporciona mediante la función de circunvolución de dos pulsos idénticos de anchura T, que es un pulso triangular muestreado mediante la frecuencia del reloj del correlacionador cruzado.
El equipo de análisis de imágenes proporciona también el azimut y la elevación de aquellos puntos en el interior del campo visual que están más cercano que el umbral de la distancia de seguridad y esta información se puede usar para proporcionar una indicación al conductor de cuando puede producirse la colisión potencial. Por ejemplo, se puede iluminar una matriz o los diodos que emiten la luz.
Sin embargo, el sistema se puede refinar combinando de manera adicional el equipo de análisis de imágenes descrito anteriormente con una cámara de vídeo tal como se muestra en la Figura 3. Una cámara de vídeo 10 y el sistema de análisis de imágenes 10, que es en efecto un sistema de medida 12 del perfil superficial en 3D en tiempo real se disponen de tal manera que sus campos de visión 14, 16 sean coincidentes y se alineen con el frontal de la carretera. La cámara de vídeo tiene una salida de vídeo que proporciona una señal de intensidad I (X, Y) para cada punto en el campo de visión y el sistema de análisis de imágenes tiene una salida que indica el intervalo (R (X, Y) de cada punto en el campo de visión. La circuitería de control 18 genera pulsos sincronizados para asegurar que el escaneado de la cámara de vídeo 10 y el sistema de medida del perfil superficial en 3D 12 están sincronizados; de tal manera que el mismo punto en el campo de visión es examinado por cada sistema al mismo tiempo.
Un sensor de velocidad del vehículo 20 mide la velocidad del vehículo y se calcula la distancia de seguridad (Rmin) en un procesador 22 teniendo en cuenta el comportamiento de frenada del vehículo y el tiempo de reacción del conductor. Un comparador 24 compara la distancia medida en cada punto escaneado en el campo de visión R (X, Y) con la distancia de seguridad Rmin y genera una señal siempre que la distancia medida a un punto en el interior del campo de visión sea menor que la distancia de seguridad (R (X, Y) < Rmin). La señal se puede usar para disparar los medios de alarma proporcionado por la salida de audio 26.
De manera adicional, la señal de alarma opera un interruptor superpuesto 28 que sustituye el valor de intensidad de la corriente I (X, Y) del píxel que se está leyendo a partir de la cámara de vídeo con un color de alerta preseleccionado alternativo generado por una fuente separada 20; por ejemplo, rojo. En este caso, aquellas zonas u objetos en el interior del campo de visión de la cámara de vídeo que están peligrosamente cerca se destacan en la señal de vídeo.
A continuación se presenta la señal de vídeo al conductor a través de una pantalla de vídeo convencional o aparato a la altura de la frente 32, y las señales luminosas indican al conductor que los objetos o vehículos están demasiado cerca.
La Figura 3 muestra de manera separada los sistemas de imagénes del vídeo y el LRF 10, 12. Un beneficio particular de la solución descrita aquí es que es en cambio posible simplificar el diseño de la cámara de vídeo y el sistema de medida del perfil superficial, de manera particular compartiendo el hardware del receptor de luz. Se pueden implementar mediante el sistema de la Figura 2 un vídeo combinado y un sistema de medida del perfil, y se describirá ahora el caso en el que dicho sistema puede operar. Se describirá a continuación con más detalle un sistema con referencia a la figura 5.
Se puede usar la matriz del sistema LRF como sistema de adquisición de imágenes para la cámara de vídeo. En la Figura 4 se muestra un esquema simplificado de un diseño posible de una matriz de fotodiodos con este objetivo. Se muestra una matriz 2 X 2 por simplicidad, mientras que en la práctica se usará una matriz mucho más grande. Este dispositivo consiste de una matriz de fotodiodos de 60 píxeles, cada uno de los cuales comprende un fotodiodo (PD11 a PD22) y un transistor asociado (TR11 a TR22), que se configuran para manejar y actuar como interruptores analógicos.
Para las aplicaciones de imagen de vídeo estándar, el dispositivo se opera en un modo de integración cuando la iluminación incidente se focaliza sobre su superficie. La iluminación incidente genera carga en el interior de cada fotodiodo mediante el efecto fotoeléctrico. Durante este período de integración, las conexiones X1, X2, Y1 y Y2 se mantienen todas bajas de tal manera que los transistores están apagados y los fotodiodos están eléctricamente aislados. A continuación, la carga fotogenerada se acumula en cada fotodiodo y se almacena en la autocapacitancia del fotodiodo.
Una vez se ha recogido la fotocarga suficiente, el dispositivo se lee como sigue. La entrada X1 se toma con un potencial alto de tal manera que TR1 se conecta por tanto permitiendo a la carga fluir entre la columna y el amplificador sensible a la carga 62. A continuación se pulsa alto en la entrada Y1 para dirigir una hilera de píxeles, conectando TR11 y dejando la carga fotogenerada almacenada sobre el fotodiodo PD11 para fluir a través de TR11 y TR1 en el amplificador de salida 62 cuando la carga se convierte en voltaje. Esto crea una señal de salida cuya amplitud es proporcional al nivel de carga almacenada en PD11 y por tanto, el nivel de luz incidente sobre TR11.
Una vez que se ha descargado la auto capacitancia de PDF11, la entrada Y1 se toma en baja y la entrada Y2 se toma en alta, permitiendo que se lea la carga almacenada sobre PD12. En este caso se lee a la vez una columna de píxeles.
Una vez que se ha descargado toda la carga recogida por PD12, Y2 se toma bajo y X2 se toma alto para permitir que se lean PD21 y PD22 (los píxeles en la siguiente columna) de manera secuencial pulsando Y1 e Y2 de la manera descrita anteriormente.
Se ha visto que este procedimiento permite escanear la matriz 2 X 2 y una señal eléctrica análoga de la iluminación incidente generada. En operación normal se usan grandes números de fotoperíodo, por ejemplo 512 x 512, para aumentar la resolución. Se pueden organizar la secuencia de lectura y el escaneado del sensor para generar una señal de vídeo estándar.
De manera adicional, se puede señalar que la estructura básica descrita aquí se ha simplificado con el objetivo de describir la invención propuesta. Las matrices de fotodiodos direccionadas X-Y en la práctica se fabrican por lo general como circuitos integrados a gran escala (LSI) de un semiconductor de óxido metálico (CMOS) complementario sencillo, que incluyen muchos refinamientos tales como circuitería de reloj en el chip para generar las secuencias de pulso de los electrodos X1 a Xn e Y1 a Yn en el chip, y circuitería adicional a nivel de píxel y/o columna para mejorar la amplificación y detección de la fotocarga.
Para la medida de los perfiles en 3D, la matriz de fotodiodos direccionada en X- Y no se puede utilizar de un modo integrado, sino como un multiplexor, por lo que únicamente se dirige el fotodiodo individual que recibe la imagen reflejada del punto láser sobre el objeto remoto. Cuando únicamente uno o un número pequeño de fotodiodos se conecta al amplificador receptor y a la electrónica del tiempo de viaje en cualquier momento, la señal compensada de fondo se limitará a la generada por parte del campo de visión focalizado sobre el fotodiodo individual / grupo de fotodiodos, más bien que desde el campo de visión global de las ópticas. Este aspecto de la invención mejora la relación de la señal a ruido del sistema, reduciendo el efecto de la señales de fondo y reduciendo por lo tanto el ruido de disparo asociado con la señal de fondo.
En una forma de realización preferida, el sensor X-Y, el sistema de medida del tiempo de viaje y la electrónica de control se fabrica en un circuito integrado único para minimizar el coste de fabricación. Los fotodiodos se pueden fabricar y operar como fotodiodos de avalancha para proporcionar la amplificación de la señal mediante el efecto avalancha, antes de la detección de la señal.
El modelo escaneado por láser será frecuentemente un modelo de repetición organizado para cubrir el campo óptico de visión proporcionando a la vez un tiempo de resolución adecuado parta medir la posición de los objetos en movimiento en el campo de visión. El modelo se organiza de manera típica como un escáner convencional de búsqueda para facilitar la presentación en monitores convencionales. Sin embargo, se puede ver que se pueden usar otros modelos. Un modelo útil es un modelo de escáner espiral en el que controlando la velocidad del escáner del láser, se puede conseguir una resolución espacial mejorada en el centro del escáner manteniendo todavía a la vez una resolución espacial baja para detectar los objetos que aparecen en la periferia del escáner.
Con el fin de operar la matriz en un modo de imagen normal más bien que en un modo de detección del viaje de tiempo multiplexado, la secuencia de pulsos aplicada a la matriz direccionada en X-Y se vuelve a una secuencia de escaneado de vídeo normal. Con el fin de permitir operar los dos sistemas de manera continua, se aplicará una secuencia de escaneado combinada que puede, por ejemplo, proporcionar, una operación de localización del intervalo y una operación de imagen en marcos alternos. Cambiando el sistema entre capturar un escáner en 3D y un escáner en imagen convencional se puede capturar tanto una secuencia de imágenes de vídeo como una secuencia en 3D, y superponer una sobre otra.
El uso de la matriz de fotodiodos en dos modos diferentes permite optimizar la operación para cada modo. Para la operación LRF, es importante que únicamente se dirijan el fotodiodo o grupo local de fotodiodos que recibe la imagen del punto láser en cualquier punto en el tiempo; es decir, que el escaneado del láser y el escaneado de la matriz de fotodiodos se sincronicen. Esto requeriría normalmente una calibración extremadamente precisa del escáner y del sistema óptico. Sin embargo, si el láser se escanea mientras el sensor está en modo de imagen, se puede recoger una imagen de la ruta del láser mediante la electrónica de control. Se puede usar esta imagen para determinar la ruta precisa de la imagen del haz del láser sobre la superficie de la matriz de fotodiodos y por tanto ajustar la secuencia correcta de direccionamiento para la matriz direccionada en X-Y y/o la secuencia pulsante del láser, para asegurar la sincronización en el modo de detector del viaje de tiempo multiplexado. De esta manera, se usa el modo de direccionamiento normal como una etapa de calibración para el rendimiento mayor del modo multiplexor. En efecto, el sistema puede autocalibrarse, lo que es un beneficio principal para los sistemas que tienen que operar sobre intervalos de temperatura grandes.
Para aquellos expertos en la técnica, se puede ver que existe una variedad de rutas para entrelazar la captura de imagen del vídeo y la medida del perfil superficial en 3D. Por ejemplo, el registro de la matriz de fotodiodos podría organizarse de forma que los píxeles alternos, grupos de píxeles o líneas podrían usarse para la captura de la imagen y la captura del intervalo de perfil superficial. Con estas soluciones alternativas, se pueden aplicar un mosaico de bandas de filtros de paso de bandas infrarrojo a la superficie de la matriz de fotodiodos alineada con aquellos píxeles o líneas que se van a usar para la medida del intervalo para mejorar la discriminación de la iluminación del láser frente a la iluminación de fondo y por tanto aumentar el intervalo.
Debido a que se usa el mismo detector para capturar un perfil superficial en 3D y la imagen estándar, el registro entre la imagen estándar y los datos en 3D es casi perfecto y esto aumenta de manera significativa la efectividad de las técnicas mientras que la imagen capturada se modifica en respuesta a la distancia variable a los puntos en el interior del campo de visión.
Se pueden aplicar diversas reglas para determinar cuando la imagen de vídeo debería modificarse para proporcionar una señal de alarma. En una forma de realización preferida, se usa la velocidad del vehículo para calcular un número de límites de distancia diferentes que representas diferentes márgenes de seguridad. Se proporcionan comparadores adicionales e interruptores superpuestos para codificar el color de la señal de vídeo dependiendo de la categoría. Por ejemplo, se podría usar el rojo para indicar que el objeto está demasiado cerca para ser peligroso y se podría usar el naranja para indicar que se debe tener un cuidado especial. Se pueden usar destellos en parte de la pantalla como una alarma.
Por tanto, codificando el color de la pantalla del conductor, el conductor es capaz de identificar el riesgo que presentan diferentes objetos y, debido a que el conductor es capaz de correlacionar la alarma de colisión con un objeto en el campo de visión, es capaz de determinar si este es una falsa alerta o no.
El sistema se puede mejorar de manera adicional proporcionando sensores adicionales para monitorizar otros factores importantes tales como la temperatura de la carretera, si está lloviendo y el nivel de humedad en la superficie de la carretera. Estos factores se usarían para refinar la distancia de seguridad para tener en cuenta la carretera y las condiciones ambientales y modificar la codificación del color de la pantalla de alarma de acuerdo con esto.
De manera preferible el sistema de medida del perfil superficial en 3D opera a casi longitudes de onda en el infrarrojo para maximizar la penetración y el intervalo, incluso en presencia de lluvia, nieve o niebla
Se puede ver también que este sistema podría presentarse no solo en la parte frontal del vehículo sino también en los laterales y detrás del vehículo para proporcionar alertas en todo alrededor del conductor. Si se usan los laterales del vehículo, el sistema de alerta ante colisión se podría emplear como un "espejo" de visión lateral activa, en el que se destacan los objetos que presentan un riesgo si el conductor está cambiando de carril. Una ventaja adicional es que el sistema de análisis de imágenes por cámara / 3D se puede situar para eliminar el punto ciego del espejo retrovisor.
La Figura 5 muestra un sistema que puede usar la imagen combinada y la solución para localizar el intervalo descrita anteriormente. En la Figura 3 se usan lo mismos números de referencia para los mismos componentes
Un circuito de control de la sincronización 70 cambia el sensor combinado 72 (con un campo de visión único) de manera secuencial entre la imagen y los modos de medida superficial en 3D. Durante el modo de imagen, los datos de imagen se leen de manera normal y se almacenan en un tampón marco 74; es decir, los datos de imagen se almacenan en un bloque de memoria.
Durante el modo de escaneado en 3D, los datos de imagen almacenados se leen a partir del tampón marco 74 en sincronía con los datos del perfil superficial en 3D. Los datos del perfil superficial se comparan con el criterio calculado de distancia de seguridad procedente del procesador 22, que recibe la velocidad del vehículo y los datos de estado de la carretera de los sensores 76. Pueden ser numerosos niveles, por ejemplo intervalos definidos como críticos, preferidos o seguros, tal como se muestra en la Figura 5. Los datos de imagen almacenados se codifican por colores para mostrar de la manera descrita anteriormente, usando los colores de la fuente 30 y una unidad superpuesta 28.
Una implementación alternativa pero igualmente efectiva sería almacenar los datos en 3 en un tampón marco y leer los datos en 3D en sincronía con los datos de imagen. En cualquier caso, la medida del intervalo y la adquisición de la imagen visual se llevan a cabo en secuencia, y uno de los conjuntos de datos se almacena, de tal manera que se pueden combinar dos conjuntos de datos con el fin de manejar la pantalla.
En una forma de realización preferida toda la circuitería del sistema de alarma ante colisión se integraría en un circuito integrado a gran escala que incluye también la matriz de fotodiodos y la circuitería asociada usada para el sistema sensor para la medida del perfil de imagen / superficie. Esto es para minimizar los costes de fabricación.
En resumen, los sistemas de alarma ante colisión simples descritos anteriormente codificarán todos los objetos en el interior del campo de visión que están demasiado cerca del vehículo de tal manera que el conductor pueda ejercer el juicio sobre que objetos tienen riesgo y tomar la acción de prevención necesaria, que es una mejora significativa sobre los sistemas existentes, que proporcionan una alerta de colisión potencial, pero no permiten al conductor comprender de donde viene el riesgo potencial.
Sin embargo, algunos objetos se codificaran de manera inevitable como que están demasiado cerca aunque no presenten riesgos de colisión. Los ejemplos incluyen objetos sobre el pavimento o sobre el otro lado de la carretera. Para solucionar este problema se puede mejorar el sistema básico tal como se describe a continuación
Se puede mejorar el sistema básico descrito anteriormente modificando el mismo tal como se muestra en la Figura 6. De nuevo, se usan los mismos números de referencia tal como en las Figuras 3 ó 5 para los mismos componentes. El sistema de la Figura 6 difiere en que se calcula la ruta del intervalo de seguridad
Se usa un giroscopio 80 u otro sensor capaz de detectar el movimiento de giro del vehículo.
Se usan el vector de giro y el vector de velocidad del vehículo a partir del sensor 76 y el conocimiento del tamaño del vehículo para calcular la trayectoria del vehículo y por tanto el perímetro externo del volumen de barrido proyectado del vehículo usando las ecuaciones estándar de movimiento. Esto se lleva a cabo por la unidad de cálculo de la trayectoria del vehículo 82. Se usan el sensor de velocidad 76 y los sensores de carretera y ambientales 77 para calcular un límite de la distancia de seguridad de manera normal en el procesador 22.
Se combina a continuación el límite de la distancia de seguridad del procesador 22 con el volumen de barrido proyectado desde la unidad 82 para definir una zona de volumen inseguro tal como se ilustra de manera esquemática en dos dimensiones en la Figura 7. La Figura 7 muestra la trayectoria 90 del vehículo 91 que define una zona de volumen 92. Un límite de la distancia de seguridad 94 divide el volumen 92 en una región 96 cercana al vehículo y una región 98 a una distancia de seguridad.
De manera típica, la zona de volumen inseguro se calcula en un sistema coordenado cartesiano con la parte frontal del vehículo (o el centro de masa del vehículo) situada en el origen. Se calcula la zona de volumen inseguro mediante la unidad 82. Sin embargo, el perfil superficial en 3D medido por el perfil superficial y el sistema de imagen es una matriz de números que representa la distancia a los puntos en el campo de visión (el "mundo real") junto con la líneas proyectadas desde cada píxel sobre la superficie de la matriz del sensor de fotodiodos mediante el centro de perspectiva de las lentes. Como se conoce la geometría del sistema óptico del sistema de medida del perfil superficial en 3D, se usan a continuación las reglas matemáticas estándar de la perspectiva central y se puede calcular una función de transformación coordenada en la unidad 84 para transformar las coordenadas en el sistema cartesiano usado para calcular la zona de volumen seguro para aquellas en el campo de visión del sistema escaneado. Esto permite un mapa de volumen en las coordenadas del sistema escaneado para construirse en la unidad 86
Con el control adecuado sobre la tolerancia del sistema óptico, esta función únicamente necesita calcularse o medirse una vez usando las técnicas de calibración fotogramétrica estándar y a continuación preprogramarse en cada sistema.
Durante la operación, se usa la función de transformación coordenada para transformar las coordenadas cartesianas del perímetro de la zona del volumen de seguridad en el sistema coordenado del "mundo real" medido por el sistema de medida del perfil superficial en 3D.
El comparador 24 puede a continuación comparar el perfil superficial en 3D medido tal como se lee con la zona de volumen inseguro y determinar si cualquier objeto en el campo de visión cae en el interior del perímetro de la zona insegura. Si puede sonar una alerta auditiva y la parte potencialmente peligrosa del campo de visión destaca sobre la imagen de la misma manera que se ha descrito anteriormente.
Con este sistema mejorado, únicamente se consideran aquellas partes de los datos del perfil superficial en 3D que caen en el interior del volumen inseguro proyectado 96, y por tanto se destacarán únicamente aquellos objetos que presentan un riesgo de colisión, reduciendo sustancialmente la posibilidad de falsas alarmas.
Este enfoque tiene un beneficio adicional debido a que únicamente necesita calcularse y transformarse el perímetro de la zona insegura en el sistema coordenado del perfil superficial en 3D, más bien que la imagen completa de la región, el tiempo de cálculo se minimiza. Sin embargo, aquellos expertos en la técnica se darán cuenta que son posibles las implementaciones alternativas basándose en los principios básicos anteriormente perfilados. Por ejemplo, el perfil superficial en 3D podría transformarse en sistema coordenado cartesiano del vehículo y la comparación del perfil superficial y la zona de volumen inseguro hecha en coordenadas cartesianas.
Una forma de realización preferida para una implementación con coste bajo es aplicar la solución descrita a un perfil superficial en 2D capturado desde un plano horizontal que es paralelo a la superficie de la carretera a una altura escogida para intersectar otros vehículos y los riesgos potenciales de colisión, sin intersectar a la vez la carretera.
Aunque esto no proporciona los datos de altura, que pueden ser importantes en algunas aplicaciones, simplifica los requerimientos de cálculo y como el perfil superficial en 2D puede recogerse tomando los datos del perfil superficial de una hilera única (o un grupo de hileras adyacentes) de fotodiodo en el sistema del perfil superficial / imagen, se pueden simplificar las ópticas de la iluminación pulsada / modulada de tal manera que la iluminación se focaliza en el plano horizontal, más bien que sobre el campo completo de visión. Estos factores simplifican la implementación global del sistema y reducen el coste.
Otras implementaciones usan la proyección de la zona insegura para controlar la operación del sistema de medida del perfil superficial en 3D de tal manera que se limita la medida del perfil superficial a la parte del campo de visión en el interior de la zona insegura proyectada. Esta solución se puede usar para acelerar los procedimientos de medida del perfil superficial en 3D, reduciendo el número de puntos que se va a medir o se puede usar para extender el tiempo de medida por punto medido para mejorar la relación señal a ruido y por tanto el intervalo máximo.
Se pueden generar numerosos mapas de volumen inseguro, representando diferentes grados de riesgo y usar comparadores múltiples para codificar el color de la imagen de vídeo mediante el nivel de riesgo.
En los sistemas descritos anteriormente se calcula la ruta proyectada del vehículo usando la información de un giróscopo o sensores de la dirección del volante y sensores de velocidad. Esto se usa para calcular el volumen de barrido anticipado de la ruta del vehículo que se transforma en el sistema coordenado del perfil superficial medido.
La Figura 8 muestra una modificación en la que en lugar de una operación de comparación simple, se calcula la superficie de intersección del perfil superficial del mundo real medido y el volumen de barrido anticipado de la ruta del vehículo, de tal manera que se puede extraer la distancia entre el vehículo al objeto mas cercano junto con la trayectoria proyectada del vehículo a partir de esta superficie de intersecciones puede a continuación extraer este parámetro del sistema y usarse por los sistemas automáticos para controlar la velocidad del vehículo con el fin de evitar una colisión o minimizar el impacto. En otras palabras, esta modificación permite usar el sistema propuestos como un sensor de prevención de la colisión.
El sistema de la Figura 8 comprende de nuevo un sensor combinado controlado con control de sincronización 70. El tampón 74 almacena los datos del perfil 3d (es decir, el intervalo), y se usa para calcular si cualquier objeto en el campo de visión intercepta con el volumen proyectado del vehículo. Esto se determina en la unidad 100, que permite calcular a la vez la distancia al punto más cercano en el interior del volumen proyectado, en la unidad 102. Se proporciona una salida 104 que indica la distancia al objeto más cercano en el volumen del vehículo proyectado.
El volumen del vehículo proyectado se obtiene de la misma manera tal como se ha descrito anteriormente usando a saber un giróscopo 80, un sensor de velocidad 76, una unidad de cálculo de la trayectoria y una unidad de transformación coordenada 84.
Un enfoque simple para calcular la distancia al objeto más cercano sería una proyección de la etapa secuencial de una superficie equivalente al área frontal del vehículo junto con la trayectoria del vehículo anticipada hasta que se encuentra una intersección con el perfil superficial medido. Otra solución sería llevar a cabo una búsqueda binaria, en la que la proyección del área frontal del vehículo se corta en un punto a 40 m a lo largo de la ruta del vehículo anticipada, si la proyección está por detrás de la superficie medida se corta a continuación la proyección del área frontal del vehículo a 20 m y de esta manera hasta que se conoce la distancia al punto más cercano.
Se puede ver que se puede construir un sistema de objetivos dobles combinando la Figura 8 y la Figura 6 lo que proporcionaría una retroalimentación rápida de la distancia del objeto más cercano en la ruta del vehículo para el control automático del vehículo con una alerta de colisión al conductor.

Claims (16)

1. Un sistema de análisis de imágenes que comprende:
una fuente de luz (40);
los medios (42) para iluminar el campo de visión de interés con la fuente de luz;
ópticas receptoras (46) para recibir la luz reflejada desde el campo de visión que se va a analizar:
un detector de luz de región múltiple (48) para detectar la luz recibida desde las ópticas receptoras, en el que las diferentes regiones del detector de luz se pueden actuar de manera separada; y
los medios de procesamiento (56) para medir el tiempo de viaje de las señales de luz desde la fuente de luz a la porción actuada del detector (48) para todas las direcciones iluminadas y las derivar distancias de los tiempos de viaje;
caracterizado en que el sistema comprende de manera adicional:
electrónica de control (52) para sincronizar la medida del tiempo y la dirección de iluminación de la fuente de luz y la actuación del detector de luz;
los medios para generar una alarma si la distancia derivada es inferior a un umbral predeterminado; y
un sistema de captura de imágenes (48) para capturar una imagen y presentar la imagen al usuario, el campo de visión del cual se alinea con el campo de visión de los dos detectores de luz dimensionales
(48),
y en el que los dos detectores de luz dimensiónales (48) se usan como el detector del sistema de captura de imágenes, y la alerta se presenta usando el sistema de captura de imágenes.
2. Un sistema tal como se reivindica en la reivindicación 1 que comprende de manera adicional un sensor de velocidad (53) y que comprende de manera adicional medios (55) para calcular una distancia de seguridad según el umbral predeterminado en función de la salida del sensor de velocidad.
3. Un sistema tal como se reivindica en la reivindicación 2 que comprende de manera adicional un sensor de estado de la carretera y en el que se calcula la distancia de seguridad adicionalmente en función de la salida del sensor de estado de la carretera.
4. Un sistema tal como se reivindica en cualquiera de las reivindicaciones anteriores que comprende de manera adicional los medios para modificar la imagen presentada por el sistema de captura de imágenes en respuesta a la distancia derivada.
5. Un sistema tal como se reivindica en la reivindicación 4, en el que la imagen presentada por el sistema de captura de imágenes se modifica cuando la distancia a una región de la imagen es menor que la distancia umbral predeterminada.
6. Un sistema tal como se reivindica en la reivindicación 5, en el que la imagen presentada por el sistema de captura de imágenes se modifica cambiando el color en partes de la imagen presentada que corresponde a las regiones seleccionadas de la imagen que se va a analizar
7. Un sistema tal como el que se reivindica en cualquiera de las reivindicaciones anteriores que comprende de manera adicional los medios para determinar la trayectoria de un cuerpo que transporta el sistema de análisis de imágenes.
8. Un sistema tal como el que se reivindica en las reivindicaciones 4, 5 ó 6 que comprende de manera adicional los medios para determinar la trayectoria de un cuerpo que transporta el sistema de análisis de imágenes, y en el que la salida para modificar la imagen presentada por el sistema de captura de imágenes se crea únicamente para las regiones de la imagen que se va a analizar que permanecen dentro de la trayectoria del cuerpo.
9. Un sistema tal como se reivindica en la reivindicación 7 u 8, en el que la trayectoria se obtiene a partir de información sobre la velocidad y la dirección.
10. Un sistema tal como el que se reivindica en una cualquiera de la reivindicaciones 7 a 9 que comprende de manera adicional los medios para determinar la distancia al objeto más cercano dentro de la trayectoria.
11. Un sistema tal como el que se reivindica en cualquiera de las reivindicaciones anteriores en el que el detector de luz de región múltiple comprende una matriz de fotodiodos lineal o de dos dimensiones
(48).
12. Un sistema tal como el que se reivindica en la reivindicación 11, en el que la matriz de fotodiodos es operable en un primer modo en el que las cargas se almacenan sobre todos los fotodiodos (PD11, PD21, PD12, PD22) de la matriz en respuesta a la entrada de luz y la se leen para capturar datos de imagen, y un segundo modo en el que las señales de los fotodiodos individuales seleccionados, o de los subgrupos de fotodiodos, se enrutan en una secuencia, hacia los medios de procesamiento.
13. Un sistema tal como el que se reivindica en cualquiera de las reivindicaciones anteriores que comprende de manera adicional un generador de secuencia de longitud máxima para generar una señal de modulación, y un correlacionador cruzado para obtener el tiempo de retardo de una señal de modulación reflejada retardada en el tiempo a partir de una comparación entre la señal de modulación y la señal de modulación reflejada retardada en el
tiempo.
14. Un sistema tal como el que se reivindica en la reivindicación 13, en el que el correlacionador cruzado se organiza para llevar a cabo las etapas de:
determinar, con una resolución gruesa, el tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación,
determinar con una resolución más fina que la resolución gruesa, la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación como una función del tiempo de retardo de la señal de modulación retardada en el tiempo con respecto a la señal de modulación en un intervalo de tiempo de retardo alrededor del tiempo de retardo determinado,
y
emitir una medida de la distancia calculada a partir del tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación.
15. Un sistema tal como se reivindica en la reivindicación 13 ó 14, en el que el correlacionador cruzado comprende:
un correlacionador cruzado grueso para determinar de manera gruesa el tiempo de retardo de la señal de modulación necesario para maximizar la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación, y
un correlacionador cruzado fino para calcular la correlación entre la señal de modulación retardada en el tiempo y la señal de modulación como una función del tiempo de retardo de la señal de modulación con respecto a la señal recibida en un intervalo de tiempo de retardo alrededor del tiempo de cambio determinado mediante el correlacionador cruzado grueso.
16. Un sistema tal como el que se reivindica en la reivindicación 15 en el que se ajusta la relación entre las frecuencias de operación del correlacionador cruzado grueso y el correlacionador cruzado fino para minimizar la interferencia entre sistemas
adyacentes.
ES02720176T 2001-04-04 2002-04-04 Equipo de analisis de imagenes. Expired - Lifetime ES2250636T3 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB0108497A GB2374743A (en) 2001-04-04 2001-04-04 Surface profile measurement
GB0108497 2001-04-04
GB0110577A GB2374228A (en) 2001-04-04 2001-04-30 A collision warning device
GB0110577 2001-04-30

Publications (1)

Publication Number Publication Date
ES2250636T3 true ES2250636T3 (es) 2006-04-16

Family

ID=26245931

Family Applications (2)

Application Number Title Priority Date Filing Date
ES02718331T Expired - Lifetime ES2264476T3 (es) 2001-04-04 2002-04-04 Medida del perfil superficial.
ES02720176T Expired - Lifetime ES2250636T3 (es) 2001-04-04 2002-04-04 Equipo de analisis de imagenes.

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ES02718331T Expired - Lifetime ES2264476T3 (es) 2001-04-04 2002-04-04 Medida del perfil superficial.

Country Status (8)

Country Link
US (2) US7248344B2 (es)
EP (2) EP1373830B1 (es)
JP (2) JP4405155B2 (es)
AT (2) ATE326685T1 (es)
DE (2) DE60211497T2 (es)
ES (2) ES2264476T3 (es)
PT (1) PT1373830E (es)
WO (2) WO2002082201A1 (es)

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
ATE326685T1 (de) * 2001-04-04 2006-06-15 Instro Prec Ltd Vermessung eines oberflächenprofils
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7963695B2 (en) 2002-07-23 2011-06-21 Rapiscan Systems, Inc. Rotatable boom cargo scanning system
DE10255797A1 (de) * 2002-11-28 2004-06-17 Daimlerchrysler Ag Verfahren zur Erfassung der vorausliegenden Umgebung eines Strassenfahrzeugs mittels eines Umgebungserfassungssystems
FR2848368B1 (fr) * 2002-12-06 2005-05-20 Thales Sa Systeme d'imagerie active tridimensionnelle d'un objet
US7916898B2 (en) * 2003-09-15 2011-03-29 Deere & Company Method and system for identifying an edge of a crop
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
GB2415560A (en) * 2004-06-25 2005-12-28 Instro Prec Ltd Vehicle safety system having a combined range finding means and a communication means
GB0415219D0 (en) * 2004-07-07 2004-08-11 Koninkl Philips Electronics Nv Improvements in or relating to time-of-flight ranging systems
DE102004047022A1 (de) * 2004-09-28 2006-04-06 Siemens Ag Vorrichtung zur Überwachung von Raumbereichen
GB2420238B (en) * 2004-11-04 2007-03-21 Instro Prec Ltd Correlation apparatus and method
DE102004058251A1 (de) * 2004-12-03 2006-06-08 Valeo Schalter Und Sensoren Gmbh Verfahren zur Verarbeitung von Entfernungsdaten
GB2421383A (en) * 2004-12-07 2006-06-21 Instro Prec Ltd Surface profile measurement
US7804981B2 (en) * 2005-01-13 2010-09-28 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices
US8085388B2 (en) * 2005-02-01 2011-12-27 Laser Projection Technologies, Inc. Laser radar projection with object feature detection and ranging
JP4346568B2 (ja) * 2005-03-04 2009-10-21 三井造船株式会社 ３次元画像情報取得装置
EP1712888A1 (en) * 2005-04-11 2006-10-18 Agilent Technologies Inc Time-of-flight measurement using pulse sequences
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US8107812B2 (en) * 2005-09-23 2012-01-31 Honeywell International Inc. Dynamic range measurement and calculation of optical keyless entry sensor
JP2007101342A (ja) * 2005-10-04 2007-04-19 Omron Corp 距離測定装置
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
DE102005054359A1 (de) 2005-11-15 2007-05-16 Leuze Lumiflex Gmbh & Co Kg Schutzeinrichtung
US8130367B2 (en) * 2005-12-08 2012-03-06 Roger Stettner Laser ranging, tracking and designation using 3-D focal planes
US7894042B2 (en) * 2006-01-18 2011-02-22 Lockheed Martin Corporation Omni-directional imaging sensor
US20070247688A1 (en) * 2006-01-18 2007-10-25 Turner Mark A Variable-beamwidth angle encoding laser scanner
CA2539645C (en) * 2006-03-15 2020-04-28 Lmi Technologies Inc. Time of flight teat location system
US20070255498A1 (en) * 2006-04-28 2007-11-01 Caterpillar Inc. Systems and methods for determining threshold warning distances for collision avoidance
WO2008018955A2 (en) * 2006-06-27 2008-02-14 Arete' Associates Camera-style lidar setup
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
BRPI0716173B1 (pt) * 2006-08-30 2018-05-08 Usnr/Kockums Cancar Company sistema de scanner de carregador
EP1906208A1 (en) * 2006-09-27 2008-04-02 Harman Becker Automotive Systems GmbH Park assist system visually marking up dangerous objects
ATE466357T1 (de) 2006-11-14 2010-05-15 Instro Prec Ltd Detektionssystem für eindringlinge
DE102007004348A1 (de) 2007-01-29 2008-07-31 Robert Bosch Gmbh Imager-Halbleiterbauelement, Kamerasystem und Verfahren zum Erstellen eines Bildes
US7667824B1 (en) * 2007-02-06 2010-02-23 Alpha Technology, LLC Range gated shearography systems and related methods
US20080273760A1 (en) * 2007-05-04 2008-11-06 Leonard Metcalfe Method and apparatus for livestock assessment
CA2606267A1 (fr) * 2007-10-11 2009-04-11 Hydro-Quebec Systeme et methode de cartographie tridimensionnelle d'une surface structurelle
US7978312B2 (en) 2007-11-01 2011-07-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Three-dimensional range imaging apparatus and method
CN101458078A (zh) * 2007-12-10 2009-06-17 鸿富锦精密工业（深圳）有限公司 一种汽车防撞系统及方法
US8279411B2 (en) * 2008-08-27 2012-10-02 The Boeing Company Systems and methods for reducing crosstalk in an avalanche photodiode detector array
US9310323B2 (en) 2009-05-16 2016-04-12 Rapiscan Systems, Inc. Systems and methods for high-Z threat alarm resolution
US20110285981A1 (en) * 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US20110102763A1 (en) * 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8514284B2 (en) * 2009-12-17 2013-08-20 Raytheon Company Textured pattern sensing and detection, and using a charge-scavenging photodiode array for the same
EP2517189B1 (en) 2009-12-22 2014-03-19 Leddartech Inc. Active 3d monitoring system for traffic detection
JP5469446B2 (ja) * 2009-12-22 2014-04-16 パナソニック株式会社 物体検知装置
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8660324B2 (en) * 2010-03-29 2014-02-25 Raytheon Company Textured pattern sensing using partial-coherence speckle interferometry
US8780182B2 (en) 2010-03-31 2014-07-15 Raytheon Company Imaging system and method using partial-coherence speckle interference tomography
US8260482B1 (en) 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US8641942B2 (en) 2010-05-12 2014-02-04 Corning Incorporated Laser scanning systems and methods for measuring extruded ceramic logs
US9161511B2 (en) 2010-07-06 2015-10-20 Technologies Holdings Corp. Automated rotary milking system
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
US10111401B2 (en) 2010-08-31 2018-10-30 Technologies Holdings Corp. System and method for determining whether to operate a robot in conjunction with a rotary parlor
US8800487B2 (en) 2010-08-31 2014-08-12 Technologies Holdings Corp. System and method for controlling the position of a robot carriage based on the position of a milking stall of an adjacent rotary milking platform
US9149018B2 (en) 2010-08-31 2015-10-06 Technologies Holdings Corp. System and method for determining whether to operate a robot in conjunction with a rotary milking platform based on detection of a milking claw
US8707905B2 (en) 2010-08-31 2014-04-29 Technologies Holdings Corp. Automated system for applying disinfectant to the teats of dairy livestock
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9025019B2 (en) * 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
DE102011056670A1 (de) * 2010-12-20 2012-08-02 Mattel, Inc. Näherungssensor-Vorrichtung für ein Spielgerät
US8908831B2 (en) 2011-02-08 2014-12-09 Rapiscan Systems, Inc. Covert surveillance using multi-modality sensing
US9395182B1 (en) 2011-03-03 2016-07-19 The Boeing Company Methods and systems for reducing crosstalk in avalanche photodiode detector arrays
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TWI463244B (zh) * 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
US9215861B2 (en) 2011-04-28 2015-12-22 Technologies Holdings Corp. Milking box with robotic attacher and backplane for tracking movements of a dairy animal
US9107379B2 (en) 2011-04-28 2015-08-18 Technologies Holdings Corp. Arrangement of milking box stalls
US8683946B2 (en) 2011-04-28 2014-04-01 Technologies Holdings Corp. System and method of attaching cups to a dairy animal
US8885891B2 (en) 2011-04-28 2014-11-11 Technologies Holdings Corp. System and method for analyzing data captured by a three-dimensional camera
US9049843B2 (en) 2011-04-28 2015-06-09 Technologies Holdings Corp. Milking box with a robotic attacher having a three-dimensional range of motion
US9681634B2 (en) 2011-04-28 2017-06-20 Technologies Holdings Corp. System and method to determine a teat position using edge detection in rear images of a livestock from two cameras
US10357015B2 (en) 2011-04-28 2019-07-23 Technologies Holdings Corp. Robotic arm with double grabber and method of operation
US9161512B2 (en) 2011-04-28 2015-10-20 Technologies Holdings Corp. Milking box with robotic attacher comprising an arm that pivots, rotates, and grips
US9258975B2 (en) 2011-04-28 2016-02-16 Technologies Holdings Corp. Milking box with robotic attacher and vision system
US8671885B2 (en) 2011-04-28 2014-03-18 Technologies Holdings Corp. Vision system for robotic attacher
US10127446B2 (en) 2011-04-28 2018-11-13 Technologies Holdings Corp. System and method for filtering data captured by a 2D camera
US9265227B2 (en) 2011-04-28 2016-02-23 Technologies Holdings Corp. System and method for improved attachment of a cup to a dairy animal
US9107378B2 (en) 2011-04-28 2015-08-18 Technologies Holdings Corp. Milking box with robotic attacher
US9058657B2 (en) 2011-04-28 2015-06-16 Technologies Holdings Corp. System and method for filtering data captured by a 3D camera
US9357744B2 (en) 2011-04-28 2016-06-07 Technologies Holdings Corp. Cleaning system for a milking box stall
US8746176B2 (en) 2011-04-28 2014-06-10 Technologies Holdings Corp. System and method of attaching a cup to a dairy animal according to a sequence
US9043988B2 (en) 2011-04-28 2015-06-02 Technologies Holdings Corp. Milking box with storage area for teat cups
US8903129B2 (en) 2011-04-28 2014-12-02 Technologies Holdings Corp. System and method for filtering data captured by a 2D camera
US8908159B2 (en) * 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
EP2721593B1 (en) 2011-06-17 2017-04-05 Leddartech Inc. System and method for traffic side detection and characterization
JP5858688B2 (ja) * 2011-08-30 2016-02-10 スタンレー電気株式会社 距離画像生成装置
CN102984446B (zh) * 2011-09-05 2016-01-13 联想(北京)有限公司 图像采集装置及图像采集方法
GB2508564A (en) * 2011-09-13 2014-06-04 Osi Optoelectronics Inc Improved laser rangefinder sensor
CN102508259A (zh) * 2011-12-12 2012-06-20 中国科学院合肥物质科学研究院 基于mems扫描微镜的小型化无镜头激光三维成像系统及其成像方法
US9075443B2 (en) 2011-12-27 2015-07-07 Maxim Integrated Products, Inc. Gesture detection and compact representation thereof
IL217361A0 (en) * 2012-01-04 2012-03-29 Rafael Advanced Defense Sys Device & method providing combined video camera and range finder functionality
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
CA2998166C (en) 2012-03-02 2019-04-09 Leddartech Inc. System and method for vehicle detection
US9163936B1 (en) * 2012-05-07 2015-10-20 Physical Optics Corporation Three-dimensional profilometer
JP6103179B2 (ja) 2012-09-13 2017-03-29 株式会社リコー 距離測定装置
US20140149023A1 (en) * 2012-11-29 2014-05-29 Ford Global Technologies, Llc Method and system for engine position control
US8825258B2 (en) 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
JP5870908B2 (ja) * 2012-12-11 2016-03-01 株式会社デンソー 車両の衝突判定装置
KR101394050B1 (ko) 2012-12-18 2014-05-09 현대자동차 주식회사 차량 내 역광을 이용한 영상 인식 방법
US8994867B2 (en) 2013-03-15 2015-03-31 Samsung Electronics Co., Ltd. Image sensor, operating method thereof, and device including the image sensor
EP2972081B1 (en) * 2013-03-15 2020-04-22 Apple Inc. Depth scanning with multiple emitters
JP6101134B2 (ja) * 2013-04-01 2017-03-22 キヤノン株式会社 情報処理装置及び情報処理方法
ES2506590B1 (es) * 2013-04-11 2015-07-28 Universidad De Alcalá Sistema sensor y procedimiento para detectar los ejes de los trenes utilizando fibra óptica y cámaras de tiempo de vuelo
EP3030384A1 (en) 2013-08-06 2016-06-15 Laser Projection Technologies, Inc. Virtual laser projection system and method
US10116883B2 (en) * 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors
EP2851704B1 (de) * 2013-09-19 2019-12-11 Pepperl+Fuchs AG Vorrichtung und Verfahren zum optischen Bestimmen von Abständen zu Objekten in einem Überwachungsbereich
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
DE102013112553A1 (de) * 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
US9557427B2 (en) 2014-01-08 2017-01-31 Rapiscan Systems, Inc. Thin gap chamber neutron detectors
JP6328965B2 (ja) * 2014-03-12 2018-05-23 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9256944B2 (en) * 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
TWI533646B (zh) * 2014-06-10 2016-05-11 晨星半導體股份有限公司 配合可變增益放大器之信號處理系統及信號處理方法
US9671495B2 (en) 2014-06-11 2017-06-06 Intersil Americas LLC Systems and methods for optical proximity detection with multiple field of views
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US9266148B2 (en) 2014-06-27 2016-02-23 Key Technology, Inc. Method and apparatus for sorting
DE112015003608T5 (de) 2014-08-05 2017-04-20 Fujifilm Corporation Abstandsmessvorrichtung, Abstandsmessverfahren und Abstandsmessprogramm
KR101632873B1 (ko) * 2014-09-05 2016-07-01 현대모비스 주식회사 장애물 검출 시스템 및 방법
US10488492B2 (en) 2014-09-09 2019-11-26 Leddarttech Inc. Discretization of detection zone
US10295658B2 (en) 2014-10-02 2019-05-21 The Johns Hopkins University Optical detection system
KR102309863B1 (ko) 2014-10-15 2021-10-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 기록 매체
US9245333B1 (en) * 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
JP6671629B2 (ja) * 2015-03-18 2020-03-25 株式会社リコー 物体検出装置、センシング装置、及び移動体装置
US10254113B2 (en) * 2015-05-04 2019-04-09 Mitutoyo Corporation Inspection program editing environment providing user defined collision avoidance volumes
US9563957B1 (en) 2015-07-02 2017-02-07 Yesvideo, Inc. 2D/3D image scanning and compositing
US10073168B2 (en) 2015-07-30 2018-09-11 Bae Systems Information And Electronic Systems Integration Inc. Frequency measurement focal plane array input circuit
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
US10182758B2 (en) * 2015-10-05 2019-01-22 Htc Corporation Measuring device of human body and method thereof
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP7149256B2 (ja) 2016-03-19 2022-10-06 ベロダイン ライダー ユーエスエー，インコーポレイテッド Ｌｉｄａｒに基づく３次元撮像のための統合された照射及び検出
JP7165587B2 (ja) 2016-06-01 2022-11-04 ベロダイン ライダー ユーエスエー，インコーポレイテッド 多重ピクセル走査ｌｉｄａｒ
US20170372602A1 (en) * 2016-06-24 2017-12-28 Continental Advanced Lidar Solutions Us, Llc Ladar enabled traffic control
US10298913B2 (en) 2016-08-18 2019-05-21 Apple Inc. Standalone depth camera
EP3343246A1 (en) * 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
US10473766B2 (en) 2017-03-13 2019-11-12 The Charles Stark Draper Laboratory, Inc. Light detection and ranging (LiDAR) system and method
DE102017204668A1 (de) * 2017-03-21 2018-09-27 Robert Bosch Gmbh Objektdetektionsvorrichtung und Verfahren zum Überwachen einer Lichtprojektionsoberfläche bezüglich eines Eindringens eines Objekts
JP6850173B2 (ja) * 2017-03-24 2021-03-31 京セラ株式会社 電磁波検出装置、プログラム、および電磁波検出システム
US10386465B2 (en) 2017-03-31 2019-08-20 Velodyne Lidar, Inc. Integrated LIDAR illumination power control
JP6925844B2 (ja) * 2017-04-06 2021-08-25 京セラ株式会社 電磁波検出装置、プログラム、および電磁波検出システム
EP3388855A1 (de) * 2017-04-12 2018-10-17 Siemens Healthcare GmbH Vorrichtung und verfahren zur rückgewinnung des zeitlichen bezuges in freilaufenden mr-empfangsketten
JP2020519881A (ja) 2017-05-08 2020-07-02 ベロダイン ライダー， インク． Ｌｉｄａｒデータ収集及び制御
KR101967049B1 (ko) * 2017-06-28 2019-04-09 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
WO2019021887A1 (ja) * 2017-07-27 2019-01-31 シャープ株式会社 光レーダ装置
CN107402385B (zh) * 2017-07-31 2020-11-17 岭纬公司 适用于激光雷达的dlp信号接收系统的自适应调节方法
US10447973B2 (en) 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
EP3652555B1 (en) 2017-08-31 2024-03-06 SZ DJI Technology Co., Ltd. A solid state light detection and ranging (lidar) system system and method for improving solid state light detection and ranging (lidar) resolution
WO2019041267A1 (en) * 2017-08-31 2019-03-07 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR SOLID LASER RADAR TO APD NETWORK SEMICONDUCTOR
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
CN108009474B (zh) * 2017-11-01 2020-05-19 武汉万集信息技术有限公司 一种基于激光测距的车辆表面图文提取方法及装置
US11841424B2 (en) * 2017-11-28 2023-12-12 Texas Instruments Incorporated Methods and electronic device for dynamic distance measurements
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
DE102017223102A1 (de) 2017-12-18 2019-06-19 Robert Bosch Gmbh Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten
US11140340B2 (en) * 2017-12-26 2021-10-05 Robert Bosch Gmbh Single-chip RGB-D camera
US10996324B2 (en) * 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) * 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US11598861B2 (en) * 2018-06-04 2023-03-07 Analog Devices, Inc. Optical distance detection
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
JP7307428B2 (ja) * 2018-08-28 2023-07-12 霊動科技（北京）有限公司 自動運転車両管理システム、及びその方法
WO2020050959A1 (en) 2018-09-05 2020-03-12 Blackmore Sensors & Analytics, Llc Method and system for pitch-catch scanning of coherent lidar
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
CN109741634B (zh) * 2019-03-02 2020-10-13 安徽超远信息技术有限公司 笔直路段内事故现场警戒区域防撞入预警方法及装置
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
KR20190104478A (ko) * 2019-08-20 2019-09-10 엘지전자 주식회사 라이다 시스템과 이를 이용한 자율 주행 시스템
WO2021215113A1 (ja) * 2020-04-22 2021-10-28 ソニーグループ株式会社 固体撮像素子、センシングシステム、および、固体撮像素子の制御方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057681A (en) * 1990-07-27 1991-10-15 Range Vision Inc. Long range triangulating coordinate finder
JPH04201642A (ja) * 1990-11-30 1992-07-22 Mitsubishi Automob Eng Co Ltd 車間距離検知・警報装置
JP2858678B2 (ja) 1991-03-01 1999-02-17 日本電信電話株式会社 形状計測装置
JPH05107359A (ja) 1991-10-15 1993-04-27 Nikon Corp 移動体用距離測定装置
JP3123303B2 (ja) 1992-07-21 2001-01-09 日産自動車株式会社 車両用画像処理装置
JPH0735849A (ja) * 1993-06-25 1995-02-07 Japan Radio Co Ltd 衝突予防レーダ装置
JPH0798381A (ja) 1993-08-06 1995-04-11 Omron Corp 走査式距離測定装置，走査式距離測定装置を搭載した車両および光の検出装置
JPH07146357A (ja) * 1993-11-25 1995-06-06 Furukawa Electric Co Ltd:The 移動体用レーダ装置
US6407817B1 (en) * 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US5594413A (en) * 1993-12-27 1997-01-14 Hyundai Electronics Industries Co., Ltd. Car collision prevention apparatus and method using dual processor and automatic sensor switching function
JPH07225276A (ja) 1994-02-10 1995-08-22 Mitsubishi Electric Corp 車両用光レーダ装置
US5754099A (en) * 1994-03-25 1998-05-19 Nippondenso Co., Ltd. Obstacle warning system for a vehicle
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
JPH0848199A (ja) * 1994-08-09 1996-02-20 Hitachi Ltd 障害物警報システム
JP3254928B2 (ja) * 1994-09-12 2002-02-12 日産自動車株式会社 レーダ用位置検出センサおよびこれを用いたレーダ
JPH08304540A (ja) * 1995-05-08 1996-11-22 Nissan Motor Co Ltd 画像および距離検知システム用センサ
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US6405132B1 (en) * 1997-10-22 2002-06-11 Intelligent Technologies International, Inc. Accident avoidance system
DE19603267A1 (de) * 1996-01-30 1997-07-31 Bosch Gmbh Robert Vorrichtung zur Abstands- und/oder Positionsbestimmung
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5889490A (en) * 1996-08-05 1999-03-30 Wachter; Eric A. Method and apparatus for improved ranging
JP3417222B2 (ja) 1996-08-07 2003-06-16 松下電器産業株式会社 実時間レンジファインダ
JPH10142331A (ja) 1996-11-14 1998-05-29 Komatsu Ltd ミリ波レーダ搭載車両
DE69840608D1 (de) * 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
JP4200343B2 (ja) 1999-02-19 2008-12-24 ソニー株式会社 モニタ装置
DE50002356D1 (de) 1999-03-18 2003-07-03 Siemens Ag Ortsauflösendes abstandsmesssystem
JP2001014596A (ja) * 1999-04-30 2001-01-19 Takata Corp 車両衝突警報装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3919975B2 (ja) 1999-07-07 2007-05-30 本田技研工業株式会社 車両の周辺監視装置
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
US6535275B2 (en) 2000-08-09 2003-03-18 Dialog Semiconductor Gmbh High resolution 3-D imaging range finder
ATE326685T1 (de) 2001-04-04 2006-06-15 Instro Prec Ltd Vermessung eines oberflächenprofils

Also Published As

Publication number Publication date
ES2264476T3 (es) 2007-01-01
JP2004529343A (ja) 2004-09-24
EP1374002A1 (en) 2004-01-02
DE60207395D1 (de) 2005-12-22
EP1373830B1 (en) 2006-05-17
JP4405155B2 (ja) 2010-01-27
EP1374002B1 (en) 2005-11-16
JP2004523769A (ja) 2004-08-05
ATE326685T1 (de) 2006-06-15
DE60211497D1 (de) 2006-06-22
DE60211497T2 (de) 2006-12-14
US7248344B2 (en) 2007-07-24
WO2002082201A1 (en) 2002-10-17
US20040151345A1 (en) 2004-08-05
EP1373830A1 (en) 2004-01-02
DE60207395T2 (de) 2006-06-08
US7319777B2 (en) 2008-01-15
PT1373830E (pt) 2006-09-29
ATE310268T1 (de) 2005-12-15
US20050088644A1 (en) 2005-04-28
WO2002082016A1 (en) 2002-10-17
JP4405154B2 (ja) 2010-01-27

Similar Documents

Publication Publication Date Title
ES2250636T3 (es) Equipo de analisis de imagenes.
ES2304603T3 (es) Dispositivo de un vehiculo automovil para la deteccion espacial de una escena en el interior y/o en el exterior del vehiculo automovil.
US9964643B2 (en) Vehicle occupancy detection using time-of-flight sensor
US20190033452A1 (en) Range imaging system and solid-state imaging device
CA2998166C (en) System and method for vehicle detection
ES2273802T3 (es) Dispositivo de deteccion de presencia de objetos.
ES2342029T3 (es) Sistema de deteccion de intrusos.
US7969558B2 (en) High definition lidar system
US8970374B2 (en) Intrusion warning system
US8767186B2 (en) Object detection system
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达系统
EP2870031B1 (en) Gated stereo imaging system and method
KR20150024860A (ko) 적응 피사계 심도를 이용한 게이트된 영상
US20040066500A1 (en) Occupancy detection and measurement system and method
GB2374228A (en) A collision warning device
WO2018221048A1 (ja) ３次元画像素子および光レーダー装置
US20120081544A1 (en) Image Acquisition Unit, Acquisition Method, and Associated Control Unit
JP2022073105A (ja) 受光装置、受光装置の制御方法、および、測距システム
WO2018230203A1 (ja) 撮像装置
US20220128690A1 (en) Light receiving device, histogram generating method, and distance measuring system
Villa et al. 3d spad camera for advanced driver assistance
US7133123B1 (en) Laser obstacle avoidance apparartus
WO2022191225A1 (ja) 測定装置、位置特定システム、測定システム、および監視システム
US20230142762A1 (en) Sensing system
KR20210048889A (ko) 자동차용 센서 통합 모듈