ES2425663A1 - Sistema de detección de la posición de las manos de un conductor - Google Patents
Sistema de detección de la posición de las manos de un conductor Download PDFInfo
- Publication number
- ES2425663A1 ES2425663A1 ES201230205A ES201230205A ES2425663A1 ES 2425663 A1 ES2425663 A1 ES 2425663A1 ES 201230205 A ES201230205 A ES 201230205A ES 201230205 A ES201230205 A ES 201230205A ES 2425663 A1 ES2425663 A1 ES 2425663A1
- Authority
- ES
- Spain
- Prior art keywords
- hands
- driver
- vehicle
- detecting
- steering wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento. A partir de las imágenes de las manos, captadas por una cámara, este procedimiento permite predecir una posible falta de atención del conductor y mandarle un mensaje de alerta. El dispositivo también se puede utilizar para reproducir las causas de un accidente o entrenar a conductores.
Description
Sistema de detección de la posición de las manos de un conductor.
Sistemas de ayuda a la conducción, en especial aquellos dedicados a aumentar la seguridad del conductor y de otros vehículos.
La distracción en los conductores está presente en un 30% de los accidentes de tráfico y es responsable en la actualidad de un gran número de fatalidades. El estudio de las distracciones de los conductores es un problema muy complejo debido a la gran cantidad de factores que pueden influir en él. Dentro de todos ellos probablemente uno de los más importantes está relacionado con el comportamiento del conductor.
Tres son los elementos que intervienen en un accidente de tráfico: el vehículo, la carretera y el conductor. De estos, el comportamiento del conductor es el ha tenido menor atención en el pasado. Las carreteras han mejorado mucho en los últimos tiempos: nuevos tipos de asfaltos, con superiores características técnicas, mejora en la señalización vial o diseños del trazado más apropiados para la conducción son algunas de las mejoras que se han desarrollado en este campo. Los fabricantes de vehículos también han aumentado las medidas de seguridad, tanto activas como pasivas, creando nuevos sistemas electrónicos o mecánicos que hacen que el comportamiento del vehículo sea más seguro.
En los últimos años, el estudio del conductor se ha centrado sobre todo en la detección de somnolencia, empleándose una amplia gama de técnicas. Medidas fisiológicas basadas en los electro-encefalogramas (EEG)
[A. Kircher, M. Uddman, J. Sandin, Vehicle control and drowsiness, Tech. Rep. VTI-922A, Swedish National Road and Transport Research Institute, 2002.] son las que proporcionan los mejores datos para la detección de esta situación. El principal problema es que son muy intrusivas para el sujeto que está conduciendo.
Un sistema menos intrusivo es la detección de los ojos del conductor. La mayoría de los sistemas de este tipo consideran una o dos cámaras para seguir la cabeza y los ojos del sujeto [Y. Matsumoto, A. Zelinsky, An algorithm for real-time stereo vision implementation of head pose and gaze direction measurements, Procs. IEEE 4th Int. Conf. Face and Gesture Recognition, 2000, pp. 499–505.]o [T. D'Orazio, M. Leo, C. Guaragnella, A. Distante, A visual approach for driver inattention detection, Pattern Recognit. 40 (8) (2007) 2341–2355.], por citar alguno. Algunas empresas comercializan sistemas para su instalación en vehículos [Smart Eye AB, Image capturing device with reflex reduction, Patent, EP 1349487B1].
Otra alternativa es la monitorización de la posición lateral del vehículo, en el interior de su carril, y el tiempo de cruce de un carril a otro, como elementos que se tienen en cuenta para evaluar la atención de conducción del vehículo [Volvo Car Corp. o A.G. Daimler]. Estas técnicas no son invasivas, y muestran resultados fiables.
La presente invención propone una alternativa a estos sistemas basada en el seguimiento de las manos del conductor del vehículo. Es por ello que el problema técnico que resuelve esta invención es el desarrollo de un sistema de alerta del comportamiento de un conductor basado en la detección y seguimiento de las manos de un conductor, que no sea intrusivo, que trabaje en tiempo real y tenga un coste computacional muy bajo.
La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento.
La figura 1 muestra las principales etapas de este procedimiento. El primer paso es detectar la posición de las áreas de interés a estudiar, esto es aquellas donde se buscarán las manos para conocer su localización: el freno de mano, el cambio de marchas y el volante (101), para ello hay tres posibles formas de hacerlo:
a) Con una foto inicial, se dibujan las zonas de interés y se obtienen las coordenadas del volante, freno de mano y cambio.
b) Usar las primeras imágenes para hacer seguimiento de las manos e ir almacenando las trayectorias.
5 Los puntos donde más veces están las manos son los puntos de interés. El número de imágenes puede ser variable, dependiendo de las circunstancias de conducción, pero un rango entre 15.000 y 40.000 imágenes sería suficiente –este equivale a un tiempo de conducción entre 15 y 30 minutos-. Este mecanismo tiene la ventaja adicional de poder detectar otras áreas de interés, como pueden ser la radio, el GPS o el teléfono móvil a través del movimiento frecuente de las manos en estos dispositivos.
10 El sistema va aprendiendo a partir de los movimientos del conductor.
c) Una combinación de las dos anteriores: comenzar con una estimación inicial basada en una fotografía y luego confirmar estas posiciones a partir del seguimiento de las manos.
15 Una vez definidas las áreas de interés donde el sistema buscará las manos, el procedimiento detecta las zonas de sombra que hay en ellas y las superpone sobre la imagen del volante, cambio y freno de mano. A este procedimiento le llamaremos Umbral de Detección Global (GTD). Como resultado se obtienen las áreas de oclusión, ver la figura 3.
20 Si el número de oclusiones es mayor de dos, que es el número deseable, para cada una de ellas se obtiene el área asociada a su imagen digital, que se llamará “candidato” (103). En este paso se eliminan los errores producidos por los brillos en el volante o las manos. Para calcular la posición final de las manos, que llamaremos “puntos finales”, se eliminan aquellos que son menores que un determinado valor fijado (104). El área de los candidatos se mide por su número de pixeles, siendo entre 15 y 30 el valor umbral para descartarlos,
25 dependiendo de las circunstancias. Un valor típico son 20 pixeles.
Si la distancia entre candidatos adyacentes es menor que un determinado valor, los dos candidatos se unen (105). Esta distancia también se mide en pixeles y está en torno a los 10 pixeles. Si después de este proceso únicamente queda un candidato este se considera un “punto final” (106).
30 Si quedan dos puntos es necesario determinar si corresponden a una sola mano o a dos. La figura 2 muestra el procedimiento que se sigue en este caso. Se calcula una hipotética elipse que contenga, dentro de sí, las dos oclusiones (303), de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones. Por otra parte, se calcula en la imagen inicial otra elipse igual. Si el porcentaje del área (304) de los candidatos dentro de
35 la elipse de la imagen inicial es mayor del 50% entonces los dos candidatos representan la misma mano (305). Por ejemplo, este es el caso de una mano y un brazo “separados” por un reloj de pulsera. Si el valor es menor del umbral entonces cada candidato representa una mano (307), este es el caso de que las dos manos están en diferentes partes del volante.
40 Un caso particular es cuando no se detectan las dos manos en el volante (106, 306), en ese caso se busca en otras áreas de interés, como pueden ser el cambio de marchas o el freno de mano (306).
Un método alternativo de detección de las manos, al que llamamos Umbral de Detección Local (LTD), propone un nuevo mecanismo para digitalizar el volante y realizar las búsquedas de potenciales candidatos.
45 El volante se divide en cuatro áreas de interés (204) donde se realizarán las búsquedas de las manos de manera independiente, en cada una de estas nuevas áreas. Para cada una se define un valor umbral de nivel de gris (blanco sobre el negro del volante) que se utilizara para decidir que oclusiones se convertirán finalmente en “puntos finales” (205). Este valor será del 50%.
50 Se buscan oclusiones en cada uno de los cuadrantes, con sus respectivos umbrales, y se seleccionan los candidatos (206). Como último paso se localizan las manos (207), de la misma manera que se ha hecho en el procedimiento anterior. Igualmente, en aquellas ocasiones donde hay que evaluar si dos oclusiones corresponden a una sola mano o a dos se utiliza el procedimiento descrito en la figura 2.
Para mejorar los dos mecanismos anteriores (GTD y LTD), una vez detectadas las manos, se realiza su seguimiento utilizando el procedimiento llamado Camshift [Bradski, GR.: Computer visión face tracking for use in a perceptual user interface. Intel Technology Journal, 2nd Quarter, 1998]. Este es un procedimiento bien conocido en este campo de la técnica, por lo que no se describe en esta solicitud de patente. Si alguna de las manos se pierde durante el proceso de seguimiento se vuelven a utilizar uno de los mecanismos anteriores para detectarla de nuevo.
Junto con el dato de las posiciones de las manos el sistema almacena una serie de parámetros de funcionamiento del vehículo. Esta información proviene de la centralita electrónica del vehículo, a través de su bus-CAN y provee de información tal como: estado de las luces del vehículo, posición del volante, accionamiento del pedal de freno, revoluciones del motor, velocidad del vehículo, posición del acelerador, marcha engranada, distancia de seguridad, etc.
El almacenamiento simultaneo de la posición de las manos y estos datos del vehículo serán de gran ayuda para el desarrollo de aplicaciones basadas en este procedimiento y dispositivo.
Adicionalmente se puede registrar el sonido del interior de la cabina a través de un micrófono que puede estar situado dentro de la propia cabina. Igualmente es posible registrar, a través de una cámara de vídeo, las imágenes exteriores del automóvil –por ejemplo lo que ve el conductor-en integrarlo con el resto de información.
La aplicación de este procedimiento requiere de un módulo de captación de imágenes y sonido y una unidad de procesamiento de la información, tanto de la imagen y sonido como de los datos de funcionamiento del vehículo.
El sistema de captación de imágenes está compuesto por una serie de lámparas/iluminadores y difusores que trabajan en el espectro infrarrojo, que para esta aplicación se sitúa en el rango entre 840 y 860 nm., y un sistema de cámaras y filtros sensibles a estas longitudes de onda.
El sistema puede tener dos o tres iluminadores. Uno de ellos está enfocado a la mano izquierda y los restantes están colocados encima del volante, con la cámara situada entre ellos. Los iluminadores emiten una luz infrarroja continua, en torno a 850 nm de longitud de onda, de forma que no sea visible por el ojo humano, y no es intrusiva para el conductor. La cámara CCD captura solo la parte infrarroja por la acción de un filtro que elimina todo el espectro visible y únicamente deja pasar estas longitudes de onda.
El dispositivo electrónico que recogerá las señales y las procesará de acuerdo con el procedimiento descrito anteriormente puede ser desarrollado en diferentes tipo de plataformas, desde una FPGA o un PIC’s hasta un circuito integrado diseñado a la medida de esta aplicación (ASIC). Su instalación final puede ser una tarjeta conectada a un ordenador personal, un módulo independiente o su integración total dentro de la electrónica del automóvil.
A partir de este procedimiento y dispositivo se pueden desarrollar diferentes tipos de aplicaciones. La primera de ellas es la prevención de un posible accidente debido a una distracción. El patrón del movimiento de las manos puede indicar una falta de concentración del conductor. El dispositivo electrónico, a partir de los datos de las posiciones de las manos, generará una alerta al conductor cuando se den estas circunstancias -avisando del potencial peligro-, pudiendo hace recomendaciones tales como: tomar un descanso, parar definitivamente o continuar con una conducción más prudente, por ejemplo.
Otra posible aplicación puede ser el desarrollo de un sistema para reproducir las causas de un accidente, para ello es necesario determinar cuál era el estado del vehículo antes del accidente, el Bus_CAN del vehículo proporciona una gran cantidad de variables físicas del funcionamiento del motor/vehículo. Segundo, el sistema puede adquirir información sobre las condiciones, internas y externas, de la conducción a través de imágenes tomadas desde “el punto de vista del conductor”. Es posible incluir el sonido interno de la cabina, a partir de un micrófono instalado para este fin. Junto a estos datos se almacenará la posición de las manos en cada instante. Toda esta información es registrada en la memoria del dispositivo electrónico. Cuando se detecta un accidente, a
partir de disparo del airbag, el sistema deja de tomar datos y “cierra” el acceso a la memoria, para que esta contenga toda la información anterior al incidente. Esto garantizar la integridad de la información.
Otra posible aplicación puede ser la formación o el adiestramiento de conductores a partir del comportamiento o las pautas de conducción de un conductor experto. A partir de un dispositivo físico como el que se describe en esta solicitud, se puede monitorizar el comportamiento de del conductor experto ante situaciones difíciles de conducción, bien a través de un simulador que emule estas condiciones, o en un entorno real controlado, como puede ser un circuito automovilístico. Estas respuestas ante situaciones críticas servirán de base para el entrenamiento de conductores menos experimentados.
El dispositivo físico que realiza este procedimiento consta de al menos: un iluminador, que trabaja en el rango de frecuencias del infrarrojo (alrededor de 850 nm.); una cámara digital que graba los movimientos de las manos capaz de registrar imágenes en este espectro de frecuencia –para lo cual hace uso de uso filtros específicos; opcionalmente una cámara digital que graba la carretera; opcionalmente un micrófono que registra el sonido interior de la cabina; y una unidad electrónica, CENTRALITA a partir de ahora, que almacena esta información y realiza el procedimiento. Todos estos dispositivos pueden estar conectados físicamente a la CENTRALITA, bien con conexiones cableadas desde cada uno de ellos, bien a través de un bus de datos. Es posible también unirlos a través de un sistema inalámbrico, tipo bluetooth o WiFi o cualquiera otro que provea de esta funcionalidad. La CENTRALITA que realiza el procedimiento lleva también una conexión de entrada para recibir los datos del vehículo a través de su Bus-CAN.
Esta CENTRALITA puede ser construida de diferentes formas y en distintas plataformas ya que la tecnología actual permite una gran variedad de posibilidades. Consta, al menos, de una memoria o grupo de memorias para almacenar los datos y ejecutar las operaciones intermedias de cálculo. Estas pueden ser independientes o estar integradas en otra parte de la circuitería electrónica de la CENTRALITA. También consta de una unidad para procesar las instrucciones asociadas a cada paso del procedimiento que puede ser implementada en una FPGA, un PIC, un procesador específico o cualquier otro dispositivo que provea de esta funcionalidad. Este circuito electrónico dispondrá también de una serie de entradas y salidas, que puedes ser cableadas o inalámbricas, para recibir la información y proveer de señales de salida.
En las figuras 1 y 2 se muestra, de forma simplificada, el flujo de datos de los procedimientos para la detección de las manos descritos anteriormente.
La figura 3 es una secuencia de fotos que permite entender mejor el procedimiento de detección de las manos en el volante.
La figura 4 muestra una realización particular de este dispositivo.
Una realización particular de esta invención se muestra en la figura 4. Esta consta de una CENTRALITA (4), para su construcción se ha elegido una arquitectura basada en un procesador ARM (XScale-PXA270) a 624Mhz con un sistema operativo Linux, kernel 2.6.16 (9). El dispositivo cuenta con cuatro puertos USB que permiten la conexión de un adaptador de red inalámbrico y/o un transmisor/receptor Bluetooth (11). Además dispone de un convertidor serie/USB que permite la recepción de los datos del vehículo provenientes del Bus-CAN (10). Es de mencionar que en esta información está incluida la señal de disparo del airbag, que se usará como indicativo de que ha habido un accidente. Para el almacenamiento de la información el dispositivo incluye un grupo de memorias de estado sólido (SSD) con 50Mb de capacidad (5, 6, 7, 8).
Utilizando esta CENTRALITA se han realizado dos ejemplos, variando el sistema de iluminación, el escenario de conducción y la resolución de la cámara digita.
Ejemplo 1.
En el primer ejemplo se han instalado tres iluminadores/lámparas infrarrojas en el interior de la cabina de
conducción de un camión, encima de la cabeza del conductor. Estas lámpara emiten un haz infrarrojo continuo
con una longitud de onda de 850 nm de forma que no es visible por el ojo humano. La primera de ellas enfoca a
la mano izquierda del volante. Las otras dos lámparas están enfocando el área del volante. Ninguna de ellas
lleva incorporado un difusor de luz.
Entre las dos últimas lámparas se sitúa la cámara 1 que obtendrá las imágenes, a partir de las cuales se
calculará la posición de las manos. Esta es una cámara digital que dispone de un sensor CCD, siglas en inglés
de Dispositivo de Carga Acoplada, con una resolución de 5 Mpixels, capaz de captar 14 imágenes por segundo
(f/s) a máxima resolución. Esta cámara graba una media de 25.5 f/s imágenes de tamaño 352x288, 12.4 f/s a
640x480 y 5.7 f/s a 1027x768. En este caso la cámara graba con un tamaño de imagen de 640x480. El
dispositivo cuenta opcionalmente con una cámara digital 2 que graba la carretera y un micrófono 3 que registra el
sonido interior de la cabina.
El procedimiento a usar para detectar la posición de las manos es el que hemos denominado anteriormente
Umbral de Detección Global.
Para la obtención de los resultados se simulará un escenario interurbano, por donde circulará el vehículo
mientras en sistema detecta la posición de las manos.
En estas condiciones el sistema tiene un grado de acierto del 98%, con tiempos de computación promedio de 23
ms por cada imagen (frame).
Ejemplo 2.
En este ejemplo la disposición y tipo de lámparas son iguales a los del ejemplo anterior pero ahora se les ha
colocado un difusor blanco a los dos iluminadores situados sobre el volante.
La cámara de video 1, igualmente, grabará en las mismas condiciones de tamaños de imagen que en el ejemplo
anterior.
En este caso el procedimiento de detección de las manos será el Umbral de Detección Local (LTD), y se
simulará un recorrido urbano para el vehículo.
En estas condiciones el grado de acierto es de un 88%, ligeramente inferior al del ejemplo 1. Con este método de
detección los tiempos de proceso disminuyen considerablemente, situándose 7 ms por imagen.
Aunque este segundo procedimiento debería ser más preciso que el anterior, la disminución en el número de
aciertos es atribuible a la utilización de un recorrido urbano, donde el conductor mueve las manos en muchas
más ocasiones debido al trazado del escenario: mayor número de curvas, señales de tráfico, aumento de
circulación, etc.
Claims (16)
- Reivindicaciones1. Procedimiento de detección de la posición de las manos del conductor de un vehículo caracterizado por que comprende las siguientes etapas:
- -
- detección (101) de la posición del volante, cambio de marchas y freno de mano;
- -
- detección (102), en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;
- -
- si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;
- -
- eliminar los candidatos (104) cuyas áreas en píxeles son menores que un umbral determinado;
- -
- si la distancia entre dos candidatos adyacentes es menor que un determinado valor, unir los dos candidatos (105);
- -
- iniciar un proceso de localización de las manos (106) por el cual:
- •
- si solamente queda un candidato, ésta es la posición de una de las manos;
- •
- si quedan dos candidatos:
calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, deforma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, ycalcular otra elipse igual en la imagen inicial;si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307), en caso contrario los dos candidatos representan la misma mano (305);• si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306). -
- 2.
- Procedimiento de detección de posición de las manos del conductor de un vehículo según la reivindicación 1, caracterizado por que el umbral para eliminar los candidatos cuyas áreas son menores que un determinado valor está comprendido entre 15 y 30 pixeles.
-
- 3.
- Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que la unión de los dos candidatos (105) se realiza si la distancia entre dos candidatos adyacentes es menor que 10 píxeles.
-
- 4.
- Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende:
- -
- integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;
- -
- generación de un aviso a partir de los datos procesados.
-
- 5.
- Procedimiento de detección de posición de las manos del conductor de un vehículo, según cualquiera de las reivindicaciones anteriores, caracterizado por que el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.
-
- 6.
- Procedimiento de detección de la posición de las manos del conductor de un vehículo, caracterizado por que comprende las siguientes etapas:
- -
- detección (101) de la posición del volante, cambio de marchas y freno de mano;
- -
- detección (102), en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;
- -
- si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;
- -
- dividir el volante en cuatro áreas de interés (204);
- -
- definir un umbral de oclusión (205), valor umbral de nivel de gris, para cada una de las áreas de interés definidas;
- -
- buscar las áreas de oclusión en cada región de interés en función de sus respectivos umbrales, que serán los candidatos (206) para la posición de las manos;
- -
- iniciar un proceso de localización de las manos (207) por el cual:
- •
- si solamente queda un candidato, ésta es la posición de una de las manos;
- •
- si quedan dos candidatos:
calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, deforma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, ycalcular otra elipse igual en la imagen inicial;si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307), en caso contrario los dos candidatos representan la misma mano (305);• si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306). -
- 7.
- Procedimiento de detección de la posición de las manos del conductor de un vehículo según la reivindicación 6, caracterizado por que el umbral de oclusión (205) es del 50%.
-
- 8.
- Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 7, caracterizado por que comprende:
- -
- integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;
- -
- generación de un aviso a partir de los datos procesados.
-
- 9.
- Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 8, caracterizado porque el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.
-
- 10.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, que implementa el procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque consta de los siguientes elementos: un sistema de iluminación infrarrojo, un sistema de captación de imágenes en el espectro infrarrojo y un dispositivo electrónico para el procesamiento de los datos obtenidos tanto del vehículo como del dispositivo de captación infrarrojo.
-
- 11.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de iluminación consta al menos de un iluminador infrarrojo y un difusor de luz, que trabaja en este espectro.
-
- 12.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 11, caracterizado porque el iluminador infrarrojo emite en una longitud de onda comprendida entre 840 y 860 nm.
-
- 13.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de captación de imágenes digitales es capaz de registrar el espectro infrarrojo.
-
- 14.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según las reivindicaciones de la 10 a la 13, caracterizado porque el sistema de captación de imágenes y el de iluminación está situados en la parte superior del interior de la cabina del vehículo.
-
- 15.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el dispositivo electrónico que procesa los datos consta de una memoria de almacenamiento de datos, una unidad de proceso de los datos, un bus de comunicaciones y al menos un interface de entrada/salida.
-
- 16.
- Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la
reivindicación 15, caracterizado porque la unidad de proceso de los datos se puede comunicar de formainalámbrica con algunos de los dispositivos de captación de datos.Figura 3(a) Resultado final (b)Máscara del área del (c) Oclusiones en el (d) Puntos finales. volante volanteFigura 4
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201230205A ES2425663B1 (es) | 2012-02-10 | 2012-02-10 | Sistema de detección de la posición de las manos de un conductor |
| PCT/ES2013/070061 WO2013117787A1 (es) | 2012-02-10 | 2013-02-05 | Procedimiento y sistema de deteccion de la posicion de las manos de un conductor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES201230205A ES2425663B1 (es) | 2012-02-10 | 2012-02-10 | Sistema de detección de la posición de las manos de un conductor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2425663A1 true ES2425663A1 (es) | 2013-10-16 |
| ES2425663B1 ES2425663B1 (es) | 2014-08-08 |
Family
ID=47884110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES201230205A Active ES2425663B1 (es) | 2012-02-10 | 2012-02-10 | Sistema de detección de la posición de las manos de un conductor |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2425663B1 (es) |
| WO (1) | WO2013117787A1 (es) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10043084B2 (en) | 2016-05-27 | 2018-08-07 | Toyota Jidosha Kabushiki Kaisha | Hierarchical context-aware extremity detection |
| DE102017206312B4 (de) * | 2017-04-12 | 2024-08-01 | Ford Global Technologies, Llc | Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7095401B2 (en) * | 2000-11-02 | 2006-08-22 | Siemens Corporate Research, Inc. | System and method for gesture interface |
| FR2911983B1 (fr) * | 2007-01-25 | 2009-05-29 | St Microelectronics Sa | Procede de suivi automatique des mouvements de la mains dans une sequence d'images. |
| JP4900460B2 (ja) * | 2009-12-14 | 2012-03-21 | 株式会社デンソー | 操舵装置用車輪把持検出装置、プログラム |
| JP5005758B2 (ja) * | 2009-12-25 | 2012-08-22 | 株式会社ホンダアクセス | 自動車における車載機器の操作装置 |
-
2012
- 2012-02-10 ES ES201230205A patent/ES2425663B1/es active Active
-
2013
- 2013-02-05 WO PCT/ES2013/070061 patent/WO2013117787A1/es not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| ES2425663B1 (es) | 2014-08-08 |
| WO2013117787A1 (es) | 2013-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12236692B2 (en) | Driver attention detection method | |
| JP6638852B1 (ja) | 撮像装置、撮像システム、撮像方法および撮像プログラム | |
| CN114261394B (zh) | 用于确定交通场景的方法、系统和计算机可读存储介质 | |
| WO2001061371A2 (es) | Dispositivo de detección de presencia de objetos | |
| ES2429572T3 (es) | Sistema integrado de vehículos para la prevención de colisiones a baja velocidad | |
| IT201900012813A1 (it) | Switchable display during parking maneuvers | |
| JP2010067262A (ja) | インテリジェント走行支援システム | |
| ES2607181T3 (es) | Sistema y método para detectar situaciones potenciales de accidente con un vehículo | |
| JP5077088B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN113140132A (zh) | 一种基于5g v2x移动智能终端行人防碰撞预警系统与方法 | |
| JP4888761B2 (ja) | 仮想車線表示装置 | |
| JP6852656B2 (ja) | 警報制御装置、警報制御方法、および警報制御のためのプログラム | |
| JP2019106164A (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
| CN106200004A (zh) | 提醒方法、智能眼镜及车载系统 | |
| Jan et al. | Methods and tools for monitoring driver's behavior | |
| JP7070827B2 (ja) | 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム | |
| Jiang et al. | SafeCam: Analyzing intersection-related driver behaviors using multi-sensor smartphones | |
| JP7613406B2 (ja) | 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム | |
| JP2007082594A (ja) | 疲労検出装置 | |
| ES2425663B1 (es) | Sistema de detección de la posición de las manos de un conductor | |
| JP7068606B2 (ja) | 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム | |
| JP2010092353A (ja) | 画像処理装置及び画像処理方法 | |
| KR101535517B1 (ko) | 통학 차량 안전 경보 시스템 | |
| WO2019117004A1 (ja) | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体 | |
| JP7235438B2 (ja) | 運転評価装置、運転評価方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG2A | Definitive protection |
Ref document number: 2425663 Country of ref document: ES Kind code of ref document: B1 Effective date: 20140808 |