ES2425663A1 - Sistema de detección de la posición de las manos de un conductor - Google Patents

Sistema de detección de la posición de las manos de un conductor Download PDF

Info

Publication number
ES2425663A1
ES2425663A1 ES201230205A ES201230205A ES2425663A1 ES 2425663 A1 ES2425663 A1 ES 2425663A1 ES 201230205 A ES201230205 A ES 201230205A ES 201230205 A ES201230205 A ES 201230205A ES 2425663 A1 ES2425663 A1 ES 2425663A1
Authority
ES
Spain
Prior art keywords
hands
driver
vehicle
detecting
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES201230205A
Other languages
English (en)
Other versions
ES2425663B1 (es
Inventor
Enrique CABELLO PARDOS
Cristina CONDE VILDA
Isaac MARTÍN DE DIEGO
Oscar Gerardo SÁNCHEZ SIORDIA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Rey Juan Carlos
Original Assignee
Universidad Rey Juan Carlos
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Rey Juan Carlos filed Critical Universidad Rey Juan Carlos
Priority to ES201230205A priority Critical patent/ES2425663B1/es
Priority to PCT/ES2013/070061 priority patent/WO2013117787A1/es
Publication of ES2425663A1 publication Critical patent/ES2425663A1/es
Application granted granted Critical
Publication of ES2425663B1 publication Critical patent/ES2425663B1/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento. A partir de las imágenes de las manos, captadas por una cámara, este procedimiento permite predecir una posible falta de atención del conductor y mandarle un mensaje de alerta. El dispositivo también se puede utilizar para reproducir las causas de un accidente o entrenar a conductores.

Description

Sistema de detección de la posición de las manos de un conductor.
Campo de la técnica al que pertenece la invención
Sistemas de ayuda a la conducción, en especial aquellos dedicados a aumentar la seguridad del conductor y de otros vehículos.
Estado de la técnica
La distracción en los conductores está presente en un 30% de los accidentes de tráfico y es responsable en la actualidad de un gran número de fatalidades. El estudio de las distracciones de los conductores es un problema muy complejo debido a la gran cantidad de factores que pueden influir en él. Dentro de todos ellos probablemente uno de los más importantes está relacionado con el comportamiento del conductor.
Tres son los elementos que intervienen en un accidente de tráfico: el vehículo, la carretera y el conductor. De estos, el comportamiento del conductor es el ha tenido menor atención en el pasado. Las carreteras han mejorado mucho en los últimos tiempos: nuevos tipos de asfaltos, con superiores características técnicas, mejora en la señalización vial o diseños del trazado más apropiados para la conducción son algunas de las mejoras que se han desarrollado en este campo. Los fabricantes de vehículos también han aumentado las medidas de seguridad, tanto activas como pasivas, creando nuevos sistemas electrónicos o mecánicos que hacen que el comportamiento del vehículo sea más seguro.
En los últimos años, el estudio del conductor se ha centrado sobre todo en la detección de somnolencia, empleándose una amplia gama de técnicas. Medidas fisiológicas basadas en los electro-encefalogramas (EEG)
[A. Kircher, M. Uddman, J. Sandin, Vehicle control and drowsiness, Tech. Rep. VTI-922A, Swedish National Road and Transport Research Institute, 2002.] son las que proporcionan los mejores datos para la detección de esta situación. El principal problema es que son muy intrusivas para el sujeto que está conduciendo.
Un sistema menos intrusivo es la detección de los ojos del conductor. La mayoría de los sistemas de este tipo consideran una o dos cámaras para seguir la cabeza y los ojos del sujeto [Y. Matsumoto, A. Zelinsky, An algorithm for real-time stereo vision implementation of head pose and gaze direction measurements, Procs. IEEE 4th Int. Conf. Face and Gesture Recognition, 2000, pp. 499–505.]o [T. D'Orazio, M. Leo, C. Guaragnella, A. Distante, A visual approach for driver inattention detection, Pattern Recognit. 40 (8) (2007) 2341–2355.], por citar alguno. Algunas empresas comercializan sistemas para su instalación en vehículos [Smart Eye AB, Image capturing device with reflex reduction, Patent, EP 1349487B1].
Otra alternativa es la monitorización de la posición lateral del vehículo, en el interior de su carril, y el tiempo de cruce de un carril a otro, como elementos que se tienen en cuenta para evaluar la atención de conducción del vehículo [Volvo Car Corp. o A.G. Daimler]. Estas técnicas no son invasivas, y muestran resultados fiables.
La presente invención propone una alternativa a estos sistemas basada en el seguimiento de las manos del conductor del vehículo. Es por ello que el problema técnico que resuelve esta invención es el desarrollo de un sistema de alerta del comportamiento de un conductor basado en la detección y seguimiento de las manos de un conductor, que no sea intrusivo, que trabaje en tiempo real y tenga un coste computacional muy bajo.
Descripción detallada de la invención
La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento.
La figura 1 muestra las principales etapas de este procedimiento. El primer paso es detectar la posición de las áreas de interés a estudiar, esto es aquellas donde se buscarán las manos para conocer su localización: el freno de mano, el cambio de marchas y el volante (101), para ello hay tres posibles formas de hacerlo:
a) Con una foto inicial, se dibujan las zonas de interés y se obtienen las coordenadas del volante, freno de mano y cambio.
b) Usar las primeras imágenes para hacer seguimiento de las manos e ir almacenando las trayectorias.
5 Los puntos donde más veces están las manos son los puntos de interés. El número de imágenes puede ser variable, dependiendo de las circunstancias de conducción, pero un rango entre 15.000 y 40.000 imágenes sería suficiente –este equivale a un tiempo de conducción entre 15 y 30 minutos-. Este mecanismo tiene la ventaja adicional de poder detectar otras áreas de interés, como pueden ser la radio, el GPS o el teléfono móvil a través del movimiento frecuente de las manos en estos dispositivos.
10 El sistema va aprendiendo a partir de los movimientos del conductor.
c) Una combinación de las dos anteriores: comenzar con una estimación inicial basada en una fotografía y luego confirmar estas posiciones a partir del seguimiento de las manos.
15 Una vez definidas las áreas de interés donde el sistema buscará las manos, el procedimiento detecta las zonas de sombra que hay en ellas y las superpone sobre la imagen del volante, cambio y freno de mano. A este procedimiento le llamaremos Umbral de Detección Global (GTD). Como resultado se obtienen las áreas de oclusión, ver la figura 3.
20 Si el número de oclusiones es mayor de dos, que es el número deseable, para cada una de ellas se obtiene el área asociada a su imagen digital, que se llamará “candidato” (103). En este paso se eliminan los errores producidos por los brillos en el volante o las manos. Para calcular la posición final de las manos, que llamaremos “puntos finales”, se eliminan aquellos que son menores que un determinado valor fijado (104). El área de los candidatos se mide por su número de pixeles, siendo entre 15 y 30 el valor umbral para descartarlos,
25 dependiendo de las circunstancias. Un valor típico son 20 pixeles.
Si la distancia entre candidatos adyacentes es menor que un determinado valor, los dos candidatos se unen (105). Esta distancia también se mide en pixeles y está en torno a los 10 pixeles. Si después de este proceso únicamente queda un candidato este se considera un “punto final” (106).
30 Si quedan dos puntos es necesario determinar si corresponden a una sola mano o a dos. La figura 2 muestra el procedimiento que se sigue en este caso. Se calcula una hipotética elipse que contenga, dentro de sí, las dos oclusiones (303), de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones. Por otra parte, se calcula en la imagen inicial otra elipse igual. Si el porcentaje del área (304) de los candidatos dentro de
35 la elipse de la imagen inicial es mayor del 50% entonces los dos candidatos representan la misma mano (305). Por ejemplo, este es el caso de una mano y un brazo “separados” por un reloj de pulsera. Si el valor es menor del umbral entonces cada candidato representa una mano (307), este es el caso de que las dos manos están en diferentes partes del volante.
40 Un caso particular es cuando no se detectan las dos manos en el volante (106, 306), en ese caso se busca en otras áreas de interés, como pueden ser el cambio de marchas o el freno de mano (306).
Un método alternativo de detección de las manos, al que llamamos Umbral de Detección Local (LTD), propone un nuevo mecanismo para digitalizar el volante y realizar las búsquedas de potenciales candidatos.
45 El volante se divide en cuatro áreas de interés (204) donde se realizarán las búsquedas de las manos de manera independiente, en cada una de estas nuevas áreas. Para cada una se define un valor umbral de nivel de gris (blanco sobre el negro del volante) que se utilizara para decidir que oclusiones se convertirán finalmente en “puntos finales” (205). Este valor será del 50%.
50 Se buscan oclusiones en cada uno de los cuadrantes, con sus respectivos umbrales, y se seleccionan los candidatos (206). Como último paso se localizan las manos (207), de la misma manera que se ha hecho en el procedimiento anterior. Igualmente, en aquellas ocasiones donde hay que evaluar si dos oclusiones corresponden a una sola mano o a dos se utiliza el procedimiento descrito en la figura 2.
Para mejorar los dos mecanismos anteriores (GTD y LTD), una vez detectadas las manos, se realiza su seguimiento utilizando el procedimiento llamado Camshift [Bradski, GR.: Computer visión face tracking for use in a perceptual user interface. Intel Technology Journal, 2nd Quarter, 1998]. Este es un procedimiento bien conocido en este campo de la técnica, por lo que no se describe en esta solicitud de patente. Si alguna de las manos se pierde durante el proceso de seguimiento se vuelven a utilizar uno de los mecanismos anteriores para detectarla de nuevo.
Junto con el dato de las posiciones de las manos el sistema almacena una serie de parámetros de funcionamiento del vehículo. Esta información proviene de la centralita electrónica del vehículo, a través de su bus-CAN y provee de información tal como: estado de las luces del vehículo, posición del volante, accionamiento del pedal de freno, revoluciones del motor, velocidad del vehículo, posición del acelerador, marcha engranada, distancia de seguridad, etc.
El almacenamiento simultaneo de la posición de las manos y estos datos del vehículo serán de gran ayuda para el desarrollo de aplicaciones basadas en este procedimiento y dispositivo.
Adicionalmente se puede registrar el sonido del interior de la cabina a través de un micrófono que puede estar situado dentro de la propia cabina. Igualmente es posible registrar, a través de una cámara de vídeo, las imágenes exteriores del automóvil –por ejemplo lo que ve el conductor-en integrarlo con el resto de información.
La aplicación de este procedimiento requiere de un módulo de captación de imágenes y sonido y una unidad de procesamiento de la información, tanto de la imagen y sonido como de los datos de funcionamiento del vehículo.
El sistema de captación de imágenes está compuesto por una serie de lámparas/iluminadores y difusores que trabajan en el espectro infrarrojo, que para esta aplicación se sitúa en el rango entre 840 y 860 nm., y un sistema de cámaras y filtros sensibles a estas longitudes de onda.
El sistema puede tener dos o tres iluminadores. Uno de ellos está enfocado a la mano izquierda y los restantes están colocados encima del volante, con la cámara situada entre ellos. Los iluminadores emiten una luz infrarroja continua, en torno a 850 nm de longitud de onda, de forma que no sea visible por el ojo humano, y no es intrusiva para el conductor. La cámara CCD captura solo la parte infrarroja por la acción de un filtro que elimina todo el espectro visible y únicamente deja pasar estas longitudes de onda.
El dispositivo electrónico que recogerá las señales y las procesará de acuerdo con el procedimiento descrito anteriormente puede ser desarrollado en diferentes tipo de plataformas, desde una FPGA o un PIC’s hasta un circuito integrado diseñado a la medida de esta aplicación (ASIC). Su instalación final puede ser una tarjeta conectada a un ordenador personal, un módulo independiente o su integración total dentro de la electrónica del automóvil.
A partir de este procedimiento y dispositivo se pueden desarrollar diferentes tipos de aplicaciones. La primera de ellas es la prevención de un posible accidente debido a una distracción. El patrón del movimiento de las manos puede indicar una falta de concentración del conductor. El dispositivo electrónico, a partir de los datos de las posiciones de las manos, generará una alerta al conductor cuando se den estas circunstancias -avisando del potencial peligro-, pudiendo hace recomendaciones tales como: tomar un descanso, parar definitivamente o continuar con una conducción más prudente, por ejemplo.
Otra posible aplicación puede ser el desarrollo de un sistema para reproducir las causas de un accidente, para ello es necesario determinar cuál era el estado del vehículo antes del accidente, el Bus_CAN del vehículo proporciona una gran cantidad de variables físicas del funcionamiento del motor/vehículo. Segundo, el sistema puede adquirir información sobre las condiciones, internas y externas, de la conducción a través de imágenes tomadas desde “el punto de vista del conductor”. Es posible incluir el sonido interno de la cabina, a partir de un micrófono instalado para este fin. Junto a estos datos se almacenará la posición de las manos en cada instante. Toda esta información es registrada en la memoria del dispositivo electrónico. Cuando se detecta un accidente, a
partir de disparo del airbag, el sistema deja de tomar datos y “cierra” el acceso a la memoria, para que esta contenga toda la información anterior al incidente. Esto garantizar la integridad de la información.
Otra posible aplicación puede ser la formación o el adiestramiento de conductores a partir del comportamiento o las pautas de conducción de un conductor experto. A partir de un dispositivo físico como el que se describe en esta solicitud, se puede monitorizar el comportamiento de del conductor experto ante situaciones difíciles de conducción, bien a través de un simulador que emule estas condiciones, o en un entorno real controlado, como puede ser un circuito automovilístico. Estas respuestas ante situaciones críticas servirán de base para el entrenamiento de conductores menos experimentados.
El dispositivo físico que realiza este procedimiento consta de al menos: un iluminador, que trabaja en el rango de frecuencias del infrarrojo (alrededor de 850 nm.); una cámara digital que graba los movimientos de las manos capaz de registrar imágenes en este espectro de frecuencia –para lo cual hace uso de uso filtros específicos; opcionalmente una cámara digital que graba la carretera; opcionalmente un micrófono que registra el sonido interior de la cabina; y una unidad electrónica, CENTRALITA a partir de ahora, que almacena esta información y realiza el procedimiento. Todos estos dispositivos pueden estar conectados físicamente a la CENTRALITA, bien con conexiones cableadas desde cada uno de ellos, bien a través de un bus de datos. Es posible también unirlos a través de un sistema inalámbrico, tipo bluetooth o WiFi o cualquiera otro que provea de esta funcionalidad. La CENTRALITA que realiza el procedimiento lleva también una conexión de entrada para recibir los datos del vehículo a través de su Bus-CAN.
Esta CENTRALITA puede ser construida de diferentes formas y en distintas plataformas ya que la tecnología actual permite una gran variedad de posibilidades. Consta, al menos, de una memoria o grupo de memorias para almacenar los datos y ejecutar las operaciones intermedias de cálculo. Estas pueden ser independientes o estar integradas en otra parte de la circuitería electrónica de la CENTRALITA. También consta de una unidad para procesar las instrucciones asociadas a cada paso del procedimiento que puede ser implementada en una FPGA, un PIC, un procesador específico o cualquier otro dispositivo que provea de esta funcionalidad. Este circuito electrónico dispondrá también de una serie de entradas y salidas, que puedes ser cableadas o inalámbricas, para recibir la información y proveer de señales de salida.
Descripción de las figuras
En las figuras 1 y 2 se muestra, de forma simplificada, el flujo de datos de los procedimientos para la detección de las manos descritos anteriormente.
La figura 3 es una secuencia de fotos que permite entender mejor el procedimiento de detección de las manos en el volante.
La figura 4 muestra una realización particular de este dispositivo.
Descripción detallada de las realizaciones particulares
Una realización particular de esta invención se muestra en la figura 4. Esta consta de una CENTRALITA (4), para su construcción se ha elegido una arquitectura basada en un procesador ARM (XScale-PXA270) a 624Mhz con un sistema operativo Linux, kernel 2.6.16 (9). El dispositivo cuenta con cuatro puertos USB que permiten la conexión de un adaptador de red inalámbrico y/o un transmisor/receptor Bluetooth (11). Además dispone de un convertidor serie/USB que permite la recepción de los datos del vehículo provenientes del Bus-CAN (10). Es de mencionar que en esta información está incluida la señal de disparo del airbag, que se usará como indicativo de que ha habido un accidente. Para el almacenamiento de la información el dispositivo incluye un grupo de memorias de estado sólido (SSD) con 50Mb de capacidad (5, 6, 7, 8).
Utilizando esta CENTRALITA se han realizado dos ejemplos, variando el sistema de iluminación, el escenario de conducción y la resolución de la cámara digita.
Ejemplo 1. En el primer ejemplo se han instalado tres iluminadores/lámparas infrarrojas en el interior de la cabina de conducción de un camión, encima de la cabeza del conductor. Estas lámpara emiten un haz infrarrojo continuo con una longitud de onda de 850 nm de forma que no es visible por el ojo humano. La primera de ellas enfoca a la mano izquierda del volante. Las otras dos lámparas están enfocando el área del volante. Ninguna de ellas lleva incorporado un difusor de luz.
Entre las dos últimas lámparas se sitúa la cámara 1 que obtendrá las imágenes, a partir de las cuales se calculará la posición de las manos. Esta es una cámara digital que dispone de un sensor CCD, siglas en inglés de Dispositivo de Carga Acoplada, con una resolución de 5 Mpixels, capaz de captar 14 imágenes por segundo (f/s) a máxima resolución. Esta cámara graba una media de 25.5 f/s imágenes de tamaño 352x288, 12.4 f/s a 640x480 y 5.7 f/s a 1027x768. En este caso la cámara graba con un tamaño de imagen de 640x480. El dispositivo cuenta opcionalmente con una cámara digital 2 que graba la carretera y un micrófono 3 que registra el sonido interior de la cabina.
El procedimiento a usar para detectar la posición de las manos es el que hemos denominado anteriormente Umbral de Detección Global.
Para la obtención de los resultados se simulará un escenario interurbano, por donde circulará el vehículo mientras en sistema detecta la posición de las manos.
En estas condiciones el sistema tiene un grado de acierto del 98%, con tiempos de computación promedio de 23 ms por cada imagen (frame).
Ejemplo 2. En este ejemplo la disposición y tipo de lámparas son iguales a los del ejemplo anterior pero ahora se les ha colocado un difusor blanco a los dos iluminadores situados sobre el volante.
La cámara de video 1, igualmente, grabará en las mismas condiciones de tamaños de imagen que en el ejemplo anterior.
En este caso el procedimiento de detección de las manos será el Umbral de Detección Local (LTD), y se simulará un recorrido urbano para el vehículo.
En estas condiciones el grado de acierto es de un 88%, ligeramente inferior al del ejemplo 1. Con este método de detección los tiempos de proceso disminuyen considerablemente, situándose 7 ms por imagen.
Aunque este segundo procedimiento debería ser más preciso que el anterior, la disminución en el número de aciertos es atribuible a la utilización de un recorrido urbano, donde el conductor mueve las manos en muchas más ocasiones debido al trazado del escenario: mayor número de curvas, señales de tráfico, aumento de circulación, etc.

Claims (16)

  1. Reivindicaciones
    1. Procedimiento de detección de la posición de las manos del conductor de un vehículo caracterizado por que comprende las siguientes etapas:
    -
    detección (101) de la posición del volante, cambio de marchas y freno de mano;
    -
    detección (102), en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;
    -
    si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;
    -
    eliminar los candidatos (104) cuyas áreas en píxeles son menores que un umbral determinado;
    -
    si la distancia entre dos candidatos adyacentes es menor que un determinado valor, unir los dos candidatos (105);
    -
    iniciar un proceso de localización de las manos (106) por el cual:
    si solamente queda un candidato, ésta es la posición de una de las manos;
    si quedan dos candidatos:
    calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, de
    forma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, y
    calcular otra elipse igual en la imagen inicial;
    si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307), en caso contrario los dos candidatos representan la misma mano (305);
    • si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306).
  2. 2.
    Procedimiento de detección de posición de las manos del conductor de un vehículo según la reivindicación 1, caracterizado por que el umbral para eliminar los candidatos cuyas áreas son menores que un determinado valor está comprendido entre 15 y 30 pixeles.
  3. 3.
    Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que la unión de los dos candidatos (105) se realiza si la distancia entre dos candidatos adyacentes es menor que 10 píxeles.
  4. 4.
    Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende:
    -
    integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;
    -
    generación de un aviso a partir de los datos procesados.
  5. 5.
    Procedimiento de detección de posición de las manos del conductor de un vehículo, según cualquiera de las reivindicaciones anteriores, caracterizado por que el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.
  6. 6.
    Procedimiento de detección de la posición de las manos del conductor de un vehículo, caracterizado por que comprende las siguientes etapas:
    -
    detección (101) de la posición del volante, cambio de marchas y freno de mano;
    -
    detección (102), en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;
    -
    si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;
    -
    dividir el volante en cuatro áreas de interés (204);
    -
    definir un umbral de oclusión (205), valor umbral de nivel de gris, para cada una de las áreas de interés definidas;
    -
    buscar las áreas de oclusión en cada región de interés en función de sus respectivos umbrales, que serán los candidatos (206) para la posición de las manos;
    -
    iniciar un proceso de localización de las manos (207) por el cual:
    si solamente queda un candidato, ésta es la posición de una de las manos;
    si quedan dos candidatos:
    calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, de
    forma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, y
    calcular otra elipse igual en la imagen inicial;
    si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307), en caso contrario los dos candidatos representan la misma mano (305);
    • si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306).
  7. 7.
    Procedimiento de detección de la posición de las manos del conductor de un vehículo según la reivindicación 6, caracterizado por que el umbral de oclusión (205) es del 50%.
  8. 8.
    Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 7, caracterizado por que comprende:
    -
    integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;
    -
    generación de un aviso a partir de los datos procesados.
  9. 9.
    Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 8, caracterizado porque el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.
  10. 10.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, que implementa el procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque consta de los siguientes elementos: un sistema de iluminación infrarrojo, un sistema de captación de imágenes en el espectro infrarrojo y un dispositivo electrónico para el procesamiento de los datos obtenidos tanto del vehículo como del dispositivo de captación infrarrojo.
  11. 11.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de iluminación consta al menos de un iluminador infrarrojo y un difusor de luz, que trabaja en este espectro.
  12. 12.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 11, caracterizado porque el iluminador infrarrojo emite en una longitud de onda comprendida entre 840 y 860 nm.
  13. 13.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de captación de imágenes digitales es capaz de registrar el espectro infrarrojo.
  14. 14.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según las reivindicaciones de la 10 a la 13, caracterizado porque el sistema de captación de imágenes y el de iluminación está situados en la parte superior del interior de la cabina del vehículo.
  15. 15.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el dispositivo electrónico que procesa los datos consta de una memoria de almacenamiento de datos, una unidad de proceso de los datos, un bus de comunicaciones y al menos un interface de entrada/salida.
  16. 16.
    Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la
    reivindicación 15, caracterizado porque la unidad de proceso de los datos se puede comunicar de forma
    inalámbrica con algunos de los dispositivos de captación de datos.
    Figura 3
    (a) Resultado final (b)Máscara del área del (c) Oclusiones en el (d) Puntos finales. volante volante
    Figura 4
ES201230205A 2012-02-10 2012-02-10 Sistema de detección de la posición de las manos de un conductor Active ES2425663B1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES201230205A ES2425663B1 (es) 2012-02-10 2012-02-10 Sistema de detección de la posición de las manos de un conductor
PCT/ES2013/070061 WO2013117787A1 (es) 2012-02-10 2013-02-05 Procedimiento y sistema de deteccion de la posicion de las manos de un conductor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201230205A ES2425663B1 (es) 2012-02-10 2012-02-10 Sistema de detección de la posición de las manos de un conductor

Publications (2)

Publication Number Publication Date
ES2425663A1 true ES2425663A1 (es) 2013-10-16
ES2425663B1 ES2425663B1 (es) 2014-08-08

Family

ID=47884110

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201230205A Active ES2425663B1 (es) 2012-02-10 2012-02-10 Sistema de detección de la posición de las manos de un conductor

Country Status (2)

Country Link
ES (1) ES2425663B1 (es)
WO (1) WO2013117787A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043084B2 (en) 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
DE102017206312B4 (de) * 2017-04-12 2024-08-01 Ford Global Technologies, Llc Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
FR2911983B1 (fr) * 2007-01-25 2009-05-29 St Microelectronics Sa Procede de suivi automatique des mouvements de la mains dans une sequence d'images.
JP4900460B2 (ja) * 2009-12-14 2012-03-21 株式会社デンソー 操舵装置用車輪把持検出装置、プログラム
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置

Also Published As

Publication number Publication date
ES2425663B1 (es) 2014-08-08
WO2013117787A1 (es) 2013-08-15

Similar Documents

Publication Publication Date Title
US12236692B2 (en) Driver attention detection method
JP6638852B1 (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
CN114261394B (zh) 用于确定交通场景的方法、系统和计算机可读存储介质
WO2001061371A2 (es) Dispositivo de detección de presencia de objetos
ES2429572T3 (es) Sistema integrado de vehículos para la prevención de colisiones a baja velocidad
IT201900012813A1 (it) Switchable display during parking maneuvers
JP2010067262A (ja) インテリジェント走行支援システム
ES2607181T3 (es) Sistema y método para detectar situaciones potenciales de accidente con un vehículo
JP5077088B2 (ja) 画像処理装置及び画像処理方法
CN113140132A (zh) 一种基于5g v2x移动智能终端行人防碰撞预警系统与方法
JP4888761B2 (ja) 仮想車線表示装置
JP6852656B2 (ja) 警報制御装置、警報制御方法、および警報制御のためのプログラム
JP2019106164A (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム
CN106200004A (zh) 提醒方法、智能眼镜及车载系统
Jan et al. Methods and tools for monitoring driver's behavior
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
Jiang et al. SafeCam: Analyzing intersection-related driver behaviors using multi-sensor smartphones
JP7613406B2 (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
JP2007082594A (ja) 疲労検出装置
ES2425663B1 (es) Sistema de detección de la posición de las manos de un conductor
JP7068606B2 (ja) 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP2010092353A (ja) 画像処理装置及び画像処理方法
KR101535517B1 (ko) 통학 차량 안전 경보 시스템
WO2019117004A1 (ja) 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体
JP7235438B2 (ja) 運転評価装置、運転評価方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2425663

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20140808