2 Sistema de detección de la posición de las manos de un conductor.Campo de la técnica al que pertenece la invenciónSistemas de ayuda a la conducción, en especial aquellos dedicados a aumentar la seguridad del conductor y de 5otros vehículos.Estado de la técnicaLa distracción en los conductores está presente en un 30% de los accidentes de tráfico y es responsable en la actualidad de un gran número de fatalidades. El estudio de las distracciones de los conductores es un problema 10muy complejo debidoa la gran cantidad de factores que pueden influir en él. Dentro de todos ellos probablemente uno de los más importantes está relacionado con el comportamiento del conductor.Tres son los elementos que intervienen en un accidentede tráfico: el vehículo,la carretera y el conductor. De estos, el comportamiento del conductor es el ha tenido menor atención en el pasado. Las carreteras han 15mejorado mucho en los últimos tiempos: nuevos tipos de asfaltos,con superiores características técnicas, mejora en la señalización vialo diseños del trazado más apropiados para la conducciónson algunas de las mejoras que se han desarrollado en este campo. Los fabricantes de vehículos también han aumentado las medidas de seguridad,tanto activascomo pasivas, creando nuevos sistemas electrónicos o mecánicos que hacen que elcomportamiento del vehículo sea más seguro.20En los últimos años, el estudio del conductor se ha centrado sobre todo en la detección de somnolencia, empleándose una amplia gama de técnicas. Medidas fisiológicas basadas en los electro-encefalogramas (EEG) [A. Kircher, M. Uddman, J. Sandin, Vehicle control and drowsiness, Tech. Rep. VTI-922A, Swedish National Road and Transport Research Institute, 2002.] son las que proporcionan los mejores datos para la detección de 25esta situación. El principal problema es que son muy intrusivas para el sujeto que está conduciendo. Un sistema menosintrusivo es la detección de los ojos del conductor. La mayoría de los sistemas de este tipo consideran una o dos cámaras para seguir la cabeza y los ojos del sujeto [Y. Matsumoto, A. Zelinsky, An algorithm for real-time stereo vision implementation of head pose and gaze direction measurements, Procs. IEEE 304th Int. Conf. Face and Gesture Recognition, 2000, pp. 499–505.]o [T. D'Orazio, M. Leo, C. Guaragnella, A. Distante, A visual approach for driver inattention detection, Pattern Recognit. 40 (8) (2007) 2341–2355.], por citar alguno. Algunas empresas comercializan sistemas para su instalación en vehículos [Smart Eye AB, Image capturing device with reflex reduction, Patent, EP 1349487B1]. 35Otra alternativa es la monitorización de la posición lateral del vehículo, en el interior de sucarril, y el tiempo de cruce de un carril a otro, como elementos que se tienen en cuenta para evaluar la atención de conducción del vehículo[Volvo Car Corp. oA.G. Daimler]. Estas técnicas no son invasivas, y muestran resultados fiables.La presente invención propone unaalternativa a estos sistemasbasada en el seguimiento de las manos del 40conductor del vehículo. Es por ello que elproblema técnico que resuelve esta invención es el desarrollodeun sistema de alerta del comportamiento de un conductor basado en la detección y seguimiento de las manos de un conductor, que no seaintrusivo, que trabaje en tiempo real y tenga un coste computacional muy bajo. 45Descripción detallada de la invenciónLa invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico querealizaeste procedimiento. La figura 1 muestra las principales etapas de este procedimiento. El primer paso es detectar la posición de las 50áreas de interés a estudiar, esto es aquellas donde se buscarán las manos para conocersu localización: el freno de mano, el cambiode marchas y el volante(101), para ello hay tres posibles formas de hacerlo:P20123020510-02-2012
3 a) Con una foto inicial, se dibujan las zonas de interés y se obtienen las coordenadas del volante, freno de mano y cambio. b) Usar las primeras imágenes para hacer seguimiento de las manos e ir almacenando las trayectorias. Los puntos donde más veces están las manos son los puntos de interés. El número de imágenes puede 5 ser variable, dependiendo de las circunstancias de conducción, pero un rango entre 15.000 y 40.000 imágenes sería suficiente –este equivale a un tiempo de conducción entre 15 y 30 minutos-. Este mecanismo tiene la ventaja adicional de poder detectar otras áreas de interés, como pueden ser la radio, el GPS o el teléfono móvil a través del movimiento frecuente de las manos en estos dispositivos. El sistema va aprendiendo a partir de los movimientos del conductor. 10 c) Una combinación de las dos anteriores: comenzar con una estimación inicial basada en una fotografía y luego confirmar estas posiciones a partir del seguimiento de las manos. Una vez definidas las áreas de interés donde el sistema buscará las manos, el procedimiento detecta las zonas 15 de sombra que hay en ellas y las superpone sobre la imagen del volante, cambio y freno de mano. A este procedimiento le llamaremos Umbral de Detección Global (GTD). Como resultado se obtienen las áreas de oclusión, ver la figura 3. Si el número de oclusiones es mayor de dos, que es el número deseable, para cada una de ellas se obtiene el 20 área asociada a su imagen digital, que se llamará “candidato” (103). En este paso se eliminan los errores producidos por los brillos en el volante o las manos. Para calcular la posición final de las manos, que llamaremos “puntos finales”, se eliminan aquellos que son menores que un determinado valor fijado (104). El área de los candidatos se mide por su número de pixeles, siendo entre 15 y 30 el valor umbral para descartarlos, dependiendo de las circunstancias. Un valor típico son 20 pixeles. 25 Si la distancia entre candidatos adyacentes es menor que un determinado valor, los dos candidatos se unen (105). Esta distancia también se mide en pixeles y está en torno a los 10 pixeles. Si después de este proceso únicamente queda un candidato este se considera un “punto final” (106). 30 Si quedan dos puntos es necesario determinar si corresponden a una sola mano o a dos. La figura 2 muestra el procedimiento que se sigue en este caso. Se calcula una hipotética elipse que contenga, dentro de sí, las dos oclusiones (303), de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones. Por otra parte, se calcula en la imagen inicial otra elipse igual. Si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es mayor del 50% entonces los dos candidatos representan la misma mano (305). 35 Por ejemplo, este es el caso de una mano y un brazo “separados” por un reloj de pulsera. Si el valor es menor del umbral entonces cada candidato representa una mano (307), este es el caso de que las dos manos están en diferentes partes del volante. Un caso particular es cuando no se detectan las dos manos en el volante (106, 306), en ese caso se busca en 40 otras áreas de interés, como pueden ser el cambio de marchas o el freno de mano (306). Un método alternativo de detección de las manos, al que llamamos Umbral de Detección Local (LTD), propone un nuevo mecanismo para digitalizar el volante y realizar las búsquedas de potenciales candidatos. 45 El volante se divide en cuatro áreas de interés (204) donde se realizarán las búsquedas de las manos de manera independiente, en cada una de estas nuevas áreas. Para cada una se define un valor umbral de nivel de gris (blanco sobre el negro del volante) que se utilizara para decidir que oclusiones se convertirán finalmente en “puntos finales” (205). Este valor será del 50%. 50 Se buscan oclusiones en cada uno de los cuadrantes, con sus respectivos umbrales, y se seleccionan los candidatos (206). Como último paso se localizan las manos (207), de la misma manera que se ha hecho en el procedimiento anterior. Igualmente, en aquellas ocasiones donde hay que evaluar si dos oclusiones corresponden a una sola mano o a dos se utiliza el procedimiento descrito en la figura 2. P20123020522-07-2013
4Para mejorar los dos mecanismos anteriores(GTD y LTD), una vez detectadas las manos,se realiza su seguimiento utilizando el procedimiento llamado Camshift[Bradski, GR.: Computer visión face tracking for use in a perceptual user interface. Intel Technology Journal, 2nd Quarter, 1998]. Este es un procedimiento bien conocido en este campo de la técnica, por lo que no se describe en esta solicitud de patente. Si alguna de las 5manos se pierde durante el proceso de seguimiento se vuelven a utilizar uno de los mecanismos anteriores para detectarlade nuevo.Junto con el dato de las posiciones de las manos el sistema almacena una serie de parámetros defuncionamiento del vehículo. Esta información proviene de la centralita electrónica del vehículo, a través de su 10bus-CANy provee de información tal como: estado de las luces del vehículo, posición del volante, accionamiento del pedal de freno, revoluciones del motor, velocidad del vehículo, posición del acelerador, marcha engranada, distancia de seguridad, etc.El almacenamiento simultaneo de la posición de las manos y estos datos del vehículo serán de gran ayuda para 15el desarrollo de aplicaciones basadas en este procedimiento y dispositivo.Adicionalmente se puede registrar el sonido del interior de la cabina a través de un micrófono que puede estar situado dentrode lapropiacabina.Igualmente es posible registrar, a través de una cámara de vídeo, las imágenes exteriores del automóvil –por ejemplo lo que ve el conductor-en integrarlo con el resto de información.20La aplicación de este procedimiento requiere de unmódulode captación de imágenesy sonido y una unidad de procesamiento de la información, tanto de la imagen y sonido como delos datos de funcionamiento del vehículo.El sistema de captación de imágenes está compuestopor una serie de lámparas/iluminadores y difusores que 25trabajan en el espectro infrarrojo, quepara esta aplicación se sitúa en el rango entre 840 y 860 nm., y un sistema de cámaras y filtros sensibles a estas longitudes de onda.El sistema puede tener dos o tres iluminadores. Uno de ellos está enfocado a la mano izquierda y los restantes están colocados encima del volante, con la cámara situada entre ellos. Los iluminadores emiten una luz infrarroja 30continua, en torno a 850 nm de longitud de onda, de forma que no sea visible por el ojo humano, y no es intrusiva para el conductor. La cámara CCD captura solo la parte infrarroja por la acción de un filtro que elimina todo el espectro visible y únicamente deja pasar estas longitudes de onda.El dispositivo electrónico que recogerá las señales y las procesaráde acuerdo con el procedimiento descrito 35anteriormente puede ser desarrollado en diferentes tipo de plataformas, desde una FPGAo unPIC’shasta un circuito integrado diseñado a la medida de esta aplicación (ASIC). Su instalación final puede ser una tarjeta conectada a un ordenador personal, un módulo independiente o su integración total dentro de la electrónica del automóvil.40A partir de este procedimiento y dispositivo se pueden desarrollar diferentes tipos de aplicaciones. La primera de ellas eslaprevención de un posible accidente debido a unadistracción. El patrón del movimiento de las manos puede indicar una falta de concentración del conductor. El dispositivo electrónico, a partir de los datos de las posiciones de las manos, generará una alerta al conductor cuando se den estascircunstancias -avisandodel potencial peligro-, pudiendo hace recomendaciones tales como:tomar un descanso, parardefinitivamente o 45continuar con una conducción más prudente, por ejemplo.Otra posible aplicación puede ser el desarrollo de un sistema para reproducirlas causas de un accidente, para ello es necesario determinar cuál era el estado del vehículo antes del accidente, el Bus_CANdel vehículo proporciona una gran cantidad de variables físicas del funcionamiento del motor/vehículo. Segundo, el sistema 50puede adquirir información sobre las condiciones, internas y externas, de la conducción a través de imágenes tomadas desde “el punto de vista del conductor”. Es posible incluir el sonido interno de la cabina, a partir de un micrófono instalado para este fin. Junto a estos datosse almacenará la posición de las manos en cada instante.Toda esta información es registradaen lamemoria del dispositivo electrónico. Cuando se detecta un accidente, a P20123020510-02-2012
5partir de disparo del airbag, el sistema deja de tomar datosy “cierra” el acceso a la memoria, para que esta contenga toda la información anterior al incidente. Esto garantizar la integridad de la información.Otra posible aplicación puede ser la formación o el adiestramiento de conductores a partir del comportamiento o las pautas de conducción de un conductor experto. A partir de un dispositivo físico como el que se describe en 5esta solicitud, se puede monitorizar el comportamiento de del conductor experto ante situaciones difíciles de conducción, bien a través de un simulador que emule estas condiciones, o en un entorno real controlado, como puede ser un circuito automovilístico.Estas respuestas ante situaciones críticas servirán de base para el entrenamiento de conductores menos experimentados.10El dispositivo físico que realizaeste procedimiento consta de al menos:un iluminador,que trabaja en el rango de frecuenciasdel infrarrojo (alrededor de 850 nm.);una cámara digital que graba los movimientos de las manos capaz de registrar imágenes en este espectro de frecuencia –para lo cual hace uso de uso filtros específicos;opcionalmente una cámara digital que graba la carretera;opcionalmente un micrófono que registra el sonido interior de la cabina;y una unidad electrónica, CENTRALITA a partir de ahora, que almacena esta información y 15realizael procedimiento. Todos estos dispositivos pueden estar conectados físicamente a la CENTRALITA,bien con conexiones cableadas desde cada uno de ellos,bien a través de un bus de datos. Es posible también unirlos a través de un sistema inalámbrico, tipo bluetootho WiFio cualquiera otro que provea de esta funcionalidad. La CENTRALITAque realizael procedimiento lleva también una conexión de entrada para recibir los datos del vehículo a través de su Bus-CAN.20Esta CENTRALITA puede ser construida de diferentes formas y en distintas plataformas ya que la tecnología actual permite una gran variedad de posibilidades. Consta, al menos, de una memoria o grupo de memorias para almacenarlos datos y ejecutar las operaciones intermedias de cálculo. Estas puedenser independientes o estar integradas en otra parte de la circuitería electrónica de la CENTRALITA. También consta de una unidad para 25procesar las instrucciones asociadas a cada paso del procedimiento que puede ser implementada en una FPGA, un PIC, un procesador específico ocualquier otro dispositivo que provea de esta funcionalidad. Este circuito electrónico dispondrá también de una serie de entradas y salidas, que puedes ser cableadas o inalámbricas, para recibir la información y proveer de señales de salida.30Descripción de las figurasEn las figuras 1 y 2 se muestra,de forma simplificada, el flujo de datos de los procedimientos para la detección de las manos descritos anteriormente.La figura 3 es una secuencia de fotos que permite entender mejor elprocedimiento de detección de las manos en 35el volante.La figura 4 muestra una realización particular de este dispositivo.40Descripción detallada de las realizaciones particularesUna realización particular de esta invención se muestraen la figura 4. Esta consta de una CENTRALITA(4),para su construcción se ha elegido una arquitectura basada en un procesador ARM (XScale-PXA270) a 624Mhz con un sistema operativo Linux, kernel2.6.16(9). El dispositivo cuenta con cuatro puertos USB quepermiten la conexión de un adaptador de red inalámbrico y/o untransmisor/receptor Bluetooth(11). Además dispone de un 45convertidor serie/USB que permite la recepción de los datos del vehículo provenientes del Bus-CAN(10). Es de mencionar que en esta información está incluida la señal de disparo del airbag, que se usará como indicativo de que ha habido un accidente. Para el almacenamiento de la información el dispositivo incluye un grupo de memoriasde estado sólido (SSD) con 50Mb de capacidad (5, 6, 7, 8).50Utilizando esta CENTRALITAse han realizado dos ejemplos,variando el sistema de iluminación, el escenario de conducción y la resolución de la cámara digita.P20123020510-02-2012
6 Ejemplo 1. En el primer ejemplo se han instalado tres iluminadores/lámparas infrarrojas en el interior de la cabina de conducción de un camión, encima de la cabeza del conductor. Estas lámpara emiten un haz infrarrojo continuo con una longitud de onda de 850 nm de forma que no es visible por el ojo humano. La primera de ellas enfoca a la mano izquierda del volante. Las otras dos lámparas están enfocando el área del volante. Ninguna de ellas 5 lleva incorporado un difusor de luz. Entre las dos últimas lámparas se sitúa la cámara 1 que obtendrá las imágenes, a partir de las cuales se calculará la posición de las manos. Esta es una cámara digital que dispone de un sensor CCD, siglas en inglés de Dispositivo de Carga Acoplada, con una resolución de 5 Mpixels, capaz de captar 14 imágenes por segundo 10 (f/s) a máxima resolución. Esta cámara graba una media de 25.5 f/s imágenes de tamaño 352x288, 12.4 f/s a 640x480 y 5.7 f/s a 1027x768. En este caso la cámara graba con un tamaño de imagen de 640x480. El dispositivo cuenta opcionalmente con una cámara digital 2 que graba la carretera y un micrófono 3 que registra el sonido interior de la cabina. 15 El procedimiento a usar para detectar la posición de las manos es el que hemos denominado anteriormente Umbral de Detección Global. Para la obtención de los resultados se simulará un escenario interurbano, por donde circulará el vehículo mientras en sistema detecta la posición de las manos. 20 En estas condiciones el sistema tiene un grado de acierto del 98%, con tiempos de computación promedio de 23 ms por cada imagen (frame). Ejemplo 2. 25 En este ejemplo la disposición y tipo de lámparas son iguales a los del ejemplo anterior pero ahora se les ha colocado un difusor blanco a los dos iluminadores situados sobre el volante. La cámara de video 1, igualmente, grabará en las mismas condiciones de tamaños de imagen que en el ejemplo anterior. 30 En este caso el procedimiento de detección de las manos será el Umbral de Detección Local (LTD), y se simulará un recorrido urbano para el vehículo. En estas condiciones el grado de acierto es de un 88%, ligeramente inferior al del ejemplo 1. Con este método de 35 detección los tiempos de proceso disminuyen considerablemente, situándose 7 ms por imagen. Aunque este segundo procedimiento debería ser más preciso que el anterior, la disminución en el número de aciertos es atribuible a la utilización de un recorrido urbano, donde el conductor mueve las manos en muchas más ocasiones debido al trazado del escenario: mayor número de curvas, señales de tráfico, aumento de 40 circulación, etc. P20123020522-07-2013