ES2259527A1

ES2259527A1 - Sistema multinsensorial para la monitorizacion del estado de alerta del conductor de un vehiculo.

Info

Publication number: ES2259527A1
Application number: ES200402833A
Authority: ES
Inventors: Luis Miguel Bergasa Pascual; Jesus Nuevo Chiquero; Miguel Angel Sotelo Vazquez
Original assignee: Universidad de Alcala de Henares UAH
Current assignee: Universidad de Alcala de Henares UAH
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2006-10-01
Anticipated expiration: 2024-11-24
Also published as: ES2259527B1

Abstract

Sistema multisensorial para la monitorización del estado de alerta del conductor de un vehículo. La presente invención presenta un sistema multisensorial para la monitorización del estado de alerta del conductor de un vehículo. Está compuesto de un subsistema de monitorización visual del estado del conductor, un subsistema de medida de la posición lateral del vehículo y un subsistema que mide la variabilidad de los movimientos del volante. El subsistema de monitorización visual, extrae una serie de parámetros visuales que definen el nivel de atención del conductor mediante un mecanismo de captura de imágenes e iluminación inteligente sincronizada. El subsistema de medida de posición lateral del vehículo monitoriza la desviación respecto al centro del carril del mismo. El subsistema de estudio de la variabilidad de los movimientos del volante procesa los giros del mismo para extraer patrones específicos. La información de estos tres subsistemas se fusiona para obtener un parámetro global denivel de alerta que activará una alarma en el caso de que éste sea bajo.

Description

Sistema multisensorial para la monitorización del estado de alerta del conductor de un vehículo.

Sector de la técnica

La presente invención se refiere a un sistema multisensorial desarrollado para la monitorización del estado de alerta de un conductor. Está compuesto por un sistema de monitorización visual del conductor, un sistema de monitorización visual de la posición lateral del vehículo, ambos basados en técnicas de visión artificial, y por un sistema de monitorización del movimiento del volante. El sistema de monitorización visual del conductor extrae una serie de parámetros visuales que definen el nivel de atención del conductor, mediante un subsistema hardware de captura de imágenes e iluminación inteligente sincronizada, y mediante la implementación de algoritmos de análisis de imagen sobre una unidad de procesado. El sistema de monitorización visual de la posición lateral del vehículo monitoriza la desviación del mismo respecto al centro del carril del vehículo, utilizando un subsistema hardware de captura y la unidad de procesado de imágenes. El sistema de monitorización del movimiento del volante procesa los giros del volante para extraer patrones y parámetros específicos. Los datos procedentes de estos sistemas son fusionados mediantes técnicas de procesamiento inteligente para obtener un único parámetro que determina el nivel de alerta del conductor. Si dicho nivel es reducido se activa un indicador de alarma.

Antecedentes de la invención

La reducción del nivel de atención por parte de los conductores de vehículos a motor está detrás de un amplio porcentaje de los accidentes que tienen lugar en nuestras carreteras. Entre las causas de la caída del nivel de atención es especialmente destacada la somnolencia o fatiga, bien sea por un tiempo de conducción excesivo, consumo de medicamentos o alcohol, u otras razones.

Existen actualmente diferentes líneas de investigación en lo que a la medida del nivel de atención en conducción se refiere. Una gran parte de ellas aplican métodos que se denominan "invasivos", ya que exigen que el usuario se coloque una serie de sensores, para medir algunas constantes vitales como la actividad cerebral, ritmo cardiaco o la tensión arterial. Los métodos "no invasivos" han experimentado un mayor desarrollo en los últimos tiempos, dado que su grado de aceptación por parte del usuario es mayor. Recientemente han aparecido estudios que abordan el problema de la detección de somnolencia mediante técnicas visión artificial. Parte de dichos trabajos emplean únicamente luz natural como fuente de iluminación para la captación de las imágenes, sin embargo, estos sistemas no son operativos en conducción nocturna, que es el periodo en el que ocurren la mayoría de los accidentes que tienen su origen en la somnolencia. Dentro de los sistemas que utilizan iluminación artificial, merecen especial atención los que emplean el llamado "efecto de ojos rojos", producido por fuentes de luz en el infrarrojo cercano, va que facilitan la detección de los ojos del conductor, aumentando la robustez del sistema, fundamental en este tipo de aplicaciones.

Existen algunos fabricantes que han desarrollado sistemas que emplean la posición lateral dentro del carril y los movimientos del volante para detectar salidas de carril y estados de somnolencia y fatiga. Sin embargo, estos sistemas son muy dependientes del tipo de conducción de cada usuario y del tipo y características de la carretera, y existen situaciones de bajada del nivel de atención que no son detectadas, tales como los "microsueños" (momentos en los que el conductor se queda dormido durante breves lapsos de tiempo).

Descripción de la invención

El sistema multisensorial desarrollado para la monitorización del estado de alerta de un conductor está compuesto por tres sistemas básicos. El primero de ellos se dedica, a la monitorización visual del conductor, y consta de una cámara para captura de imágenes, con su óptica correspondiente, un subsistema específico de iluminación controlada, y un subsistema de sincronización entre la captura de imágenes de la cámara y la iluminación. Adicionalmente, cuenta con una entrada de control desde la unidad de procesado, y una tarjeta de captura de las imágenes procedentes de la cámara. El sistema de monitorización visual de la posición lateral del vehículo dentro del carril está formado por una cámara para la captura de imágenes, colocada a la altura del espejo retrovisor interno del vehículo, y una tarjeta de captura de las imágenes procedentes de la cámara. El sistema de monitorización del movimiento del volante obtiene la información del giro de éste usando el propio sistema sensorial del vehículo. Estos datos se obtienen a través de un interfaz hardware con el bus CAN (Controller Area Network) del vehículo, que lee dicha información de la centralita del automóvil y la adapta a la unidad de procesado. Todos los sistemas básicos comparten una unidad de procesado y análisis de las señales procedentes de los distintos sensores, y una unidad de alarma que se activa si se detecta somnolencia en el conductor.

A continuación se describen las funciones de cada uno de los elementos del sistema multisensorial.

Cámara y óptica del sistema de monitorización visual del conductor

Consiste en una cámara tipo CCD o CMOS, con salida de vídeo compuesto o bus de comunicaciones IEEE1394 (FireWire). Debe disponer de una resolución de al menos 320x240 pixeles y de una buena sensibilidad en el infrarrojo cercano (en la banda \lambda = 800-900 nm). Adicionalmente puede contar con un filtro IR. paso-banda que elimine longitudes de onda no deseadas.

Esta cámara se situará en el salpicadero del coche, justo enfrente del conductor, de forma que se capturen imágenes que incluyan claramente la cabeza del usuario.

Subsistema de iluminación del sistema de monitorización visual del conductor

El objetivo de este subsistema es producir el llamado "efecto de ojos rojos", que aparece como resultado del reflejo de la luz infrarroja emitida. en la retina, de manera que las posteriores etapas de detección y procesado sean más sencillas y robustas. Este subsistema consiste en dos anillos concéntricos formados por LEDs de la misma longitud de onda de emisión. La cámara se ha de colocar en el centro de los dos anillos. Los LEDs del anillo interior deben disponerse de manera que queden tan cerca del eje óptico como sea posible, pero sin ser directamente visibles por la cámara. El máximo del diagrama de radiación de los LEDs ha de situarse también paralelo al eje óptico de la cámara, apuntando en el mismo sentido.

El anillo exterior se emplea para introducir una iluminación ambiental que resulta útil en ciertas fases del procesado. La iluminación de este anillo no produce el "efecto de ojos rojos", de manera que al restar una imagen obtenida con el anillo interno encendido con otra con el anillo exterior, obtenida prácticamente en el mismo instante. se produzca un aumento del contraste en la imagen resultado.

La sincronización entre los anillos y la cámara se expondrán seguidamente.

Subsistema de sincronización entre iluminación y captura de imágenes del sistema de monitorización visual del conductor

Este subsistema se encarga de sincronizar el encendido de los anillos de LEDs del subsistema de iluminación con la captura de imágenes de la cámara. Adicionalmente tiene una entrada de control desde la unidad de procesado, para habilitar o bloquear el encendido de alguno de los anillos si así se requirie-
se.

Para producir el aumento de contraste mencionado anteriormente, este módulo sensa la señal de vídeo y conmuta el anillo que está encendido al detectar que la cámara ha terminado el envío de una imagen. Si la velocidad de captura de la cámara fuese demasiado baja. el subsistema puede conmutar al finalizar la transmisión de cada uno de los campos (par e impar) de la imagen.

Tarjetas capturadoras de imágenes

La función de estas tarjetas es recibir las imágenes de las cámaras y adaptarlas para que puedan ser utilizadas por la unidad de procesado.

El tipo de tarjeta dependerá del método que las cámaras utilicen para enviar los datos, pudiendo ser una capturadora de TV en el caso de cámaras con salida de vídeo compuesto, o una tarjeta IEEE1394 en el caso de que las cámaras soporten dicho bus de comunicaciones.

La tarjeta trabaja conjuntamente con la unidad de procesado para adaptar el formato de datos que reciba a RGB con 24 bits de profundidad, o a blanco y negro, si fuese necesario.

Sistema de monitorización del movimiento del volante

Este sistema facilita a la unidad de procesado el ángulo con el que se encuentra girado el volante en cada, momento. Para ello se emplea el propio sistema sensorial del coche obteniendo la información a través del bus CAN. Para ello se ha diseñado un interfaz hardware con el bus CAN, que permite leer esa información de la centralita del vehículo y adaptarla a la unidad de procesado.

Cámara y óptica del sistema de monitorización visual de la posición lateral del vehículo

Consiste en una cámara tipo CCD o CMOS, con salida de vídeo compuesto o bus de comunicaciones IEEE1394 (FireWire). Debe disponer de una resolución de al menos 320x240 pixeles.

Esta cámara se situará a la altura del espejo retrovisor interno, orientada hacia el frente, de manera que capture imágenes que incluyan claramente las líneas de ambos lados del carril por el que circule el vehículo.

Unidad de procesado

Esta unidad está basada en un procesador, sobre el que se implementan y ejecutan las funciones necesarias para controlar el proceso de captura de imágenes de los sistemas de monitorización visual del conductor y de la posición lateral del vehículo dentro del carril, el análisis de las mismas y la extracción de parámetros significativos, que son seguidamente fusionados con los obtenidos del sistema de monitorización del movimiento del volante, y evaluados para obtener el nivel de alerta del usuario.

Esta unidad realiza las siguientes funciones:

\sqbullet: Recepción de imágenes desde las tarjetas capturadoras.

\sqbullet: Configuración de las tarjetas capturadoras.

\sqbullet: Control de la habilitación o bloqueo del encendido de los anillos del subsistema de iluminación.

\sqbullet: Recepción del dato del ángulo de giro del volante.

\sqbullet: Algoritmos de análisis de imagen para la detección de los ojos del conductor y seguimiento de los mismos. Se aplican 2 técnicas diferentes. la primera obtiene la posición de los ojos a partir de los reflejos de la luz del subsistema de iluminación. La segunda ajusta un modelo facial deformable a la cara.

\sqbullet: Algoritmos de análisis de imagen para la extracción de características del estado de los ojos y cara del usuario, tales como parpadeo, porcentaje de cierre de ojos, inclinación o giro de la cabeza.

\sqbullet: Algoritmos de análisis y medida de diferentes parámetros que pueden indicar falta de atención, tales como frecuencia de parpadeo, duración de las fases de cierre, oclusión total y apertura del párpado durante el parpadeo, PERCLOS (porcentaje de tiempo con el ojo por debajo de un cierto porcentaje de su apertura normal), fijación de la mirada, y presenciar recorrido de cabeceos, entre otros.

\sqbullet: Algoritmos de localización de las líneas de la carretera en las imágenes obtenidas de las cámaras, y medida de la distancia del vehículo a las mismas, así como la variación de dicha distancia.

\sqbullet: Algoritmos de análisis de los datos de posición del volante, para detectar la presencia de patrones correspondientes a una conducción en estado de somnolencia, tales como movimientos bruscos o ausencia de leves correcciones de la dirección, entre otros.

\sqbullet: Algoritmos de fusión de los distintos parámetros calculados. y obtención de un único parámetro de salida que define el estado de alerta del conductor. En el caso de que este parámetro caiga por debajo de un determinado umbral se emitirá una señal de alarma.

Unidad de alarma

Esta unidad se encarga de generar una alarma cuando recibe una señal desde la unidad de procesado. Esta alarma consiste en un pitido de frecuencia e intensidad inversamente proporcional al nivel de alerta obtenido por la unidad de procesado, y la emisión de una señal luminosa sobre el salpicadero del vehículo.

Breve descripción de los dibujos

El sistema multisensorial desarrollado para la monitorización del nivel de alerta de un conductor se divide en 3 sistemas fundamentales. formados a su vez por subsistemas, y dos unidades adicionales. como se observa en la figura 1. En ella se puede distinguir, dentro del sistema I de monitorización del conductor; (1) una cámara para captura de imágenes, con su óptica correspondiente; (2) un subsistema de iluminación específico; (3) un subsistema de sincronización entre la captura de imágenes de la cámara y la iluminación. con una entrada de control desde la unidad de procesado, y (4) una tarjeta de captura de las imágenes procedentes de la cámara. Dentro del sistema II de monitorización visual de la posición lateral del vehículo dentro del carril; (5) cámara para la captura de imágenes, colocada en la parte exterior del vehículo, y (6) una tarjeta de captura de las imágenes procedentes de la cámara. Dentro del sistema III de monitorización del movimiento del volante; (7) interfaz hardware con el bus CAN del vehículo para la obtención de los datos de posición del volante. Adicionalmente se encuentran; (8) unidad de procesado y, (9) unidad de alarma.

Descripción de una realización

Una posible realización del sistema multisensorial propuesto estaría compuesta como sigue: el sistema de monitorización visual del conductor constaría de una micro-cámara de vídeo en blanco y negro con sensibilidad aceptable a una longitud de onda, \lambda = 850 nm v salida de vídeo compuesto. una óptica de distancia focal 8 mm y un filtro de IR paso banda con el centro en \lambda = 850 nm, y ancho de banda de 40 mm. Se colocaría en el centro del subsistema de iluminación, que a su vez estaría formado por ocho LEDs de IR en cada anillo, equiespaciados. con el máximo de emisión de estos en \lambda = 850 nm. La sincronización de la iluminación se extrae de la señal de vídeo mediante un circuito integrado comercial. Al menos la cámara y el subsistema de iluminación se sitúan en la zona del salpicadero del vehículo, enfrente del conductor, de manera que la cara del usuario sea siempre visible mediante la cámara.

El sistema de monitorización visual de la posición lateral del vehículo dentro del carril estaría compuesto por una cámara situada a la altura del espejo retrovisor interno del vehículo, y enfocada hacia el exterior. La óptica de esta cámara tendría una distancia focal de 4,5 mm.

El sistema de monitorización del movimiento del volante consta, de una tarjeta de interfaz con el bus CAN del automóvil, que se conecta a su vez a la unidad de procesado mediante un puerto serie.

La señal de vídeo procedente de los dos sistemas de monitorización visual se lleva a dos tarjetas capturadoras de vídeo compuesto. instaladas en un computador comercial basado en arquitectura, x86. Dicho computador se emplea para procesar los datos recibidos, generar las señales necesarias y activar una alerta, sonora y visual si fuese preciso. El procesado ha de realizarse en el tiempo existente entre la recepción de una imagen y la siguiente. El computador se ubicará dentro de una caja con alimentación de 12 voltios, y que tenga unas buenas condiciones de ventilación y aislamiento electromagnético.

Claims

1. Sistema multisensorial para la monitorización del estado de alerta del conductor de un vehículo, caracterizado por ser no invasivo y poder funcionar tanto de día como de noche. con cualquier usuario, y por solucionar el problema de los "microsueños".

Está formado por un sistema de monitorización visual del conductor, un sistema de monitorización visual de la posición del vehículo dentro del carril y un tercer sistema de monitorización del movimiento lateral del volante del automóvil. El primer sistema está constituido por la asociación funcional de una cámara y su óptica (1), que deben situarse de tal manera que la cabeza del conductor quede dentro del campo visual de la cámara: (2) un subsistema de iluminación basado en 2 anillos formados por LEDs de infrarrojo: (3) un subsistema de sincronización entre la captura de imágenes de la cámara y la iluminación. con una entrada de control desde la unidad de procesado: y (4) una tarjeta de captura de las imágenes procedentes de la cámara. El segundo sistema cuenta con una cámara y su óptica (5) y otra tarjeta de captura de las imágenes de dicha cámara (6). El tercer sistema obtiene datos de la posición del volante a través del bus CAN del vehículo (7). Los datos de estos sistemas se procesan y fusionan en una unidad de procesado (8), que puede activar una alarma (9).

2. Sistema multisensorial según reivindicación 1, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, controla la activación y desactivación del subsistema de iluminación (2) en función de la iluminación ambiental obtenida por la cámara y su óptica (1).

3. Sistema multisensorial según reivindicación 1 y 2, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta la posición y el movimiento de los ojos y cara del usuario bajo diferentes situaciones de iluminación. Para ello, se localiza el reflejo de la luz infrarroja en uno o ambos ojos del conductor si el sistema de iluminación (2) está activo, o se emplean técnicas de ajuste de modelos faciales, en caso contrario.

4. Sistema multisensorial según reivindicaciones 1, 2 y 3, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta y mide la oclusión de la pupila del conductor por parte del párpado, permitiendo medir el grado de cierre del ojo, los parpadeos del usuario y su duración, y el porcentaje de tiempo que éste está cerrado por debajo de un umbral.

5. Sistema multisensorial según reivindicaciones 1, 2, 3 y 4, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta la fijación de la mirada por parte del conductor, y obtiene el porcentaje de tiempo que la mirada de éste se encuentra en dicha situación, mediante el seguimiento de la posición de las pupilas en las imágenes.

6. Sistema multisensorial según reivindicaciones 1, 2, 3, 4 y 5, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta los cabeceos del usuario, y el recorrido de estos, siguiendo los movimientos de la cabeza a lo largo de una serie de imágenes, y comparando dichos datos con patrones de movimiento predefinidos, típicos del cabeceo.

7. Sistema multisensorial según reivindicaciones 1, 2, 3, 4, 5 y 6, caracterizado porque el sistema de monitorización visual del conductor (I), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta el movimiento y la posición de la pupila dentro del ojo, y deduce de estos datos la dirección de la mirada, clasificando ésta dentro de una de las nueve zonas que suponen el frente, arriba, abajo, izquierda, derecha y las correspondientes diagonales.

8. Sistema multisensorial según reivindicación 1, caracterizado porque el sistema de monitorización de la posición lateral del vehículo (II), a través de la unidad de procesado (8) y mediante técnicas de análisis de imágenes, detecta la posición lateral del vehículo dentro de su carril. La posición se estima midiendo la distancia a las líneas de la carretera, que son detectadas empleando diferentes técnicas de medida de niveles de gris, reconocimiento de patrones y texturas, y ajustes de modelos de curvatura de la carretera.

9. Sistema multisensorial según reivindicación 1, caracterizado porque el sistema de monitorización del movimiento del volante (III), a través de la unidad de procesado (8), comprende medios para obtener la posición del volante y la variación de ésta, con objeto de detectar la presencia de posibles comportamientos anormales. Los movimientos del volante se comparan con unos patrones predefinidos, típicos de la conducción somnolienta o con atención reducida.

10. Sistema multisensorial según reivindicaciones 1, 2, 3, 4, 5, 6, 7, 8 y 9, que comprende medios para obtener el nivel de alerta del conductor en tiempo real. a través de la unidad de procesado (8), mediante la fusión de los datos obtenidos de sus 3 sistemas básicos (I, II y III) en el instante actual y en instantes anteriores, y activar una alarma, a través de la unidad de alarma (9), si dicho nivel de alerta es inferior a un límite establecido. Los datos recibidos de los sistemas básicos,. así como el resultado de su procesamiento, se almacenan en un medio no volátil.