ES2308939A1 - Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. - Google Patents

Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. Download PDF

Info

Publication number
ES2308939A1
ES2308939A1 ES200701814A ES200701814A ES2308939A1 ES 2308939 A1 ES2308939 A1 ES 2308939A1 ES 200701814 A ES200701814 A ES 200701814A ES 200701814 A ES200701814 A ES 200701814A ES 2308939 A1 ES2308939 A1 ES 2308939A1
Authority
ES
Spain
Prior art keywords
fpga
real
time detection
electronic system
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
ES200701814A
Other languages
English (en)
Inventor
Felix Moreno Gonzalez
Francisco J. Sanchez Alejo
Francisco J. Paez Ayuso
Francisco Aparicio Izquierdo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Politecnica de Madrid
Original Assignee
Universidad Politecnica de Madrid
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Politecnica de Madrid filed Critical Universidad Politecnica de Madrid
Priority to ES200701814A priority Critical patent/ES2308939A1/es
Publication of ES2308939A1 publication Critical patent/ES2308939A1/es
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • G06T7/606
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

Consiste en un sistema formado por una cámara de vídeo con sistema PAL (2) que apunta al busto del conductor (1), cuya señal pasa a través de un convertidor analógico/digital (3) hasta llegar a una FPGA (7) con dos memorias RAM (5) y (6), y un generador de sincronismos de video (4). La FPGA se conecta con un interfaz (8), que es accionado cuando la situación lo requiere. La FPGA (7) está formada por tres filtros en serie que procesan la señal de video digitalizada: de mediana, de Sóbel y de máximo. Así tratada la imagen, el módulo de análisis de parpadeo puede discernir, en función de ciertos protocolos; si es necesario generar una señal eléctrica de aviso que accione el interfaz.

Description

Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles.
Objeto de la invención
La presente invención se refiere a un sistema electrónico, basado en FPGA (Field Programmable Gate Array, es decir, hardware reconfigurable) que permite la detección del cansancio o somnolencia del conductor de un vehículo. Se trata de una invención que pertenece, dentro del área de la electrónica, al campo de los vehículos automóviles y los componentes que éstos embarcan.
Antecedentes de la invención
Los factores que influyen en la producción de un accidente de circulación son muy diversos. Sin embargo, según estadísticas del Libro Blanco de Seguridad de la Comisión Europea, aquéllos relacionados con fallos del conductor y, más concretamente, con el cansancio, el sueño, la falta de atención y estados de embriaguez o semiembriaguez, constituyen más de la cuarta parte de los accidentes con víctimas que se producen en Europa.
Esto significa que un número muy significativo de accidentes de tráfico podría evitarse cada año si se dispusiese de un dispositivo que detectara a tiempo este tipo de situaciones que inhabilitan la conducción segura, y que avisara al conductor del peligro que supone para sí mismo y para otros usuarios de la vía el hecho de proseguir la marcha en esas condiciones.
El estado de la técnica cuenta, desde hace varios años, con distintos sistemas patentados internacionalmente, encaminados a la detección de estados de baja atención en los conductores de vehículos, como son los producidos por la somnolencia o el cansancio. Del estudio detallado de estas referencias se constata la existencia de enfoques muy divergentes, encontrándose referencias encaminadas a tal fin en muy distintos epígrafes de la Clasificación Internacional de Patentes.
En ninguna de estas fuentes consultadas ha aparecido ningún dispositivo que utilice los principios físicos y los componentes electrónicos programados como los empleados en el que se describe a continuación.
En primer lugar, existe un buen número de patentes fundamentadas en el uso de sistemas mecánicos o electromecánicos, clasificados en los epígrafes B60K28/06 y B60R25/10 de la Clasificación Internacional de Patentes, como la P9602674, denominada "Sistema Avisador y de Ayuda al Automovilista y al Automóvil", o el Modelo de Utilidad U9502993, "Control de Alerta en la Conducción de Vehículos Automóviles".
Otras patentes encaminadas a lograr fines similares se encuadran en los epígrafes G02B23/08 o G02B23/12 (como la E87830383 "Dispositivo Periscópico para Visión Día/Noche", etc), pero difieren sustancialmente, desde su propia esencia, con la patente que se presenta al ser ésta un sistema electrónico en su totalidad.
Dentro de los sistemas exclusivamente electrónicos se puede encontrar otro conjunto de patentes que, con objetivos similares a los mencionados, detectan y alertan sobre eventuales situaciones de cansancio o sueño del conductor; se fundamentan en el uso de señales ópticas (optoelectrónica) o ultrasonidos (incluso mediante dispositivos piezoeléctricos). Como ejemplos de este tipo se encuentra en el epígrafe B60R1/08 la patente E87306393, denominada "Retrovisor y Circuito de Control para el mismo", y en los epígrafes A61 H23/00 y B60N1/00, la E89105070, titulada "Procedimiento para Demostrar, Reducir o bien Eliminar el Cansancio de Conductores de Vehículos, así como Vehículos para llevar a cabo este procedimiento", así como la patente US6304187, "Method and Device for Detecting Drowsiness and Preventing a Driver of a Motor Vehicle from Falling Asleep", etc. Una característica completamente diferenciadora, entre otras, de estas patentes frente a la que aquí se presenta, es que todas ellas utilizan las señales procedentes de dos cámaras de vídeo que graban el busto del conductor, mientras que en la presente se utiliza únicamente una, cuya información es procesada en tiempo real.
Por otro lado existe alguna patente que, aún utilizando el mismo principio de procesamiento de dichas imágenes en tiempo real, fundamenta la solución adoptada a este problema en un conjunto de algoritmos desarrollados en software, y que han de ser soportados o ejecutados necesariamente en un ordenador personal tipo PC, que ha de ser embarcado en el vehículo. Entre éstas, destaca la E97934342 "Procedimiento y Aparato de Prevención de la Fatiga Ocular", clasificada en los epígrafes G09G3/36, G09G5/00, G09G5/10 y G09G5/02 de la Clasificación Internacional de Patentes.
La patente WO0250792, "The Procedure and Device Intended for the man-machine system security preservation under a man's drowsiness conditions", plantea una solución basada en el uso de un ordenador personal embarcado, controlando la dinámica del parpadeo del conductor. La patente FR2784887, "System for detecting drowsiness in the driver of a motor vehicle, uses a charge couple device, CCD, camera to monitor the movement of the eyelids" presenta una aproximación al problema que se asemeja en cierta medida a la que se propone en este documento, pero el hecho de que precisa de un ordenador personal embarcado como elemento de cálculo y procesamiento la hace completamente diferente. En esta misma línea se encuentran las patentes FR2824169, US20022140562, DE10151015 y US6304187.
Ésta última, denominada "Method and device for detecting drowsiness and preventing a driver of a motor vehicle from falling aslep", propone el empleo de un dispositivo optoelectrónico ubicado en el espejo retrovisor del automóvil para capturar la imagen reflejada de los ojos del conductor. Dicha imagen se procesa posteriormente y se compara con unos patrones dinámicos del parpadeo de los ojos para determinar una situación de sueño del conductor. Se trata ésta de una patente donde se reclama un método de decisión de un sistema electrónico concreto, ya que no especifica ningún tipo de sistema concreto, ni ordenador embarcado ni de otro tipo.
Finalmente, se ha podido comprobar la existencia de otras patentes internacionales que parecen estar más en la línea de la que aquí se presenta; aunque con aspectos muy particulares en algún caso y muy difusos en la mayoría. En algún caso se utilizan diferentes dispositivos (hasta tres diferentes están descritos) para realizar las operaciones necesarias para detectar y alertar al conductor de situaciones de distracción. La patente 5.465.079, "Method and Apparatus for Determining Driver Fitness in Real-Time" usa una combinación de radar, acelerómetros, medidores de la velocidad del vehículo y procesamiento digital de la señal para determinar si la actitud del conductor se ajusta a una serie de patrones que se consideran seguros o de buena práctica de la conducción. Para ello se plantea un Sistema Electrónico basado en un DSP (Procesador Digital de Señal) que realiza la Transformada Rápida de Fourier (FFT) de los datos procedentes de los diferentes sensores, una vez han sido digitalizados mediante un convertidor Analógico/Digital. Existe una memoria RAM que almacena los datos correspondientes a los modelos de conducción segura y una FPGA que se encarga de controlar los accesos a dicha memoria RAM, entre otros elementos. Por tanto, esta referencia plantea una solución basada únicamente en software.
El análisis exhaustivo del estado de la técnica, la vinculación a grupos europeos de I+D+I en áreas de sistemas inteligentes aplicados a la seguridad vial de los vehículos, así como la estrecha relación con fabricantes de componentes de vehículos, ha facilitado, por una parte, la comprensión de la necesidad de un sistema que detecte de manera eficiente los estados de baja atención, cansancio, embriaguez y somnolencia al volante y, por otra, las características que un dispositivo de este tipo debería tener para su incorporación efectiva en los vehículos.
El objetivo general pretendido con la presente invención es el desarrollo de un dispositivo barato, flexible, fiable y de reducido tamaño, capaz de detectar precozmente disposiciones inadecuadas del piloto frente a la conducción, como puede ser la falta de atención, el cansancio, la embriaguez, la somnolencia, etc., por medio del control en tiempo real de la frecuencia del parpadeo de sus ojos.
Otro objetivo pretendido es el hecho de que pueda ser instalado en cualquier tipo de vehículo o puesto de control de responsabilidad, donde resulte fundamental la atención permanente del personal.
Descripción de la invención
La invención que se propone para ayudar a resolver al menos una parte de los problemas expuestos y satisfacer los objetivos planteados consiste en un dispositivo que hace uso de hardware reconfigurable tipo FPGA (Field Programmable Gate Array) que procesa mediante operaciones matemáticas y comparaciones lógicas en tiempo real las imágenes del busto del conductor de un vehículo que son adquiridas por una cámara de vídeo, calcula la frecuencia de su parpadeo y le avisa mediante señales acústicas y/o luminosas cuando decae la atención a la conducción.
La cámara de vídeo puede ser tipo PAL, de 25 imágenes por segundo y 625 líneas por imagen, aunque se podría utilizar también una cámara de vídeo NTSC, de 30 imágenes por segundo y 525 líneas por imagen. Asimismo se puede utilizar otro tipo de cámaras de vídeo con resoluciones espacial o temporal diferentes, sin que ello altere el fundamento ni las características de la invención.
Antes de procesarse, la señal de vídeo es digitalizada y tratada por filtros o algoritmos matemáticos implementados electrónicamente que acondicionan dicha señal para su adecuado tratamiento, por lo que, a no ser que se utilice una cámara de vídeo con salida de vídeo digital por componentes, se debe incorporar un convertidor analógico/digital (A/D) de 8 bits con ancho de banda de vídeo. Así, la luminancia, que es la única señal relevante para el sistema, se procesará en formato digital.
El dispositivo electrónico está basado en el uso de hardware programable, también llamado re-configurable, de tipo FPGA ("Field Programmable Gate Array"), lo que le permite cumplir cuatro de los objetivos que se plantea
satisfacer:
\bullet
Fiabilidad, ya que al ser autónomo no depende de ningún tipo de ordenador embarcado en el vehículo, ni del correcto funcionamiento de su Sistema Operativo.
\bullet
Flexibilidad, pues reconfigurando ligeramente la FPGA, sin rediseño alguno del sistema, se puede modificar su función para otras aplicaciones de utilidad en el aumento de la seguridad de la conducción.
\bullet
Bajo coste, ya que el sistema consta únicamente de circuitos y dispositivos comerciales de amplia utilización y reducido presupuesto.
\bullet
Portabilidad, pudiendo ser instalado en cualquier vehículo, incluso sin ningún tipo de instalación previa.
Para el correcto tratamiento de la imagen del busto del conductor, que puede estar afectada por cambios bruscos de luminosidad, por ejemplo al entrar en un túnel, es preciso someter la señal digitalizada a una serie de filtros que realizan otras tantas operaciones matemáticas o lógicas, de manera que la señal queda completamente acondicionada para poder discernir electrónicamente y en tiempo real sobre la frecuencia de parpadeos del conductor.
La señal de vídeo es inicialmente tratada para eliminar todo el ruido que pueda tener la imagen, como hace un Filtro de Mediana.
La señal de vídeo, una vez tratada por el filtro anterior, es procesada para que se reduzca la imagen a una serie de líneas blancas que marquen los contornos de las imágenes que graba sobre fondo negro, siendo la definición de dichas líneas independiente de los cambios de luminosidad que pueda sufrir el vehículo, como hace el Filtro de Sóbel. Además de éste, en el estado de la técnica existen diversos filtros que, con mayor o menor precisión pueden realizar esta operación.
La señal de vídeo, una vez procesada por los filtros anteriores, es tratada por otro filtro que adelgaza o reduce a su mínimo ancho posible las líneas blancas que marcan los contornos de los ojos, como hace el Filtro de Máximo, aunque, como en los pasos anteriores, el estado de la técnica ofrece distintas alternativas.
El último paso es el algoritmo de análisis de la luminancia para detección de parpadeo. Éste ha de controlar la frecuencia del parpadeo, o bien la situación de que los ojos permanezcan cerrados o incluso la no localización de los ojos, y se fundamenta en el análisis de la información de la imagen, digitalizada y procesada según se ha indicado, en su componente de luminancia (Y), pues para los algoritmos utilizados, las señales de crominancia (CR y CB) están desprovistas de toda información relevante.
Como en la conducción a veces se producen variaciones de luminosidad, como por ejemplo en la entrada en túneles o bien por la noche por deslumbramiento de otro vehículo o por la iluminación equiespaciada de las autovías, el sistema es capaz de adaptarse a estos cambios bruscos de luminosidad. También se adapta a los cambios progresivos de luz, cuando anochece o cuando amanece. Así, la señal de vídeo es tratada para que no interfiera en su definición anterior los cambios bruscos de luminosidad, por medio de la comparación de la diferencia de luminosidad entre dos imágenes consecutivas con la media de un conjunto de imágenes tomadas como referencia, tomando nuevos parámetros de luminosidad de la escena si esta diferencia aumenta o disminuye.
Inicialmente, el algoritmo evalúa los valores máximo, mínimo y medio del número de píxeles blancos de un número determinado de imágenes, por ejemplo, las 12 primeras. Posteriormente el sistema utiliza un mecanismo de control basado en la diferencia de luminosidad entre dos imágenes consecutivas y su comparación con la diferencia máxima de referencia obtenida en esas 12 imágenes iniciales cuando el sistema se conecta. Si en algún momento, la diferencia obtenida es mayor, por aumento de la luminosidad, o menor, por disminución de la luminosidad, que la que sirve de referencia, entonces el sistema dedica otras 12 imágenes a recalcular una nueva diferencia máxima de referencia, lo que en una cámara con sistema PAL se emplea medio segundo. Con ello se produce una adaptación a la luminosidad de la escena, dando óptimos resultados de una manera simple y fiable en un tiempo muy reducido, incluso en completa oscuridad, siempre que se dote al sistema de luz infrarroja y la cámara sea sensible a ella, y se puede determinar con precisión si el conductor está abriendo o cerrando los ojos.
Por otro lado existe una gran cantidad de información no relevante en la imagen del conductor que es necesario eliminar para obtener un rendimiento óptimo de procesamiento, es decir, tiempo real. De este modo, en el sistema se puede definir la zona de análisis o "Región de Interés" de la imagen con objeto de procesar, únicamente, el área donde se han de encontrar los ojos del conductor. Es por ello que el sistema necesita que la cámara sea ajustada al rostro del conductor en una posición normal de conducción, lo que en los sistemas de codificación de vídeo de baja velocidad para videotelefonía o videoconferencia se denomina "busto parlante".
Para ello el sistema dispone de un sistema de seguimiento de los ojos del conductor o "tracking", basado en el cálculo de los centros de gravedad de los píxeles de las imágenes de cada ojo, mediante el análisis en tiempo real del histograma de luminancias de cada imagen, que reubica de una imagen a otra la Región de Interés evitando pierda precisión en la detección y activando una alarma sensorial en caso de que los ojos salieran de la imagen captada por la cámara.
Además, la señal de vídeo, una vez que es acondicionada por los filtros o algoritmos anteriores, es procesada comparando cada imagen con la anterior y con una imagen de referencia, de manera que se determine si el conductor tiene los ojos abiertos o cerrados. Así pues, el sistema de detección de somnolencia se basa funcionalmente en la estimación de tres magnitudes de la imagen previamente procesada por los algoritmos mencionados anteriormente, correspondientes a la imagen actual, la imagen anterior y la de referencia. Obteniendo la imagen diferencia de la imagen actual y de la anterior, y comparando los resultados con la imagen de referencia, el sistema es capaz de determinar si el conductor está cerrando los ojos, los está abriendo, los tiene cerrados o, simplemente, ha movido la cabeza y no se detecta la presencia de los ojos en la imagen. En caso necesario, ante eventuales situaciones de riesgo, el sistema avisa al conductor de forma acústica y/o luminosa.
\newpage
El término "imagen de referencia" se usa aquí por claridad en la explicación del funcionamiento del sistema. Se trata en realidad de un conjunto de parámetros relativos a la luminosidad, o flujo luminoso en sentido estricto, que varían en función de la imagen recibida de la cámara y que, previamente digitalizados, están almacenados en una memoria. Estos parámetros se actualizan siempre que las características luminosas de la escena cambien. El fundamento del sistema en su conjunto es, por tanto, medir, ponderar y valorar los cambios de flujo óptico en el rostro del conductor. Este enfoque está fundamentado en los modelos de vídeo empleados en sistemas de codificación (MPEG4 y H263) para aplicaciones de bajo "bit rate", como por ejemplo videotelefonía, videoconferencia, etc.
Un elemento destacable del sistema es la "definición" de riesgo. El sistema que se presenta es muy flexible y puede configurarse, dando respuesta a criterios de número máximo permitido de parpadeos en un intervalo de tiempo determinado, tiempo que el conductor puede permanecer con los ojos cerrados, tiempo que puede estar con la cabeza en posición distinta de la "normal" de conducción de confort, o bien una combinación de ellos.
El sistema puede adquirir otros datos que le ayuden a tomar la decisión correcta, y que pueden condicionar la mayor o menor peligrosidad de la situación, como puede ser la velocidad del vehículo, la posición del volante, etc.
Esta flexibilidad es posible debido a que el sistema que aquí se presenta está basado en el uso de hardware programable o reconfigurable de tipo FPGA. Lo que, atendiendo a los parámetros indicados anteriormente, permite adaptar el sistema a criterios, concepciones o definiciones de "riesgo" diferentes para diferentes usos: vehículos particulares, vehículos de transporte por carretera de personas o mercancías, etc.
Para poder realizar todas las funciones descritas la FPGA necesita una memoria EEPROM-FLASH de configuración donde se implementen los algoritmos descritos anteriormente, así como el control del resto de los elementos del sistema. Además, es necesario dotar al sistema de memoria SRAM (RAM estática de, al menos, 64 Kbytes) para almacenar la información necesaria de las imágenes anterior y de referencia.
Por último, el sistema está programado para ser capaz de estimar, a la vista de los cálculos anteriores y de protocolos previamente establecidos, la peligrosidad de la situación, y que disponga de dispositivos acústicos y luminosos que puedan ser activados para avisar al conductor en caso de necesidad. Igualmente, para casos extremos, el sistema podría ordenar actuar sobre sistemas de seguridad, como podría ser el corte de la inyección, el accionamiento de los frenos, etc., todo según la situación y las decisiones programadas a realizar en su caso.
De manera adicional el sistema puede disponer de elementos electrónicos de adquisición de datos conectados con la centralita electrónica del vehículo, de manera que pueda tomar otras señales del vehículo para la toma de sus decisiones, como la velocidad del vehículo.
Físicamente todo el conjunto descrito puede formar una unidad compacta que pueda ser instalada en los vehículos, de manera que la cámara de vídeo, la electrónica y los avisadores lumínico/acústicos formen parte de un solo
aparato.
Este sistema puede ser utilizado en otro tipo de aplicaciones o circunstancias, como pueden ser puestos de control, de vigilancia o de responsabilidad, y en general en aquellas situaciones donde es importante controlar que un operador esté siempre alerta. Para ello hay que adaptar a cada caso los protocolos de tolerancia a la frecuencia de cierre de los ojos.
Descripción de los dibujos
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos donde, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra una configuración de la arquitectura hardware del sistema, consistente en una cámara de vídeo (2), un convertidor analógico/digital (3), una FPGA(7) con sus memorias RAM (5), y unos elementos de aviso o interfaz (8) con el conductor.
Figura 2.- Muestra una configuración de la arquitectura algorítmica del sistema con que se conforma la FPGA (7). En ella se distinguen los tres filtros en serie de tratamiento de la señal (10), (11) y (12), tras el que se sitúa el módulo de toma de decisión ante la situación detectada (13).
Realización preferente de la invención
A la vista de estas figuras puede observarse cómo una configuración tipo cuenta con una cámara de vídeo con sistema PAL (2) que apunta al busto del conductor (1). La señal de la cámara es pasada a través de un convertidor analógico/digital (3) para acabar llegando a una FPGA (7) que para su correcto funcionamiento, según se ha explicado en esta memoria, necesita de dos memorias RAM (5) y (6) y un generador de sincronismos de vídeo (4). A la salida de la FPGA se observa la conexión con un interfaz del sistema con el usuario (8), consistente en sendos dispositivos acústico y luminoso, que son accionados cuando la situación lo requiere.
La FPGA (7) está formada por un filtro de mediana (10) que procesa la señal de vídeo digitalizada (9), tras el que se sitúa un filtro de Sóbel (11) y por último uno de máximo (12). En este punto la imagen se ha procesado de manera adecuada para que el módulo de análisis de parpadeo (13) pueda discernir en función de los protocolos mencionados si el conductor se encuentra en situación adecuada para seguir conduciendo, o bien es conveniente generar una señal eléctrica de aviso (14) que se traducirá en un accionamiento del interfaz del sistema con el usuario (8).

Claims (11)

1. Se reivindica como de propia invención un sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles, caracterizado por el uso de hardware reconfigurable tipo FPGA (Field Programmable Gate Array) que procesa mediante operaciones matemáticas y comparaciones lógicas en tiempo real las imágenes del busto del conductor de un vehículo que son adquiridas por una cámara de vídeo, calcula la frecuencia de su parpadeo y le avisa mediante señales acústicas y/o luminosas cuando decae la atención a la conducción.
2. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en la reivindicación 1, caracterizada porque la señal de vídeo es digitalizada y tratada por filtros o algoritmos matemáticos implementados electrónicamente que acondicionan dicha señal para su adecuado tratamiento.
3. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones anteriores, caracterizada además porque dispone de un sistema de seguimiento de los ojos del conductor o "tracking", basado en el cálculo de los centros de gravedad de los píxeles de las imágenes de cada ojo, mediante el análisis en tiempo real del histograma de luminancias de cada imagen, que reubica de una imagen a otra la Región de Interés evitando pierda precisión en la detección y activando una alarma sensorial en caso de que los ojos salieran de la imagen captada por la cámara.
4. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 3, caracterizada porque la señal de vídeo es inicialmente tratada para eliminar todo el ruido que pueda tener la imagen, como hace un Filtro de Mediana.
5. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 4, caracterizada además porque la señal de vídeo, una vez tratada por el filtro anterior, es procesada para que se reduzca la imagen a una serie de líneas blancas que marquen los contornos de las imágenes que graba sobre fondo negro, siendo la definición de dichas líneas independiente de los cambios de luminosidad que pueda sufrir el vehículo, como hace el Filtro de Sóbel.
6. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 5, caracterizada además porque la señal de vídeo, una vez procesada por los filtros anteriores, es tratada por otro filtro que adelgaza o reduce a su mínimo ancho posible las líneas blancas que marcan los contornos de los ojos, como hace el Filtro de Máximo.
7. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 6, caracterizada además porque la señal de vídeo es tratada matemáticamente por el procesador del sistema para que no interfiera en su definición anterior los cambios bruscos de luminosidad, por medio de la comparación de la diferencia de luminosidad entre dos imágenes consecutivas con la media de un conjunto de imágenes tomadas como referencia, tomando nuevos parámetros de luminosidad de la escena si esta diferencia aumenta o disminuye.
8. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 7, caracterizada además porque la señal de vídeo, una vez que es acondicionada por los filtros o algoritmos anteriores, es procesada matemáticamente por el procesador del sistema comparando cada imagen con la anterior y con una imagen de referencia, de manera que se determine si el conductor tiene los ojos abiertos o cerrados.
9. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 8, caracterizada además porque el sistema dispone de dispositivos acústicos y luminosos que puedan ser activados para avisar al conductor en caso de necesidad.
10. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 9, caracterizada además porque el sistema disponga de elementos electrónicos de adquisición de datos conectados con la centralita electrónica del vehículo, de manera que pueda tomar otras señales del vehículo para la toma de sus decisiones, como la velocidad del vehículo.
11. Sistema electrónico, basado en FPGA, para la detección en tiempo real del cansancio o la somnolencia de conductores de vehículos automóviles como el descrito en las reivindicaciones 1 a 10, caracterizada además porque todo el conjunto descrito forme una unidad compacta que pueda ser instalada en los vehículos.
ES200701814A 2007-06-28 2007-06-28 Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. Withdrawn ES2308939A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ES200701814A ES2308939A1 (es) 2007-06-28 2007-06-28 Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES200701814A ES2308939A1 (es) 2007-06-28 2007-06-28 Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles.

Publications (1)

Publication Number Publication Date
ES2308939A1 true ES2308939A1 (es) 2008-12-01

Family

ID=40019043

Family Applications (1)

Application Number Title Priority Date Filing Date
ES200701814A Withdrawn ES2308939A1 (es) 2007-06-28 2007-06-28 Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles.

Country Status (1)

Country Link
ES (1) ES2308939A1 (es)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
US10514553B2 (en) 2015-06-30 2019-12-24 3M Innovative Properties Company Polarizing beam splitting system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
F. MORENO et al. "{}A low-cost Real-Time FPGA solution for driver drowsiness detection" Industrial Electronics Society, 2003. IECON '03. The 29th Annual Conference of the IEEE. Volume 2, 2-6 Nov. 2003 Página(s): 1396-1401 Vol. 2. \\ Y 3,10 *
F. MORENO et al. "A low-cost Real-Time FPGA solution for driver drowsiness detection" Industrial Electronics Society, 2003. IECON '03. The 29th Annual Conference of the IEEE. Volume 2, 2-6 Nov. 2003 Página(s): 1396-1401 Vol. 2. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514553B2 (en) 2015-06-30 2019-12-24 3M Innovative Properties Company Polarizing beam splitting system
US11061233B2 (en) 2015-06-30 2021-07-13 3M Innovative Properties Company Polarizing beam splitter and illuminator including same
US11693243B2 (en) 2015-06-30 2023-07-04 3M Innovative Properties Company Polarizing beam splitting system
CN108369766A (zh) * 2016-05-10 2018-08-03 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法

Similar Documents

Publication Publication Date Title
US8063786B2 (en) Method of detecting drowsiness of a vehicle operator
US7202792B2 (en) Drowsiness detection system and method
JP4899059B2 (ja) 眠気検知装置
CN108961678A (zh) 一种基于人脸检测驾驶员疲劳检测系统及其检测方法
JP2014515847A5 (es)
Chellappa et al. Fatigue detection using raspberry pi 3
Anjali et al. Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness
JP2007082594A (ja) 疲労検出装置
US20180201276A1 (en) Driver condition detection system
JP2013030959A (ja) 居眠り監視警告装置及び居眠り監視警告方法
US20140118131A1 (en) Monitoring and warning system for vehicles
Batchu et al. Driver drowsiness detection to reduce the major road accidents in automotive vehicles
Natraj et al. Drivers’ Real-Time Drowsiness Identification Using Facial Features and Automatic Vehicle Speed Control
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
ES2308939A1 (es) Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles.
WO2008020458A2 (en) A method and system to detect drowsy state of driver
Arunasalam et al. Real-time drowsiness detection system for driver monitoring
JPH08290726A (ja) 居眠り警報装置
JP2014203186A (ja) 監視システム
Juboori et al. Fatigue detection system for the drivers using video analysis of facial expressions
JP7276082B2 (ja) 運転者状態推定装置
KR102084329B1 (ko) 차량 내 유아 모니터링 방법 및 시스템
Hamada et al. Detecting method applicable to individual features for drivers' drowsiness
ES2425663B1 (es) Sistema de detección de la posición de las manos de un conductor
JP6852407B2 (ja) ドライバ状態検出装置

Legal Events

Date Code Title Description
EC2A Search report published

Date of ref document: 20081201

Kind code of ref document: A1

FA2A Application withdrawn

Effective date: 20090618