ES2308939A1 - Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. - Google Patents
Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. Download PDFInfo
- Publication number
- ES2308939A1 ES2308939A1 ES200701814A ES200701814A ES2308939A1 ES 2308939 A1 ES2308939 A1 ES 2308939A1 ES 200701814 A ES200701814 A ES 200701814A ES 200701814 A ES200701814 A ES 200701814A ES 2308939 A1 ES2308939 A1 ES 2308939A1
- Authority
- ES
- Spain
- Prior art keywords
- fpga
- real
- time detection
- electronic system
- fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 206010041349 Somnolence Diseases 0.000 title claims description 22
- 238000011897 real-time detection Methods 0.000 title claims description 13
- 230000003867 tiredness Effects 0.000 title description 8
- 208000016255 tiredness Diseases 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 4
- 230000004397 blinking Effects 0.000 claims description 3
- 230000001143 conditioned effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 238000010223 real-time analysis Methods 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 claims description 2
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 claims 11
- 208000032140 Sleepiness Diseases 0.000 claims 10
- 230000037321 sleepiness Effects 0.000 claims 10
- 235000019557 luminance Nutrition 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000015654 memory Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 241000112598 Pseudoblennius percoides Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G06T7/606—
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Emergency Management (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Consiste en un sistema formado por una cámara de vídeo con sistema PAL (2) que apunta al busto del conductor (1), cuya señal pasa a través de un convertidor analógico/digital (3) hasta llegar a una FPGA (7) con dos memorias RAM (5) y (6), y un generador de sincronismos de video (4). La FPGA se conecta con un interfaz (8), que es accionado cuando la situación lo requiere. La FPGA (7) está formada por tres filtros en serie que procesan la señal de video digitalizada: de mediana, de Sóbel y de máximo. Así tratada la imagen, el módulo de análisis de parpadeo puede discernir, en función de ciertos protocolos; si es necesario generar una señal eléctrica de aviso que accione el interfaz.
Description
Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles.
La presente invención se refiere a un sistema
electrónico, basado en FPGA (Field Programmable Gate Array, es
decir, hardware reconfigurable) que permite la detección del
cansancio o somnolencia del conductor de un vehículo. Se trata de
una invención que pertenece, dentro del área de la electrónica, al
campo de los vehículos automóviles y los componentes que éstos
embarcan.
Los factores que influyen en la producción de un
accidente de circulación son muy diversos. Sin embargo, según
estadísticas del Libro Blanco de Seguridad de la Comisión Europea,
aquéllos relacionados con fallos del conductor y, más
concretamente, con el cansancio, el sueño, la falta de atención y
estados de embriaguez o semiembriaguez, constituyen más de la
cuarta parte de los accidentes con víctimas que se producen en
Europa.
Esto significa que un número muy significativo
de accidentes de tráfico podría evitarse cada año si se dispusiese
de un dispositivo que detectara a tiempo este tipo de situaciones
que inhabilitan la conducción segura, y que avisara al conductor
del peligro que supone para sí mismo y para otros usuarios de la vía
el hecho de proseguir la marcha en esas condiciones.
El estado de la técnica cuenta, desde hace
varios años, con distintos sistemas patentados internacionalmente,
encaminados a la detección de estados de baja atención en los
conductores de vehículos, como son los producidos por la
somnolencia o el cansancio. Del estudio detallado de estas
referencias se constata la existencia de enfoques muy divergentes,
encontrándose referencias encaminadas a tal fin en muy distintos
epígrafes de la Clasificación Internacional de Patentes.
En ninguna de estas fuentes consultadas ha
aparecido ningún dispositivo que utilice los principios físicos y
los componentes electrónicos programados como los empleados en el
que se describe a continuación.
En primer lugar, existe un buen número de
patentes fundamentadas en el uso de sistemas mecánicos o
electromecánicos, clasificados en los epígrafes B60K28/06 y
B60R25/10 de la Clasificación Internacional de Patentes, como la
P9602674, denominada "Sistema Avisador y de Ayuda al Automovilista
y al Automóvil", o el Modelo de Utilidad U9502993, "Control de
Alerta en la Conducción de Vehículos Automóviles".
Otras patentes encaminadas a lograr fines
similares se encuadran en los epígrafes G02B23/08 o G02B23/12 (como
la E87830383 "Dispositivo Periscópico para Visión Día/Noche",
etc), pero difieren sustancialmente, desde su propia esencia, con
la patente que se presenta al ser ésta un sistema electrónico en su
totalidad.
Dentro de los sistemas exclusivamente
electrónicos se puede encontrar otro conjunto de patentes que, con
objetivos similares a los mencionados, detectan y alertan sobre
eventuales situaciones de cansancio o sueño del conductor; se
fundamentan en el uso de señales ópticas (optoelectrónica) o
ultrasonidos (incluso mediante dispositivos piezoeléctricos). Como
ejemplos de este tipo se encuentra en el epígrafe B60R1/08 la
patente E87306393, denominada "Retrovisor y Circuito de Control
para el mismo", y en los epígrafes A61 H23/00 y B60N1/00, la
E89105070, titulada "Procedimiento para Demostrar, Reducir o bien
Eliminar el Cansancio de Conductores de Vehículos, así como
Vehículos para llevar a cabo este procedimiento", así como la
patente US6304187, "Method and Device for Detecting Drowsiness
and Preventing a Driver of a Motor Vehicle from Falling Asleep",
etc. Una característica completamente diferenciadora, entre otras,
de estas patentes frente a la que aquí se presenta, es que todas
ellas utilizan las señales procedentes de dos cámaras de vídeo que
graban el busto del conductor, mientras que en la presente se
utiliza únicamente una, cuya información es procesada en tiempo
real.
Por otro lado existe alguna patente que, aún
utilizando el mismo principio de procesamiento de dichas imágenes
en tiempo real, fundamenta la solución adoptada a este problema en
un conjunto de algoritmos desarrollados en software, y que han de
ser soportados o ejecutados necesariamente en un ordenador personal
tipo PC, que ha de ser embarcado en el vehículo. Entre éstas,
destaca la E97934342 "Procedimiento y Aparato de Prevención de la
Fatiga Ocular", clasificada en los epígrafes G09G3/36, G09G5/00,
G09G5/10 y G09G5/02 de la Clasificación Internacional de
Patentes.
La patente WO0250792, "The Procedure and
Device Intended for the man-machine system security
preservation under a man's drowsiness conditions", plantea una
solución basada en el uso de un ordenador personal embarcado,
controlando la dinámica del parpadeo del conductor. La patente
FR2784887, "System for detecting drowsiness in the driver of a
motor vehicle, uses a charge couple device, CCD, camera to monitor
the movement of the eyelids" presenta una aproximación al
problema que se asemeja en cierta medida a la que se propone en
este documento, pero el hecho de que precisa de un ordenador
personal embarcado como elemento de cálculo y procesamiento la hace
completamente diferente. En esta misma línea se encuentran las
patentes FR2824169, US20022140562, DE10151015 y US6304187.
Ésta última, denominada "Method and device for
detecting drowsiness and preventing a driver of a motor vehicle
from falling aslep", propone el empleo de un dispositivo
optoelectrónico ubicado en el espejo retrovisor del automóvil para
capturar la imagen reflejada de los ojos del conductor. Dicha imagen
se procesa posteriormente y se compara con unos patrones dinámicos
del parpadeo de los ojos para determinar una situación de sueño del
conductor. Se trata ésta de una patente donde se reclama un método
de decisión de un sistema electrónico concreto, ya que no
especifica ningún tipo de sistema concreto, ni ordenador embarcado
ni de otro tipo.
Finalmente, se ha podido comprobar la existencia
de otras patentes internacionales que parecen estar más en la línea
de la que aquí se presenta; aunque con aspectos muy particulares en
algún caso y muy difusos en la mayoría. En algún caso se utilizan
diferentes dispositivos (hasta tres diferentes están descritos)
para realizar las operaciones necesarias para detectar y alertar al
conductor de situaciones de distracción. La patente 5.465.079,
"Method and Apparatus for Determining Driver Fitness in
Real-Time" usa una combinación de radar,
acelerómetros, medidores de la velocidad del vehículo y
procesamiento digital de la señal para determinar si la actitud del
conductor se ajusta a una serie de patrones que se consideran
seguros o de buena práctica de la conducción. Para ello se plantea
un Sistema Electrónico basado en un DSP (Procesador Digital de
Señal) que realiza la Transformada Rápida de Fourier (FFT) de los
datos procedentes de los diferentes sensores, una vez han sido
digitalizados mediante un convertidor Analógico/Digital. Existe una
memoria RAM que almacena los datos correspondientes a los modelos de
conducción segura y una FPGA que se encarga de controlar los
accesos a dicha memoria RAM, entre otros elementos. Por tanto, esta
referencia plantea una solución basada únicamente en software.
El análisis exhaustivo del estado de la técnica,
la vinculación a grupos europeos de I+D+I en áreas de sistemas
inteligentes aplicados a la seguridad vial de los vehículos, así
como la estrecha relación con fabricantes de componentes de
vehículos, ha facilitado, por una parte, la comprensión de la
necesidad de un sistema que detecte de manera eficiente los estados
de baja atención, cansancio, embriaguez y somnolencia al volante y,
por otra, las características que un dispositivo de este tipo
debería tener para su incorporación efectiva en los vehículos.
El objetivo general pretendido con la presente
invención es el desarrollo de un dispositivo barato, flexible,
fiable y de reducido tamaño, capaz de detectar precozmente
disposiciones inadecuadas del piloto frente a la conducción, como
puede ser la falta de atención, el cansancio, la embriaguez, la
somnolencia, etc., por medio del control en tiempo real de la
frecuencia del parpadeo de sus ojos.
Otro objetivo pretendido es el hecho de que
pueda ser instalado en cualquier tipo de vehículo o puesto de
control de responsabilidad, donde resulte fundamental la atención
permanente del personal.
La invención que se propone para ayudar a
resolver al menos una parte de los problemas expuestos y satisfacer
los objetivos planteados consiste en un dispositivo que hace uso de
hardware reconfigurable tipo FPGA (Field Programmable Gate Array)
que procesa mediante operaciones matemáticas y comparaciones
lógicas en tiempo real las imágenes del busto del conductor de un
vehículo que son adquiridas por una cámara de vídeo, calcula la
frecuencia de su parpadeo y le avisa mediante señales acústicas y/o
luminosas cuando decae la atención a la conducción.
La cámara de vídeo puede ser tipo PAL, de 25
imágenes por segundo y 625 líneas por imagen, aunque se podría
utilizar también una cámara de vídeo NTSC, de 30 imágenes por
segundo y 525 líneas por imagen. Asimismo se puede utilizar otro
tipo de cámaras de vídeo con resoluciones espacial o temporal
diferentes, sin que ello altere el fundamento ni las características
de la invención.
Antes de procesarse, la señal de vídeo es
digitalizada y tratada por filtros o algoritmos matemáticos
implementados electrónicamente que acondicionan dicha señal para su
adecuado tratamiento, por lo que, a no ser que se utilice una
cámara de vídeo con salida de vídeo digital por componentes, se debe
incorporar un convertidor analógico/digital (A/D) de 8 bits con
ancho de banda de vídeo. Así, la luminancia, que es la única señal
relevante para el sistema, se procesará en formato digital.
El dispositivo electrónico está basado en el uso
de hardware programable, también llamado
re-configurable, de tipo FPGA ("Field Programmable
Gate Array"), lo que le permite cumplir cuatro de los objetivos
que se plantea
satisfacer:
satisfacer:
- \bullet
- Fiabilidad, ya que al ser autónomo no depende de ningún tipo de ordenador embarcado en el vehículo, ni del correcto funcionamiento de su Sistema Operativo.
- \bullet
- Flexibilidad, pues reconfigurando ligeramente la FPGA, sin rediseño alguno del sistema, se puede modificar su función para otras aplicaciones de utilidad en el aumento de la seguridad de la conducción.
- \bullet
- Bajo coste, ya que el sistema consta únicamente de circuitos y dispositivos comerciales de amplia utilización y reducido presupuesto.
- \bullet
- Portabilidad, pudiendo ser instalado en cualquier vehículo, incluso sin ningún tipo de instalación previa.
Para el correcto tratamiento de la imagen del
busto del conductor, que puede estar afectada por cambios bruscos
de luminosidad, por ejemplo al entrar en un túnel, es preciso
someter la señal digitalizada a una serie de filtros que realizan
otras tantas operaciones matemáticas o lógicas, de manera que la
señal queda completamente acondicionada para poder discernir
electrónicamente y en tiempo real sobre la frecuencia de parpadeos
del conductor.
La señal de vídeo es inicialmente tratada para
eliminar todo el ruido que pueda tener la imagen, como hace un
Filtro de Mediana.
La señal de vídeo, una vez tratada por el filtro
anterior, es procesada para que se reduzca la imagen a una serie de
líneas blancas que marquen los contornos de las imágenes que graba
sobre fondo negro, siendo la definición de dichas líneas
independiente de los cambios de luminosidad que pueda sufrir el
vehículo, como hace el Filtro de Sóbel. Además de éste, en el estado
de la técnica existen diversos filtros que, con mayor o menor
precisión pueden realizar esta operación.
La señal de vídeo, una vez procesada por los
filtros anteriores, es tratada por otro filtro que adelgaza o
reduce a su mínimo ancho posible las líneas blancas que marcan los
contornos de los ojos, como hace el Filtro de Máximo, aunque, como
en los pasos anteriores, el estado de la técnica ofrece distintas
alternativas.
El último paso es el algoritmo de análisis de la
luminancia para detección de parpadeo. Éste ha de controlar la
frecuencia del parpadeo, o bien la situación de que los ojos
permanezcan cerrados o incluso la no localización de los ojos, y se
fundamenta en el análisis de la información de la imagen,
digitalizada y procesada según se ha indicado, en su componente de
luminancia (Y), pues para los algoritmos utilizados, las señales de
crominancia (CR y CB) están desprovistas de toda información
relevante.
Como en la conducción a veces se producen
variaciones de luminosidad, como por ejemplo en la entrada en
túneles o bien por la noche por deslumbramiento de otro vehículo o
por la iluminación equiespaciada de las autovías, el sistema es
capaz de adaptarse a estos cambios bruscos de luminosidad. También
se adapta a los cambios progresivos de luz, cuando anochece o
cuando amanece. Así, la señal de vídeo es tratada para que no
interfiera en su definición anterior los cambios bruscos de
luminosidad, por medio de la comparación de la diferencia de
luminosidad entre dos imágenes consecutivas con la media de un
conjunto de imágenes tomadas como referencia, tomando nuevos
parámetros de luminosidad de la escena si esta diferencia aumenta o
disminuye.
Inicialmente, el algoritmo evalúa los valores
máximo, mínimo y medio del número de píxeles blancos de un número
determinado de imágenes, por ejemplo, las 12 primeras.
Posteriormente el sistema utiliza un mecanismo de control basado en
la diferencia de luminosidad entre dos imágenes consecutivas y su
comparación con la diferencia máxima de referencia obtenida en esas
12 imágenes iniciales cuando el sistema se conecta. Si en algún
momento, la diferencia obtenida es mayor, por aumento de la
luminosidad, o menor, por disminución de la luminosidad, que la que
sirve de referencia, entonces el sistema dedica otras 12 imágenes a
recalcular una nueva diferencia máxima de referencia, lo que en una
cámara con sistema PAL se emplea medio segundo. Con ello se produce
una adaptación a la luminosidad de la escena, dando óptimos
resultados de una manera simple y fiable en un tiempo muy reducido,
incluso en completa oscuridad, siempre que se dote al sistema de
luz infrarroja y la cámara sea sensible a ella, y se puede
determinar con precisión si el conductor está abriendo o cerrando
los ojos.
Por otro lado existe una gran cantidad de
información no relevante en la imagen del conductor que es
necesario eliminar para obtener un rendimiento óptimo de
procesamiento, es decir, tiempo real. De este modo, en el sistema
se puede definir la zona de análisis o "Región de Interés" de
la imagen con objeto de procesar, únicamente, el área donde se han
de encontrar los ojos del conductor. Es por ello que el sistema
necesita que la cámara sea ajustada al rostro del conductor en una
posición normal de conducción, lo que en los sistemas de
codificación de vídeo de baja velocidad para videotelefonía o
videoconferencia se denomina "busto parlante".
Para ello el sistema dispone de un sistema de
seguimiento de los ojos del conductor o "tracking", basado en
el cálculo de los centros de gravedad de los píxeles de las
imágenes de cada ojo, mediante el análisis en tiempo real del
histograma de luminancias de cada imagen, que reubica de una imagen
a otra la Región de Interés evitando pierda precisión en la
detección y activando una alarma sensorial en caso de que los ojos
salieran de la imagen captada por la cámara.
Además, la señal de vídeo, una vez que es
acondicionada por los filtros o algoritmos anteriores, es procesada
comparando cada imagen con la anterior y con una imagen de
referencia, de manera que se determine si el conductor tiene los
ojos abiertos o cerrados. Así pues, el sistema de detección de
somnolencia se basa funcionalmente en la estimación de tres
magnitudes de la imagen previamente procesada por los algoritmos
mencionados anteriormente, correspondientes a la imagen actual, la
imagen anterior y la de referencia. Obteniendo la imagen diferencia
de la imagen actual y de la anterior, y comparando los resultados
con la imagen de referencia, el sistema es capaz de determinar si
el conductor está cerrando los ojos, los está abriendo, los tiene
cerrados o, simplemente, ha movido la cabeza y no se detecta la
presencia de los ojos en la imagen. En caso necesario, ante
eventuales situaciones de riesgo, el sistema avisa al conductor de
forma acústica y/o luminosa.
\newpage
El término "imagen de referencia" se usa
aquí por claridad en la explicación del funcionamiento del sistema.
Se trata en realidad de un conjunto de parámetros relativos a la
luminosidad, o flujo luminoso en sentido estricto, que varían en
función de la imagen recibida de la cámara y que, previamente
digitalizados, están almacenados en una memoria. Estos parámetros
se actualizan siempre que las características luminosas de la
escena cambien. El fundamento del sistema en su conjunto es, por
tanto, medir, ponderar y valorar los cambios de flujo óptico en el
rostro del conductor. Este enfoque está fundamentado en los modelos
de vídeo empleados en sistemas de codificación (MPEG4 y H263) para
aplicaciones de bajo "bit rate", como por ejemplo
videotelefonía, videoconferencia, etc.
Un elemento destacable del sistema es la
"definición" de riesgo. El sistema que se presenta es muy
flexible y puede configurarse, dando respuesta a criterios de
número máximo permitido de parpadeos en un intervalo de tiempo
determinado, tiempo que el conductor puede permanecer con los ojos
cerrados, tiempo que puede estar con la cabeza en posición distinta
de la "normal" de conducción de confort, o bien una
combinación de ellos.
El sistema puede adquirir otros datos que le
ayuden a tomar la decisión correcta, y que pueden condicionar la
mayor o menor peligrosidad de la situación, como puede ser la
velocidad del vehículo, la posición del volante, etc.
Esta flexibilidad es posible debido a que el
sistema que aquí se presenta está basado en el uso de hardware
programable o reconfigurable de tipo FPGA. Lo que, atendiendo a los
parámetros indicados anteriormente, permite adaptar el sistema a
criterios, concepciones o definiciones de "riesgo" diferentes
para diferentes usos: vehículos particulares, vehículos de
transporte por carretera de personas o mercancías, etc.
Para poder realizar todas las funciones
descritas la FPGA necesita una memoria EEPROM-FLASH
de configuración donde se implementen los algoritmos descritos
anteriormente, así como el control del resto de los elementos del
sistema. Además, es necesario dotar al sistema de memoria SRAM (RAM
estática de, al menos, 64 Kbytes) para almacenar la información
necesaria de las imágenes anterior y de referencia.
Por último, el sistema está programado para ser
capaz de estimar, a la vista de los cálculos anteriores y de
protocolos previamente establecidos, la peligrosidad de la
situación, y que disponga de dispositivos acústicos y luminosos que
puedan ser activados para avisar al conductor en caso de necesidad.
Igualmente, para casos extremos, el sistema podría ordenar actuar
sobre sistemas de seguridad, como podría ser el corte de la
inyección, el accionamiento de los frenos, etc., todo según la
situación y las decisiones programadas a realizar en su caso.
De manera adicional el sistema puede disponer de
elementos electrónicos de adquisición de datos conectados con la
centralita electrónica del vehículo, de manera que pueda tomar
otras señales del vehículo para la toma de sus decisiones, como la
velocidad del vehículo.
Físicamente todo el conjunto descrito puede
formar una unidad compacta que pueda ser instalada en los
vehículos, de manera que la cámara de vídeo, la electrónica y los
avisadores lumínico/acústicos formen parte de un solo
aparato.
aparato.
Este sistema puede ser utilizado en otro tipo de
aplicaciones o circunstancias, como pueden ser puestos de control,
de vigilancia o de responsabilidad, y en general en aquellas
situaciones donde es importante controlar que un operador esté
siempre alerta. Para ello hay que adaptar a cada caso los protocolos
de tolerancia a la frecuencia de cierre de los ojos.
Para complementar la descripción que se está
realizando y con objeto de ayudar a una mejor comprensión de las
características de la invención, se acompaña como parte integrante
de dicha descripción, un juego de dibujos donde, con carácter
ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra una configuración de la
arquitectura hardware del sistema, consistente en una cámara de
vídeo (2), un convertidor analógico/digital (3), una FPGA(7)
con sus memorias RAM (5), y unos elementos de aviso o interfaz (8)
con el conductor.
Figura 2.- Muestra una configuración de la
arquitectura algorítmica del sistema con que se conforma la FPGA
(7). En ella se distinguen los tres filtros en serie de tratamiento
de la señal (10), (11) y (12), tras el que se sitúa el módulo de
toma de decisión ante la situación detectada (13).
A la vista de estas figuras puede observarse
cómo una configuración tipo cuenta con una cámara de vídeo con
sistema PAL (2) que apunta al busto del conductor (1). La señal de
la cámara es pasada a través de un convertidor analógico/digital
(3) para acabar llegando a una FPGA (7) que para su correcto
funcionamiento, según se ha explicado en esta memoria, necesita de
dos memorias RAM (5) y (6) y un generador de sincronismos de vídeo
(4). A la salida de la FPGA se observa la conexión con un interfaz
del sistema con el usuario (8), consistente en sendos dispositivos
acústico y luminoso, que son accionados cuando la situación lo
requiere.
La FPGA (7) está formada por un filtro de
mediana (10) que procesa la señal de vídeo digitalizada (9), tras
el que se sitúa un filtro de Sóbel (11) y por último uno de máximo
(12). En este punto la imagen se ha procesado de manera adecuada
para que el módulo de análisis de parpadeo (13) pueda discernir en
función de los protocolos mencionados si el conductor se encuentra
en situación adecuada para seguir conduciendo, o bien es
conveniente generar una señal eléctrica de aviso (14) que se
traducirá en un accionamiento del interfaz del sistema con el
usuario (8).
Claims (11)
1. Se reivindica como de propia invención un
sistema electrónico, basado en FPGA, para la detección en tiempo
real del cansancio o la somnolencia de conductores de vehículos
automóviles, caracterizado por el uso de hardware
reconfigurable tipo FPGA (Field Programmable Gate Array) que procesa
mediante operaciones matemáticas y comparaciones lógicas en tiempo
real las imágenes del busto del conductor de un vehículo que son
adquiridas por una cámara de vídeo, calcula la frecuencia de su
parpadeo y le avisa mediante señales acústicas y/o luminosas cuando
decae la atención a la conducción.
2. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en la
reivindicación 1, caracterizada porque la señal de vídeo es
digitalizada y tratada por filtros o algoritmos matemáticos
implementados electrónicamente que acondicionan dicha señal para su
adecuado tratamiento.
3. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones anteriores, caracterizada además porque
dispone de un sistema de seguimiento de los ojos del conductor o
"tracking", basado en el cálculo de los centros de gravedad de
los píxeles de las imágenes de cada ojo, mediante el análisis en
tiempo real del histograma de luminancias de cada imagen, que
reubica de una imagen a otra la Región de Interés evitando pierda
precisión en la detección y activando una alarma sensorial en caso
de que los ojos salieran de la imagen captada por la cámara.
4. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 3, caracterizada porque la señal de
vídeo es inicialmente tratada para eliminar todo el ruido que pueda
tener la imagen, como hace un Filtro de Mediana.
5. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 4, caracterizada además porque la señal
de vídeo, una vez tratada por el filtro anterior, es procesada para
que se reduzca la imagen a una serie de líneas blancas que marquen
los contornos de las imágenes que graba sobre fondo negro, siendo
la definición de dichas líneas independiente de los cambios de
luminosidad que pueda sufrir el vehículo, como hace el Filtro de
Sóbel.
6. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 5, caracterizada además porque la señal
de vídeo, una vez procesada por los filtros anteriores, es tratada
por otro filtro que adelgaza o reduce a su mínimo ancho posible las
líneas blancas que marcan los contornos de los ojos, como hace el
Filtro de Máximo.
7. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 6, caracterizada además porque la señal
de vídeo es tratada matemáticamente por el procesador del sistema
para que no interfiera en su definición anterior los cambios
bruscos de luminosidad, por medio de la comparación de la
diferencia de luminosidad entre dos imágenes consecutivas con la
media de un conjunto de imágenes tomadas como referencia, tomando
nuevos parámetros de luminosidad de la escena si esta diferencia
aumenta o disminuye.
8. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 7, caracterizada además porque la señal
de vídeo, una vez que es acondicionada por los filtros o algoritmos
anteriores, es procesada matemáticamente por el procesador del
sistema comparando cada imagen con la anterior y con una imagen de
referencia, de manera que se determine si el conductor tiene los
ojos abiertos o cerrados.
9. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 8, caracterizada además porque el
sistema dispone de dispositivos acústicos y luminosos que puedan
ser activados para avisar al conductor en caso de necesidad.
10. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 9, caracterizada además porque el
sistema disponga de elementos electrónicos de adquisición de datos
conectados con la centralita electrónica del vehículo, de manera
que pueda tomar otras señales del vehículo para la toma de sus
decisiones, como la velocidad del vehículo.
11. Sistema electrónico, basado en FPGA, para la
detección en tiempo real del cansancio o la somnolencia de
conductores de vehículos automóviles como el descrito en las
reivindicaciones 1 a 10, caracterizada además porque todo el
conjunto descrito forme una unidad compacta que pueda ser instalada
en los vehículos.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200701814A ES2308939A1 (es) | 2007-06-28 | 2007-06-28 | Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES200701814A ES2308939A1 (es) | 2007-06-28 | 2007-06-28 | Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2308939A1 true ES2308939A1 (es) | 2008-12-01 |
Family
ID=40019043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES200701814A Withdrawn ES2308939A1 (es) | 2007-06-28 | 2007-06-28 | Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. |
Country Status (1)
Country | Link |
---|---|
ES (1) | ES2308939A1 (es) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369766A (zh) * | 2016-05-10 | 2018-08-03 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警系统及预警方法 |
US10514553B2 (en) | 2015-06-30 | 2019-12-24 | 3M Innovative Properties Company | Polarizing beam splitting system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621457A (en) * | 1994-09-26 | 1997-04-15 | Nissan Motor Co., Ltd. | Sighting direction detecting device for vehicle |
-
2007
- 2007-06-28 ES ES200701814A patent/ES2308939A1/es not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621457A (en) * | 1994-09-26 | 1997-04-15 | Nissan Motor Co., Ltd. | Sighting direction detecting device for vehicle |
Non-Patent Citations (2)
Title |
---|
F. MORENO et al. "{}A low-cost Real-Time FPGA solution for driver drowsiness detection" Industrial Electronics Society, 2003. IECON '03. The 29th Annual Conference of the IEEE. Volume 2, 2-6 Nov. 2003 Página(s): 1396-1401 Vol. 2. \\ Y 3,10 * |
F. MORENO et al. "A low-cost Real-Time FPGA solution for driver drowsiness detection" Industrial Electronics Society, 2003. IECON '03. The 29th Annual Conference of the IEEE. Volume 2, 2-6 Nov. 2003 Página(s): 1396-1401 Vol. 2. * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10514553B2 (en) | 2015-06-30 | 2019-12-24 | 3M Innovative Properties Company | Polarizing beam splitting system |
US11061233B2 (en) | 2015-06-30 | 2021-07-13 | 3M Innovative Properties Company | Polarizing beam splitter and illuminator including same |
US11693243B2 (en) | 2015-06-30 | 2023-07-04 | 3M Innovative Properties Company | Polarizing beam splitting system |
CN108369766A (zh) * | 2016-05-10 | 2018-08-03 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警系统及预警方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8063786B2 (en) | Method of detecting drowsiness of a vehicle operator | |
US7202792B2 (en) | Drowsiness detection system and method | |
ES2779046T3 (es) | Procedimiento para, mediante un vehículo motorizado, advertir a otros usuarios de la red vial respecto de la presencia de peatones y vehículo motorizado | |
TWI488149B (zh) | Driver monitoring method and its monitoring system | |
JP4899059B2 (ja) | 眠気検知装置 | |
Chellappa et al. | Fatigue detection using raspberry pi 3 | |
CN108961678A (zh) | 一种基于人脸检测驾驶员疲劳检测系统及其检测方法 | |
JP2014515847A5 (es) | ||
KR101821496B1 (ko) | 안전운전 보조 시스템 동작방법 | |
JP2013030959A (ja) | 居眠り監視警告装置及び居眠り監視警告方法 | |
US20140118131A1 (en) | Monitoring and warning system for vehicles | |
Batchu et al. | Driver drowsiness detection to reduce the major road accidents in automotive vehicles | |
CN113316805A (zh) | 使用红外线和可见光监视人的方法和系统 | |
Chang et al. | An implementation of smartphone-based driver assistance system using front and rear camera | |
Natraj et al. | Drivers’ Real-Time Drowsiness Identification Using Facial Features and Automatic Vehicle Speed Control | |
Arunasalam et al. | Real-time drowsiness detection system for driver monitoring | |
ES2308939A1 (es) | Sistema electronico, basado en fpga, para la deteccion en tiempo real del cansancio o la somnolencia de conductores de vehiculos automoviles. | |
KR102084329B1 (ko) | 차량 내 유아 모니터링 방법 및 시스템 | |
WO2008020458A2 (en) | A method and system to detect drowsy state of driver | |
JPH08290726A (ja) | 居眠り警報装置 | |
KR20180131045A (ko) | 다 센서 기반의 감지ㆍ경보수단과 중앙처리수단이 일체로 구성된 졸음운전 방지장치 및 제어방법 | |
JP2014203186A (ja) | 監視システム | |
Juboori et al. | Fatigue detection system for the drivers using video analysis of facial expressions | |
Babu et al. | Sleep Detection and alert system for automobiles | |
JP7276082B2 (ja) | 運転者状態推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EC2A | Search report published |
Date of ref document: 20081201 Kind code of ref document: A1 |
|
FA2A | Application withdrawn |
Effective date: 20090618 |