-
Die vorliegende Anmeldung basiert auf und beansprucht die Priorität der am 27. Juni 2016 beim koreanischen Patentamt eingereichten
koreanischen Patentanmeldung Nr. 10-2016-0080410 , deren gesamter Inhalt durch diesen Bezug hier aufgenommen ist.
-
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers, und insbesondere eine Technologie zum Detektieren von biometrischen Signalen eines Fahrers mittels einer Blutflussrate im Gehirn, einer Elektroenzephalografie (EEG) und einer Elektrokardiografie (EKG) des Fahrers.
-
Fahrer, die bei Müdigkeit fahren oder beim Fahren einschlafen, stellen eine bedeutende Ursache für Verkehrsunfälle dar. Um zu verhindern, dass ein Fahrer fährt, wenn er übermüdet ist, sind in jüngster Zeit verschiedene Verfahren und Vorrichtungen untersucht worden.
-
Wenn zum Beispiel ein Bild analysiert wird, wobei physikalische Veränderungen des Fahrers, d.h. eine Bewegung der Augenlider, eine Blickrichtung der Augen, ein Kopfnicken und dergleichen mittels einer Kamera beobachtet und erfasst werden, um eine Übermüdung des Fahrers zu erfassen, wird, wenn das erfasste Bild einen vorbestimmten Wert oder mehr aufweist, bestimmt, dass sich der Fahrer in einem Zustand des Fahrens bei Müdigkeit befindet und wird der übermüdete Fahrer in Bezug auf seine Übermüdung gewarnt, wodurch ein Fahren bei Müdigkeit verhindert werden kann.
-
Eine weiteres Verfahren beim Ermitteln dessen, ob sich der Fahrer in einem Zustand der Müdigkeit bzw. der Übermüdung befindet oder nicht, besteht darin, verschiedene biometrische Signale des Fahrers zu erfassen und zu analysieren, um einen Müdigkeits- oder Schlafzustand des Fahrers zu ermitteln.
-
Das bedeutet, dass es ein Verfahren zum Messen und Analysieren einer Elektroenzephalografie (EEG), einer Elektrookulografie (EOG), einer Elektrokardiografie (EKG) und dergleichen des Fahrers gibt.
-
Ein physikalischer Zustand und ein mentaler Zustand des Fahrers, die oben beschrieben sind, lassen sich mittels eines EKG-Sensors und eines galvanischer-Hautwiderstand-Sensors (GSR) durch feine Stromsignale detektieren, die in beiden Händen des Fahrers fließen, und können noch direkter mittels eines EEG-Sensors und eines EOG-Sensors durch feine Stromsignale detektiert werden, die die Hirnaktivität des Fahrers über die Haut am Kopf des Fahrers wiedergeben.
-
Wenn der EEG-Sensor und der EOG-Sensor verwendet werden, können insbesondere ein Fahren des Fahrers bei Müdigkeit oder ein Zustand, in welchem die Aufmerksamkeit des Fahrers abgelenkt ist, durch eine Veränderung im EEG und der Elektrookulografie des Fahrers erfasst werden.
-
Selbst in dem Fall, in dem biometrische Signale des Fahrers mittels einer Vielzahl an Sensoren gesammelt werden, treten jedoch, wenn sich Störsignale (z.B. Rauschen) mit den gesammelten biometrischen Signalen vermischen, Schwierigkeiten beim genauen Ermitteln des Zustands des Fahrers auf. Um einen Müdigkeitszustand und einen emotionalen Zustand des Fahrers genau zu diagnostizieren und dem Fahrer Rückmeldung über diese Zustände zu geben, ist es erforderlich, die biometrischen Signale des Fahrers zu sammeln, aus denen Umgebungsfaktoren (zum Beispiel Störsignale, etc.) herausgefiltert werden.
-
Die Aufgabe der vorliegenden Erfindung ist es, die im Stand der Technik auftretenden obengenannten Probleme zu lösen, wobei die durch den Stand der Technik erreichten Vorteile beibehalten werden.
-
Ein Aspekt der vorliegenden Erfindung stellt eine Vorrichtung und ein Verfahren zum Detektieren von biometrischen Signalen eines Fahrers bereit, die geeignet sind, den Fahrer mittels einer Blutflussrate im Gehirn, einer Elektroenzephalografie (EEG) und einer Elektrokardiografie (EKG) des Fahrers zu analysieren und in einen Normalzustand und einen Ermüdungszustand einzustufen, um dadurch mittels der analysierten biometrischen Signale ein Müdigkeitsausmaß des Fahrers zu messen.
-
Weitere Ziele und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung ersichtlich und sind durch die beispielhaften Ausführungsformen der vorliegenden Erfindung genau beschrieben. Der Fachmann wird erkennen, dass die Ziele und Vorteile der vorliegenden Erfindung durch Mittel und eine Kombination davon implementiert werden können, die in den angehängten Ansprüchen gezeigt sind.
-
Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung weist eine Vorrichtung zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers auf: einen biometrisches-Signal-Messteil, der konfiguriert ist, um die biometrischen Signale einschließlich einer Blutflussrate im Gehirn des Fahrers mittels einer Elektroenzephalografie (EEG), einer Elektrokardiografie (EKG) und einer funktionellen Nahinfrarotspektroskopie (fNIRS) des Fahrers zu messen, einen biometrisches-Signal-Integrierteil, der konfiguriert ist, um die gemessenen biometrischen Signale zu integrieren, Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen zu extrahieren und die extrahierten Charakteristiken dann zu integrieren oder die extrahierten Charakteristiken der biometrischen Signale zu klassifizieren und dann die klassifizierten Charakteristiken zu integrieren, und einen Fahrerzustands-Detektionsteil, der konfiguriert ist, um den Zustand des Fahrers basierend auf den integrierten biometrischen Signalen zu detektieren.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung weist der biometrisches-Signal-Messteil auf: eine Elektroenzephalografie-Messvorrichtung, die konfiguriert ist, um die Elektroenzephalografie im Gehirn zu messen, einen Emitter, der konfiguriert ist, um Nahfeldinfrarotstrahlen zu erzeugen, um die Blutflussrate im Gehirn zu messen, und einen Detektor, der konfiguriert ist, um die Nahfeldinfrarotstrahlen zu messen, die nach dem Erzeugen der Nahfeldinfrarotstrahlen durch den Emitter reflektiert werden, und um elektrische Signale zu erhalten.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen werden gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung Charakteristiken der Elektroenzephalografie durch Extrahieren von Charakteristiken eines relativen Leistungspegels (RPL) mittels Elektroden extrahiert, die am Kopf des Fahrers angebracht sind.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen werden gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung Charakteristiken der Elektrokardiografie durch Extrahieren einer Komponente R aus Komponenten P, Q, R, S und T der Elektrokardiografie und durch Berechnen einer Herzfrequenz mittels der extrahierten Komponente R extrahiert.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen wird gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung die Blutflussrate im Gehirn des Fahrers durch Messen einer Reflexionsmenge durch einen Detektor, Umwandeln der Lichtintensität in Oxyhämoglobin- und spezifisches-Oxyhämoglobin-Konzentrationen mittels einer Lichtabsorptionsrate und Verwenden der Oxyhämoglobin- und der spezifisches-Oxyhämoglobin-Konzentrationen gemessen.
-
Gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung berechnet der Fahrerzustands-Detektionsteil ein Fahrzustandsniveau durch Anwenden der gleichen Gewichtung auf Werte der Elektroenzephalografie, der Elektrokardiografie und der Blutflussrate im Gehirn.
-
Gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung weist ein Verfahren zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers auf: Messen der biometrischen Signale des Fahrers einschließlich einer Blutflussrate im Gehirn des Fahrers mittels einer Elektroenzephalografie (EEG), einer Elektrokardiografie (EKG) und einer funktionellen Nahinfrarotspektroskopie (fNIRS) des Fahrers, Integrieren der gemessenen biometrischen Signale, Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen und anschließendes Integrieren der extrahierten Charakteristiken oder Klassifizieren der extrahierten Charakteristiken der biometrischen Signale und anschließendes Integrieren der klassifizierten Charakteristiken, und Detektieren des Zustands des Fahrers basierend auf den integrierten biometrischen Signalen.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen werden gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung Charakteristiken der Elektroenzephalografie durch Extrahieren von Charakteristiken eines relativen Leistungspegels (RPL) mittels Elektroden extrahiert, die am Kopf des Fahrers angebracht sind.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen werden gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung Charakteristiken der Elektroenzephalografie durch Extrahieren einer Komponente R aus Komponenten P, Q, R, S und T der Elektrokardiografie und Berechnen einer Herzfrequenz mittels der extrahierten Komponente R extrahiert.
-
Beim Extrahieren von Charakteristiken der jeweiligen biometrischen Signale aus den gemessenen biometrischen Signalen wird gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung die Blutflussrate im Gehirn des Fahrers durch Messen einer Reflexionsmenge durch einen Detektor, Umwandeln der Lichtintensität in Oxyhämoglobin- und spezifisches-Oxyhämoglobin-Konzentrationen mittels einer Lichtabsorptionsrate, und Verwenden der Oxyhämoglobin- und spezifisches-Oxyhämoglobin-Konzentrationen gemessen.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung wird ein Fahrzustandsniveau durch Anwenden der gleichen Gewichtung auf Werte der Elektroenzephalografie, der Elektrokardiografie und der Blutflussrate im Gehirn berechnet.
-
Die obigen und weitere Ziele, Merkmale und Vorteile der vorliegenden Erfindung werden mit Hilfe der folgenden ausführlichen Beschreibung deutlicher, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet wird.
-
In den Zeichnungen zeigen:
-
1 eine Konfigurationsdarstellung, aus der eine Vorrichtung zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers ersichtlich ist,
-
2 eine Darstellung, aus der ein biometrisches-Signal-Messteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist,
-
3 eine Darstellung, aus der ein biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist,
-
4A bis 4C Darstellungen, aus denen ein Verfahren zum Integrieren von Multimodalitäts- biometrischen Signalen des biometrisches-Signal-Integrierteils in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist,
-
5 eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer Elektroenzephalografie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist,
-
6 eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer Elektrokardiografie durch den biometrisches-Signal-Integrierteil innerhalb der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist,
-
7 eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer funktionellen Nahinfrarotspektroskopie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist, und
-
8 ein Blockdiagramm, aus dem ein Rechensystem ersichtlich ist, welches das Verfahren zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ausführt.
-
Vorteile und Merkmale der vorliegenden Erfindung und Verfahren zum Erreichen dieser werden anhand beispielhafter Ausführungsformen beschrieben, die nachfolgend unter Bezugnahme auf die angehängten Zeichnungen im Einzelnen beschrieben sind. Die vorliegende Offenbarung ist jedoch nicht auf die hier dargestellten beispielhaften Ausführungsformen beschränkt, sondern lässt sich auf vielerlei Art und Weise modifizieren. Die beispielhaften Ausführungsformen der vorliegenden Erfindung sollen lediglich den Erfindungsgedanken der vorliegenden Erfindung im Einzelnen beschreiben, so dass ein Fachmann auf dem Gebiet in der Lage ist, den Erfindungsgedanken der vorliegenden Erfindung problemlos umzusetzen.
-
In den Figuren sind die beispielhaften Ausführungsformen der vorliegenden Erfindung nicht auf die dargestellten spezifischen Formen beschränkt, sondern sind aus Gründen der Klarheit übertrieben dargestellt. In der vorliegenden Anmeldung wurden bestimmte Begriffe verwendet, die jedoch lediglich zum Zweck des Beschreibens der vorliegenden Erfindung verwendet werden und nicht die Bedeutung oder den Umfang der vorliegenden Erfindung beschränken sollen, die in den angehängten Ansprüchen offenbart ist.
-
In der vorliegenden Anmeldung wird der Ausdruck „und / oder“ derart verwendet, dass seine Bedeutung mindestens eine der vor und nach dem Ausdruck aufgelisteten Komponenten beinhaltet. Darüber hinaus wird der Ausdruck „verbunden mit / gekoppelt mit“ derart verwendet, dass seine Bedeutung einen Fall miteinschließt, in dem eine Komponente direkt mit einer anderen Komponente verbunden ist oder indirekt durch eine andere Komponente verbunden ist. Sofern nicht explizit das Gegenteil beschrieben ist, schließt eine Singularform und eine Pluralform in der vorliegenden Anmeldung mit ein. Darüber hinaus bedeuten Komponenten, Schritte, Vorgänge und Elemente, die in der vorliegenden Beschreibung mit dem Begriff „aufweisen“ oder „aufweisend“ verwendet werden, das Vorhandensein oder das Hinzufügen von einer oder mehreren anderen Komponenten, Schritten, Vorgängen und Elementen.
-
Nachfolgend sind beispielhafte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die angehängten Zeichnungen im Einzelnen beschrieben.
-
1 ist eine Konfigurationsdarstellung, aus der eine Vorrichtung zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers ersichtlich ist.
-
Bezugnehmend auf die 1 weist die Vorrichtung zum Detektieren eines Zustands eines Fahrers basierend auf biometrischen Signalen des Fahrers auf: einen biometrisches-Signal-Messteil 100, einen biometrisches-Signal-Integrierteil 110 und einen Fahrerzustands-Detektionsteil 120.
-
Der biometrisches-Signal-Messteil 100 misst die biometrischen Signale einschließlich einer Blutflussrate im Gehirn des Fahrers mittels einer Elektroenzephalografie (EEG), einer Elektrokardiografie (EKG) und einer funktionellen Nahinfrarotspektroskopie (fNIRS) des Fahrers.
-
Die Elektroenzephalografie (EEG), welche einen Stromfluss darstellt, der auftritt, wenn ein Signal zwischen Gehirnnerven im Nervensystem des Fahrers übertragen wird, ist ein wichtiger Indikator beim Messen der Hirnaktivität, da sie in Abhängigkeit von einer Gemütsverfassung und einem körperlichen Zustand des Fahrers unterschiedlich ausgeprägt ist. Die obengenannte Elektroenzephalografie kann durch Elektroden gemessen werden, die am Kopf des Fahrers angebracht werden, und stellt ein neurophysiologisches Verfahren zum Messen der elektrischen Aktivität des Gehirns dar.
-
Das EKG, mittels dessen die elektrische Aktivität des menschlichen Herzens für einen vorbestimmten Zeitraum untersucht wird, spielt eine wichtige Rolle beim Ermitteln eines Verhältnisses und einer konstanten Periode des Herzschlags, der Größe und Position des Herzens, von möglichen Herzschäden und dergleichen. Das EKG lässt sich durch Elektroden, die an der Haut des Fahrers angebracht werden, sowie durch eine externe Vorrichtung messen, die mit dem Körper des Fahrers verbunden ist.
-
Bei der funktionellen Nahinfrarotspektroskopie (fNIRS) werden Nahinfrarotstrahlen mit Wellenlängen in einem Bereich von 800 nm bis 1300 nm, die zwischen dem sichtbaren Bereich und dem mittleren Infrarotbereich liegen, durch ein Spektroskop, das an der Kopfhaut des Fahrers angebracht ist, auf eine Oberfläche der Kopfhaut geleitet, wobei die Strahlen durch die Kopfhaut hindurch übertragen und gemäß einer Sauerstoffsättigung im Blut absorbiert werden. Beim Messen der Strahlung mittels eines Messgeräts, das in einem vorbestimmten Abstand angebracht ist, lässt sich die Sauerstoffsättigung im Blut gemäß einer Strahlenabsorptionsrate berechnen, und können hämodynamische Informationen über Neuronenaktivitäten im Gehirn und die damit assoziierte Hirnaktivität erhalten werden.
-
In dem biometrisches-Signal-Messteil 100 konfigurieren die biometrischen Signale, die mittels einer biometrisches-Signal-Messvorrichtung gemessen werden, Datenpakete gemäß einer Datenpaketstruktur, die in einer Hauptsteuereinheit (MCU) einer Hardware programmiert ist, wobei diese mit einer Rate von 250 Kbit/s über ein Zigbee-Kommunikationsnetzwerk an einen Arbeitsplatzrechner (PC) übertragen werden. Eine Software, die in dem Arbeitsplatzrechner (PC) installiert ist, kann die Datenpakete der biometrischen Signale empfangen und die biometrischen Signale durch einen Umwandlungsalgorithmus an einen Bildschirm ausgeben, und die biometrischen Signale können in der Hauptsteuereinheit (MCU) in einer Matrixstruktur gespeichert werden, in welcher Kanal- und Zeitformen kombiniert sind.
-
Der biometrisches-Signal-Integrierteil 110 analysiert die gemessenen biometrischen Signale des Fahrers und integriert die analysierten biometrischen Signale.
-
Der biometrisches-Signal-Integrierteil 110 kann die biometrischen Signale mittels Multimodalität messen, die verschiedene Arten von biometrischen Signalen zu einem Zeitpunkt oder gleichzeitig misst.
-
Zum Beispiel integriert der biometrisches-Signal-Integrierteil 110 biometrische Signaldaten, die von dem biometrisches-Signal-Messteil 100 gemessen werden, um die integrierten biometrischen Signaldaten zu verwenden, misst gleichzeitig die jeweiligen biometrischen Signale (Elektroenzephalografie (EEG), Elektrokardiografie (EKG), Blutflussrate im Gehirn, usw.) wobei dann jeweils die Charakteristiken extrahiert werden, die am besten die Eigenschaften der jeweiligen biometrischen Signale repräsentieren, und die extrahierten Charakteristiken zu einer integriert werden, um Daten mit einer hohen Zuverlässigkeit zu erzeugen.
-
Nachdem die extrahierten Charakteristiken, die die Eigenschaften der biometrischen Signale am besten repräsentieren können, durch verschiedene Arten von Klassifikatoren klassifiziert wurden, kann ein endgültiger Ausgabewert der verschiedenen Arten von Klassifikatoren zu einem integriert werden.
-
Der Fahrerzustands-Detektionsteil 120 detektiert einen Zustand des Fahrers basierend auf den integrierten biometrischen Signalen.
-
2 ist eine Ansicht, aus der ein biometrisches-Signal-Messteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist.
-
Bezugnehmend auf die 2 konfigurieren in dem biometrisches-Signal-Messteil 100 die biometrischen Signale, die mittels einer biometrisches-Signal-Messvorrichtung gemessen werden, Datenpakete gemäß einer Datenpaketstruktur, die in einer Hauptsteuereinheit (MCU) einer Hardware programmiert wird, und werden diese mit einer Rate von 250 Kbit/s über ein Zigbee-Kommunikationsnetzwerk an einen Arbeitsplatzrechner (PC) übermittelt. Eine Software, die in dem Arbeitsplatzrechner (PC) installiert ist, kann die Datenpakete der biometrischen Signale empfangen und die biometrischen Signale über einen Umwandlungsalgorithmus an einen Bildschirm ausgeben, und die biometrischen Signale können in der Hauptsteuereinheit (MCU) in einer Matrixstruktur gespeichert werden, in welcher Kanal- und Zeitformen kombiniert sind.
-
Zum Beispiel weist der biometrisches-Signal-Messteil 100 eine Elektroenzephalografie-Messvorrichtung 200, einen Detektor 210 und einen Emitter 220 auf, um eine Elektroenzephalografie zu messen.
-
Die Elektroenzephalografie-Messvorrichtung 200 (EEG) misst aus dem Gehirn stammende elektrische Signale an der Kopfhaut des Fahrers.
-
Der Detektor 210 ist eine Vorrichtung, die in der Lage ist, die elektrischen Signale durch Detektieren von Nahfeldinfrarotstrahlen zu erhalten, die reflektiert werden, nachdem der Emitter 220 die Nahfeldinfrarotstrahlen erzeugt hat, um die Blutflussrate im Gehirn zu messen.
-
Der obengenannte Detektor 210 kann als Nahfeldinfrarotdetektor oder Photonendetektor bezeichnet werden.
-
Der Emitter 220 ist ein Nahfeldinfrarot-Erzeugungsgerät zum Messen der Blutflussrate im Gehirn. Der Emitter 220 kann zum Beispiel eine lichtemittierende Diode (LED) aufweisen.
-
3 ist eine Ansicht, aus der ein biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist.
-
Bezugnehmend auf die 3 kann der biometrisches-Signal-Integrierteil die biometrischen Signale mittels einer Multimodalität A messen, die verschiedene Arten von biometrischen Signalen zu einem Zeitpunkt oder gleichzeitig misst.
-
Der biometrisches-Signal-Integrierteil kann die biometrischen Signale, die von dem biometrisches-Signal-Messteil gemessen werden, integrieren, Charakteristiken der biometrischen Signale aus den biometrischen Signalen extrahieren, die von dem biometrisches-Signal-Messteil gemessen werden, und dann die extrahierten Charakteristiken integrieren, oder die extrahierten Charakteristiken der biometrischen Signale klassifizieren und anschließend die klassifizierten Charakteristiken integrieren.
-
Zum Beispiel integriert der biometrisches-Signal-Integrierteil die gemessenen biometrischen Signaldaten, um die integrierten biometrischen Signaldaten zu verwenden, misst gleichzeitig die jeweiligen biometrischen Signale (Elektroenzephalografie (EEG), Elektrokardiografie (EKG), Blutflussrate im Gehirn, usw.) und extrahiert dann jeweils Charakteristiken, die am besten die Merkmale der jeweiligen biometrischen Signale repräsentieren, integriert die extrahierten Charakteristiken zu einer (einzigen), um Daten mit einer hohen Zuverlässigkeit zu erzeugen, und misst gleichzeitig die jeweiligen biometrischen Signale und extrahiert dann die Charakteristiken, die am besten die Merkmale der jeweiligen biometrischen Signale repräsentieren. Nachdem die extrahierten Charakteristiken durch mehrere Klassifikatoren klassifiziert wurden, kann ein endgültiger Ausgangswert dieser Klassifikatoren zu einem integriert werden.
-
4A bis 4C sind Darstellungen, die ein Verfahren zum Integrieren von Multimodalitäts-biometrischen Signalen des biometrisches-Signal-Integrierteils in der Vorrichtung zum Detektieren eines Zustands eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zeigen.
-
Bezugnehmend auf die 4A kann der biometrisches-Signal-Integrierteil die biometrischen Signale (Rohdaten), die von dem biometrisches-Signal-Messteil gemessen werden, unmittelbar integrieren X.
-
Bezugnehmend auf die 4B kann der biometrisches-Signal-Integrierteil Charakteristiken der biometrischen Signale aus den biometrischen Signalen extrahieren, die von dem biometrisches-Signal-Messteil gemessen werden, und kann dann die extrahierten Charakteristiken der biometrischen Signale integrieren Y.
-
Bezugnehmend auf die 4C kann der biometrisches-Signal-Integrierteil die extrahierten Charakteristiken der biometrischen Signale klassifizieren und dann die klassifizierten biometrischen Signale integrieren Z.
-
5 ist eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer Elektroenzephalografie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zur Detektieren eines Zustands eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ersichtlich ist.
-
Bezugnehmend auf die 5 können gemäß dem Verfahren zum Extrahieren von Charakteristiken einer Elektroenzephalografie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers Charakteristiken der Elektroenzephalografie extrahiert werden durch Extrahieren von Charakteristiken eines relativen Leistungspegels (RPL) mittels Elektroden, die am Kopf des Fahrers angebracht sind, Konvertieren von Zeitreihendaten in Frequenzdaten mittels einer Fourier-Transformation, Extrahieren einer Alphawelle (8 Hz bis 13 Hz) und einer Betawelle (13 Hz bis 30 Hz) nach der Konvertierung in die Frequenzdaten, und Durchführen einer Normalisierung durch Teilen der Alphawelle und der Betawelle durch einen Leistungswert von 1 Hz bis 50 Hz.
-
Zum Beispiel zeigt die 5 einen Vergleich des EEG zwischen einer normalen Fahrergruppe (einer normalen Gruppe) und einer Fahrergruppe (einer von der Norm abweichenden Gruppe oder übermüdeten Gruppe), die künstlich ermüdet wird, und wie in 5 gezeigt, ist ein RPL-Wert der Alphawelle bei der Fahrergruppe, die künstlich ermüdet wird, signifikanter als bei der normalen Fahrergruppe.
-
5 ist eine Ansicht von der Oberseite des Kopfes eines Fahrers aus gesehen, wobei die Oberseite des Kopfes des Fahrers als Frontallappen bezeichnet wird, die Unterseite davon als Hinterhauptlappen bezeichnet wird und die linke und die rechte Seite als Temporallappen bezeichnet werden.
-
Hier zeigt sich die Alphawelle im Temporallappen B der von der Norm abweichenden Gruppe deutlich (durch eine kräftige oder dunkle Farbe gezeigt) und zeigt sich, dass die Betawelle im Frontallappen C der von der Norm abweichenden Gruppe geringer ist.
-
6 ist eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer Elektrokardiografie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist.
-
Bezugnehmend auf die 6 können bei dem Verfahren zum Extrahieren von Charakteristiken einer Elektrokardiografie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers Charakteristiken der Elektrokardiografie durch Extrahieren einer Komponente R aus Komponenten P, Q, R, S, und T der Elektrokardiografie und Berechnen einer Herzfrequenz mittels der extrahierten Komponente R extrahiert werden.
-
Zum Beispiel kann die Herzfrequenz durch Messen der Elektrokardiografie des Fahrers, Berechnen der Komponente R über eine Minute und Verwenden der berechneten Komponente R berechnet werden.
-
7 ist eine Darstellung, aus der ein Verfahren zum Extrahieren von Charakteristiken einer funktionellen Nahinfrarotspektroskopie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers ersichtlich ist.
-
Bezugnehmend auf die 7 können gemäß Ausführungsformen des Verfahrens zum Extrahieren von Charakteristiken einer funktionellen Nahinfrarotspektroskopie durch den biometrisches-Signal-Integrierteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers die Oxyhämoglobin-Konzentration (HbO) und die spezifisches-Oxyhämoglobin-Konzentration (HbR) detektiert werden durch Messen einer Reflexionsmenge durch den Detektor, Umwandeln der Lichtintensität in die Oxyhämoglobin-Konzentration und die spezifisches-Oxyhämoglobin-Konzentration mittels einer Absorptionsrate von Licht, wie zum Beispiel mittels des modifizierten Lambert-Beerschen Gesetzes (mBLL) und unter Verwendung von Oxyhämoglobin und spezifischen Oxyhämoglobin als Charakteristiken, und kann die Blutflussrate im Gehirn des Fahrers mittels der Oxyhämoglobin-Konzentration und der spezifisches-Oxyhämoglobin Konzentration gemessen werden.
-
Insbesondere erzeugt in 7 der Emitter D Nahfeldinfrarotstrahlen und misst der Detektor E die Nahfeldinfrarotstrahlen, die reflektiert oder gestreut werden.
-
Ein Wert der gemessenen Nahfeldinfrarotstrahlen ist die Lichtintensität, und die Oxyhämoglobin-Konzentration und die spezifisches-Oxyhämoglobin Konzentration (HbO/HbR) im Gehirn können mittels des modifizierten Lambert-Beerschen Gesetzes (mBLL) gemessen werden.
-
Insbesondere beschreibt der Fahrerzustands-Detektionsteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ein Verfahren zum Extrahieren eines Fahrzustandsniveaus des Fahrers.
-
Gemäß dem Verfahren zum Extrahieren eines Fahrzustandsniveaus des Fahrers in dem Fahrerzustands-Detektionsteil in der Vorrichtung zum Detektieren eines Zustands eines Fahrers werden Werte der Elektroenzephalografie (Alphawelle, Betawelle), der Elektrokardiografie (Herzfrequenz) und der Blutflussrate im Gehirn (Oxyhämoglobin-Konzentration) mittels der folgenden Gleichung 1 berechnet.
-
[Gleichung 1]
-
-
norm(x) = x – min(x) / max(x) – min(x)
-
Hier ist norm(x) eine Gleichung, die drei Signale mit Größen unterschiedlicher Bereiche auf einen Wert von 0 bis 1 abbildet, und steht x für Charakteristiken, die aus den jeweiligen Signalen extrahiert werden, was bei der Elektroenzephalografie die Alphawelle und die Betawelle bedeutet, bei der Elektrokardiografie die Herzfrequenz bedeutet und bei der Blutflussrate im Gehirn die Oxyhämoglobin-Konzentration (HbO) bedeutet.
-
Anschließend wird das Fahrzustandsniveau (DCL) durch Anwenden der gleichen Gewichtung auf die Werte der Elektroenzephalografie (Alphawelle, Betawelle), der Elektrokardiografie (Herzfrequenz) und der Blutflussrate im Gehirn (Oxyhämoglobin-Konzentration) berechnet, wobei dies wie in der nachfolgenden Gleichung 2 erfolgt. [Gleichung 2]
-
8 ist ein Blockdiagramm, aus dem ein Rechensystem ersichtlich ist, welches das Verfahren zum Detektieren eines Zustands eines Fahrers ausführt, basierend auf biometrischen Signalen des Fahrers gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
-
Bezugnehmend auf die 8 kann ein Rechensystem 1000 aufweisen: mindestens einen Prozessor 1100, einen Speicher 1300, eine Benutzerschnittstellen-Eingabevorrichtung 1400, eine Benutzerschnittstellen-Ausgabevorrichtung 1500, einen Speicher 1600 und eine Netzwerk-Schnittstelle 1700, die durch einen Bus 1200 miteinander verbunden sind.
-
Der Prozessor 1100 kann eine zentrale Verarbeitungseinheit (CPU) oder eine Halbleitervorrichtung sein, die Prozesse für Befehle ausführt, die in dem Speicher 1300 und/oder dem Speicher 1600 gespeichert sind. Der Speicher 1300 und der Speicher 1600 können verschiedene Arten von flüchtigen oder nicht-flüchtigen Speichermedien aufweisen. Zum Beispiel kann der Speicher 1300 einen Nur-Lese-Speicher (ROM) und einen Vielfachzugriffsspeicher (RAM) aufweisen.
-
Dementsprechend können Schritte in dem Verfahren oder ein Algorithmus, wie in Verbindung mit den beispielhaften Ausführungsformen beschrieben ist, die in der vorliegenden Anmeldung offenbart sind, direkt in einer Hardware, einem Softwaremodul oder einer Kombination davon implementiert sein, die / das durch den Prozessor 1100 ausgeführt wird. Das Softwaremodul kann auf einem Speichermedium (d.h. dem Speicher 1300 und/oder dem Speicher 1600) vorliegen, zum Beispiel einem Vielfachzugriffsspeicher (RAM), einem Flash-Speicher, einem Nur-Lese-Speicher (ROM), einem löschbaren programmierbaren Nur-Lese-Speicher (EPROM), einen elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), einem Verzeichnis, einer Festplatte, einer Wechselplatte oder einem Compact-Disc-Nur-Lese-Speicher (CD-ROM). Ein beispielhaftes Speichermedium kann mit dem Prozessor 1100 verbunden sein, und der Prozessor 1100 kann Informationen aus dem Speichermedium auslesen und die Informationen in das Speichermedium schreiben. Alternativ kann das Speichermedium auch mit dem Prozessor 1100 zusammen ausgebildet sein. Der Prozessor und das Speichermedium können sich auch innerhalb eines anwendungsspezifischen integrierten Schaltkreises (ASIC) befinden. Der ASIC kann sich auch in einem Benutzerendgerät befinden. Alternativ können der Prozessor und das Speichermedium auch als Einzelkomponente innerhalb des Benutzerendgerätes vorliegen.
-
Wie oben beschrieben können gemäß den beispielhaften Ausführungsformen der vorliegenden Erfindung die Vorrichtung und das Verfahren zum Detektieren von biometrischen Signalen eines Fahrers den Fahrer unter Verwendung der Blutflussrate im Gehirn, einer Elektroenzephalografie (EEG) und einer Elektrokardiografie (EKG) des Fahrers analysieren und in einen Normalzustand und einen Ermüdungszustand einstufen, um dadurch das Müdigkeitsniveau des Fahrers mittels der analysierten biometrischen Signale zu messen.
-
Obgleich die vorliegende Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen und die angehängten Zeichnungen beschrieben ist, ist die vorliegende Offenbarung nicht auf diese beschränkt, sondern kann diese von einem zuständigen Fachmann auf dem Gebiet auf verschiedene Arten modifiziert und verändert werden, ohne dabei von dem Erfindungsgedanken und dem Schutzbereich der vorliegenden Erfindung abzuweichen, wie in den folgenden Ansprüchen definiert.
-
Bezugszeichenliste
-
- 100
- biometrisches-Signal-Messteil
- 110
- biometrisches-Signal-Integrierteil
- 120
- Fahrerzustands-Detektionsteil
- 200
- Elektroenzephalografie-Messvorrichtung
- 210
- Detektor
- 220
- Emitter
- 1100
- Prozessor
- 1200
- Bus
- 1300
- Speicher
- 1310
- ROM
- 1320
- RAM
- 1400
- Benutzerschnittstellen-Eingabevorrichtung
- 1500
- Benutzerschnittstellen-Ausgabevorrichtung
- 1600
- Speicher
- 1700
- Netzwerk-Schnittstelle
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- KR 10-2016-0080410 [0001]
