-
Die Erfindung betrifft ein Verfahren zum Erkennen der Müdigkeit und/oder des Schlafens, insbesondere des Einschlafens, eines Trägers einer Datenbrille.
-
Heutzutage sind Datenbrillen, auch Head-mounted Displays (HMD) genannt, bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Gegenüber einer gewöhnlichen Brille umfasst die Datenbrille jedoch elektronische Speicher- und Verarbeitungseinheiten sowie eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Informationen kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung orientiert ist, also beispielsweise an das Objekt angrenzend oder dieses überlagernd. Datenbrillen können auch in Fahrzeugen genutzt werden, insbesondere um kontaktanaloge Informationen anzuzeigen.
-
Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise
WO 2013/012914 . Datenbrillen umfassen des Weiteren häufig Bewegungssensoren, die im Gestell der Datenbrille integriert sind. Dabei handelt es sich typischerweise um Beschleunigungs- und/oder Drehratensensoren.
-
Bekannt sind Fahrerassistenzsysteme, die den Müdigkeitszustand oder Sekundenschlaf des Fahrers erkennen können. Hierzu werden beispielsweise über Analysen der vom Fahrer aufgebrachten Drehmomente am Lenkrad durchgeführt, wie in
EP 2117870 B1 beschrieben, Lenkruhephasen beobachtet, wie in
WO 2006131254 A1 und
US 2009021356 A beschrieben, oder mithilfe von kamerabasierten Verfahren wie in
WO 2006108372 A1 beschrieben, geschlossene Augenlider erkannt und der Fahrer gewarnt, um Unfälle zu verhindern. Bekannt geworden sind in der Druckschrift
EP 2237237 B1 weiterhin Systeme, die in brillenähnlicher Form am Kopf getragen werden und über Kameras die Augen eines Nutzers beobachten, zum Zwecke der Müdigkeitserkennung.
-
Die Verfahren des Standes der Technik zur Erkennung der Müdigkeit bzw. Sekundenschlaf eines Fahrzeuglenkers sind in der Praxis oft fehleranfällig. Die Signale, die der Fahrer gibt, können oft nicht genau genug erfasst werden, z.B. aufgrund der geringen Auflösung einer Kamera und der Entfernung der Kamera zum Fahrer. Weiterhin erfordern Rückschlüsse aus den Lenkradbewegungen Kenntnisse über die Fahrbahn und das individuelle Lenkverhalten. Erfahrungsberichte von Nutzern derartiger Systeme des Standes der Technik beschreiben häufig unnötige Warnungen oder ausbleibende Warnungen trotz einer Gefahrensituation. Außerdem erfordern solche Systeme häufig zusätzliche Hardware, wie Kameras und Steuergeräte, im Fahrzeug, welche zum Energieverbrauch und Fahrzeuggewicht beiträgt sowie zusätzliche Kosten verursacht.
-
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde ein Verfahren bereitzustellen, das eine robuste und alternative Möglichkeit der Müdigkeits- und Schlaferkennung, insbesondere der Einschlaferkennung, mithilfe einer Datenbrille ermöglicht.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Patentansprüchen definiert.
-
Ein Aspekt betrifft ein Verfahren zum Erkennen der Müdigkeit und/oder des Schlafens eines Trägers einer Datenbrille, insbesondere des Fahrers eines Fahrzeugs; wobei die Datenbrille Bewegungssensoren umfasst. Das Verfahren umfasst: Bereitstellen von Messungen der Bewegungssensoren der Datenbrille; Erkennen einer Bewegung der Datenbrille, die auf die Müdigkeit oder das Schlafen, insbesondere das Einschlafen, des Trägers der Datenbrille hindeutet (hierin auch Einschlaf-Bewegung genannt), anhand der Messungen; In Antwort auf das Erkennen: Ausgeben eines Hinweises darauf, dass die Müdigkeit oder das Schlafen des Trägers der Datenbrille erkannt wurde. Die Messungen liegen typischerweise in Form von Messdaten vor. Sofern das Erkennen der Einschlaf-Bewegung der Datenbrille nicht von der Datenbrille ausgeführt wird, werden die Messdaten zum Bereitstellen zuvor von der Datenbrille zu einer entfernten Einrichtung (beispielsweise eine Rechenvorrichtung des Fahrzeugs) übertragen. Das Verfahren kann sowohl vollständig durch eine Datenbrille ausgeführt werden, als auch in Kombination mit elektronischen Recheneinheiten und/oder Ausgabeeinheiten eines Fahrzeugs.
-
Auf diese Weise wird über die Bewegung der Datenbrille, die der Bewegung des Kopfes des Trägers der Datenbrille entspricht, auf die Müdigkeit bzw. das Einschlafen (insbesondere einen Sekundenschlaf) des Trägers geschlossen. Die Auswertung der Sensordaten kann fortlaufend durch ein Computerprogramm, das von der Datenbrille oder einer Recheneinheit des Fahrzeugs ausgeführt wird, vorgenommen werden. Wenn die Auswertung durch eine Recheneinheit des Fahrzeugs vorgenommen werden soll, steht diese in elektronischer und bevorzugt drahtloser Kommunikation mit der Datenbrille. Hierzu kann eine drahtlose Übertragung gemäß dem WiFi- oder Bluetooth-Standard verwendet werden.
-
Diese Anwendung ist speziell für Benutzungen der Datenbrille in einem Fahrzeug hilfreich. Außerhalb eines Fahrzeugs ist das System ebenfalls nutzbar, aber mit deutlich weniger konkretem Nutzwert, da im Allgemeinen aus dem Einschlafen keine unmittelbare Gefahrensituation resultiert.
-
Das Erkennen einer Bewegung kann umfassen: Erkennen eines vorbestimmten Bewegungsmusters, wobei das Bewegungsmuster insbesondere typische Kopfbewegungen bei Müdigkeit und beim Schlafen repräsentiert. Das Bewegungsmuster kann beispielsweise einem Nach-Vorne-Nicken oder Nach-Vorne-Sinken des Kopfes des Benutzers entsprechen. Ebenso kann eine länger anhaltende Bewegungslosigkeit dem Bewegungsmuster entsprechen. Die länger anhaltende Bewegungslosigkeit kann dadurch entstehen, dass der Benutzer seinen Kopf an eine Kopfstütze angelehnt hat. Es kann vorgesehen sein, dass die Messung der Bewegung auf Übereinstimmung mit einem von mehreren vorbestimmten Bewegungsmustern hin untersucht wird. Beispielsweise kann die gemessene Bewegung mit Bewegungsmustern für ein Nach-Vorne-Nicken und Bewegungslosigkeit verglichen werden.
-
Die vorbestimmten Bewegungsmuster und die dazu gehörigen Sensormessungen können mithilfe von Maschinenlern-Algorithmen, insbesondere neuronalen oder Bayesschen Netzen, bestimmt werden. Diese Verfahren sind im Stand der Technik bekannt.
-
In einer bevorzugten Implementierung umfasst das Verfahren ferner: Bereitstellen von Messungen der Bewegung des Fahrzeugs, in dem sich die Datenbrille befindet, für denselben Zeitraum, für den Messungen der Bewegungssensoren der Datenbrille bereitgestellt werden; Wobei beim Erkennen einer Bewegung der Datenbrille die Messungen der Bewegung des Fahrzeugs berücksichtigt werden.
-
Es wird also vorgeschlagen, den Einfluss der Bewegung des Fahrzeugs, bei dem Erkennen der Bewegung der Datenbrille zu berücksichtigen. Tatsächlich ist es so, dass ein Fahrer eines Fahrzeugs auch den Bewegungen des Fahrzeugs ausgesetzt ist, und diese auch von den Sensoren der Datenbrille gemessen werden, es findet also eine Superposition der Signale statt. Bei der Erkennung der Bewegung der Müdigkeit oder des (Ein-)Schlafens müssen diese überlagernden Bewegungen berücksichtigt werden und im Prinzip von den gemessenen Bewegungen der Datenbrille subtrahiert werden.
-
Alternativ zur Subtraktion der Bewegung des Fahrzeugs von der gemessenen Bewegung der Datenbrille kann die gemessene Bewegung der Datenbrille auch durch Überlagerung von (gewichteten) Grundbewegungen dargestellt werden. Als Grundbewegungen können ein oder zwei Sätze von Grundbewegungen verwendet werden, wobei die Grundbewegungen des ersten Satzes jeweils orthogonal sind zu den Grundbewegungen des zweiten Satzes. Orthogonal bedeutet hierin, dass die Multiplikation und Summation zweier verschiedener Grundbewegungen im Wesentlichen Null ergibt. Diese Technik wird in der Nachrichtentechnik bei Code Division Multiplex Verfahren eingesetzt, wo beispielsweise orthogonale Cosius- und Sinusfunktionen verwendet werden.
-
Ein Satz an Grundbewegungen kann eine, zwei oder mehrere Grundbewegungen umfassen. Der erste Satz an Grundbewegungen (manchmal auch Signatur genannt) kann derart bestimmt werden, dass mithilfe der Überlagerung (und Gewichtung) der enthaltenen Grundbewegungen die Bewegungen des Fahrzeugs auf vorteilhafte Weise (also möglichst genau) beschrieben werden kann. Eine Grundbewegung des ersten Satzes kann beispielsweise eine Sinusfunktion sein. Typischerweise wird eine Grundbewegung des ersten Satzes von dem Fahrverhalten bzw. Bewegungsverhalten des Fahrzeugs beim Fahren abgeleitet. Der zweite Satz an Grundbewegungen kann derart bestimmt werden, dass mithilfe der Überlagerung (und Gewichtung) der enthaltenen Grundbewegungen die Bewegung des Kopfes bzw. der Datenbrille relativ zum Fahrzeug auf vorteilhafte Weise (also möglichst genau) beschrieben werden kann. Eine Grundbewegung des zweiten Satzes kann beispielsweise eine Cosinusfunktion sein. Typischerweise wird eine Grundbewegung des zweiten Satzes von typischen Kopfbewegungen abgeleitet.
-
Die Bewegung der Datenbrille relativ zum Fahrzeug wird im Betrieb dann durch die Abbildung der gemessenen Bewegung der Datenbrille auf den zweiten Satz an Grundbewegungen bestimmt (wobei hierin „zweiter Satz“ nicht bedeutet, dass es einen „ersten Satz“ geben muss, der zweite Satz kann auch der einzige Satz an Grundbewegungen sein). Die Abbildung kann durch Multiplikation und Summation der gemessenen Bewegung der Datenbrille jeweils mit den Grundbewegungen des zweiten Satzes erreicht werden. Alternativ können auch zu jeder Grundbewegung des ersten Satzes deren Inverse (bspw. –1·Sinusfunktion) bestimmt werden, und die gemessene Bewegung der Datenbrille auf die Inverse der Grundbewegungen abgebildet werden. Wieder alternativ kann die gemessene Bewegung auf den ersten Satz an Grundbewegungen abgebildet werden und diese Abbildung dann von der gemessenen Bewegung subtrahiert werden, um auf die Kopfbewegung relativ zum Fahrzeug zu schließen.
-
Die Grundbewegungen des ersten Satzes können an verschiedene Fahrsituationen angepasst werden. Die Fahrsituation kann anhand des Verkehrs, der Fahrstrecke, etc. bestimmt werden, oder sich aus der Beobachtung der Fahrzeugbewegung (durch Fahrzeugsensoren) über gleitende Zeitfenster ergeben. Der jeweils gültige erste Satz an Grundbewegungen kann vom Fahrzeug ermittelt werden und ggf. an die Datenbrille gesendet werden.
-
Die Bestimmung der Relativbewegung der Datenbrille zum Fahrzeug mithilfe von Grundbewegungen bietet gegenüber der Subtraktion der gemessenen Fahrzeugbewegung von der gemessenen Datenbrillenbewegung den Vorteil, dass sie weniger abhängig von Zufälligkeiten der Kausalität zwischen Kopfbewegung und Fahrzeugbewegung ist. Beispielsweise kann es vorkommen, dass die Kopfbewegung der durch die Fahrzeugbewegung induzierten Komponente der Kopfbewegung voreilt oder nacheilt.
-
Die Messungen der Bewegung des Fahrzeugs werden typischerweise von Sensoren des Fahrzeugs bereitgestellt, insbesondere von Rad- und Lenkradsensoren sowie von einer Satellitennavigationseinheit (basierend auf GPS, GLONASS und/oder Galileo) des Fahrzeugs. Die Messungen der Bewegung des Fahrzeugs werden dabei entweder zur Datenbrille übertragen; oder aber die Bewegungsdaten der Datenbrille werden an das Fahrzeug übertragen. Ziel ist es, sowohl die Messungen der Datenbrille als auch die Messungen der Sensoren des Fahrzeugs an einer Recheneinheit zusammen zu führen, damit die tatsächliche Bewegung des Datenbrille in Relation zum Fahrzeug berechnet werden kann und Müdigkeits- oder Einschlaf-Muster erkannt werden können. Die Datenübertragung zwischen dem Fahrzeug und der Datenbrille kann beispielsweise drahtlos gemäß dem WiFi-Standard oder gemäß dem Bluetooth-Standard erfolgen.
-
Beim Erkennen einer Einschlaf-Bewegung der Datenbrille kann ebenfalls berücksichtigt werden, ob eine Berührung des Lenkrades des Fahrzeugs, in dem sich die Datenbrille befindet, für eine vorbestimmte Zeitdauer nicht mehr erkannt werden konnte. Hier wird also ein zusätzliches Kriterium verwendet, um das Einschlafen bzw. die Müdigkeit des Fahrers zu erkennen. Nur wenn sowohl die Bewegung der Datenbrille, als auch die Nicht-Berührung des Lenkrades auf die Müdigkeit bzw. das Einschlafen des Fahrers hindeuten, wird ein Hinweis ausgegeben.
-
In einer bevorzugten Implementierung umfasst die Datenbrille ferner eine Kamera, die dazu eingerichtet ist, Aufnahmen der Umgebung der Datenbrille zu machen; Wobei das Verfahren umfasst: Erkennen des Innenraums eines Fahrzeugs, in dem sich die Datenbrille befindet, in den Aufnahmen der Kamera; Bestimmen der Bewegung der Datenbrille relativ zum Fahrzeug anhand der Abbildungen des Innenraums in den Aufnahmen der Kamera; Wobei das Erkennen einer Bewegung auch die bestimmte Bewegung der Datenbrille anhand der Aufnahmen der Kamera berücksichtigt. Hierin wird also vorgeschlagen, die Bewegung der Datenbrille nicht nur anhand der Bewegungssensoren der Datenbrille festzustellen, sondern auch anhand einer Bewegungserkennung mithilfe von Kameraaufnahmen. Die Kamera ist unbeweglich mit der Datenbrille verbunden und führt damit dieselben Bewegungen wie die Datenbrille aus. Die Aufnahmen eines Gegenstandes werden entsprechend der Bewegung der Datenbrille verschoben sein. Aus der Änderung der Abbildung der Gegenstände in den Aufnahmen der Kamera kann auf die Bewegung der Datenbrille rückgeschlossen werden. Besonders geeignet ist dieses Verfahren für den Einsatz im Innenraum eines Fahrzeugs, da dessen Erscheinung bereits bekannt ist und vorgespeichert sein kann. Dazu werden in den Aufnahmen der Kamera zunächst die Bereiche erkannt, die den Innenraum abbilden. Durch den Vergleich der Position von Merkmalen des Innenraums, insbesondere des Armaturenbretts, in zeitlich aufeinanderfolgenden Aufnahmen oder mit vorgespeicherten Informationen (insbesondere Merkmalen) zum Innenraum kann die Bewegung der Datenbrille bestimmt werden. Ein Vorteil bei der Bewegungsbestimmung der Datenbrille mithilfe von Kameraaufnahmen liegt darin, dass die Bewegungen des Fahrzeugs nur verringerten bis keinen Einfluss auf die Bewegungsbestimmung haben, da die Referenz für die Bewegungsbestimmung der Innenraum des Fahrzeugs ist. Verfahren zum Bestimmen der Pose sind in den vom selben Anmelder am selben Tag eingereichten Anmeldungen mit den Aktenzeichen des Anmelders
EM 26576 und
EM 28283 beschrieben.
-
Der ausgegebene Hinweis kann ein optischer, akustischer oder haptischer Hinweis sein, der von der Datenbrille und/oder dem Fahrzeug ausgegeben wird. Beispielsweise kann die Datenbrille eine Darstellung auf der Anzeige anzeigen oder das Fahrzeug kann eine Darstellung auf einer Anzeige wie einem Head-up Display anzeigen. Geeigneter erscheint allerdings ein akustischer Hinweis, der von Ohrhörern der Datenbrille oder über die Lautsprecher des Fahrzeugs ausgegeben wird. Ferner kann die Datenbrille oder das Lenkrad des Fahrzeugs vibrieren.
-
In einem anderen Aspekt umfasst ein Fahrzeug Empfangsmittel zur elektronischen Kommunikation und elektronische Rechenmittel sowie Ausgabemittel; wobei das Fahrzeug dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. In diesem Aspekt erkennt somit das Fahrzeug die Bewegung, die auf die Müdigkeit bzw. das Einschlafen hindeutet. Die dafür notwendigen Sensordaten der Datenbrille werden über eine bevorzugt drahtlose Kommunikation empfangen.
-
Ein anderer Aspekt betrifft eine Datenbrille mit elektronischen Rechenmittel sowie Bewegungssensoren und Ausgabemitteln, beispielsweise eine Anzeige; wobei die Datenbrille dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. In diesem Aspekt wird die Erkennung der Einschlaf-Bewegung somit von der Datenbrille ausgeführt. Diese gibt auch den Hinweis aus. Bevorzugt umfasst die Datenbrille dazu auch Mittel zur haptischen oder akustischen Ausgabe.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1a und 1b erläutern schematisch die Funktionsweise eines Systems gemäß einem Ausführungsbeispiel.
-
2 stellt schematisch ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel dar.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
1a und 1b erläutern schematisch die Funktionsweise eines Systems gemäß einem Ausführungsbeispiel. Das System umfasst eine Datenbrille 3, die von einem Benutzer 1 getragen wird (in 1 ist der Kopf des Benutzers in einer Seitenansicht dargestellt). Die Datenbrille 3 liegt auf dem Ohr 2 des Benutzers auf. Die Datenbrille 3 umfasst eine elektronische Sensor- und Recheneinheit 4. Diese Einheit 4 beherbergt Drehraten- und Beschleunigungssensoren sowie ein Modul zur drahtlosen Kommunikation gemäß dem Bluetooth-Standard. Im Betrieb messen die Drehraten- und Beschleunigungsmesser fortlaufend (beispielsweise in regelmäßen Zeitabständen von 0,2 s; 0,1 s oder 50 ms) die Bewegung der Datenbrille 3. Diese Messungen (oder komprimierte Versionen davon) sendet die Einheit 4 der Datenbrille drahtlos an eine Steuereinheit 5 des Fahrzeugs, in dem sich die Datenbrille befindet.
-
Eine Steuereinheit 5 empfängt im Betrieb die von der Datenbrille 3 gesendeten Messdaten zu Bewegung der Datenbrille (Schritt S1 in 2). Ebenfalls empfängt die Steuereinheit 5 fortlaufend Messdaten zum Lenkwinkeleinschlag sowie zur Beschleunigung des Fahrzeugs (Schritt S2 in 2). Aus diesen Daten errechnet die Steuereinheit 5 die Beschleunigung und Drehrate des Fahrzeugs. Es kann vorgesehen sein, dass die Steuereinheit 5 Messungen der Datenbrille und/oder des Fahrzeugs zwischenspeichert, um bei der folgenden Analyse Daten für gleiche Messzeiten zur Verfügung zu haben.
-
In einer Vorprozessierung errechnet die Steuereinheit 5 basierend auf beiden empfangenen Datenströmen die Relativbewegung der Datenbrille 3 zum Fahrzeug (Schritt S3 in 2). Dabei werden von den gemessenen Beschleunigungen und Drehraten der Datenbrille die jeweils zum gleichen Zeitpunkt errechneten Beschleunigungen und Drehraten des Fahrzeugs subtrahiert. Alternativ oder zusätzlich Berechnung der Relativbewegung können die Bewegungsdaten des Fahrzeugs auch dazu genutzt werden, Zeitbereiche zu bestimmen, in denen keine Analyse der Bewegungsdaten der Datenbrille bezüglich einer Einschlaf-Bewegung vorgenommen wird. Diese Zeitbereiche können zum Beispiel Zeiten sein, in denen starke Beschleunigungen des Fahrzeugs aufgetreten sind.
-
Nach der Vorprozessierung führt die Steuereinheit 5 eine Untersuchungsprogramm aus, das die eingehenden Messungen daraufhin untersucht, ob sie einem von mehreren Bewegungsmuster entsprechen, das eine Einschlaf-Bewegung repräsentiert. Diese Bewegungsmuster sind vordefiniert und in der Steuereinheit 5 gespeichert. In 1b ist (gegenüber der Position in 1a) schematisch ein Nicken des Kopfes des Benutzers dargestellt, wie es typischerweise beim Sekundenschlaf auftritt. Sobald die Steuereinheit 5 eine Einschlaf-Bewegung erkennt (Schritt S5 in 2) gibt die Steuereinheit 5 über einen verbundenen Lautsprecher 6, der auch Teil einer Audio-Anlage des Fahrzeugs sein kann, ein akustisches Warnsignal aus, wie in 1b schematisch durch Schallwellen dargestellt (Schritt S6 in 2).
-
Durch die Nutzung einer Datenbrille im Fahrzeug wird die Müdigkeit des Fahrers bzw. dessen Einschlafen zuverlässiger erkannt. Weiterhin können Gewicht, Energie und Kosten einspart werden, die durch fest installierte Systeme wie Steuergeräte, Sensoren und Kameras anfallen würden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2013/012914 [0003]
- EP 2117870 B1 [0004]
- WO 2006131254 A1 [0004]
- US 2009021356 A [0004]
- WO 2006108372 A1 [0004]
- EP 2237237 B1 [0004]
- EM 26576 [0022]
- EM 28283 [0022]
