DE102010044449A1

DE102010044449A1 - Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs

Info

Publication number: DE102010044449A1
Application number: DE102010044449A
Authority: DE
Inventors: Tatjana Dipl.-Ing. 38106 Kruscha; Mirko Dipl.-Ing. 12435 Langnickel; Sven 38319 Tuscheerer
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2009-12-31
Filing date: 2010-09-06
Publication date: 2011-07-07
Anticipated expiration: 2030-09-07
Also published as: DE102010044449B4

Abstract

Bei einem Verfahren zu Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums – erfasst die Fahrerbeobachtungskamera den Kopf des Fahrers und stellt Bilddaten des Fahrerkopfes in zeitlicher Folge bereit, – erfasst die Innenraumkamera zumindest teilweise den Körper des Fahrers des Fahrers und stellt Bilddaten des Körpers in zeitlicher Folge bereit, – wird aus den Fahrerkopfbilddaten und den Körperbilddaten vorgegebene Fahrerparameter extrahiert und deren zeitliche Abfolge bestimmt, so dass für jeden Fahrerparameter ein Bewegungsvektor gebildet wird, – wird jeder Bewegungsvektors als Funktion der zeitlichen Entwicklung bewertet, und – wird der Grad der Fahrfähigkeit des Fahrers als Ergebnis der Bewertung ermittelt.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung des Grades der Fahrfähigkeit eines Fahrers eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine entsprechende Vorrichtung gemäß dem Oberbegriff des Anspruchs 9.
Unfallvermeidende bzw. die Folgen eines Unfalls vermindernde Systeme für Kraftfahrzeuge sind bekannt, bei denen unfallträchtige Situationen durch eine Überwachung des Kraftfahrzeugs und dessen Umfeld ermittelt werden und eine Eskalation der Gefahrensituation durch eine abgestufte Reaktion des Systems vermieden oder die Folgen zumindest vermindert werden. Eine hohe Unfallgefahr geht auch von dem Fahrer des Kraftfahrzeugs aus, falls dessen aktuelle Fahrfähigkeit, beispielsweise wegen Übermüdung, nachgelassen hat. Die Ermittlung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs ist daher notwendig, um ein Fahrerassistenzsystem für die Auslösung einer geeigneten Reaktion zu veranlassen und damit für eine Verringerung des Unfallrisikos Sorge zu tragen. Um den Grad der Fahrfähigkeit eines Fahrers zu ermitteln, müssen geeignete Merkmale des Fahrers detektiert und beurteilt werden. Derartige Fahrermerkmale können in der Bewegung und der Aktivität des Fahrers, in seiner Mimik, in seinem Fahrverhalten etc. gefunden werden.
So beschreibt die DE 10 2005 020 847 A1 in Verfahren und eine Vorrichtung zur berührungslosen Erfassung von biometrischen Merkmalen und Vitalfunktionen von Passagieren in einem Kraftfahrzeug und zwar insbesondere des Herzschlags und der Atmungsaktivitäten. Die Bestimmung der Merkmale erfolgt durch eine im Sitz integrierte Sensoreinheit, wobei die ermittelten Merkmale zur Steuerung diverser Komfort- und Sicherheitssysteme im Kraftfahrzeug benutzt werden.
Aus der Druckschrift DE 10 2008 008 555 A1 ist ein Verfahren zum Minimieren von Gefahrensituationen bei einem Kraftfahrzeug bekannt, wobei neben der Analyse der Umfeldsituation des Fahrzeugs und der Fahrzeugsituation eine Analyse der Fahrersituation erfolgt. Die Fahrersituation wird aus den Aktivitäten des Fahrers abgeleitet.
Ferner zeigt die Druckschrift DE 10 2006 017 855 A1 ein Verfahren zum Gewinnen von situationsabhängigen Kontextdaten in einem Fahrzeug, bei dem aus ermittelten kontextabhängigen Basisdaten mittels einer Datenverarbeitungseinrichtung Kontextdaten abgeleitet werden, denen eine Wahrscheinlichkeitsverteilung zugeordnet wird. Derartige kontextabhängige Basisdaten werden auch für die Insassen des Fahrzeugs mittels geeigneter Sensoren ermittelt, wobei beispielsweise das Bedienverhalten insbesondere des Fahrers, also beispielsweise die Bedienfrequenz, die Bedienfehlerrate und die Bediengeschwindigkeit bestimmter Bedieneinrichtungen, erfasst werden können. Ferner können physiologische Daten des Fahrers, seine Blickrichtung, Gestik und Mimik etc. mittels einer geeigneten Sensorik, d. h. einer Kamera, ermittelt werden. Daraus können als Kontextdaten die Aufmerksamkeitsbeanspruchung und der Stresslevel des Fahrers abgeleitet werden.
Nachteilig bei den bekannten Verfahren zur Bestimmung der Fahrersituation ist, dass die Ermittlung der Aufmerksamkeit und damit der Fahrtüchtigkeit des Fahrers mit nicht ausreichender Genauigkeit erfasst und bestimmt wird.
Der Erfindung liegt daher die Aufgabe zugrunde, die Bestimmung der Fahrtüchtigkeit des Fahrers zu verbessern.
Diese Aufgabe wird durch ein Verfahren zur Erkennung des Fahrfähigkeit des Fahrers mit den Merkmalen des Anspruchs 1 sowie durch eine entsprechende Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren zu Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums, wobei

– die Fahrerbeobachtungskamera den Kopf des Fahrers erfasst und Bilddaten des Fahrerkopfes in zeitlicher Folge bereitstellt, und
– die Innenraumkamera zumindest teilweise den Körper des Fahrers des Fahrers erfasst und Bilddaten des Körpers in zeitlicher Folge bereitstellt,
– aus den Fahrerkopfbilddaten und den Körperbilddaten vorgegebene Fahrerparameter extrahiert und deren zeitliche Abfolge bestimmt wird, so dass für jeden Fahrerparameter ein Bewegungsvektor gebildet wird,
– jeder Bewegungsvektors als Funktion der zeitlichen Entwicklung bewertet wird, und
– der Grad der Fahrfähigkeit des Fahrers als Ergebnis der Bewertung ermittelt wird.

Vorzugsweise werden aus den zumindest teilweise erfassten Körperbilddaten der Innenraumkamera Bewegungsvektoren bezüglich der Bewegungen des Kopfes, des Torsos und/oder der Gliedmaßen des Fahrers erstellt. Die zumindest teilweise Erfassung der Körperbilddaten bedeutet, dass beispielsweise eine Erfassung der unteren Extremitäten des Fahrers aufgrund der Verdeckung durch das Lenkrad und das Armaturenbrett üblicherweise nicht möglich sein wird. Daher wird von der Innenraumkamera der Körper des Fahrers nur teilweise erfasst, d. h. nur diejenigen Körperteile, die für die Innenraumkamera sichtbar sind. Dies sind üblicherweise der Kopf, der Fahrertorso und Gliedmaße, d. h. zumindest die Arme des Fahrers und vorzugsweise auch die Oberschenkel.
Vorzugsweise werden die Bewegungsvektoren mittels Beobachtung bzw. Tracking der Gliedendmaßen und/oder der Gelenke der Gliedmaßen und/oder sonstiger markanter Körpermerkmale des Fahrers erstellt.
Weiter bevorzugt werden aus den Daten der Fahrerkamera Bewegungsvektoren bezüglich Merkmale des Kopfes und Gesichts des Fahrers erstellt.
Kopfmerkmale und Gesichtsmerkmale können durch Kopforientierung, Kopfposition, Lidschlag sowie Bewegungen von markanten Markierungen von Gesichtsmerkmale wie Augenwinkel, Mundwinkel, Nasenlöcher, Nasenspitze, Kinnspitze etc. gebildet werden.
Insbesondere kann die Bewertung eines Bewegungsvektors durch Vergleich mit statischen und dynamischen Bewegungsräumen und Bewegungsmuster erfolgen.
Weiter bevorzugt werden die statischen und dynamischen Bewegungsräume und Bewegungsmuster in den ersten Fahrminuten fahrerspezifisch generiert und/oder siw sind vorbestimmt.
Eine erfindungsgemäße Vorrichtung, die zur Durchführung des im Vorangegangenen beschriebenen Verfahrensausgelegt ist, umfasst

– eine Kamera zur Beobachtung des Fahrerkopfes,
– eine Innenraumkamera zur Beobachtung der Gliedmaßen des Fahrers,
– eine Einrichtung zur Extraktion von Fahrerparametern aus den Daten der Kameras,
– eine Einrichtung zur Bildung von Bewegungsvektoren bezüglich der zeitlichen Entwicklung der Fahrerparameter,
– eine Einrichtung zur Bewertung der Bewegungsvektoren, und
– eine Einrichtung zur Ermittlung der Fahrfähigkeit des Fahrers aus den Ergebnissen der Bewertungseinrichtung.

Weiterhin kann die Vorrichtung eine Einrichtung zum Erstellen und/oder Speichern von Referenzvektoren bezüglich der Fahrerparameter aufweisen.
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
1 die Sicht der Fahrerbeobachtungskamera mit Beispiele von Ausgabeparametern,
2 ein Bild der Innenraumkamera mit geeigneten Beobachtungsparametern,
3 die Beziehung zwischen den verschiedenen Koordinatensystemen,
4 ein Beispiel eines Deadband-Events für einen Freiheitsgrad des Kopfes, und
5 das Tracking von Körperteilen mittels der Innenraumkamera.
Die Sensorik zur Fahrerbeobachtung besteht aus einer Fahrerbeobachtungskamera zur Beobachtung des Fahrerkopfes und dessen Gesicht sowie einer Innenraumkamera, die den Innenraum und dessen Insassen und hier insbesondere für die Innenraumkamera sichtbare Körperteile wie Kopf, Gliedmaßen und Torso des Fahrers beobachtet. Diese Sensorik kann um weitere Kameras und um Alternativsensoriken ergänzt werden. Damit werden Ergebnisse verifiziert sowie plausibilisiert, da ein einzelnes Ergebnis kein valides Ergebnis liefert.
Bei der Fahrerbeobachtungskamera handelt es sich um eine im Kombiinstrument verbaute CMOS-Kamera mit zusätzlicher IR-Beleuchtung, um eine ausreichende Beleuchtung bei allen Tageszeiten zu gewährleisten. Bei der zweiten Kamera, d. h. der Innenraumkamera, handelt es sich in der bevorzugten Ausführungsform ebenfalls um eine CMOS-Kamera, die den kompletten Innenraum erfasst. Dabei handelt es sich vorrangig um ein omnidirektionales System oder eine Kamera mit Weitwinkelobjektiv. Auch dieses System besitzt IR-Leuchten, die den kompletten Innenraum homogen ausleuchten. Zusätzlich gibt es hier die Möglichkeiten, dass man spezielle Bereiche vergrößern und gesondert betrachten kann.
1 zeigt ein Bild des Videostreams der Fahrerbeobachtungskamera mit geeigneten Ausgabesignalen. Als Ergebnis des Kopftrackings liefert die Bildverarbeitungssoftware Daten zur Kopforientierung und Kopfpositionierung des Kopfes 1 des Fahrers F. Zusätzlich erfolgt eine Berechnung der Kopfbreite 2, Kopfhöhe 3, die Höhe 4 beider Augen im Kopf, der Mundposition 5 im Kopf, der Mundwinkel 6 im Kopf, des binären Mundöffnungssignals 7 (auf/zu), Mundöffnungsgrades 8, der Augenränder 9, des mittleren Pupillarabstandes 10, des binären Lidschlagsignals 11 (auf/zu) sowie des Öffnungsgrades 12 des Lidschlags.

Eine Auswahl der möglichen Ausgabeparameter der Bildverarbeitung der Fahrerbeobachtungskamera sind beispielhaft in der folgenden Tabelle 1 dargestellt:

Signalbezeichnung	Einheit	Größe	Wertebereich
Kopfsignalgüte	Prozent	4 Byte	0...100
Kopfposition x_H	Meter	4 Byte	–0,3...0,3
Kopfposition y_H	Meter	4 Byte	0,0...0,6
Kopfposition z_H	Meter	4 Byte	0,3...1,1
Kopfrotation θ	rad	4 Byte	–0,78...0,78
Kopfrotation ψ	rad	4 Byte	–0,78...0,78
Kopfrotation φ	rad	4 Byte	–0,78...0,78

Tab. 1

2 zeigt ein Bild der Innenraumkamera (nicht dargestellt) für einen Insassen des Kraftfahrzeugs, hier den Beifahrer BF, wobei mittels der zeitlichen Abfolge der Bilder die Freiheitsgrade der Körperparameter des Beifahrers BF beobachtet bzw. getrackt werden. Dabei wurde in 2 der Beifahrer BF als Beispiel gewählt, da dieser von der Innenraumkamera fast vollständig erfasst wird. Die anhand dieses Beispiels getroffenen Überlegungen gelten jedoch analog für den Fahrer, um dessen Fahrfähigkeit zu bestimmen.
Es werden dabei folgende Körperparameter verfolgt bzw. beobachtet:

– Kopf 13,
– allen relevanten Gliedmaßen wie Oberschenkel 14, Unterschenkel 15, Oberarm 16 und Unterarm 17,
– Torso 18.

Die 3 beschreibt die Beziehungen zwischen Welt-, Kamera- und Kopfkoordinatensystem (links) sowie die Lage des Kopfkoordinatensystems (rechts) im Kontext der oben dargestellten Tabelle Tab 1, um eine globale Betrachtung und Bewegungsbeurteilung zwischen allen Körperteilen im Fahrzeugkontext zu garantieren. Dargestellt ist das Kopfkoordinatensystem mit den Achsen X_H, Y_H und Z_H sowie dem Nullpunkt 0_H. Der Winkel θ bezeichnet eine Rotation des Kopfes um die Achse X_H, der Winkel ψ eine Rotation um die Achse Y_H und der Winkel φ eine Rotation des Kopfes um die Achse Z_H. Ferner existieren noch ein Weltkoordinatensystem mit den Achsen X_W, Y_W und Z_W sowie eine Kamerakoordinatensystem mit den Achsen X_K, Y_K und Z_K, wobei die Nullpunkte des Weltkoordinatensystems 0_W und des Kamerakoordinatensystems 0_K identisch sind und der Winkel α die Drehung des Kamerakoordinatensystems gegenüber dem Weltkoordinatensystem angibt. Das Kopfkoordinatensystem hat einen Abstand t_HW zu dem Welt- bzw. Kamerakoordinatensystem.
Aus den Ausgabeparametern der Bildverarbeitung, wie die in Tab. 1 genannten beispielhaften Ausgabeparameter für den Kopf – wird ein Bewegungsvektor K für jeden betrachteten Körperteil gebildet, der für jedes Bild berechnet und über die Laufzeit bewertet wird:
4 zeigt eine beispielhafte Möglichkeit, wie Bewegungsänderungen und Verhaltensweisen zum Erkennen einer wahrscheinlichen Fahrfähigkeit/Fahrunfähigkeit detektiert werden. Dabei geht es um eine Historienbetrachtung der jeweiligen Körperteile bzw. Freiheitsgrade und deren Abweichung von einem hinterlegten und zusätzlich in den ersten Fahrminuten angepassten und individuellen Fahrerprofil.
4 zeigt exemplarisch ein Deadband Event 19 für die Kopfrotation θ um die Achse X_H des Kopfes, wie es in 3 dargestellt ist, sowie ein Abnicken 20 des Kopfes. Dabei wird Rotation um X_H über der Zeit t betrachtet. Tritt für eine definierte Zeit keine Veränderung – im Sinne einer nichtauftretenden Überschreitung von Grenzen, hier dargestellt als Δθ – auf, dann ist das ein Hinweis darauf, dass der Fahrer seinen Kopf nicht mehr bewegt oder aufgrund einer temporär auftretenden Einschränkung nicht mehr bewegen kann. Die stetige Vergrößerung der Kopfrotation im rechten Teil 20 der 4 deutet auf ein Abnicken des Kopfes hin. Dieses Verhalten liefert einen Ansatz zur Prognose von Fahruntüchtigkeit des betrachteten Insassen. Eine Verifizierung der Hinweise kann zusätzlich über weitere Parameter sowie über eine gegebenenfalls vorhandene Alternativsensorik erfolgen.
In 5 ist eine weitere Methode schematisch dargestellt, die im Betrachten von Schranken und Regionen, die als zulässig erachtet werden, besteht, wobei ein Überschreiten mitbetrachtet und bewertet wird, wie dies anhand des Beifahrers BF und vier zeitlich aufeinander folgende Aufnahmen der Innenraumkamera beispielhaft dargestellt ist. Dabei sind die verwendeten Schranken und Regionen nutzeradaptiv, d. h. sie werden an den Nutzer angepasst, beispielsweise an dessen Größe und Position. Ferner werden die verwendeten Schranken üblicherweise auch kontinuierlich während der Fahrt an den Nutzer angepasst, da dieser während der Fahrt beispielsweise seine bevorzugte Position verändern kann. Das fahrerabhängige Muster wird daher über einen geeigneten Lernvorgang adaptiv angepasst.
Im ersten Schritt (oberes Bild der 5) werden, wie dies bereits in der 2 erläutert wurde, Körperteile wie Kopf 13, Augenverbindungslinie 14, Oberarm 17, Unterarm 18, Unterschenkel 16 und Oberschenkel 15 mit der Bildverarbeitung erkannt, vom Hintergrund separiert, getrackt und im Weiteren als Vektorverlauf beschrieben.
Im zweiten Bild der 4 werden eine zulässige Region 22 der Augenlinie, eine zulässige Region 25 bezüglich des rechten Unterarms 18 sowie eine zulässige Region 27 für den linken Oberschenkel 15 festgelegt.
Im dritten Bild der 5 ist dargestellt, dass der neue Bereich 23 der Augenlinie 14 sich aus der zulässigen Region 22 herausbewegt hat. Mit anderen Worten, der Beifahrer schaut nach links unten. Falls daher der ursprüngliche Bereich 22 als zulässig definiert wäre, würde dies ein Hinweis auf eine Unaufmerksamkeit des Beifahrers sein, da dieser in eine nicht zulässige Richtung schaut. Für die zulässigen Region 25 des rechten Oberarms 18 und die zulässige Region 27 des linken Oberschenkels 15 hat sich in dem dritten Bild nichts verändert.
Im unteren Bild der 5 hat der Beifahrer BF seinen Kopf in die rechte Richtung gedreht, so dass die neue Augenlinienregion 24 außerhalb des zulässigen Bereichs 22 liegt. Auch hat der Beifahrer den rechten Unterarm 18 bewegt, so dass der neue Bereich 26 außerhalb des ursprünglichen Bereichs 25 des rechten Unterarms 18 zu liegen kommt. Für die Region 27 des linken Oberschenkels 15 hat sich nichts verändert.
Zusammenfassend kann daher aus der zeitlichen Überwachung der Bewegungen von Körperteilen der überwachten Person, hier des Beifahrers, auf eine wahrscheinliche Fahrfähigkeit oder Fahrunfähigkeit mit Hilfe der Innenraumkamera geschlossen werden.
Anhand der Körperhaltung/Körperbewegung und/oder der Kopfhaltung/Kopfbewegung des Fahrers zum aktuellen Zeitpunkt und über eine Zeitdauer kann mit Hilfe von mindestens zwei im Innern des Fahrzeugs angeordneten Kameras, wie beispielsweise einer Fahrerbeobachtungskamera und einer Innenraumkamera über der Mittelkonsole zwischen Fahrer und Beifahrer am Dach, die Wahrscheinlichkeit einer Fahrfähigkeit bzw. Fahrunfähigkeit des Fahrers ermittelt werden. Beispiele dafür sind bei Fahrausfall/Fahrbeeinträchtigung durch Müdigkeit, Krankheit, Herzinfarkt, Schock, bei falscher Körperhaltung wie gebeugtes Fahren, weil der Fahrer etwas sucht, emotional negativen Zuständen oder Ähnliches. Anhand der Bestimmung der Wahrscheinlichkeit der Fahrfähigkeit des Fahrers werden an den Fahrer vom Fahrzeugsystem rechtzeitig Warnungen, Handlungsempfehlungen und -hinweise gegeben, die Schwellwerte für Fahrerassistenzsysteme (FAS), wie Warnschwellwerte oder Übergabezeitpunkt an den Fahrer, können angepasst sowie generell die Übergabe eines automatischen Fahrvorganges des FAS an den Fahrer angepasst werden.
Insbesondere zeichnet sich das Verfahren durch die folgenden Punkte aus:

• Ermittlung der Körperhaltung, der Körperbewegung und/oder der Kopfhaltung/Kopfbewegung, und zwar aktuell und über einen Zeitraum,
• Ermittlung der Körperhaltung/Körperbewegung und/oder der Kopfhaltung/Kopfbewegung mit Hilfe von virtuellen Schranken, die adaptiv an den Fahrbeginn angepasst werden und auch während der Fahrt adaptiv angepasst werden können,
• Ermittlung einzelner Körper- und Kopfmerkmale, wie Oberarme, Unterarme, Schultern (Grad einer gebeugten Haltung), Kopfumriss, Nase, Mund, Augen und Ermittlung der Veränderung einzelner Körpermerkmale sowie der Proportionen zueinander (wie geneigte Kopfhaltung → z. B. Nase vorn und Mund kaum zu sehen aus der Frontalansicht, Kopfumriss kleiner), und
• Mustererkennung bei Fahrtüchtigkeit, Erkennung der Abweichung und Erkennung (Klassifikation) der Wahrscheinlichkeit der Fahruntüchtigkeit durch Mustererkennung von Körperhaltung/Körperbewegung und/oder der Kopfhaltung/Kopfbewegung (durch Mustererkennung von sich verändernden Proportionen, Art der Bewegungen innerhalb/durch die virtuellen Schranken).

Mittels des geschilderten Verfahrens können mittels der Kameras zur Erkennung des Fahrerzustands sowie gegebenenfalls weiterer sekundärer Sensorik zur Verifikation des Fahrerzustandes beispielsweise folgende medizinische Ereignisse wie Schlaganfall, Herzinfarkt oder epileptischer Anfall anhand der auftretenden Symptomatiken und der darauf erfolgenden Fahrerreaktionen detektiert werden.
Bezugszeichenliste

1: Fahrerkopf
2: Kopfhöhe
3: Kopfbreite
4: Augenhöhe
5: Mundposition
6: Mundwinkel
7: binäres Mundöffnungssignal
8: Mundöffnungsgrad
9: Augenränder
10: mittlerer Pupillenabstand
11: binäres Lidschlagsignal
12: Öffnungsgrad des Lidschlags
13: Kopf Beifahrer
14: Augenlinie
15: Oberschenkel
16: Unterschenkel
17: Oberarm
18: Unterarm
19: Torso
20: Deadband Event des Kopfes
21: Abnicken des Kopfes
22: zulässiger Bereich Augenlinie
23: abweichender Bereich Augenlinie
24: abweichender Bereich Augenlinie
25: rechter Oberarmbereich
26: abweichender rechter Oberarmbereich
27: Bereich linker Oberschenkel
XH: X-Achse Kopf
YH: Y-Achse Kopf
ZH: Z-Achse Kopf
XK: X-Achse Kamera
YK: Y-Achse Kamera
ZK: Z-Achse Kamera
XW: X-Achse Welt
YW: Y-Achse Welt
ZW: Z-Achse Welt
0H: Nullpunkt Kopfkoordinaten
0K: Nullpunkt Kamerakoordinaten
0W: Nullpunkt Weltkoordinaten
tHW: Abstand Nullpunkt Kopfkoordinaten und Nullpunkt Weltkoordinaten
θ: Rotation um X_H
ψ: Rotation um Y_H
φ: Rotation um Z_H
Δθ: Differenz
α: Rotation des Kamerakoordinatensystems gegenüber dem Weltkoordinatensystem
t: Zeit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005020847 A1 [0003]
DE 102008008555 A1 [0004]
DE 102006017855 A1 [0005]

Claims

Verfahren zu Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums, wobei die Fahrerbeobachtungskamera den Kopf des Fahrers erfasst und Bilddaten des Fahrerkopfes in zeitlicher Folge bereitstellt, und die Innenraumkamera zumindest teilweise Körperteile des Fahrers erfasst und Bilddaten der Körperteile in zeitlicher Folge bereitstellt, aus den Fahrerkopfbilddaten und den Körperteilbilddaten vorgegebene Fahrerparameter extrahiert und deren zeitliche Abfolge bestimmt wird, so dass für jeden Fahrerparameter ein Bewegungsvektor gebildet wird, Bewertung jedes Bewegungsvektors als Funktion der zeitlichen Entwicklung, und Ermittlung des Grades der Fahrfähigkeit des Fahrers als Ergebnis der Bewertung.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus den Daten der Innenraumkamera Bewegungsvektoren bezüglich der Bewegungen des Kopfes, des Torsos und/oder der Gliedmaßen des Fahrers erstellt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bewegungsvektoren mittels Markierungen der Gliedendmaßen und/oder Markierungen der Gelenke der Gliedmaßen und/oder sonstiger markanter Körpermerkmale des Fahrers erstellt werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass aus den Daten der Fahrerkamera Bewegungsvektoren bezüglich Merkmale des Kopfes und des Gesichts des Fahrers erstellt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass Kopfmerkmale und Gesichtsmerkmale durch Kopforientierung, Kopfposition, Lidschlag sowie Bewegungen von markanten Markierungen von Gesichtsmerkmale wie Augenwinkel, Mundwinkel, Nasenlöcher, Nasenspitze, Kinnspitze etc. gebildet werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bewertung eines Bewegungsvektors durch Vergleich mit statischen und dynamischen Bewegungsräumen und Bewegungsmuster erfolgt.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die statischen und dynamischen Bewegungsräume und Bewegungsmuster in den ersten Fahrminuten fahrerspezifisch generiert werden und/oder vorbestimmt werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass fahrerspezifischen statischen und dynamischen Bewegungsräume und Bewegungsmuster während der Fahrt adaptiv angepasst werden.
Vorrichtung ausgelegt zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche, aufweisend eine Kamera zur Beobachtung des Fahrerkopfes, eine Innenraumkamera zur Beobachtung der Gliedmaßen des Fahrers, eine Einrichtung zur Extraktion von Fahrerparametern aus den Daten der Kameras, eine Einrichtung zur Bildung von Bewegungsvektoren bezüglich der zeitlichen Entwicklung der Fahrerparameter, eine Einrichtung zur Bewertung der Bewegungsvektoren, und eine Einrichtung zur Ermittlung der Fahrfähigkeit des Fahrers aus den Ergebnissen der Bewertungseinrichtung.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung eine Einrichtung zum Erstellen und/oder Speichern von Referenzvektoren bezüglich der Fahrerparameter aufweist.