DE102016223909A1

DE102016223909A1 - Verfahren und Vorrichtung zur sensorgestützten Fahrerzustandsbewertung

Info

Publication number: DE102016223909A1
Application number: DE102016223909.0A
Authority: DE
Inventors: Martin Buchner; Julia Niemann; Florian Bade
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2016-12-01
Filing date: 2016-12-01
Publication date: 2018-06-07

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs. In einem Erfassungsschritt wird sensorgestützt eine Blickrichtung des Fahrers in einen relativ zum Fahrzeug definierten Sichtbereich ermittelt, wobei eine virtuelle Querschnittsfläche durch den Sichtbereich sowie eine Unterteilung dieser Querschnittsfläche in eine Mehrzahl von nichtüberlappenden Flächensegmenten, denen jeweils ein Zeitwert und eine Zeitwertschwelle zugeordnet sind, vordefiniert sind. In einem Auswahlschritt wird dasjenige der Flächensegmente als aktuelles Flächensegment bestimmt, auf das der Blick des Fahrers gemäß seiner erfassten Blickrichtung gerichtet ist. In einen Aktualisierungsschritt werden die Zeitwerte der Flächensegmente aktualisiert, wobei mittels einer vorbestimmten Operation der dem aktuellen Flächensegment zugeordnete Zeitwert relativ zu wenigstens einem der Zeitwerte der anderen Flächensegmente modifiziert wird oder umgekehrt. In einem Bewertungsschritt wird ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von einem oder mehreren der im Aktualisierungsschritt aktualisierten Zeitwerte und der ihnen jeweils zugeordneten Zeitwertschwellen bestimmt und in einem Ausgabeschritt ausgegeben.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs sowie eine Vorrichtung zur Durchführung des Verfahrens.
Moderne Fahrzeuge, insbesondere Kraftfahrzeuge wie Personenkraftwagen, Lastkraftwagen und Busse, verfügen mittlerweile über eine signifikante Anzahl von Fahrerassistenzfunktionen bzw. -systemen, die einem Fahrer des Fahrzeugs beim Steuern desselben unterstützen und gegebenenfalls schützen sollen. Bekannte Beispiele dafür sind Geschwindigkeitsregelanlagen, Bremsassistenzsysteme (z.B. Pre-Crash und Pre-Brake, Notbremssysteme zum Fußgängerschutz), Spurhalte- und Spurwechselassistenten, Einparkhilfen, Abstandsregelungen, Verkehrszeichenerkennung, Totwinkel-Überwachung, und ähnliches. Dazu gehören insbesondere Funktionen bzw. Systeme zur Ermöglichung von teilautomatisiertem oder gar hochautomatisiertem Fahren (HAF), bei denen der Fahrer, jedenfalls temporär oder in Bezug auf einen oder mehrere ausgewählte Aspekte des Fahrens, die Kontrolle über das Fahrzeug dem Fahrerassistenzsystem überlässt, und selbst nur noch eine aus Sicherheitsgründen erforderliche Überwachung der entsprechenden Systeme ausführt.
Die Qualität dieser Überwachung durch den Fahrer hängt jedoch direkt vom Grad seiner Aufmerksamkeit ab, die etwa durch Müdigkeit, gesundheitliche Beeinträchtigungen oder Alkoholeinfluss oder eine Ablenkung signifikant reduziert sein kann, sodass sich im Falle von Unaufmerksamkeiten eine Verringerung des Sicherheitsniveaus einstellen kann. Einige moderne Kraftfahrzeuge weisen bereits heute Systeme zur sogenannten Müdigkeitserkennung auf, die oft auch als Aufmerksamkeitsassistent bezeichnet werden. Dabei wird insbesondere mittels einer Überwachung der Einhaltung der Spur zwischen den Fahrbahnmarkierungen während der Fahrt durch Auswertung von Bildern einer Videokamera oder mittels einer Überwachung der Lenkbewegungen des Fahrers versucht, eine beim Fahrer auftretende Müdigkeit rechtzeitig zu erkennen und gegebenenfalls mit Warnhinweisen darauf zu reagieren.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine weiter verbesserte automatisierte Bewertung eines Fahrerzustands im Hinblick auf dessen Aufmerksamkeit bereitzustellen.
Eine Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht durch ein Verfahren gemäß Anspruch 1 zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs sowie eine Vorrichtung gemäß Anspruch 15 zur Ausführung des Verfahrens. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft somit ein Verfahren zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs. Dabei weist das Verfahren die folgenden Schritte auf: einen Erfassungsschritt, bei dem sensorgestützt eine Blickrichtung des Fahrers in einen relativ zum Fahrzeug definierten Sichtbereich ermittelt wird, wobei eine virtuelle Querschnittsfläche durch den Sichtbereich sowie eine Unterteilung dieser Querschnittsfläche in eine Mehrzahl von nichtüberlappenden Flächensegmenten, denen jeweils ein Zeitwert und eine Zeitwertschwelle zugeordnet sind, vordefiniert sind; einen Auswahlschritt, bei dem, bevorzugt mittels einer mathematischen Abbildung, dasjenige der Flächensegmente als aktuelles Flächensegment bestimmt wird, auf das der Blick des Fahrers gemäß seiner erfassten Blickrichtung gerichtet ist; einen Aktualisierungsschritt, bei dem die Zeitwerte der Flächensegmente aktualisiert werden, wobei mittels einer vorbestimmten Operation der dem aktuellen Flächensegment zugeordnete Zeitwert relativ zu wenigstens einem der Zeitwerte der anderen Flächensegmente modifiziert wird oder umgekehrt; einen Bewertungsschritt, bei dem ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von einem oder mehreren der im Aktualisierungsschritt aktualisierten Zeitwerte und der ihnen jeweils zugeordneten Zeitwertschwellen bestimmt; und ein Ausgabeschritt, bei dem der im Bewertungsschritt bestimmte Fahrerzustand ausgegeben wird. Das Verfahren kann insbesondere als computer-implementiertes Verfahren ausgebildet sein.
Unter einem „Sichtbereich“ im Sinne der Erfindung ist ein relativ zum Fahrzeug definierter, zusammenhängender oder aber alternativ auch in mehrere separate Einzelabschnitte unterteilter Raumwinkelbereich zu verstehen, der der Beobachtung durch einen Fahrer zugänglich ist, wenn dieser eine Fahrerposition im Fahrzeug einnimmt.
Insbesondere enthält der Sichtbereich in der Regel zumindest einen auf den Außenraum des Fahrzeugs, insbesondere dessen Vorfeld, sowie einen auf seinen Innenraum, insbesondere die Instrumententafel des Fahrzeugs, gerichteten Raumwinkelbereich.
Unter einer „Blickrichtung“ des Fahrers ist somit eine sensorgestützt ermittelte Richtung zu verstehen, der entlang der Blick des Fahrers von seinem Kopf, insbesondere seinen Augen ausgehend, in den als Sichtbereich definierten Raumwinkelbereich hinein gerichtet ist. Die Blickrichtung kann insbesondere im Sinne einer einzigen Blicklinie idealisiert sein, ohne jedoch darauf eingeschränkt zu sein.
Unter einer „virtuellen Querschnittsfläche durch den Sichtbereich“ ist entsprechend eine vordefinierte zweidimensionale virtuelle Fläche zu verstehen, die so durch den Raumwinkelbereich des Sichtbereichs gelegt ist, dass sie diesen schneidet und damit einen Querschnitt dazu bildet. Der vom Fahrer aus gesehen hinter der Querschnittsfläche liegende Teil des Sichtbereichs ist somit durch die Querschnittsfläche hindurch für den Fahrer sichtbar. Die virtuelle Querschnittfläche selbst ist nicht körperlich, sie kann jedoch, insbesondere auch nur abschnittsweise, mit einer körperlichen Fläche, wie etwa einer Windschutzscheibe oder einer Instrumententafel des Fahrzeugs zusammenfallen. Die Unterteilung der virtuellen Querschnittsfläche kann insbesondere im Sinne einer mathematischen Parkettierung, d.h. einer lückenlosen und überlappungsfreien Überdeckung der Ebene durch gleichförmige Teilflächen (Flächensegmente) erfolgen. Bei der Überdeckung kann es sich bevorzugt um eine Tesselation, also um eine Überdeckung mit Hilfe von Primitiven („primitiven“ Flächen-Formen als Flächensegmente, möglichst mit einfachen Polygonen, insbesondere Rechtecken) handeln. Insbesondere können die „Flächensegmente“ rechteckig sein.
Unter einem „Flächensegment, auf das der Blick des Fahrers gemäß seiner erfassten Blickrichtung gerichtet ist“ ist ein solches Flächensegment der Überdeckung zu verstehen, durch das die Blickrichtung des Fahrers zum Zeitpunkt der Erfassung verläuft, sodass der Fahrer durch dieses Flächensegment hindurch in den dahinterliegenden Teil des Sichtbereichs blickt. Im einfachsten Fall, wenn man die Blickrichtung idealisiert auf eine einzige Linie reduziert, handelt es sich dabei somit um ein Flächensegment, das durch diese Linie geschnitten wird, welche im Regelfall zumindest näherungsweise als Gerade angenommen werden kann.
Unter einem „Zeitwert“ im Sinne der Erfindung, ist ein, bevorzugt als Variable definierter, Parameter zu verstehen, der einem Flächensegment zugeordnet ist und dessen Parameterwert zumindest näherungsweise ein Maß dafür darstellt, wie lange die Blickrichtung des Fahrers (schon) auf dieses Flächensegment gerichtet ist oder war. Der Wert kann insbesondere ein numerischer Wert sein, ohne jedoch darauf beschränkt zu sein. Insbesondere kann der Zeitwert als auf eine Bezugsgröße bezogener relativer Wert definiert sein, etwa als Prozentzahl, die ausdrückt zu welchem Zeitanteil an einer vorbestimmten Gesamtzeitspanne die Blickrichtung des Fahrers auf das Flächensegment gerichtet war, dem der Zeitwert zugeordnet ist.
Unter einer „Operation“, mit welcher der dem aktuellen Flächensegment zugeordnete Zeitwert relativ zu wenigstens einem der Zeitwerte der anderen Flächensegmente modifiziert wird, oder umgekehrt, ist ein Datenverarbeitungsschritt oder eine Gruppe mehrere zusammenhängender Datenverarbeitungsschritte zu verstehen, die auf einen oder mehrere der Zeitwerte so wirkt, dass sich dabei ein gemäß einem für die Zeitwerte definierten Abstandsmaß bestimmbarer Abstand zwischen einem dem aktuellen Flächensegment zugeordnete Zeitwert und wenigstens einem einem anderen Flächensegment zugeordneten Zeitwert dabei ändert. Insbesondere kann die Operation mittels Inkrementieren oder Dekrementieren, d.h. ein Addieren eines vorbestimmten Werts zu bzw. ein Subtrahieren eines solchen Werts von einem oder mehreren der Zeitwerte implementiert sein. So kann etwa in einer Variante im Aktualisierungsschritt der dem aktuellen Flächensegment zugeordnete Zeitwert um einen vorbestimmten Schrittwert inkrementiert oder dekrementiert werden, während die den anderen Flächensegmenten zugeordneten Zeitwerte gegenläufig dekrementiert bzw. inkrementiert werden oder unverändert bleiben. In einer anderen Variante werden umgekehrt die Zeitwerte eines oder mehrerer, bevorzugt aller, der anderen Flächensegmente dekrementiert oder inkrementiert, während der dem aktuellen Flächensegment zugeordnete Zeitwert unverändert oder gegenläufig inkrementiert bzw. dekrementiert wird. Darüber hinaus sind auch verschiedenste andere, insbesondere andere mathematische, Operationen möglich.
Das vorgenannte Verfahren zur Bewertung eines Fahrerzustands beruht somit auf der selektiven sensorischen Erfassung von Blickrichtungen des Fahrers auf bestimmte Flächensegmenten der virtuellen Querschnittsfläche im Sichtbereich. Als Sensoren kommen dazu insbesondere eine oder mehrere Kameras im Zusammenspiel mit geeigneten Bildverarbeitungsverfahren, etwa solchen, wie sie auch aus dem Stand der Technik bekannt sind, infrage. Insbesondere sind kameragestützte Gestenerkennungsverfahren mit entsprechenden Bildanalysealgorithmen bereits von Spielkonsolen („Eyetoy“ Platform von Logitech Inc. oder „Kinect“ von Microsoft Inc.) bekannt.
Wird bei dem Verfahren etwa erkannt, dass der Blick des Fahrers, jedenfalls über längere Zeit hinweg, auf ein oder mehrere Flächensegmente gerichtet ist, die nicht zu einem Blick auf das Vorfeld des Fahrzeugs korrespondieren, sondern etwa zu einem Blick auf die Instrumententafel oder den Fahrzeughimmel, so kann daraus auf einen nicht ausreichenden Aufmerksamkeitszustand des Fahrers geschlossen werden. Wenn andererseits der Blick des Fahrers, jedenfalls über eine längere Zeit hinweg oder häufig, auf ein oder mehrere Flächensegmente gerichtet ist, die zu einem Blick in das Vorfeld des Fahrzeugs korrespondieren, so kann davon ausgegangen werden, dass bei Vorwärtsfahrt eine ausreichende Aufmerksamkeit des Fahrers vorhanden ist. Auf diese Weise kann eine Fahrzustandsbewertung schon allein auf Basis einer Detektion der Blickrichtung erfolgen, insbesondere ohne dass zusätzlich sensorische Messungen direkt am Körper des Fahrers erforderlich wären. Mithilfe einer entsprechenden Unterteilung ist es zudem möglich, nicht nur eine grobe Erfassung des Fahrerzustands im Sinne von „Aufmerksam“ oder „unaufmerksam“, sondern eine differenzierte Bewertung eines Fahrerzustands in Abhängigkeit seiner Blickrichtungen und der Verweildauer der Blicke entlang dieser Blickrichtungen vorzunehmen.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens deren Weiterbildungen beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird, beliebig miteinander sowie mit den im Weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Gemäß einer ersten bevorzugten Ausführungsform erfolgt im Erfassungsschritt das Ermitteln der aktuellen Blickrichtung mittels sensorischer Erfassung einer Kopfpose des Fahrers und/oder einer Ausrichtung seiner Augen, letzteres insbesondere relativ zum Kopf des Fahrers. Auf diese Weise lässt sich die aktuelle Blickrichtung schon mit begrenztem Aufwand indirekt über die Erfassung der Kopfpose bzw. der Ausrichtung der Augen ermitteln. Dies kann insbesondere auch zu einer höheren Genauigkeit führen, als bei Verfahren, bei denen die Blickrichtung direkt zu bestimmen ist.
Gemäß einer weiteren bevorzugten Ausführungsform wird im Erfassungsschritt des Weiteren ein Augenzustand des Fahrers sensorisch erfasst. Zudem wird im Aktualisierungsschritt des Weiteren ein definierter Augenzustandswert mittels einer vorbestimmten Modifikation aktualisiert. Außerdem erfolgt im Bewertungsschritt das Bestimmen des aufmerksamkeitsbezogenen Fahrerzustands zusätzlich in Abhängigkeit von dem aktualisierten Augenzustandswert. Optional kann der Augenzustandswert auch mit dem ersten Zeitwert zusammenfallen, sodass die Modifikation einer Operation bezüglich des Zeitwerts entspricht, wie vorausgehend beschrieben. Der erfasste Augenzustand kann vorteilhaft insbesondere einen Öffnungszustand der Augen, ein Blinzelverhalten, kleine unbewusste Augenbewegungen, oder eine absolute oder relative Größe der Pupille repräsentieren, da diese Augenzustände regelmäßig mit der Aufmerksamkeit des Fahrers korreliert sind. Auf diese Weise kann die Zuverlässigkeit oder Genauigkeit der Fahrzustandsbewertung weiter erhöht werden.
Gemäß einer bevorzugten Variante dazu wird gemäß der vorbestimmten Modifikation der Augenzeitwert entweder inkrementiert oder dekrementiert, wenn der zuvor erfasste Augenzustand anzeigt, dass wenigstens ein Auge des Fahrers geschlossen ist. Der Augenzeitwert wird anderseits gegenläufig dazu dekrementiert bzw. inkrementiert, oder auf einen vordefinierten Ausgangswert gesetzt, wenn der zuvor erfasste Augenzustand anzeigt, dass die Augen des Fahrers geöffnet sind. Auf diese Weise kann besonders einfach und effizient der Augenzustand des Fahrers, insbesondere fortlaufend, bestimmt werden und als eine Basis für die im Bewertungsschritt vorzunehmende Fahrzustandsbewertung herangezogen werden.
Gemäß einer weiteren bevorzugten Ausführungsform ist die virtuelle Querschnittsfläche derart in die Flächensegmente unterteilt, dass wenigstens eines der Flächensegmente zu einer auf die äußere Umgebung des Fahrzeugs gerichteten Blickrichtung des Fahrers korrespondiert und wenigstens ein weiteres der Flächensegmente zu einer auf zumindest einen Bereich der Innenausstattung, insbesondere die Instrumententafel oder den Dachhimmel des Fahrzeugs, gerichteten Blickrichtung des Fahrers korrespondiert. Auf diese Weise kann das Verfahren erkennen, ob der Fahrer die äußere Umgebung des Fahrzeugs oder stattdessen einen Teil der Innenausstattung im Blick hat. Dies lässt wiederum Rückschlüsse auf die Aufmerksamkeit des Fahrers zu, insbesondere im Hinblick auf bestimmte Fahrsituationen, die bei der Bewertung des Fahrerzustands berücksichtigt werden können.
Gemäß einer weiteren bevorzugten Ausführungsform weist der Erfassungsschritt als Teilschritte einen Fahrbahnerfassungsschritt, bei dem ein in Fahrtrichtung vor dem Fahrzeug liegender Fahrbahnverlauf sensorisch erfasst wird, und/oder einen Objekterfassungsschritt auf, bei dem ein außerhalb des Fahrzeugs befindliches Objekt sensorisch erfasst wird. Dabei werden die Unterteilung der virtuellen Querschnittsfläche in Flächensegmente oder die den Flächensegmenten zugeordneten Zeitwertschwellen oder beide dynamisch in Abhängigkeit von dem erfassten Fahrbahnverlauf bzw. dem erfassten Objekt vordefiniert. Bei der dynamischen Unterteilung kann insbesondere die Lage der einzelnen Flächensegmente und/oder deren Orientierung angepasst werden. Letzteres kann bevorzugt in Abhängigkeit von einer erfassten Neigung des Fahrbahnverlaufs erfolgen. Mittels der Dynamisierung kann insbesondere zumindest ein Flächensegment definiert bzw. entsprechend angepasst werden, das zu dem tatsächlich erfassten Fahrbahnverlauf bzw. Objekt korrespondiert.
Eine dynamische Anpassung der Zeitwertschwellen ist insbesondere dann vorteilhaft anwendbar, wenn sich dynamisch Änderungen der Fahrsituation ergeben, bei denen der Aufmerksamkeitsschwerpunkt des Fahrers situationsbedingt bei bestimmten Blickrichtungen liegen sollte. So liegt etwa beim Rechtsabbiegen der ideale Aufmerksamkeitsschwerpunkt regelmäßig auf der rechts vom Fahrer liegenden Seite des Fahrers, so dass es zweckmäßig ist, die Zeitwertschwellen der auf der rechten Seite liegenden Flächensegmente beim Rechtsabbiegen relativ zu denen auf der linken Seite anzupassen, insbesondere zu erhöhen, um dem Rechnung zu tragen. Bei erkannten Objekten, etwa Fußgängern oder Hindernissen im Fahrbahnverlauf, kann entsprechend eine Änderung der Zeitwertschwellen so vorgenommen werden, dass die Zeitwertschwellen für die Flächensegmente, die abhängig von der relativen Position des Objekts besonderer Aufmerksamkeit bedürfen, relativ zu den Zeitwertschwellen der anderen Flächensegmente angepasst, insbesondere erhöht werden.
Im Bewertungsschritt kann dann im Rahmen der Bestimmung des Fahrerzustands in Abhängigkeit der dem bzw. diesen Flächensegmenten jeweils zugeordneten Zeitwerte und Zeitwertschwellen eine fahrbahnbezogene bzw. objektbezogene Aufmerksamkeit bestimmt werden. Der Fahrbahnverlauf kann insbesondere mittels eines Fahrbahnmodells bestimmt werden.
Gemäß einer weiteren bevorzugten Ausführungsform wird zumindest einem der Flächensegmente, bevorzugt jedem der Flächensegmente, jeweils eine Mehrzahl verschiedener Zeitwertschwellen zugeordnet und im Bewertungsschritt berücksichtigt. So können insbesondere jeweils zwischen einer Mindestzeitwertschwelle und einer zugeordneten Maximalzeitwertschwelle liegende Zeitwertzielintervalle definiert werden und im Bewertungsschritt geprüft werden, ob der Zeitwert eines bestimmten, insbesondere des aktuellen, Flächensegments innerhalb des Zeitwertintervalls liegt, um daraus auf die Aufmerksamkeit des Fahrers zu schließen.
Gemäß einer weiteren bevorzugten Ausführungsform wird im Bewertungsschritt der aufmerksamkeitsbezogene Fahrerzustand in Abhängigkeit vom Ergebnis eines oder mehrerer Vergleiche bestimmt, bei denen jeweils einer der aktualisierten Zeitwerte mit der zumindest einen ihm zugeordneten Zeitwertschwelle verglichen wird. Dies kann vorzugsweise insbesondere so erfolgen, dass für wenigstens einen der Zeitwerte, insbesondere einem dem aktuellen Flächensegment zugeordneten Zeitwert, eine Mindestzeitwertschwelle definiert wird, und der Fahrerzustand in Abhängigkeit davon bestimmt wird, ob der aktuelle Zeitwert unterhalb oder oberhalb der Mindestzeitwertschwelle liegt. Wenn der aktuelle Zeitwert oberhalb der Mindestzeitwertschwelle liegt wird eine ausreichende oder hohe Aufmerksamkeit des Fahrers festgestellt, andernfalls ein Aufmerksamkeitsmangel. Eine Mindestzeitwertschwelle kann insbesondere für zumindest ein Flächensegment definiert sein, das zu einer Blickrichtung des Fahrers auf das unmittelbare Vorfeld des Fahrzeugs korrespondiert. Diese Ausführungsform ermöglicht insbesondere eine effiziente und einfache echtzeitfähige Implementierung des Bewertungsschritts auf Basis eines oder optional mehrerer einfacher Vergleichsoperationen.
Gemäß einer weiteren bevorzugten Ausführungsform wird im Bewertungsschritt der aufmerksamkeitsbezogene Fahrerzustand zusätzlich in Abhängigkeit von wenigstens einem früheren Ergebnis der Fahrerzustandsbewertung bestimmt. Auf diese Weise lassen sich insbesondere Veränderungen der Aufmerksamkeit des Fahrers erkennen. Darauf beruhend können vorteilhaft aufmerksamkeitsabhängige Assistenz- oder Warnfunktionen des Fahrzeugs implementiert werden, wie etwa das Auslösen von Warnhinweisen, wenn die Aufmerksamkeit des Fahrers sinkt, oder die Erhöhung des Fahrkomforts durch Verzögerung des Auslösezeitpunkts von korrigierenden Fahrassistenzmaßnahmen oder Warnhinweisen, wenn eine Steigerung der Aufmerksamkeit festgestellt wird.
Gemäß einer weiteren bevorzugten Ausführungsform wird im Bewertungsschritt der aufmerksamkeitsbezogene Fahrerzustand zusätzlich in Abhängigkeit von einer aktuellen, sensorisch erfassten Fahrsituation, insbesondere einer Verkehrssituation oder einem Fahrzeugzustand oder beidem, bestimmt. So kann vorteilhaft, insbesondere in besonders komplexen Fahrsituationen wie etwa in unübersichtlichen Kreuzungen oder bei hohen Geschwindigkeiten, eine höhere Anforderung an die Aufmerksamkeit des Fahrers dadurch gestellt werden, dass die Abhängigkeit des im Bewertungsschritt zu bestimmenden Fahrerzustands von den zu seiner Bestimmung herangezogenen Größen, so verändert wird, etwa durch Anpassung der Zeitwertschwellen, dass der zu bestimmende Fahrerzustand nur dann den Fahrer als aufmerksam oder ausreichend aufmerksam charakterisiert, wenn das sensorisch erfasste Verhalten des Fahrers zu einem erhöhten Grad an Aufmerksamkeit korrespondiert. Bei Fahrsituationen, die dagegen nur eine geringe Aufmerksamkeit hat des Fahrers erfordern, kann umgekehrt die Abhängigkeit des zu bestimmenden Fahrerzustands von den zu seiner Bestimmung herangezogenen Größen so verändert werden, dass der Fahrerzustand auch bereits dann den Fahrer als aufmerksam bzw. ausreichend aufmerksam charakterisiert, wenn das sensorisch erfasste Verhalten des Fahrers zu einem geringeren Grad an Aufmerksamkeit, etwa zu einem mittleren Grad an Aufmerksamkeit korrespondiert.
Gemäß einer weiteren bevorzugten Ausführungsform, die bevorzugt auch mit der unmittelbar vorausgehend beschriebenen Ausführungsform kombiniert ist, wird im Bewertungsschritt nur dann der aufmerksamkeitsbezogene Fahrerzustand so bestimmt, dass er den Fahrer als aufmerksam oder ausreichend aufmerksam charakterisiert, wenn die im Aktualisierungsschritt bestimmten Zeitwerte der Flächensegmente einer statisch oder dynamisch vorbestimmten und nichtleeren echten Untermenge der Flächensegmente einzeln oder insgesamt ein in Abhängigkeit von den Zeitwertschwellen dieser Flächensegmente definiertes Aufmerksamkeitskriterium erfüllen. Die Untermenge kann insbesondere so gewählt sein, dass sie nur ein oder mehrere Flächensegmente enthält, die sämtlich zu einem Blick auf das in Fahrtrichtung liegende Fahrzeugvorfeld, einen situationsbedingt ausgewählten Ausschnitt des Fahrzeugumfelds (etwa einem linksseitigen Ausschnitt des Sichtbereichs beim Linksabbiegen und einem rechtsseitigen Ausschnitt des Sichtbereichs beim Rechtsabbiegen), oder einem im Sichtbereich liegenden Fahrbahnverlauf korrespondieren. Insbesondere im letztgenannten Fall kann eine dynamische Anpassung der Auswahl der Flächensegmente für die Untermenge vorteilhaft sein. Das Aufmerksamkeitskriterium kann bevorzugt mittels Kumulation bzw. Addition oder Mittelung der Zeitwertschwellen der einzelnen Flächensegmente der Untermenge gebildet werden. So können etwa in einer Variante, zumindest temporär, ein aus den Flächensegmenten der Untermenge bestehendes „Supersegment“ gebildet werden, und diesem das Aufmerksamkeitskriterium als Zeitwertschwelle und ein kumulierter Wert der Zeitwerte dieser Flächensegmente als Zeitwert des Supersegments zugeordnet werden. Zur Bestimmung des Fahrerzustands kann dann dieser Zeitwert mit dem Aufmerksamkeitskriterium verglichen werden.
Gemäß einer weiteren bevorzugten Ausführungsform wird der aufmerksamkeitsbezogene Fahrerzustand als einer der folgenden Parameter oder als eine mittels mehrerer der folgenden Parameter gebildete Parameterkombination bestimmt und ausgegeben: (i) ein absoluter Aufmerksamkeitsgrad; (ii) ein relativer Aufmerksamkeitsgrad, der relativ zu einer situationsabhängig bestimmten Aufmerksamkeitsanforderung bestimmt ist; (iii) ein auf Basis der Flächensegmente und ihrer zugeordneten Zeitwerte bestimmter ortsbasierter Aufmerksamkeitsgrad, der angibt wo, insbesondere in welcher Blickrichtung bzw. in welchem der Flächensegmente, ein Aufmerksamkeitsschwerpunkt des Fahrers liegt oder wie die Aufmerksamkeitsverteilung bezüglich der einzelnen Flächensegmente oder von Gruppierungen davon verläuft. Dabei ist der jeweilige Aufmerksamkeitsgrad aus einem vorbestimmten, insbesondere binären, diskreten oder kontinuierlichen ein- oder mehrdimensionalen Wertebereich entnommen. So kann etwa ein absoluter Aufmerksamkeitsgrad pauschal mittels eines zu „aufmerksam“ bzw. „nicht aufmerksam“ korrespondierenden Binärwertes bestimmt werden oder anhand einer endlichen Anzahl diskreter, geordneter Aufmerksamkeitswerte, entsprechend einer diskreten Aufmerksamkeitsskala. Selbst mehrdimensionale Aufmerksamkeitsgrade sind denkbar, wie etwa eine zweidimensionale Kombination aus einem nur auf Basis einer Untermenge der Flächensegmente bestimmten Aufmerksamkeitsgrad und einer Identifikation dieser Untermenge, womit sich ein Blickrichtungsabhängiger bzw. untermengenabhängiger Aufmerksamkeitsgrad implementieren lässt.
Gemäß einer weiteren bevorzugten Ausführungsform weist das Verfahren des Weiteren einen Aktionsschritt auf, bei dem wenigstens eine Funktionalität des Fahrzeugs in Abhängigkeit von dem im Ausgabeschritt ausgegebenen aufmerksamkeitsbezogenen Fahrerzustand gesteuert oder konfiguriert wird. Das Verfahren erlaubt es somit, den sensorisch erfassten aufmerksamkeitsbezogenen Fahrerzustand zur Steuerung bzw. Konfiguration des Fahrzeugs, insbesondere zusätzlich zu anderen Eingangsgrößen, heranzuziehen und somit eine Voll- oder Teilautomatisierung einer solchen Steuerung bzw. Konfiguration zu verbessern. Dies kann insbesondere zur Erhöhung der Sicherheit beim Fahren oder des Komforts bei der Benutzung des Fahrzeugs, etwa im Rahmen eines Fahrerassistenzverfahrens bzw. -systems eingesetzt werden.
Gemäß bevorzugter Ausführungsformen dazu ist die im Aktionsschritt gesteuerte oder konfigurierte Funktionalität des Fahrzeugs wenigstens eine der folgenden: (i) Freihändiges Fahren, insbesondere dauerhaftes oder überwiegend freihändiges Fahren oder Wiederanfahren bei freihändiger Fahrt; (ii) Ausgabe von Informations- oder Warnhinweisen, insbesondere Art und/oder Zeitpunkte einer solchen Ausgabe, etwa im Rahmen einer Müdigkeitserkennung und -signalisierung; (iii) Querverkehrsassistenz; (iv) Spurwechselassistenz; (v) Bremsen, insbesondere Festlegung eines Zeitpunkts zum Vorspannen der Bremsen bei Unterschreitung eines Mindestabstands zu einem vorausfahrenden Fahrzeug oder einem Hindernis; (vi) eine Funktionalität der Innenausstattung des Fahrzeugs, insbesondere der Sitzeinstellung, der Innenbeleuchtung, einer Klimatisierungsfunktionalität oder einer Unterhaltungsfunktionalität des Fahrzeugs; (vii) eine Ausgabe des zuvor bestimmten aufmerksamkeitsbezogenen Fahrerzustands über eine Mensch-Maschine-Schnittstelle, insbesondere als optisches, akustisches oder haptisches Signal.
Gemäß einer weiteren bevorzugten Ausführungsform wird das Verfahren regelmäßig oder fortlaufend wiederholt ausgeführt, bevorzugt fortlaufend im Sinne einer Schleife. Auf diese Weise kann der auf aufmerksamkeitsbezogenen Fahrerzustand kontinuierlich überwacht und ausgegeben werden, insbesondere zur Steuerung einer oder mehrerer Fahrzeugfunktionalitäten, wie vorausgehend beschrieben. Somit kann auch auf Veränderungen des aufmerksamkeitsbezogenen Fahrerzustands, insbesondere auch kurzfristig, reagiert werden.
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zur sensorgestützten Fahrerzustandsbewertung, wobei die Vorrichtung eingerichtet ist, das Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen. Das vorausgehend jeweils für den ersten Aspekt der Erfindung Gesagte trifft somit gleichermaßen auf den zweiten Aspekt Erfindung zu. Insbesondere kann die Vorrichtung eingerichtet sein, das Verfahren gemäß einer oder mehrerer seiner hierin beschriebenen Ausführungsformen und Varianten auszuführen. Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.
Dabei zeigt:

1 schematisch eine Anordnung zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, gemäß einer bevorzugten Ausführungsform der Erfindung;
2 eine Illustration einer anhand von Winkelgraden vorgenommenen Unterteilung einer virtuellen Querschnittsfläche durch den Sichtbereich für den Fahrer eines Fahrzeugs in eine Mehrzahl von nichtüberlappenden Flächensegmenten und jeweils beispielhafte Zeitwerte dazu, gemäß einer bevorzugten Ausführungsform der Erfindung;
3 die Unterteilung aus 2 mit einer Zuordnung von als Mindestzeitwertschwellen definierten Zeitwertschwellen zu den Flächensegmenten für den Fall des Linksabbiegens, gemäß einer bevorzugten Ausführungsform der Erfindung;
4A und 4B ein Flussdiagramm zur Veranschaulichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens; und
5 eine Illustration einer beispielhaften Abhängigkeit des Zeitwerts eines Flächensegments von der Zeit, gemäß einer bevorzugten Ausführungsform der Erfindung.

In den nachfolgenden Figuren, werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechende Elemente der Erfindung verwendet.
Zunächst wird auf 1 Bezug genommen. Sie zeigt eine Anordnung 1 zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers 6 eines Fahrzeugs, hier beispielhaft eines Kraftfahrzeugs, gemäß einer bevorzugten Ausführungsform der Erfindung. Die Anordnung 1 weist ein mittels einer oder mehrerer Digitalkameras ausgebildetes Sensorsystem 2 zur Erfassung einer Blickrichtung des Fahrers 6 relativ zu einem im Fahrzeug definierten Bezugssystem, insbesondere relativ zu einer Referenzblicklinie 14, auf. Das Sensorsystem 2 ist mit einer Verarbeitungseinheit 3 signalverbunden und eingerichtet, die von ihm sensorisch erfassten Daten an die Verarbeitungseinheit 3 weiterzuleiten. Diese ist, insbesondere mittels einer entsprechenden Programmierung, eingerichtet, diese Daten zur Ermittlung eines aufmerksamkeitsbezogenen Fahrerzustands des Fahrers 6 auszuwerten und den ermittelten Fahrerzustand in Form entsprechender ihn charakterisierender Ausgangsdaten an einer Ausgangsschnittstelle 5 einem oder mehreren Steuergeräten 4 des Fahrzeugs zu deren Steuerung oder Konfigurierung bereit zu stellen. Die Verarbeitungseinheit 3 verfügt dazu über mindestens einen Prozessor sowie einen zugeordneten Programm- und Datenspeicher. Die Ausgangsschnittstelle 5 kann insbesondere als Anschluss an ein Bussystem des Fahrzeugs ausgebildet sein. Das Sensorsystem 2, die Verarbeitungseinheit 3 sowie deren Ausgangsschnittstelle 5 bilden zusammen eine bevorzugte Ausführungsform der erfindungsgemäßen Vorrichtung, die wiederum als Teilsystem für das Fahrzeug ausgelegt ist.
Das Sensorsystem 2 wird bevorzugt oberhalb einer Windschutzscheibe 8 des Fahrzeugs so angeordnet, dass sich das Gesicht eines Fahrers 6 und insbesondere dessen Augen 7 in einem Erfassungsbereich 13 („Eye-Box“) des Sensorsystems 2 befinden, wenn ein Fahrer 6 eine typische Fahrposition einnimmt. Dies ist insbesondere der Fall, wenn er auf dem Fahrersitz des Fahrzeugs Platz nimmt und durch die Windschutzscheibe 8 auf das externe Vorfeld des Fahrzeugs blickt. Aufgrund der Beweglichkeit des Fahrers 6 selbst, seines Kopfes sowie seiner Augen 7 ist der vom Erfassungsbereich 13 aus als Raumwinkel bestimmte Sichtbereich des Fahrers 6 (vgl. Definition oben) jedoch nicht auf das externe Fahrzeugvorfeld beschränkt, sondern kann insbesondere auch Abschnitte des Fahrzeuginneren einschließen, wie etwa die Instrumententafel 10, das Lenkrad 11 oder, beim Blick nach oben das Dach des Fahrzeugs. So stellt hier insbesondere das untere Ende 9 der Windschutzscheibe 8 einen Übergang dar zwischen einem Abschnitt des Sichtbereichs, der zu einem Blick auf das externe Umfeld des Fahrzeugs durch die Windschutzscheibe korrespondiert, und einem weiteren Abschnitt des Sichtbereichs, der zu einem Blick auf die Instrumententafel 10 des Fahrzeugs korrespondiert. Quer zur Blickrichtung des Fahrers 6 auf das Fahrzeugvorfeld ist eine virtuelle Querschnittsfläche 12 durch den Sichtbereich, also den entsprechenden von dem Erfassungsbereich 13 ausgehenden Raumwinkelbereich, vordefiniert.
In 2 ist gemäß einer bevorzugten Ausführungsform eine anhand von Winkelgraden vorgenommene Unterteilung der quer, bevorzugt senkrecht, zur Referenzblicklinie 14 festgelegten virtuellen Querschnittsfläche 12 durch den Sichtbereich in eine Mehrzahl von nichtüberlappenden, rechteckigen Flächensegmenten dargestellt. Dazu wird die Referenzblicklinie als eine virtuelle, von einem bestimmten, bevorzugt zentralen, Punkt im Erfassungsbereich 13 aus durch den Sichtbereich in das Fahrzeugvorfeld gerichtete Gerade 14 definiert, der gegenüber die Knotenpunkte der einer unregelmäßigen Matrix entsprechenden Unterteilung mittels entsprechender, bevorzugt horizontaler und vertikaler, Winkelabweichungen definiert sind. Die Unterteilung weist hier drei übereinanderliegende Abschnitte 15 bis 17 auf, die zu unterschiedlichen Winkelbereichen in vertikaler Richtung korrespondieren. Der untere Abschnitt 15 korrespondiert zu einem Teil des Sichtbereichs, bei dem der Blick des Fahrers 6 von dem Erfassungsbereich 13 aus auf einen unterhalb der Windschutzscheibe 8 bzw. deren unterem Ende 9 angeordneten Teil der Innenraumausstattung des Fahrzeugs gerichtet ist. Insbesondere kann die Instrumententafel 10 in diesem Abschnitt liegen oder deckungsgleich damit sein. Der mittlere Abschnitt 16 korrespondiert zu einem Blick durch die Windschutzscheibe 8 in das Fahrzeugvorfeld, während der obere Abschnitt 17 zu einem Blick des Fahrers 6 auf das Dach der Fahrgastzelle des Fahrzeugs, d.h. dem sogenannten „Dachhimmel“, korrespondiert bzw. bei einem Cabrio zum freien Blick nach oben, insbesondere über die Windschutzscheibe hinaus. Das Sensorsystem 2 ist eingerichtet, das Gesicht des Fahrers 6 laufend zu erfassen und entsprechende Bildaufnahmen zu erzeugen und an die Auswerteeinheit 3 weiterzuleiten. Diese ist eingerichtet mittels Auswertung der Bildaufnahmen festzustellen, an welchem Punkt „x“ eine sich aus der Position des Kopfes des Fahrers 6 im Erfassungsbereich 13, der dabei eingenommenen Kopfpose sowie der Ausrichtung der Augen 7 relativ zum Kopf mittels einer geometrischen Abbildung berechnete Blickrichtung des Fahrers 6 die Querschnittsfläche 12 schneidet. Dabei wird vorzugsweise die Blickrichtung nicht für jedes Auge einzeln, sondern zusammenfassend für beide Augen bestimmt und verläuft zum Beispiel von einem Mittelpunkt der Verbindungslinie beider Augen aus senkrecht dazu zum Punkt „x“ (Nasenvektor).
Zumindest für jedes Flächensegment aus einer Untermenge der Flächensegmente, bevorzugt für jedes aller Flächensegmente, wird ein zugeordneter Zeitwert β erfasst, der dazu korrespondiert, wie lange der Blick des Fahrers (Nasenvektor) auf das jeweilige Flächensegment gerichtet war. Eine bevorzugte Ausführungsform zur Bestimmung solcher Zeitwerte β wird nachfolgend im Zusammenhang mit 5 beschrieben werden. Die Zeitwerte β können insbesondere als Prozentangaben definiert sein, sodass sich ein Wertebereich zwischen 0 % und 100 % ergibt.
Im Beispiel der 2, sind für vier Flächensegmente in der linken Hälfte des Sichtbereichs bzw. der Querschnittsfläche 12, der für Linkslenker-Kraftfahrzeuge zur Fahrerseite korrespondiert, jeweils Zeitwerte β ungleich Null bestimmt worden. Für alle weiteren Segmente wurde dagegen β = 0 bestimmt, d.h. die Blickrichtung des Fahrers war zumindest seit längerem nicht mehr auf diese anderen Flächensegmente gerichtet. Zumindest für die genannten vier Flächensegmente wurden zudem jeweils eine Zeitwertschwelle definiert, die wahlweise als Minimalschwelle oder maximalschwelle festgelegt sein kann. So ist etwa zu dem oberen linken der vier Flächensegmente eine Maximalschwelle βmax = 7 definiert, und zu dem rechts danebenliegenden Flächensegment eine Minimalschwelle βmin = 75. Dies bedeutet, dass nur dann auf eine zumindest ausreichende Aufmerksamkeit des Fahrers 6 geschlossen wird, wenn der Zeitwert β für das obere linke der vier Segmente höchstens 15 und zugleich der Zeitwert β für das rechte obere Flächensegment mindestens 75 beträgt, was zu einer deutlich überwiegenden Blickrichtung geradeaus in Fahrtrichtung korrespondiert. Die beiden darunterliegenden Segmente fügen dem auf gleiche Weise noch weitere Bedingungen hinzu. Wie man sieht, sind in diesem Beispiel sämtliche der vier gestellten Bedingungen erfüllt, sodass hier eine ausreichende Aufmerksamkeit des Fahrers erkannt wird. Die (hier vier) Flächensegmente der Untermenge von Flächensegmenten, auf deren Basis der aufmerksamkeitsbezogene Fahrerzustand bestimmt wird, können insbesondere als aufmerksamkeitsorientierte Flächensegmente bezeichnet werden. Auch eine temporäre Zusammenfassung solcher Flächensegmente zu einem einzigen Supersegment mit einer kombinierten Auswertung ist möglich.
In 3 ist ein dazu alternatives Szenario beispielhaft dargestellt, bei dem als Fahrsituation ein Linksabbiegen erfolgen soll, was etwa über eine entsprechende Aktivierung des Blickhebels sensorisch erkannt werden kann. Dementsprechend wurden die Zeitwertschwellen in dynamisch angepasst, sodass nun die vier Flächensegmente an der linken unteren Ecke der Unterteilung, bzw. der Querschnittfläche 12 andere Werte erhalten und für die in 2 bezüglich ihrer Zeitwertschwellen noch dominierenden, neben der Referenzblicklinie 14 angeordneten Flächensegmente keine Zeitwertschwellen mehr definiert sind. Diese Neuzuordnung korrespondiert somit dazu, dass beim Linksabbiegen die Blickrichtung des Fahrers bevorzugt links neben der Referenzblicklinie 14, d.h. auf das linke vordere und seitliche Fahrzeugumfeld gerichtet sein sollten. Wie man sieht, sind diesmal nicht sämtliche Bedingungen eingehalten, denn beispielsweise ist im linken oberen der Segmente, eine Minimalschwelle βmin = 70 festgelegt, während der tatsächlich erfasste Zeitwert β = 25 deutlich darunter liegt. Auch die Bedingung des rechten unteren der vier Segmente ist nicht erfüllt, denn der zugehörige Zeitwert β = 10 liegt über der entsprechenden als Maximalschwelle definierten Zeitwertschwelle βmax = 5.
Eine bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird nun unter Bezugnahme auf die 4A und 4B erläutert, die zusammen ein Flussdiagramm zur Veranschaulichung des Verfahrens illustrieren und über die dargestellten Verknüpfungspunkte A und B verbunden sind. Bei dieser Ausführungsform ist explizit ein Initialisierungsschritt S0 enthalten, der typischerweise bereits bei der Konfiguration des Fahrzeugs im Werk vorgenommen wird, alternativ aber auch später am fertigen Fahrzeug erstmals oder erneut durchgeführt werden kann. Dabei wird in einem ersten Teilschritt S0a ein relativ zum fahrzeugdefinierter Sichtbereich für den Fahrer des Fahrzeugs festgelegt, was insbesondere durch Festlegung des Verlaufs einer Referenzblicklinie 14 erfolgen kann. Wie bereits im Zusammenhang mit 1 beschrieben, kann dazu ein Raumbereich am Platz des Fahrers als Erfassungsbereich 13 definiert werden, der dadurch charakterisiert ist, dass sich in diesem Raumbereich typischerweise die Augen eines Fahrers 6 des Fahrzeugs befinden (Eye-Box), wenn dieser seinen Fahrerplatz einnimmt. Quer zu dieser Referenzblicklinie 14 kann sodann eine virtuelle Querschnittfläche 12 durch den Sichtbereich, sowie eine entsprechende Unterteilung dieser Querschnittsfläche 12, insbesondere mittels einer matrixförmige Unterteilung nichtüberlappenden Flächensegmente definiert werden (vgl. beispielsweise 2 und 3). Zumindest jedem einer Untermenge dieser Flächensegmente, bevorzugt jedem dieser Flächenelemente, wird jeweils ein initialisierter Zeitwert β und zumindest eine Zeitwertschwelle, z.B. βmax oder βmin, zugeordnet. In einem weiteren Teilschritt S0b wird diese Unterteilung einschließlich der festgelegten Zeitwerte und Zeitschwellen zur nachfolgenden Verwendung in einem Speicher, der insbesondere ein nichtflüchtiger Halbleiterspeicher (NVM) sein kann, abgelegt.
In einem nachfolgenden Erfassungsschritt S1, der typischerweise während des Betriebs des Fahrzeugs erfolgt, werden in einem Teilschritt S1a sensorisch ein in Fahrtrichtung vor dem Fahrzeug liegender Fahrbahnverlauf sowie gegebenenfalls eine Fahrsituation, in der sich das Fahrzeug befindet, erfasst. Dabei können insbesondere relevante Fahrzeugzustände, wie etwa die aktuelle Geschwindigkeit des Fahrzeugs oder eine Routenplanung gemäß einer Navigationsfunktion des Fahrzeugs oder eines damit signalverbundenen separaten Navigationsgerätes, im Rahmen dieses Teilschritts zur Bestimmung eines Fahrbahnverlaufs und/oder einer Fahrsituation erfasst werden. In einem weiteren Teilschritt S1b, werden gegebenenfalls sensorisch ein oder mehrere außerhalb des Fahrzeugs befindliche Objekte im bzw. entlang des Fahrbahnverlaufs erfasst. Solche Objekte können insbesondere Hindernisse oder andere Verkehrsteilnehmer sein.
In einem weiteren Teilschritt S1c wird die Unterteilung der Querschnittsfläche 12 dynamisch in Abhängigkeit von dem im Teilschritt S1a erfassten Fahrbahnverlauf und/oder den im Teilschritt S1b erfassten Objekten angepasst. Eine solche Anpassung, kann sich insbesondere auf die Unterteilung selbst, etwa eine Änderung der Lage und/oder Orientierung oder Definition der einzelnen Flächensegmente der Unterteilung innerhalb der Querschnittsfläche 12 und/oder eine Veränderung der Zeitwertschwellen zu den definierten Flächensegmenten beziehen. In einem weiteren Teilschritt S1d wird sodann sensorgestützt die Blickrichtung des Fahrers 6 in den Sichtbereich auf Basis einer erfassten Kopfpose, eine Ausrichtung seiner Augen relativ zu erfassen Kopfpose und einem Augenzustand ermittelt. Dabei gibt der Augenzustand an, ob die Augen des Fahrers geöffnet sind oder nicht (einfachster Fall).
In einem Auswahlschritt S2, werden ein zu der im Teilschritt S1d bestimmten Blickrichtung korrespondierende Richtungsvektor sowie dessen Schnittpunkt „x“ mit der virtuellen Querschnittsfläche 12 aus den vom Sensorsystem 2 gelieferten Bilddaten berechnet. Anhand des Schnittpunkts x wird sodann dasjenige der Flächensegmente als aktuelles Flächensegment bestimmt bzw. ausgewählt, in dem dieser Schnittpunkt x liegt und auf das somit der Blick des Fahrers 6 gemäß der erfassten Blickrichtung gerichtet ist.
Bei einem Aktualisierungsschritt S3 werden sodann die gespeicherten Zeitwerte der Flächensegmente aktualisiert, indem der dem aktuellen Flächensegment zugeordnete Zeitwert inkrementiert wird. Die Zeitwerte alle anderen Segmente werden dagegen dekrementiert. Zudem wird der Augenzustandswert aktualisiert, indem er inkrementiert wird, wenn im Erfassungsschritt ermittelt wurde, dass die Augen des Fahrers geöffnet sind. Andernfalls wird der Augenzustandswert dekrementiert. Die Schriftgröße beim Inkrementieren bzw. Dekrementieren kann bevorzugt als Variable ausgebildet sein. Sie kann vorzugsweise fallweise angepasst und verwendet werden, um die Sensitivität der Vorrichtung bezüglich des aufmerksamkeitsbezogenen Verhaltens des Fahrers 6 einzustellen.
In einem Bewertungsschritt S4, wird sodann ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von den im Aktualisierungsschritt aktualisieren gespeicherten Zeitwerten und den ihnen jeweils zugeordneten Zeitwertschwellen bestimmt. Dies kann bevorzugt mittels Vergleichen der Zeitwerte β mit ihren jeweils zugeordneten gespeicherten Zeitwertschwellen βmin, βmax sowie in Abhängigkeit von dem Augenzustandswert und der erfassten Fahrsituation erfolgen, wie beispielsweiße nachfolgend unter Bezugnahme auf 5 näher erläutert.
In einem Ausgabeschritt S5, werden sodann die Daten, die dem im Bewertungsschritt bestimmten Fahrerzustand charakterisierenden, an einer Schnittstelle, insbesondere einem Datenbus des Fahrzeugs, an ein oder mehrere Steuergeräte des Fahrzeugs ausgegeben.
Die Daten können insbesondere dazu dienen, in einem Aktionsschritt S6 mittels des bzw. der Steuergeräte zumindest eine Funktionalität des Fahrzeugs zu steuern oder zu konfigurieren. So kann dadurch etwa der Zeitpunkt für die Ausgabe von Warnhinweisen bei der Annäherung an ein Hindernis in Abhängigkeit von dem im Ausgabeschritt ausgegebenen Fahrerzustand variabel festgelegt werden. Schließlich kann noch ein Prüfschritt folgen, in dem mittels einer Benutzereingabe, bevorzugt jedoch automatisiert gemäß einer Einstellung, abgefragt bzw. geprüft wird, ob das Verfahren erneut durchgeführt werden soll, insbesondere im Sinne eines weiteren Schleifendurchlaufs, bei dem zum Erfassungsschritt S1 zurückverzweigt wird. Eine solche Schleife ermöglicht es, über einen größeren Zeitraum hinweg die Vorteile des Verfahrens zu nutzen, eine fortlaufende Überwachung des aufmerksamkeitsbezogenen Fahrerzustands des Fahrers 6 und einer Reaktion auf sich laufend verändernde Fahrbahnverläufe und Fahrsituationen zu implementieren.
5 zeigt schließlich eine Illustration einer beispielhaften Abhängigkeit des Zeitwerts β (in %) eines Flächensegments von der Zeit t, gemäß einer bevorzugten Ausführungsform der Erfindung. Hierbei entspricht ein Wert β = 100 % dem höchstmöglichen Aufmerksamkeitsniveau des Fahrers 6 (vgl. gestrichelte horizontale Linie), während β = 0 % (vgl. Zeitachse) einem Fahrzustand entspricht, bei dem dieser vollkommen unaufmerksam ist, beispielsweise schläft und dabei die Augen geschlossen hält, oder über längere Zeit hinweg seinen Blick nicht mehr in den Sichtbereich bzw. auf die Querschnittfläche 12 gerichtet hat.
In dem gezeigten Beispiel ist der Blick des Fahrers im Zeitabschnitt A bei vollständig geöffneten Augen (d.h. optimal Augenzustandswert) auf ein Flächensegment gerichtet, das der Fahrsituation entsprechend als ein aufmerksamkeitsorientiertes Flächensegment festgelegt ist. Das heißt, dass für dieses Flächensegment wenigsten eine Zeitwertschwelle so definiert ist, dass der Zustand des Fahrers nur dann als zumindest ausreichend aufmerksam gewertet wird, wenn der Zeitwert β für dieses Flächensegment ein bezüglich der Zeitwertschwelle(n) definiertes Kriterium erfüllt, insbesondere β größer als eine definierte Mindestschwelle βmax ist. Abhängig davon, wie der Inkrementierungsschritt gewählt wurde und wie schnell bzw. wie oft ein Schleifendurchlauf erfolgt, steigt der Zeitwert β stufenweise bzw. zumindest näherungsweise linear (wie dargestellt) bis zu seinem Maximalwert 100 % im Punkt P1 an.
Im anschließenden Zeitabschnitt B ist der Fahrer jedoch unaufmerksam, weil sein Blick beispielsweise länger auf sein Mobiltelefon und nicht in den Sichtbereich gerichtet ist oder er seine Augen geschlossen hat (schlechtester Augenzustandswert). Dementsprechend wird der Zeitwert β für dieses Flächensegment dekrementiert. Die Schrittweite für das Dekrementieren kann dabei anders, insbesondere größer eingestellt werden, als die Schrittweite für das Inkrementieren, was zu einer steileren Flanke in 5 korrespondiert. In dem gezeigten Extremfall sinkt der Zeitwert β bis auf Wert im Punkt P2 ab, bei dem eine erste dem Flächensegment zugeordnete minimale Zeitwertschwelle ßmin₁ erreicht oder unterschritten und somit eine unzureichende Aufmerksamkeit des Fahrers erkannt wird. Die Vorrichtung 1 bzw. das Fahrzeug können nun entsprechend reagieren, beispielsweise im Rahmen des in 4B beschriebenen Aktionsschritts S6, und entsprechende Gegenmaßnahmen wie etwa eine Ausgabe von Warnhinweisen, ein Vorspannen der Bremsen oder Ähnliches einleiten. Ändert der Fahrer im Zeitabschnitt C wieder die geforderte Aufmerksamkeit, steigt der Zeitwert β wieder an. Optional können das Verfahren bzw. die Vorrichtung 1 so konfiguriert sein, dass dabei beim Erreichen einer weiteren, höheren Zeitwertschwelle βmin₂ die Gegenmaßnahmen wieder deaktiviert werden in ihrem Umfang reduziert werden.
In einer einfachen Variante entspricht wird der resultierende aufmerksamkeitsbezogene Fahrerzustand als ein einziger Parameter repräsentiert, der insbesondere dem Zeitwert β eines einzigen aufmerksamkeitsorientierten Flächensegments entsprechen kann. In diesem Fall stellt der Parameter β, wie er beispielsweise in 5 dargestellt ist, also zugleich den entsprechenden Zeitwert und den aufmerksamkeitsbezogenen Fahrerzustand dar.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zu Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
Bezugszeichenliste

1: Anordnung zur sensorgestützten Fahrerzustandsbewertung
2: Sensorsystem, insbesondere mit einer oder mehreren Kameras
3: Verarbeitungseinheit
4: Steuergerät
5: Ausgangsschnittstelle, insbesondere Busanschluss
6: Fahrer
7: Auge des Fahrers
8: Windschutzscheibe
9: unteres Ende der Windschutzscheibe
10: Instrumententafel
11: Lenkrad
12: virtuelle Querschnittsfläche durch den Sichtbereich des Fahrers
13: Erfassungsbereich des Sensorsystems, Eye-Box
14: Referenzblicklinie
15: auf das Innere des Fahrzeugs gerichteter Ausschnitt des Sichtbereichs
16: auf das fahrzeugexterne Umfeld gerichteter Ausschnitt des Sichtbereichs
17: auf den Dachhimmel gerichteter Ausschnitt des Sichtbereichs
18: Untermenge von Flächensegmenten, Supersegment

Claims

Verfahren zur sensorgestützten Fahrerzustandsbewertung bezüglich eines Fahrers (6) eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, wobei das Verfahren die folgenden Schritte aufweist: einen Erfassungsschritt (S1), bei dem sensorgestützt eine Blickrichtung des Fahrers (6) in einen relativ zum Fahrzeug definierten Sichtbereich ermittelt wird, wobei eine virtuelle Querschnittsfläche (12) durch den Sichtbereich sowie eine Unterteilung dieser Querschnittsfläche (12) in eine Mehrzahl von nichtüberlappenden Flächensegmenten, denen jeweils ein Zeitwert (β) und zumindest eine Zeitwertschwelle (βmin, β max) zugeordnet sind, vordefiniert sind; einen Auswahlschritt (S2), bei dem dasjenige der Flächensegmente als aktuelles Flächensegment bestimmt wird, auf das der Blick des Fahrers (6) gemäß seiner erfassten Blickrichtung gerichtet ist; einen Aktualisierungsschritt (S3), bei dem die Zeitwerte (β) der Flächensegmente aktualisiert werden, wobei mittels einer vorbestimmten Operation der dem aktuellen Flächensegment zugeordnete Zeitwert (β) relativ zu wenigstens einem der Zeitwerte der anderen Flächensegmente modifiziert wird, oder umgekehrt; und einen Bewertungsschritt (S4), bei dem ein aufmerksamkeitsbezogener Fahrerzustand in Abhängigkeit von einem oder mehreren der im Aktualisierungsschritt (S3) aktualisierten Zeitwerte (β) und der ihnen jeweils zugeordneten Zeitwertschwellen (βmin, β max) bestimmt; und ein Ausgabeschritt (S5), bei dem der im Bewertungsschritt bestimmte Fahrerzustand ausgegeben wird.
Verfahren gemäß Anspruch 1, wobei im Erfassungsschritt (S1) das Ermitteln der aktuellen Blickrichtung mittels sensorischer Erfassung einer Kopfpose des Fahrers (6) und/oder einer Ausrichtung seiner Augen (7) erfolgt.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei: im Erfassungsschritt (S1) des Weiteren ein Augenzustand des Fahrers (6) sensorisch erfasst wird; im Aktualisierungsschritt (S3) des Weiteren ein definierter Augenzustandswert mittels einer vorbestimmten Modifikation aktualisiert wird; und im Bewertungsschritt (S4) das Bestimmen des aufmerksamkeitsbezogenen Fahrerzustands zusätzlich in Abhängigkeit von dem aktualisierten Augenzustandswert erfolgt.
Verfahren gemäß Anspruch 3, wobei gemäß der vorbestimmten Modifikation der Augenzeitwert entweder inkrementiert oder dekrementiert wird, wenn der zuvor erfasste Augenzustand anzeigt, dass wenigstens ein Auge (7) des Fahrers (6) geschlossen ist, und der Augenzeitwert gegenläufig dazu dekrementiert bzw. inkrementiert wird, oder auf einen vordefinierten Ausgangswert gesetzt wird, wenn der zuvor erfasste Augenzustand anzeigt, dass die Augen des Fahrers (6) geöffnet sind.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei die virtuelle Querschnittsfläche (12) derart in die Flächensegmente unterteilt ist, dass wenigstens eines der Flächensegmente zu einer auf die äußere Umgebung des Fahrzeugs gerichteten Blickrichtung des Fahrers (6) korrespondiert und wenigstens ein weiteres der Flächensegmente zu einer auf zumindest einen Bereich der Innenausstattung des Fahrzeugs gerichteten Blickrichtung des Fahrers (6) korrespondiert.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei der Erfassungsschritt als Teilschritte aufweist: einen Fahrbahnerfassungsschritt (S1a), bei dem ein in Fahrtrichtung vor dem Fahrzeug liegender Fahrbahnverlauf sensorisch erfasst wird; und/oder einen Objekterfassungsschritt (S1b), bei dem ein außerhalb des Fahrzeugs befindliches Objekt sensorisch erfasst wird; und wobei die Unterteilung der virtuellen Querschnittsfläche (12) in Flächensegmente und/oder die den Flächensegmenten zugeordneten Zeitwertschwellen (βmin, β max) dynamisch in Abhängigkeit von dem erfassten Fahrbahnverlauf bzw. dem erfassten Objekt vordefiniert werden.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei im Bewertungsschritt (S4) der aufmerksamkeitsbezogene Fahrerzustand in Abhängigkeit vom Ergebnis eines oder mehrerer Vergleiche bestimmt wird, bei denen jeweils einer der aktualisierten Zeitwerte (β) mit der zumindest einen ihm zugeordneten Zeitwertschwelle (βmin, β max) verglichen wird.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei im Bewertungsschritt (S4) der aufmerksamkeitsbezogene Fahrerzustand zusätzlich in Abhängigkeit von wenigstens einem früheren Ergebnis der Fahrerzustandsbewertung bestimmt wird.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei im Bewertungsschritt (S4) der aufmerksamkeitsbezogene Fahrerzustand zusätzlich in Abhängigkeit von einer aktuellen, sensorisch erfassten Fahrsituation bestimmt wird.
Verfahren gemäß einem der vorausgehenden Ansprüche, wird im Bewertungsschritt (S4) nur dann der aufmerksamkeitsbezogene Fahrerzustand so bestimmt, dass er den Fahrer (6) als aufmerksam oder ausreichend aufmerksam charakterisiert, wenn die im Aktualisierungsschritt (S3) bestimmten Zeitwerte (β) der Flächensegmente einer statisch oder dynamisch vorbestimmten und nichtleeren echten Untermenge der Flächensegmente einzeln oder insgesamt ein in Abhängigkeit von den Zeitwertschwellen (βmin, β max) dieser Flächensegmente definiertes Aufmerksamkeitskriterium erfüllen.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei der aufmerksamkeitsbezogene Fahrerzustand als einer der folgenden Parameter oder als eine mittels mehrerer der folgenden Parameter gebildete Parameterkombination bestimmt und ausgegeben wird: - ein absoluter Aufmerksamkeitsgrad; - ein relativer Aufmerksamkeitsgrad, der relativ zu einer situationsabhängig bestimmten Aufmerksamkeitsanforderung bestimmt ist; - ein auf Basis der Flächensegmente und ihrer zugeordneten Zeitwerte bestimmter ortsbasierter Aufmerksamkeitsgrad, der angibt wo ein Aufmerksamkeitsschwerpunkt des Fahrers liegt oder wie die Aufmerksamkeitsverteilung bezüglich der einzelnen Flächensegmente oder von Gruppierungen davon verläuft; wobei der jeweilige Aufmerksamkeitsgrad aus einem vorbestimmten Wertebereich entnommen ist.
Verfahren gemäß einem der vorausgehenden Ansprüche, des Weiteren aufweisend: einen Aktionsschritt (S6), bei dem wenigstens eine Funktionalität des Fahrzeugs in Abhängigkeit von dem im Ausgabeschritt (S5) ausgegebenen aufmerksamkeitsbezogenen Fahrerzustand gesteuert oder konfiguriert wird.
Verfahren gemäß Anspruch 12, wobei die im Aktionsschritt (S6) gesteuerte oder konfigurierte Funktionalität des Fahrzeugs wenigstens eine der folgenden ist: - Freihändiges Fahren; - Ausgabe von Informations- oder Warnhinweisen; - Querverkehrsassistenz; - Spurwechselassistenz; - Bremsen; - Eine Funktionalität der Innenausstattung des Fahrzeugs;; - Eine Ausgabe des zuvor bestimmten aufmerksamkeitsbezogenen Fahrerzustands über eine Mensch-Maschine-Schnittstelle.
Verfahren gemäß einem der vorausgehenden Ansprüche, wobei das Verfahren regelmäßig oder fortlaufend wiederholt ausgeführt wird.
Vorrichtung (1) zur sensorgestützten Fahrerzustandsbewertung, wobei die Vorrichtung eingerichtet ist, das Verfahren gemäß einem der vorausgehenden Ansprüche auszuführen.