DE102014201036A1

DE102014201036A1 - Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens

Info

Publication number: DE102014201036A1
Application number: DE102014201036.5A
Authority: DE
Inventors: Christoph John
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-01-21
Filing date: 2014-01-21
Publication date: 2015-07-23

Abstract

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Ermittlung des Zustands eines Fahrers eines Fahrzeugs. Es wird eine Steuereinheit (101) für ein Fahrzeug (100) beschrieben. Die Steuereinheit (101) ist eingerichtet, Bilddaten von ein oder mehreren Bildsensoren (103) zu empfangen. Die ein oder mehreren Bildsensoren (103) sind eingerichtet, eine Fahrerposition (102) des Fahrzeugs (100) zu erfassen. Die Steuereinheit (101) ist weiter eingerichtet, anhand der Bilddaten, für eine Sequenz von Zeitpunkten die Blickrichtung eines Fahrers des Fahrzeugs (100) jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren (201, ..., 213) zuzuweisen, und so einen zeitlichen Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers zu ermitteln. Desweiteren ist die Steuereinheit (101) eingerichtet, den zeitlichen Verlauf s(t) von Blicksektoren auszuwerten.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Ermittlung des Zustands eines Fahrers eines Fahrzeugs.
In den Bereichen der intelligenten Fahrerassistenzsysteme (FAS) und/oder des hochautomatisierten Fahrens (HAF) ist es sinnvoll, fahrerrelevante Parameter wie die Aufmerksamkeit des Fahrers, eine Ablenkung des Fahrers von der Fahraufgabe, eine Fahrerabsicht, eine Müdigkeit des Fahrers, eine Schläfrigkeit des Fahrers und/oder eine Übernahmefähigkeit des Fahrers, insbesondere wenn der Fahrer hochautomatisiert gefahren wird, zu ermitteln. Die fahrerrelevanten Parameter können dann mit Übernahmezeiten korreliert werden und die verschiedenen Fahrsysteme (FAS und/oder automatische Fahrsysteme) können adaptiv an den ermittelten Fahrerzustand angepasst werden.
Heutige Fahrsysteme haben typischerweise eine relativ eingeschränkte Sicht auf den Zustand des Fahrers. Beispielsweise wird teilweise die vereinfachte Annahme zugrunde gelegt, dass der Fahrer aufmerksam auf die Fahraufgabe ist, wenn der Fahrer die Hände am Lenkrad hat. Andererseits kann die Übernahmefähigkeit beim automatisierten Fahren (bspw. bei einem Zugfahrer) mit einem sogenannten „Tote Mann” Schalter überprüft werden, der periodisch vom Fahrer betätigt werden muss, um sicher zu stellen, dass dieser übernahmefähig ist.
Die oben beschriebenen Maßnahmen zur Ermittlung des Fahrerzustands sind unzureichend. Zum einen führen vereinfachte Annahmen (wie die Annahme, dass aus der Tatsache, dass der Fahrer die Hände am Lenkrad hat, geschlossen werden kann, dass der Fahrer aufmerksam ist) zu Fehleinschätzungen bzgl. des tatsächlichen Zustands des Fahrers und bzgl. der Fähigkeit des Fahrers den aktiven Fahrbetrieb zu übernehmen. Andererseits führen Überprüfungsroutinen (wie die periodische Betätigung eines „Tote Mann” Schalters) dazu, dass der Fahrer mit einer sekundären Aufgabe konfrontiert wird, die den Fahrer zusätzlich vom Verkehrsgeschehen ablenkt.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe den Fahrerzustand und/oder eine Übernahmefähigkeit des Fahrers in zuverlässiger Weise zu ermitteln, ohne dass der Fahrer dabei eine aktive Überprüfungsroutine durchführen muss, die den Fahrer vom Verkehrsgeschehen ablenken würde und/oder durch die der Komfort für den Fahrer reduziert werden würde.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u. a. in den abhängigen Ansprüchen beschrieben.
Gemäß einem Aspekt wird eine Steuereinheit für ein Fahrzeug (z. B. für ein zweispuriges Fahrzeug wie einen Personenkraftwagen oder einen Lastkraftwagen) beschrieben. Die Steuereinheit kann dazu verwendet werden, eine Assistenzfunktion für den Fahrer des Fahrzeugs bereitzustellen. In diesem Zusammenhang kann ein Zustand des Fahrers oder eine Übernahmefähigkeit des Fahrers ermittelt werden. Alternativ oder ergänzend kann in diesem Zusammenhang ermittelt werden, ob ein Fahrer ein Objekt oder ein Hindernis in einem Umfeld des Fahrzeugs wahrgenommen hat oder nicht.
Die Steuereinheit ist eingerichtet, Bilddaten von ein oder mehreren Bildsensoren (z. B. Kameras) zu empfangen. Die ein oder mehreren Bildsensoren sind eingerichtet, eine Fahrerposition des Fahrzeugs zu erfassen. Insbesondere können die ein oder mehreren Bildsensoren derart eingerichtet sein, dass aus den erfassten Bilddaten der Blickwinkel des Fahrers des Fahrzeugs in einem vordefinierten Blickwinkelbereich (ggf. bis zu 360 Grad) ermittelt werden kann. Die Bilddaten umfassen zu diesen Zweck typischerweise Informationen über vordefinierte und/oder markante Gesichtsmerkmale (wie z. B. die Augen) und/oder über Gesichtsmimik des Fahrers.
Die Steuereinheit ist weiter eingerichtet, anhand der Bilddaten und für eine Sequenz von Zeitpunkten, die Blickrichtung des Fahrers des Fahrzeugs (die sich aus den Bilddaten ergibt) jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren zuzuweisen. Die Blicksektoren der Vielzahl von Blicksektoren können einem Koordinatensystem des Fahrzeugs zugewiesen sein oder können in einem Koordinatensystem des Fahrzeugs definiert sein. Insbesondere können die Blicksektoren der Vielzahl von Blicksektoren jeweils unterschiedliche (definierte) Bereiche eines Frontbereichs und/oder des Seitenbereichs des Fahrzeugs umfassen. Insbesondere können die Blicksektoren Bereiche des Fahrzeugs umfassen, die darauf hindeuten, dass der Fahrer auf den Verkehr konzentriert ist (z. B. einen Blicksektor der eine Windschutzscheibe und/oder Rückspiegel und/oder Seitenspiegel des Fahrzeugs umfasst). Außerdem können andere Blicksektoren Bereiche des Fahrzeugs umfassen, die darauf hindeuten, dass der Fahrer mit Sekundäraufgaben beschäftigt ist (z. B. einen Blicksektor der Bedienelemente des Fahrzeugs umfasst). Der gesamte Blickbereich des Fahrers kann in eine begrenzte Anzahl N von Blicksektoren aufgeteilt sein. Typische Werte für N sind 5, 10, 15 oder 20 Blicksektoren.
Durch die Zuweisung der Blickrichtung für die Sequenz von Zeitpunkten kann ein zeitlicher Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers ermittelt werden.
Die Steuereinheit kann weiter eingerichtet sein, den zeitlichen Verlauf s(t) von Blicksektoren auszuwerten. Die Auswertung kann insbesondere im Hinblick auf eine bereitgestellte Assistenzfunktion erfolgen. Im Rahmen der Auswertung können Werte für ein oder mehrere statistische Parameter ermittelt werden. Beispielsweise kann die Steuereinheit eingerichtet sein, anhand des zeitlichen Verlaufs s(t) von Blicksektoren, Anteile p_i der einzelnen Blicksektoren aus der Vielzahl von Blicksektoren an der Blickrichtung des Fahrers in einem vordefinierten Zeitintervall zu bestimmen. Alternativ oder ergänzend kann die Steuereinheit eingerichtet sein, Häufigkeiten h_i für Übergänge zwischen den einzelnen Blicksektoren aus der Vielzahl von Blicksektoren in dem vordefinierten Zeitintervall zu bestimmen. Diese oder andere statistische Parameter können dazu verwendet werden, einen Zustand des Fahrers zu ermitteln. Außerdem kann anhand dieser oder anderer statistischer Parameter ermittelt werden, ob der Fahrer ein bestimmtes Hindernis oder ein Objekt im Umfeld des Fahrzeugs wahrgenommen hat. Dies kann beispielsweise durch einen Abgleich von Daten bzgl. der Blicksektoren (z. B. durch einen Abgleich des zeitlichen Verlaufs s(t) von Blicksektoren) mit einem Umfeldmodell erreicht werden. In dem Umfeldmodell kann ein durch ein Fahrerassistenzsystem (FAS) erkanntes Objekt im Umfeld des Fahrzeugs, etwa ein anderer Verkehrsteilnehmer, räumlich erfasst sein.
Wie bereits dargelegt kann die Steuereinheit eingerichtet sein, anhand des zeitlichen Verlaufs s(t) von Blicksektoren einen Zustand des Fahrers zu ermitteln. Zu diesem Zweck kann die Steuereinheit insbesondere eingerichtet sein, für das vordefinierte Zeitintervall, ein oder mehrere aktuelle Parameterwerte für ein oder mehrere statistische Parameter (z. B. für die Anteile p_i oder für die Häufigkeiten h_i) aus dem zeitlichen Verlauf s(t) von Blicksektoren zu bestimmen. Desweiteren kann die Steuereinheit einen vordefinierten Clusteralgorithmus oder Klassifizierungsalgorithmus bereitstellen, der eingerichtet ist, unterschiedliche Parameterwerte der ein oder mehreren statistischen Parameter unterschiedlichen vordefinierten Zustandsklassen zuzuordnen. Beispiele für Zustandsklassen sind: „Fahrer tätigt einen Spurwechsel”, „Fahrer tätigt eine geregelte Geradeausfahrt”, „Fahrer ist abgelenkt”, und/oder „Fahrer starrt unbewusst”.
Die Steuereinheit kann weiter eingerichtet sein, anhand der ein oder mehreren aktuellen Parameterwerte und anhand des vordefinierten Clusteralgorithmus/Klassifizierungsalgorithmus, eine aktuelle Zustandsklasse als Zustand des Fahrers zu ermitteln. Mit anderen Worten, die aktuellen Parameterwerte können dazu verwendet werden, den aktuellen Zustand des Fahrers zu ermitteln.
Die Steuereinheit ist somit eingerichtet den Zustand des Fahrers in zuverlässiger und autonomer Weise zu bestimmen. Insbesondere ist zur Ermittlung des Fahrerzustands keine Aktion des Fahrers erforderlich, durch die der Fahrer vom Fahrbetrieb abgelenkt werden könnte.
Die Steuereinheit kann weiter eingerichtet sein, zu bestimmen, dass eine Zuverlässigkeit des anhand des zeitlichen Verlaufs s(t) von Blicksektoren ermittelten Zustands des Fahrers kleiner als oder gleich wie ein vordefinierter Schwellwert ist. Mit anderen Worten, es kann erkannt werden, dass der Zustand des Fahrers anhand des zeitlichen Verlaufs s(t) von Blicksektoren nicht zuverlässig ermittelt werden kann (z. B. weil der Fahrer eine Sonnenbrille trägt). Die Steuereinheit kann, in Reaktion darauf, veranlassen, dass der Fahrer des Fahrzeugs aufgefordert wird, einen Schalter des Fahrzeugs (ggf. in periodischer Weise) zu betätigen, um den Zustand des Fahrers zu überprüfen. So kann sichergestellt werden, dass auch bei unzureichenden Bilddaten der Zustand des Fahrers zuverlässig bestimmt werden kann.
Die Steuereinheit kann eingerichtet sein, Umfelddaten von ein oder mehreren Umfeldsensoren (z. B. eine Kamera und/oder ein Radarsensor) des Fahrzeugs und/oder Positionsdaten von einer Positionierungseinheit (z. B. ein Navigationsgerät) des Fahrzeugs zu empfangen. Anhand der Umfelddaten und/oder der Positionsdaten kann ein Objekt in einem Umfeld des Fahrzeugs detektiert werden. Das detektierte Objekt kann einem Blicksektor aus der Vielzahl von Blicksektoren zugewiesen werden. Alternativ oder ergänzend können die ermittelten Blickrichtungsvektoren des Fahrers direkt zur Intersektionserkennung mit dem erkannten Objekt geschnitten werden, um zu ermitteln, ob das Objekt in einem Umfeld des Fahrzeugs detektiert wurde.
Die Größe und/oder Position eines o. g. Objekt-abhängigen Blicksektors kann sich zeitlich (aufgrund der Veränderung der Position des Objekts relativ zum Fahrzeug) verändern. Somit können sich die Blicksektoren der Vielzahl von Blicksektoren dynamisch mit der Zeit verändern. Alternativ oder ergänzend können die Positionen der Objekte im Fahrzeugumfeld aufgrund von Objekt- oder Fahrzeugeigenbewegungen variieren. Aufgrund dessen kann auch die Zuordnung von Objekten im Fahrzeugumfeld zu Blicksektoren dynamisch mit der Zeit variieren.
Die Steuereinheit kann eingerichtet sein, das detektierte Objekt bei der Ermittlung des Zustands des Fahrers zu berücksichtigen. Dadurch kann eine Genauigkeit der Ermittlung des Zustands des Fahrers erhöht werden.
Alternativ oder ergänzend kann die Steuereinheit eingerichtet sein, anhand des zeitlichen Verlaufs s(t) von Blicksektoren zu bestimmen, dass der Fahrer das detektierte Objekt nicht wahrnimmt. In Reaktion darauf kann die Ausgabe eines Warnhinweises bzgl. des detektierten Objekts an den Fahrer des Fahrzeugs veranlasst werden. So kann die Sicherheit des Fahrzeugs im Straßenverkehr erhöht werden.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Bereitstellung einer Assistenzfunktion in einem Fahrzeug beschrieben. Das Verfahren umfasst das Empfangen von Bilddaten von ein oder mehreren Bildsensoren. Die ein oder mehreren Bildsensoren sind dabei eingerichtet, eine Fahrerposition des Fahrzeugs (insbesondere einen Kopf eines Fahrers des Fahrzeugs) zu erfassen.
Das Verfahren umfasst weiter das Zuweisen, anhand der Bilddaten und für eine Sequenz von Zeitpunkten, der Blickrichtung eines Fahrers des Fahrzeugs zu jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren, um einen zeitlichen Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers zu ermitteln. Desweiteren umfasst das Verfahren das Auswerten des zeitlichen Verlaufs s(t) von Blicksektoren zur Bereitstellung der Assistenzfunktion.
Gemäß einem weiteren Aspekt wird ein Fahrzeug (z. B. ein Personenkraftwagen, ein Lastkraftwagen oder ein Motorrad) beschrieben, das eine in diesem Dokument beschriebene Steuereinheit umfasst.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z. B. auf einer Steuereinheit) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigt
1 ein Blockdiagram mit beispielhaften Komponenten eines Fahrzeugs;
2 eine beispielhafte Einteilung eines Fahrzeugs in Blicksektoren; und
3 ein Flussdiagram eines beispielhaften Verfahrens zur Ermittlung des Zustands eines Fahrers.
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Ermittlung des Zustands des Fahrers eines Fahrzeugs (z. B. eines Personenkraftwagens oder eines Lastkraftwagens). Dies ist insbesondere bei der Verwendung von Fahrerassistenzsystemen (FAS) oder bei teil- bzw. hochautomatisiertem Fahren von Bedeutung. Durch derartige Assistenzfunktionen wird der Fahrer teilweise oder ganz vom aktiven Fahrbetrieb entlastet. Dennoch sollte gewährleistet sein, dass der Fahrer bei Bedarf den aktiven Fahrbetrieb wieder übernehmen kann. Das vorliegende Dokument beschreibt in diesem Zusammenhang Verfahren und Vorrichtungen zur Ermittlung des Zustands des Fahrers. Aus dem Zustand der Fahrers kann typischerweise auch auf die Fähigkeit des Fahrers geschlossen werden, den aktiven Fahrbetrieb des Fahrzeugs zu übernehmen (die sogenannte Übernahmefähigkeit). Desweiteren kann aus dem Fahrerzustand ein Zeitraum ermittelt werden, den der Fahrer benötigt, um den aktiven Fahrbetrieb zu übernehmen (die sogenannte Übernahmezeit).
Der Fahrerzustand kann in eine Vielzahl von vordefinierten Zuständen klassifiziert werden. Diese vordefinierten Fahrerzustände können auch als Übernahmefähigkeitslevels bezeichnet werden. Beispielhafte Übernahmefähigkeitslevels sind:

• Level 1: Fahrer ist aufmerksam (Fahrer partizipiert aktiv am Verkehrsgeschehen). Der Fahrer kann somit jederzeit und mit einer minimalen Übernahmezeit den aktiven Fahrbetrieb übernehmen.
• Level 2: Fahrer ist kurzfristig abgelenkt von der Fahraufgabe (durch sekundäre Aufgaben wie Telefonieren, Bahnplanung, Bedienung von Entertainment- und Komfortfunktionen). Durch die kurzfristige Ablenkung ergibt sich eine erhöhte Übernahmezeit.
• Level 3: Fahrer ist müde/erschöpft. Hier ergibt sich eine eingeschränkte Fahrperformance und eine weiter erhöhte Übernahmezeit.
• Level 4: Fahrer ist schläfrig (starke Müdigkeitserscheinungen treten auf, z. B. hochfrequenter Liedschlag, Augen fallen zu, keine bewusste Szenenwahrnehmung, Sekundenschlaf). Dies führt zu einer weiter eingeschränkten Fahrperformance und einer weiter erhöhten Übernahmezeit.
• Level 5: Fahrer ist nicht übernahmefähig (z. B. eingeschlafen, physisch nicht präsent).
• Level 6: Fahrer ist tot.

Im vorliegenden Dokument wird ein kamerabasiertes System und Verfahren beschrieben, welche dazu eingerichtet sind, eine Klassifikation des Fahrerzustandes durchzuführen, z. B. in die oben angeführten Übernahmefähigkeitslevel. Dabei können unterschiedliche Fahrerverhalten ermittelt werden. Beispielhafte Fahrerverhalten sind:

• Spurwechselabsicht, d. h. der Fahrer hat die Absicht eine Fahrspur zu wechseln.
• Der Fahrer verhält sich als idealer Regler, der typischerweise durch eine aufmerksame Geradeausfahrt und bewusste Szenenwahrnehmung gekennzeichnet ist.
• Der Fahrer ist durch sekundäre Aktivitäten abgelenkt.
• Der Fahrer führt ein unbewusstes Starren durch.

Zur Ermittlung des Zustands des Fahrers wird ein System mit einer Vielzahl von Kameras vorgeschlagen, welche derart angeordnet sind, dass zumindest eine der Vielzahl von Kameras bei beliebigen Kopfausrichtungen die Augen des Fahrers erfassen kann, um eine Blickrichtung des Fahrers zu ermitteln. Die ermittelte Blickrichtung kann dann in eine Vielzahl von Blicksektoren unterteilt werden, um eine statistische Auswertung der Blickrichtung über die Zeit durchzuführen. Die statistische Auswertung der Blickrichtung des Fahrers über die Zeit kann Informationen über den Zustand des Fahrers liefern.
1 zeigt ein Blockdiagram von beispielhaften Komponenten eines Fahrzeugs 100. Insbesondere zeigt 1 eine Vielzahl von Bildsensoren 103 (z. B. Kameras), die eingerichtet sind, Bilddaten bzgl. des Fahrers des Fahrzeugs 100 zu erfassen. Die Vielzahl von Bildsensoren 103 ist auf eine Fahrerposition 102 des Fahrzeugs 100 gerichtet. Insbesondere ist die Vielzahl von Bildsensoren 103 derart angeordnet, dass ein Kopf des Fahrers des Fahrzeugs 100 bildlich erfasst werden kann. Desweiteren ist die Vielzahl von Bildsensoren 103 derart im Fahrzeug 100 angeordnet, dass für einen vordefinierten Bereich von Blickwinkeln die Augen des Fahrers jeweils zumindest von einem Bildsensor der Vielzahl von Bildsensoren 103 erfasst werden, um die Blickrichtung des Fahrers zu ermitteln. Der vordefinierte Bereich von Blickwinkeln kann einen Bereich von Azimutwinkeln und/oder einen Bereich von Höhenwinkeln umfassen.
Die Bilddaten der Vielzahl von Bildsensoren 103 können an eine Steuereinheit 101 übermittelt werden. Die Steuereinheit 101 ist eingerichtet, anhand der Bilddaten, an einer Vielzahl von Zeitpunkten den Blickwinkel des Fahrers des Fahrzeugs 100 zu ermitteln. Bei den Bilddaten kann es sich insbesondere um Videodaten mit einer bestimmten Bildrate (z. B. 30 Bilder/Sekunde) handeln. Die Steuereinheit 101 kann eingerichtet sein, den zeitlichen Verlauf des Blickwinkels des Fahrers mit einer zeitlichen Auflösung zu ermitteln, die von der Bildrate der erfassten Bilddaten abhängt. Typischerweise entspricht die zeitliche Auflösung des zeitlichen Verlaufs des Blickwinkels der Bildrate der Bilddaten. Der zeitliche Verlauf des Blickwinkels kann mit
bezeichnet werden, wobei α(t) der zeitliche Verlauf des Azimutwinkels ist und wobei γ(t) der zeitliche Verlauf des Höhenwinkels ist.
Desweiteren kann die Steuereinheit 101 eingerichtet sein, den Blickwinkel B(t) des Fahrers in eine Vielzahl von vordefinierten Blicksektoren zu klassifizieren, wobei S = {s_i) mit i = 1, ..., N und N > 1 die Menge der vordefinierten Blicksektoren s_i darstellt. 2 zeigt eine beispielhafte Aufteilung des Frontbereichs des Fahrzeugs 100 in eine Vielzahl von (ggf. statischen) Blicksektoren 201, ..., 213. Die beispielhafte Vielzahl von Blicksektoren 201, ..., 213 umfasst:

• einen Blicksektor 201 für ein Fahrerseitiges Fenster des Fahrzeugs 100 (ohne Außenspiegel);
• einen Blicksektor 202 für den Fahrerseitigen Außenspiegel des Fahrzeugs 100;
• einen Blicksektor 203 für Fahrerseitige seitliche Bedienelemente/Ablagen des Fahrzeugs 100;
• einen Blicksektor 204 für einen Fahrerseitigen Teil der Windschutzscheibe;
• einen Blicksektor 205 für ein Lenkrad und ein Armaturenbrett des Fahrzeugs 100;
• einen Blicksektor 206 für einen Rückspiegel des Fahrzeugs 100;
• einen Blicksektor 207 für ein Infotainmentsystem des Fahrzeugs 100;
• einen Blicksektor 208 für einen Gangwahlhebel und/oder eine zentrale Ablage des Fahrzeugs 100;
• einen Blicksektor 209 für einen Beifahrerseitigen Teil der Windschutzscheibe;
• einen Blicksektor 210 für ein Handschuhfach des Fahrzeugs 100;
• einen Blicksektor 211 für eine Beifahrerposition des Fahrzeugs 100;
• einen Blicksektor 212 für den beifahrerseitigen Außenspiegel des Fahrzeugs 100; und/oder
• einen Blicksektor 213 für ein Beifahrerseitiges Fenster des Fahrzeugs 100 (ohne Außenspiegel).

Die Steuereinheit 101 kann eingerichtet sein, den ermittelten Blickwinkel B(t) einem der Vielzahl von Blicksektoren s_i zuzuweisen. So ergibt sich ein zeitlicher Verlauf von Blicksektoren s(t), wobei s(t) Werte aus der Menge S von möglichen Blicksektoren annehmen kann. Alternativ oder ergänzend kann die Steuereinheit 101 eingerichtet sein, den zeitlichen Verlauf von Blicksektoren s(t) direkt aus den erfassten Bilddaten zu ermitteln. Durch die Klassifizierung der Blickwinkel des Fahrers in eine begrenzte Anzahl von Blicksektoren 201, ..., 213 wird eine statistisch relevante Auswertung der Blickwinkel des Fahrers ermöglicht.
Der Fahrerzustand kann nun auf Basis des zeitlichen Verlaufs s(t) von Blicksektoren bestimmt werden. Dazu kann der Verlauf s(t) statistisch ausgewertet werden. Insbesondere kann eine Verteilung der Blickrichtung des Fahrers (d. h. der Blicksektoren) in einem vordefinierten Zeitraum oder Zeitintervall ermittelt werden. Die Verteilung der Blickrichtung kann dann Hinweise auf den Zustand des Fahrers liefern.
Beispielsweise können zur Fahrverhaltensschätzung zwei-dimensionale (2D) und/oder drei-dimensionale (3D) Balkenhistogramme der Blickverteilungen herangezogen werden. Die Blickverteilung kann das Blickverhalten des Fahrers über gleitende Zeitfenster/Zeitintervalle wiedergeben. Die Zeitfenster können eine konfigurierbare zeitliche Länge aufweisen.
Ein beispielhaftes Balkenhistogramm umfasst auf einer ersten Achse die mögliche Vielzahl von vordefinierten Blicksektoren 201, ..., 213. Auf einer zweiten Achse kann die Zeitdauer (d. h. der zeitliche Anteil des gleitenden Zeitfensters) aufgetragen sein, in der der Fahrer in die jeweiligen Blicksektoren 201, ..., 213 geschaut hat. In einer dritten Dimension kann die Häufigkeit erfasst werden, mit der der Blick in den jeweiligen Blicksektor 201, ..., 213 geschweift ist. Basierend auf den so berechneten dynamischen Blickverteilungshistogrammen können durch Klassifikatoren und/oder durch Templatematching unterschiedliche Fahrerverhaltensweisen klassifiziert werden.
Mit anderen Worten, auf Basis des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 kann ein relativer Anteil p_i der einzelnen Blicksektoren 201, ..., 213 an der Blickrichtung des Fahrers in einem vordefinierten Zeitfenster ermittelt werden. Insbesondere können Anteile
für die Blicksektoren s_i, mit i = 1, ..., N, ermittelt werden, wobei T die Zeitdauer des vordefinierten Zeitfensters ist, und wobei T_i die kumulierte Zeitdauer auf dem vordefinierten Zeitfenster ist, in der sich die Blickrichtung des Fahrers in dem entsprechenden Blicksektor s_i befindet. Die zeitlichen Anteile p_i sind ein Indiz dafür, worauf der Fahrer derzeit seine Aufmerksamkeit gerichtet hat.
Auf Basis des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 kann weiter eine Häufigkeit h_i ermittelt werden, mit der der Blick des Fahrers in dem vordefinierten Zeitfenster/Zeitintervall auf den entsprechenden Blicksektor s_i gerichtet wurde. Die Häufigkeit h_i kann z. B. als eine absolute Anzahl Z_i von Übergängen der Blickrichtung in den Blicksektor s_i während des vordefinierten Zeitfensters oder als eine relative Anzahl
von Übergängen der Blickrichtung in den Blicksektor s_i erfasst werden. Die Häufigkeiten h_i können ein Indiz für eine Grad der Konzentration des Fahrers sein.
Aus der statistischen Analyse des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213, insbesondere aus den Anteilen p_i der Blicksektoren und/oder aus den Häufigkeiten h_i der Blicksektoren, kann das Fahrverhalten des Fahrers einzelnen Fahrverhaltensklassen zugeordnet werden:

• Spurwechselabsicht: Bei einer Spurwechselabsicht erscheinen bei korrektem Fahrverhalten mit hohem Anteil Spiegel- und Schulterblicke (z. B. Blicksektoren 201, 202, 206, 212) sowie Blicke in Fahrtrichtung (z. B. Blicksektor 204). Andererseits sind Blicke auf Bedienteile und/oder auf ein Display typischerweise gering (z. B. Blicksektoren 203, 207).
• Idealer Regler: Dies beschreibt eine Person die überwiegend aufmerksam in Fahrtrichtung (d. h. Blicksektor 204) schaut, mit einem geringen Anteil von Spiegelblicken (Blicksektoren 202, 206, 212) und Schulterblicken. Es liegt somit eine bewusste Szenenwahrnehmung vor. Der Anteil von Blicken auf Bedienteile oder Displayanzeigen (z. B. Blicksektoren 203, 207) ist typischerweise gering.
• Abgelenkter Fahrer: In diesem Fall blickt der Fahrer für einen hohen prozentualen Anteil der Zeit innerhalb eines gleitenden Zeitfensters auf Bedienteile oder Displayelemente (z. B. Blicksektoren 203 und/oder 207).
• Unbewusstes Starren liegt z. B. vor, wenn der Blick des Fahrers auf einen einzelnen Blicksektor fokussiert ist. Eine Streuung der Blickrichtungsvektoren ist dabei typischerweise gering (bspw. liegt eine Varianz von 1° oder weniger vor), wodurch auf Unaufmerksamkeit durch Starren gefolgert werden kann.

Somit kann auf Basis des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 ein Zustand der Fahrers bestimmt werden. Zu diesem Zweck können ein oder mehrere statistische Parameter aus dem zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 berechnet werden. Insbesondere können ein oder mehrere statistische Parameter über ein (ggf. gleitendes) vordefiniertes Zeitfenster/Zeitintervall ermittelt werden. Beispiele für solche statistischen Parameter sind die Anteile p_i der einzelnen Blicksektoren 201, ..., 213 an der Blickrichtung des Fahrers und die Häufigkeiten h_i für die Übergänge zwischen den einzelnen Blicksektoren 201, ..., 213.
Die ein oder mehreren statistischen Parameter können dann dazu verwendet werden, den Zustand des Fahrers zu ermitteln. Zu diesem Zweck kann ein Cluster-Algorithmus verwendet werden. Insbesondere können in einer Lernphase eine Vielzahl von zusammenhängenden Paaren von „Werte der ein oder mehreren statistischen Parametern” und „Fahrerzustände” aufgezeichnet werden. Aus dieser Vielzahl von zusammenhängenden Paaren kann dann ein Clusteralgorithmus hergeleitet werden, der Zusammenhänge zwischen den „Werten der ein oder mehreren statistischen Parametern” und den „Fahrerzuständen” erkennt. Insbesondere kann der derart antrainierte Clusteralgorithmus dazu verwendet werden, im Normalbetrieb aus den ermittelten aktuellen Werten der ein oder mehreren statistischen Parametern den aktuellen Fahrerzustand zu bestimmen.
Der Clusteralgorithmus kann auf Basis einer Lerngruppe mit einer Vielzahl von unterschiedlichen Fahrern ermittelt werden (z. B. um eine Grundfunktionalität für ein Neufahrzeug bereitzustellen). Alternativ oder ergänzend kann der Clusteralgorithmus Fahrer-spezifisch antrainiert oder adaptiert werden (z. B. um Fahrerspezifische Gewohnheiten besser berücksichtigen zu können).
Eine Erweiterung des Klassifikationsverfahrens, über die Auswertung der Blicksektoren 201, 213 hinaus, kann darin bestehen, zusätzliches Wissen über Objekte im Fahrzeugumfeld zu erfassen und bei der Auswertung des Fahrerverhaltens zu berücksichtigen. Insbesondere kann Wissen über eine 3D Position von Fahrzeugen und/oder Wissen über Personen im Fahrzeugumfeld des Fahrzeugs 100, und/oder Wissen über die Position und Ausrichtung von Fahrspuren berücksichtigt werden.
Zu diesem Zweck kann das Fahrzeug 100 ein oder mehrere Umfeldsensoren 105 umfassen, die eingerichtet sein, ein Umfeld des Fahrzeugs 100 zu erfassen. Die ein oder mehreren Umfeldsensoren 105 können z. B. eine Kamera und/oder einen Radarsensor umfassen. Anhand der von den ein oder mehreren Umfeldsensoren 105 bereitgestellten Umfelddaten kann die Steuereinheit 101 beispielsweise das Vorliegen von Objekten und/oder Hindernissen im Umfeld des Fahrzeugs 100 ermitteln.
Desweiteren kann das Fahrzeug 100 eine Positionierungseinheit 106 umfassen, die eingerichtet ist, Positionsdaten zu ermitteln. Die Positionierungseinheit 106 kann insbesondere ein Navigationssystem mit digitalen Karten des Umfelds des Fahrzeugs 100 umfassen. Anhand der Positionsdaten kann von der Steuereinheit 101 eine absolute Position des Fahrzeugs 100 und/oder eine relative Position des Fahrzeugs 100 relativ zu einem detektierten Objekt im Umfeld des Fahrzeugs 100 ermittelt werden.
Ein detektiertes Objekt kann bei der Auswertung des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 berücksichtigt werden. Insbesondere kann ermittelt und berücksichtigt werden, ob eine Blickrichtung des Fahrers (d. h. ein ermittelter Blicksektor und/oder Blickvektor) mit einer Position des detektierten Objektes korreliert. Alternativ oder ergänzend kann bei Kenntnis des Fahrbahnverlaufs ermittelt werden, ob der Fahrer genau in Fahrrichtung schaut (d. h. in einen Blicksektor der mit dem Fahrbahnverlauf korreliert).
Desweiteren können alternativ oder ergänzend zu den Blicksektoren 201, ..., 213 die ein oder mehreren detektierten Objekte und/oder der Straßenverlauf als Klassen für die Zuordnung der Blickrichtung des Fahrers berücksichtigt werden. Insbesondere kann statt oder neben einer Klassifikation in die Blicksektoren 204, 209 der Windschutzscheibe, Informationen über bewusst wahrgenommene Szenenobjekte in den Blickverteilungshistogrammen zur Klassifikation, d. h. in der statistischen Analyse, berücksichtigt werden. Dies verbessert typischerweise die Klassifikationsqualität, da unterschieden werden kann, ob der Fahrer aus dem Fenster in den Himmel schaut (und somit tendenziell unkonzentriert ist) oder ob der Fahrer auf ein relevantes Szenenobjekt schaut.
Zur Berücksichtigung von detektierten Objekten und/oder zur Berücksichtigung des Straßenverlaufs bei der statistischen Analyse können beispielsweise die Histogrammbalken von bestimmten Blicksektoren (z. B. die Blicksektoren 204, 209) durch einen Balken mit der Betrachtungszeit und Betrachtungsfrequenz von ein oder mehreren aktiv wahrgenommenen Szenenobjekten ersetzt werden. Allgemeiner ausgedrückt, können die ein oder mehreren detektierten Objekte und/oder der bekannte Straßenverlauf als (ggf. zusätzliche) Blicksektoren s_i berücksichtigt werden, wobei sich eine Position und ggf. eine Größe dieser Blicksektoren mit der Zeit verändern kann (z. B. wenn das Fahrzeug 100 an dem detektierten Objekt vorbeifährt). Die statistische Analyse kann dann wie oben dargelegt durchgeführt werden, um einen Zustand des Fahrers zu ermitteln.
Die beschriebenen Objektlisten mit Betrachtungszeiten und Betrachtungshäufigkeiten können alternativ oder ergänzend zu der Klassifikation von Fahrerverhalten in einem Fahrerassistenzsystem zur Warnung vor nicht wahrgenommen Objekten (z. B. Radfahrern, die die Spur kreuzen) verwendet werden. Mit anderen Worten, die in diesem Dokument beschriebene Analyse des zeitlichen Verlaufs s(t) der ermittelten Blicksektoren 201, ..., 213 kann auch dazu verwendet werden, um den Fahrer bzgl. nicht wahrgenommener Objekte zu warnen.
Um aus dem klassifizierten Fahrerverhalten und/oder aus dem klassifizierten Fahrerzustand einen Übernahmefähigkeitslevel des Fahrers zu bestimmen, können ggf. zusätzliche Informationen analysiert werden:

• Level 6: Ob der Fahrer lebt oder tot ist kann beispielsweise über eine bildbasierte Puls schlagerkennung, bei der minimale Hautverfärbungen im Videobild erkannt werden, bestimmt werden. Alternativ oder ergänzend können nichtinvasive Sensoren zur Pulsmessung im Sitz verbaut werden.
• Level 5: Die Anwesenheit des Fahrers am Fahrersitz kann über Bildverarbeitung erkannt werden, da der Kopf sich im Fahrzeug innerhalb einer validen Kopfposition befinden sollte. So fällt beispielsweise auf, wenn der Fahrer beim hochautomatisierten Fahren den Fahrersitz verlässt oder eine ungewöhnliche Sitzposition einnimmt. Ob der Fahrer eingeschlafen ist, kann ebenfalls bildbasiert ermittelt werden, da dann die Augen des Fahrers für ein längeres Zeitintervall geschlossen sind.
• Level 3/4: Zur Abgrenzung des Levels 3 von Levels 4 können Verhaltensmerkmale der Augen (Liedschlagfrequenz, Geschwindigkeit, Augenöffnungsmaß) analysiert werden.
• Level 2: Durch Analyse der beschriebenen statistischen Analyse (z. B. anhand von Blickverteilungshistogrammen) kann dieser Level typischerweise eindeutig festgestellt werden.
• Level 1: Durch Analyse der beschriebenen statistischen Analyse (z. B. anhand von Blickverteilungshistogrammen) kann dieser Level typischerweise eindeutig festgestellt werden.

Für hochautomatisiertes Fahrern kann es sinnvoll sein zwischen den Übernahmefähigkeitslevels 3 und 5 unterscheiden zu können. Zur Adaption von Fahrerassistenzsystemen oder teilautomatisierten Fahren kann insbesondere eine Unterscheidung von Übernahmefähigkeitslevels 1 und 2 realisiert werden. Dabei sollte der Übernahmefähigkeitslevel mit einer hohen Zuverlässigkeit erkannt werden. Um auch in Situationen, in denen ein Kamera-basiertes System ggf. nicht korrekt funktioniert (z. B. Fahrer trägt verspiegelte Brille, Augen sind aufgrund von Verschleierung nicht sichtbar, Optik der Kamera ist beschlagen, etc.), den Fahrerzustand und/oder den Übernahmefähigkeitslevel zuverlässig bestimmen zu können, kann das Fahrzeug 100 einen „Tote Mann” Schalter 104 umfassen, der dann verwendet werden kann, wenn über die Vielzahl von Bildsensoren 103 keine zuverlässigen Verläufe des Blickrichtung des Fahrers ermittelt werden können. Die Steuereinheit 101 kann eingerichtet sein, den Fahrer aufzufordern, den „Tote Mann” Schalter 104 zu betätigen, wenn keine zuverlässigen Verläufe der Blickrichtung des Fahrers ermittelt werden können, oder wenn erkannt wird, dass der Fahrzustand nicht mit ausreichender Zuverlässigkeit ermittelt werden kann. So kann eine hohe Zuverlässigkeit bei gleichzeitig hohem Nutzungskomfort erzielt werden.
3 zeigt ein Flussdiagram eines beispielhaften Verfahrens 300. Das Verfahren 300 kann insbesondere auf die Bereitstellung einer Assistenzfunktion in einem Fahrzeug 100 (z. B. einer Fahrerassistenzfunktion oder zur Bereitstellung einer teilautomatisierten oder hochautomatisierten Fahrfunktion) ausgelegt sein. Das Verfahren 300 umfasst das Empfangen 301 von Bilddaten von ein oder mehreren Bildsensoren 103. Die ein oder mehreren Bildsensoren 103 sind eingerichtet, eine Fahrerposition 102 des Fahrzeugs 100 zu erfassen. Insbesondere können die ein oder mehreren Bildsensoren 103 derart angeordnet sein, dass unterschiedliche Blickrichtungen des Fahrers (in einem bestimmten Blickwinkelbereich) erfasst und anhand der Bilddaten analysiert werden können.
Das Verfahren 300 umfasst weiter das Zuweisen 302, anhand der Bilddaten und für eine Sequenz von Zeitpunkten, der Blickrichtung des Fahrers des Fahrzeugs 100 zu jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren 201, ..., 213. Durch eine derartige Zuweisung für die Sequenz von Zeitpunkten kann ein zeitlicher Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers ermittelt werden.
Das Verfahren 300 umfasst weiter das Auswerten 303 des zeitlichen Verlaufs s(t) von Blicksektoren zur Bereitstellung der Assistenzfunktion. Beispielsweise kann der zeitliche Verlauf s(t) von Blicksektoren im Hinblick auf eine teilautomatisierte oder hochautomatisierte Fahrfunktion zur Ermittlung des Zustands des Fahrers ausgewertet werden. Alternativ oder ergänzend kann der zeitliche Verlauf s(t) von Blicksektoren im Hinblick auf eine Fahrerassistenzfunktion ausgewertet werden, bei der der Fahrer über nicht wahrgenommene Hindernisse oder Objekte in einem Umfeld des Fahrzeugs 100 informiert wird.
In diesem Dokument wurde ein Klassifikationsverfahren für die zuverlässige Ermittlung des Fahrerzustands beschrieben. Das Klassifikationsverfahren kann ohne expliziten Eingriff, d. h. ohne Ablenkung, des Fahrers erfolgen. Desweiteren ergeben sich aus den zugrundeliegenden Fahrerverhaltensanalysen und den mit Blickzeit und Blickhäufigkeit angereicherten Umfeldobjektlisten, Möglichkeiten zur Umsetzung von verbesserten und neuen Fahrerassistenzfunktionen (insbesondere im Hinblick auf die Warnung des Fahrers vor nicht wahrgenommenen Hindernissen).
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Steuereinheit (101) für ein Fahrzeug (100), wobei die Steuereinheit (101) eingerichtet ist, – Bilddaten von ein oder mehreren Bildsensoren (103) zu empfangen; wobei die ein oder mehreren Bildsensoren (103) eingerichtet sind, eine Fahrerposition (102) des Fahrzeugs (100) zu erfassen; – anhand der Bilddaten, für eine Sequenz von Zeitpunkten die Blickrichtung eines Fahrers des Fahrzeugs (100) jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren (201, ..., 213) zuzuweisen, und so einen zeitlichen Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers zu ermitteln; und – den zeitlichen Verlauf s(t) von Blicksektoren auszuwerten.
Steuereinheit (101) gemäß Anspruch 1, wobei die Steuereinheit (101) eingerichtet ist, anhand des zeitlichen Verlaufs s(t) von Blicksektoren einen Zustand des Fahrers zu ermitteln.
Steuereinheit (101) gemäß Anspruch 2, wobei die Steuereinheit (101) eingerichtet ist, – für ein vordefiniertes Zeitintervall, ein oder mehrere aktuelle Parameterwerte für ein oder mehrere statistische Parameter aus dem zeitlichen Verlauf s(t) von Blicksektoren zu bestimmen; – einen vordefinierten Clusteralgorithmus bereitzustellen, der eingerichtet ist, unterschiedliche Parameterwerte der ein oder mehreren statistischen Parameter unterschiedlichen vordefinierten Zustandsklassen zuzuordnen; und – anhand der ein oder mehreren aktuellen Parameterwerte und anhand des vordefinierten Clusteralgorithmus, eine aktuelle Zustandsklasse als Zustand des Fahrers zu ermitteln.
Steuereinheit (101) gemäß einem der Ansprüche 2 bis 3, wobei die Steuereinheit (101) eingerichtet ist, – zu bestimmen, dass eine Zuverlässigkeit des anhand des zeitlichen Verlaufs s(t) von Blicksektoren ermittelten Zustands des Fahrers kleiner als oder gleich wie ein vordefinierter Schwellwert ist; und – in Reaktion darauf, zu veranlassen, dass der Fahrer des Fahrzeugs (100) aufgefordert wird, einen Schalter (104) des Fahrzeugs (100) zu betätigen, um den Zustand des Fahrers zu überprüfen.
Steuereinheit (101) gemäß einem vorhergehenden Anspruch, wobei die Steuereinheit (101) eingerichtet ist, – Umfelddaten von ein oder mehreren Umfeldsensoren (105) des Fahrzeugs (100) und/oder Positionsdaten von einer Positionierungseinheit (106) des Fahrzeugs (100) zu empfangen; – anhand der Umfelddaten und/oder der Positionsdaten ein Objekt in einem Umfeld des Fahrzeugs (100) zu detektieren; und – das detektierte Objekt einem Blicksektor aus der Vielzahl von Blicksektoren (201, ..., 213) zuzuweisen.
Steuereinheit (101) gemäß Anspruch 5 mit Bezug auf Ansprüche 2 oder 4, wobei die Steuereinheit (101) eingerichtet ist, das detektierte Objekt bei der Ermittlung des Zustands des Fahrers zu berücksichtigen.
Steuereinheit (101) gemäß einem der Ansprüche 5 bis 6, wobei die Steuereinheit (101) eingerichtet ist, – anhand des zeitlichen Verlaufs s(t) von Blicksektoren zu bestimmen, dass der Fahrer das detektierte Objekt nicht wahrnimmt; und – in Reaktion darauf, die Ausgabe eines Warnhinweises bzgl. des detektierten Objekts an den Fahrer des Fahrzeugs (100) zu veranlassen.
Steuereinheit (101) gemäß einem vorhergehenden Anspruch, wobei die Steuereinheit (101) eingerichtet ist, – anhand des zeitlichen Verlaufs s(t) von Blicksektoren, Anteile p_i der einzelnen Blicksektoren aus der Vielzahl von Blicksektoren (201, ..., 213) an der Blickrichtung des Fahrers in einem vordefinierten Zeitintervall zu bestimmen; und/oder – anhand des zeitlichen Verlaufs s(t) von Blicksektoren, Häufigkeiten h_i für Übergänge zwischen den einzelnen Blicksektoren aus der Vielzahl von Blicksektoren (201, ..., 213) in dem vordefinierten Zeitintervall zu bestimmen.
Steuereinheit (101) gemäß einem vorhergehenden Anspruch, wobei die Blicksektoren der Vielzahl von Blicksektoren (201, ..., 213) jeweils unterschiedliche Bereiche eines Frontbereichs und/oder eines Seitenbereichs des Fahrzeugs (100) umfassen.
Verfahren (300) zur Bereitstellung einer Assistenzfunktion in einem Fahrzeug (100), wobei das Verfahren (300) umfasst, – Empfangen (301) von Bilddaten von ein oder mehreren Bildsensoren (103); wobei die ein oder mehreren Bildsensoren (103) eingerichtet sind, eine Fahrerposition (102) des Fahrzeugs (100) zu erfassen; – Zuweisen (302), anhand der Bilddaten und für eine Sequenz von Zeitpunkten, der Blickrichtung eines Fahrers des Fahrzeugs (100) zu jeweils einem Blicksektor aus einer Vielzahl von Blicksektoren (201, ..., 213), um einen zeitlichen Verlauf s(t) von Blicksektoren als Darstellung einer zeitlichen Entwicklung der Blickrichtung des Fahrers zu ermitteln; und – Auswerten (303) des zeitlichen Verlaufs s(t) von Blicksektoren zur Bereitstellung der Assistenzfunktion.