-
Stand der Technik
-
Die Erfindung geht aus von einem Verfahren oder einer Vorrichtung nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Schätzungen der Blickrichtung eines menschlichen Betrachters werden in unterschiedlichsten technischen Systemen eingesetzt. Beispielsweise beschreibt Trefflich in der Abhandlung „Videogestützte Überwachung der Fahreraufmerksamkeit und Adaption von Fahrerassistenzsystemen“ (Technische Universität Ilmenau, 2010) ein Verfahren zum Schätzen der Blickrichtung des Fahrers eine Fahrzeugs in Abhängigkeit von seiner aktuellen Kopfausrichtung. Diese Schätzung wird dann verwendet, um zu ermitteln, ob der Fahrer noch die Straße im Blick hat und die Verkehrssituation aufmerksam verfolgt, um gegebenenfalls das Verhalten von Fahrerassistenzsystemen, z. B. Warnsystemen, anzupassen.
-
Eine exaktere Schätzung der Blickrichtung eines Betrachters kann aus Messungen der Augenbewegungen des Betrachters gewonnen werden. Augenbewegungen können unter Verwendung videobasierter Kopf- und/oder Eye-Tracking-Systeme, also Nachführsysteme für Kopf- und/oder Augenbewegungen des Betrachters, gemessen werden. Diese Systeme schätzen üblicherweise zunächst die Kopfbewegungen des Betrachters anhand eindeutiger Gesichtsmerkmale. In einem zweiten Schritt werden das Auge und spezifische Augenmerkmale – z. B. die Pupille, die Sklera oder die Kornealreflexion – des Betrachters erfasst. Diese Merkmale werden verwendet, um die Augenrotation zu schätzen und eine genauere Schätzung der Blickrichtung des Betrachters zu liefern.
-
Beispielsweise beschreibt die
WO 01/52722 A1 eine Vorrichtung zum Erfassen der Blickrichtung eines Nutzers mit einer Lichtquelle, die angeordnet ist, um einen Lichtstrahl in Richtung der Augen des Nutzers zu erzeugen, und einem Detektor zum Erfassen des Lichtstrahls bei dessen Reflexion im Auge.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Schätzen einer Blickrichtung eines Fahrzeuginsassen eines Fahrzeugs sowie eine Einrichtung, die dieses Verfahren verwendet, ein Verfahren zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters sowie eine Einrichtung, die dieses Verfahren verwendet, ein Verfahren zum Blickrichtungsschätzen eines Fahrzeuginsassen eines Fahrzeugs sowie eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Das hier vorgestellte Konzept ermöglicht Schätzungen der Blickrichtung eines Betrachters basierend auf einer Information über ein Verhältnis zwischen Kopf- und Augenbewegungen des Betrachters.
-
Dieses neue Konzept nutzt die Tatsache aus, dass eine Ausrichtungs- bzw. Orientierungsbewegung beim Menschen typischerweise sowohl eine Kopfbewegung als auch eine Augenbewegung beinhaltet, und verwendet bekannte Verhältnisse zwischen diesen zwei Bewegungen, nämlich zum einen eine zeitliche Entwicklung und zum anderen eine Diskrepanz zwischen beiden Bewegungen, wenn ein Objekt visuell fixiert wird.
-
Der hierin vorgeschlagene Ansatz kann genauere Blickrichtungsschätzungen eines Betrachters ermöglichen, wenn keine Informationen bezüglich der Augenrotation vorhanden sind und für die Ableitung der Blickrichtung ausschließlich die Information über die Kopfausrichtung zur Verfügung steht. Somit können Lücken in den Sensordaten überbrückt werden, um die Zuverlässigkeit des Head- oder Eye-Tracking-Systems umfassend zu erhöhen.
-
Die gemäß dem hier vorgestellten Konzept ermöglichte Schätzung der Blickrichtung kann die Zuverlässigkeit von Schätzungen von Blickrichtungsveränderungen eines Betrachters auch in Umgebungen mit spärlichen Sensordaten aufgrund von Beschränkungen des Erfassungsbereichs verbessern.
-
Es wird ein Verfahren zum Schätzen einer Blickrichtung eines Fahrzeuginsassen eines Fahrzeugs vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Ermitteln einer eine aktuelle Kopfbewegung eines Kopfes des Fahrzeuginsassen abschließenden Kopffixationsposition des Kopfes unter Verwendung von Sensordaten über eine Winkelgeschwindigkeit der aktuellen Kopfbewegung; und
Kombinieren der Kopffixationsposition und eines Kopfbewegungsverstärkungsparameters, um die Blickrichtung des Fahrzeuginsassen zu schätzen, wobei der Kopfbewegungsverstärkungsparameter von einem für einen Fahrzeuginsassen individuellen Kopfbewegungsmuster bei einem visuellen Fixieren eines Objekts abhängig ist.
-
Das Verfahren kann in einem straßengebundenen Fahrzeug ausgeführt werden. Bei dem Fahrzeuginsassen kann es sich um einen Fahrer des Fahrzeugs handeln. Die zu schätzende Blickrichtung des Fahrzeuginsassen kann unter Verwendung von mindestens zwei Positionsdaten beispielsweise mittels eines Vektors im dreidimensionalen Raum dargestellt werden und kann eine Information darüber bereitstellen, welchen Bereich eines den Fahrzeuginsassen umgebenden Umfelds der Fahrzeuginsasse am Ende der aktuellen Kopfbewegung visuell fixiert.
-
Bei der aktuellen Kopfbewegung kann es sich um eine Rotationsbewegung des Kopfes um die Gier- oder Querachse (Nickachse) handeln, wobei die Dreh- bzw. Rotationsbewegung einen von einer Größe der Bewegung abhängigen Winkel überstreicht. Die Kopffixationsposition kann eine Position oder Ausrichtung des Kopfes zu einem Zeitpunkt beschreiben, zu dem der Fahrzeuginsasse den Kopf nach Abschluss der Kopfbewegung wieder relativ stabil hält. Bei den Sensordaten über die Winkelgeschwindigkeit der Kopfbewegung kann es sich um von einem optischen Sensor des Fahrzeugs erfasste und in Form von elektrischen Signalen bereitgestellte Bildinformationen handeln.
-
Das Kopfbewegungsmuster kann eine menschliche Eigenart oder Neigung beschreiben, für eine visuelle Fixierung eines Objekts eine Augendrehung und eine kompensatorische Kopfdrehung auszuführen. Das Kopfbewegungsmuster kann mittels mathematischer Formeln beschrieben werden. Der von dem Kopfbewegungsmuster abhängige Kopfbewegungsverstärkungsparameter kann ausgebildet sein, um bei einer mathematischen Bestimmung des Kopfbewegungsmusters ein Verhältnis zwischen einer spezifischen Augendrehung und einer spezifischen kompensatorischen Kopfdrehung bei einer visuellen Fixierung herauszustellen. Unter dem Kopfbewegungsverstärkungsparameter ist dabei ein anpassbarer Wert zu versehen, der von weiteren Größen außer dem Verhältnis zwischen Augen- und Kopfdrehung abhängen kann.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Gemäß einer Ausführungsform können in dem Schritt des Ermittelns die Sensordaten eine Winkelgeschwindigkeit bei einem Überstreichen eines Winkels zwischen einer Ruheposition des Kopfes und der Kopffixationsposition des Kopfes repräsentieren. Hierfür wird aus den währen der Kopfbewegung erfassten Sensordaten, die die Winkelgeschwindigkeit abbilden, die Kopffixationsposition ermittelt. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, dass eine in modernden Fahrzeugen durch die meist bereits vorhandene Sensorik einfach zu erfassende Bewegung für einen Zusatznutzen in der Form der Schätzung der Blickrichtung weiterverwendet werden kann. Meist lässt sich nämlich diese Bewegung beim Überstreichen des Winkels zwischen der Ruheposition und der Kopffixationsposition auch aus den bereits vorhandenen Sensorsignalwerten bestimmen, sodass lediglich ein geringer numerischer oder schaltungstechnischer Aufwand zur Realisierung des hier vorgeschlagenen Ansatzes erforderlich ist.
-
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Auswählens des Kopfbewegungsverstärkungsparameters aus einer Mehrzahl Kopfbewegungsverstärkungsparametern in Abhängigkeit von einer Winkelgröße der aktuellen Kopfbewegung aufweisen. So können mit der Verwendung hinterlegter Werte Rechenkapazitäten gespart werden.
-
Das Verfahren kann ferner einen Schritt des Einlesens der Sensordaten über eine Winkelgeschwindigkeit einer aktuellen Kopfbewegung des Fahrzeuginsassen über eine Schnittstelle von einem optischen Sensor des Fahrzeugs aufweisen. So können stets zeitnah aktuelle Sensordaten bereitgestellt werden.
-
Es wird ferner ein Verfahren zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
-
Erstellen eines für den Fahrzeuginsassen spezifischen Kopfbewegungsmusters bei einem visuellen Fixieren eines Objekts unter Verwendung von Sensordaten der Augenexzentrizität und Kopfexzentrizität des Fahrzeuginsassen bei zumindest einem visuellen Fixieren eines Objekts, wobei die Augenexzentrizität eine Winkelabweichung einer Augenausrichtung eines Auges des Fahrzeuginsassen bei einer Bewegung von einer Ruheposition des Auges bis zum Erreichen einer eine aktuelle Augenbewegung des Auges abschließenden Augenfixationsposition des Auges repräsentiert und die Kopfexzentrizität eine Winkelabweichung einer Kopfausrichtung eines Kopfes des Fahrzeuginsassen bei einer Bewegung von einer Ruheposition des Kopfes bis zum Erreichen einer eine aktuelle Kopfbewegung eines Kopfes abschließenden Kopffixationsposition des Kopfes repräsentiert; und
-
Bestimmen des für den Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters unter Verwendung des spezifischen Kopfbewegungsmusters.
-
Unter einer Winkelabweichung kann ein Winkel verstanden werden. Unter einer Augenexzentrizität kann hier der Winkel zwischen einer Blickrichtung der Augen bei einer Ruhelage und einer Blickrichtung der Augen nach einer Fixierung eines Objektes, also nach einer Augenbewegung zur Fixierung oder zur Nachverfolgung des Objektes verstanden werden. Unter einer Augenfixationsposition kann die Position bzw. Blickrichtung der Augen verstanden werden, wenn die Augen das Objekt fixieren. Unter einer Kopfexzentrizität kann ein Winkel verstanden werden, um den der Kopf für eine Fixierung eines Objektes gedreht wird. Die Augenexzentrizität und die Kopfexzentrizität können unterschiedlich groß ausfallen, da beispielsweise die Augen zur Fixierung eines Objektes zunächst seitlich auf das Objekt hin gedreht werden und der Kopf durch eine trägere nachfolgende Bewegung ebenfalls in Richtung des Objektes gedreht wird, wobei der Kopf nicht ganz so weit gedreht werden braucht, wie die Augen.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Gemäß einer Ausführungsform des Verfahrens kann in dem Schritt des Erstellens des für den Fahrzeuginsassen spezifischen Kopfbewegungsmusters ein Durchschnittswert von Sensordaten einer Mehrzahl von Augenexzentrizitäten und von Sensordaten einer Mehrzahl von Kopfexzentrizitäten des Fahrzeuginsassen bei einem mehrfachen visuellen Fixieren von Objekten zugrunde gelegt werden. Mit dieser Ausführungsform können ohne Weiteres Messfehler bereinigt werden.
-
Ferner kann der Schritt des Erstellens des für den Fahrzeuginsassen spezifischen Kopfbewegungsmusters während einer vorgegebenen Kalibrierzeit und/oder in einem optischen Erfassungsbereich innerhalb des Fahrzeugs ausgeführt werden. Auf diese Weise kann ohne Weiteres ein für den Fahrzeuginsassen spezifisches Kopfbewegungsmuster erstellt werden.
-
Auch kann in dem Schritt des Bestimmens des für den Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters eine Division eines den Sensordaten über die Kopfexzentrizität entsprechenden Kopfexzentrizitätswerts des Kopfbewegungsmusters und eines den Sensordaten über die Augenexzentrizität entsprechenden Augenexzentrizitätswerts des Kopfbewegungsmusters ausgeführt werden. Dabei kann der Kopfexzentrizitätswert einen Dividenden der Division bilden und der Augenexzentrizitätswert einen Divisor der Division bilden. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil einer numerisch oder schaltungstechnisch sehr einfach umsetzbaren Ermittlung des Kopfbewegungsverstärkungsparameters, sodass sich der hier vorgeschlagene Ansatz auch kostengünstig implementieren lässt.
-
Günstig ist es auch, wenn in dem Schritt des Bestimmens des für den Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters ein voreingestellter Wert als der spezifische Kopfbewegungsverstärkungsparameter initialisiert wird und in vorbestimmten Zeitabständen mit Werten aktueller Sensordaten von Augenexzentrizitäten und Werten aktueller Sensordaten von Kopfexzentrizitäten des Fahrzeuginsassen aktualisiert und/oder verändert wird. So kann der Kopfbewegungsverstärkungsparameter mit besonders kurzem Zeitverzug zur Verfügung gestellt werden.
-
Das Verfahren kann gemäß einer weiteren Ausführungsform einen Schritt des Ermittelns der Augenfixationsposition unter Verwendung von Sensordaten über eine Winkelgeschwindigkeit einer Augenbewegung des Auges des Fahrzeuginsassen bei der visuellen Fixierung eines Objekts aufweisen. Vorteilhafterweise kann so der Kopfbewegungsverstärkungsparameter besonders exakt bestimmt werden.
-
Es wird ferner ein Verfahren zum Blickrichtungsschätzen eines Fahrzeuginsassen eines Fahrzeugs vorgestellt, wobei das Verfahren die Schritte von Ausführungsformen der oben beschriebenen Verfahren ausführt.
-
Auch dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte von Varianten der hier vorgestellten Verfahren in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 eine Prinzipdarstellung eines Fahrzeugs mit einer Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen gemäß einem Ausführungsbeispiel;
-
2 ein Blockschaltbild einer Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen gemäß einem Ausführungsbeispiel;
-
3 ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters gemäß einem Ausführungsbeispiel;
-
4 ein Ablaufdiagramm eines Verfahrens zum Schätzen einer Blickrichtung eines Fahrzeuginsassen eines Fahrzeugs gemäß einem Ausführungsbeispiel;
-
5 ein Ablaufdiagramm eines Verfahrens zum Blickrichtungsschätzen eines Fahrzeuginsassen eines Fahrzeugs gemäß einem Ausführungsbeispiel; und
-
6 bis 8 schematische Darstellungen einer Kopfbewegung in Abhängigkeit von einem spezifischen Kopfbewegungsmuster gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine Prinzipdarstellung eines Fahrzeugs 100. Bei dem Fahrzeug 100 handelt es sich um ein straßengebundenes Fahrzeug wie einen Personen- oder Lastkraftwagen. Gezeigt ist ferner ein Fahrzeuginsasse 102, hier ein Fahrer 102, des Fahrzeugs 100.
-
Das Fahrzeug 100 ist mit einem videobasierten Bewegungsnachführsystem 104 zum Nachführen bzw. Tracken von Kopf- und Augenbewegungen des Fahrzeuginsassen 102 ausgestattet. Im Folgenden wird das Bewegungsnachführsystem 104 auch als Head- und Eye-Tracking-System 104 bezeichnet. Aufgabe des Head- und Eye-Tracking-Systems 104 ist es, festzustellen, ob der Fahrzeuginsasse 102, insbesondere, wenn es sich bei diesem um den Fahrer des Fahrzeugs 100 handelt, den Blick auf das Verkehrsgeschehen gerichtet hat oder nicht. Im Folgenden wird der Fahrzeuginsasse 102 deswegen auch als Betrachter 102 bezeichnet. Unter Verwendung entsprechender Daten des Head- oder Eye-Tracking-Systems 104 können gegebenenfalls Fahrerassistenz- oder Warnsysteme des Fahrzeugs 100 aktiviert werden.
-
Allgemein formuliert hängt die Fähigkeit eines Head- und Eye-Tracking-Systems, die aktuelle Kopf- oder Augenposition und -ausrichtung zu bestimmen, von der allgemeinen Zuverlässigkeit des Systems und seinem Erfassungsbereich ab. Das Head-Tracking ist im Allgemeinen zuverlässiger als das Eye-Tracking, da die nachführbaren Gesichtsmerkmale in größerer Zahl vorhanden, größer, und gegenüber äußeren Störeinflüssen wie hellem Sonnenlicht robuster sind. Beispielsweise arbeiten Eye-Tracking-Systeme häufig mit Messungen einer kleinen Glanzfläche auf der Cornea, die leicht durch eine helle externe Lichtquelle wie die Sonne gestört werden können. Eine derartige Glanzfläche ist unter den Begriffen Corneale Reflexion oder Purkinje-Bild bekannt.
-
Das Head-Tracking arbeitet üblicherweise auch mit einem größeren Erfassungsbereich als das Eye-Tracking. Die Ausrichtung des Kopfes kann auch anhand von sichtbaren Merkmalen an der Seite des Kopfes, z. B. Abschnitten der Ohren, bestimmt werden. Dies erweist sich als günstig in Situationen mit weitreichenden Kopfdrehungen, beispielsweise beim Schulterblick im Fahrzeug. Hier wird der Kopf üblicherweise um bis zu 90 Grad gedreht. In diesen Situationen kann das System zwar möglicherweise noch den Kopf nachverfolgen bzw. tracken, ist jedoch nicht mehr in der Lage, Augenmerkmale zum Tracking des Auges zu erfassen.
-
Zusammenfassend lässt sich sagen, dass Schätzungen der Blickrichtung eines Betrachters anhand der Augenausrichtung genauer sind als Schätzungen anhand der Kopfausrichtung, jedoch den Nachteil geringerer Datensicherheit aufweisen.
-
Das in 1 gezeigte beispielhafte Head- und Eye-Tracking-System 104 umfasst eine Fahrzeugkameraanordnung 106 bzw. ein Fahrzeugkamerasystem 106 mit zumindest einem ersten optischen Sensor 108 und einem zweiten optischen Sensor 110 sowie eine Vorrichtung 112 zum Blickrichtungsschätzen des Fahrzeuginsassen 102 gemäß einem Ausführungsbeispiel.
-
Die Fahrzeugkameraanordnung 106 ist im Fahrzeuginnenraum angeordnet. Die Sensoren 108, 110 sind auf einen Kopf 114 des Fahrzeuginsassen 102 gerichtet. Dabei ist der erste optische Sensor 108 ausgebildet, um eine Augenbewegung, insbesondere eine Augenrotationsbewegung, eines Auges 116 des Fahrzeuginsassen 102 zu erfassen. Der zweite optische Sensor 110 ausgebildet, um eine Kopfbewegung, insbesondere eine Kopfrotationsbewegung, des Kopfes 114 des Fahrzeuginsassen 102 zu erfassen. Hierbei kann auch der erste Sensor 108 und der zweite Sensor 110 Teil einer integrierten Sensoreinheit wie beispielsweise einer Videokamera sein, in der die jeweiligen Module zum Erfassen der Augenbewegung bei Ausgabe eines ersten Sensorsignals als erster Sensor 108 und zum Erfassen der Kopfbewegung bei Ausgabe eines zweiten Sensorsignals als zweiter Sensors 110 verstanden werden kann. Typischerweise handelt es sich somit bei den beiden Sensoren 108 und 110 um einen integrierten Sensor, wie eine Videokamera, mit der sowohl die Kopfpose als auch die Orientierung der Augen errechnet werden kann. Unterschiede in der Berechnungsgüte ergeben sich, wie oben beschrieben, durch die unterschiedliche Sichtbarkeit der relevanten Merkmale (z. B. Nasenlöcher zur Kopfposenschätzung versus Cornea-Reflektion zur Schätzung der Augenorientierung).
-
Die Vorrichtung 112 ist ausgebildet, um unter Verwendung von Sensordaten 118 über eine Winkelgeschwindigkeit einer aktuellen Augenbewegung des Fahrzeuginsassen 102 eine die aktuelle Augenbewegung abschließende Augenfixationsposition des Auges 116 zu bestimmen und unter Verwendung von Sensordaten 120 über eine Winkelgeschwindigkeit einer aktuellen Kopfbewegung des Fahrzeuginsassen 102 eine die aktuelle Kopfbewegung abschließende Kopffixationsposition des Kopfes 114 zu bestimmen.
-
Gemäß einem Ausführungsbeispiel repräsentieren die Sensordaten 118 eine Winkelgeschwindigkeit bei einem Überstreichen eines Winkels zwischen einer Ruheposition des Auges 116 vor der aktuellen Augenbewegung und der Augenfixationsposition des Auges 116 bei Abschluss der aktuellen Augenbewegung. Entsprechend repräsentieren die Sensordaten 120 eine Winkelgeschwindigkeit bei einem Überstreichen eines Winkels zwischen einer Ruheposition des Kopfes 114 vor der aktuellen Kopfbewegung und der Kopffixationsposition des Kopfes 114 bei Abschluss der aktuellen Kopfbewegung.
-
Ein Erfassungsbereich 122 des ersten optischen Sensors 108 zum Erfassen von Augenbewegungen ist kleiner als ein Erfassungsbereich 124 des zweiten optischen Sensors 110 zum Erfassen von Kopfbewegungen. Dreht der Betrachter 102 den Kopf 114 weit nach links oder rechts, bleibt zwar der Kopf 114 innerhalb des Erfassungsbereichs 124 des zweiten optischen Sensors 110, aber das Auge 116 wird aus dem Erfassungsbereich 122 des ersten optischen Sensors 108 herausbewegt. Damit kann am Ende einer solchen weiten Kopfdrehung die Augenfixationsposition nicht mehr festgestellt werden und steht zur Bestimmung einer Blickrichtung des Fahrzeuginsassen 102 nicht mehr zur Verfügung.
-
Ferner ist die Vorrichtung 112 ausgebildet, um unter Verwendung von Sensordaten 126 von Augenexzentrizitäten des Auges 116 des Fahrzeuginsassen 102 und unter Verwendung von Sensordaten 128 von Kopfexzentrizitäten des Kopfes 114 des Fahrzeuginsassen 102 bei dessen visueller Fixierung von Objekten ein für den Fahrzeuginsassen 102 spezifisches Kopfbewegungsmuster zu erstellen und basierend auf dem Kopfbewegungsmuster einen für den Fahrzeuginsassen 102 spezifischen Kopfbewegungsverstärkungsparameter zu bestimmen.
-
Eine Augenexzentrizität repräsentiert dabei eine Winkelabweichung einer Augenausrichtung des Auges 116 des Fahrzeuginsassen 102 von einer Ruheposition des Auges 116 bei Erreichen der Augenfixationsposition des Auges 116 bei der visuellen Fixierung eines Objekts. Eine Kopfexzentrizität repräsentiert eine Winkelabweichung einer Kopfausrichtung des Kopfes 114 des Fahrzeuginsassen 102 von einer Ruheposition des Kopfes 114 bei Erreichen der Kopffixationsposition des Kopfes 114 bei der visuellen Fixierung des Objekts.
-
Die Vorrichtung 112 ist schließlich ausgebildet, um unter Verwendung der Kopffixationsposition und des Kopfbewegungsverstärkungsparameters eine Blickrichtung 130 des Fahrzeuginsassen 102 zu schätzen, wenn Sensordaten für eine aktuelle Augenfixationsposition des Auges 116 des Fahrzeuginsassen 102 nicht zur Verfügung stehen.
-
Gemäß Ausführungsbeispielen kann die Vorrichtung 112 anstelle des für den Fahrzeuginsassen 102 spezifischen Kopfbewegungsverstärkungsparameters auch einen allgemeinen Kopfbewegungsverstärkungsparameter verwenden, der auf empirischen Daten von Augen- und Kopfbewegungen bei der visuellen Fixierung von Objekten erstellt wurde.
-
1 zeigt einen Aufbau mit einem videobasierten Head- und Eye-Tracking-System 104 mit einer Kameraanordnung 106, die frontal auf den Betrachter 102 gerichtet ist. Die hier vorgestellte Vorrichtung 112 kann aber auch in Kombination mit einer anderen Anordnung oder einem nicht-videobasierten Head- und/oder Eye-Tracking-System angewandt werden.
-
Das Head- und Eye-Tracking-System 104 liefert Messungen des aktuellen Blickrichtungswinkels in konstanten Zeitintervallen, beispielsweise 60 Abtastungen pro Sekunde. Das System 104 ist nicht an eine spezifische Abtastungsrate gebunden.
-
2 zeigt ein Blockschaltbild eines Ausführungsbeispiels der Vorrichtung 112 zum Blickrichtungsschätzen eines Fahrzeuginsassen aus 1. Die Vorrichtung 112 umfasst eine Einrichtung 200 zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters und eine Einrichtung 202 zum Schätzen einer Blickrichtung des Fahrzeuginsassen.
-
Die Einrichtung 200 ist ausgebildet, um über eine geeignete Schnittstelle die Sensordaten 126 einer Augenexzentrizität und die Sensordaten 128 einer Kopfexzentrizität des Fahrzeuginsassen bei der visuellen Fixierung eines Objekts einzulesen und unter Verwendung der Sensordaten 126, 128 ein für den Fahrzeuginsassen spezifisches Kopfbewegungsmuster 204 zu erstellen. Die Einrichtung 200 ist ferner ausgebildet, um unter Verwendung des spezifischen Kopfbewegungsmusters 204 einen für den Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameter 206 zu bestimmen und an die Einrichtung 202 bereitzustellen.
-
Die Einrichtung 202 ist ausgebildet, um über eine geeignete Schnittstelle die Sensordaten 120 über eine Winkelgeschwindigkeit einer aktuellen Kopfbewegung des Fahrzeuginsassen einzulesen und unter Verwendung der Sensordaten 120 eine die aktuelle Kopfbewegung abschließende Kopffixationsposition 208 des Kopfes des Fahrzeuginsassen zu bestimmen. Die Einrichtung 202 ist ferner ausgebildet, um unter Verwendung des Kopfbewegungsverstärkungsparameters 206 und der Kopffixationsposition 208 die Blickrichtung 130 des Fahrzeuginsassen zu schätzen.
-
Gemäß einem Ausführungsbeispiel ist die Vorrichtung 112 ausgebildet, um bereitgestellte Winkelinformationen von Kopfbewegungen zu analysieren und umfasst beispielsweise drei Module.
-
Ein erstes Modul analysiert die Dynamiken der Kopfbewegungen, um zu bestimmen, wann der Kopf eine relativ stabile Ausrichtung, also die Kopffixationsposition bzw. Kopffixierung 208, erreicht. Orientierungs- bzw. Ausrichtungsbewegungen beim Menschen beinhalten typischerweise eine schnelle – sakkadische – Augenbewegung, auf die eine langsame Kompensationsbewegung des Kopfes folgt. Dieses Untersystem berechnet die Geschwindigkeit der bereitgestellten Winkelinformation des Kopfes, um zu bestimmen, wann die Kompensationsbewegung abgeschlossen ist.
-
Ein zweites Modul schätzt dann die Blickrichtung 130. Wenn eine Augeninformation zur Verfügung steht, also sich das Auge des Fahrzeuginsassen innerhalb des Erfassungsbereichs des zugeordneten Sensors befindet und keine äußeren Störeinflüsse vorherrschen, wird die aktuelle Blickrichtung direkt von der Augeninformation abgeleitet. Steht keine Augeninformation zur Verfügung, wird die Blickrichtung 130 lediglich aus der Kopfinformation abgeleitet. In diesem Fall schätzt das System die Blickrichtung 130 anhand der aktuellen stabilen Kopfausrichtung 208. Dieses Modul berechnet die Blickrichtung (A) 130 wie folgt: A = γAH
-
Hier bezeichnet AH die Exzentrizität 128 der Kopfausrichtung 208, d. h., die Winkelabweichung von der Ruheposition bei 0 Grad. γ bezeichnet den für den Betrachter spezifischen Verstärkungsparameter 206. Dieser individuelle Parameter 206 ist dem Umstand geschuldet, dass Individuen unterschiedliche Angewohnheiten haben, den Kopf zu drehen, wenn sie ein Zielobjekt mit einer gewissen Exzentrizität fixieren.
-
Alternative Formulierungen können deduktive Kenntnisse über allgemeine Verstärkungsanpassungen einbringen, die über verschiedene Individuen hinweg gültig sind, z. B. eine kleine Verstärkung für Bewegungen mit weniger als 15 Grad Drehung und einen größeren Verstärkungsfaktor für umfassendere Bewegungen. Eine stufenweise Verstärkungsfunktion könnte diese Kenntnisse miteinbeziehen.
-
Das dritte Modul schließlich befasst sich mit der Berechnung des individuellen Verstärkungsparameters γ
206. Dieser Parameter
206 wird online geschätzt anhand von Änderungen der Blickrichtung, die stattfinden, während sowohl die Augeninformation als auch die Kopfinformation zur Verfügung sehen, also beispielsweise sich das Auge innerhalb der Erfassungsbereichs des zugeordneten Sensors befindet und keine äußeren Störeinflüsse vorliegen. In diesem Fall können Daten gesammelt werden, um Auge- und Kopfexzentrizitäten bei der visuellen Fixierung eines Objekts zu vergleichen. Der Parameter
206 wird dann wie folgt geschätzt:
-
Hier wird γ als die durchschnittliche Verstärkung mehrfacher visueller Fixierungen i geschätzt. Die Verstärkung einer individuellen Fixierung ist ein Faktor der Exzentrizität des Kopfes AH und des Auges AE während dieser Fixierung. Siehe dazu auch 7. Die visuelle Fixierung umfasst eine Augenbewegung, auf die eine Augenfixierung mit einer sie begleitenden Kopfbewegung und Kopffixierung folgt. Die Augenfixierung kann mit unterschiedlichen Verfahren bestimmt werden, beispielsweise durch eine Messung, wenn das Auge relativ stabil ist, in ähnlicher Weise, wie Fixierungen des Kopfes wie oben beschrieben bestimmt werden.
-
Gemäß einem Ausführungsbeispiel kann eine Anfangsschätzung des Verstärkungsparameters 206 aus Fixierungen in einer vorbestimmten Kalibrierphase erstellt werden, in der der Betrachter angewiesen wird, innerhalb des Kopf- und Augenerfassungsbereichs zu bleiben.
-
Alternativ kann der Parameter 206 mit einem voreingestellten Wert initialisiert werden, der während der Tracking-Zeit kontinuierlich aktualisiert wird, um an die individuellen Kopfdrehungsgewohnheiten des Betrachters angepasst zu werden, wann immer Fixierungsdaten von beiden Sensoren – also des Kopferfassungssensors und des Augenerfassungssensors – zur Verfügung stehen. Anders ausgedrückt wird hier der Parameter 206 anhand eines sich bewegenden Fensters von Kopf- und Augenfixierungen berechnet.
-
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 300 zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters. Das Verfahren 300 kann von der in 2 gezeigten Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters ausgeführt werden.
-
In einem Schritt des Erstellens 302 wird ein für den Fahrzeuginsassen spezifisches Kopfbewegungsmuster bei einem visuellen Fixieren eines Objekts erstellt. Dazu werden Sensordaten von Augenexzentrizitäten und Kopfexzentrizitäten des Fahrzeuginsassen bei der visuellen Fixierung von Objekten durch den Fahrzeuginsassen verwendet. In einem Schritt des Bestimmens 304 wird unter Verwendung des spezifischen Kopfbewegungsmusters ein für den Fahrzeuginsassen spezifischer Kopfbewegungsverstärkungsparameter bestimmt.
-
4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Schätzen einer Blickrichtung eines Fahrzeuginsassen eines Fahrzeugs. Das Verfahren 400 kann von der in 2 gezeigten Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen ausgeführt werden.
-
In einem Schritt des Einlesens 402 werden über eine Schnittstelle von einem optischen Sensor des Fahrzeugs Sensordaten über eine Winkelgeschwindigkeit einer aktuellen Kopfbewegung eines Kopfes des Fahrzeuginsassen eingelesen. In einem Schritt des Ermittelns 404 wird unter Verwendung der Sensordaten über die Winkelgeschwindigkeit eine die aktuelle Kopfbewegung abschließende Kopffixationsposition des Kopfes ermittelt.
-
In einem Schritt des Auswählens 406 wird in Abhängigkeit von einer Winkelgröße der Kopfbewegung ein Kopfbewegungsverstärkungsparameter aus einer Mehrzahl von Kopfbewegungsverstärkungsparametern ausgewählt, wobei der Kopfbewegungsverstärkungsparameter von einem spezifischen menschlichen Kopfbewegungsmuster bei einem visuellen Fixieren eines Objekts abhängig ist. In einem Schritt des Kombinierens 408 werden die Kopffixationsposition und der Kopfbewegungsverstärkungsparameter kombiniert, um die Blickrichtung des Fahrzeuginsassen zu schätzen.
-
5 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 500 zum Blickrichtungsschätzen eines Fahrzeuginsassen eines Fahrzeugs. Das Verfahren 500 kann von der in den 1 und 2 gezeigten Vorrichtung zum Blickrichtungsschätzen ausgeführt werden. Das Verfahren 500 führt in einem ersten Prozessabschnitt 502 die Schritte eines Ausführungsbeispiels des in 3 gezeigten Verfahrens zum Bestimmen eines für einen Fahrzeuginsassen eines Fahrzeugs spezifischen Kopfbewegungsverstärkungsparameters aus und in einem zweiten Prozessabschnitt 504 die Schritte eines Ausführungsbeispiels des in 4 gezeigten Verfahrens zum Schätzen einer Blickrichtung eines Fahrzeuginsassen eines Fahrzeugs aus.
-
Zur weiteren Veranschaulichung des hierin vorgeschlagenen Konzepts zur Schätzung der Blickrichtung anhand der Kopf-Auge-Koordination zeigen die 6 bis 8 schematische Darstellungen einer Kopfrotation mit einer beispielhaften Kopf- und Augenexzentrizität bei der visuellen Fixierung eines Objekts.
-
Gezeigt ist jeweils der Kopf 114 des Betrachters 102 in einer Draufsicht. Ein Kreissektor, dessen Ursprung in einem eine Drehachse 600 des Kopfes 114 repräsentierenden Mittelpunkt des Kopfes 114 liegt, repräsentiert einen beispielhaften Erfassungsbereich 122 des auf den Kopf 114 gerichteten – in den 6 bis 8 nicht gezeigten – ersten optischen Sensors zum Erfassen von Augenbewegungen des Betrachters 102. Ein weiterer Kreissektor mit Ursprung in der Drehachse 600 repräsentiert einen beispielhaften Erfassungsbereich 124 des auf den Kopf 114 gerichteten – in den 6 bis 8 ebenfalls nicht gezeigten – zweiten optischen Sensors zum Erfassen von Kopfbewegungen des Betrachters 102.
-
6 zeigt den Kopf 114 des Betrachters 102 in einer mittels einer durchgezogenen Linie in der Darstellung gekennzeichneten Ruheposition 602 bei 0 Grad. Der Betrachter 102 hält den Kopf 114 gerade und genau mittig innerhalb der Erfassungsbereiche 122, 124. Sowohl Kopf- als auch Augenbewegungen bzw. -ausrichtungen werden von den zugeordneten Sensoren erfasst, wobei Kopfausrichtungen innerhalb des Kopferfassungsbereichs 124 erfasst werden und Augenausrichtungen nur innerhalb des Augenerfassungsbereichs 122 erfasst werden.
-
7 zeigt den Kopf 114 beim Beginn einer Kopfdrehung nach rechts zur visuellen Fixierung eines Objekts. Der Kopf 114 hat sich bereits geringfügig aus der Ruheposition 602 bei 0 Grad herausbewegt. Ein erster an der Drehachse 600 ansetzender Vektor kennzeichnet eine aktuelle Kopfausrichtung 700 des Fahrzeuginsassen 102 im visuellen Fixierungsprozess. Ein zweiter an der Drehachse 600 ansetzender Vektor kennzeichnet eine aktuelle Augenausrichtung 702 des Fahrzeuginsassen 102 im visuellen Fixierungsprozess. Es ist deutlich die für den Fahrzeuginsassen 102 spezifische Diskrepanz zwischen beiden Ausrichtungen 700, 702 zu erkennen.
-
Ein erster Winkel, den der erste Vektor 700 mit der Ruheposition 602 bildet, kennzeichnet eine für den Fahrzeuginsassen 102 spezifische Kopfexzentrizität AH bei der visuellen Fixierung. Ein zweiter Winkel, den der zweite Vektor 702 mit der Ruheposition 602 bildet, kennzeichnet eine für den Fahrzeuginsassen 102 spezifische Augenexzentrizität AE bei der visuellen Fixierung.
-
Das für den Fahrzeuginsassen 102 spezifische Kopfbewegungsmuster basiert auf der Differenz zwischen der Winkelabweichung AH der Kopfausrichtung 700 von der Ruheposition 602 und der Winkelabweichung AE der Augenausrichtung 702 von der Ruheposition 602 in der beispielhaften visuellen Fixierung.
-
8 zeigt den Kopf 114 am Ende der Kopfbewegung bei Erreichen der Kopffixationsposition. Das Auge des Betrachters 102 befindet sich nun außerhalb des von dem zugeordneten Sensor erfassbaren Bereichs 122. Eine Position bzw. Ausrichtung des Auges kann hier nicht mehr getrackt werden. Standardmäßig liefert die aktuelle Kopfausrichtung 700 lediglich eine sehr ungenaue Vorhersage der tatsächlichen Blickrichtung. Eine gemäß dem hier vorgeschlagenen Konzept realisierte Anpassung durch einen Verstärkungsfaktor führt zu einer besseren und genaueren Vorhersage der Blickrichtung.
-
Mögliche Einsatzbereiche für das hier vorgestellte Konzept liegen beispielsweise in der Sensortechnologie zur Erfassung menschlicher Bewegungen, im Besonderen in Technologien zur Nachführung von Kopf- oder Augenbewegungen in Verbindung mit Fahrerüberwachungskameras und -systemen.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-