DE102019209200A1

DE102019209200A1 - Verfahren und Vorrichtung zum Bestimmen eines Mittelpunkts und einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs

Info

Publication number: DE102019209200A1
Application number: DE102019209200.4A
Authority: DE
Inventors: Florian Maier
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2020-12-31

Abstract

Die Erfindung betrifft Verfahren zum Bestimmen einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs (100). Das Verfahren umfasst ein Ermitteln von ersten Augenlied-Pixelkoordinaten (170) und zweiten Augenlied-Pixelkoordinaten (172) unter Verwendung eines Kamerabildsignals (152), das ein von der Kamera (106) erfasstes Kamerabild zumindest eines Abschnitts eines Gesichts des Insassen repräsentiert, sowie ein Ermitteln von Augenmittelpunkt-Kamerakoordinaten unter Verwendung der Referenz-Augenmittelpunkt-Kamerakoordinaten (150) und einer Transformationsvorschrift. Die Augenlied-Pixelkoordinaten (170, 172) werden auf eine Kugel (702) projiziert, um Augenlied-Kamerakoordinaten (174, 176) zu erhalten. Die Augenöffnung des Auges wird unter Verwendung der Augenlied-Kamerakoordinaten (174, 176) ermittelt.

Description

Stand der Technik
Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Im Kontext moderner Fahrassistenzsysteme, die beispielsweise auf der Autobahn die Steuerung des Fahrzeugs zeitweise komplett übernehmen wird eine Überwachung des Fahrers immer wichtiger. Diese ist nötig, da die angebotenen Fahrassistenzsysteme lediglich zur Erhöhung des Komforts dienen und keine Funktion zum automatisierten Fahren darstellen, weshalb der Fahrer jederzeit in der Lage sein muss, den umgehenden Verkehr und sein Fahrzeug fortlaufend zu überwachen.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Bestimmen eines Mittelpunkts und ein Verfahren zum Bestimmen einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs, weiterhin eine Vorrichtung, die diese Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Vorteilhafterweise kann ein kugelförmiges Model des Auges eines Insassen eines Fahrzeugs verwendet werden, um eine Position eines Mittelpunktes des Auges in einem Kamerakoordinatensystem einer das Auge erfassenden Kamera zu bestimmen. Die Kenntnis des Mittelpunkts des Auges ermöglicht es unter Verwendung des kugelförmigen Modells wiederum, eine Augenöffnung des Auges sicher zu bestimmen. Zusätzlich oder alternativ kann der Mittelpunkt verwendet werden, um die Blickrichtung des Insassen zu bestimmen. Beispielsweise kann die Blickrichtung durch einen Vektor von dem Mittelpunkt des Auges zu dem Pupillenmittelpunkt der Pupille des Auges bestimmt werden.
Ein Verfahren zum Bestimmen eines Mittelpunkts eines Auges eines Insassen eines Fahrzeugs umfasst die folgenden Schritte:

Ermitteln von Referenz-Pupillen-Pixelkoordinaten und Referenz-Augenwinkel-Pixelkoordinaten unter Verwendung eines Referenzbildsignals, das ein von einer Kamera erfasstes Referenzbild zumindest eines Abschnitts eines Gesichts des eine Referenzkopfpose aufweisenden Insassen repräsentiert, wobei die Referenz-Pupillen-Pixelkoordinaten eine Position eines Mittelpunkts einer Pupille eines Auges des Insassen in dem Referenzbild und die Referenz-Augenwinkel-Pixelkoordinaten eine Position eines Augenwinkels des Auges des Insassen in dem Referenzbild repräsentieren;
Ermitteln von homogen Referenz-Pupillen-Koordinaten in einem Kamerakoordinatensystem der Kamera unter Verwendung der Referenz-Pupillen-Pixelkoordinaten und von homogenen Referenz-Augenwinkel-Koordinaten in dem Kamerakoordinatensystem der Kamera unter Verwendung der Referenz-Augenwinkel-Pixelkoordinaten;
Ermitteln von Referenz-Augenwinkel-Kamerakoordinaten unter Verwendung der homogenen Referenz-Augenwinkel-Koordinaten und einer dem Augenwinkel zugeordneten Tiefeninformation, wobei die Referenz-Augenwinkel-Kamerakoordinaten eine Position des Augenwinkels in dem Kamerakoordinatensystem repräsentieren; und
Ermitteln von der Referenzkopfpose zugeordneten Referenz-Augenmittelpunkt-Kamerakoordinaten als Schnittpunkt eines aus den homogen Referenz-Pupillen-Koordinaten und den homogenen Referenz-Augenwinkel-Koordinaten gebildeten Referenzvektors und einer Referenzkugel, wobei ein Mittelpunkt der Referenzkugel durch die Referenz-Augenwinkel-Kamerakoordinaten und ein Durchmesser der Referenzkugel durch einen mittleren Augendurchmesser eines menschlichen Auges definiert sind.

Das Verfahren kann im Zusammenhang mit einem Fahrerbeobachtungssystem eines Fahrzeugs eingesetzt werden. Alternativ kann das Verfahren für außerhalb von Fahrzeugen eingesetzte Beobachtungssystem eingesetzt werden, beispielsweise in Fabriken. Unter der Referenzkopfpose kann eine vorbestimmte Stellung des Kopfes des Insassen verstanden werden. Bei der Kamera kann es sich um eine in einem Fahrzeug angeordnete Bilderfassungseinrichtung, beispielsweise um eine Stereokamera handeln. Unter dem Mittelpunkt des Auges sowie dem Augenmittelpunkt kann ein Mittelpunkt eines Augapfels des Auges verstanden werden. Der Kamera kann das Kamerakoordinatensystem zugeordnet sein. Unter Pixelkoordinaten können sich auf eine Bildebene des Referenzbilds beziehende Koordinaten verstanden werden. Unter homogenen Koordinaten können aus der projektiven Geometrie bekannte homogene Koordinaten verstanden werden. Die homogenen Koordinaten können aus den Pixelkoordinaten unter Verwendung einer geeigneten Transformationsvorschrift ermittelt werden. Gemäß einer Ausführungsform können homogene Koordinaten, die in dem Kamerakoordinatensystem den Mittelpunkt der Pupille definieren zumindest angenähert den homogenen Koordinaten entsprechen, die den Augenmittelpunkt definieren. Somit können die homogen Referenz-Pupillen-Koordinaten mit homogenen Referenz-Augenmittelpunkt-Koordinaten gleichgesetzt werden. Die Tiefeninformation kann in dem Referenzbildsignal enthalten sein oder aus dem Referenzbildsignal ermittelt werden, beispielsweise durch eine Tiefenbildauswertung. Der mittlere Augendurchmesser kann einen vorbestimmten Wert repräsentieren.
Das Verfahren kann einen Schritt des Erfassens des Referenzbilds unter Verwendung der Kamera und einem Schritt des Bereitstellens des Referenzbildsignals umfassen. Vorteilhafterweise kann dazu eine Kamera verwendet werden, die Teil eines Fahrerbeobachtungssystems des Fahrzeugs ist. Somit kann auf eine zusätzliche Kamera verzichtet werden. Das Referenzbildsignal kann von der Kamera erfasste Rohdaten oder bereits ausgewertete Daten umfassen.
Das Erfassen des Referenzbilds kann zu einem Zeitpunkt durchgeführt werden, bei dem der Insasse mit dem Auge direkt in ein Objektiv der Kamera blickt. Dieser Zustand kann die Referenzkopfpose definieren. Dieser Zustand kann automatisiert unter Verwendung einer geeigneten Bildauswertung erkannt werden. Auf diese Weise können die Referenz-Augenmittelpunkt-Kamerakoordinaten automatisiert ermittelt werden, sobald der Insasse gegebenenfalls auch zufällig, direkt in die Kamera blickt.
Das Verfahren kann einen Schritt des Ermittelns der dem Augenwinkel zugeordneten Tiefeninformation unter Verwendung des Referenzbildsignals umfassen. Dazu kann beispielsweise eine Disparitätsmessung durchgeführt werden.
Vorteilhafterweise können die einmal ermittelten Referenz-Augenmittelpunkt-Kamerakoordinaten im Folgenden verwendet werden, um den Augenmittelpunkt des Auges in weiteren Bildern zu ermitteln, die von derselben Kamera aufgenommen wurden. Dabei können die weiteren Bilder zu Zeitpunkten aufgenommen worden sein, zwischen denen der Insasse seinen Kopf bewegt hat, sodass die weiteren Bilder den Kopf in unterschiedlichen Kopfposen zeigen können, die sich auch von der Referenzkopfpose unterscheiden können. Der jeweilige Augenmittelpunkt kann vorteilhaft verwendet werden, um in den weiteren Bildern zu erkennen, ob das Auge geöffnet oder geschlossen ist.
Ein entsprechendes Verfahren zum Bestimmen einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs umfasst die folgenden Schritte:

Einlesen von Referenz-Augenmittelpunkt-Kamerakoordinaten, die nach einem genannten Verfahren zum Bestimmen eines Mittelpunkts eines Auges eines Insassen eines Fahrzeugs bestimmte Koordinaten repräsentieren;
Ermitteln von ersten Augenlied-Pixelkoordinaten und zweite Augenlied-Pixelkoordinaten unter Verwendung eines Kamerabildsignals, das ein von der Kamera erfasstes Kamerabild zumindest eines Abschnitts eines Gesichts des eine Kopfpose aufweisenden Insassen repräsentiert, wobei die ersten Augenlied-Pixelkoordinaten eine Position eines Punkts eines oberen Augenlids des Auges des Insassen in dem Kamerabild und die zweiten Augenlied-Pixelkoordinaten eine Position eines Punkts eines unteren Augenlids des Auges des Insassen in dem Kamerabild repräsentieren;
Ermitteln von der Kopfpose zugeordneten Augenmittelpunkt-Kamerakoordinaten unter Verwendung der Referenz-Augenmittelpunkt-Kamerakoordinaten und einer die Referenzkopfpose in die Kopfpose überführenden Transformationsvorschrift;
Projizieren der ersten Augenlied-Pixelkoordinaten auf eine Kugel, um erste Augenlied-Kamerakoordinaten zu erhalten, und der zweiten Augenlied-Pixelkoordinaten auf die Kugel, um zweite Augenlied-Kamerakoordinaten zu erhalten, wobei ein Mittelpunkt der Kugel durch die Augenmittelpunkt-Kamerakoordinaten und ein Durchmesser der Kugel durch den mittleren Augendurchmesser des menschlichen Auges definiert sind;
Ermitteln eines die Augenöffnung des Auges repräsentierenden Augenöffnungssignals unter Verwendung der ersten Augenlied-Kamerakoordinaten und der zweiten Augenlied-Kamerakoordinaten.

Die Augenöffnung kann beispielsweise anzeigen, ob das Auge vollständig geöffnet, teilweise geöffnet oder geschlossen ist. Dazu können die vorab ermittelten Referenz-Augenmittelpunkt-Kamerakoordinaten verwendet werden, die in auf das Kamerakoordinatensystem bezogenen Kamerakoordinaten die Position des Augenmittelpunkts definiert, wenn der Kopf von dem Insassen in der Referenzkopfpose gehalten wird. Die von dem Kamerabild abgebildete Kopfpose des Insassen kann sich von der Referenzkopfpose unterscheiden, sodass sich auch die Position des Augenmittelpunkts in der Kopfpose von der Position des Augenmittelpunkts in der Referenzkopfpose unterscheiden kann. Es kann zumindest ein Punkt des oberen Augenlids und ein Punkt des unteren Augenlids vorbestimmt sein. Vorteilhafterweise können mehrere dem oberen Augenlid und mehrere dem unteren Augenlied zugeordnete Punkte vorbestimmt sein und es können entsprechende Pixelkoordinaten dieser Punkte ermittelt werden. Die die Referenzkopfpose in die Kopfpose überführenden Transformationsvorschrift kann beispielsweise eine Bewegung, beispielsweise eine Drehung und/oder Verschiebung, des aus den homogen Referenz-Pupillen-Koordinaten und den homogenen Referenz-Augenwinkel-Koordinaten gebildeten Referenzvektors definieren, durch den der Referenzvektor in einen Vektor überführt werden kann, der durch auf das Kamerabild bezogene homogene Pupillen- und Augenwinkel-Koordinaten gebildet wird. Die Transformationsvorschrift kann vorbestimmt sein oder mit einem geeigneten Verfahren bestimmt werden, beispielsweise durch einen Vergleich des Kamerabilds mit dem Referenzbilds unter Verwendung des Kamerabildsignals und des Referenzbildsignals. Bei dem Augenöffnungssignal kann es sich um ein elektrisches Signal handeln, das einen zu einem Erfassungszeitpunkt des Kamerabilds bestehenden Öffnungszustand des Auges anzeigt. Das Augenöffnungssignal kann beispielsweise von einem Fahrerassistenzsystem des Fahrzeugs verwendet werden, um eine aktuelle Aufmerksamkeit des Fahrers des Fahrzeugs zu bewerten. Die Schritte des Ermittelns des Verfahrens können fortlaufend wiederholt ausgeführt werden, um den Öffnungszustand des Auges fortlaufend überwachen zu können.
Das Verfahren kann einen Schritt des Ermittelns eines Abstands zwischen den ersten Augenlied-Kamerakoordinaten und den zweiten Augenlied-Kamerakoordinaten umfassen. Dabei kann das Augenöffnungssignal unter Verwendung des Abstands ermittelt werden. Da die Augenlied-Kamerakoordinaten aufgrund des Kugelmodells sehr genau die reale Position der Augenlider abbilden, kann aus den Abstand der durch die Augenlied-Kamerakoordinaten definierten Punkte sehr genau bestimmt werden, ob und gegebenenfalls wie weit das Auge geöffnet ist.
Die genannten Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
2 eine erste Kopfpose eines Kopfes gemäß einem Ausführungsbeispiel;
3 eine zweite Kopfpose eines Kopfes gemäß einem Ausführungsbeispiel;
4 ein Referenzbild eines Auges mit einer Markierung der Pupille und eines Augenwinkels gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Auges gemäß einem Ausführungsbeispiel;
6 ein Kamerabild eines Auges mit einer Markierung von Augenliedern gemäß einem Ausführungsbeispiel;
7 eine schematische Darstellung eines Augenmodells gemäß einem Ausführungsbeispiel;
8 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 gemäß einem Ausführungsbeispiel. In dem Fahrzeug 100 befindet sich ein Insasse 104, bei dem es sich beispielsweise um den Fahrer des Fahrzeugs 100 handeln kann. Das Fahrzeug 100 weist eine Kamera 106 zum Beobachten des Insassen 104 auf. Die Kamera 106 ist ausgebildet um Bilder des Gesichts oder zumindest einer Augenpartie des Insassen 104 zu erfassen. Bei der Kamera 106 kann es sich um eine geeignete Bilderfassungseinrichtung, beispielsweise in Form einer Stereokamera handeln, wie sie bereits als Fahrerbeobachtungskamera eingesetzt wird.
Gemäß diesem Ausführungsbeispiel ist die Kamera 106 ausgebildet, um ein Referenzbild des Gesichts des Insassen 104 zu einem Zeitpunkt zu erfassen, bei dem der Kopf des Insassen 104 eine bestimmte Stellung innehat, die als Referenzkopfpose bezeichnet wird. Beispielsweise sieht der Insasse 104 bei der Referenzkopfpose direkt in die Kamera 106. Die Kamera 106 ist ausgebildet, um ein Referenzbildsignal 110 bereitzustellen, das das Referenzbild des Gesichts des Insassen 104 repräsentiert. Das Referenzbildsignal 110 kann Rohbilddaten oder bereits vorverarbeitete Daten umfassen.
Gemäß einem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um einen Mittelpunkt eines Auges des Insassen in einem der Kamera 106 zugeordneten Kamerakoordinatensystem 120 oder einem dem Fahrzeug 100 zugeordneten Weltkoordinatensystem 124 zu bestimmen. Dazu weist die Vorrichtung Ermittlungseinrichtungen 130, 132, 134, 136 auf.
Die Ermittlungseinrichtung 130 ist ausgebildet, um unter Verwendung eines geeigneten Auswerteverfahrens Referenz-Pupillen-Pixelkoordinaten 140 und Referenz-Augenwinkel-Pixelkoordinaten 142 aus dem Referenzbildsignal 110 zu bestimmen. Dabei bilden die Referenz-Pupillen-Pixelkoordinaten 140 eine Position eines Mittelpunkts einer Pupille eines Auges des Insassen 104 in dem Referenzbild und die Referenz-Augenwinkel-Pixelkoordinaten 142 eine Position eines Augenwinkels des Auges des Insassen 104 in dem Referenzbild ab. Die Pixelkoordinaten beziehen sich dabei beispielsweise auf eine Bildebene des Referenzbilds.
Die Ermittlungseinrichtung 132 ist ausgebildet, um beispielsweise unter Verwendung einer geeigneten Umrechnungsvorschrift aus den Referenz-Pupillen-Pixelkoordinaten 140 homogene Referenz-Pupillen-Koordinaten 144 und aus den Referenz-Augenwinkel-Pixelkoordinaten 142 homogene Referenz-Augenwinkel-Koordinaten 146 zu ermitteln. Dabei stellen die homogenen Referenz-Pupillen-Koordinaten 144 und die homogenen Referenz-Augenwinkel-Koordinaten 146 auf das Kamerakoordinatensystem 120 bezogene homogene Koordinaten dar.
Die Ermittlungseinrichtung 134 ist ausgebildet, um beispielsweise unter Verwendung einer geeigneten Transformationsvorschrift Referenz-Augenwinkel-Kamerakoordinaten 148 aus den homogenen Referenz-Augenwinkel-Koordinaten 146 und einer dem Augenwinkel zugeordneten Tiefeninformation zu ermitteln. Dabei bilden die Referenz-Augenwinkel-Kamerakoordinaten 148 eine Position des Augenwinkels in dem Kamerakoordinatensystem 120 ab. Gemäß einem Ausführungsbeispiel wird die Tiefeninformation unter Verwendung des Referenzbildsignals 110 ermittelt, beispielsweise von der Ermittlungseinrichtung 130 oder der Ermittlungseinrichtung 134.
Die Ermittlungseinrichtung 136 ist ausgebildet, um der Referenzkopfpose zugeordnete Referenz-Augenmittelpunkt-Kamerakoordinaten 150 zu ermitteln und bereitzustellen. Die Referenz-Augenmittelpunkt-Kamerakoordinaten 150 können verwendet werden, um in nachfolgenden Kamerabildern der Kamera 106 jeweils den Mittelpunkt des Auges sicher bestimmen zu können. Zum Ermitteln der Referenz-Augenmittelpunkt-Kamerakoordinaten 150 ist die Ermittlungseinrichtung 136 ausgebildet, um einen Referenzvektor aus den homogen Referenz-Pupillen-Koordinaten 144 und den homogenen Referenz-Augenwinkel-Koordinaten 146 zu bilden. Ferner ist die Ermittlungseinrichtung 136 ausgebildet, um eine Referenzkugel aufzuspannen, deren Mittelpunkt durch die Referenz-Augenwinkel-Kamerakoordinaten 148 gebildet wird und dessen Durchmesser einem mittleren Augendurchmesser eines menschlichen Auges entspricht. Ferner ist die Ermittlungseinrichtung 136 ausgebildet, um die Referenz-Augenmittelpunkt-Kamerakoordinaten 150 als Schnittpunkt aus dem Referenzvektor und der Referenzkugel zu ermitteln.
Gemäß einem Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um unter Verwendung der Referenz-Augenmittelpunkt-Kamerakoordinaten 150 eine Augenöffnung eines Auges des Insassen unter Verwendung eines von der Kamera 106 aufgenommenen Kamerabilds zu bestimmen. Gemäß diesem Ausführungsbeispiel ist die Kamera 106 ausgebildet, um zu einem weiteren Zeitpunkt ein Kamerabild des Gesichts des Insassen 104 zu erfassen. Dabei kann der Kopf des Insassen 104 zu dem weiteren Zeitpunkt eine von der Referenzkopfpose abweichende Kopfpose aufweisen. Beispielsweise kann der Insasse 104 bei der Kopfpose seitlich an der Kamera 106 vorbeisehen. Die Kamera 106 ist ausgebildet, um ein Kamerabildsignal 152 bereitzustellen, das das Kamerabild des Gesichts des Insassen 104 repräsentiert. Das Kamerabildsignal 152 kann Rohbilddaten oder bereits vorverarbeitete Daten umfassen.
Um die Augenöffnung des Auges des Insassen zu dem weiteren Zeitpunkt zu bestimmen, zu dem das Kamerabild erfasst wurde, weist die Vorrichtung 102 gemäß diesem Ausführungsbeispiel Ermittlungseinrichtungen 160, 162, 164 auf.
Die Ermittlungseinrichtung 160 ist ausgebildet, um das Kamerabildsignal 152 einzulesen und unter Verwendung einer geeigneten Auswertevorschrift aus dem Kamerabildsignal 152 erste Augenlied-Pixelkoordinaten 170 und zweite Augenlied-Pixelkoordinaten 172 zu ermitteln. Dabei bilden die ersten Augenlied-Pixelkoordinaten 170 eine Position eines Punkts eines oberen Augenlids des Auges des Insassen 104 in dem Kamerabild und die zweiten Augenlied-Pixelkoordinaten 172 eine Position eines Punkts eines unteren Augenlids des Auges des Insassen 104 in dem Kamerabild ab. Die Pixelkoordinaten 170, 172 beziehen sich dabei beispielsweise auf eine Bildebene des Kamerabilds.
Die Ermittlungseinrichtung 162 ist ausgebildet, um die ersten Augenlied-Pixelkoordinaten 170, die zweiten Augenlied-Pixelkoordinaten 172 und die Referenz-Augenmittelpunkt-Kamerakoordinaten 150 einzulesen und zum Ermitteln von der Kopfpose zugeordneten Augenmittelpunkt-Kamerakoordinaten zu verwenden. Dabei kann die Ermittlungseinrichtung 162 eine Transformationsvorschrift zum Überführen der Referenzkopfpose in die Kopfpose verwenden.
Die Ermittlungseinrichtung 162 ist ausgebildet, um eine Kugel aufzuspannen, deren Mittelpunkt durch die Augenmittelpunkt-Kamerakoordinaten definiert ist und deren Durchmesser dem mittleren Augendurchmesser des menschlichen Auges entspricht. Die Ermittlungseinrichtung 162 ist ferner ausgebildet, um die der ersten Augenlied-Pixelkoordinaten 170 und die zweiten Augenlied-Pixelkoordinaten 172 beispielsweise unter Verwendung einer geeigneten Projektionsvorschrift auf die Kugel zu projizieren und aus der Projektion erste Augenlied-Kamerakoordinaten 174 und zweite Augenlied-Kamerakoordinaten 176 zu erhalten.
Die Ermittlungseinrichtung 164 ist ausgebildet, um ein die Augenöffnung des Auges repräsentierendes Augenöffnungssignal 178 unter Verwendung der ersten Augenlied-Kamerakoordinaten 174 und der zweiten Augenlied-Kamerakoordinaten 176 zu ermitteln. Beispielsweise ist die Ermittlungseinrichtung 164 ausgebildet, um ein Abstand zwischen den ersten Augenlied-Kamerakoordinaten 174 und den zweiten Augenlied-Kamerakoordinaten 176 zu bestimmen und das Augenöffnungssignal 178 unter Verwendung des Abstands zu ermitteln.
Gemäß einem Ausführungsbeispiel ist die Ermittlungseinrichtung 160 ausgebildet, um weiteren Punkten der Augenlider zugeordnete weitere Augenlied-Pixelkoordinaten zu ermitteln, die von den weiteren Ermittlungseinrichtung 162, 164 genutzt werden können, um die Augenöffnung genauer bestimmen zu können.
Die Ermittlungseinrichtungen 130, 132, 134, 136 und die Ermittlungseinrichtungen 160, 162, 164 sind gemäß einem alternativen Ausführungsbeispiel nicht zusammen in der Vorrichtung 102 sondern in separaten Vorrichtungen realisiert.
2 zeigt eine erste Kopfpose eines Kopfes 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den Kopf des in 1 gezeigten Insassen handeln, der in der ersten Kopfpose gerade gehalten wird. Schematisch ist eine Nase und ein Auge 202 dargestellt. Das Auge 202 wird von einer Kamera 106 erfasst. Bei der Kamera 106 kann es beispielsweise um eine Fahrzeugkamera handeln, wie sie anhand von 1 gezeigt ist. Aus Sicht der Kamera 106 weisen das obere und das untere Augenlid des Auges 202 einen Abstand d auf.
In 2 ist ferner das der Kamera 106 zugeordnete Kamerakoordinatensystem 120, hier mit einer x-Achse, einer y-Achse und einer z-Achse sowie das Weltkoordinatensystem 124, hier ebenfalls mit einer x-Achse, einer y-Achse und einer z-Achse gezeigt.
3 zeigt eine zweite Kopfpose des in 2 dargestellten Kopfes 200 gemäß einem Ausführungsbeispiel. In der zweiten Kopfpose ist der Kopf 200 nach unten abgewinkelt. Aus Sicht der Kamera 106 weisen das obere und das untere Augenlid des Auges 202 einen Abstand d' auf.
Gemäß einem Ausführungsbeispiel ist die Kamera 106 Teil eines sogenannten Fahrerbeobachtungssystem, das als kamerabasiertes Systeme realisiert und in Richtung des Fahrers gerichtet ist. Es ist vor allem das Gesicht des Fahrers von Interesse. Die Kamerabilder der Kamera 106 werden von geeigneten Algorithmen prozessiert und liefern z.B. die Kopfpose des Kopfes 200, die Blickrichtung oder Öffnung der Augen 202 als Größe in Millimetern. Zur Erkennung des Müdigkeitszustands des Fahrers spielt der zeitliche Verlauf dieser Augenöffnung eine zentrale Rolle. Um entsprechende „Schätzalgorithmen“ zur Fahrermodellierung abzusichern, werden Referenzmethoden verwendet, die eine höhere Genauigkeit ermöglichen. Hier beschriebene Ausführungsbeispiele befassen sich inhaltlich mit der Entwicklung einer kamerabasierten Referenzmethode zur Erzeugung der Groundtruth-Daten für die Augenöffnung, bei der vor allem die Kompensation des Einflusses der Kopfpose auf das Ergebnis der Augenöffnung berücksichtigt wird. Dazu wird eine modellbasierte Methode zur Kompensation der Kopfpose bei der Bestimmung der Augenöffnung anhand von Bilddaten einer oder mehrerer Fahrerbeobachtungskameras eingesetzt.
Die Methode kann zusätzlich oder alternativ zu einem Verfahren eingesetzt werden, bei dem der Kopf 200 des Fahrers mithilfe eines Stereokamerasystems und einem Target getrackt wird. Die Position des Targets ist dadurch im Weltkoordinatensystem 124 bekannt, welches im Fahrzeug aufgespannt wird. Mit einem zusätzlichen Tool können markante Punkte im Gesicht des Fahrers einmalig vermessen werden. Dadurch dass die Position dieser Punkte relativ zum Kopf 200 konstant bleibt, kann auch deren Position im Weltkoordinatensystem 124 zu jedem Zeitpunkt berechnet werden. Durch Kenntnis der extrinsischen Parameter der Kamera 106 können alle Punkte ebenso in das Kamerakoordinatensystem 120 der Kamera 106 umgerechnet werden. Bei dieser alternativen Vorgehensweise werden die gelabelten Augenlider, wie es nachfolgend in 6 gezeigt ist, auf eine Ebene 204 projiziert die parallel zur xy-Ebene des Weltkoordinatensystems 124 im Fahrzeug liegt. Unter dem Vorgang des Labelns kann dabei ein markieren relevanter Merkmale, beispielsweise eines Augenwinkels, des Mittelpunkts der Pupille oder von Punkten auf den Augenlider in einem Bild der Kamera 106 verstanden werden. Dabei können die auf das Bild bezogenen Pixelkoordinaten dieser Merkmale bestimmt werden. Beispielsweise würde eine Projektion der in 6 gezeigten gelabelten Punkte auf die Ebene 204 erfolgen. Dies mag für den Fall, dass der Kopf 202 des Fahrers geradeaus gerichtet ist, wie es in 2 gezeigt ist, ausreichend genau sein. Ist der Kopf 202 des Fahrers jedoch beispielsweise nach unten geneigt, wie es in 3 gezeigt ist, so führt dies ein „Verkleinern“ der Augenöffnung mit sich. So erscheint der in 3 dargestellt Abstand d' kleiner als der in 2 dargestellte Abstand d, wodurch das für die in 3 gezeigte zweite Kopfpose bezüglich der Augenöffnung errechnete Ergebnis nicht mehr der Realität entspräche. Durch das hier beschriebene modellbasierte Verfahren wird ein solcher bei der Bestimmung der Augenöffnung bei Projektion auf die statische Ebene 204 auftretender Fehler vermieden.
4 zeigt ein Referenzbild 300 eines Auges 202 mit einer Position 310 eines Mittelpunkts der Pupille und einer Position 312 eines Augenwinkels gemäß einem Ausführungsbeispiel. Das Referenzbild 300 kann beispielsweise unter Verwendung der anhand von 1 beschriebenen Kamera erfasst worden sein. Dabei kann das Auge 202 direkt in die Kamera blicken, sodass die Referenzkopfpose vorliegt. Die Position 310 des Mittelpunkts der Pupille 310 und die Position 312 des Augenwinkels können durch die anhand von 1 beschriebenen Referenz-Pupillen-Pixelkoordinaten und Referenz-Augenwinkel-Pixelkoordinaten abgebildet werden. Die Pixelkoordinaten können dabei x- und y-Werte bezüglich des Kamerakoordinatensystems umfassen. Die Bestimmung der Pixelkoordinaten erfolgt dabei im Rahmen eines Labeling des Mittelpunkts der Pupille 310 und eines Augenwinkels.
5 zeigt eine schematische Darstellung eines Auges 202 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das in 4 gezeigte Auge handeln. Gezeigt ist der Augapfel 502 des Auges 202, der Mittelpunkt 504 des Auges 202 und die Pupille 506 des Auges 202. Ferner ist die Position 312 des Augenwinkels des Auges 202 gezeigt.
Der Kopf des Insassen weist gemäß diesem Ausführungsbeispiel eine Referenzkopfpose auf, bei der der Insasse mit dem Auge 202 direkt in die Kamera 106 schaut, wie es durch den Vektor 580 angedeutet ist, der auch als Vektor $\vec{v}$
bezeichnet wird. Der Vektor 580 verläuft durch einen Mittelpunkt der Pupille 506 und einen Ursprung des Kamerakoordinatensystems 120. Eine visuelle Akte 582 verläuft parallel zu dem Vektor 580. Eine optische Achse 584 verläuft durch den Mittelpunkt 504 des Auges 202. Ein Vektor 586, der auch als Vektor ec2ec bezeichnet wird, verläuft von der Position 312 des Augenwinkels des Auges 202 zu dem Mittelpunkt 504 des Auges 202. Eine Tiefeninformation 588 kennzeichnet einen Abstand z_css der Position 312 des Augenwinkels von dem Ursprung des Kamerakoordinatensystems 120 in z-Richtung des Kamerakoordinatensystems 120.
Wenn die Position des Augenmittelpunktes 504 im Kamerakoordinatensystem 120 bekannt ist, so können gelabelte Punkte, wie sie beispielsweise nachfolgend in 6 gezeigt sind, direkt auf ein Modell des Auges 202 in Form einer Kugel projiziert werden, wie es nachfolgend anhand von 7 beschrieben ist. Dabei wird davon ausgegangen, dass der Durchmesser eines menschlichen Augapfels im Erwachsenenalter relativ konstant ist.
Dieser modellbasierte Anlass erlaubt aus geometrischer Sicht eine genaue Bestimmung der Augenöffnung.
Wenn die Position des Augenmittelpunktes 504 und der Mittelpunkt der Pupille 506 bekannt sind, kann die Blickrichtung des Auges bestimmt werden, indem ein Vektor von der Position des Augenmittelpunktes 504 durch den Mittelpunkt der Pupille 506 geführt wird. Ein die Blickrichtung anzeigendes Signal kann bereitgestellt und beispielsweise von einem Assistenzsystem des Fahrzeugs verwendet werden.
Anhand von 3 wird eine Bestimmung eines Vektors zur Schätzung des Augenmittelpunktes erläutert. Dazu wird auf eine Methode zur Schätzung des Augenmittelpunktes 504 eingegangen.
Die Position 312 des Augenwinkels kann durch Messen bestimmt werden und ist somit im Kamerakoordinatensystem 120 bekannt. Zum Bestimmen der Position 312 des Augenwinkels kann auf geeignete Bildauswerteverfahren zurückgegriffen werden. Ist nun ein Vektor bekannt, der von diesem Augenwinkel in einer beliebigen Kopfpose zum Mittelpunkt 504 des Augapfels 502 zeigt, so kann dieser Vektor mit jeder Kopfpose mitgedreht werden. Dieser Vektor kann dadurch gemeinsam mit der Positionsinformation des Augenwinkels den Mittelpunkt 504 des Auges 202 im Kamerakoordinatensystem 120 liefern. Für den Mittelpunkt 504 des Auges 202 wird eine Schätzung vorgenommen, die im Folgenden erklärt wird.
Nach einem Vermessen der Landmarken, hier des Augenwinkels und des Mittelpunkts der Pupille 506 muss der Proband, beispielsweise der Insasse eines Fahrzeugs, direkt in das Objektiv der Kamera 106 sehen.
Anschließend wird der Mittelpunkt der Pupille 506 und ein Augenwinkel, in diesem Fall der äußere Augenwinkel, gelabelt und die Pixelkoordinaten gespeichert.
Die Pixelkoordinaten des Augenmittelpunkts 504, auch als P_eyecenter bezeichnet, und des Augenwinkels, auch als P_eyecorner bezeichnet, werden in homogene Koordinaten im Kamerakoordinatensystem 120 umgerechnet.
Die Position 312 des Augenwinkels P_eyecorner, der auch gelabelt wurde, wird ins Kamerakoordinatensystem 120 transformiert. Mithilfe der Tiefeninformation 588 im Kamerakoordinatensystem 120, die auch als z_ccs bezeichnet wird, und den homogenen Koordinaten des Augenwinkels wird die Position 312 des Augenwinkels im Kamerakoordinatensystem 120 berechnet.
Nun wird davon ausgegangen, dass der Mittelpunkt 504 des Auges 202 für den Fall, dass die Person in die Kamera 106 schaut im Kamerakoordinatensystem 120 die gleichen homogenen Koordinaten besitzt wie die Mitte der Pupille 506. Diese Annahme ist nicht ganz richtig, der Fehler soll aber vernachlässigt werden.
Wird um die Position 312 des Augenwinkels Peyecorner eine Kugel mit dem mittleren Durchmesser des menschlichen Auges 202 gelegt und der Schnittpunkt mit dem Vektor 580, auch als $\vec{v}$
bezeichnet gesucht, der aus den homogenen Koordinaten gebildet wird, so erhält man die geschätzte Position des Augapfels 502 in Kamerakoordinaten 120. Dazu kann der auch als Vektor $\vec{v}$
bezeichnete Vektor 580 zunächst verwendet werden, um den auch als Vektor ec2ec bezeichneten Vektor 586 zu bestimmen.
Nun sind beide Punkte, also der Augenwinkel sowie der Augenmittelpunkt 504 im Kamerakoordinatensystem 120 für den Frame bekannt, in dem gelabelt wurde.
Diese Informationen können nun genutzt werden um ausgehend von der Position 312 des Augenwinkels in jedem Frame die Position des Augenmittelpunktes 504 zu rekonstruieren, wie es nachfolgend anhand von 7 beschrieben wird.
6 zeigt ein Kamerabild 600 eines Auges mit einer Markierung von Augenliedern gemäß einem Ausführungsbeispiel. Gezeigt sind eine Position 312 des äußeren Augewinkels, eine Position 612 des inneren Augenwinkels. Ferner ist ein Verlauf des oberen Augenlieds über dem oberen Augenlied zugeordnete Punkte 620, 622, 624, 626 und ein Verlauf des unteren Augenlieds über dem unteren Augenlied zugeordnete Punkte 630, 632 gekennzeichnet. Durch die Punkte 620, 622, 624, 626, 630, 632 ergeben sich gelabelte Augenlider.
7 zeigt eine schematische Darstellung eines Augenmodells gemäß einem Ausführungsbeispiel. Das Augenmodell ist als eine Kugel 702 mit dem mittleren Durchmesser des menschlichen Auges realisiert. Gezeigt ist in Form einer Skizze eine Projektion 740, beispielsweise der in 6 gezeigten gelabelten Punkte 312, 612, 620, 622, 624, 626, 630, 632, auf die Kugel 702 des Augenmodells. Die beim Projizieren entstandenen Schnittpunkte zwischen den Projektionslinien der Projektion 740 und der Kugeloberfläche der Kugel 702 werden interpoliert. Anhand der Interpolation wird dann die Augenöffnung berechnet.
8 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines Mittelpunkts eines Auges sowie zum Bestimmen einer Augenöffnung des Auges gemäß einem Ausführungsbeispiel. Das Verfahren kann beispielsweise unter Verwendung einer Vorrichtung ausgeführt werden, wie sie anhand von 1 gezeigt ist.
In einem optionalen Schritt 801 wird ein Referenzbild unter Verwendung einer Kamera erfasst und ein das Referenzbild repräsentierendes Referenzbildsignal bereitgestellt. Das Referenzbildsignal repräsentiert ein von einer Kamera erfasstes Referenzbild zumindest eines Abschnitts eines Gesichts einer Person, die gerade eine Referenzkopfpose innehat, beispielsweise direkt in die Kamera sieht. In einem Schritt 803 werden Referenz-Pupillen-Pixelkoordinaten und Referenz-Augenwinkel-Pixelkoordinaten unter Verwendung des Referenzbildsignals ermittelt. In einem Schritt 805 werden unter Verwendung der Referenz-Pupillen-Pixelkoordinaten homogene Referenz-Pupillen-Koordinaten in einem Kamerakoordinatensystem der Kamera und unter Verwendung der Referenz-Augenwinkel-Pixelkoordinaten homogene Referenz-Augenwinkel-Koordinaten in dem Kamerakoordinatensystem der Kamera ermittelt. Optional wird in einem Schritt 807 unter Verwendung des Referenzbildsignals eine dem Augenwinkel zugeordnete Tiefeninformation ermittelt. In einem Schritt 809 werden Referenz-Augenwinkel-Kamerakoordinaten unter Verwendung der homogenen Referenz-Augenwinkel-Koordinaten und einer dem Augenwinkel zugeordneten Tiefeninformation ermittelt. In einem Schritt 811 werden der Referenzkopfpose zugeordneten Referenz-Augenmittelpunkt-Kamerakoordinaten als Schnittpunkt eines aus den homogen Referenz-Pupillen-Koordinaten und den homogenen Referenz-Augenwinkel-Koordinaten gebildeten Referenzvektors und einer Referenzkugel ermittelt.
In einem Schritt 821 werden Referenz-Augenmittelpunkt-Kamerakoordinaten eingelesen, wie sie im Schritt 811 bestimmt wurden. In einem Schritt 825 werden erste Augenlied-Pixelkoordinaten und zweite Augenlied-Pixelkoordinaten unter Verwendung eines Kamerabildsignals ermittelt. Das Kamerabildsignal repräsentiert ein von der Kamera erfasstes Kamerabild zumindest eines Abschnitts des Gesichts der Person, die nun eine Kopfpose aufweist, die sich von der Referenzkopfpose unterscheiden kann. In einem Schritt 827 werden der Kopfpose zugeordnete Augenmittelpunkt-Kamerakoordinaten unter Verwendung der Referenz-Augenmittelpunkt-Kamerakoordinaten und einer die Referenzkopfpose in die Kopfpose überführenden Transformationsvorschrift ermittelt. In einem Schritt 829 werden die ersten Augenlied-Pixelkoordinaten auf eine Kugel projiziert, um erste Augenlied-Kamerakoordinaten zu erhalten. Ferner werden die zweiten Augenlied-Pixelkoordinaten auf die Kugel projiziert, um zweite Augenlied-Kamerakoordinaten zu erhalten. Optional umfasst das Verfahren einen Schritt 831, in dem ein Abstand zwischen den ersten Augenlied-Kamerakoordinaten und den zweiten Augenlied-Kamerakoordinaten ermittelt wird. In einem Schritt 833 wird ein die Augenöffnung des Auges repräsentierendes Augenöffnungssignal unter Verwendung der ersten Augenlied-Kamerakoordinaten und der zweiten Augenlied-Kamerakoordinaten oder unter Verwendung des im Schritt 831 ermittelten Abstand ermittelt.
Die Schritte 821, 823, 825, 827, 829, 831, 833 können unabhängig zu den Schritten 801, 803, 805, 807, 809, 811 ausgeführt werden. Insbesondere können die Schritte 821, 823, 825, 827, 829, 831, 833 einmalig ausgeführt werden, um für die Person geeignete Referenz-Augenmittelpunkt-Kamerakoordinaten zu ermitteln. Die Schritte 821, 823, 825, 827, 829, 831, 833 können für jedes erfasste Kamerabild erneut ausgeführt werden, um die Augenöffnung der Person zu demjenigen Zeitpunkt zu bestimmen, zu dem das jeweilige Kamerabild erfasst wurde.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren zum Bestimmen eines Mittelpunkts (504) eines Auges (202) eines Insassen eines Fahrzeugs (100), wobei das Verfahren die folgenden Schritte umfasst: Ermitteln (803) von Referenz-Pupillen-Pixelkoordinaten (140) und Referenz-Augenwinkel-Pixelkoordinaten (142) unter Verwendung eines Referenzbildsignals (110), das ein von einer Kamera (106) erfasstes Referenzbild (300) zumindest eines Abschnitts eines Gesichts des eine Referenzkopfpose aufweisenden Insassen repräsentiert, wobei die Referenz-Pupillen-Pixelkoordinaten (140) eine Position eines Mittelpunkts (504) einer Pupille (506) des Auges (202) des Insassen in dem Referenzbild (300) und die Referenz-Augenwinkel-Pixelkoordinaten (142) eine Position (312) eines Augenwinkels des Auges (202) des Insassen in dem Referenzbild (300) repräsentieren; Ermitteln (805) von homogen Referenz-Pupillen-Koordinaten (144) in einem Kamerakoordinatensystem (120) der Kamera (106) unter Verwendung der Referenz-Pupillen-Pixelkoordinaten (140) und von homogenen Referenz-Augenwinkel-Koordinaten (146) in dem Kamerakoordinatensystem (120) der Kamera (106) unter Verwendung der Referenz-Augenwinkel-Pixelkoordinaten (142); Ermitteln (809) von Referenz-Augenwinkel-Kamerakoordinaten (148) unter Verwendung der homogenen Referenz-Augenwinkel-Koordinaten (146) und einer dem Augenwinkel zugeordneten Tiefeninformation (588), wobei die Referenz-Augenwinkel-Kamerakoordinaten (148) eine Position (312) des Augenwinkels in dem Kamerakoordinatensystem (120) repräsentieren; und Ermitteln (811) von der Referenzkopfpose zugeordneten Referenz-Augenmittelpunkt-Kamerakoordinaten (150) als Schnittpunkt eines aus den homogen Referenz-Pupillen-Koordinaten (144) und den homogenen Referenz-Augenwinkel-Koordinaten (146) gebildeten Referenzvektors und einer Referenzkugel, wobei ein Mittelpunkt der Referenzkugel durch die Referenz-Augenwinkel-Kamerakoordinaten (150) und ein Durchmesser der Referenzkugel durch einen mittleren Augendurchmesser eines menschlichen Auges (202) definiert sind.
Verfahren gemäß Anspruch 1, mit einem Schritt (801) des Erfassens des Referenzbilds (300) unter Verwendung der Kamera (106) und einem Schritt des Bereitstellens des Referenzbildsignals (110).
Verfahren gemäß Anspruch 2, bei dem der Schritt (801) des Erfassens zu einem Zeitpunkt durchgeführt wird, bei dem der Insasse mit dem Auge (202) direkt in ein Objektiv der Kamera (106) blickt.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (807) des Ermittelns der dem Augenwinkel zugeordneten Tiefeninformation (588) unter Verwendung des Referenzbildsignals (110).
Verfahren zum Bestimmen einer Augenöffnung eines Auges (202) eines Insassen eines Fahrzeugs (100), wobei das Verfahren die folgenden Schritte umfasst: Einlesen (821) von Referenz-Augenmittelpunkt-Kamerakoordinaten (150), die nach einem Verfahren zum Bestimmen eines Mittelpunkts (504) eines Auges (202) eines Insassen eines Fahrzeugs (100) gemäß einem der Ansprüche 1 bis 4 bestimmte Koordinaten repräsentieren; Ermitteln (825) von ersten Augenlied-Pixelkoordinaten (170) und zweiten Augenlied-Pixelkoordinaten (172) unter Verwendung eines Kamerabildsignals (152), das ein von der Kamera (106) erfasstes Kamerabild (600) zumindest eines Abschnitts eines Gesichts des eine Kopfpose aufweisenden Insassen repräsentiert, wobei die ersten Augenlied-Pixelkoordinaten (170) eine Position eines Punkts (620, 622, 624, 626) eines oberen Augenlids des Auges (202) des Insassen in dem Kamerabild (600) und die zweiten Augenlied-Pixelkoordinaten eine Position eines Punkts (630, 632) eines unteren Augenlids des Auges (202) des Insassen in dem Kamerabild (600) repräsentieren; Ermitteln (827) von der Kopfpose zugeordneten Augenmittelpunkt-Kamerakoordinaten unter Verwendung der Referenz-Augenmittelpunkt-Kamerakoordinaten (150) und einer die Referenzkopfpose in die Kopfpose überführenden Transformationsvorschrift; Projizieren (829) der ersten Augenlied-Pixelkoordinaten (170) auf eine Kugel (702), um erste Augenlied-Kamerakoordinaten (174) zu erhalten, und der zweiten Augenlied-Pixelkoordinaten auf die Kugel (702), um zweite Augenlied-Kamerakoordinaten (176) zu erhalten, wobei ein Mittelpunkt der Kugel (702) durch die Augenmittelpunkt-Kamerakoordinaten und ein Durchmesser der Kugel durch den mittleren Augendurchmesser des menschlichen Auges (202) definiert sind; Ermitteln (833) eines die Augenöffnung des Auges (202) repräsentierenden Augenöffnungssignals unter Verwendung der ersten Augenlied-Kamerakoordinaten (174) und der zweiten Augenlied-Kamerakoordinaten (176).
Verfahren gemäß Anspruch 5, mit einem Schritt des Ermittelns eines Abstands zwischen den ersten Augenlied-Kamerakoordinaten und den zweiten Augenlied-Kamerakoordinaten, wobei das Augenöffnungssignal unter Verwendung des Abstands ermittelt wird.
Vorrichtung, die eingerichtet ist, um die Schritte des Verfahrens gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen und/oder anzusteuern.
Computerprogramm, das dazu eingerichtet ist, die Schritte des Verfahrens gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.