DE102019209281A1 - Verfahren und Vorrichtung zum Erkennen eines Merkmals eines Gesichts eines Insassen eines Fahrzeugs - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Merkmals eines Gesichts (104) eines Insassen eines Fahrzeugs (100). Es werden Bildsignale (110, 112) einer Monokamera (106) eingelesen und homogene Koordinaten (150, 152) eines Gesichtsmerkmals (114) ermittelt, die sich auf ein Kamerakoordinatensystem (120) der Monokamera (106) beziehen. Ferner werden Ursprungsgeraden (154, 156) durch einen Ursprung des Kamerakoordinatensystems (120) und durch homogenen Koordinaten (150, 152) definierte Punkte ermittelt. Die Ursprungsgeraden (154, 156) werden zu Transformationsgeraden (158, 160) in ein Kopfkoordinatensystem (122) transformiert. Zu den Transformationsgeraden (158, 160) werden Schnittpunktkoordinaten (162) eines zumindest angenäherten Schnittpunktes zwischen den Transformationsgeraden (158, 160) ermittelt und aus den Schnittpunktkoordinaten (162) wird eine dem Gesichtsmerkmal (114) zugeordnete Referenzposition (128) in dem Kopfkoordinatensystem (122) ermittelt.

Description

• Stand der Technik
• Die Erfindung geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
• Im Kontext moderner Fahrassistenzsysteme, die beispielsweise auf der Autobahn die Steuerung des Fahrzeugs zeitweise komplett übernehmen, wird eine Überwachung des Fahrers immer wichtiger. Diese Überwachung ist nötig, da die angebotenen Fahrassistenzsysteme lediglich zur Erhöhung des Komforts dienen und keine Funktion zum automatisierten Fahren darstellen, weshalb der Fahrer jederzeit in der Lage sein muss, den umgehenden Verkehr und sein Fahrzeug fortlaufend zu überwachen.
• Offenbarung der Erfindung
• Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen eines Merkmals eines Gesichts eines Insassen eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
• Vorteilhafterweise kann eine Position eines oder mehrerer Gesichtsmerkmale eines Insassen eines Fahrzeugs allein unter Verwendung einer Bilderfassungseinrichtung des Fahrzeugs bestimmt werden.
• Ein Verfahren zum Erkennen eines Merkmals eines Gesichts eines Insassen eines Fahrzeugs umfasst die folgenden Schritte:
• Einlesen eines ersten Bildsignals und eines zweiten Bildsignals, wobei das erste Bildsignal ein von einer Monokamera zu einem ersten Zeitpunkt aufgenommenes Bild eines Gesichts des Insassen repräsentiert und das zweite Bildsignal ein von der Monokamera zu einem zweiten Zeitpunkt aufgenommenes Bild des Gesichts des Insassen repräsentiert;
• Ermitteln von ersten homogenen Koordinaten eines Gesichtsmerkmals unter Verwendung des ersten Bildsignals und zweiten homogenen Koordinaten des Gesichtsmerkmals unter Verwendung des zweiten Bildsignals, wobei sich die homogenen Koordinaten auf ein Kamerakoordinatensystem der Monokamera beziehen;
• Ermitteln einer ersten Ursprungsgeraden durch einen Ursprung des Kamerakoordinatensystems und einem durch die ersten homogenen Koordinaten definierten ersten Punkt, und einer zweiten Ursprungsgeraden durch den Ursprung des Kamerakoordinatensystems und einem durch die zweiten homogenen Koordinaten definierten zweiten Punkt;
• Ermitteln einer ersten Transformationsgeraden unter Verwendung der ersten Ursprungsgeraden und einer ersten Kamera-Kopf-Transformationsvorschrift und einer zweiten Transformationsgeraden unter Verwendung der zweiten Ursprungsgeraden und einer zweiten Kamera-Kopf-Transformationsvorschrift, wobei die erste Kamera-Kopf-Transformationsvorschrift zum Transformieren eines Punkts des Kamerakoordinatensystems in einen Punkt eines einem Kopf des Insassen zugeordneten Kopfkoordinatensystems zum ersten Zeitpunkt und die zweite Kamera-Kopf-Transformationsvorschrift zum Transformieren eines Punkts des Kamerakoordinatensystems in einen Punkt des Kopfkoordinatensystems zum zweiten Zeitpunkt geeignet ist;
• Ermitteln von Schnittpunktkoordinaten eines zumindest angenäherten Schnittpunktes zwischen der ersten Transformationsgeraden und der zweiten Transformationsgeraden in dem Kopfkoordinatensystem;
• Ermitteln einer dem Gesichtsmerkmal zugeordneten Referenzposition in dem Kopfkoordinatensystem unter Verwendung der Schnittpunktkoordinaten.
• Das Verfahren kann im Zusammenhang mit einem Kopftrackingsystems eines Fahrzeugs eingesetzt werden. Alternativ kann das Verfahren auch zum Erkennen anderer Merkmale anderer Körperteile einer Person, beispielsweise einer Hand, eingesetzt werden. Auch kann das Verfahren für außerhalb von Fahrzeugen eingesetzte Trackingsysteme eingesetzt werden, beispielsweise in Fabriken. Bei der Monokamera kann es sich um ein eigenständiges Gerät oder um eine Kamera einer Stereokamera handeln. Unter einem Gesichtsmerkmal kann ein charakteristisches Merkmal eines Gesichts verstanden werden, wie beispielsweise ein Augenwinkel. Zwischen den Zeitpunkten, zu denen das erste Bild und das zweite Bild erfasst wurden, kann sich der Insasse bewegt haben, sodass das Gesichtsmerkmal in den Bildern an unterschiedlichen Stellen abgebildet wird. Die homogenen Koordinaten können denjenigen Punkt eines Bilds definieren, an dem das Gesichtsmerkmal in dem Bild abgebildet ist. Das Kamerakoordinatensystem kann fest mit der Monokamera gekoppelt sein. Der Ursprung des Kamerakoordinatensystems kann innerhalb der Stereokamera angeordnet sein. Das Kopfkoordinatensystem kann fest mit dem Kopf gekoppelt sein. Bei der Kamera-Kopf-Transformationsvorschrift kann es sich um eine Vorschrift zur Koordinatentransformation handeln, mit der Koordinaten des Kamerakoordinatensystem in Koordinaten des Kopfkoordinatensystems bei einer zu einem Zeitpunkt bestehenden relativen Lage zwischen dem Kamerakoordinatensystem und dem Kopfkoordinatensystems transformiert werden können. Unter dem zumindest angenäherten Schnittpunkt kann es sich um den tatsächlichen Schnittpunkt, oder bei zueinander windschiefen Transformationsgeraden um eine Punkt handeln, der möglichst nah an beiden Transformationsgeraden liegt. Die dem Gesichtsmerkmal zugeordnete Referenzposition kann durch die Koordinaten des Schnittpunkts im Kopfkoordinatensystem definiert sein. Die dem Gesichtsmerkmal zugeordnete Referenzposition in dem Kopfkoordinatensystem kann verwendet werden, um eine Position des Gesichtsmerkmals in weiteren Bildern zu verorten, die von dem Kopf des Insassen aufgenommen werden. Dabei kann angenommen werden, dass sich die dem Gesichtsmerkmal zugeordnete Referenzposition in dem Kopfkoordinatensystem auch bei einer Bewegung des Kopfes nicht verändert.
• Das Verfahren kann einen Schritt des Einlesens eines Stereobildsignals umfassen. Dabei kann das Stereobildsignal ein von einer Stereokameraeinrichtung zu einem Aufnahmezeitpunkt aufgenommenes Stereobild des Kopfes des Insassen repräsentieren. Eine Kopfposition des Kopfes kann in einem Weltkoordinatensystem unter Verwendung des Stereobildsignals bestimmt werden. Ferner kann eine dem Gesichtsmerkmal zugeordnete Weltposition in dem Weltkoordinatensystem unter Verwendung der Kopfposition, der dem Gesichtsmerkmal zugeordneten Referenzposition und einer dem ersten Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift bestimmt werden. Der Aufnahmezeitpunkt kann zeitlich nach den genannten Zeitpunkten liegen, zu denen die Bilder der Monokamera erfasst wurden. Das Weltkoordinatensystem kann beispielsweise fest mit dem Fahrzeug verbunden sein. Die Kopfposition kann eine Lage des Kopfes in dem durch das Weltkoordinatensystem aufgespannten Raum verstanden werden. Die Kopfposition kann sich sowohl bei einer Linearbewegung des Kopfes als auch bei einer Drehbewegung des Kopfes ändern. Somit können zu unterschiedlichen Aufnahmezeitpunkt unterschiedliche Kopfpositionen vorliegen. Eine Kopfposition kann beispielsweise durch dem Kopf zugeordnete Referenzpunkte und deren Koordinaten im Weltkoordinatensystem oder durch eine Ausrichtung von durch den Kopf verlaufenden Achsen in Bezug zu dem Weltkoordinatensystem definiert sein. Die Kopfposition kann unter Verwendung bekannter Bildauswerteverfahren und/oder Objekterkennungsverfahren bestimmt werden. Die dem Gesichtsmerkmal zugeordnete Weltposition kann eine Position des Gesichtsmerkmals in dem durch das Weltkoordinatensystem aufgespannten Raum zu dem Aufnahmezeitpunkt definieren. Die für den Aufnahmezeitpunkt geltende Kopf-Welt-Transformationsvorschrift kann vorbestimmt sein oder für den Aufnahmezeitpunkt bestimmt werden. Unter der Kopf-Welt-Transformationsvorschrift kann eine Koordinatentransformation verstanden werden, mit der Koordinaten des Kopfkoordinatensystems in Koordinaten des Weltkoordinatensystem transformiert werden können. Die Kopf-Welt-Transformationsvorschrift ist daher abhängig von der zu dem Aufnahmezeitpunkt vorliegenden Kopfposition.
• Entsprechend kann das Verfahren einen Schritt des Bestimmens der dem Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift umfassen. Dabei kann die Kopf-Welt-Transformationsvorschrift unter Verwendung der Kopfposition des Kopfes in dem Weltkoordinatensystem und einer vorbestimmten Referenzkopfposition des Kopfes in dem Weltkoordinatensystem bestimmt werden. Auf diese Weise kann zu fortlaufenden Aufnahmezeitpunkten jeweils eine passende Kopf-Welt-Transformationsvorschrift bestimmt werden.
• Um den Kopf zeitlich fortlaufend überwachen zu können, kann der Schritt des Einlesen des Stereobildsignals wiederholt ausgeführt werden. Somit kann zumindest ein weiteres Stereobildsignal eingelesen werden, das ein von der Stereokameraeinrichtung zu einem weiteren Aufnahmezeitpunkt aufgenommenes weiteres Stereobild des Kopfes des Insassen repräsentiert. Entsprechend können die genannten Schritte des Bestimmens wiederholt ausgeführt werden. Dadurch kann zunächst zumindest eine weitere Kopfposition des Kopfes in dem Weltkoordinatensystem unter Verwendung des zumindest einen weiteren Stereobildsignals bestimmt werden. Entsprechend kann zumindest eine dem Gesichtsmerkmal zugeordnete weitere Weltposition in dem Weltkoordinatensystem unter Verwendung der weiteren Kopfposition, der dem Gesichtsmerkmal zugeordneten Referenzposition und einer dem weiteren Aufnahmezeitpunkt zugeordneten weiteren Kopf-Welt-Transformationsvorschrift bestimmt werden. Somit eignet sich das Verfahren zur Verwendung in einem Kopftrackingsystem.
• Das Verfahren kann einen Schritt des Erfassens des ersten Bildsignals und des zweiten Bildsignals unter Verwendung der Monokamera umfassen. Dabei können die Bilder zeitlich nacheinander erfasst werden. Ferner kann das Verfahren einen Schritt des Erfassens des Stereobildsignals unter Verwendung der Monokamera und einer weiteren Monokamera umfassen. Auf diese Weise ist keine separate Kamera zum Erfassen der Bilder und somit zum Ermitteln der dem Gesichtsmerkmal zugeordneten Referenzposition in dem Kopfkoord i n atensystem
  erforderlich.
• Um die dem Gesichtsmerkmal zugeordneten Referenzposition in dem Kopfkoordinatensystem genauer bestimmen zu können, können neben den genannten zwei Bildern der Monokamera weitere Bilder der Monokamera verwendet werden. Somit kann zumindest ein drittes Bildsignal eingelesen werden, das ein von der Monokamera zu einem dritten Zeitpunkt aufgenommenes Bild des Gesichts des Insassen repräsentiert. Ferner können dritte homogene Koordinaten des Gesichtsmerkmals unter Verwendung des dritten Bildsignals ermittelt werden, eine dritte Ursprungsgerade durch den Ursprung des Kamerakoordinatensystems und einen durch die dritten homogenen Koordinaten definierten dritten Punkt ermittelt werden, eine dritte Transformationsgerade unter Verwendung der dritten Ursprungsgeraden und einer dritten Kamera-Kopf-Transformationsvorschrift ermittelt werden, die zum Transformieren eines Punkts des Kamerakoordinatensystems in einen Punkt des Kopfkoordinatensystems zum dritten Zeitpunkt geeignet ist. Schließlich können die Schnittpunktkoordinaten des zumindest angenäherten Schnittpunktes zwischen der ersten Transformationsgeraden, der zweiten Transformationsgeraden und der dritten Transformationsgeraden ermittelt werden. Indem der Schnittpunkt auf diese genauer ermittelt werden kann, erhöht sich auch die Genauigkeit der dem Gesichtsmerkmal zugeordneten Referenzposition.
• Das Verfahren kann einen Schritt des Indexierens der dem Gesichtsmerkmal zugeordneten Referenzposition mit einer den Insassen repräsentierenden Insassenidentifikation umfassen. Dadurch kann eine dem Gesichtsmerkmal des Insassen zugeordnete indexierte Referenzposition erhalten werden, die in einem Schritt des Speicherns gespeichert werden kann. Somit ist es nur einmal erforderlich, für ein bestimmtes Gesichtsmerkmal einer Person eine Referenzposition in dem Kopfkoordinatensystem zu bestimmen. Ein Kopftrackingsystem zum Verfolgen einer Bewegung des Kopfes der Person kann vorteilhaft auf die gespeicherte Referenzposition zugreifen.
• In den Schritten des Ermittelns kann unter Verwendung des ersten Bildsignals und des zweiten Bildsignals eine einem weiteren Gesichtsmerkmal zugeordnete weitere Referenzposition in dem Kopfkoordinatensystem ermittelt werden. Auf diese Weise kann für jedes relevantes Gesichtsmerkmal eine dem Gesichtsmerkmal zugeordnete Referenzposition in dem Kopfkoordinatensystem ermittelt und nachfolgend von einem Kopftrackingsystem verwendet werden.
• Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
• Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
• Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
• Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
• Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
• Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
• 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Erkennen eines Merkmals eines Gesichts eines Insassen gemäß einem Ausführungsbeispiel;
• 2 einen Kopf in einem Weltkoordinatensystem gemäß einem Ausführungsbeispiel;
• 3 einen Kopf in einem Weltkoordinatensystem zu einem ersten Zeitpunkt gemäß einem Ausführungsbeispiel;
• 4 einen Kopf in einem Weltkoordinatensystem zu einem zweiten Zeitpunkt gemäß einem Ausführungsbeispiel; und
• 5 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
• In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
• 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Erkennen eines Merkmals eines Gesichts 104 eines Insassen des Fahrzeugs 100 gemäß einem Ausführungsbeispiel. Bei dem Fahrzeug 100 handelt es sich beispielsweise um einen Personenkraftwagen und bei dem Insassen um einen Fahrer des Fahrzeugs 100. Das Fahrzeug 100 weist eine Bilderfassungseinrichtung zum bildlichen Erfassen des Gesichts 104 des Insassen auf. Die Bilderfassungseinrichtung umfasst eine Monokamera 106 und eine Stereokamera 108. Die Monokamera 106 und die Stereokamera 108 können separate Geräte darstellen oder in einem Gerät kombiniert ausgeführt sein. Beispielsweise kann die Stereokamera 108 die Monokamera 106 und eine weitere Monokamera umfassen.
• Die Monokamera 106 ist ausgebildet, um Bilder des Gesichts 104 zu erfassen. Beispielhaft erfasst die Monokamera 106 zu einem ersten Zeitpunkt ein erstes Bild und stellt ein das erste Bild repräsentierende erstes Bildsignal 110 bereit. Zu einem nachfolgenden zweiten Zeitpunkt erfasst die Monokamera 106 ein zweites Bild und stellt ein das zweite Bild repräsentierendes zweite Bildsignal 112 bereit. Beispielhaft ist ein spezielles Gesichtsmerkmal 114 in dem Gesicht 104 gekennzeichnet. Das Gesichtsmerkmal 114 kennzeichnet beispielsweise einen Mundwinkel. Die Bildsignale 110, 112 können somit jeweils Koordinaten des Gesichtsmerkmals 114 in einem Bildkoordinatensystem umfassen.
• Der Monokamera 106 ist ein Kamerakoordinatensystem 120 zugeordnet, das fest mit der Monokamera 106 gekoppelt ist. Dem Kopf des Insassen ist ein Kopfkoordinatensystem 122 zugeordnet, das fest mit dem Kopf gekoppelt ist und sich somit bei einer Bewegung des Kopfes und somit des Gesichts 104 mit dem Gesicht 104 mitbewegt. Ferner ist ein Weltkoordinatensystem 124 vorhanden, das beispielsweise fest mit dem Fahrzeug 100 gekoppelt ist. Wenn sich das Gesicht 104 als ganzes bewegt, so verändert sich eine Position des Gesichtsmerkmals 114 sowohl in dem Kamerakoordinatensystem 120 als auch in dem Weltkoordinatensystem 124. Dagegen verändert sich die Position des Gesichtsmerkmals 114 in dem Kopfkoordinatensystem 122 nicht.
• Die ersten Bilddaten 110 und die zweiten Bilddaten 112 werden über eine Schnittstelle der Vorrichtung 102 eingelesen und von der Vorrichtung 102 verwendet, um eine dem Gesichtsmerkmal 114 zugeordneten Referenzposition 128 in dem Kopfkoordinatensystem 122 zu ermitteln und bereitzustellen.
• Gemäß einem Ausführungsbeispiel wird die Referenzposition 128 in einer Speichereinrichtung 130 gespeichert. Wenn eine Insassenidentifikation zum Identifizieren des Insassen vorliegt, für dessen Gesicht die Referenzposition 128 ermittelt wurde, so kann die Referenzposition 128 optional mit der den Insassen repräsentierenden Insassenidentifikation indexiert werden und als indexierte Referenzposition abgespeichert werden.
• Die Referenzposition 128 wird beispielhaft von einem Kopftrackingsystem verwendet, mit dem eine Bewegung des Kopfes des Insassen und somit des Gesichts 104 verfolgt werden kann. Dazu wird unter Verwendung der Stereokamera 108 zu einem Abbildezeitpunkt ein Stereobild des Gesichts 104 erfasst. Die Stereokamera 108 ist ausgebildet, um ein das Stereobild repräsentierendes Stereobildsignal 132 bereitzustellen. Eine Bestimmungseinrichtung 134 ist ausgebildet, um unter Verwendung des Stereobildsignals eine Kopfposition des Kopfes in dem Weltkoordinatensystem 124 und eine dem Gesichtsmerkmal 114 zugeordneten Weltposition 136 in dem Weltkoordinatensystem 124 unter Verwendung der Kopfposition, der dem Gesichtsmerkmal 114 zugeordneten Referenzposition 128 und einer dem ersten Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift zum Transformieren eines Punkts des Kopfkoordinatensystems in einen Punkt des Weltkoordinatensystems zu bestimmen. Beispielhaft ist die Bestimmungseinrichtung 134 dazu ausgebildet, um die Referenzposition 128 aus der Speichereinrichtung 130 auszulesen. Die Weltposition 136 kann von der Bestimmungseinrichtung 134 ausgegeben werden und stellt diejenige Position dar, die das Gesichtsmerkmal 114 bezogen auf das Weltkoordinatensystem zu dem Aufnahmezeitpunkt hatte.
• Die Speichereinrichtung 130 und/oder die Bestimmungseinrichtung 134 können dabei als Teil der Vorrichtung 102 realisiert sein oder separat ausgeführt sein. Ebenso können die Monokamera 106 und/oder die Stereokamera 108 als Teil der Vorrichtung 102 realisiert sein oder separat ausgeführt sein.
• Gemäß einem Ausführungsbeispiel ist die Bestimmungseinrichtung 134 ausgebildet, um die dem Aufnahmezeitpunkt des Stereobilds zugeordnete Kopf-Welt-Transformationsvorschrift unter Verwendung der Kopfposition des Kopfes in dem Weltkoordinatensystem 124 und einer vorbestimmten Referenzkopfposition des Kopfes in dem Weltkoordinatensystem 124 zu bestimmen. Alternativ kann die dem Aufnahmezeitpunkt des Stereobilds zugeordnete Kopf-Welt-Transformationsvorschrift auf eine andere geeignete Weise bestimmt werden oder bereits vorbestimmt sein.
• Gemäß einem Ausführungsbeispiel ist die Stereokamera 108 ausgebildet, um zeitlich aufeinanderfolgend Stereobilder aufzunehmen und die Stereobilder repräsentierende Stereobildsignale bereitzustellen. Die Bestimmungseinrichtung 134 ist in diesem Fall ausgebildet, um für jedes Stereobild die dem Gesichtsmerkmal 114 zugeordnete Weltposition in dem Weltkoordinatensystem 124 zu bestimmen, die zu dem jeweiligen Aufnahmezeitpunkt des Stereobilds vorlag. Beispielsweise ist die Bestimmungseinrichtung 134 somit ausgebildet, zumindest ein weiteres Stereobildsignal einzulesen, das ein von der Stereokamera 108 zu einem weiteren Aufnahmezeitpunkt aufgenommenes weiteres Stereobild des Gesichts 104 repräsentiert, eine weitere Kopfposition des Kopfes in dem Weltkoordinatensystem unter Verwendung des weiteren Stereobildsignals zu bestimmen, und eine dem Gesichtsmerkmal 114 zugeordnete weitere Weltposition in dem Weltkoordinatensystem unter Verwendung der weiteren Kopfposition, der dem Gesichtsmerkmal 114 zugeordneten Referenzposition 128 und einer dem weiteren Aufnahmezeitpunkt zugeordneten weiteren Kopf-Welt-Transformationsvorschrift zu bestimmen.
• Zum Ermitteln der Referenzposition 128 weist die Vorrichtung 102 beispielhaft einer erste Ermittlungseinrichtung 140, eine zweite Ermittlungseinrichtung 142, eine dritte Ermittlungseinrichtung 144, eine vierte Ermittlungseinrichtung 146 und eine fünfte Ermittlungseinrichtung 148 auf.
• Die erste Ermittlungseinrichtung 140 ist ausgebildet, um unter Verwendung des ersten Bildsignals 110 erste homogene Koordinaten 150 des Gesichtsmerkmals 114 in dem Kamerakoordinatensystem 122 und unter Verwendung des zweiten Bildsignals 112 zweite homogene Koordinaten 152 des Gesichtsmerkmals 114 zu ermitteln und bereitzustellen. Das erste Bildsignal 110 umfasst gemäß einem Ausführungsbeispiel erste Bildkoordinaten, die eine Position des Gesichtsmerkmals 114 in dem ersten Bild anzeigen. Die ersten Bildkoordinaten können sich dabei auf ein den Bildern der Monokamera 106 zugeordnetes Bildkoordinatensystem beziehen. Die Die ersten Bildkoordinaten werden gemäß einem Ausführungsbeispiel unter Verwendung einer für die Monokamera 106 ermittelten intrinsischen Matrix in die ersten homogenen Koordinaten 150 transformiert. Entsprechend werden zweite Bildkoordinaten, die eine Position des Gesichtsmerkmals 114 in dem zweiten Bild anzeigen, unter Verwendung der intrinsischen Matrix in die zweiten homogenen Koordinaten 152 transformiert.
• Die zweite Ermittlungseinrichtung 142 ist ausgebildet, um unter Verwendung der ersten homogenen Koordinaten 150 eine erste Ursprungsgeraden 154 zu ermitteln, die durch einen Ursprung des Kamerakoordinatensystems 120 und einen durch die ersten homogenen Koordinaten 150 definierten ersten Punkt verläuft. Ferner ist die zweite Ermittlungseinrichtung 142 ausgebildet, um unter Verwendung der zweiten homogenen Koordinaten 152 eine zweite Ursprungsgerade 156 zu ermitteln, die durch den Ursprung des Kamerakoordinatensystems 120 und einen durch die zweiten homogenen Koordinaten 152 definierten zweiten Punkt verläuft.
• Die dritte Ermittlungseinrichtung 144 ist ausgebildet, um unter Anwendung einer dem ersten Zeitpunkt zugeordneten Kamera-Kopf-Transformationsvorschrift die erste Ursprungsgerade 154 in eine erste Transformationsgerade 158 zu transformieren. Dabei kann die Kamera-Kopf-Transformationsvorschrift im Hinblick auf eine zu dem ersten Zeitpunkt bestehenden relativen Lage zwischen dem Kamerakoordinatensystems 120 und dem Kopfkoordinatensystems 122 vorbestimmt sein. Ferner ist die dritte Ermittlungseinrichtung 144 ausgebildet, um unter Anwendung einer dem zweiten Zeitpunkt zugeordneten Kamera-Kopf-Transformationsvorschrift die zweite Ursprungsgerade 156 in eine zweite Transformationsgerade 160 zu transformieren.
• Die vierte Ermittlungseinrichtung 146 ist ausgebildet, um Schnittpunktkoordinaten 162 eines zumindest angenäherten Schnittpunktes zwischen der ersten Transformationsgeraden 158 und der zweiten Transformationsgeraden 160 in dem Kopfkoordinatensystem 122 zu ermitteln. Dazu kann ein geeignetes Näherungsverfahren eingesetzt werden, durch das der zumindest angenäherte Schnittpunkt berechnet oder gesucht werden kann.
• Die fünfte Ermittlungseinrichtung 148 ist ausgebildet, um die dem Gesichtsmerkmal zugeordnete Referenzposition 128 in dem Kopfkoordinatensystem 122 unter Verwendung der Schnittpunktkoordinaten 162 zu ermitteln.
• Um die Referenzposition 128 genauer ermitteln zu können, können weitere Bilder der Monokamera 106 ausgewertet werden, die das Gesicht 104 und somit auch das Gesichtsmerkmal 114 zeigen. Beispielhaft ist die erste Ermittlungseinrichtung 140 in einem solchen Fall ausgebildet, um zumindest ein drittes Bildsignal von der Monokamera 106 einzulesen und unter Verwendung des dritten Bildsignals dritte homogene Koordinaten an die zweite Ermittlungseinrichtung 142 bereitzustellen. Die zweite Ermittlungseinrichtung 142 ist ausgebildet, um unter Verwendung der dritten homogenen Koordinaten eine dritte Ursprungsgerade zu ermitteln, die durch den Ursprung des Kamerakoordinatensystems 120 und einen durch die dritten homogenen Koordinaten definierten dritten Punkt verläuft. Die dritte Ermittlungseinrichtung 144 ist ausgebildet, um unter Anwendung einer dem dritten Zeitpunkt zugeordneten Kamera-Kopf-Transformationsvorschrift die dritte Ursprungsgerade in eine dritte Transformationsgerade zu transformieren und die vierte Ermittlungseinrichtung 146 ist ausgebildet, um die Schnittpunktkoordinaten 162 unter Verwendung der dritten Transformationsgeraden genauer zu ermitteln, als dies nur unter Verwendung der ersten Transformationsgeraden 158 und der zweiten Transformationsgeraden 160 möglich wäre. In entsprechender Weise können weitere Bildsignale der Monokamera 106 verarbeitet werden.
• Gemäß einem Ausführungsbeispiel werden die Bildsignale 110, 112 der Monokamera 106 verwendet, um für ein weiteres Gesichtsmerkmal 164 des Gesichts 104, hier beispielsweise einen Augenwinkel, eine dem weiteren Gesichtsmerkmal zugeordnete weitere Referenzposition zu ermitteln. Dabei kann entsprechend zur Ermittlung der Referenzposition 128 vorgegangen werden.
• Die weitere Referenzposition kann ebenfalls in der Speichereinrichtung 130 gespeichert und beispielsweise von dem bereits genannten Kopftrackingsystem verwendet werden.
• 2 zeigt einen Kopf 204 in einem Weltkoordinatensystem 124 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den Kopf 204 handeln, dessen Gesicht 104 in 1 gezeigt ist. Das Gesicht 104 weist ein Gesichtsmerkmal 114 auf, das hier einen Augenwinkel darstellt. Dem Kopf 204 oder einem optionalen Kopfaufsatz 205 in Form eines sogenannten Headtargets ist ein Kopfkoordinatensystem 122 zugeordnet. Somit kann es sich bei dem Kopfkoordinatensystem 122 um ein Koordinatensystem des Kopfs 204 oder des Kopfaufsatzes 205 handeln.
• Unter Verwendung eines Verfahrens zum Erkennen des Merkmals 114 des Gesichts 104, das beispielsweise durch Einrichtungen der anhand von 1 beschriebenen Vorrichtung umgesetzt werden kann, kann eine dem Gesichtsmerkmal 114 zugeordnete Referenzposition in dem Kopfkoordinatensystem 122 bestimmt werden. Dadurch kann auf ein zusätzliches Messgerät 210 zur 3D-Messung verzichtet werden, dessen Messspitze 212 ansonsten an dem Gesichtsmerkmal 114 platziert werden müsste. Die dem Gesichtsmerkmal 114 zugeordnete Referenzposition wird auch als $P_0^{eye,WCS}$

  

  bezeichnet. Für die Referenzposition gilt folgender Zusammenhang: $$P_0^{eye,ACS}=inv\left({}_{WCS}^{ACS}{T}_0\right)\ast P_0^{eye,ACS}$$

  

  $$P_t^{eye,WCS}{=}_{WCS}^{ACS}{T}_t\ast P_0^{eye,WCS}$$

  
• $P_0^{eye,ACS}$
  
  : Position des Gesichtsmerkmals 114 im Kopfkoordinatensystem 122
• $P_t^{eye,WCS}$
  
  : Position des Gesichtsmerkmals 114 im Weltkoordinatensystem 124 zu einem beliebigen Zeitpunkt t während einer Sequenz
• ${}_{WCS}^{ACS}{T}_t$
  
  : Kopf-Welt-Transformationsvorschrift, beispielsweise in Form einer Transformatiosmatrix zur Bestimmung der Translation und Rotation des Kopfs 204 oder des Kopfaufsatzes 205 bezüglich des Weltkoordinatensystems 124 zu einem beliebigen Zeitpunkt t während der Sequenz
• Der beschriebene Ansatz zum Bestimmen der Referenzposition für das Gesichtsmerkmal 114 in dem Kopfkoordinatensystem 122 kann beispielsweise für sogenannte Fahrerbeobachtungssysteme eingesetzt werden, die kamerabasierte Systeme darstellen, die in Richtung des Fahrers gerichtet sind. Es ist vor allem das Gesicht 104 des Fahrers von Interesse. Die Kamerabilder werden von Algorithmen prozessiert und liefern z.B. die Kopfpose, die Blickrichtung oder den Öffnungszustand der Augen. Um diese „Schätzalgorithmen“ zur Fahrermodellierung abzusichern, werden Referenzmethoden eingesetzt, die eine hohe Genauigkeit ermöglichen. Der hier beschriebene Ansatz befasst sich inhaltlich mit der Entwicklung einer Referenzmethode zur Ermittlung der Position von Gesichtsmerkmalen, wie dem Gesichtsmerkmal 114, das anstelle eines Augenwinkels, beispielsweise auch einen Mundwinkel oder die Nasenbrücke darstellen kann, mithilfe einer Fahrerbeobachtungskamera und einem System zum Kopftracking.
• Der Kopf 204 des Fahrers wird mithilfe eines Stereokamerasystems und optional einem Kopfaufsatz als Referenzsystem getrackt. Die Position des Kopfes 204 ist dadurch im Weltkoordinatensystem 124, welches im Fahrzeug aufgespannt wird, bekannt. Vorteilhafterweise ist es nicht erforderlich, mit dem zusätzlichen Messgerät 210 markante Punkte im Gesicht 104 des Fahrers einmalig zu vermessen. Stattdessen kann auf eine Auswertung von Bildern einer Monokamera zurückgegriffen werden. Dadurch dass die Position dieser Punkte, wie dem Gesichtsmerkmal 114 relativ zum Kopf 205 konstant bleibt, kann auch deren Position im Weltkoordinatensystem 124 zu jedem Zeitpunkt berechnet werden.
• 3 zeigt einen Kopf 204 in einem Weltkoordinatensystem 124 zu einem ersten Zeitpunkt T₀, gemäß einem Ausführungsbeispiel. Dabei kann es sich um den Kopf 204 handeln, dessen Gesicht 104 in 2 gezeigt ist. Anhand von 3 und der nachfolgenden 4 wird eine Vorgehensweise zur Vermessung von Gesichtsmerkmalen, wie dem beispielhaften Gesichtsmerkmal 114, anhand eines Ausführungsbeispiels beschrieben. Die für diese Vorgehensweise erforderlichen Schritte können beispielsweise unter Verwendung einer Vorrichtung durchgeführt werden, wie sie anhand von 1 gezeigt ist. Vorteilhafterweise ist dabei kein zusätzliches Messgerät zur Vermessung von Gesichtsmerkmalen erforderlich. Ein solches zusätzliches Messgerät, wie es beispielsweise in 2 gezeigt ist, wird durch eine Kamera ersetzt, beispielsweise durch die in 1 gezeigte Monokamera. Die Kamera ist gemäß einem Ausführungsbeispiel für die Fahrerbeobachtung vorgesehen und die extrinsischen Parameter der Kamera sind bekannt.
• Eine Monokamera liefert eine Aussage darüber, auf welcher Gerade sich ein im Pixelkoordinatensystem der Bildebene gemessener Punkt befindet, es wird also eine Aussage über die Lage des Punktes, z.B. des Augenwinkels getroffen. Dazu wird der gemessene Punkt einfach mithilfe der intrinsischen Matrix zurück in das Kamerakoordinatensystem 122 projiziert, wodurch sich die homogenen Koordinaten ergeben.
• Dem kann folgender Zusammenhang zugrunde liegen: $$\left[\begin{array}{c}\frac{x_{ccs}}{z_{ccs}}\\ \frac{y_{ccs}}{z_{ccs}}\end{array}\right]=\left[\begin{array}{c}{x}_{Bild}-c_x\\ y_{Bild}-c_y\end{array}\right]\ast \left[\begin{array}{cc}\frac{1}{f}& 0\\ 0& \frac{1}{f}\end{array}\right]$$

  

ccs

: Kamerakoordinatensystem 120

x_Bild

: Pixelposition in „x-Richtung“ im Bildkoordinatensystem

y_Bild

: Pixelposition in „y-Richtung“ im Bildkoordinatensystem

c_x, c_y

: Hauptpunkt, (Punkt an dem die optische Achse, also die z-Achse des Kamerakoordinatensystems, die Bildebene durchstößt

ƒ

: Brennweite der Kamera in Pixeln



sowie



: homogene Koordinaten

• Die Pixelpositionen in x- und y-Richtung können beispielsweise von dem in 1 genannten ersten Bildsignal übertragen werden.
• Mithilfe der homogenen Koordinaten kann nun ein Vektor gebildet werden, der die Lage des im Bild vermessenen Punktes repräsentiert. Sei die z-Komponente des Punktes gleich eins, so ergibt sich folgende Gerade: $$\overrightarrow{g}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]+\alpha \ast \left[\begin{array}{c}{x}_{ccs}\\ y_{ccs}\\ 1\end{array}\right]$$

  
• Die Gerade $\overrightarrow{g}$

  

  wird auch als Ursprungsgerade bezeichnet.
• Diese Ursprungsgerade wird nun in das Kopfkoordinatensystem 122 des Kopfes 204 oder des Kopfaufsatzes 205 umgerechnet. $$\begin{array}{l}{{\overrightarrow{g}}^{\prime }}_{ACS}=\left[\begin{array}{cccc}{x}_{ACS\mathrm{,0}}& y_{ACS\mathrm{,0}}& z_{ACS\mathrm{,0}}& 1\end{array}\right]+b\ast \left[\begin{array}{cccc}{x}_{ACS}& y_{ACS}& z_{ACS}& 1\end{array}\right]\\ {=}_{ACS}^{CCS}T\ast \left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]+b{\ast }_{ACS}^{CCS}T\ast \left[\begin{array}{c}{x}_{cCs}\\ y_{ccs}\\ 1\\ 0\end{array}\right]\end{array}$$

  
• Die Transformationsmatrix ist dabei folgendermaßen aufgebaut: $${}_A^{B}T=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\\ 0& 0& 0& 1\end{array}\right]$$

  
• Ein Punkt P, der in Koordinatensystem B den Ortsvektor $\overrightarrow{P_B}$

  

  hat, wird folgendermaßen ins Koordinatensystem A transformiert: $$\left[\begin{array}{cccc}{x}_{Pa}& y_{Pa}& z_{Pa}& 1\end{array}\right]{=}_A^{B}T\ast \left[\begin{array}{c}{x}_{PB}\\ y_{PB}\\ z_{PB}\\ 1\end{array}\right]$$

  
• Dabei ist die Kamera-Kopf-Transformationsmatrix ${}_{ACS}^{CCS}T$

  

  bekannt. Die Gerade ${{\overrightarrow{g}}^{\prime }}_{ACS}$

  

  wird auch als Transformationsgerade bezeichnet.
• Aus einer einem ersten Zeitpunkt T₀ zugeordneten ersten Ursprungsgerade 154 bezüglich des Gesichtsmerkmals 114 wird eine erste Transformationsgerade ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

  

  sowie aus einer einem zweiten Zeitpunkt T₁ zugeordneten zweiten Ursprungsgerade bezüglich des Gesichtsmerkmals 114 wird eine wird eine zweite Transformationsgerade ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

  

  bestimmt. Die erste Transformationsgerade ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

  

  und die zweite Transformationsgerade werden für dasselbe Gesichtsmerkmal 114 bestimmt, welches in zwei unterschiedlichen Kopfposen aus einem zum ersten Zeitpunkt To erfassten ersten Bild und einem zum zweiten Zeitpunkt T₁ erfassten zweiten Bild gelabelt wurde. Zum Bestimmen der ersten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

  

  wird eine erste Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_0$

  

  verwendet.
• Nachfolgen wird der Schnittpunkt dieser beiden Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{1,}ACS},$

  

  ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

  

  gebildet, welcher dann die Position des Gesichtsmerkmals 114 im Kopfkoordinatensystem 122 darstellt. Dies ist aus theoretischer Sicht möglich, in der Praxis ist es aufgrund von Ungenauigkeiten der Kalibrierung sowie Ungenauigkeiten beim Bezeichnen der Gesichtsmerkmale nicht wahrscheinlich, dass sich beide Transformationsgeraden $\begin{array}{cc}{\overrightarrow{g}}_{\mathrm{1,}ACS},& {\overrightarrow{g}}_{\mathrm{2,}ACS}\end{array}$

  

  schneiden. Deshalb wird anstelle eines tatsächlichen Schnittpunkts eine Näherung für den Schnittpunkt gesucht, also ein Punkt zwischen denjenigen auf den Transformationsgeraden $\begin{array}{cc}{\overrightarrow{g}}_{\mathrm{1,}ACS},& {\overrightarrow{g}}_{\mathrm{2,}ACS}\end{array}$

  

  liegenden Punkten, die voneinander den geringsten Abstand haben. Ein solcher „mittlerer Schnittpunkt“ wird auch als zumindest angenäherten Schnittpunkt bezeichnet und kann auch mit noch mehr unterschiedlichen Kopfposen mit entsprechend bezeichneten Gesichtsmerkmalen bestimmt werden. Dazu kann eine bekannte RMS-Methode verwendet werden: $$x={\left({\displaystyle \sum _{i=1}^{k}I-v_i{v}_i^T}\right)}^{-1}\ast \left({\displaystyle \sum _{i=1}^k\left(I-v_i\ast v_i^T\right)p_i}\right)$$

  

x:

zumindest angenäherter Schnittpunkt aller Transformationsgeraden im Kopfkoordinatensystem 122

I:

Einheitsmatrix

υ_i:

Einheitsvektor, der die Richtung der Transformationsgeraden im Kopfkoordinatensystem 122 beschreibt

p_i :

Punkt auf der Transformationsgeraden im Kopfkoordinatensystem 122

• Gemäß einem Ausführungsbeispiel stellt die erste Ursprungsgerade 154 eine Gerade $\overrightarrow{g_{\mathrm{1,}WCS}}$

  

  im Weltkoordinatensystem 124 dar.
• 4 zeigt den in 3 gezeigten Kopf 204 in dem Weltkoordinatensystem 124 zu einem zweiten Zeitpunkt T₁, gemäß einem Ausführungsbeispiel.
• Aus einer dem zweiten Zeitpunkt T₁ zugeordneten zweiten Ursprungsgerade 156 bezüglich des Gesichtsmerkmals 114 wird die bereits anhand von 3 beschriebene zweite Transformationsgerade ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

  

  bestimmt. Dazu wird eine zweite Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_1$

  

  verwendet.
• Gemäß einem Ausführungsbeispiel stellt die zweite Ursprungsgerade 156 eine Gerade $\overrightarrow{g_{\mathrm{2,}WCS}}$

  

  im Weltkoordinatensystem 124 dar.
• Die Bestimmung der Position der 3D Landmarken, die beispielsweise das Gesichtsmerkmal 114 umfassen, kann während einer Testfahrt automatisiert oder nach einer Testfahrt offline erfolgen und von geschulten Personen durchgeführt werden (Labeling). Somit kann gewährleistet werden, dass die Position der Gesichtsmerkmale auch den Definitionen entsprechen. Dadurch ist es eventuell möglich, dass die Wiederholgenauigkeit beim Vermessen von Gesichtsmerkmalen insbesondere im Zusammenhang mit großen Probandenstudien gesteigert werden kann. Für die Verifikation und Validation von Fahrerbeobachtungssystemen müssen die Sequenzen ohnehin gelabelt werden. Der zeitliche Gesamtaufwand bei einer Probandenstudie kann sehr gering gehalten werden. Durch das Wegfallen einer zusätzlichen initialen Messsequenz wird auch die Wahrscheinlichkeit eines auftretenden Fehlers reduziert. Zudem besteht keine Verletzungsgefahr für die Probanden, da keine Positionierung einer Messspitze sehr nah am Auge erforderlich ist.
• 5 zeigt ein Ablaufdiagramm eines Verfahren zum Erkennen eines Merkmals eines Gesichts eines Insassen eines Fahrzeugs gemäß einem Ausführungsbeispiel. Das Verfahren kann beispielsweise von Einrichtungen einer Vorrichtung ausgeführt werden, wie sie anhand von 1 beschrieben ist.
• In einem Schritt 501 werden zumindest zwei zu unterschiedlichen Zeitpunkten erfasste Bildsignale einer Monokamera eingelesen, die jeweils ein Bild eines Gesichts einer Person repräsentieren. In einem Schritt 503 werden unter Verwendung der Bildsignale homogene Koordinaten eines Gesichtsmerkmals des Gesichts der Person bezogen auf ein Kamerakoordinatensystem der Monokamera ermittelt. In einem Schritt 505 werden unter Verwendung der homogenen Koordinaten Ursprungsgeraden ermittelt. In einem Schritt 507 werden aus den Ursprungsgeraden und Kamera-Kopf-Transformationsvorschriften Transformationsgeraden bezogen auf ein Kopfkoordinatensystem ermittelt. In einem Schritt 509 werden Schnittpunktkoordinaten eines zumindest angenäherten Schnittpunktes zwischen den Transformationsgeraden ermittelt. In einem Schritt 511 wird eine dem Gesichtsmerkmal zugeordnete Referenzposition in dem Kopfkoordinatensystem unter Verwendung von Schnittpunktkoordinaten des zumindest angenäherten Schnittpunktes ermittelt.
• Optional können in einem Schritt 513 vor dem Schritt 501 die Bilder des Gesichts erfasst und die Bildsignale bereitgestellt werden.
• Die im Schritt 511 ermittelte Referenzposition kann zum Bestimmen einer Weltposition des Gesichtsmerkmals verwendet werden. Dazu wird optional in einem Schritt 521 ein Stereobildsignal eingelesen, das ein von einer Stereokameraeinrichtung zu einem Aufnahmezeitpunkt aufgenommenes Stereobild des Kopfes der Person repräsentiert. In einem optionalen Schritt 523 wird eine Kopfposition des Kopfes in dem Weltkoordinatensystem unter Verwendung des Stereobildsignals bestimmt und anschließend wird die dem Gesichtsmerkmal zugeordnete Weltposition in dem Weltkoordinatensystem unter Verwendung der Kopfposition, der dem Gesichtsmerkmal zugeordneten Referenzposition und einer dem ersten Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift bestimmt.
• Die Schritte 521, 523 können wiederholt ausgeführt werden, um dem Gesichtsmerkmal zu weiteren Aufnahmezeitpunkten zugeordnete Weltpositionen zu bestimmen.
• In den Schritten 503, 505, 507, 509, 511 kann für zumindest ein weiteres Gesichtsmerkmal eine weitere Referenzposition ermittelt werden. Entsprechend können in den Schritten 521, 523 weitere Weltpositionen für das zumindest eine weitere Gesichtsmerkmal bestimmt werden.
• Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims (11)

1. Verfahren zum Erkennen eines Merkmals eines Gesichts (104) eines Insassen eines Fahrzeugs (100), wobei das Verfahren die folgenden Schritte umfasst: Einlesen (501) eines ersten Bildsignals (110) und eines zweiten Bildsignals (112), wobei das erste Bildsignal (110) ein von einer Monokamera (106) zu einem ersten Zeitpunkt T₀ aufgenommenes Bild eines Gesichts (104) des Insassen repräsentiert und das zweite Bildsignal (112) ein von der Monokamera (106) zu einem zweiten Zeitpunkt T₁ aufgenommenes Bild des Gesichts (104) des Insassen repräsentiert; Ermitteln (503) von ersten homogenen Koordinaten (150) eines Gesichtsmerkmals (114) unter Verwendung des ersten Bildsignals (110) und zweiten homogenen Koordinaten (152) des Gesichtsmerkmals (114) unter Verwendung des zweiten Bildsignals (112), wobei sich die homogenen Koordinaten (150, 152) auf ein Kamerakoordinatensystem (120) der Monokamera (106) beziehen; Ermitteln (505) einer ersten Ursprungsgeraden (154) durch einen Ursprung des Kamerakoordinatensystems (120) und einem durch die ersten homogenen Koordinaten (150) definierten ersten Punkt, und einer zweiten Ursprungsgeraden (156) durch den Ursprung des Kamerakoordinatensystems (120) und einem durch die zweiten homogenen Koordinaten (152) definierten zweiten Punkt; Ermitteln (507) einer ersten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

   

   (158) unter Verwendung der ersten Ursprungsgeraden (154) und einer ersten Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_0$

   

   und einer zweiten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

   

   (160) unter Verwendung der zweiten Ursprungsgeraden (156) und einer zweiten Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_1$

   

   , wobei die erste Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_0$

   

   zum Transformieren eines Punkts des Kamerakoordinatensystems (120) in einen Punkt eines einem Kopf (204) des Insassen zugeordneten Kopfkoordinatensystems (122) zum ersten Zeitpunkt T₀ und die zweite Kamera-Kopf-Transformationsvorschrift ${}_{ACS}^{CCS}{T}_1$

   

   zum Transformieren eines Punkts des Kamerakoordinatensystems (120) in einen Punkt des Kopfkoordinatensystems (122) zum zweiten Zeitpunkt T₁ geeignet ist; Ermitteln (509) von Schnittpunktkoordinaten (162) eines zumindest angenäherten Schnittpunktes zwischen der ersten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

   

   (158) und der zweiten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

   

   (160) in dem Kopfkoordinatensystem (122) ; Ermitteln (511) einer dem Gesichtsmerkmal (114) zugeordneten Referenzposition (128) in dem Kopfkoordinatensystem (122) unter Verwendung der Schnittpunktkoordinaten (162).
2. Verfahren gemäß Anspruch 1, mit einem Schritt des Einlesens (521) eines Stereobildsignals (132), wobei das Stereobildsignal (132) ein von einer Stereokameraeinrichtung (108) zu einem Aufnahmezeitpunkt aufgenommenes Stereobild des Kopfes (204) des Insassen repräsentiert, und einem Schritt (523) des Bestimmens einer Kopfposition des Kopfes (204) in einem Weltkoordinatensystem (124) unter Verwendung des Stereobildsignals und des Bestimmens einer dem Gesichtsmerkmal (114) zugeordneten Weltposition (136) in dem Weltkoordinatensystem (124) unter Verwendung der Kopfposition, der dem Gesichtsmerkmal (114) zugeordneten Referenzposition (128) und einer dem ersten Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift zum Transformieren eines Punkts des Kopfkoordinatensystems (122) in einen Punkt des Weltkoordinatensystems (124).
3. Verfahren gemäß Anspruch 2, mit einem Schritt des Bestimmens der dem Aufnahmezeitpunkt zugeordneten Kopf-Welt-Transformationsvorschrift unter Verwendung der Kopfposition des Kopfes (204) in dem Weltkoordinatensystem (124) und einer vorbestimmten Referenzkopfposition des Kopfes (204) in dem Weltkoordinatensystem (124).
4. Verfahren gemäß Anspruch 2 oder 3, bei dem der Schritt (521) des Einlesen des Stereobildsignals wiederholt ausgeführt wird, um ein weiteres Stereobildsignal einzulesen, das ein von der Stereokameraeinrichtung (108) zu einem weiteren Aufnahmezeitpunkt aufgenommenes weiteres Stereobild des Kopfes des Insassen repräsentiert, und der Schritt des Bestimmens (523) wiederholt ausgeführt wird, um eine weitere Kopfposition des Kopfes (204) in dem Weltkoordinatensystem (124) unter Verwendung des weiteren Stereobildsignals zu bestimmen, und eine dem Gesichtsmerkmal (114) zugeordnete weitere Weltposition in dem Weltkoordinatensystem (124) unter Verwendung der weiteren Kopfposition, der dem Gesichtsmerkmal (114) zugeordneten Referenzposition (128) und einer dem weiteren Aufnahmezeitpunkt zugeordneten weiteren Kopf-Welt-Transformationsvorschrift zu bestimmen.
5. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (513) des Erfassens des ersten Bildsignals (110) und des zweiten Bildsignals (112) unter Verwendung der Monokamera (106) und mit einem Schritt des Erfassens des Stereobildsignals unter Verwendung der Monokamera (106) und einer weiteren Monokamera.
6. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (501) des Einlesens ein drittes Bildsignal eingelesen wird, das ein von der Monokamera (106) zu einem dritten Zeitpunkt aufgenommenes Bild des Gesichts (104) des Insassen repräsentiert, im Schritt (503) des Ermittelns der homogenen Koordinaten dritte homogene Koordinaten des Gesichtsmerkmals (114) unter Verwendung des dritten Bildsignals ermittelt werden, im Schritt (505) des Ermittelns der Ursprungsgeraden eine dritte Ursprungsgerade durch den Ursprung des Kamerakoordinatensystems (120) und einen durch die dritten homogenen Koordinaten definierten dritten Punkt ermittelt wird, im Schritt (507) des Ermittelns der Transformationsgeraden eine dritte Transformationsgerade unter Verwendung der dritten Ursprungsgeraden und einer dritten Kamera-Kopf-Transformationsvorschrift, die zum Transformieren eines Punkts des Kamerakoordinatensystems (120) in einen Punkt des Kopfkoordinatensystems (122) zum dritten Zeitpunkt geeignet ist, ermittelt wird, und im Schritt (509) des Ermittelns von Schnittpunktkoordinaten, die Schnittpunktkoordinaten (162) des zumindest angenäherten Schnittpunktes zwischen der ersten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{1,}ACS}$

   

   (158), der zweiten Transformationsgeraden ${\overrightarrow{g}}_{\mathrm{2,}ACS}$

   

   (160) und der dritten Transformationsgeraden ermittelt wird.
7. Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Indexierens der dem Gesichtsmerkmal (114) zugeordneten Referenzposition mit einer den Insassen repräsentierenden Insassenidentifikation, um eine dem Gesichtsmerkmal (114) des Insassen zugeordnete indexierte Referenzposition zu erhalten, und mit einem Schritt des Speicherns der indexierten Referenzposition.
8. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem in den Schritten (503, 505, 507, 509, 511) des Ermittelns unter Verwendung des ersten Bildsignals (110) und des zweiten Bildsignals (112) eine einem weiteren Gesichtsmerkmal (114) zugeordnete weitere Referenzposition in dem Kopfkoordinatensystem (122) ermittelt wird.
9. Vorrichtung (102) zum Erkennen eines Merkmals eines Gesichts (104) eines Insassen eines Fahrzeugs (100), wobei die Vorrichtung (102) eingerichtet ist, um die Schritte des Verfahrens gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen und/oder anzusteuern.
10. Computerprogramm, das dazu eingerichtet ist, die Schritte des Verfahrens gemäß einem der vorangegangenen Ansprüche auszuführen und/oder anzusteuern.
11. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 10 gespeichert ist.

Images