DE102014100352A1

DE102014100352A1 - Fahrerblickdetektionssystem

Info

Publication number: DE102014100352A1
Application number: DE201410100352
Authority: DE
Inventors: Wende Zhang; Dan Levi; Debbie E. Nachtegall; Fernando De La Torre; Dong Huang
Original assignee: Carnegie Mellon University; GM Global Technology Operations LLC
Current assignee: Carnegie Mellon University; GM Global Technology Operations LLC
Priority date: 2013-01-18
Filing date: 2014-01-14
Publication date: 2014-07-24
Anticipated expiration: 2034-01-15
Also published as: DE102014100352B4

Abstract

Ein Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen auf der Basis einer abgeschätzten Blickrichtung eines Fahrers eines Fahrzeugs umfasst das Überwachen von Gesichtsmerkmalspunkten des Fahrers innerhalb Bildeingangsdaten, die von einer fahrzeuginternen Kameravorrichtung aufgenommen werden. Ein Ort für jedes von mehreren Augenmerkmalen für einen Augapfel des Fahrers wird auf der Basis der überwachten Gesichtsmerkmale detektiert. Eine Kopfhaltung des Fahrers wird auf der Basis der überwachten Gesichtsmerkmalspunkte abgeschätzt. Die Blickrichtung des Fahrers wird auf der Basis des detektierten Orts für jedes der mehreren Augenmerkmale und der abgeschätzten Kopfhaltung abgeschätzt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Nutzen der vorläufigen US-Anmeldung Nr. 61/754,134, eingereicht am 18. Januar 2013, die durch Bezugnahme vollständig mit aufgenommen ist.
TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf das Abschätzen einer Blickrichtung eines Fahrers in Echtzeit.
HINTERGRUND
Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen in Bezug auf die vorliegende Offenbarung dar. Folglich sollen solche Aussagen keine Anerkenntnis von Standes d Technik darstellen.
Fahrzeuge mit der Fähigkeit, einen Fahrer eines Fahrzeugs zu überwachen und zu detektieren, dass der Fahrer der Straßenszene keine Aufmerksamkeit schenkt, ermöglichen, dass Maßnahmen getroffen werden, um eine Fahrzeugkollision aufgrund dessen, dass der Fahrer nicht achtgibt, zu verhindern. Warnsysteme können beispielsweise aktiviert werden, um den Fahrer zu warnen, dass er nicht achtgibt. Ferner können automatische Brems- und automatische Lenksysteme aktiviert werden, um das Fahrzeug zu einem Stillstand zu bringen, wenn festgestellt wird, dass der Fahrer nicht aufmerksam wurde, selbst nachdem er gewarnt wurde.
Es ist bekannt, Fahrerüberwachungs-Kameravorrichtungen zu verwenden, die dazu konfiguriert sind, einen Fahrer zu überwachen und eine Bedingung mit von der Straße abgewandten Augen (EOR) zu detektieren, die darauf hinweist, dass die Augen des Fahrers sich nicht auf der Straße befinden. Die Echtzeitblickverfolgung, die eine Kombination einer Kopfhaltung und einer Augenblickrichtung umfasst, ist jedoch in der Fahrzeugumgebung anspruchsvoll aufgrund von (1) unterschiedlichen Größen- und Gesichtsmerkmalen von Fahrern, was es schwierig macht, eine Kameravorrichtung für die Kopfhaltung und Blickrichtung zu kalibrieren, (2) unbekannten Beleuchtungsbedingungen, die zu einer unzuverlässigen Detektion der Gesichtsmerkmale führen, und (3) abrupten Änderungen der Kopfhaltung des Fahrers, die in Videoströmen, die in Bilddaten enthalten sind, die durch die Kameravorrichtung aufgenommen werden, schwierig zu verfolgen ist.
ZUSAMMENFASSUNG
Ein Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen auf der Basis einer abgeschätzten Blickrichtung eines Fahrers eines Fahrzeugs umfasst das Überwachen von Gesichtsmerkmalspunkten des Fahrers innerhalb Bildeingangsdaten, die von einer fahrzeuginternen Kameravorrichtung aufgenommen werden. Ein Ort für jedes von mehreren Augenmerkmalen für einen Augapfel des Fahrers wird auf der Basis der überwachten Gesichtsmerkmale detektiert. Eine Kopfhaltung des Fahrers wird auf der Basis der überwachten Gesichtsmerkmalspunkte abgeschätzt. Die Blickrichtung des Fahrers wird auf der Basis des detektierten Orts für jedes der mehreren Augenmerkmale und der abgeschätzten Kopfhaltung abgeschätzt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Eine oder mehrere Ausführungsformen werden nun beispielhaft mit Bezug auf die begleitenden Zeichnungen beschrieben, in denen:
1 eine beispielhafte nicht begrenzende Ansicht eines Fahrers und von Komponenten eines Fahrerblickverfolgungssystems innerhalb eines Fahrzeugs gemäß der vorliegenden Offenbarung darstellt;
2 ein Diagramm des Fahrerblickverfolgungssystems von 1 gemäß der vorliegenden Offenbarung darstellt;
3 ein beispielhaftes System zur Detektion der von der Straße abgewandten Augen, das in Verbindung mit dem Fahrerblickverfolgungssystem von 1 und 2 verwendet wird, gemäß der vorliegenden Offenbarung darstellt;
4 einen beispielhaften Ablaufplan zur Verwendung eines Unterstützungsvektormaschinen-Klassifikators (SVM-Klassifikators), um einen Ort für jedes von mehreren Augenmerkmalen eines Augapfels zu detektieren, gemäß der vorliegenden Offenbarung darstellt;
5 einen beispielhaften Ablaufplan, der in Verbindung mit dem beispielhaften Ablaufplan von 4 verwendet wird, zum Detektieren und Verfolgen eines Orts für jedes der mehreren Augenmerkmale des Augapfels gemäß der vorliegenden Offenbarung darstellt;
6 eine beispielhafte Ausführungsform zum Trainieren von Unterräumen unter Verwendung von überwachtem lokalem Unterraumlernen, das durch den Block 112 von 3 ausgeführt wird, gemäß der vorliegenden Offenbarung darstellt;
7 eine beispielhafte Ausführungsform einer Kopfhaltungsabschätzung, die durch den Block 112 von 3 unter Verwendung der trainierten Unterräume von 6 ausgeführt wird, gemäß der vorliegenden Offenbarung darstellt;
8 ein geometrisches Modell des Fahrerblickverfolgungssystems 200 von 2 in Bezug auf detektierte und verfolgte Orte für jedes der mehreren Augenmerkmale, das durch den Block 110 von 3 ausgeführt wird, und die Kopfhaltungsabschätzung, die durch den Block 112 von 3 ausgeführt wird, gemäß der vorliegenden Offenbarung darstellt;
9-1 und 9-2 anatomische Einschränkungen des geometrischen Modells von 8 zum Abschätzen der Blickrichtung des Fahrers gemäß der vorliegenden Offenbarung darstellen; und
10 ein geometrisches Modell zum Bestimmen eines Nickwinkels, der eine Höhe eines Kopfs des Fahrers in Bezug auf die monokulare Kameravorrichtung von 1 beschreibt, gemäß der vorliegenden Offenbarung darstellt.
AUSFÜHRLICHE BESCHREIBUNG
In den Zeichnungen, in denen die Darstellungen nur zum Zweck der Erläuterung von bestimmten beispielhaften Ausführungsformen und nicht zum Zweck der Begrenzung derselben dienen, stellt 1 eine beispielhafte Ansicht eines Fahrers und von Komponenten eines Fahrerblickverfolgungssystems innerhalb eines Fahrzeugs gemäß der vorliegenden Offenbarung dar. Das Fahrerblickverfolgungssystem umfasst eine fahrzeuginterne monokulare Kameravorrichtung 10, die dazu konfiguriert ist, Bilddaten in einem Blickfeld (FOV), das in Richtung des Fahrers gerichtet ist, aufzunehmen. Die aufgenommenen Bilddaten umfassen Videoströme, die mehrere Einzelbilder, die der Reihe nach aufgenommen werden, umfassen. Die Kameravorrichtung 10 ist in der Lage, Licht oder eine andere Strahlung zu empfangen und die Lichtenergie in elektrische Signale in einem Pixelformat beispielsweise unter Verwendung von einem von Sensoren einer ladungsgekoppelten Vorrichtung (CCD) oder Sensoren eines komplementären Metalloxid-Halbleiters (CMOS) umzusetzen. Die Kameravorrichtung 10 steht mit einer nichtflüchtigen Verarbeitungsvorrichtung (d. h. Prozessor 20 von 2) in Signalkommunikation, die dazu konfiguriert ist, die aufgenommenen Bilddaten zu empfangen und eine kontinuierliche Abschätzung der Blickrichtung des Fahrers in Echtzeit auszugeben. Der Prozessor kann innerhalb irgendeines geeigneten Raums des Fahrzeugs implementiert werden, so dass Bildeingangsdaten, die durch die Kameravorrichtung 10 aufgenommen werden, empfangen werden können. Die Kameravorrichtung 10 ist innerhalb eines Innenraums des Fahrzeugs angebracht. In einer Ausführungsform ist die Kameravorrichtung 10 an einem Fahrzeugarmaturenbrett über einer Lenkradsäule angebracht, um Abschätzungen der Fahrerblicknickwinkel zu erleichtern, so dass Detektionen dessen, wann ein Fahrer simst, mit größerer Recheneffizienz erhalten werden können. Das Fahrerblickverfolgungssystem umfasst ferner eine Infrarotbeleuchtungsvorrichtung 12, die dazu konfiguriert ist, Infrarotlicht in einer Richtung zum Fahrer hin zu projizieren, so dass ein klares Bild des Gesichts des Fahrers durch die Kameravorrichtung 10 während lichtarmen Bedingungen wie z. B. während der Nachtzeit erhalten wird. Im Gegensatz zur Verwendung einer direkten Lichtquelle wirkt sich das Infrarotlicht nicht auf die Sicht des Fahrers aus. Überdies leiden aufgenommene Bilddaten nicht unter einer ”hellen Pupille”, die erzeugt wird, wenn Nahinfrarotlichtquellen verwendet werden.
In einer Ausführungsform umfasst die Kameravorrichtung kein Infrarotfilter, das Infrarotlicht jenseits vorbestimmter Wellenlängen blockiert.
Steuermodul, Modul, Steuerung, Controller, Steuereinheit, Prozessor und ähnliche Begriffe bedeuten irgendeine oder verschiedene Kombinationen von einer oder mehreren von anwendungsspezifischen integrierten Schaltung(en) (ASIC), einer oder mehreren elektronischen Schaltungen, einer oder mehreren Zentraleinheiten (vorzugsweise Mikroprozessor(en)) und eines zugehörigen Speichers und einer Ablage (Festwert-, programmierbarer Festwert-, Direktzugriffsspeicher, Festplatte usw.), die ein oder mehrere Software- oder Firmwareprogramme oder -routinen ausführen, einer oder mehreren kombinatorischen Logikschaltungen, Eingabe/Ausgabe-Schaltung(en) und -Vorrichtungen, einer geeigneten Signalaufbereitungs- und Pufferschaltungsanordnung, und andere Komponenten, um die beschriebene Funktionalität bereitzustellen. Software, Firmware, Programme, Befehle, Routinen, Code, Algorithmen und ähnliche Begriffe bedeuten beliebige Befehlssätze, einschließlich Kalibrierungen und Nachschlagetabellen. Das Steuermodul weist einen Satz von Steuerroutinen auf, die ausgeführt werden, um die gewünschten Funktionen bereitzustellen. Routinen werden ausgeführt, wie z. B. durch eine Zentraleinheit, und sind betriebsfähig, um Eingaben von Erfassungsvorrichtungen und anderen vernetzten Steuermodulen zu überwachen, und Steuer- und Diagnoseroutinen auszuführen, um den Betrieb von Aktuatoren zu steuern. Die Routinen können in regelmäßigen Intervallen, beispielsweise alle 3,125, 6,25, 12,5, 25 und 100 Millisekunden, während des laufenden Kraftmaschinen- und Fahrzeugbetriebs ausgeführt werden. Alternativ können Routinen in Ansprechen auf das Auftreten eines Ereignisses ausgeführt werden.
Ausführungsformen sind hier auf das Abschätzen einer Blickrichtung des Fahrers in Echtzeit auf der Basis von Bildeingangsdaten, die von der Kameravorrichtung 10 aufgenommen und durch den Prozessor 20 verarbeitet werden, gerichtet. In der dargestellten Ausführungsform von 1 sind abgeschätzte Blickrichtungen 90, 90' dargestellt. Aus jeder der Blickrichtungen kann ein Blickort des Fahrers identifiziert werden. Wie hier verwendet, beschreibt der Begriff ”Blickort” einen Punkt, an dem die abgeschätzte Blickrichtung eine Windschutzscheibenebene des Fahrzeugs schneidet. Die Blickorte, die jeweiligen der abgeschätzten Blickrichtungen 90, 90' entsprechen, können mit einer Straßenebene 50 innerhalb der Windschutzscheibenebene verglichen werden, um festzustellen, ob eine Bedingung mit von der Straße abgewandten Augen detektiert werden kann oder nicht. Der Blickort, der der abgeschätzten Blickrichtung 90 entspricht, liegt beispielsweise innerhalb der Straßenebene 50, was darauf hinweist, dass die Augen des Fahrers, d. h. die Blickrichtung, auf einer Straßenszene vor dem Fahrzeug liegen. Im Gegensatz dazu liegt der Blickort, der der abgeschätzten Blickrichtung 90' entspricht, außerhalb der Straßenebene 50, was zur Detektion der Bedingung mit von der Straße abgewandten Augen führt. Wenn die Bedingung mit von der Straße abgewandten Augen detektiert wird, können ein Alarm oder andere Maßnahmen getroffen werden, um die Aufmerksamkeit des Fahrers zu erlangen, so dass der Fahrer seine Augen wieder auf der Straßenszene hält.
2 stellt ein Diagramm des Fahrerblickverfolgungssystems 200 von 1 gemäß der vorliegenden Offenbarung dar. Die Komponenten des Fahrerblickverfolgungssystems 200 umfassen die monokulare Kameravorrichtung 10 und die Verarbeitungsvorrichtung 20. Die Verarbeitungsvorrichtung 20 umfasst ein Detektions- und Verfolgungsmodul 22, ein Kopfhaltungsabschätzmodul 24 und ein Blickrichtungsabschätzmodul 26.
Das Detektions- und Verfolgungsmodul 22 überwacht Gesichtsmerkmalspunkte des Fahrers innerhalb Bildeingangsdaten, die von der fahrzeuginternen Vorrichtung aufgenommen werden. Insbesondere werden die Gesichtsmerkmalspunkte im Anschluss an das Detektieren eines Gesichts des Fahrers extrahiert. Wie hier verwendet, kann der Begriff ”Gesichtsmerkmalspunkte” Punkte, die Augen-, Nasen- und Mundbereiche umgeben, sowie Punkte, die konturierte Abschnitte des detektierten Gesichts des Fahrers umreißen, umfassen. Auf der Basis der überwachten Gesichtsmerkmalspunkte können anfängliche Orte für jedes von mehreren Augenmerkmalen eines Augapfels des Fahrers detektiert werden. Wie hier verwendet, umfassen die Augenmerkmale eine Iris und einen ersten und einen zweiten Augenwinkel des Augapfels. Folglich umfasst das Detektieren des Orts für jedes der mehreren Augenmerkmale das Detektieren eines Orts einer Iris, das Detektieren eines Orts für den ersten Augenwinkel und das Detektieren eines Orts für einen zweiten Augenwinkel. Der erste Augenwinkel gibt einen inneren Augenwinkel nahe einer Nasenwurzel an und der zweite Augenwinkel gibt einen äußeren Augenwinkel an. In einer Ausführungsform stellt das Detektions- und Verfolgungsmodul 22 das Gesichtsverfolgungsverhalten für hellhäutige Leute ein. Im Allgemeinen ist ein Vertrauenswert für ein detektiertes Gesicht bei hellhäutigen Leuten niedrig. Eine Lösung besteht darin, intensiv zu suchen, wobei ein Schwellenwert der Verfolgungseinrichtung an einigen Stellen des Bildes geändert wird.
Das Kopfhaltungsabschätzmodul 24 verwendet ferner die überwachten Gesichtsmerkmale, um eine Kopfhaltung des Fahrers abzuschätzen. Wie hier verwendet, beschreibt der Begriff ”Kopfhaltung” einen Winkel bezüglich der relativen Orientierung des Kopfs des Fahrers in Bezug auf eine Kameraebene der Kameravorrichtung. In einer Ausführungsform umfasst die Kopfhaltung Gier- und Nickwinkel des Kopfs des Fahrers in Bezug auf die Kameraebene. In einer anderen Ausführungsform umfasst die Kopfhaltung Gier-, Nick- und Rollwinkel des Kopfs des Fahrers in Bezug auf die Kameraebene. In einer Ausführungsform kann die Kopfhaltung von –90 Grad bis 90 Grad mit 15 Hz verfolgt werden.
Das Blickrichtungsabschätzmodul 26 schätzt die Blickrichtung (und den Blickwinkel) des Fahrers in einem geometrischen Modell auf der Basis der abgeschätzten Kopfhaltung und der detektierten Orte für jede der Iris und des ersten und des zweiten Augenwinkels ab. Es ist zu erkennen, dass unter plötzlichen Änderungen der Kopfhaltung und Beleuchtung eine Fähigkeit zum Verfolgen von Gesichtsmerkmalspunkten vorübergehend verloren gehen kann. In diesem Fall kann ein Neuinitialisierungsmechanismus entwickelt werden, um die Augenwinkel und die Iris wieder aufzufinden. Während das Fahrerblickverfolgungssystem 200 hauptsächlich zum Abschätzen einer Blickrichtung in Echtzeit verwendet wird, kann das System erweitert werden, um andere Ablenkungen (z. B. Müdigkeit, Benommenheit, Reden am Telefon, Essen und Rauchen) zu klassifizieren, um Fahreremotionen zu erkennen und andere Informationen des Fahrers wieder zu sammeln (z. B. Geschlecht, Alter, Blinzelrate, zeitliche Blickrichtungsveränderung).
In einer Ausführungsform wird das Fahrerblickverfolgungssystem 200 in einem vollautomatischen Prozess kalibriert, der Informationen vom Fahrer, einschließlich Größe, innerer Augenabstand und Sitzpositionierung, verwendet, um Kopfhaltungsabschätzungen und Blickrichtungsabschätzungen, die für den Fahrer spezifisch sind, einzustellen. Diese automatische Kalibrierung wird während ersten vorbestimmten mehreren Einzelbildern im Anschluss an ein Schlüsseleinschaltereignis des Fahrzeugs durch den Fahrer durchgeführt. In einem nicht begrenzenden Beispiel umfassen die vorbestimmten mehreren Einzelbilder 50 Einzelbilder und verwenden nur die Detektion eines vorderen Gesichts des Fahrers. Der innere Augenabstand des Fahrers beschreibt einen Abstand zwischen einem Zentrum jedes Augapfels des Fahrers, so dass eine Proportion des Kopfs des Fahrers bestimmt wird. Überdies kann die Kameravorrichtung 10 kalibriert werden, um einen Abstand von der Kameravorrichtung 10 zum Fahrer abzuschätzen, so dass eine Verlagerung eines Blicks des Fahrers von der Kameravorrichtung berechnet werden kann. Danach kann die Größe des Fahrers auf der Basis der Verlagerung des Blicks bestimmt werden. Der automatische Kalibrierungsprozess erzeugt ferner eine Beeinflussung, um die abgeschätzte Kopfhaltung und den abgeschätzten Blickort des Fahrers auf der Basis der bestimmten Größe und Proportion des Kopfs des Fahrers einzustellen.
3 stellt ein beispielhaftes System zur Detektion 100 der von der Straße abgewandten Augen (EOTR), das in Verbindung mit dem Fahrerblickverfolgungssystem von 1 und 2 verwendet wird, zum Detektieren der EOTR-Bedingung gemäß der vorliegenden Offenbarung dar. Das EOTR-Detektionssystem 100 kann durch den nichtflüchtigen Prozessor 20 ausgeführt werden. Mit Bezug auf den Block 102 wird das Fahrergesicht aus Eingangsbilddaten, die von der monokularen Kameravorrichtung aufgenommen werden, detektiert. Die Gesichtsdetektion wird im Detektions- und Verfolgungsmodul 22 ausgeführt. Das Gesicht des Fahrers kann unter Verwendung eines Gesichtsdetektors der Open-Source-Computersicht (Open-CV) detektiert werden. Der Open-CV-Gesichtsdetektor kann sowohl einen Frontalgesichtsdetektor als auch einen Profilgesichtsdetektor umfassen.
Im Block 104 ist ein Bild eines detektierten Gesichts dargestellt. Unter Verwendung eines aktiven Erscheinungsbildmodells (AAM) können mehrere Gesichtsmerkmalspunkte 107–111 detektiert und vom detektierten Gesicht extrahiert und dann überwacht werden. Die Gesichtsmerkmalspunkte werden durch das Detektions- und Verfolgungsmodul extrahiert. In einem nicht begrenzenden Beispiel detektiert und extrahiert 66 das AAM Gesichtsmerkmalspunkte. In einer Ausführungsform werden die Gesichtsmerkmalspunkte aus dem detektierten Gesicht für ein erstes Einzelbild extrahiert. Für jedes aufeinander folgende Einzelbild im Anschluss an das erste Einzelbild wird ein Kandidatenbereich 105 identifiziert, der die Gesichtsmerkmalspunkte umgibt, die aus einem oder mehreren vorherigen Eingangsbildern extrahiert wurden. Die Gesichtsmerkmalspunkte können nur innerhalb des Kandidatenbereichs 105 innerhalb jedes der aufeinander folgenden Einzelbilder identifiziert werden, so dass die Verarbeitungszeit verkürzt wird, da das Gesicht des Fahrers nicht in jedem Einzelbild detektiert werden muss. In der dargestellten Ausführungsform umfassen die mehreren Gesichtsmerkmalspunkte Merkmalspunkte nahe den Augen 107 des Fahrers, Gesichtsmerkmalspunkte nahe der Nase und dem Mund 109 des Fahrers und Gesichtsmerkmalspunkte an der Kontur 111 des Gesichts des Fahrers.
Im Block 110 wird ein Ort für jedes der mehreren Augenmerkmale für den Augapfel des Fahrers auf der Basis der überwachten Gesichtsmerkmalspunkte des Blocks 104 detektiert. Insbesondere wird ein Ort für die Iris detektiert, ein Ort für den ersten Augenwinkel wird detektiert und ein Ort für den zweiten Augenwinkel wird detektiert.
Beispielhafte Ausführungsformen sind auf Gesichtsmerkmalsdetektions- und -verfolgungsroutinen gerichtet, die durch das Detektions- und Verfolgungsmodul zum Detektieren des Orts für jedes der mehreren Augenelemente in aufeinander folgenden Einzelbildern ausgeführt werden. Im Allgemeinen ist das Auffinden der Iris und der Augenwinkel eine sehr schwierige Aufgabe für Kameras mit niedriger Auflösung. Mit Bezug auf 4 ist ein beispielhafter nicht begrenzender Ablaufplan 500 zur Verwendung eines Unterstützungsvektormaschinen-Klassifikators (SVM-Klassifikators) zum Detektieren eines Orts für jedes der mehreren Augenmerkmale gemäß der vorliegenden Offenbarung dargestellt. Die dargestellte Ausführungsform wird mit Bezug auf das Detektieren des Orts der Iris beschrieben; der Ablaufplan 500 wird jedoch gleichermaßen zum Detektieren des Orts von jedem des ersten und des zweiten Augenwinkels angewendet. Der Ablaufplan 500 umfasst einen Trainingszustand 610 und einen Testzustand 614. Während des Trainingszustandes 610 bringt der Block 620 mehrere Bildfelder um eine abgetastete Referenziris auf, die aus einer Datenbank erhalten wird. Im Block 622 kann ein Histogramm von orientierten Gradienten (HOG) von den mehreren Bildfeldern auf der Basis einer Verteilung von Intensitätsgradienten oder Kantenorientierungen für Pixel innerhalb jedes Feldes erhalten werden. Der Block 624 überwacht positive Abtastwerte, die durch das HOG angegeben werden, die Bildfelder angeben, die auf der Iris zentriert sind, und überwacht negative Abtastwerte, die Bildfelder angeben, die nicht von Bereichen der Iris stammen. Folglich können ein oder mehrere der zugewiesenen Bildfelder durch den SVM-Klassifikator als um die Iris zentriert im Block 624 identifiziert werden. Während des Testzustandes 614 ist das Anwenden des SVM-Klassifikators über ein ganzes Bild sowohl ineffizient als auch fehleranfällig. Stattdessen wird ein Testbild im Block 616 überwacht. In einer Ausführungsform umfasst das Testbild ein Bild des Gesichts des Fahrers, das durch die monokulare Kameravorrichtung 10 von 1 aufgenommen wurde. Eine Vertrauensabbildung wird auf das Testbild im Block 618 angewendet. Der Block 626 wählt ein oder mehrere Kandidatenpixel, die den Irisort angeben, unter Verwendung von zwei statistischen Vorrängen auf der Basis einer Amplitude der Intensität und einer detektierten Kantenstärke aus. Diese statistischen Vorränge basieren auf der Statistik von mehreren beobachteten Personengesichtern und sind in einer Datenbank gespeichert. Im Block 628 wird ein Vertrauenspunktwert für jedes Kandidatenpixel auf der Basis einer gewichteten Summe der zwei statistischen Vorränge gemäß der folgenden Beziehung berechnet. S_confidence = α·S_intensity + (1 – α)·S_edge [1] wobei

S_confidence: den Vertrauenspunktwert darstellt,
α: eine Vertrauensvariable darstellt,
S_intensity: die Amplitude der Intensität darstellt, und
S_edge: die Kantenstärke darstellt.

Im Allgemeinen deuten Kandidatenpixel mit Amplituden der Intensität von weniger als einem Intensitätsschwellenwert auf das Iriszentrum hin und Kandidatenpixel mit detektierten Kantenstärken, die größer sind als ein Kantenstärkenschwellenwert, geben den Bereich, der das Iriszentrum umgibt, zwischen Pupille, Lederhaut und oberen und unteren Augenlidern an. Folglich geben erhöhte Vertrauenspunktwerte Pixel mit einer Intensitätsamplitude von weniger als dem Intensitätsschwellenwert und/oder detektierten Kantenstärken, die größer sind als der Kantenstärkeschwellenwert, an. Der Block 628 wählt obere Kandidatenpixelorte mit jeweils einem jeweiligen Vertrauenspunktwert aus, der größer ist als ein Vertrauenspunktwertschwellenwert. Für jeden oberen Kandidatenpixelort werden HOG-Merkmale innerhalb eines Nachbarschaftsbereichs extrahiert. Der Block 630 wendet den SVM-Klassifikator von Block 624 auf jeden der oberen Kandidatenpixelorte an, um eine Klassifikatorantwort für jeden der oberen Kandidatenpixelorte zu erzeugen. Der Ort der Iris wird von dem oberen Kandidatenort mit der höchsten Klassifikatorantwort detektiert.
5 stellt einen beispielhaften Ablaufplan 600, der in Verbindung mit dem beispielhaften Ablaufplan 500 von 5 zum Detektieren und Verfolgen eines Orts für jedes der mehreren Augenmerkmale des Augapfels verwendet wird, gemäß der vorliegenden Offenbarung dar. Die dargestellte Ausführungsform wird mit Bezug auf das Detektieren des Orts der Iris beschrieben; der Ablaufplan 600 wird jedoch gleichermaßen zum Detektieren des Orts von jedem des ersten und des zweiten Augenwinkels angewendet. Es ist zu erkennen, dass nur das Verfolgen eines einzelnen Punkts in Bilddaten aufgrund von Rauschen, Änderungen der Beleuchtung und Bildverzerrung anfällig ist.
Zum Detektieren und Verfolgen des Orts der Iris in einem entsprechenden Einzelbild identifiziert der Block 502 zuerst den Ort der Iris 501, die in einem unmittelbar vorangehenden Einzelbild 502' detektiert wird. Es ist zu erkennen, dass, wenn das entsprechende Einzelbild ein erstes Einzelbild umfasst, der Ort der Iris, der durch den Block 630 von 5 detektiert wird, verwendet wird. Der Block 504 identifiziert zusätzliche Merkmalspunkte 503, die den Ort der Iris 501 umgeben, die im unmittelbar vorangehenden Einzelbild 502' detektiert wurde. Die zusätzlichen Merkmalspunkte 503 umfassen einen Teil der Gesichtsmerkmalspunkte, die durch den Block 104 von 3 extrahiert werden. In einer nicht begrenzenden Ausführungsform umfassen die zusätzlichen Merkmalspunkte Eckenpunkte nahe dem Iriszentrum. Beispielhafte Ausführungsformen sind hier auf den Block 504 gerichtet, der ein Kanada-Lucas-Tomas-Verfahren (KLT-Verfahren) verwendet, um die zusätzlichen Merkmalspunkte 503 zwischen aufeinander folgenden Einzelbildern zu verfolgen. Es ist zu erkennen, dass, obwohl die Bewegung jedes Unterstützungsmerkmalspunkts unabhängig eine Diskrepanz aufweisen kann, jeder Unterstützungsmerkmalspunkt in einer allgemeinen Richtung des verfolgten Ziels übereinstimmt. Selbst wenn einige Punkte ungenau verfolgt werden oder verloren gehen, kann folglich die Übereinstimmung, die allen Unterstützungsmerkmalspunkten gemeinsam ist, das Rauschen, das bei den Personen dargestellt wird, aufheben. Das KLT-Verfahren zum Verfolgen, das im Block 504 angewendet wird, drückt jeden der Merkmalspunkte S und ihre Verlagerungen {(d x / i , d y / i )} |s| / i=1 im Block 506 aus, wobei die Abschätzung der Verlagerung des Iriszentrums (d x / i , d y / i ) wie folgt ausgedrückt werden kann. d x / e = 1 / |s|Σ |s| / t-1d x / i, d y / e = 1 / |s|Σ |s| / t-1d y / i [2]
Der abgeschätzte anfängliche Ort der Iris 507 und die verfolgten mehreren Merkmalspunkte 505 sind im entsprechenden (z. B. aktuellen) Einzelbild 506' dargestellt. Der abgeschätzte Ort der Iris wird als vorheriger Ort (z. B. Block 502 und unmittelbar vorangehendes Einzelbild 502') um (d x / i , d y / i ) verschoben berechnet. Folglich wird eine Ortsänderung für jeden der zusätzlichen Gesichtsmerkmalspunkte vom unmittelbar vorangehenden Einzelbild 502' bis zum entsprechenden Einzelbild 506' verfolgt. In Anbetracht des abgeschätzten anfänglichen Orts der Iris 507 (x r / i , y r / i ) im entsprechenden Einzelbild 506' wendet der Block 508 ein Fenster 511 um den abgeschätzten anfänglichen Ort der Iris 507 (x r / i , y r / i ) an. Innerhalb des Bereichs, der durch das Fenster 511 definiert ist, das im entsprechenden Einzelbild 506' dargestellt ist, berechnet der Block 508 den Vertrauenspunktwert für jedes von mehreren Pixeln, die darin angeordnet sind und den abgeschätzten anfänglichen Ort der Iris 507 umgeben. Es ist zu erkennen, dass der Vertrauenspunktwert unter Verwendung von Gleichung [1] berechnet wird, wie vorstehend mit Bezug auf den Block 628 von 5 beschrieben. Wie mit Bezug auf den Block 628 von 5 beschrieben, wählt der Block 508 ferner obere Kandidatenpixel innerhalb des durch das Fenster 511 definierten Bereichs aus, wobei jedes obere Kandidatenpixel einen jeweiligen Vertrauenspunktwert aufweist, der größer ist als der Vertrauenspunktwertschwellenwert. Der Block 508 vergleicht ferner die ausgewählten oberen Kandidatenpixel mit dem trainierten SVM-Klassifikator des Blocks 624 von 5, um die Klassifikatorantwort für jedes der oberen Kandidatenpixel zu erzeugen. Im Block 510 wird der Ort der Iris 513 innerhalb des entsprechenden Einzelbildes 506' auf der Basis des oberen Kandidatenpixels mit der höchsten Klassifikatorantwort detektiert. Häufig stehen Pixel von Haar- und Augenbrauenbereichen an hoher Stelle in der Liste der Klassifikatorantworten aufgrund ihrer niedrigen Amplituden der Intensität. Statistische Vorränge geben jedoch an, dass Haar- und Augenbrauenbereiche im Allgemeinen geringe detektierte Kantenantworten aufweisen. In einer Ausführungsform umfassen die mehreren Pixel innerhalb des durch das Fenster 511 definierten Bereichs, der den abgeschätzten anfänglichen Ort der Iris 507 umgibt, nur Pixel mit detektierten Kantenantworten, die einen Schwellenwert für schwache Kanten übersteigen. Mit anderen Worten, Pixel, die Haar- und Augenbrauenbereiche angeben, werden aus der Berücksichtigung für die Auswahl von oberen Kandidatenpixeln entfernt.
Die Ablaufpläne von 4 und 5 werden gleichermaßen zum Detektieren der jeweiligen Orte für jedes der anderen Augenelemente angewendet, einschließlich des ersten und des zweiten Augenwinkels. Andere Ausführungsformen können in Erwägung gezogen werden, wobei der Ort des Mundes zusätzlich zum Ort für ein oder mehrere der mehreren Augenelemente detektiert wird.
Es ist zu erkennen, dass existierende Verfahren zur Gesichtsmerkmalsdetektion und -verfolgung im Allgemeinen in eine der folgenden Kategorien mit jeweils entsprechenden Nachteilen fallen. Aktive Erscheinungsbildmodelle (AAMs) sind beispielsweise in Echtzeit schwierig zu implementieren. Außerdem ist der Vorlagenvergleich unter plötzlichen Änderungen der Kopfhaltung und Beleuchtung nicht zuverlässig. Überdies sind Verfahren mit nur Detektion mäßig schnell und zuverlässig, aber können durch Vorsehen eines interessierenden Bereichs (z. B. Fenster 511) verbessert werden, um den Suchbereich einzuschränken.
Mit Rückbezug auf 3 schätzt der Block 112 die Kopfhaltung des Fahrers innerhalb der Bildeingangsdaten auf der Basis der überwachten Gesichtsmerkmalspunkte unter Verwendung des Kopfhaltungsabschätzmoduls 24 von 2 ab. Selbstverständlich werden die abgeschätzte Kopfhaltung und die Orte der mehreren Augenelemente im EOTR-Detektionssystem 100 separat behandelt, bevor sie für die endgültige Blickrichtungsabschätzung des Blocks 116 kombiniert werden. Es ist zu erkennen, dass die Orte für die mehreren Augenelemente, die im Block 110 detektiert werden, verwendet werden können, um einen abgeschätzten Blickwinkel zu bestimmen. Die Kopfhaltungsabschätzung ist wesentlich, um die Augenblickrichtung des Fahrers zu bestimmen, wobei die Blickrichtung eine Kombination der Kopfhaltung und des Augenblickwinkels ist.
Existierende Verfahren für die kontinuierliche Kopfhaltungsabschätzung können in vier Hauptkategorien mit jeweils entsprechenden Nachteilen gruppiert werden: Erscheinungsbildvorlageverfahren, Verfahren auf Klassifikationsbasis, Verfahren auf Regressionsbasis und Verfahren auf Einbettungsbasis. Ein Nachteil, der mit Erscheinungsbildvorlageverfahren verbunden ist, besteht darin, dass die Vorlagen gewöhnlich gegen Rauschen, einschließlich Ausdruck und/oder Beleuchtung, empfindlich sind und typischerweise gleichmäßig abgetastete Trainingsdaten erfordern, um genaue Ergebnisse zu erreichen. Ein Nachteil, der mit Verfahren auf Klassifikationsbasis verbunden ist, besteht darin, dass eine ungleichmäßige Abtastung in den Trainingsdaten dazu führt, dass nur diskrete Kopfhaltungsabschätzungen zurückgegeben werden. Die Nachteile von Verfahren auf Regressionsbasis bestehen darin, dass sie unter unregelmäßig verteilten Trainingsdaten leiden, für eine Überanpassung in Gegenwart von begrenzten Trainingsabtastwerten anfällig sind und gegen Rauschen in den Trainings- oder Testbildern nicht robust sind. Ein Nachteil von Verfahren auf Einbettungsbasis besteht darin, dass sie dem Wesen nach unüberwacht sind und keine Merkmale extrahieren, die Klasseninformationen beinhalten.
Die existierenden Verfahren auf Regressionsbasis leiten die Kopfhaltung (Gier- und Nickwinkel) direkt von Bildmerkmalen ab und sind viel robuster als die anderen existierenden Verfahren. Verfahren auf Regressionsbasis können Hauptkomponentenregression (PCR) und Ridge-Regression (RR) umfassen. PCRPCR kann Dimensionen entfernen, die maximal mit den Winkeln korreliert sind, und RR beeinflusst typischerweise die Lösung in Richtung kleiner Winkel. Die Parameter für die Regression in jeder dieser Methoden werden jedoch als Mittelwerte über Trainingsabtastwerte berechnet, was zu einer schlechten Darstellung der Winkel führt, die unterabgetastet sind. Folglich erzeugen diese Verfahren auf Regressionsbasis (lineare RR und PCR) gewöhnlich größere Fehler in den unterabgetasteten Winkelbereichen, wohingegen k-nearest Neighbor (KNN) stetig Regressionsverfahren aufgrund der Winkel (Kopfhaltung), die als lokal gewichtete Kombinationen von benachbarten Abtastwerten abgeschätzt werden, übertrifft, was weniger empfindlich ist gegen den verteilten Trainingssatz. Obwohl KNN eine bessere Leistung erzeugen kann als Verfahren auf Regressionsbasis, liegt ein Hauptnachteil von KNN in seiner Rechenkomplexität aufgrund dessen, dass KNN erfordert, dass eine Ähnlichkeit zwischen dem Testabtastwert und allen Trainingsdaten berechnet wird. KNN ist für die hier beschriebenen Ausführungsformen aufgrund der Anforderung der Echtzeitimplementierung zum Abschätzen der Kopfhaltung nicht geeignet.
Unter Milderung der Nachteile der vorstehend beschriebenen existierenden Verfahren zum Abschätzen der Kopfhaltung führt der Block 112 von 3 ein überwachtes lokales Unterraumlernen (SL²) aus, das lokale lineare Modelle aus einem spärlichen und ungleichmäßig beabstandeten abgetasteten Trainingssatz aufbaut. SL² kann als Lernen einer Mischung von lokalen Tangentenunterräumen, das gegenüber unterabgetasteten Bereichen robust ist und aufgrund seiner Regularisierungseigenschaften gegenüber einer Überanpassung robust ist, beschrieben werden.
6 stellt eine beispielhafte Ausführungsform zum Trainieren von Unterräumen unter Verwendung von SL², das durch den Block 112 von 3 ausgeführt wird, gemäß der vorliegenden Offenbarung dar. Ein Ausgangsraum 702 umfasst mehrere gleichmäßig beabstandete Gierwinkel, die innerhalb eines Bereichs von Gierwinkeln von –90 Grad bis 90 Grad erzeugt werden. Der Ausgangsraum 701 umfasst mehrere Tangentenunterräume 710, 712, 714, 716 und 718, die jeweils jeweiligen der gleichmäßig beabstandeten Haltungswinkel des Ausgangsraums 702 zugeordnet sind. Jeder Unterraum wird durch einen jeweiligen Mittelwert, der durch schattierte Kreise 711, 713, 715, 717 und 719 angegeben ist, und eine jeweilige Basis parametrisiert. Wie hier verwendet, bezieht sich der Begriff ”Basis” auf einen Unterbereich von Gierwinkeln innerhalb des gleichmäßig beabstandeten Bereichs von Gierwinkeln des Ausgangsraums 702. In der dargestellten Ausführungsform werden mehrere Trainingsbilder, die durch jeweilige Quadrate 750, 751, 752, 754, 755 und 756 jeweils mit einer unterschiedlichen Kopfhaltung angegeben sind, die einem jeweiligen trainierten Gierwinkel zugeordnet ist, im Eingangsraum 701 abgetastet. Entsprechende Quadrate mit gleichen Ziffern werden in den Ausgangsraum 702 projiziert. Selbstverständlich sind die Trainingsbilddaten von 6 klein, und tasten daher nicht gleichmäßig den Bereich von Gierwinkeln zum Abschätzen der Kopfhaltung auf der Basis der überwachten Gesichtsmerkmalspunkte ab.
In der dargestellten Ausführungsform von 6 sind die trainierten Gierwinkel, die jeweiligen der trainierten Bilder einer unterschiedlichen Kopfhaltung entsprechen, ungleichmäßig innerhalb des Bereichs von Gierwinkeln im Ausgangsraum 702 beabstandet. Bildmerkmale X, die die Kopfhaltung angeben, d. h. Gesichtsmerkmalspunkte, innerhalb jedes trainierten Bildes sind häufig hochdimensional und stehen typischerweise nicht-linear mit dem Bereich von Gierwinkeln Θ im Ausgangsraum 702 in Beziehung. Die Bildmerkmale X, die den jeweiligen trainierten Gierwinkel in jedem trainierten Bild angeben, werden mit m lokalen Unterräumen modelliert, die durch den Bereich von Winkeln O parametrisiert werden, wie folgt. X = f(Θ) ≈ f(〈c₁, G₁, θ ^₁〉, ..., 〈c_m, G_m, θ ^_m〉, Θ) [3] wobei 〈c_i, G_i, θ ^_i〉 sich auf den i-ten lokalen Tangentenunterraum bezieht,
c_i den Mittelwert jedes Unterraums darstellt,
G_i die Basis jedes Unterraums darstellt, und
θ ^_i einen Satz von gleichmäßig abgetasteten Gierwinkeln darstellt.
Unter Verwendung der Gleichung [3] werden die mehreren Tangentenunterräume 710, 712, 714, 716 und 718 auf der Basis der bestimmten Winkel der Taylor-Erweiterung erster Ordnung im Mittelwert/Zentrum c_i des i-ten Unterraums erzeugt (es sind m lokale Unterräume vorhanden). Folglich können jedes trainierte Bild und jeder zugehörige trainierte Gierwinkel auf der Basis der erzeugten mehreren gleichmäßig beabstandeten Gierwinkel und der erzeugten mehreren Unterräume 710, 712, 714, 716 und 718 rekonstruiert werden. Jedes trainierte Bild umfasst Trainingsdatenpunkte x_p, θ_p, die durch einen der Unterräume rekonstruiert werden, wobei sich x_p auf die Position im Eingangsraum 701 bezieht und sich θ_p auf den zugehörigen jeweiligen Gierwinkel im Ausgangsraum 702 bezieht. Der Unterraum, aus dem x_p rekonstruiert wird, gehört mathematisch zur Umgebung der Winkel nahe θ_p. Anschließend wird x_p wie folgt ausgedrückt. x_p ≈ c_i + G_iΔθ_pi [4] wobei sich Δθ_pi auf θ_p – θ ^_i bezieht.
SL² minimiert weiter eine Fehlerfunktion, die Zentren jedes lokalen Unterraums c_iS und der Basis G_iS zugeordnet ist, wie folgt.
wobei τ einen Kandidatenunterraum darstellt,
λ einen Parameter darstellt, der die zwei Terme ins Gleichgewicht bringt, und
w 2 / pi einen gewichteten Parameter darstellt.
Die Gleichung [5] umfasst einen ersten Term jedes Trainingsabtastwerts, der unabhängig unter Verwendung von einem der lokalen Unterräume angenähert wird, und einen zweiten Regularisierungsterm, der erzwingt, dass der Mittelwert jedes Unterraums durch die benachbarten Unterräume rekonstruiert werden soll. Der erste Term beschreibt, dass die lokalen Unterräume durch die Winkel ausgewählt werden, die nahe dem zugehörigen jeweiligen Gierwinkel θ_p liegen, während der zweite Term sicherstellt, dass die Unterraumparameter sanft variieren und aus spärlichen ungleichmäßigen Bilddaten abgeschätzt werden können. Der gewichtete Parameter w 2 / pi gewichtet den Beitrag jedes benachbarten Unterraums zur Datenabtastwertrekonstruktion und wird folgendermaßen ausgedrückt.
wobei ψ(θp, θ ^_i) irgendeine positivwertige Funktion darstellt, die umgekehrt proportional zum Abstand zwischen trainierten und gleichmäßig abgetasteten Gierwinkeln ist.
Unter Verwendung von Gleichung [6] kann der Block 112 die Gleichung [5] effizient durch ein abgewechseltes Verfahren kleinster Quadrate lösen.
7 stellt eine beispielhafte Ausführungsform der durch den Block 112 von 3 ausgeführten Kopfhaltungsabschätzung unter Verwendung der trainierten Unterräume von 6 gemäß der vorliegenden Offenbarung dar. Gleiche Ziffern in 7 beziehen sich auf gleiche Merkmale in 6. 7 stellt den Eingangsraum 801 und den Ausgangsraum 802 dar. Innerhalb des Eingangsraums 801 identifiziert der Block 112 zwei Kandidatenunterräume 816 und 818 aus den mehreren Unterräumen 810, 812, 814, 816 und 818 auf der Basis eines neuen Testdatenpunkts x_t 850, der im Eingangsraum 801 dargestellt ist. Insbesondere gibt der neue Testdatenpunkt x_t 850 einen oder mehrere der überwachten Gesichtsmerkmalspunkte innerhalb eines entsprechenden Einzelbildes an, der durch die Kameravorrichtung 10 von 1 aufgenommen wird. Die zwei Kandidatenunterräume 816 und 818 sind zum neuen Testdatenpunkt x_t 850 benachbarte Unterräume und werden für Effizienzzwecke in zwei Schritten gefunden, einschließlich: (1) Auffinden der zwei Kandidatenunterräume (z. B. 816 und 818), deren Zentren/Mittelwerte (z. B. 817 und 819) am nächsten zu x_t 850 im Eingangsraum 801 liegen; und (2) Auswählen des benachbarten Unterraums aus den zwei Kandidaten mit einem niedrigsten Rekonstruktionsfehler des neuen Testdatenpunkts x_t 850. Der niedrigste Rekonstruktionsfehler wird unter Verwendung der Gleichungen [5] und [6] berechnet, wobei das Gewicht von w 2 / ti von jedem der Kandidatenunterräume 814 und 816, die zu x_t 850 beitragen, bestimmt wird und θ_i der Gierwinkel ist, der zum Zentrum des i-ten Unterraums gehört. In der dargestellten Ausführungsform entspricht der i-te Unterraum dem benachbarten Unterraum 816. Ein optimaler Gierwinkel θ_t des entsprechenden Bildes kann dann durch Minimieren des Rekonstruktionsfehlers für x_t 850 berechnet werden, wobei Gleichung [5] folgendermaßen umgeordnet wird.
Es ist zu erkennen, dass der optimale Gierwinkel θ_t der abgeschätzten Kopfhaltung auf der Basis des gleichmäßig beabstandeten Gierwinkels des eingegebenen Ausgangsraums 802 entspricht, der dem ausgewählten benachbarten Unterraum 816 innerhalb des Eingangsraums 801 zugeordnet ist. Die durch SL² bereitgestellte Methodologie schafft verringerte Aufwendungen in Bezug auf die Berechnungen, da nur der optimale Gierwinkel θ_t berechnet werden muss, wohingegen die vorstehend beschriebenen vorstehend erwähnten existierenden Verfahren alle Trainingspunkte speichern müssen, und Ähnlichkeiten zwischen einem Testdatenpunkt und dem Trainingssatz berechnen. Die Gleichung [7] weist beispielsweise eine Rechenkomplexität von O(md + 3dk) auf, wobei k die Anzahl von benachbarten Unterräumen ist, m die Anzahl von Unterräumen ist und d die Dimension von HOG-Merkmalen ist. Existierende Methodologien wie z. B. KNN weisen eine Rechenkomplexität von etwa O(3n + nd) auf, wobei n die Anzahl von Trainingsabtastwerten ist und typischerweise n weitaus größer ist als m und k von SL².
In einigen Ausführungsformen kann die abgeschätzte Kopfhaltung des Blocks 112 ferner das Abschätzen eines Gierwinkels unter Verwendung eines Detektionsbereichs, der durch den Profilgesichtsdetektor gegeben ist, und unter Verwendung des abgeschätzten Gierwinkels umfassen, um den detektierten Gesichtsort unter Verwendung einer Beziehung zu korrigieren, die beim Trainieren gelernt wird, um schließlich die Kopfhaltung unter Verwendung eines berichtigten Gesichtsorts abzuschätzen. Vor dem Extrahieren und Überwachen der Gesichtsmerkmalspunkte des Fahrers im Block 104 kann der Detektionsbereich innerhalb der Bildeingangsdaten vorgesehen werden, um einen Gesichtsort des Fahrers zu umgeben, der durch den Profilgesichtsdetektor im Block 102 von 3 detektiert wird. Unter Verwendung von gespeicherten Daten von bekannten Gesichtszentren in Bezug auf den Gierwinkel kann der Gierwinkel des detektierten Gesichtsorts des Fahrers innerhalb des Detektionsbereichs abgeschätzt werden, um einen berichtigten Gesichtsort zu erzeugen. Dieser berichtigte Gesichtsort kann verwendet werden, um die Kopfhaltung des Fahrers abzuschätzen, wie mit Bezug auf die Gleichungen [3]–[7] des Blocks 112 beschrieben.
Mit Bezug auf den Block 114 des EOTR-Detektionssystems 100 von 3 werden die Kopfhaltung, die im Block 112 abgeschätzt wird, und die Orte von jeder der Iris und des ersten und des zweiten Augenwinkels, die im Block 110 detektiert und verfolgt werden, unter Verwendung irgendeines bekannten gewünschten Verfahrens gefiltert und geglättet. Anschließend schätzt der Block 116 die Fahrerblickrichtung ab. Ebenso wird der Fahrerblickwinkel durch den Block 116 abgeschätzt.
8 stellt ein geometrisches Modell des Fahrerblickverfolgungssystems 200 von 2 in Bezug auf detektierte und verfolgte Orte für jedes der mehreren Augenmerkmale, das durch den Block 110 von 3 ausgeführt wird, und die Kopfhaltungsabschätzung, die vom Block 112 von 3 ausgeführt wird, gemäß der vorliegenden Offenbarung dar. Das geometrische Modell von 8 nimmt an, dass der Augapfel 900 kugelförmig ist und dass der Ort der Augenwinkel 921 und 922 genau abgeschätzt wurde. Das geometrische Modell umfasst den Augapfel 900, eine Gesichtsebene, eine Kameraebene 901 und eine Kameravorrichtung 10 von 1. Der detektierte und verfolgte Ort des ersten Augenwinkels 922 und des zweiten Augenwinkels 921 ist entlang der Gesichtsebene dargestellt. Der detektierte und verfolgte Ort der Iris 950 ist unter der Gesichtsebene dargestellt. Der abgeschätzte Kopfhaltungswinkel ist durch den Winkel 960 in Bezug auf die Gesichtsebene und die Kameraebene 901 dargestellt. Der Punkt 930 stellt einen Projektionspunkt von einem Zentrum des Augapfels auf die Gesichtsebene 902 dar und die gestrichelte Linie 932 stellt einen Radius des Augapfels dar, die beide durch Berechnungen abgeschätzt werden, die in den nachstehenden Gleichungen [8]–][10] ausgedrückt sind. Die gestrichelte vertikale Linie 934 stellt einen Projektionsabstand zwischen dem Zentrum des Augapfels 930 und der Gesichtsebene dar. Auf der Basis von erhaltenen anatomischen Einschränkungskoeffizienten in Bezug auf den abgeschätzten Kopfhaltungswinkel 960 können ein Blickwinkel 980 und eine entsprechende Blickrichtung 990 durch den Block 116 durch Berechnungen, die in den nachstehenden Gleichungen [11]–[13] ausgedrückt sind, auf der Basis der detektierten und verfolgten Orte der Iris 950, des ersten Augenwinkels 922, des zweiten Augenwinkels 921, des Zentrums 930 des Augapfels 900 und des Radius 932 des Augapfels 900 abgeschätzt werden.
9-1 und 9-2 stellen anatomische Einschränkungen des geometrischen Modells von 8 zum Abschätzen der Blickrichtung des Fahrers gemäß der vorliegenden Offenbarung dar. Gleiche Ziffern von 9-1 und 9-2 beziehen sich auf gleiche Merkmale im geometrischen Modell von 8. 9-1 stellt eine Ansicht des Augapfels 1000 von oben nach unten zum Berechnen von Versätzen zum Zentrum 1030 des Augapfels unter Verwendung der abgeschätzten Kopfhaltung 1060 dar. 9-2 stellt den Augapfel 1000 von oben nach unten zum Abschätzen der Blickrichtung 1090 und des Blickwinkels 1080 dar. Der Punkt 1034 stellt einen Mittelpunkt ”m” der Augenwinkel 1022 und 1021 zum Punkt 1032 dar, der der Projektionspunkt des Augapfelzentrums 1030 auf die Gesichtsebene ist. Die Linie 1004 stellt einen skalierten Projektionsabstand zwischen dem Zentrum des Augapfels 930 und der Gesichtsebene dar. Die Linie 1006 stellt eine Abweichung T vom Mittelpunkt m 1034 zum Punkt 1032 dar. Es ist zu erkennen, dass 9-1 und 9-2 ein zweidimensionales Bild einer Ansicht des Augapfels von oben nach unten darstellen. Die Bildebene 1001 ist ferner mit dem Projektionspunkt 1035 vom Mittelpunkt m 1034, Projektionspunkt 1031 vom Zentrum 1030 und Projektionspunkt 1033 vom Punkt n 1032, der darauf projiziert ist, dargestellt. Die Kopfhaltung oder Richtung der Kopfhaltung 1070 ist in Bezug auf den Kopfhaltungswinkel 1060 in 9-1 dargestellt. 9-2 stellt ferner den Projektionspunkt 1051 auf die Bildebene 1001 von der Iris 1050 dar.
Der Mittelpunkt m 1034 zwischen den Augenwinkeln 1021 und 1022 wird folgendermaßen ausgedrückt.
wobei e1 der erste Augenwinkel 1022 ist, und
e2 der zweite Augenwinkel 1021 ist.
Ein Maßstab des Gesichts des Fahrers muss durch einen Abstand zwischen den Augenwinkeln 1021 und 1022 auf der Basis des Kopfhaltungswinkels Φ 1060 berechnet werden. Es ist zu erkennen, dass ein minimaler Wert von S in einem vollständig frontalen Gesicht erreicht wird, wobei der Kopfhaltungswinkel Φ gleich null ist. Ferner ist zu erkennen, dass der Projektionsabstand zwischen den Augenwinkeln innerhalb des entsprechenden Bildes mit zunehmender Kopfdrehung abnimmt. Der Maßstab S des Gesichts wird folgendermaßen ausgedrückt.
Das Zentrum des Augapfels 1030, O, wird unter Verwendung des Mittelpunkts m, der in Gleichung [8] berechnet wird, auf der Basis des Kopfhaltungswinkels (Φ_x, Φ_y) wie folgt berechnet.
wobei T_x und T_y eine Abweichung vom Mittelpunkt m 1034 zum Punkt 1032 darstellen, und
SL den skalierten Projektionsabstand 1004 zwischen dem Zentrum des Augapfels 930 und der Gesichtsebene darstellt.
Der Radius des Augapfels R 932 wird durch Multiplizieren eines normierten Radius R₀ mit dem Maßstab des Gesichts S erhalten, der in Gleichung [9] berechnet wird.
Auf der Basis der erhaltenen anatomischen Einschränkungen, die in den obigen Gleichungen [8]–[10] bestimmt werden, wird die abgeschätzte Blickrichtung 1090 folgendermaßen ausgedrückt.
wobei θ_x und θ_y den Blickwinkel 1080 darstellen.
Es ist zu erkennen, dass die Blickwinkel θ_x und θ_y einen Gierwinkel bzw. einen Nickwinkel in Bezug auf die Bildebene angeben. Die Blickrichtung wird auf der Basis sowohl des Gier- als auch des Nickwinkels bestimmt. In den Gleichungen [10] und [11] hängen der Kopfhaltungswinkel und der Augenblickwinkel in Weltkoordinaten von den anatomischen Einschränkungen R₀, L, T_x und T_y ab. In einer Ausführungsform werden die anatomischen Einschränkungen R₀, L, T_x und T_y offline in Anbetracht von Augenblickwinkeln θ_x und θ_y berechnet. Folglich werden die anatomischen Einschränkungen R₀, L, T_x und T_y folgendermaßen ausgedrückt.
Beispielhafte Ausführungsformen sammeln einen Satz von Trainingsabtastwerten mit einem im Labor kalibrierten Blickwinkel (θ_x, θ_y) und Kopfhaltungswinkel (ϕ_x, ϕ_y). Jeder Trainingsabtastwert kann die Form von entweder (θ_x, θ_y, ϕ_x, ϕ_y) = (α i / x , 0, β i / x , 0) oder (θ_x, θ_y, ϕ_x, ϕ_y) = (0, α j / y , 0, β j / y ) annehmen. Unter Verwendung von N_x Bildern der ersten Form und N_y Bildern der zweiten Form können die anatomischen Einschränkungen R₀, L, T_x und T_y folgendermaßen ausgedrückt werden.
Die Lösung kleinster Quadrate von Gleichung [13] ergibt die anatomischen Einschränkungskoeffizienten R₀, L, T_x und T_y.
Mit Bezug auf den Block 118 des EOTR-Detektionssystems 300 von 3 wird eine Feststellung hinsichtlich dessen, ob die EOTR-Bedingung existiert oder nicht, auf der Basis der durch Gleichung [11] im Block 116 bestimmten abgeschätzten Blickrichtung, einer mittleren Verschiebung zum Detektieren, dass das Gesicht des Fahrers über 45 Grad Gierung vorhanden ist, des Blocks 106, und ob eine Detektion durchgeführt wurde oder nicht, dass der Fahrer eine Sonnenbrille trägt, des Blocks 118 durchgeführt. Es ist zu erkennen, dass andere Verfahren zum Abschätzen der Fahrerblickrichtung implementiert werden können, falls tatsächlich der Block 108 bestimmt, dass der Fahrer eine Brille oder Sonnenbrille trägt.
Vorstehend mit Bezug auf die beispielhafte nicht begrenzende Ansicht des Fahrers von 1 beschrieben, kann ein Blickort auf der Basis der abgeschätzten Blickrichtung identifiziert werden, wobei der Blickort einen Punkt beschreibt, an dem die abgeschätzte Blickrichtung eine Windschutzscheibenebene des Fahrzeugs schneidet. In Bezug auf 1 dargestellt kann eine vorbestimmte Straßenebene 50 auf die Windschutzscheibenebene überlagert werden. Wenn der Blickort des Fahrers außerhalb der Straßenebene liegt, existiert die EOTR-Bedingung und geeignete Maßnahmen können getroffen werden, um die Aufmerksamkeit des Fahrers wieder zu erlangen.
10 stellt ein geometrisches Modell zum Bestimmen eines Nickwinkels, der eine Höhe eines Kopfs eines Fahrers in Bezug auf die monokulare Kameravorrichtung 10 von 1 beschreibt, gemäß der vorliegenden Offenbarung dar. Das geometrische Modell umfasst eine Augenposition 1110 und die monokulare Kameravorrichtung 10 von 1, die auf einer Lenkradsäule angebracht ist. Ein Weltkoordinatensystem ist mit einer z-Achse 1101 und einer y-Achse 1102 dargestellt. Es ist zu erkennen, dass die Kameravorrichtung 10 in Bezug auf das Weltkoordinatensystem geneigt ist, so dass Bilddaten des Gesichts des Fahrers aufgenommen werden können. Die Neigung der Kamera ist als Winkel 1130 ausgedrückt. Folglich ist ein Kamerakoordinatensystem mit einer z'-Achse 1101' und einer y'-Achse 1102' auf der Basis der Drehung des Weltkoordinatensystems um den Neigungswinkel 1130 der Kamera dargestellt. Die Linie 1112 stellt eine Projektion vom Kopf des Fahrers in Bezug auf das Kamerakoordinatensystem dar und die Linie 1190 stellt die Blickrichtung des Fahrers dar. Der Nickwinkel 1134 hängt von der Höhe des Kopfs des Fahrers in Bezug auf die Kameravorrichtung 10 ab, während der Winkel 1136 dazu unveränderlich ist. Folglich erfordert die Abschätzung des Blicks unveränderlich zur Kopfposition des Fahrers eine Berechnung des Nickwinkels 1136. Der Winkel 1136 wird auf der Basis des Subtrahierens des Nickwinkels 1135 vom Nickwinkel 1132 berechnet. Ein Blickgierwinkel kann ebenso für die andere Dimension des Weltkoordinatensystems durch Projizieren einer x-Achse, die in Bezug auf die y- und z-Achse senkrecht ist, und des Kamerakoordinatensystems durch Projizieren einer x-Achse, die zur y'- und z'-Achse senkrecht ist, abgeschätzt werden. Unter Verwendung des Nickwinkels 1134 und des ähnlich bestimmten Gierwinkels für die andere Dimension, die dem Blickgierwinkel zugeordnet ist, kann ein 3-dimensionaler Vektor der Blickrichtung des Fahrers wie folgt ausgedrückt werden.
wobei ϕ_pitch den Nickwinkel 1136 darstellt,
ϕ_yaw den Gierwinkel darstellt, der der anderen Dimension entspricht, die dem Gierwinkel zugeordnet ist.
Unter Verwendung des 3-dimensionalen Blickvektors U _gaze kann die dreidimensionale Blickrichtung, die durch die Linie 1190 angegeben ist, unter Verwendung einer dreidimensionalen Parameterlinie abgeschätzt werden. Der dreidimensionale Fahrerblickort beschreibt den Punkt, an dem die abgeschätzte Blickrichtung eine Windschutzscheibenebene des Fahrzeugs schneidet.
Die Offenbarung hat bestimmte bevorzugte Ausführungsformen und Modifikationen daran beschrieben. Weitere Modifikationen und Änderungen können anderen beim Lesen und Verstehen der Patentbeschreibung in den Sinn kommen. Daher ist vorgesehen, dass die Offenbarung nicht auf die spezielle(n) Ausführungsform(en) begrenzt ist, die als beste Art, die zur Ausführung dieser Offenbarung in Erwägung gezogen wird, offenbart ist (sind), sondern dass die Offenbarung alle Ausführungsformen umfasst, die in den Schutzbereich der beigefügten Ansprüche fallen.

Claims

Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen auf der Basis einer abgeschätzten Blickrichtung eines Fahrers eines Fahrzeugs, das umfasst: Überwachen von Gesichtsmerkmalspunkten des Fahrers innerhalb Bildeingangsdaten, die durch eine fahrzeuginterne Kameravorrichtung aufgenommen werden; Detektieren eines Orts für jedes von mehreren Augenmerkmalen für einen Augapfel des Fahrers auf der Basis der überwachten Gesichtsmerkmalspunkte; Abschätzen einer Kopfhaltung des Fahrers auf der Basis der überwachten Gesichtsmerkmalspunkte; und Abschätzen der Blickrichtung des Fahrers auf der Basis der detektierten Ortsinformationen für jedes der mehreren Augenmerkmale und der abgeschätzten Kopfhaltung.
Verfahren nach Anspruch 1, wobei die überwachten Gesichtsmerkmalspunkte gemäß den Schritten extrahiert werden, die umfassen: für ein erstes Einzelbild Detektieren eines Gesichts des Fahrers und Extrahieren der Gesichtsmerkmalspunkte aus dem detektierten Gesicht; für jedes nachfolgende Einzelbild im Anschluss an das erste Einzelbild: Identifizieren eines Kandidatenbereichs, der die Gesichtsmerkmalspunkte umgibt, die von einem oder mehreren vorherigen Eingangseinzelbildern extrahiert wurden; und Identifizieren der Gesichtsmerkmalspunkte nur innerhalb des Kandidatenbereichs.
Verfahren nach Anspruch 1, wobei das Detektieren des Orts für jedes der mehreren Augenmerkmale für den Augapfel des Fahrers umfasst: Detektieren eines Orts einer Iris; Detektieren eines Orts für einen ersten Augenwinkel, der einen inneren Augenwinkel nahe einer Nasenwurzel angibt; und Detektieren eines Orts für einen zweiten Augenwinkel, der einen äußeren Augenwinkel angibt.
Verfahren nach Anspruch 3, wobei das Detektieren des Orts für jedes der mehreren Augenmerkmale für den Augapfel des Fahrers ferner umfasst: für jedes entsprechende Augenmerkmal der mehreren Augenmerkmale Trainieren eines Klassifikators, das umfasst: Zuweisen von Bildfeldern um ein Referenzaugenmerkmal in Bezug auf das entsprechende Augenmerkmal, das von einer Datenbank erhalten wird; und Identifizieren von einem oder mehreren der zugewiesenen Bildfelder, die um das Referenzaugenmerkmal zentriert sind.
Verfahren nach Anspruch 1, wobei das Abschätzen der Kopfhaltung des Fahrers auf der Basis der überwachten Gesichtsmerkmalspunkte umfasst: in einem Ausgangsraum Erzeugen von mehreren gleichmäßig beabstandeten Gierwinkeln innerhalb eines Bereichs von Gierwinkeln; in einem Eingangsraum: Erzeugen von mehreren Unterräumen, die jeweils entsprechenden der gleichmäßig beabstandeten Gierwinkel zugeordnet sind und durch einen jeweiligen Mittelwert und eine Basis parametrisiert sind, Identifizieren von zwei Kandidatenunterräumen unter den mehreren Unterräumen, die am nächsten zu den überwachten Gesichtsmerkmalspunkten liegen, und Auswählen eines benachbarten Unterraums aus den zwei Kandidatenunterräumen mit einem niedrigsten Rekonstruktionsfehler, der den überwachten Gesichtsmerkmalspunkten zugeordnet ist; und Abschätzen der Kopfhaltung des Fahrers auf der Basis des gleichmäßig beabstandeten Gierwinkels im Ausgangsraum, der dem ausgewählten benachbarten Unterraum im Eingangsraum zugeordnet ist.
Verfahren nach Anspruch 5, wobei das Abschätzen der Kopfhaltung des Fahrers ferner umfasst: Abtasten von mehreren Trainingsbildern im Eingangsraum, die jeweils einem jeweiligen trainierten Gierwinkel zugeordnet sind, wobei die trainierten Gierwinkel ungleichmäßig innerhalb des Bereichs von Winkeln im Ausgangsraum beabstandet sind; Rekonstruieren jedes trainierten Bildes und jedes zugehörigen trainierten Gierwinkels auf der Basis der erzeugten mehreren gleichmäßig beabstandeten Gierwinkel und der erzeugten mehreren Unterräume; und Abschätzen der Kopfhaltung des Fahrers auf der Basis von einem der rekonstruierten Trainingsbilder und des diesem zugeordneten trainierten Gierwinkels.
Verfahren nach Anspruch 1, wobei das Abschätzen der Blickrichtung des Fahrers auf der Basis der detektierten Ortsinformationen für jedes der mehreren Augenmerkmale und der abgeschätzten Kopfhaltung umfasst: Detektieren eines Orts für jeden des ersten und des zweiten Augenwinkels des Augapfels; Berechnen eines Mittelpunkts zwischen dem detektierten Ort für jeden des ersten und des zweiten Augenwinkels des Augapfels; Berechnen eines Zentrums des Augapfels unter Verwendung des berechneten Mittelpunkts und von zwei Korrekturen auf der Basis der abgeschätzten Kopfhaltung; Berechnen eines Maßstabs des Gesichts des Fahrers auf der Basis eines Abstandes zwischen dem detektierten ersten und zweiten Augenwinkel und der abgeschätzten Kopfhaltung; Berechnen eines Radius des Augapfels auf der Basis einer Multiplikation eines normierten Radius des Augapfels mit dem berechneten Maßstab des Gesichts; und Abschätzen der Blickrichtung des Fahrers auf der Basis des berechneten Radius des Augapfels und des berechneten Zentrums des Augapfels.
Verfahren nach Anspruch 1, das ferner umfasst: Identifizieren eines Blickorts des Fahrers entsprechend einem Punkt, an dem die abgeschätzte Blickrichtung eine Windschutzscheibenebene des Fahrzeugs schneidet; Vergleichen des identifizierten Blickorts des Fahrers mit einer Straßenebene innerhalb der Windschutzscheibenebene; und Detektieren der Bedingung mit von der Straße abgewandten Augen nur dann, wenn der identifizierte Blickort außerhalb der Straßenebene liegt.
Verfahren nach Anspruch 1, wobei die fahrzeuginterne Kameravorrichtung eine monokulare Kameravorrichtung umfasst, die nahe einem Lenkrad in einem Innenraum des Fahrzeugs angebracht ist, wobei die monokulare Kameravorrichtung dazu konfiguriert ist, ein Blickfeld zu erfassen, das in Richtung des Fahrers gerichtet ist.
Verfahren nach Anspruch 1, das ferner umfasst: Beleuchten eines Innenraums des Fahrzeugs unter Verwendung einer Infrarotbeleuchtungsvorrichtung während lichtarmen Bedingungen innerhalb des Innenraums des Fahrzeugs.