-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Fahrerbeobachtungskameras können beispielsweise in Kombination mit Softwarefunktionen oder Algorithmen zur Erkennung von Kopf- und Augenbewegungen, zur Gesichtserkennung, zur Modellierung eines Fahrerverhaltens durch Detektion von Müdigkeit oder mangelnder Aufmerksamkeit oder zur Blickrichtungserkennung eingesetzt werden. Dabei kann etwa das Fahrergesicht durch eine aktive Infrarotbeleuchtung ausgeleuchtet werden, um unter allen Bedingungen ein kontrastreiches, homogenes und helles Bild des Gesichtsbereichs zu erhalten.
-
Bei Verwendung eines Zweikamerasystems und zweier Bright-Pupil-Module sollte die Kamerasichtverdeckung durch das Lenkrad oder die Hand des Fahrers berücksichtigt werden. Ferner können durch die aktive Beleuchtung Reflexionen entstehen, beispielsweise an Brillengläsern, die die Detektion beeinträchtigen können.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Ansteuern eines Fahrerbeobachtungssystems zum Beobachten eines Fahrers eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
-
Es wird ein Verfahren zum Ansteuern eines Fahrerbeobachtungssystems zum Beobachten eines Fahrers eines Fahrzeugs vorgestellt, wobei das Fahrerbeobachtungssystem zumindest ein erstes Modul und ein zweites Modul zum Erfassen des Fahrers aus unterschiedlichen Blickwinkeln aufweist, wobei das erste Modul eine erste Sensoreinrichtung und eine erste Beleuchtungseinrichtung aufweist und das zweite Modul eine zweite Sensoreinrichtung und eine zweite Beleuchtungseinrichtung aufweist, wobei das Verfahren folgende Schritte umfasst:
- Empfangen von Bildanalysedaten, die ein Ergebnis einer Analyse zumindest eines von der ersten Sensoreinrichtung und/oder der zweiten Sensoreinrichtung aufgenommenen Bildes des Fahrers repräsentieren, und/oder von Betriebszustandsdaten, die einen Betriebszustand des Fahrerbeobachtungssystems repräsentieren; und
- Aktivieren eines ersten Zustands des Fahrerbeobachtungssystems und/oder eines zweiten Zustands des Fahrerbeobachtungssystems unter Verwendung der Bildanalysedaten und/oder der Betriebszustandsdaten, wobei im ersten Zustand und/oder im zweiten Zustand zwischen einem ersten Aufnahmemodus und einem zweiten Aufnahmemodus umgeschaltet wird, wobei im ersten Aufnahmemodus bei aktiviertem erstem Zustand die erste Sensoreinrichtung und die zweite Beleuchtungseinrichtung eingeschaltet sind, während die zweite Sensoreinrichtung und die erste Beleuchtungseinrichtung ausgeschaltet sind, und/oder bei aktiviertem zweitem Zustand die erste Sensoreinrichtung und die erste Beleuchtungseinrichtung eingeschaltet sind, während die zweite Sensoreinrichtung und die zweite Beleuchtungseinrichtung ausgeschaltet sind, wobei im zweiten Aufnahmemodus bei aktiviertem erstem Zustand die zweite Sensoreinrichtung und die erste Beleuchtungseinrichtung eingeschaltet sind, während die erste Sensoreinrichtung und die zweite Beleuchtungseinrichtung ausgeschaltet sind, und/oder bei aktiviertem zweitem Zustand die zweite Sensoreinrichtung und die zweite Beleuchtungseinrichtung eingeschaltet sind, während die erste Sensoreinrichtung und die erste Beleuchtungseinrichtung ausgeschaltet sind.
-
Unter einem Modul kann etwa ein Kameramodul mit einer Kamera als Sensoreinrichtung verstanden werden. Unter einer Sensoreinrichtung kann im Allgemeinen ein optischer Sensor zum Aufnehmen von Bildern des Fahrers verstanden werden. Unter einer Beleuchtungseinrichtung kann beispielsweise zumindest eine Leuchtdiode, insbesondere auch ein Array aus einer Mehrzahl von Leuchtdioden, verstanden werden. Die Leuchtdioden können etwa als Infrarotleuchtdioden ausgebildet sein. Je nach Ausführungsform kann zumindest eine der beiden Beleuchtungseinrichtungen als sogenanntes Dark-Pupil-Modul zur Beleuchtung des Fahrers aus größerer Entfernung oder als Bright-Pupil-Modul zur Beleuchtung des Fahrers aus geringerer Entfernung realisiert sein. Die beiden Module können beispielsweise in ein Kombiinstrument des Fahrzeugs integriert sein.
-
Die Bildanalysedaten können beispielsweise eine Verdeckung zumindest einer der beiden Sensoreinrichtungen durch ein Lenkrad oder eine Hand des Fahrers, eine Helligkeit oder einen Kontrast in dem aufgenommenen Bild des Fahrers, insbesondere beispielsweise eine Helligkeit oder einen Kontrast einer Iris oder einer Pupille des Fahrers, repräsentieren. Ferner können die Bildanalysedaten zumindest eine in dem Bild des Fahrers erkannte Lichtreflexion, beispielsweise an einem Brillenglas, oder eine Genauigkeit einer Erkennung von Kopf- oder Augenbewegungen des Fahrers, auch Head- bzw. Eye-Tracking genannt, repräsentieren. Die Bildanalysedaten können beispielsweise unter Verwendung geeigneter Bildverarbeitungsalgorithmen, etwa zur Gesichtserkennung, zum Head- oder Eye-Tracking oder zur Unterdrückung von Brillenglasreflexionen, ermittelt worden sein. Die Bildanalysedaten können beispielsweise auch statistische Bilddaten repräsentieren.
-
Unter einem Betriebszustand kann beispielsweise ein gerade aktiver Erkennungsmodus des Fahrerbeobachtungssystems, etwa ein Gesichtserkennungsmodus oder Head- oder Eye-Tracking-Modus, verstanden werden.
-
Je nach Ausführungsform kann im ersten oder zweiten Zustand alternierend zwischen dem ersten und dem zweiten Aufnahmemodus umgeschaltet werden. Das Umschalten zwischen dem ersten und dem zweiten Aufnahmemodus kann entweder unterbrechungsfrei oder nach Ablauf eines vorgegebenen Unterbrechungsintervalls erfolgen. Das Umschalten zwischen dem ersten Zustand und dem zweiten Zustand kann beispielsweise verzögert erfolgen.
-
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass eine situationsangepasste, kombinierte und ganzheitliche Kamera- und Infrarotbeleuchtungssteuerung in einem Fahrzeug mittels einer Zustandsmaschine zum Steuern von Zuständen eines Zweikamerasystems mit mindestens zwei Infrarotbeleuchtungsmodulen realisiert werden kann. Die Kameras können dabei beispielsweise paarweise zusammen mit je einem der beiden Infrarotbeleuchtungsmodule sequenziell aktiviert werden. Die Situations- oder Zustandserkennung erfolgt beispielsweise mittels Bildverarbeitungsalgorithmen wie Gesichtserkennung, Nachverfolgung von Kopf- und Augenbewegungen oder nachgeschalteten Zusatzalgorithmen, etwa zur Reduktion von Reflexionen an Brillengläsern. Anhand der erkannten Situation, etwa einer störenden Reflexion an einem Brillenglas, wird daraufhin ein jeweils optimales Ansteuerungsschema getriggert. Durch ein derartiges Verfahren zur adaptiven Steuerung von Kraftfahrzeuginnenraumkameras mit aktiver Infrarotbeleuchtung kann zum einen eine hohe Systemverfügbarkeit erreicht werden; zum anderen können dadurch störende Brillenglasreflexionen bei der Bildaufnahme effektiv vermieden werden.
-
Gemäß einer Ausführungsform kann im Schritt des Aktivierens der erste Zustand oder, zusätzlich oder alternativ, der zweite Zustand aktiviert werden, um alternierend zwischen dem ersten Aufnahmemodus und dem zweiten Aufnahmemodus umzuschalten. Dadurch kann die Genauigkeit bei der Erkennung von Augenbewegungen oder einer Blickrichtung des Fahrers erhöht werden.
-
Gemäß einer weiteren Ausführungsform kann im Schritt des Aktivierens der erste Zustand oder, zusätzlich oder alternativ, der zweite Zustand nach Ablauf eines Verzögerungsintervalls aktiviert werden. Dadurch kann beispielsweise ein zu schnelles Hin-und-her-Schalten zwischen dem ersten und dem zweiten Zustand vermieden werden.
-
Es ist vorteilhaft, wenn im Schritt des Aktivierens ein weiterer Zustand des Fahrerbeobachtungssystems unter Verwendung der Bildanalysedaten oder, zusätzlich oder alternativ, der Betriebszustandsdaten aktiviert wird. Im weiteren Zustand sind die erste Sensoreinrichtung, die zweite Sensoreinrichtung, die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung eingeschaltet. Dadurch kann das Gesicht des Fahrers auch bei schlechten Lichtverhältnissen, etwa nachts, gut ausgeleuchtet werden.
-
Von Vorteil ist auch, wenn im Schritt des Aktivierens ein zusätzlicher Zustand des Fahrerbeobachtungssystems unter Verwendung der Bildanalysedaten oder, zusätzlich oder alternativ, der Betriebszustandsdaten aktiviert wird. Im zusätzlichen Zustand kann zwischen dem ersten Aufnahmemodus und dem zweiten Aufnahmemodus umgeschaltet werden. Bei aktiviertem zusätzlichem Zustand sind im ersten Aufnahmemodus die erste Sensoreinrichtung, die zweite Sensoreinrichtung und die erste Beleuchtungseinrichtung eingeschaltet, während die zweite Beleuchtungseinrichtung ausgeschaltet ist. Im zweiten Aufnahmemodus sind bei aktiviertem zusätzlichem Zustand die erste Sensoreinrichtung, die zweite Sensoreinrichtung und die zweite Beleuchtungseinrichtung eingeschaltet, während die erste Beleuchtungseinrichtung ausgeschaltet ist. Durch diese Ausführungsform können Lichtreflexionen beim Beleuchten des Fahrers, beispielsweise an Brillengläsern, vermieden oder reduziert werden. Gleichzeitig kann damit eine hohe Erkennungsgenauigkeit gewährleistet werden.
-
Gemäß einer Ausführungsform kann im Schritt des Aktivierens der zusätzliche Zustand aktiviert werden, um nach Ablauf eines Unterbrechungsintervalls, in dem die erste Sensoreinrichtung, die zweite Sensoreinrichtung, die erste Beleuchtungseinrichtung und die zweite Beleuchtungseinrichtung ausgeschaltet sind, zwischen dem ersten Aufnahmemodus und dem zweiten Aufnahmemodus umzuschalten. Dadurch können Lichtreflexionen besonders effizient unterdrückt werden.
-
Des Weiteren kann im Schritt des Aktivierens der zusätzliche Zustand aktiviert werden, wenn die Bildanalysedaten zumindest eine in dem Bild erkannte Lichtreflexion repräsentieren. Dadurch kann der zusätzliche Zustand abhängig vom tatsächlichen Vorhandensein von Lichtreflexionen aktiviert werden.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung des Fahrzeugs. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie Beschleunigungs-, Druck-, Lenkwinkel- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Brems- oder Lenkaktoren oder ein Motorsteuergerät des Fahrzeugs.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem erstem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 3 eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem zweitem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 4 eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem drittem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 5 eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem viertem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 6 eine schematische Darstellung von Umschaltwegen zum Umschalten zwischen Zuständen eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel;
- 7 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel; und
- 8 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrerbeobachtungssystems 100 gemäß einem Ausführungsbeispiel. Das Fahrerbeobachtungssystem 100 umfasst ein erstes Modul 102 bestehend aus einer ersten Sensoreinrichtung CAM1 und einer ersten Beleuchtungseinrichtung IR1 sowie ein zweites Modul 104 bestehend aus einer zweiten Sensoreinrichtung CAM2 und einer zweiten Beleuchtungseinrichtung IR2. Gemäß diesem Ausführungsbeispiel sind die beiden Module 102, 104 an einem Kombiinstrument 106 eines Fahrzeugs, beispielsweise an einem frei programmierbaren Kombiinstrument, angeordnet. Beispielsweise sind die beiden Module 102, 104 unterhalb eines Sichtfelds 108 eines Head-up-Displays angeordnet. Die beiden Module 102, 104 sind je mit einer Vorrichtung 110 zum Ansteuern der Sensoreinrichtungen CAM1, CAM2 und der Beleuchtungseinrichtungen IR1, IR2 verbunden, beispielsweise über Low Voltage Differential Signaling.
-
Die Module 102, 104 sind ausgebildet, um einen Fahrer des Fahrzeugs mittels der Beleuchtungseinrichtungen IR1, IR2 zu beleuchten und dabei mittels der Sensoreinrichtungen CAM1, CAM2 Bilder des Fahrers aufzunehmen. Auf der Vorrichtung 110 werden unter Verwendung der aufgenommenen Bilder beispielsweise Algorithmen zur Erkennung von Kopf- und Augenbewegungen oder zur Gesichtserkennung ausgeführt.
-
Die Vorrichtung 110 ist ausgebildet, um das Fahrerbeobachtungssystem 100 unter Verwendung von Bildanalysedaten einer anhand von Bilddaten zumindest einer der beiden Sensoreinrichtungen CAM1, CAM2 durchgeführten Bildanalyse oder auch unter Verwendung von Betriebszustandsdaten bezüglich eines aktuellen Betriebszustands des Fahrerbeobachtungssystems 100 in einen ersten Zustand oder einen zweiten Zustand umzuschalten. Dabei schaltet die Vorrichtung 110 in jedem der beiden Zustände zwischen einem ersten Aufnahmemodus und einem zweiten Aufnahmemodus um. Das Umschalten zwischen den beiden Aufnahmemodi erfolgt beispielsweise alternierend.
-
Bei aktiviertem erstem Zustand schaltet die Vorrichtung 110 im ersten Aufnahmemodus die erste Sensoreinrichtung CAM1 und die zweite Beleuchtungseinrichtung IR2 ein, wobei die zweite Sensoreinrichtung CAM2 und die erste Beleuchtungseinrichtung IR1 ausgeschaltet bleiben. Im zweiten Aufnahmemodus des ersten Zustands schaltet die Vorrichtung 110 die erste Sensoreinrichtung CAM1 und die zweite Beleuchtungseinrichtung IR2 ab, um stattdessen die zweite Sensoreinrichtung CAM2 und die erste Beleuchtungseinrichtung IR1 einzuschalten.
-
Bei aktiviertem zweitem Zustand schaltet die Vorrichtung 110 hingegen im ersten Aufnahmemodus die erste Sensoreinrichtung CAM1 und die erste Beleuchtungseinrichtung IR1 ein, während die zweite Sensoreinrichtung CAM2 und die zweite Beleuchtungseinrichtung IR2 ausgeschaltet bleiben. Im zweiten Aufnahmemodus des zweiten Zustands schaltet die Vorrichtung 110 die erste Sensoreinrichtung CAM1 und die erste Beleuchtungseinrichtung IR1 ab, um stattdessen die zweite Sensoreinrichtung CAM2 und die zweite Beleuchtungseinrichtung IR2 einzuschalten.
-
Gemäß einem Ausführungsbeispiel ist das Fahrerbeobachtungssystem 100 als Dualkamerasystem bestehend aus zwei Kameras mit integrierten Infrarotbeleuchtungseinheiten, auch Bright-Pupil-Module genannt, als Beleuchtungseinrichtungen IR1, IR2 realisiert. Die Kameras sind vor oder in einem Instrumentencluster verbaut oder integriert. Bei der Vorrichtung 110 handelt es sich entweder um ein bereits vorhandenes Steuergerät im Instrumentencluster oder ein dediziertes Steuergerät, das je nach Anforderung durch Ausnutzung von Synergien und vorhandenem Bauraum realisiert ist. Die Algorithmen und Funktionen zur Fahrerbeobachtung laufen auf der Vorrichtung 110. Dabei ist die Vorrichtung 110 beispielsweise über CAN, Ethernet oder Flexray mit einem Bussystem des Fahrzeugs verbunden. Die Infrarotbeleuchtungseinheiten, die beispielsweise je durch ein Array aus Infrarotleuchtdioden gebildet sind, sind in 1 lediglich beispielhaft beiderseits der Kameras angeordnet. Alternativ sind die Infrarotbeleuchtungseinheiten entweder links oder rechts der jeweiligen Kamera angeordnet. Optional umfasst das Fahrerbeobachtungssystem 100 zusätzlich zu den beiden Beleuchtungseinrichtungen IR1, IR2 zumindest ein zusätzliches Infrarot- oder Dark-Pupil-Modul zur Leistungssteigerung.
-
Die 2 bis 5 zeigen verschiedene Anwendungsfälle mit entsprechendem Systemtiming zur Veranschaulichung eines jeweiligen Betriebsstatus der Sensor- und Beleuchtungseinrichtungen des Fahrerbeobachtungssystems.
-
2 zeigt eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem erstem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand von 1 beschriebenen Fahrerbeobachtungssystems. Die jeweiligen Signalverläufe der Sensoreinrichtungen CAM1, CAM2 und der Beleuchtungseinrichtungen IR1, IR2 sind übereinander dargestellt. Eingezeichnet sind ein erstes Zeitintervall 202, das den ersten Aufnahmemodus des ersten Zustands repräsentiert, und ein sich an das erste Zeitintervall 202 anschließendes zweites Zeitintervall 204, das den zweiten Aufnahmemodus des ersten Zustands repräsentiert. Die zwei aufeinanderfolgenden Zeitintervalle 202, 204 entsprechen zusammen beispielsweise einer Periode von 16 ms bei einer Bildwiederholrate von 60 fps. Das erste Zeitintervall 202 entspricht dabei beispielsweise 800 µs.
-
3 zeigt eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem zweitem Zustand des Fahrerbeobachtungssystems aus 1.
-
4 zeigt eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem drittem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand der 1 bis 3 beschriebenen Fahrerbeobachtungssystems. Der dritte Zustand wird ähnlich wie der erste oder zweite Zustand unter Verwendung der Bildanalysedaten oder der Betriebszustandsdaten oder beider Datentypen durch die Vorrichtung des Fahrerbeobachtungssystems aktiviert. Dabei sind beide Sensoreinrichtungen CAM1, CAM2 sowie beide Beleuchtungseinrichtungen IR1, IR2 während des ersten Zeitintervalls 202 eingeschaltet. Im zweiten Zeitintervall 204 sind die Sensor- und Beleuchtungseinrichtungen beider Module ausgeschaltet.
-
5 zeigt eine schematische Darstellung eines zeitlichen Ablaufs bei aktiviertem viertem Zustand eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand der 1 bis 4 beschriebenen Fahrerbeobachtungssystems. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung des Fahrerbeobachtungssystems ausgebildet, um unter Verwendung der Bildanalyse- oder Betriebszustandsdaten einen Zustand des Fahrerbeobachtungssystems zu aktivieren, in dem während des ersten Zeitintervalls 202 bei ausgeschalteter zweiter Beleuchtungseinrichtung IR2 die beiden Sensoreinrichtungen CAM1, CAM2 und die erste Beleuchtungseinrichtung IR1 eingeschaltet sind und in dem während des zweiten Zeitintervalls 204 bei ausgeschalteter erster Beleuchtungseinrichtung IR1 die beiden Sensoreinrichtungen CAM1, CAM2 und die zweite Beleuchtungseinrichtung IR2 eingeschaltet sind. Insbesondere eignet sich der in 5 gezeigte vierte Zustand zur Unterdrückung von Brillenglasreflexionen.
-
Gemäß diesem Ausführungsbeispiel sind die beiden Zeitintervalle 202, 204 durch ein Unterbrechungsintervall 500, in dem die Sensor- und Beleuchtungseinrichtungen beider Module ausgeschaltet sind, zeitlich voneinander getrennt.
-
In jedem der in den 2 bis 5 gezeigten Zustände wird ein an die Umgebungsbedingung angepasstes Beleuchtungsmuster realisiert, durch das optimale Bilder oder optimale Bildpaare bei der Unterdrückung von Brillenglasreflexionen und damit ein optimales Ergebnis für die verwendeten Bildverarbeitungsalgorithmen gewährleistet werden können. Beispielsweise laufen die Kameras CAM1, CAM2 im ersten Zustand zeitlich sequenziell innerhalb einer Periode von beispielsweise ca. 16 ms nacheinander, wobei IR2 für CAM1 und IR1 für CAM2 aktiv ist. Dadurch kann eine Dark-Pupil-Beleuchtung realisiert werden, die insbesondere eine gute, leistungsfähige Erkennung von Augenbewegungen und Blickrichtungen gewährleistet. Dabei kann sich aufgrund einer Verdeckung einer Kamera durch das Lenkrad die Systemverfügbarkeit verringern. Dies kann durch den zweiten Zustand etwa mittels Aktivierung einer Bright-Pupil-Beleuchtung, wobei CAM1 mit IR1 und CAM2 mit IR2 sequenziell aktiviert werden, abgefangen werden, sodass die nicht verdeckte Kamera ein beleuchtetes Bild liefern kann.
-
Während die Bright-Pupil-Beleuchtung bei bestimmten Personen und dunklen Umgebungsbedingungen, wenn die Pupille weit geöffnet und somit gut sichtbar und detektierbar ist, gut funktioniert, sollten bei helleren Umgebungsbedingungen oder in Extremsituationen wie etwa bei von hinten durch die Heckscheibe einfallendem Sonnenlicht alle verfügbaren Infrarotmodule aktiviert werden, damit das Fahrergesicht ausreichend beleuchtet wird, was durch den dritten Zustand erreicht wird. Dieses Beleuchtungsmuster garantiert ebenfalls eine gleichmäßige und homogene Beleuchtung für kontrastreiche Kamerabilder, die insbesondere für Bildverarbeitungsalgorithmen wie Kopfposenerkennung oder Gesichtsidentifizierung gut geeignet ist. Der vierte Zustand adressiert speziell Lichtreflexionen an Brillengläsern durch eine zeitlich sequenzielle Ansteuerung von IR1 zu einem ersten Zeitpunkt t1 und IR2 zu einem zweiten Zeitpunkt t2 und eine anschließende Auswertung der jeweiligen Kamerabilder von CAM1 zu den Zeitpunkten t1 bzw. t2. Ein spezieller Algorithmus zur Unterdrückung von Lichtreflexionen, etwa durch Bestimmung eines Minimumbildes oder basierend auf anderen Prinzipien, entfernt dabei die hellen Reflexbereiche. Dies wird optional parallel für CAM2 durchgeführt oder es wird das jeweils beste reduzierte Bild von CAM1 und CAM2 zur weiteren Verarbeitung für das Eye-Tracking verwendet.
-
6 zeigt eine schematische Darstellung von Umschaltwegen zum Umschalten zwischen Zuständen eines Fahrerbeobachtungssystems gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand der 1 bis 5 beschriebenen Fahrerbeobachtungssystems. Die vier weiter oben genannten Zustände werden von einer Zustandsmaschine 600 gesteuert, die die Übergangsbedingungen während des Betriebs des Fahrerbeobachtungssystems kontinuierlich prüft. Die verschiedenen Umschaltwege sind durch Pfeile gekennzeichnet. Der erste bis vierte Zustand des Fahrerbeobachtungssystems ist mit den Ziffern 1 bis 4 gekennzeichnet. Die Ziffer 0 kennzeichnet einen Startzustand des Fahrerbeobachtungssystems. Je nach Ausführungsbeispiel erfolgt das Umschalten zwischen den Zuständen 0 bis 4 insbesondere in folgenden Richtungen:
- - von 0 nach 1,
- - von 0 nach 3,
- - von 1 nach 2,
- - von 2 nach 1,
- - von 2 nach 3,
- - von 2 nach 4,
- - von 3 nach 1,
- - von 3 nach 4,
- - von 4 nach 1,
- - von 4 nach 2.
-
Dabei erfolgt das Umschalten von 0 nach 1, von 0 nach 3, von 2 nach 3 und von 3 nach 1 beispielsweise abhängig von einer Bedingung A, die eine logische Verknüpfung mehrerer Flags wie „Gesichtserkennung aktiv“, „Head-Tracking im Initialisierungsmodus“, „Head-Tracking im Refind-Modus“ und von Bildstatistiken repräsentiert. Beim Initialisierungsmodus handelt es sich um eine globale Suche nach Kopfkandidaten im gesamten Bild. Im Refind-Modus sucht der Algorithmus innerhalb eines vergrößerten Suchbereichs erneut nach Kopf- oder Gesichtskandidaten, wenn diese bei einem vorherigen Tracking verloren gingen. Das Umschalten zwischen 2 und 4 erfolgt beispielsweise abhängig von einer Bedingung B, die eine Eye-Tracking-Robustheit oder einen entsprechenden Konfidenzwert repräsentiert.
-
Beispielsweise erfolgt der Übergang von 2 nach 4, wenn die Bedingung B „Eye-Tracking-Robustheit“ nicht erfüllt ist oder der Konfidenzwert unterhalb einer festgelegten Schwelle thr1 liegt oder wenn Brillenglas und Reflexion detektiert werden.
-
Das Umschalten zwischen 1 und 2 erfolgt beispielsweise abhängig von Helligkeits- oder Kontrastwerten in den von den Sensoreinrichtungen aufgenommenen Bildern. Beispielsweise wird bei einer erkannten Verdeckung zumindest einer der beiden Sensoreinrichtungen oder bei niedriger Helligkeit oder niedrigem Kontrast im Bereich der Iris oder Pupille des Fahrers von 1 nach 2 umgeschaltet. Von 2 nach 1 wird hingegen umgeschaltet, wenn keine Verdeckung erkannt wird oder die Umgebung zu dunkel ist.
-
Die Zustandsmaschine 600 befindet sich nach dem Starten im Zustand 0 und prüft die Bedingung A. Ist die Bedingung A erfüllt, dann wird auf Zustand 3 geschaltet, wo Kameras und Infrarotbeleuchtung synchron zueinander arbeiten. Wenn die Bedingung A nicht erfüllt ist, dann wird Zustand 1 getriggert usw. Jeder Zustand bleibt so lange erhalten, bis eine Übergangsbedingung erfüllt ist. Speziell im Zustand 4 wird beispielsweise durch ein Softwaremodul ein globales Flag gesetzt, wenn eine Brille oder eine Brillenglasreflexion erkannt wird. Dieses Softwaremodul ist je nach Ausführungsbeispiel in einem Head- oder Eye-Tracking-Modul oder in einem Gesichtserkennungsmodul integriert oder als eigenständiges Modul realisiert und wird je nach Bedarf aufgerufen oder läuft parallel.
-
Um ein schnelles Hin-und-her-Schalten zwischen den Zuständen zu vermeiden, ist optional ein Hystereseverhalten implementiert, etwa durch zwei unterschiedliche Schwellen, d. h., die erste Schwelle definiert die Eintrittsschwelle, beispielsweise thrl, und eine zweite Schwelle thr2, die kleiner ist thrl ist, legt fest, wann die Austrittsschwelle erreicht wird und ein Zustandswechsel eingeleitet werden kann, beispielsweise von Zustand 4 in Zustand 2.
-
Die Zustandsmaschine 600 steuert, zu welchen Zeitpunkten die verschiedenen Algorithmenmodule, etwa Gesichtserkennung, Kopfposenerkennung oder Eye-Tracking, aktiviert werden. Beispielsweise wird die Gesichtserkennung nur zu Beginn oder während einer Phase des Einsteigens und Platznehmens im Fahrzeug aktiviert, wobei die Algorithmen zum Head- oder Eye-Tracking inaktiv bleiben, da diese zur schnellen Erkennung der Person nicht unbedingt erforderlich sind.
-
7 zeigt eine schematische Darstellung einer Vorrichtung 110 gemäß einem Ausführungsbeispiel, etwa einer vorangehend anhand der 1 bis 6 beschriebenen Vorrichtung. Gezeigt ist ein Regelungskreis bestehend aus Kameras, Infrarotmodulen und berechneten Basissignalen aus Bildverarbeitungsmodulen wie etwa Head-Tracker, die zur Parametrierung des Reglers oder der Zustandsmaschine in einem Kamera- und Infrarotsteuerblock verwendet werden. Gemäß diesem Ausführungsbeispiel umfasst die Vorrichtung 110 eine erste Puffereinheit 702 zum Puffern eines Videostreams der ersten Sensoreinrichtung CAM1 und eine zweite Puffereinheit 704 zum Puffern eines Videostreams der zweiten Sensoreinrichtung CAM2. Eine Mappingeinheit 706 ist ausgebildet, um die Videostreams, bei denen es sich beispielsweise um 12/10-Bit-Streams handelt, nach 8 Bit umzuwandeln und die umgewandelten Daten an eine Systemzustandsmaschine 707 mit einer Einheit 708 zur Gesichtserkennung, einer Einheit 710 zur Erkennung von Kopfbewegungen sowie einer Einheit 712 zur Erkennung von Augenbewegungen zu übertragen. Die von den Einheiten 708, 710, 712 bereitgestellten Bildanalysedaten 713 werden von der Systemzustandsmaschine 707 an eine den Kamera- und Infrarotsteuerblock repräsentierende Steuereinheit 714 geleitet, die die Bildanalysedaten 713 zur Ansteuerung der Sensoreinrichtungen CAM1, CAM2 und der Beleuchtungseinrichtungen IR1, IR2 auswertet. IR3 kennzeichnet eine ebenfalls durch die Steuereinheit 714 ansteuerbare zusätzliche Beleuchtungseinrichtung, beispielsweise ein zusätzliches Dark-Pupil-Modul.
-
7 zeigt eine prinzipielle Wirkkette für ein Fahrerbeobachtungssystem in Form eines Dualkamerasystems. Die Zustandsmaschine zur Steuerung einer Infrarotbeleuchtung des Fahrerbeobachtungssystems ist etwa im Kamera- und Infrarotsteuerblock realisiert. Ausgehend von den Bildverarbeitungsalgorithmen Gesichtserkennung, Head-Tracking und Eye-Tracking, deren Aktivität von der separaten Systemzustandsmaschine 707 gesteuert wird, wird die Zustandsmaschine konditioniert. Die Zustandsmaschine triggert den jeweiligen Zustand des Fahrerbeobachtungssystems mit einer situationsangepassten Infrarotbeleuchtung und Bildauswertung, speziell bei Modi zur Reflexionsunterdrückung. Zusätzlich wird beispielsweise eine Parametrierung der Gewichtungen für die Bildverarbeitungsalgorithmen speziell für die Beleuchtungsregelung, d. h. optimiert für den Gesichtsbereich oder nur für den Augenbereich, festgelegt. Des Weiteren erfolgt beispielsweise eine Intensitätsregelung der Infrarotleuchtdioden durch entsprechende Treiber, sodass neben der Regelung der Beleuchtungszeit oder der Integrationszeit eine verbesserte Bildhelligkeit und ein verbesserter Bildkontrast erreicht werden können.
-
8 zeigt ein Ablaufdiagramm eines Verfahrens 800 gemäß einem Ausführungsbeispiel. Das Verfahren 800 zum Ansteuern eines Fahrerbeobachtungssystems kann beispielsweise unter Verwendung einer Vorrichtung, wie sie vorangehend anhand der 1 bis 7 beschrieben ist, durchgeführt werden. Dabei werden in einem Schritt 810 die Bildanalysedaten bzw. die Betriebszustandsdaten empfangen. In einem weiteren Schritt 820 erfolgt die Aktivierung des ersten Zustands bzw. des zweiten Zustands des Fahrerbeobachtungssystems unter Verwendung der Bildanalysedaten bzw. der Betriebszustandsdaten.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
