-
Stand der Technik
-
Der Ansatz geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand des vorliegenden Ansatzes ist auch ein Computerprogramm.
-
Fahrerbeobachtungssysteme dienen dazu, einen Fahrer eines Fahrzeugs während der Fahrt zu beobachten, um unter anderem eine Reaktionsfähigkeit des Fahrers zu analysieren. Hierbei kommen häufig Headtracking- und Eyetracking-Anwendungen zum Einsatz.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug, weiterhin eine Fahrerbeobachtungsvorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Fahrerbeobachtungsvorrichtung möglich.
-
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass durch eine hier vorgestellte Beleuchtung des Fahrers von hinten eine Position des Fahrers, beispielsweise dessen Kopfhaltung, in einem von vorne aufgenommenen Kamerabild des Fahrers besser erkennbar ist, wodurch nur noch eine vereinfachte Bildverarbeitungsalgorithmik für die Fahrerbeobachtungsvorrichtung vonnöten ist.
-
Eine Fahrerbeobachtungsvorrichtung zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position, beispielsweise des Kopfes, des Fahrers in dem Fahrzeug weist zumindest eine Beleuchtungsschnittstelle, eine Kameraschnittstelle und eine Beobachtungseinheit auf. Die Beleuchtungsschnittstelle ist dazu ausgebildet, um ein Beleuchtungssignal zum Ansteuern einer Hintergrundbeleuchtungseinrichtung auszugeben, die angeordnet oder anordenbar ist, um zumindest einen Bereich um eine Hinterseite des Fahrers und/oder die Hinterseite des Fahrers zu beleuchten, um in einem weiteren Bereich einer der Hinterseite gegenüberliegenden Vorderseite des Fahrers einen durch den Fahrer erzeugten Schattenbereich zu erzeugen. Die Hintergrundbeleuchtungseinrichtung kann gemäß einer Ausführungsform der Fahrerbeobachtungsvorrichtung Teil der Fahrerbeobachtungsvorrichtung sein. Die Kameraschnittstelle ist eine Schnittstelle zu einer Kameraeinrichtung, die vorteilhafterweise gegen eine Blickrichtung der Hintergrundbeleuchtungseinrichtung angeordnet oder anordenbar ist. Die Kameraschnittstelle ist dazu ausgebildet, um von der Kameraeinrichtung ein Kamerasignal einzulesen, das ein Kamerabild von der Vorderseite des Fahrers mit dem Schattenbereich repräsentiert. Die Hintergrundbeleuchtungseinrichtung und/oder die Kameraeinrichtung kann/können ebenfalls Teil der Fahrerbeobachtungsvorrichtung sein. Die Beobachtungseinheit ist dazu ausgebildet, um den Fahrer unter Verwendung des von der Beleuchtungsschnittstelle ausgegebenen Beleuchtungssignals und des von der Kameraschnittstelle eingelesenen Kamerasignals zu beobachten. Dabei kann die Beobachtungseinheit dazu ausgebildet sein, um unter Verwendung zumindest des Beleuchtungssignals und des Kamerasignals, also des Kamerabilds mit dem Schattenbereich, die Position des Fahrers zu bestimmen oder zu berechnen. Hierzu kann durch die Beobachtungseinheit außerdem eine Bildverarbeitungsanwendung verwendet werden.
-
Die hier vorgestellte Fahrerbeobachtungsvorrichtung erleichtert ein Erkennen einer Position des Fahrers in dem Fahrzeug, da durch eine definierte Beleuchtung des Fahrers von hinten der durch den Fahrer selbst erzeugte Schattenbereich in dem Kamerabild schnell und einfach innerhalb der Beleuchtung erkennbar ist, der dem Fahrer zugeordnet werden kann. So kann beispielsweise eine Position des Kopfs des Fahrers durch den durch den Kopf erzeugten Schattenbereich innerhalb der durch die Hintergrundbeleuchtungseinrichtung erzeugten Beleuchtung erkannt werden.
-
Die Beleuchtungsschnittstelle kann gemäß einer Ausführungsform dazu ausgebildet sein, um zudem eine Frontbeleuchtungseinrichtung anzusteuern, die angeordnet oder anordenbar ist, um die Vorderseite des Fahrers zu beleuchten. Diese Frontbeleuchtungseinrichtung kann im Bereich der Kameraeinrichtung, also ebenfalls gegen eine Blickrichtung der Hintergrundbeleuchtungseinrichtung angeordnet oder anordenbar sein und ebenfalls Teil der Fahrerbeobachtungsvorrichtung sein. Eine solche Frontbeleuchtungseinrichtung kann einer Headtracking- und/oder Eyetracking-Anwendung dienen. Die Frontbeleuchtungseinrichtung kann beispielsweise angeordnet sein, um das Gesicht des Fahrers auszuleuchten, um Müdigkeitserscheinungen oder andere in dem Gesicht erkennbare Zustandsmerkmale des Fahrers erkennbar zu machen.
-
Es ist weiterhin von Vorteil, wenn die Beleuchtungsschnittstelle dazu ausgebildet ist, um zumindest die Hintergrundbeleuchtungseinrichtung und/oder die Frontbeleuchtungseinrichtung anzusteuern, die dazu ausgebildet ist, um zum Beleuchten zumindest einen Infrarotstrahl zu erzeugen. Durch eine Verwendung von Infrarotlicht kann eine homogene und von einer Umgebungslichtsituation möglichst unabhängige Beleuchtung des Fahrers erfolgen, wobei das Infrarotlicht zudem vorteilhafterweise für dem Fahrer nicht sichtbar ist, bzw. diesen nicht blendet. Hierbei kann beispielsweise eine Hintergrundbeleuchtungseinrichtung und/oder Frontbeleuchtungseinrichtung angesteuert werden, die zumindest eine LED-Lichtquelle und/oder eine Laser-Lichtquelle aufweist.
-
Wenn die Beleuchtungsschnittstelle und/oder zumindest die Hintergrundbeleuchtungseinrichtung und/oder die Frontbeleuchtungseinrichtung gemäß einer vorteilhaften Ausführungsform des hier vorgestellten Ansatzes zumindest eine Mustererzeugungseinrichtung aufweist, die dazu ausgebildet ist, um beim Beleuchten des Fahrers ein Lichtmuster zu erzeugen, kann dies ein strukturiertes Licht bereitzustellen, in dem eine Position des erzeugten Schattenbereichs innerhalb des Lichtmusters schnell und einfach erkennbar ist. Die Mustererzeugungseinrichtung kann zur Erzeugung des Lichtmusters zumindest eine Schablone und/oder eine Projektionseinrichtung und/oder eine Optik aufweisen. Beispielsweise kann die Mustererzeugungseinrichtung dazu ausgebildet sein, um das Lichtmuster zu erzeugen, das zumindest eine Linie und/oder eine Multilinie und/oder ein Kreuz und/oder einen Spot aufweist. Eine solche an der Hintergrundbeleuchtungseinrichtung angebrachte Mustererzeugungseinrichtung kann ein einfaches Segmentieren des Kopfes des Fahrers ohne aufwendige Segmentierungsalgorithmen in einer Bildverarbeitungsanwendung ermöglichen. Eine solche an der Frontbeleuchtungseinrichtung angebrachte Mustererzeugungseinrichtung kann Tiefeninformationen über das Gesicht des Fahrers liefern, die über eine Deformation des Lichtmusters auf dem Gesicht des Fahrers ermittelbar sind.
-
Ein Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position beispielsweise des Kopfes des Fahrers in dem Fahrzeug unter Verwendung einer der vorgestellten Fahrerbeobachtungsvorrichtungen umfasst zumindest die folgenden Schritte:
-
Ausgeben des Beleuchtungssignals, das dazu ausgebildet ist, um zumindest die Hintergrundbeleuchtungseinrichtung anzusteuern, die angeordnet oder anordenbar ist, um zumindest den Bereich um die Hinterseite des Fahrers und/oder die Hinterseite des Fahrers zu beleuchten, um in dem weiteren Bereich der der Hinterseite gegenüberliegenden Vorderseite des Fahrers den durch den Fahrer erzeugten Schattenbereich zu erzeugen;
-
Einlesen des Kamerasignals, das das Kamerabild von der Vorderseite des Fahrers mit dem Schattenbereich repräsentiert; und Beobachten des Fahrers unter Verwendung zumindest des von der Beleuchtungsschnittstelle ausgegebenen Beleuchtungssignals und des von der Kameraschnittstelle eingelesenen Kamerasignals.
-
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
- 1 eine schematische Darstellung einer Fahrerbeobachtungsvorrichtung zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug gemäß einem Ausführungsbeispiel;
- 2 eine schematische Darstellung eines durch eine Kameraschnittstelle einer Fahrerbeobachtungsvorrichtung eingelesenen Kamerabilds gemäß einem Ausführungsbeispiel;
- 3 eine schematische Darstellung eines durch eine Kameraschnittstelle einer Fahrerbeobachtungsvorrichtung eingelesenen weiteren Kamerabilds gemäß einem Ausführungsbeispiel; und
- 4 ein Ablaufdiagramm eines Verfahrens zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
1 zeigt eine schematische Darstellung einer Fahrerbeobachtungsvorrichtung 100 zum Beobachten eines Fahrers 105 in einem Fahrzeug 110 zum Bestimmen zumindest einer Position 115 des Fahrers 105 in dem Fahrzeug 110 gemäß einem Ausführungsbeispiel.
-
Die Fahrerbeobachtungsvorrichtung 100 weist zumindest eine Beleuchtungsschnittstelle 120, eine Kameraschnittstelle 125 und eine Beobachtungseinheit 130 auf.
-
Die Beleuchtungsschnittstelle 120 ist dazu ausgebildet, um ein Beleuchtungssignal 135 zum Ansteuern einer Hintergrundbeleuchtungseinrichtung 140 auszugeben, die angeordnet oder anordenbar ist, um zumindest einen Bereich um eine Hinterseite 142 des Fahrers 105 und/oder die Hinterseite 142 des Fahrers 105 zu beleuchten, um in einem weiteren Bereich einer der Hinterseite 142 gegenüberliegenden Vorderseite 145 des Fahrers 105 einen durch den Fahrer 105 erzeugten Schattenbereich zu erzeugen.
-
Die Kameraschnittstelle 125 ist eine Schnittstelle zu einer Kameraeinrichtung 150, die gegen eine Blickrichtung der Hintergrundbeleuchtungseinrichtung 140 angeordnet oder anordenbar ist. Die Kameraschnittstelle 125 ist dazu ausgebildet, um von der Kameraeinrichtung 150 ein Kamerasignal einzulesen, das ein Kamerabild von der Vorderseite 145 des Fahrers 105 mit dem Schattenbereich repräsentiert.
-
Die Beobachtungseinheit 130 ist dazu ausgebildet, um den Fahrer 105 unter Verwendung des von der Beleuchtungsschnittstelle 120 ausgegebenen Beleuchtungssignals 135 und des von der Kameraschnittstelle 125 eingelesenen Kamerasignals zu beobachten.
-
Die im Folgenden beschriebenen Merkmale der Fahrerbeobachtungsvorrichtung 100 sind optional. Gemäß diesem Ausführungsbeispiel ist die Beobachtungseinheit 130 dazu ausgebildet, um unter Verwendung zumindest des Beleuchtungssignals 135 und des Kamerasignals die Position 115 des Fahrers 105 zu bestimmen oder zu berechnen.
-
Der Fahrer 105 ist gemäß diesem Ausführungsbeispiel in dem Fahrzeug 110 sitzend angeordnet, wobei durch die Fahrerbeobachtungsvorrichtung 100 als die Position 115 des Fahrers 105 eine Kopfposition des Fahrers 105 beobachtet und/oder bestimmt wird.
-
Die Beleuchtungsschnittstelle 120 ist gemäß diesem Ausführungsbeispiel weiterhin dazu ausgebildet, um eine Frontbeleuchtungseinrichtung 155 anzusteuern, die angeordnet oder anordenbar ist, um die Vorderseite 145, hier das Gesicht, des Fahrers 145 zu beleuchten.
-
Gemäß diesem Ausführungsbeispiel sind die Kameraeinrichtung 150 und die Frontbeleuchtungseinrichtung 155 benachbart zueinander in einem Kombinationsinstrument 160 des Fahrzeugs 110 angeordnet. Die Fahrerbeobachtungsvorrichtung 100 ist benachbart zu der Kameraeinrichtung 150 angeordnet. Gemäß einem alternativen Ausführungsbeispiel ist die Fahrerbeobachtungsvorrichtung 100 innerhalb der Kameraeinrichtung 150 angeordnet. Bei der Kameraeinrichtung 150 handelt es sich gemäß diesem Ausführungsbeispiel um eine Fahrerüberwachungskamera, kurz DMC, für engl. Driver Monitoring Camera.
-
Die Beleuchtungsschnittstelle 120 ist ferner dazu ausgebildet, um zumindest die Hintergrundbeleuchtungseinrichtung 140 und/oder die Frontbeleuchtungseinrichtung 155 anzusteuern, die dazu ausgebildet ist, um zum Beleuchten zumindest einen Infrarotstrahl 165 zu erzeugen. Außerdem weist die Beleuchtungsschnittstelle 120 und/oder zumindest die Hintergrundbeleuchtungseinrichtung 140 und/oder die Frontbeleuchtungseinrichtung 155 zumindest eine Mustererzeugungseinrichtung auf, die dazu ausgebildet ist, um beim Beleuchten des Fahrers 105 ein Lichtmuster zu erzeugen, das in den 2 und 3 erkennbar ist.
-
Im Folgenden werden Details der Fahrerbeobachtungsvorrichtung 100 noch einmal genauer beschrieben:
-
Der hier vorgestellte Ansatz ermöglicht eine abgeschattete Infrarot-Hintergrundbeleuchtung für eine effiziente ROI-Segmentierung in Fahrerbeobachtungsanwendungen. ROI steht für Region of Interest, deutsch: Bereich von Interesse, der gemäß diesem Ausführungsbeispiel den Kopf des Fahrers 105 darstellt.
-
Headtracking- und Eyetracking-Anwendungen sind heutzutage essenzieller Bestandteil jedes Fahrerbeobachtungssystems, engl. DMC: Driver Monitoring Camera. Diese Systeme sind für zukünftiges teil-autonomes und später vollautomatisiertes Fahren zur Analyse einer Reaktionsfähigkeit des Fahrers 105 unabdingbar. Eine hier gezeigte Umsetzung der hierfür Anwendung findenden Bildverarbeitungs-/CV-Verfahren, CV: Computer Vision, arbeitet mit einer direkten, evtl. gepulsten, Infrarotbeleuchtung, auch IR-Beleuchtung genannt, des Fahrers 105 bzw. ist hierauf optimiert. IR-Strahler der Frontbeleuchtungseinrichtung 155 befinden sich hier in der Nähe der Kameraeinrichtung 150 im Instrumenten-Cluster oder gemäß einem alternativen Ausführungsbeispiel an einer anderen Stelle im Fahrzeuginnenraum im Bereich vor dem Fahrer 105, mit Blickrichtung auf diesen. Dabei wird für die Beleuchtung infrarotes Licht genutzt, um eine von einer Umgebungslichtsituation möglichst unabhängige, homogene Ausleuchtung zu erreichen, welche für den Fahrer 105 nicht sichtbar ist, bzw. diesen blendet. Zur Unterdrückung des Umgebungslichtes wird gemäß diesem Ausführungsbeispiel ein optischer Bandpassfilter genutzt.
-
Die hier vorgestellte Frontbeleuchtungseinrichtung 155 leuchtet das Gesicht des Fahrzeugführers optimal, unter Berücksichtigung des derzeitigen Kopfabstands, des Bewegungsprofils und Reflexionseigenschaften ggf. getragener Brillen und der vorherrschenden äußeren Umgebungslichtsituation durch eine direkte ROI-Beleuchtung aus. Dabei ist eine Hauptaufgabe die ROI, hier das Gesicht des Fahrers 105, so zu beleuchten, dass dieser gut vom Hintergrund unterschieden oder segmentiert werden kann. Bei bekannten Fahrerbeobachtungssystemen wird hierfür entweder eine initiale maximale Beleuchtungsintensität der Infrarot-Strahlungsquellen, kurz IRE für Infra Red Emitter, mittels Feedback der aktuellen ROI-Position und Beleuchtungsgüte von Head- und Eyetracker-Algorithmen geregelt, dieser Vorgang wird auch Closed-Loop-Regelung genannt, oder die Segmentierung wird, falls die rückgeführten Daten nicht zur Verfügung stehen, mittels eines zusätzlichen separaten Bildverarbeitungsblocks zur Bewertung der ROI-Ausleuchtungsituation umgesetzt. Die Regelung der ROI-Beleuchtung im Zusammenspiel mit einer zuverlässigen Segmentierung des Kopfs des Fahrers 105 vom Bildhintergrund, abgestimmt auf die Extraktion der Gesichtsmerkmale der DMC-Anwendung, stellt die Basis für alle Head- und darauf aufbauenden Eyetracking-Anwendungen dar. Eine Berechnungskomplexität dieser Algorithmenteile ist sehr stark von der äußeren Umgebungslichtsituation/Schattenbildung, engl.: Ambient Light, und Güte eines Optischen Pfades des DMC-Systems abhängig. Da der Optische Pfad inklusive Imager des DMC-Systems einen wesentlichen Kostenfaktor darstellt, erfolgt hier eine kostenoptimierte funktional eingeschränkte kommerzielle Umsetzung. Die hieraus resultierenden Imperfektionen können mittels eines verbesserten ROI-Beleuchtungsregelungsverfahrens und optimierter Bildverarbeitungsalgorithmen kompensiert werden, welche jedoch andererseits wieder eine steigende Komplexität d. h. eine höhere Prozessor-Ressourcen-Allokation verursachen.
-
Weitere durch diesen Ansatz vorgestellte, neuartige, indirekte Beleuchtungsverfahren, unter eventueller Nutzung von strukturierter Beleuchtung, können hier vorteilhafterweise Abhilfe schaffen. Strukturierte Beleuchtung findet heutzutage hauptsächlich zur Vermessung und Modellierung dreidimensionaler Objekte Anwendung. Hierzu wird ein definiertes Lichtmuster mittels spezieller Projektionsvorrichtigen auf das zu vermessende Objekt abgebildet und mittels einem oder mehrerer Kamerasysteme eine Deformation des Projektionsmusters zur Modellierung der Objektoberfläche/-geometrie, meist über Triangulationsbeziehungen, ausgewertet. Gemäß diesem Ausführungsbeispiel wird durch die mit der Mustererzeugungseinrichtung ausgestattete Frontbeleuchtungseinrichtung 155 eine solche direkte strukturierte Beleuchtung und durch die Hintergrundbeleuchtungseinrichtung 140 eine abgeschattete indirekte Beleuchtung, also eine Hintergrundbeleuchtung, im Zusammenhang mit Headtracking- und Eyetracking-Anwendungen genutzt.
-
Die hier vorgestellte Fahrerbeobachtungsvorrichtung 100 vereinfacht signifikant eine mittels Bildverarbeitung umgesetzte Aufgabe der Kopfsegmentierung des Fahrers 105 vom Bildhintergrund sowie eine damit zusammenspielende ROI-Beleuchtungsregelung. Dazu wird eine, durch den Kopf des Fahrers 105 abgeschattete, Hintergrundinfrarotbeleuchtung, welche hinter dem Fahrer 105, hier am Fahrzeughimmel des Fahrzeugs 110, installiert wird, eingesetzt.
-
Zu sehen ist demnach in 1 ein Schema der abgeschatteten strukturierten Infrarotbeleuchtung. Diese durch die Hintergrundbeleuchtungseinrichtung 140 erzeugte Hintergrundinfrarotbeleuchtung, kurz BIRE für engl. Background IRE, ist gegen die Blickrichtung der durch die Frontbeleuchtungseinrichtung 155 erzeugten direkten frontalen Infrarotbeleuchtung des Gesichts des Fahrers, ROI, und gegen die Blickrichtung der Kameraeinrichtung 150 im Fahrzeug 110 gerichtet. IRE- und BIRE-Beleuchtungseinheiten werden über das DMC-System gesteuert/geregelt.
-
Die Hintergrundbeleuchtungseinrichtung 140 verwendet gemäß diesem Ausführungsbeispiel für eine Verwendung im Dauerbetrieb, zur Unterscheidung zur frontalen direkten infraroten ROI-Beleuchtung der Frontbeleuchtungseinrichtung 155 strukturiertes Licht. Hierzu enthält die Hintergrundbeleuchtungseinrichtung 140 folgende Baugruppen: eine oder mehrere dedizierte LED- oder LASER-Lichtquellen, eine oder mehrere Schablonen zur Erzeugung des gewünschten Musters bzw. Lichtmusters und/oder zumindest eine geeignete Projektionseinheit/Optik zur Erzeugung des infraroten Lichtmusters.
-
Die LED-Lichtquellen erzeugen einen homogenen Infrarotspot. Mittels einer/mehrerer, ggf. veränderlichen, Schablone können für die strukturierte Beleuchtung unterschiedlichste Muster erzeugt werden, welche auf die DMC-Anwendung abgestimmt/optimiert sind. Die Muster der strukturierten Beleuchtung bestehen gemäß diesem Ausführungsbeispiel aus einzelnen Linien, Multilinien, Kreuzen und/oder auch Spots mit scharfen Kanten. Der Einsatz einer Optik ermöglicht eine Skalierung des Musters hinsichtlich einer nötigen Größe bei gegebenem Objektabstandsbereich. Das Abbildungsvermögen der Optik ist hierbei wichtig, um eine möglichst hohe Auflösung zu erreichen und Abbildungsfehler wie z. B. Verzeichnung zu reduzieren. Bei der Verwendung von infrarotem Laser-Licht zur Erzeugung der strukturierten Beleuchtung können Linienstrukturbreiten von bis zu 10 µm erreicht werden, wohingegen LED-Linien mindestens eine Breite von 50 µm aufweisen. Falls diese Präzision notwendig ist, können die Schablonen durch einen oder mehrere steuerbare Mikrospiegel und eine Ansteuerlogik ersetzt werden, wobei hier die Abbildungsoptik größtenteils entfallen kann.
-
Durch die hier vorgestellte zusätzliche Hintergrundinfrarotbeleuchtung kann vorteilhafterweise eine Vereinfachung einer Bildverarbeitungsalgorithmik zur Kopfsegmentierung, auch im Hinblick auf die Regelung der frontalen direkten Infrarotbeleuchtung, erzielt werden. Dadurch kann ein weniger performanter und somit kostengünstiger Prozessor im DMC-System eingesetzt werden, bzw. eine Reduktion der Allokation von Prozessor-Ressourcen, die somit für andere Anwendungen zur Verfügung stehen, erzielt werden.
-
Das über die Hintergrundbeleuchtungseinrichtung 140 ausgestrahlte InfrarotLicht kann wie gemäß diesem Ausführungsbeispiel in einem Dauerbetrieb durch eine bekannte vom DMC-System definierte Struktursignatur von der frontalen IRE-ROI-Beleuchtung des Fahrers unterschieden werden. Gemäß einem alternativen Ausführungsbeispiel wird auf die Strukturierung des Lichtes verzichtet, falls ein zeitlicher Pulsbetrieb, also eine zeitlich abwechselnde direkte und indirekte Beleuchtung durch die Frontbeleuchtungseinrichtung 155 und die Hintergrundbeleuchtungseinrichtung 140, für die relevante DMC-Anwendung und die Umgebungslichtsituation ebenfalls ausreichende Ergebnisse liefert. Dieser optionale gepulste Betrieb kann zu einer weiteren Produktionsstückkostenreduktion führen, da die für die Erzeugung der Struktur notwendigen Schablonen und die Projektionseinheit der Hintergrundbeleuchtungseinrichtung 140 entfallen können.
-
Ein weiterer Vorteil des hier vorgestellten BIRE-Beleuchtungskonzepts ist eine einfache und zuverlässige Umsetzung einer Funktionskontrolle des Optischen Pfades des DMC-Systems, wobei Verdeckungen und Verschmutzungen, Blindness/Occlusion-Detection, der Optik effizient erkannt werden können. Hierzu wird ein definiertes Testmuster zu einem definierten Zeitpunkt mittels BIRE-Beleuchtung erzeugt. Wird dieses definierte aktive Testpattern nicht erkannt, so muss ein Fehler am Optischen DMC-Pfad vorliegen, vorausgesetzt die BIRE-Beleuchtung funktioniert, was mittels Elektronik z. B. über Strommessung oder mittels Fototransistor verifiziert werden kann. Dabei kann ebenfalls ein kombiniertes Testpattern der frontalen IRE- und BIRE-Beleuchtung Anwendung finden, siehe hierzu 3, um auch partielle Verdeckung der Optik, z. B. durch die Hand des Fahrers, erkennen zu können. Die zuverlässige Verdeckungs- und Verschmutzungsdetektion im Optischen DMC-Pfad ist im Hinblick auf Funktionale Sicherheit, ISO 26262, ein sehr wichtiger und notwendiger Funktionsblock, welcher üblicherweise mittels Bildverarbeitung, mit nicht unerheblichem Rechenaufwand, in Software realisiert werden muss.
-
2 zeigt eine schematische Darstellung eines durch eine Kameraschnittstelle einer Fahrerbeobachtungsvorrichtung eingelesenen Kamerabilds 200 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die anhand von 1 beschriebene Fahrerbeobachtungsvorrichtung 100 handeln.
-
Auf dem Kamerabild 210 ist zu erkennen, dass die Mustererzeugungseinrichtung 205 der Hintergrundbeleuchtungseinrichtung 140 zur Erzeugung des Lichtmusters 210 zumindest eine der in 1 beschriebenen Schablonen und/oder Projektionseinrichtung und/oder Optik aufweist, die dazu ausgebildet ist, um das Lichtmuster 210 zu erzeugen, das zumindest eine Linie und/oder eine Multilinie und/oder ein Kreuz und/oder einen Spot aufweist. Gemäß diesem Ausführungsbeispiel erzeugt die Mustererzeugungseinrichtung 205 im Hintergrund des Kopfes 215 des Fahrers ein kariertes Lichtmuster 210.
-
Anders ausgedrückt zeigt 2 schematisch eine mittels BIRE-Beleuchtung hervorgerufene und über die Kameraeinrichtung aufgenommene Szene, also ein schematisches Kamerabild 200 einer abgeschatteten strukturierten Infrarotbeleuchtung. Die verwendete strukturierte Beleuchtung besteht dabei aus einem definierten Muster, welches auf eine aktuelle DMC-Anwendung, z. B. Face-ID, Gaze-Tracking etc., die Physis und das Bewegungsverhalten des Fahrers optimiert werden kann, hier schematisch mittels einer einfachen Gitterstruktur dargestellt. Durch diese vom DMC-System vorgegebene BIRE-Struktur kann der Kopf 215 des Fahrers sehr viel einfacher vom Hintergrund segmentiert werden, da dieser in dem Bereich liegen muss, welcher das BIRE-Beleuchtungsmuster, also das Lichtmuster 210 nicht aufweist.
-
Dadurch kann die Segmentierungsalgorithmik, welche normalerweise eine nicht unerhebliche Anzahl von Rechenoperationen zur Berechnung von z. B. Gradienten- oder Regionsflutungsverfahren benötigt, mittels einfacher Algorithmen, z. B. Masken-/Schwellwertbildung, umgesetzt werden. Neben der permanenten BIRE-Beleuchtung kann gemäß einem alternativen Ausführungsbeispiel, abgestimmt auf die laufende DMC-Anwendung, eine zeitlich gepulste zyklische Beleuchtung, z. B. synchron zu jeder zehnten Bildaufnahme einer Echtzeitvideoverarbeitung, erfolgen. Darüber hinaus kann auch ereignisgesteuert je nach DMC-Anwendungsanforderungen ein Art BIRE-Blitzlicht nur im Falle von schwierigen Beleuchtungssituationen, direkte Sonneneinstrahlung und daraus entstehende Schattenbildung durch Seitenfenster, gesteuert durch das DMC-System erfolgen. Wie bereits in 1 angesprochen, kann bei einem zeitlich gepulsten Betrieb ggf. auf eine Strukturierung der BIRE-Beleuchtung verzichtet werden und die BIRE als normale, vollflächige Beleuchtung genutzt werden, da hier ein Zeitpunkt als Kriterium zur Unterscheidung von der frontalen IRE-Beleuchtung dienen kann. Dies muss dann zum Zeitpunkt des BIRE-Impulses/-Blitzes ausgeschalten sein, bzw. sich mit diesem zeitlich abwechseln. Weiterhin kann ein BIRE-Impuls/-Blitz auch zur einfachen Regelung der frontalen direkten IRE-Beleuchtung genutzt werden, falls diese nicht bereits indirekt über die Closed-Loop-Regelung, Rückführung von Statuswerten des Headtracking-Algorithmus zur Bestimmung der aktuellen ROI-Beleuchtungsgüte, stattfindet.
-
3 zeigt eine schematische Darstellung eines durch eine Kameraschnittstelle einer Fahrerbeobachtungsvorrichtung eingelesenen weiteren Kamerabilds 300 gemäß einem Ausführungsbeispiel. Dabei kann es sich um das in 2 beschriebene Kamerabild handeln, auf dem zusätzlich ein durch die Frontbeleuchtungseinrichtung 155 und eine weitere Mustererzeugungseinrichtung 305 der Frontbeleuchtungseinrichtung 155 erzeugtes weiteres Lichtmuster 310 dargestellt ist.
-
Anders ausgedrückt zeigt 3 ein schematisches Kamerabild 300 abgeschatteter und direkter strukturierter Infrarotbeleuchtung. Die bereits in 2 beschriebene strukturierte Beleuchtung durch die Hintergrundbeleuchtungseinrichtung 140 findet gemäß diesem Ausführungsbeispiel ebenfalls im Dauerbetrieb oder gemäß einem alternativen Ausführungsbeispiel auch gepulst für die frontale IRE-Beleuchtung durch die Frontbeleuchtungseinrichtung 155 Anwendung. Hierzu unterscheidet sich eine Struktur der frontalen Beleuchtung durch die Frontbeleuchtungseinrichtung 155 direkt von einer Struktur der Hintergrundbeleuchtung durch die Hintergrundbeleuchtungseinrichtung 140, gemäß diesem Ausführungsbeispiel ist sie orthogonal zu dieser. Ein Vorteil dieser frontalen strukturierten Beleuchtung in Form des weiteren Lichtmusters 310 ist eine zusätzliche Tiefeninformation, die über die Deformation des vorgegebenen Musters unmittelbar mittels Triangulationszusammenhängen ermittelt werden kann. Hieraus können sich dann weitere Vereinfachungen der Head- und/oder Head-Pose-Tracking-Algorithmen ergeben. Die frontale strukturierte Beleuchtung kann hierbei wie bereits erwähnt gemäß dem alternativen Ausführungsbeispiel, je nach DMC-Anwendungsfall und Beleuchtungssituation, ebenfalls zeitlich gepulst, periodisch oder zeitlich punktuell/nach Bedarf, auch in Abwechslung mit der durch die Hintergrundbeleuchtungseinrichtung 140 erzeugten Hintergrundbeleuchtung erfolgen.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug gemäß einem Ausführungsbeispiel.
-
Dabei kann es sich um ein Verfahren 400 handeln, das von einer der anhand der vorangegangenen Figuren beschriebenen Fahrerbeobachtungsvorrichtungen ausführbar ist. Das Verfahren 400 weist zumindest einen Schritt 405 des Ausgebens, einen Schritt 410 des Einlesens und einen Schritt 415 des Beobachtens auf.
-
Im Schritt 405 des Ausgebens wird das Beleuchtungssignal ausgegeben, das dazu ausgebildet ist, um zumindest die Hintergrundbeleuchtungseinrichtung anzusteuern, die angeordnet oder anordenbar ist, um zumindest den Bereich um die Hinterseite des Fahrers und/oder die Hinterseite des Fahrers zu beleuchten, um in dem weiteren Bereich der der Hinterseite gegenüberliegenden Vorderseite des Fahrers den Schattenbereich zu erzeugen.
-
Im Schritt 410 des Einlesens wird das Kamerasignal eingelesen, das das Kamerabild von der Vorderseite des Fahrers mit dem Schattenbereich repräsentiert.
-
Im Schritt 415 des Beobachtens wird der Fahrer unter Verwendung zumindest des von der Beleuchtungsschnittstelle ausgegebenen Beleuchtungssignals und des von der Kameraschnittstelle eingelesenen Kamerasignals beobachtet.
-
Optional wird gemäß diesem Ausführungsbeispiel im Schritt 415 des Beobachtens unter Verwendung zumindest des Beleuchtungssignals und des Kamerasignals die Position des Fahrers bestimmt und/oder der Fahrerkopf detektiert.
-
Die hier vorgestellten Verfahrensschritte können wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
