DE102019004692B3 - Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug - Google Patents

Abstract

Die Erfindung betrifft eine Vorrichtung (100) zur Ermittlung von Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug, umfassend: eine Kamera (101), mit der Bilddaten des Kopfes und der Augen A1, A2 (102) des Fahrzeugnutzers erfassbar sind, eine Bilddatenauswerteeinheit (103), mit der auf Basis der erfassten Bilddaten Positionen POS_A1, POS_A2 der Augen A1, A2 (102) und/oder die aktuelle Blickrichtung des Fahrzeugnutzers ermittelbar sind, und ein Steuergerät (106), das, sofern keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung ermittelbar ist/sind, ein Signal S erzeugt, welches eine Lichtquelle (104) aktiviert.

Description

• Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Ermittlung von Bilddaten der Augen, der aktuellen Positionen POS_A1, POS_A2 der zwei Augen A1, A2 eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug. Die Erfassung der Positionen POS_A1, POS_A2 der zwei Augen A1, A2 dient dabei vorteilhaft als Grundlage zur Ermittlung einer aktuellen Blickrichtung des Fahrzeugnutzers.
• Insbesondere moderne Fahrerassistenzsysteme weisen Funktionen auf, die auf Basis der ermittelten aktuellen Blickrichtung des Fahrzeugnutzers gesteuert werden können. So wird in heutigen Fahrerassistenzsystemen und Sicherheitssystemen in Kraftfahrzeugen eine Vielzahl von Informationen benutzt, um eine bessere Einstellung und Wirksamkeit der Systeme zu ermöglichen. Darunter sind auch Informationen aus dem Innenraum des Kraftfahrzeugs, die den Fahrer oder andere Insassen betreffen können.
• So ist beispielsweise bekannt, die Blickrichtung des Fahrers eines Kraftfahrzeugs zu ermitteln und eine diesbezügliche Information in Fahrerassistenzsystemen zu nutzen. Zur Ermittlung einer solchen Information wird meist eine Videokamera verwendet, die den Fahrerkopf frontal von vorn aufzeichnet. Die Kamera kann dazu beispielsweise im Bereich eines Kombinationsinstruments bzw. im Bereich der Armaturentafel, in der Nähe der Frontscheibe, positioniert werden. Über Bildverarbeitungsalgorithmen wird ein durch die Kamera aufgenommenes Bild nach typischen Merkmalen durchsucht, beispielsweise zwei runden Augen, einer länglichen Nase und einem quer verlaufenden Mund. Durch Auswertung der Symmetrieeigenschaften dieser Merkmale kann bereits eine einfache Kopfausrichtungserkennung realisiert werden; eine verbesserte Ausführungsform sieht vor, dass auch die Pupillen im Bereich der Augen aufgefunden und ausgewertet werden.
• Zur ausreichenden Erkennbarkeit der Szenerie bei Dunkelheit kann eine Infrarot-Kamera sowie eine aktive Infrarot-Beleuchtung des Oberkörpers des Fahrers von vorne realisiert werden.
• Diese Blickrichtungs- bzw. Kopfausrichtungserkennung wird beispielsweise verwendet, um den Aufmerksamkeitsgrad des Fahrers in Bezug auf die Beobachtung der Straße zu ermitteln. Mit Hilfe dieses Aufmerksamkeitsgrades werden dann Fahrerassistenz- und/oder Sicherheitssysteme unterschiedlich früh oder stark angesteuert, das heißt, es werden Betriebsparameter dieser Systeme eingestellt.
• Konkrete Beispiele hierfür sind: Bei Kollisionswarnungs- und Kollisionsnotbremssystemen ist es bekannt, bei Blickabwendung des Fahrers eine frühere Auslösung der Warnung bzw. des Bremsvorgangs einzustellen. Bei ACC-Stop&Go-Systemen und Stauassistenzsystemen wird ein automatisches Anfahren nicht ermöglicht, wenn der Blick des Fahrers nicht auf das Verkehrsgeschehen gerichtet ist. Spurhalteassistenzsysteme (Lane Departure Warning) warnen bei Unaufmerksamkeit deutlich früher oder stärker als üblich. Schließlich sind noch Spurwechselassistenzsysteme zu nennen, die ebenso früher oder stärker warnen, wenn der Fahrerblick nicht auf den Außenspiegel gerichtet ist.
• Eine Vorrichtung zur Blickrichtungserkennung eines Fahrzeugnutzers ist beispielsweise aus der Druckschrift DE 10 2015 206 982 A1 bekannt. Aus dieser Druckschrift geht ein Kombiinstrument umfassend ein Display hervor, wobei im Randbereich des Displays eine Kamera zur Fahrerbeobachtung bzw. zur Blickrichtungsverfolgung des Fahrers angeordnet ist. Mittels dieser Kamera wird beispielsweise eine Übernahmebereitschaft eines Fahrers beim automatischen Fahren überwacht oder eine Müdigkeit beim Fahrer erkannt. In Abhängigkeit der ermittelten Blickrichtung können weiterhin Fahrzeugfunktionen gesteuert werden. Beispielsweise wird ein Bildschirm aufgehellt oder eine Anzeige/Bereich auf einem Bildschirm animiert, sobald der Blickrichtung des Fahrers darauf gerichtet wird. Weiterhin können Funktionen durch eine Kombination von Blickrichtung und Sprache/Gesten gesteuert werden. So kann mit einem Blick auf eine Seitenscheibe des Fahrzeugs und einer eine Öffnung andeutenden Handgeste gezielt eine Öffnung der Seitenscheibe bewirkt werden.
• Die DE 10 2008 036 023 A1 offenbart eine Fahrzeuginformationsmeldevorrichtung, die mittels einer Kamera ein Gesicht eines Fahrers erfasst. Die Kamera nimmt das Bild des Gesichts auf, sobald ein am Fahrersitz angeordneten Sitzsensor eine Belegung ermittelt.
• Die EP 3 249 497 A1 beschreibt eine Vorrichtung, bei der eine Anzeige aktiviert wird, sobald eine Blickerfassung des Fahrers nicht möglich ist.
• Aus der WO 2018 / 208 776 A1 ist eine Kamera zur Beobachtung eines Fahrers bekannt, wobei über oder neben der Kamera angeordnet Lichtquellen zur Informationsanzeige und zur Objektbeleuchtung angeordnet sind.
• Die DE 10 2014 221 039 A1 offenbart eine Vorrichtung zur Erfassung von Bilddaten eines Gesichts mit einer Kamera, einer Bildauswerteeinheit und einem Steuergerät zum Bereitstellen eines Positionierungssignals, welches eine Richtung angibt, in die ein Lenkrad zu schwenken ist, so dass das Gesicht des Fahrers nicht verdeckt und mit der Kamera erkennbar ist.
• Voraussetzung für eine sichere Durchführung von Funktionen, die auf einer Ermittlung von Augenpositionen POS_A1, POS_A2 des jeweiligen Fahrzeugnutzers bzw. auf einer Blickrichtungserkennung des Fahrzeugnutzers basieren, ist, dass eine Kamera die Augenpositionen POS_A1, POS_A2 des Fahrzeugnutzers möglichst kontinuierlich und störungsfrei (das heißt insbesondere ohne Verdeckung der Augen durch im Bereich zwischen der Kamera und den Augen angeordnete Objekte) ermitteln kann.
• Zu Störungen bei der Ermittlung der Augenpositionen POS_A1, POS_A2 des Fahrzeugnutzers, insbesondere des Fahrers, kann es beispielsweise kommen, wenn abhängig von seiner Sitzposition die Augen des Fahrzeugnutzers durch den Lenkradkranz verdeckt werden.
• Aufgabe der Erfindung ist es, eine verbesserte Vorrichtung zur Ermittlung von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug anzugeben, so dass Störungen möglichst reduziert werden.
• Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
• Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zur Ermittlung von Bildaten der Augen, Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug. Die vorgeschlagene Vorrichtung umfasst: eine Kamera, mit der Bilddaten eines Fahrzeuginnenraums erfassbar sind, eine Bilddatenauswerteeinheit, mit der auf Basis der erfassten Bilddaten der Augen, Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder die aktuelle Blickrichtung des Fahrzeugnutzers ermittelbar sind, und ein Steuergerät, das sofern keine Bilddaten der Augen keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung ermittelbar ist/sind, ein Signal S erzeugt, welches eine Lichtquelle aktiviert.
• Der Begriff des „Fahrzeugnutzers“ umfasst vorliegend einen Fahrer oder einen Beifahrer oder einen Passagier des Fahrzeugs.
• „A1“ bezeichnet vorliegend beispielsweise das linke Auge und entsprechend „A2“ das rechte Auge des Fahrzeugnutzers.
• Der Begriff „Kamera“ bezeichnet vorliegend insbesondere eine Digitalkamera, eine Videokamera, eine Infrarotkamera oder eine Stereokamera, die jeweils Bilddaten aufzeichnen und an die Bilddatenauswerteeinheit übermitteln. Die Kamera ist vorteilhaft empfindlich für sichtbares Licht und vorteilhaft für Infrarotlicht. Letzteres dient insbesondere zur Ermittlung der Pupillenpositionen der Augen A1, A2 des Fahrzeugnutzers und zur Erfassung der Augenpositionen in dunkler Umgebung, beispielsweise bei Nacht. Die Kamera ist dem von einem Fahrzeugnutzer beziehungsweise einem Fahrzeugführer besetzten Fahrzeuginnenraum zugewandt.
• Die Bildauswerteeinheit ist dazu ausgebildet aus den Bilddaten der Kamera Bilddaten der Augen zu extrahieren, d.h. aus den gesamten Bilddaten der Kamera die Augen des Fahrzeugnutzers zu erkennen.
  Die Positionen POS_A1, POS_A2 der Augen A1, A2 bezeichnen insbesondere Positionen in einem fahrzeugfesten Koordinatensystem. Um aus in den Bilddaten ermittelten Positionen der Augen auf die Positionen POS_A1, POS_A2 der Augen A1, A2 im fahrzeugfesten Koordinatensystem zu schließen und insbesondere eine Blickrichtung zu ermitteln sind entsprechende Transformationen und gegebenenfalls Kalibrierungen erforderlich. Ein entsprechender Auswerte-Algorithmus mit entsprechenden Transformationsparametern ist vorteilhaft in der Bilddatenauswerteeinheit hinterlegt.
• Die Bilddatenauswerteeinheit ist weiterhin dazu ausgebildet und eingerichtet eine aktuelle Blickrichtung des Fahrzeugnutzers zu ermitteln. Dies erfolgt auf Basis der erfassten Bilddaten und im Stand der Technik bekannter Auswertealgorithmen. Details hierzu sind dem einschlägigen Stand der Technik zu entnehmen.
• In einer vorteilhaften Weiterbildung der Vorrichtung ist die Lichtquelle eine LED, eine OLED, eine Glühlampe, eine Halogenlampe, ein Laser oder eine Nernstlampe. Die Lichtquelle wird an geeigneter Position im Fahrzeug angeordnet.
• Die Lichtquelle weist vorteilhaft eine Blende bzw. eine Blendenvorrichtung auf, welche von der Lichtquelle ausgehende Lichtstrahlen auf einen vorgegebenen Raumwinkel begrenzen. Damit kann eine derartige Lichtquelle mit Blende/Blendenvorrichtung nur von einem Auge erkannt werden, welches in dem vorgegebenen Raumwinkel angeordnet ist.
• Die Lichtquelle umfasst in einer vorteilhaften Weiterbildung ein oder mehrere Pixel eines mit dem Steuergerät verbundenen Displays. Die Lichtquelle ist vorteilhaft als ein Teil des Displays ausgeführt. Das Display ist vorteilhaft ein Display eines Kombiinstruments für das Fahrzeug. Das Display ist vorteilhaft ein LED-, OLED-, Plasma- oder LC-Display. Vorteilhafterweise ist die Kamera in das Display integriert. Bevorzugt weist das Display zur Aufnahme der Kamera eine die Gesamtkontur unterbrechende Ausnehmung auf, so dass das die Kamera innerhalb der Displayau0enkontur angeordnet ist.
  Eine vorteilhafte Weiterbildung zeichnet sich dadurch aus, dass das Steuergerät, sofern ein Signal S erzeugt ist, das Display zur Ausgabe einer optischen Information ansteuert, und wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen. Der Die hierzu ausgegebene optische Information wird vorteilhaft durch einen angezeigten Text und/oder durch zumindest ein/e entsprechende/s Hinweiszeichen/-graphik repräsentiert. Die Lichtquelle und die optisch ausgegebene Information sind vorteilhaft auf einem Display angezeigt. In einer alternativen Ausführungsform können diese mit unterschiedlichen Elementen erzeugt werden.
• Eine vorteilhafte Weiterbildung der vorgeschlagenen Vorrichtung zeichnet sich dadurch aus, dass die Vorrichtung zusätzlich eine mit dem Steuergerät verbundene Audioausgabeeinheit aufweist, wobei das Steuergerät, sofern ein Signal S erzeugt ist, die Audioausgabeeinheit zur Ausgabe einer akustischen Information ansteuert, und wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen. Die akustische Information kann beispielsweise ein Warnsignal und/oder ein gesprochener Text sein.
• In einer vorteilhaften Weiterbildung der vorgeschlagenen Vorrichtung ist das Steuergerät dazu eingerichtet und ausgeführt, sofern ein Signal S erzeugt ist, auf Basis der vom Kopf des Fahrzeugnutzers gewonnen Bilddaten aktuelle Augenpositionen des Fahrzeugnutzers zu prädizieren (d.h. auf Basis eines mathematischen Modells zu schätzen), und weiterhin auf Basis der prädizierten Augenpositionen Informationen zu erzeugen, die angeben, wie (d.h. nach unten/oben, vorne/hinten) die aktuelle Sitzposition und/oder die aktuelle Lenkradposition zu verstellen ist/sind, sodass die Augen A1, A2 freie Sicht auf die Kamera haben, bzw. in einem optimalen Raumbereich angeordnet sind. Die entsprechende Information hierzu wird vorteilhaft optisch und/oder akustisch ausgegeben.
• Eine vorteilhafte Weiterbildung der vorgeschlagenen Vorrichtung zeichnet sich dadurch aus, dass die Vorrichtung zusätzlich einen Sitzsensor aufweist, mit dem eine Belegung eines Fahrzeugsitzes durch den Fahrzeugnutzer ermittelbar ist. Vorteilhaft wird die Vorrichtung nur dann aktiviert, wenn der Sitzsensor die Belegung Fahrzeugsitzes ermittelt. Dies dient insbesondere zur Energieeinsparung und verlängert die Lebensdauer der entsprechenden Komponenten.
• Eine vorteilhafte Weiterbildung der vorgeschlagenen Vorrichtung zeichnet sich dadurch aus, dass die Lichtquelle eine oder mehrere Einzellichtquellen aufweist, wobei die eine oder mehrere Einzellichtquellen derart angeordnet und ausgeführt sind, dass die eine oder alle Einzellichtquellen nur dann von dem Fahrzeugnutzer erkannt werden können, wenn seine Augen A1, A2, die Augenpositionen und/oder eine Blickrichtung von der Kamera unverdeckt erfassbar sind und/oder wenn seine Augen in einem vorgegebenen optimalen Raumbereich oder Raumwinkelbereich relativ zur Kamera, d.h. im Erfassungsbereich der Kamera angeordnet sind. Mit anderen Worten kann der Fahrzeugnutzer die Erfassung der Bilddaten der Augen A1, A2, der Positionen POS_A1, POS_A2 der Augen A1, A2 (102) und/oder die aktuelle Blickrichtung sicherstellen, indem er Sitz oder Lenkrad so einstellt, dass die Lichtquelle, d.h. entweder die Einzellichtquelle oder alle Einzellichtquellen unverdeckt sichtbar sind.
• In einer vorteilhaften Weiterbildung sind Einzellichtquellen der Lichtquelle jeweils mit einer Blendenvorrichtung versehen, die von der jeweiligen Einzellichtquelle ausgehende Lichtstrahlen auf jeweils vorgegebene Raumwinkelbereiche begrenzt. Alternativ oder zusätzlich zur Blendenvorrichtung sind die Einzellichtquellen mit einer entsprechenden Optik kombiniert, die die von den jeweiligen Einzellichtquellen ausgehenden Lichtstrahlen auf einen jeweils vorgegebenen Raumwinkelbereich begrenzt.
• Die vorgegebenen Raumwinkelbereiche der Einzellichtquellen überlappen sich vorteilhaft in einem Raumbereich. Vorteilhaft können die Augen A1, A2 nur in diesem Raumbereich alle Einzellichtquellen gleichzeitig erkennen. Sofern sich die Augen A1, A2 des Fahrzeugnutzers in diesem Raumbereich befinden, ergibt sich eine optimale Erfassbarkeit der Augen durch die Kamera, d.h. in diesem Raumbereich liegen insbesondere keine Verdeckungen der Augen durch beispielsweise den Lenkradkranz des Lenkrades des Fahrzeugs vor.
• Der Fahrzeugnutzer wird somit durch die Aktivierung der Lichtquelle bzw. der Einzellichtquellen zunächst darauf hingewiesen, dass seine Augen nicht erkennbar sind, die Position seiner Augen und/oder seine Blickrichtung aktuell nicht ermittelbar ist. Darüber hinaus wird dadurch der Fahrzeugnutzer angeregt, seine Sitzposition und/oder die Lenkradposition derart zu verändern, dass er die Lichtquelle bzw. alle Einzellichtquellen zeitgleich erkennt. Ist dies der Fall, so hat der Fahrzeugnutzer seine relative Position zur Kamera optimal eingestellt. Dies ist insbesondere für die Zuverlässigkeit und Funktionalität aller Funktionen des Fahrzeugs relevant, die von der Ermittlung der Augenpositionen und/oder der Blickrichtung des Fahrzeugnutzers abhängen.
• Vorteilhaft ist eine erste Einzellichtquelle links, eine zweite Einzellichtquelle rechts und/oder eine dritte Einzellichtquelle oberhalb und/oder eine vierte Einzellichtquelle unterhalb von der Kamera angeordnet. Durch diese Anordnung der Einzellichtquellen ergeben sich insbesondere einfache und intuitive Anweisungen zur Verstellung zumindest der Sitzposition oder die Einnahme einer richtigen Sitzposition auf dem Sitz. Erkennt der Fahrzeugnutzer nicht alle, beispielsweise die erste, zweite und vierte Einzellichtquelle, so ist dies ein Hinweis die Sitzverstellung derart zu ändern, dass der Kopf und mithin die Augen vertikal nach oben verfahren werden müssen, um auch die dritte Einzellichtquelle zu erkennen. Alternativ oder zusätzlich kann die Lenkradpositionsverstellung derart angepasst werden, dass alle vier Einzellichtquellen vom Fahrzeugnutzer gleichzeitig erkennbar sind. In alternativen Ausführungsformen ist nur die erste und zweite oder die erst, zweite und dritte Einzellichtquelle vorhanden. Alternativ sind jeweils mehrere erste, zweite, dritte und/oder vierte Einzellichtquellen der Kamera benachbart angeordnet.
• Eine vorteilhafte Weiterbildung der vorgeschlagenen Vorrichtung zeichnet sich dadurch aus, dass die Steuereinheit derart ausgeführt und eingerichtet ist, dass sofern die Augen A1, A2 von der Kamera nicht erfassbar sind, d.h. dass die Augen in den erzeugten Bilddaten nicht ermittelbar sind, von einer Erfassung der Augenpositionen POS_A1, POS_A2 und oder von einer Ermittlung der aktuellen Blickrichtung abhängige Funktionen des Fahrzeugs abgeschaltet werden und eine Warnung an den Fahrzeugnutzer ausgegeben wird. Die Warnung ist vorteilhaft eine optisch und/oder akustisch ausgegebene Warnung.
• Werden von der Kamera die Augen des Fahrzeugnutzers erfasst und können auf Basis der Bilddaten Augenpositionen POS_A1, POS_A2 bzw. eine aktuelle Blickrichtung des Fahrzeugnutzers ermittelt werden, dann wird vorteilhaft kein Signal S erzeugt und somit wird die Lichtquelle nicht aktiviert.
• Die vorgeschlagene Vorrichtung ermöglicht somit eine zuverlässigere Ermittlung von Augenpositionen und/oder aktuellen Blickrichtungen von Fahrzeugnutzern. Die vorgeschlagene Vorrichtung kann als ein Fahrerassistenzsystem aufgefasst werden. Sie erzeugt im Falle von Objekten, die zwischen der Kamera und den Augen angeordnet sind und somit ein Erkennen der Augen in den Bilddaten verhindern, die Ausgabe zumindest einer optischen Warnung durch das Aktivieren der Lichtquelle. Durch das Aktivieren der Lichtquelle ist es dem Fahrzeugnutzer möglich, eine optimale Einstellung der Sitzpositionsverstellung bzw. der Lenkradpositionsverstellung durchzuführen, sodass die Ermittlung der Augenpositionen und/oder der Blickrichtung des Fahrzeugnutzers störungsfrei erfolgen kann.
• Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einer Vorrichtung, wie vorstehend beschrieben.
• Eine vorteilhafte Weiterbildung des vorgeschlagenen Fahrzeugs zeichnet sich dadurch aus, dass das Fahrzeug ein Fahrerassistenzsystem mit zumindest einer von den Bilddaten der Augen, von den ermittelten Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder von einer Blickrichtung des Fahrzeugnutzers abhängigen Funktion aufweist. Diese Funktion wird vorteilhaft dann abgeschaltet, wenn ein Signal S erzeugt wird, wobei in diesem Fall eine optisch und/oder akustisch und/oder haptisch für den Fahrzeugnutzer wahrnehmbare Warnung ausgegeben wird, welche den Fahrzeugnutzer darauf hinweist, dass die jeweilige Funktion aufgrund der Tatsache nicht weiter verfügbar ist, dass die Augenpositionen und/oder die Blickrichtung des Fahrzeugnutzers aktuell nicht ermittelbar ist/sind.
• Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Ermittlung einer Position von Augen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug und ein Verfahren zum Betrieb einer Vorrichtung wie vorstehend beschrieben.
• Das vorgeschlagene Verfahren umfasst folgende Schritte. In einem ersten Schritt erfolgt durch eine Kamera ein Erfassen von Bilddaten eines Fahrzeuginnenraums. In einem zweiten Schritt erfolgt durch eine Bilddatenauswerteeinheit auf Basis der erfassten Bilddaten ein Ermitteln der Bilddaten der Augen, der Positionen POS_A1, POS_A2 der Augen A1, A2 (102) und/oder der aktuellen Blickrichtung des Fahrzeugnutzers. In einem dritten Schritt erfolgt durch ein Steuergerät, sofern keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung des Fahrzeugnutzers ermittelbar sind, ein Erzeugen eines Signals S, welches eine Lichtquelle aktiviert.
• Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens zeichnet sich dadurch aus, dass sofern ein Signal S erzeugt ist und somit die Lichtquelle aktiviert wird, zusätzlich ein Display zur Ausgabe einer optischen Information angesteuert wird, wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen.
  Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens zeichnet sich dadurch aus, dass sofern ein Signal S erzeugt ist und somit die Lichtquelle aktiviert wird, eine Audioausgabeeinheit zur Ausgabe einer akustischen Information angesteuert wird, und wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen.
• Vorteile und vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der zu der vorgeschlagenen Vorrichtung gemachten Ausführungen.
• Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnungen - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
• Es zeigen:
• 1 einen stark schematisierten Aufbau einer vorgeschlagenen Vorrichtung,
• 2 eine schematisierte Ansicht auf ein Cockpit mit einer Vorrichtung gemäß 1 und
• 3 einen stark schematisierten Ablaufplan eines vorgeschlagenen Verfahrens.
• 1 zeigt einen stark schematisierten Aufbau einer vorgeschlagenen Vorrichtung 100 zur Ermittlung von Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug. Die Vorrichtung 100 umfasst in diesem Ausführungsbeispiel eine 4K-Videokamera 101, mit der Bilddaten eines Fahrzeuginnenraums, d.h. eines Kopfes und Augen A1, A2 102 des Fahrzeugnutzers erfassbar sind, eine Bilddatenauswerteeinheit 103, mit der auf Basis der erfassten Bilddaten Bilddaten der Augen, Positionen POS_A1, POS_A2 der Augen A1, A2 102 und/oder die aktuelle Blickrichtung des Fahrzeugnutzers ermittelbar sind, und ein Steuergerät 106, das sofern keine Bilddaten der Augen, keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung ermittelbar ist/sind, ein Signal S erzeugt, welches eine Lichtquelle 104 aktiviert.
  Zur Vereinfachung sind in 1 drei vertikal verschiedene Positionen POS_A1’, POS_A1’’, POS_A1’’’ für nur das linke Auge A1 102 eines Fahrzeugnutzers relativ zur Kamera 101 dargestellt. Die Lichtquelle 104 weist drei vertikal übereinander angeordnete Einzellichtquellen 104 auf, welche in Form schwarzer Kreise dargestellt sind. Ein Erfassungsbereich der Kamera 101 ist durch durchgezogene Linien ausgehend von der Kamera markiert. In der vertikal obersten Position POS_A1’ wird die gleichzeitige Sicht des linken Auges A1 102 auf alle drei vertikal übereinander angeordneten Einzellichtquellen 104 durch einen Lenkradkranz 110, der im Kreisquerschnitt dargestellt ist, blockiert. Aus dieser obersten Position POS_A1’ ist insbesondere die vertikal oberste Einzellichtquelle 104 für den Fahrzeugnutzer nicht erkennbar. Damit ist auch andererseits das linke Auge A1 102 in der POS_A1’ für die 4K-Videokamera 101 nicht erkennbar.
• Sofern sich die Augen A1, A2 102 des Fahrzeugnutzers in diesem Beispiel an einer vertikalen Position entsprechend POS_A1’ befinden, ist die Bilddatenauswerteeinheit 103 nicht in der Lage auf Basis der Bilddaten die Augen des Fahrzeugnutzers zu erkennen, Positionen POS_A1, POS_A2 der Augen A1, A2 102 und/oder die aktuelle Blickrichtung des Fahrzeugnutzers zu ermitteln, sodass die Steuereinheit 106 ein Signal S erzeugt, das alle Einzellichtquellen 104 der Vorrichtung 100 aktiviert. Der Fahrzeugnutzer wird dadurch angeregt seine Sitzposition oder die Lenkradposition derart zu verändern, dass er freie Sicht auf alle einzelnen Lichtquellen 104 hat.
• Weiterhin ist die Steuereinheit mit einem Display 107 zur Ausgabe einer optischen Information verbunden. Sobald die Steuereinheit 106 das Signal S erzeugt, steuert diese das Display 107 zur Ausgabe einer optischen Information an, wobei die optische Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen. Die optische Information ist vorzugsweise eine Grafik und/oder eine Textanweisung.
• 2 zeigt eine gemäß dem Prinzip der 1 entsprechenden Anordnung aus einer Perspektive eines Fahrers. Gleiche Bauteile sind mit den gleichen Bezugszeichen wie in 1 gekennzeichnet. Der Fahrerblick ist auf ein vollflächiges Display 116 gerichtet, das Rundinstrumente 114, ein Anzeigefläche 107 und einen Anzeigebereich zur Darstellung der links und rechts der Kamera 101 angeordneten Einzellichtquellen 104 umfasst. Neben der Kamera 101 sind den Innenraum beleuchtende Lichtquellen 112, beispielsweise Infrarotlichtquellen, angeordnet. Die Kamera 101 und die Lichtquellen sind in einer Ausnehmung des Displays 116 angeordnet. Entsprechend der Situation in 1 ist die Kamera 101 von dem Lenkradkranz 110 verdeckt, so dass die Augen A1, A2 des Fahrzeugnutzers von der Kamera 101 nicht ungehindert erkennbar sind. Dementsprechend werden die Einzellichtquellen 104 aktiviert. Für eine uneingeschränkte Erkennung der Augen A1, A2 hat der Fahrzeugnutzer seinen Sitz oder das Lenkrad so einzustellen, dass alle Einzellichtquellen sichtbar sind. Entsprechende Anweisungen werden auf der Anzeigefläche 107 angezeigt.
• 3 zeigt einen stark schematisierten Ablaufplan eines vorgeschlagenen Verfahrens zur Ermittlung von Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug, mit folgenden Schritten.
• In einem ersten Schritt 201 erfolgt durch eine Kamera 101 ein Erfassen von Bilddaten Fahrzeuginnenraums. In einem zweiten Schritt 202 erfolgt durch eine Bilddatenauswerteeinheit 103 auf Basis der erfassten Bilddaten ein Ermitteln der Bilddaten der Augen A1, A2, ein Ermitteln der Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder der Blickrichtung des Fahrzeugnutzers. Sind die Bilddaten der Augen A1, A2, Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder die aktuelle Blickrichtung des Fahrzeugnutzers nicht oder nur ungenügend ermittelbar, so erfolgt in einem dritten Schritt 203 ein Erzeugen 203 eines Signals S durch ein Steuergerät 106, welches eine Lichtquelle 104 aktiviert.
• Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
• Bezugszeichenliste

100

Vorrichtung

101

Kamera

102

Augen des Fahrzeugnutzers

103

Bilddatenauswerteeinheit

106

Steuergerät

107

Display/Monitor/Bildschirm

110

Lenkradkranz

Claims (9)

1. Vorrichtung (100) zur Ermittlung von Bilddaten der Augen, Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug, umfassend: - eine Kamera (101), mit der Bilddaten erfassbar sind, - ein zwischen Kamera (101) und den Augen des Nutzers angeordnetes Lenkrad, - eine Bilddatenauswerteeinheit (103), mit der auf Basis der erfassten Bilddaten der Augen A1, A2 (102), Positionen POS_A1, POS_A2 der Augen A1, A2 (102) und/oder die aktuelle Blickrichtung des Fahrzeugnutzers ermittelbar sind, und - ein Steuergerät (106), das, sofern keine Bilddaten der Augen, keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung ermittelbar ist/sind, ein Signal S erzeugt, welches eine Lichtquelle (104) aktiviert, wobei die Lichtquelle (104) eine oder mehrere Einzellichtquellen aufweist, die derart angeordnet und ausgeführt sind, dass die eine oder mehrere Einzellichtquellen nur dann von dem Fahrzeugnutzer unverdeckt erkannt oder gleichzeitig erkannt werden können, wenn seine Augen A1, A2 (102), die Augenpositionen eines Fahrzeugnutzers und/oder die aktuelle Blickrichtung des Fahrzeugnutzers durch die Kamera (101) von dem Lenkrad unverdeckt erfassbar sind.
2. Vorrichtung (100) nach Anspruch 1, die Lichtquelle (104) ein oder mehrere Pixel eines mit dem Steuergerät (106) verbundenen Displays (107) umfasst.
3. Vorrichtung (100) nach einem der Ansprüche 1 oder 2, das Steuergerät (106), sofern ein Signal S erzeugt ist, das Display (107) zur Ausgabe einer optischen Information ansteuert, und wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen.
4. Vorrichtung (100) nach einem der Ansprüche 1 bis 3, zusätzlich umfassend eine mit dem Steuergerät (106) verbundene Audioausgabeeinheit (108), wobei das Steuergerät (106), sofern ein Signal S erzeugt ist, die Audioausgabeeinheit (108) zur Ausgabe einer akustischen Information ansteuert, und wobei die Information den Fahrzeugnutzer darauf hinweist, seine Sitzposition und/oder eine Lenkradpositionsverstellung derart anzupassen, sodass die Positionen POS_A1, POS_A2 der Augen A1, A2 einen freien Blick auf die Lichtquelle ermöglichen
5. Vorrichtung (100) nach einem der Ansprüche 1 bis 4, zusätzlich aufweisend einen Sitzsensor, mit dem eine Belegung eines Fahrzeugsitzes durch den Fahrzeugnutzer ermittelbar ist, wobei die Vorrichtung (100) nur dann aktiviert ist, sofern der Sitzsensor die Belegung Fahrzeugsitzes ermittelt.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, bei der eine erste Einzellichtquelle links, eine zweite Einzellichtquelle rechts und/oder eine dritte Einzellichtquelle oberhalb und/oder eine vierte Einzellichtquelle unterhalb von der Kamera (101) angeordnet sind, und sich die jeweils begrenzten Abstrahlbereiche der vier Einzellichtquellen nur in einem Bereich RB überschneiden.
7. Vorrichtung (100) nach einem der Ansprüche 1 bis 6, bei der die Steuereinheit (106) derart ausgeführt und eingerichtet ist, dass sofern die Augen A1, A2 von der Kamera (101) nicht erfassbar sind, von einer Erfassung der Augen A1, A2 abhängige Funktionen des Fahrzeugs abgeschaltet werden und eine Warnung an den Fahrzeugnutzer ausgegeben wird.
8. Fahrzeug mit einer Vorrichtung nach einem der Ansprüche 1 bis 7.
9. Verfahren zur Erkennung von Augen eines Fahrzeugnutzers, Ermittlung von Augenpositionen eines Fahrzeugnutzers und/oder einer aktuellen Blickrichtung des Fahrzeugnutzers in einem Fahrzeug mit einem zwischen den Augen des Fahrzeugnutzers und einer Kamera (101) angeordneten Lenkrad, mit den Schritten: - durch die Kamera (101) Erfassen (201) von Bilddaten, - durch eine Bilddatenauswerteeinheit (103) auf Basis der erfassten Bilddaten Ermitteln (202) der Bilddaten der Augen A1, A2 (102), Positionen POS_A1, POS_A2 der Augen A1, A2 (102) und/oder der aktuellen Blickrichtung des Fahrzeugnutzers, und - durch ein Steuergerät (106), sofern keine Bilddaten der Augen, keine aktuellen Positionen POS_A1, POS_A2 der Augen A1, A2 und/oder keine Blickrichtung ermittelbar ist/sind, Erzeugen (203) eines Signals S, welches eine Lichtquelle (104) aktiviert, wobei die Lichtquelle (104) eine oder mehrere Einzellichtquellen aufweist, die derart angeordnet und ausgeführt sind, dass die eine oder mehreren Einzellichtquellen nur dann von dem Fahrzeugnutzer unverdeckt erkannt oder gleichzeitig erkannt werden können, wenn seine Augen A1, A2 (102), die Augenpositionen eines Fahrzeugnutzers und/oder die aktuelle Blickrichtung des Fahrzeugnutzers durch die Kamera von dem Lenkrad unverdeckt erfassbar sind.

Images