EP4681174A1

EP4681174A1 - Fahrzeuginsassenerfassungsvorrichtung und fahrzeug

Info

Publication number: EP4681174A1
Application number: EP24708402.3A
Authority: EP
Inventors: Emin Tarayan; Volker Dohmeyer; Jochen Sendler
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-03-13
Filing date: 2024-02-27
Publication date: 2026-01-21
Also published as: JP2026509682A; WO2024188636A1; KR20250151653A; CN120858383A; DE102023000955B3

Abstract

Die Erfindung betrifft eine Fahrzeuginsassenerfassungsvorrichtung, umfassend wenigstens eine Infrarotlichtquelle (1), eine Kamera (2) und eine Recheneinheit (3) zum Änsteuern der Infrarotlichtquelle (1) und zur Auswertung von der Kamera (2) erzeugter Kamerabilder, wobei die Infrarotlichtquelle (1) und die Kamera (2) auf eine Beobachtungsregion (4) ausgerichtet sind, die Infrarotlichtquelle (1) dazu eingerichtet ist zumindest eine Gesichtspartie einer sich in der Beobachtungsregion (4) aufhaltenden Person (5) zu beleuchten, die Kamera (2) dazu eingerichtet ist zumindest die beleuchtete Gesichtspartie zu erfassen und die Recheneinheit (3) dazu eingerichtet ist in den Kamerabildern eine Blickrichtung der Person (5) zu erkennen. Die erfindungsgemäße Fahrzeuginsassenerfassungsvorrichtung ist dadurch gekennzeichnet, dass die Infrarotlichtquelle (1) in eine Anzeigevorrichtung (6) integriert ist und von einer Vielzahl in einer Matrix angeordneter IR-Leuchtelemente (7) ausgebildet ist und die Recheneinheit (3) ferner dazu eingerichtet ist eine Auswahl der IR-Leuchtelemente (7) zum Abstrahlen von Infrarotlicht zu aktivieren, wobei die Recheneinheit (3) die Auswahl der zu aktivierenden IR-Leuchtelemente (7) in Abhängigkeit des Auswerteergebnisses eines Kamerabilds bestimmt.

Description

Fahrzeuginsassenerfassungsvorrichtung und Fahrzeug

Die Erfindung betrifft eine Fahrzeuginsassenerfassungsvorrichtung nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einer solchen Fahrzeuginsassenerfassungsvorrichtung.

Moderne Fahrzeuge verfügen über die unterschiedlichsten Sensorsysteme zur Erfassung der Fahrzeugumgebung und des Fahrzeuginnenraums. Dies ermöglicht die Bereitstellung diverser Fahrerassistenzsysteme zur Erhöhung des Nutzerkomforts und zur Erhöhung der Sicherheit im Straßenverkehr. So ist das Erfassen einer fahrzeugführenden Person mit Hilfe von Kameras hinreichend bekannt. Hierdurch lassen sich Gesten erkennen und zur Eingabe von Bedienhandlungen interpretieren, die Anwesenheit eines Fahrzeuginsassen feststellen, ein Fahrzeuginsasse anhand von biometrischen Merkmalen identifizieren, oder auch die Aufmerksamkeit, der Gesundheitszustand und/oder der Ablenkungsgrad der fahrzeugführenden Person feststellen.

Die kamerabasierte Beobachtung der Augen der fahrzeugführenden Person ist von besonderer Bedeutung. Die Lidschlagfrequenz kann beispielsweise ein Indiz für den Müdigkeitsgrad der fahrzeugführenden Person sein. Zudem kann die Blickrichtung der fahrzeugführenden Person nachverfolgt werden, beispielsweise um einen Ablenkungsgrad festzustellen oder um zu überprüfen, worauf sich die fahrzeugführende Person gerade fokussiert. Hierzu ist eine genaue und zuverlässige Überwachung der Augen der fahrzeugführenden Person erforderlich. Um die Augen auch bei schlechten Sichtverhältnissen wie nachts gut erkennen zu können, werden oftmals Infrarotkameras, insbesondere in Kombination mit einer aktiven Infrarotbeleuchtung, verwendet. Zudem können Filter wie Bandpassfilter vorgesehen sein, die lediglich Infrarotlicht passieren lassen. Ein solches Filter kann in die Optik einer entsprechenden Kamera integriert sein oder auch digital ausgeführt sein. Hierdurch lassen sich beispielsweise störende Blendeffekte, resultierend beispielsweise aus Umgebungslicht, reduzieren oder herausfiltern, sodass nur relevante Infrarotlichtwellenlängenbereiche hindurchgelassen werden.

Bei der Verwendung von Infrarotlichtquellen kann es jedoch auch zu Reflexionen im Infrarotlichtspektrum kommen, beispielsweise auf einer von der fahrzeugführenden Person getragenen Brille. Auch kann Infrarotlicht aus der Fahrzeugumgebung in den Fahrzeuginnenraum eindringen und dort für Blendeffekte sorgen. Hierdurch können auch Schattenwürfe entstehen. Relevante Kamerabildbereiche können dann im Infrarotlichtspektrum überbelichtet bzw. unterbelichtet sein, sodass das zuverlässige Erfassen der Augen der fahrzeugführenden Person gefährdet ist.

Aus der DE 102017 205 386 A1 sind eine Fahrerbeobachtungsvorrichtung und ein Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug bekannt. Die Fahrerbeobachtungsvorrichtung sieht eine doppelseitige Beleuchtung des Fahrers mit Licht vor. So wird der Fahrer sowohl von hinten, als auch von vorne beschienen, wobei insbesondere Infrarotlicht verwendet wird. Mittels entsprechender Lichtquellen kann zudem ein strukturiertes Lichtmuster wie ein Liniengitter auf den Fahrer geworfen werden. Dies ermöglicht eine zuverlässige Positionsbestimmung des Kopfes des Fahrers unter Verwendung von aktiver Triangulation. Die dabei zur Erfassung des Gesichts des Fahrers verwendete Kamera kann gleichzeitig zur Blickrichtungserfassung verwendet werden.

Zudem sind aus der DE 10 2017 216680 A1 ein Fahrzeugcockpitelement und ein Kraftfahrzeug mit einem solchen Fahrzeugcockpitelement bekannt. Die Druckschrift beschreibt eine als Flächenleuchtmittel ausgebildete Infrarotlichtquelle zum Bescheinen des Gesichts einer fahrzeugführenden Person. Besagtes Flächenleuchtmittel wird beispielsweise durch eine OLED-Folie ausgebildet und kann in das Lenkrad des Fahrzeugs integriert sein. Eine flächige Ausgestaltung der Infrarotlichtquelle gegenüber einer Punktlichtquelle hat den Vorteil, dass aufgrund der diffusen Lichtausstrahlung Schatten im Gesicht der fahrzeugführenden Person reduziert oder sogar vermieden werden. Dies ermöglicht eine zuverlässigere Erfassung des Gesichts der fahrzeugführenden Person. Dem Entstehen von Reflexionen kann hierdurch jedoch nicht entgegengewirkt werden. Zudem ist der Bauraum im Fahrzeug zur Aufnahme eines entsprechenden Fahrzeugcockpitelements begrenzt, sodass das Fahrzeugcockpitelement nur unter hohem Aufwand in ein entsprechendes Fahrzeug integriert werden kann. Die WO 2019/215286 A1 offenbart ferner eine Vorrichtung und ein Verfahren zum Betreiben einer Objekterkennung für den Innenraum eines Kraftfahrzeugs sowie ein Kraftfahrzeug. Die Vorrichtung setzt zur Beleuchtung der Gesichtspartie eines Fahrzeuginsassen mit Infrarotlicht eine in eine Anzeigevorrichtung des Kraftfahrzeugs integrierte Infrarotlichtquelle ein. Die Infrarotlichtquelle umfasst eine Vielzahl in einer Matrix angeordneter IR-Leuchtelemente. Eine Ansteuerung der IR-Leuchtelemente kann in Abhängigkeit einer Auswertung eines die beleuchtete Gesichtspartie zeigenden Kamerabilds erfolgen.

Die DE 102014 009 143 B4 offenbart ferner eine Kraftfahrzeug-Kameravorrichtung mit steuerbarer Aktivbeleuchtung. In einem Strahlengang einer Lichtquelle der Aktivbeleuchtung ist ein optisches Filter angeordnet, welches wenigstens zwei unterschiedliche Filterbereiche aufweist, die sich in ihrer Transparenz zumindest zeitweise unterscheiden. Die Transparenz lässt sich gezielt erhöhen oder absenken, um Lichtreflektionen in von der Kameravorrichtung erzeugten Kamerabildern zu vermeiden.

Zudem ist aus der US 9290 146 B2 die optische Überwachung eines Fahrzeuginnenraums bekannt. Dies kann dazu genutzt werden einen Airbag eines Fahrzeugs nur dann auszulösen, wenn sich auch tatsächlich eine Person auf einem dem jeweiligen Airbag zugeordneten Sitzplatz befindet.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde eine verbesserte Fahrzeuginsassenerfassungsvorrichtung anzugeben, mit deren Hilfe eine noch zuverlässigere Erfassung der Augen einer fahrzeugführenden Person ermöglicht wird. Die besagte Fahrzeuginsassenerfassungsvorrichtung soll dabei leicht in ein Fahrzeug integrierbar sein.

Erfindungsgemäß wird diese Aufgabe durch eine Fahrzeuginsassenerfassungsvorrichtung mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Fahrzeug umfassend eine solche Fahrzeuginsassenerfassungsvorrichtung ergeben sich aus den hiervon abhängigen Ansprüchen.

Eine gattungsgemäße Fahrzeuginsassenerfassungsvorrichtung, umfassend wenigstens eine Infrarotlichtquelle, eine Kamera und eine Recheneinheit zum Ansteuern der Infrarotlichtquelle und zur Auswertung von der Kamera erzeugter Kamerabilder, wobei die Infrarotlichtquelle und die Kamera auf eine Beobachtungsregion ausgerichtet sind, die Infrarotlichtquelle dazu eingerichtet ist, zumindest eine Gesichtspartie einer sich in der Beobachtungsregion aufhaltenden Person zu beleuchten, die Kamera dazu eingerichtet ist zumindest die beleuchtete Gesichtspartie zu erfassen und die Recheneinheit dazu eingerichtet ist in den Kamerabildern eine Blickrichtung der Person zu erkennen, wobei vorgesehen ist, dass die Infrarotlichtquelle in eine Anzeigevorrichtung integriert ist und von einer Vielzahl in einer Matrix angeordneter IR-Leuchtelemente ausgebildet ist und die Recheneinheit ferner dazu eingerichtet ist, eine Auswahl der IR-Leuchtelemente zum Abstrahlen von Infrarotlicht zu aktivieren, wobei die Recheneinheit die Auswahl der zu aktivierenden IR-Leuchtelemente in Abhängigkeit des Auswerteergebnisses eines Kamerabilds bestimmt, wird erfindungsgemäß dadurch weitergebildet, dass die Recheneinheit ferner dazu eingerichtet ist die Matrix aus IR-Leuchtelementen zum Abstrahlen eines strukturierten Lichtmusters anzusteuern und zur Bestimmung der Blickrichtung der Person in einem Kamerabild die Relativlage zwischen der Pupille der Person und zumindest eines Abschnitts des Lichtmusters zu bestimmen.

Mit Hilfe der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung ist eine noch zuverlässigere Erfassung einer beobachteten Person möglich, insbesondere der Augenpartie. Die Infrarotlichtquelle umfasst eine Vielzahl individuell ansteuerbarer IR- Leuchtelemente. Diese sind in Form einer Matrix angeordnet, sodass jedes IR- Leuchtelement Infrarotlicht hauptsächlich in eine bestimmte Raumregion abstrahlt. Durch das gezielte Ein- und Ausschalten der IR-Leuchtelemente lässt sich somit Infrarotlicht gezielt in unterschiedliche Raumregionen werfen. Dies wird dazu genutzt Raumbereiche, die durch Infrarotlicht aufzuhellen sind, verstärkt auszuleuchten und entsprechend Raumbereiche, die nicht erhellt werden sollen, nicht zu beleuchten. Dies ermöglicht eine gleichmäßigere Beleuchtung einer Szenerie mit Infrarotlicht, sodass Kamerabilder erzeugbar sind, welche weniger überbelichtete bzw. unterbelichtete Bereiche enthalten.

Um festzustellen, wie die IR-Leuchtelemente zu aktivieren sind, wird zuerst ein Kamerabild der Szenerie aufgenommen. Während der Aufnahme dieses Kamerabilds kann die Infrarotlichtquelle deaktiviert sein oder aktiviert sein. Ist die Infrarotlichtquelle deaktiviert, so lässt sich der Einfluss von aus der Umgebung in die aufgenommene Szenerie geworfenen Infrarotlichts ermitteln. Ist die Infrarotlichtquelle hingegen aktiviert, beispielsweise können in diesem Falle sämtliche IR-Leuchtelemente der Matrix aktiviert sein, so wird der Einfluss der Infrarotlichtquelle selbst auf die Ausleuchtung der Szenerie feststellbar. Es können auch nach und nach mehrere Kamerabilder bewertet werden, wobei beim Aufnehmen der unterschiedlichen Kamerabilder jeweils individuelle Kombinationen aus IR-Leuchtelementen aktiviert sind. Befinden sich innerhalb der Beobachtungsregion Infrarotlicht reflektierende Objekte, wie beispielsweise eine von der Person getragene Brille, so ist im korrespondierenden Kamerabild ein entsprechend überbelichteter Bereich vorhanden. Die Recheneinheit steuert daraufhin die Infrarotlichtquelle an, um gezielt IR-Leuchtelemente zu deaktivieren, sodass keine Reflexionen entstehen. Ferner können gezielt IR-Leuchtelemente aktiviert werden, um mehr Infrarotlicht in zu dunkle Bildbereiche zu lenken.

Beispielsweise bewertet die Recheneinheit das so aufgenommene Kamerabild anhand bestimmter vorgegebener Kriterien. Beispielsweise können unterschiedliche Leistungskennzahlen, auch als Key-Performance-Indicator (KPI) bezeichnet, vorgegeben sein, anhand derer das Kamerabild bewertet wird. Hierzu kann beispielsweise das Signal- zu-Rauschverhältnis, die Sättigung eines bestimmten Farbkanals oder dergleichen für das gesamte Kamerabild oder unterschiedliche Kamerabildbereiche bewertet werden. Je nachdem, welche Ausprägung welche Leistungskennzahl in welcher Bildregion annimmt, wird über einen Regler das Beleuchtungssetup geändert, sodass andere IR- Leuchtelemente aktiviert werden.

Die erfindungsgemäße Fahrzeuginsassenerfassungsvorrichtung lässt sich zudem besonders leicht in Fahrzeuge integrieren. So ist die Matrix aus IR-Leuchtelementen Bestandteil einer Anzeigevorrichtung, ein Element welches ohnehin im Cockpit moderner Fahrzeuge mehrfach verbaut ist, beispielsweise zur Darstellung der über ein Kombiinstrument auszugebenden Informationen. Die Matrix aus IR-Leuchtelementen ist somit zudem für einen Betrachter nicht direkt erkenntlich, was das visuelle Erscheinungsbild der Fahrzeuginsassenerfassungsvorrichtung verbessert. Somit ist eine ästhetische und versteckte Integration zumindest der Infrarotlichtquelle möglich.

Die IR-Leuchtelemente können auf verschiedene Art und Weise ausgestaltet sein. Die IR- Leuchtelemente können beispielsweise punktförmig ausgeführt sein, beispielsweise als Pixel oder Subpixel. Zumindest einige der IR-Leuchtelemente können auch als flächige oder flächenförmige Leuchtelemente ausgeführt sein, beispielsweise als Leuchtband oder Leuchtquadrat. Entsprechend können mehrerer solcher Flächen oder Bänder nebeneinander angeordnet sein, um besagte Matrix auszubilden. Es können auch punktförmige und flächige Leuchtelemente kombiniert sein. Die IR-Leuchtelemente können während der Aufnahme von Kamerabildern kontinuierlich betrieben werden oder auch gepulst. Bei einer gepulsten Betriebsweise sind dann die Kamera und die Infrarotlichtquelle zueinander synchronisiert, sodass genau dann Infrarotlicht abgegeben wird, wenn auch ein Kamerabild erzeugt wird. Hierdurch lassen sich zuverlässig Videos in der Dunkelheit aufnehmen.

Die zur Ausleuchtung der Szenerie, also der Beobachtungsregion, abgestrahlte Infrarotlichtlichtleistung bleibt dabei annähernd konstant im Vergleich zur Verwendung einer einzigen Punktlichtquelle. Da jedoch die Gesamtleistung auf eine größere Fläche verteilt wird, sinkt die flächenbezogene Infrarotlichtleistung, wodurch die Strahlenbelastung für die Person reduziert und die Augensicherheit verbessert wird. Dies hat außerdem den Effekt, dass eine gleichmäßigere Wärmeverteilung erreicht wird.

Die Recheneinheit ist wie beschrieben ferner dazu eingerichtet die Matrix aus IR- Leuchtelementen zum Abstrahlen eines strukturierten Lichtmusters anzusteuern und zur Bestimmung der Blickrichtung der Person in einem Kamerabild die Relativlage zwischen der Pupille der Person und zumindest eines Abschnitts des Lichtmusters zu bestimmen. Hierdurch ist eine noch genauere Bestimmung der Blickrichtung der Person möglich. Das mittels der Infrarotlichtquelle erzeugte Lichtmuster wird auf die Hornhaut der beobachteten Person geworfen. Im Vergleich zu einer Punktlichtquelle sind somit mehr IR-Strukturen auf der Hornhaut vorhanden, was eine genauere Positionsbestimmung der Pupille gegenüber dem Lichtmuster erlaubt. Somit ist auch eine genauere Bestimmung der Relativlage und damit der Blickrichtung möglich.

Bei üblichen Verfahren zur Erfassung der Blickrichtung wird die Entfernung der Pupille zur kornealen Reflexion auf der Hornhaut gemessen. Der Ort der kornealen Reflexion auf der Hornhaut ist unabhängig von der Blickrichtung. Bewegt sich jedoch die beobachtete Person, so kann sich der Einfallswinkel des Infrarotlichts auf das Auge ändern, sodass sich auch die korneale Reflexion verschiebt. Durch die Verwendung eines strukturierten Lichtmusters anstelle einer Punktlichtquelle lassen sich die von der beobachteten Person durchgeführten Kopfbewegungen jedoch nachvollziehen, sodass deren Einfluss auf die Blickrichtung herausgefiltert werden kann. Bewegt sich beispielsweise die beobachtete Person auf die Infrarotlichtquelle zu, so wird das strukturierte Lichtmuster größer. Bewegt sie sich hingegen in der Ebene nach oben, unten, links oder rechts, so werden unterschiedliche Abschnitte des Augapfels beleuchtet, sodass einige Bereiche des strukturierten Lichtmusters größer werden und andere Bereiche kleiner werden. Je nachdem, welche Bereiche des strukturierten Lichtmusters sich in ihrer Größe verändern und wie stark die Veränderung ausfällt, ist die Recheneinheit dazu in der Lage, eine veränderte Kopfstellung wahrzunehmen und dies entsprechend zur Berechnung der Blickrichtung zu berücksichtigen.

Als Lichtmuster kommen alle erdenklichen Formen und Geometrien in Frage, wie gerade oder gekrümmte Linienzüge, Rautengitter, Kreuzgitter, oder auch Punktmuster und dergleichen.

Eine vorteilhafte Weiterbildung der Fahrzeuginsassenerfassungsvorrichtung sieht vor, dass bei einer als LCD-Display ausgebildeten Anzeigevorrichtung die Matrix aus IR- Leuchtelementen in die Hintergrundbeleuchtung der Anzeigevorrichtung integriert ist oder diese zumindest zum Teil ausbildet und bei einer als OLED-Display ausgebildeten Anzeigevorrichtung die Matrix aus IR-Leuchtelementen mit einer Matrix aus Pixeln korrespondiert, sodass ein jeweiliges IR-Leuchtelement ein zusätzliches Subpixel eines Pixels ausbildet. Die als Matrix aus IR-Leuchtelementen ausgebildete Infrarotlichtquelle lässt sich somit in Anzeigevorrichtungen unterschiedlicher Technologien integrieren. Da die Kristalle eines LCD-Displays für gewöhnlich für Infrarotlicht transparent sind, ist eine besonders einfache und kostengünstige Integration der IR-Leuchtelemente in ein LCD- Display möglich, dadurch, dass die IR-Leuchtelemente in die Hintergrundbeleuchtung integriert werden bzw. diese zumindest zum Teil ausbilden. Das LCD-Display kann als Monochromdisplay oder auch als Farbdisplay ausgeführt sein. Damit ein Betrachter auch bei widrigen Lichtverhältnissen den auf besagtem LCD-Display dargestellten Anzeigeinhalt wahrnehmen kann, wird dieses mittels der Hintergrundbeleuchtung beleuchtet. Somit sind weiterhin beispielsweise weißes Licht abgebende Leuchtelemente Bestandteil der Hintergrundbeleuchtung. Die IR-Leuchtelemente können dann ergänzend zu diesen bereits ursprünglich vorhandenen Leuchtelementen in das LCD-Display integriert sein.

Eine besonders energieeffiziente Ausführung der Fahrzeuginsassenerfassungsvorrichtung ist möglich bei einer Verwendung von OLED- Displays. Ein solches OLED-Display umfasst eine Vielzahl ebenfalls in einer Matrix angeordneter Pixel. Die Pixel wiederum umfassen Subpixel aus organischen Leuchtdioden unterschiedlicher Farbe, beispielsweise Rot, Grün und Blau und/oder Cyan, Magenta und Gelb. Erfindungsgemäß wird dann zumindest für eine Teilanzahl der Pixel des OLED-Displays ein zusätzliches Infrarotlicht ausstrahlendes Subpixel integriert. Im Vergleich zu besagtem LCD-Display sind dann die lichtabgebenden Elemente in Betrachtungsrichtung des OLED-Displays vergleichsweise weit vorne angeordnet, sodass Licht mit hoher Effizienz und Intensität in die Umgebung geworfen werden kann. So müssen keine tieferen Displayschichten durchwandert werden, wodurch sich die Lichtintensität abschwächen könnte.

In Fahrzeugen werden zudem unterschiedliche Displaytechnologien verbaut, sodass unabhängig von einer Displayausführung die Infrarotlichtquelle in alle möglichen Arten von Anzeigevorrichtungen integrierbar ist.

Entsprechend einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung, ist in der Recheneinheit ein Raster gespeichert, wobei das Raster eine Unterteilung zumindest eines Ausschnitts der Beobachtungsregion in eine Vielzahl an Rasterelementen beschreibt, ist in der Recheneinheit eine Zuordnung zwischen Rasterelementen und IR-Leuchtelementen gespeichert, und ist die Recheneinheit ferner dazu eingerichtet, beim Detektieren einer IR-Reflexion in einem Kamerabild das dem wenigstens einen Rasterelement, in dem die IR-Reflexion liegt, zugeordnete IR-Leuchtelement zu deaktivieren oder zumindest seine Helligkeit zu reduzieren.

Auf diese Art und Weise ist eine besonders einfache Feststellung für die Recheneinheit möglich, welche IR-Leuchtelemente zu deaktivieren bzw. in ihrer Helligkeit zu reduzieren sind, um das Entstehen der Reflexion zu verhindern oder diese zumindest so stark abzuschwächen, dass die relevante zu beobachtende Gesichtspartie der Person auch zuverlässig erfasst werden kann.

Eine weitere vorteilhafte Ausgestaltung der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung sieht ferner vor, dass in der Recheneinheit ein Raster gespeichert ist, wobei das Raster eine Unterteilung zumindest eines Ausschnitts der Beobachtungsregion in eine Vielzahl an Rasterelementen beschreibt, in der Recheneinheit eine Zuordnung zwischen Rasterelementen und IR-Leuchtelementen gespeichert ist, und die Recheneinheit ferner dazu eingerichtet ist beim Detektieren eines IR-Schattens in einem Kamerabild das dem wenigstens einen Rasterelement, in dem der IR-Schatten liegt, zugeordnete IR-Leuchtelement zu aktiveren oder seine Helligkeit zu erhöhen. Somit ist auf besonders einfache Art und Weise nicht nur das Unterdrücken oder zumindest Abschwächen von IR-Reflexionen möglich, sondern es kann auch dem Entstehen von IR-Schatten entgegengewirkt werden. So lassen sich IR-Schatten aufhellen oder sogar gänzlich aus einem Kamerabild entfernen.

Die Zuordnung zwischen Rasterelementen und IR-Leuchtelementen ist fest vorgegeben. Die Zuordnung kann eingelernt sein, beispielsweise basierend auf einmalig vorab durchgeführten Kalibriermessungen. Diese Kalibriermessungen können im Rahmen der Fertigung oder Entwicklung der Fahrzeuginsassenerfassungsvorrichtung durchgeführt worden sein. Diese rasterbasierte Ansteuerung der Matrix aus IR-Leuchtelementen (sowohl im Zusammenhang mit der Vermeidung von IR-Reflexionen, als auch im Zusammenhang mit der Vermeidung von IR-Schatten) lässt sich mit einem adaptiven Fernlichtassistenten eines Fahrzeugs mit Matrixscheinwerfern vergleichen. So werden bei einem entsprechenden Fernlichtassistent einzelne Pixel des Matrixscheinwerfers dunkel geschaltet, für solche Raumregionen, in denen ein vorausfahrender oder entgegenkommender Verkehrsteilnehmer entdeckt wird. Entsprechend werden hier IR- Leuchtelemente gezielt deaktiviert bzw. aktiviert, wenn in den durch die entsprechenden IR-Leuchtelemente beleuchteten Raumregionen IR-Reflexionen bzw. IR-Schatten detektiert werden.

Eine weitere vorteilhafte Ausgestaltung der Fahrzeuginsassenerfassungsvorrichtung sieht ferner vor, dass die Recheneinheit ferner dazu eingerichtet ist, die Matrix aus IR- Leuchtelementen zum Abstrahlen eines strukturierten Lichtmusters anzusteuern und durch das Auswerten einer in einem Kamerabild vorliegenden Verzerrung des strukturierten Lichtmusters eine Relativlage zumindest eines Körperteils der Person in der Beobachtungsregion zu bestimmen.

Die erfindungsgemäße Fahrzeuginsassenerfassungsvorrichtung ermöglicht somit auf Basis von aktiver Triangulation einzelne Körperteile der beobachteten Person in der Beobachtungsregion zu verorten. Entsprechend wird das mittels der Infrarotlichtquelle erzeugte strukturierte Lichtmuster nicht nur auf die Augenpartie der Person geworfen, sondern auch noch auf weitere Körperpartien, wie übrige Gesichtsbereiche, oder auch die Schultern, Arme, Hände, den Oberkörper und dergleichen. Die ermöglicht das Bereitstellen weiterer Assistenzfunktionen.

So sieht eine weitere vorteilhafte Ausgestaltung der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung vor, dass die Recheneinheit ferner dazu eingerichtet ist durch Analyse zumindest zweier aufeinanderfolgender Kamerabilder eine Änderung der Relativlage des Körperteils zu erkennen und daraus das Ausführen einer Geste durch die Person zu detektieren. Dies ermöglicht es der Recheneinheit Gesten zu erkennen, welche wiederum als Bedienhandlungen interpretierbar sind. Beispielsweise kann die Person ihre Hand erheben und in der Luft im Kreis drehen, was als Rotation eines Drehreglers interpretiert werden kann. Entsprechende Wischbewegungen nach oben und unten oder zur Seite können als Betätigung eines Schiebereglers interpretiert werden.

Ein erfindungsgemäßes Fahrzeug umfasst wenigstens eine im vorigen beschriebene Fahrzeuginsassenerfassungsvorrichtung. Es ist zumindest eine Fahrzeuginsassenerfassungsvorrichtung zum Erfassen der fahrzeugführenden Person vorhanden. Es können jedoch auch weitere Fahrzeuginsassenerfassungsvorrichtungen in das Fahrzeug integriert sein, um weitere Fahrzeuginsassen, beispielsweise den Beifahrer, zu erfassen.

Das Fahrzeug kann beispielsweise als Pkw, Lkw, Transporter, Bus oder dergleichen ausgeführt sein. Es muss sich nicht zwangsweise um ein Straßenfahrzeug handeln. So kann es sich auch um ein Schienenfahrzeug, Wasserfahrzeug oder Luftfahrzeug handeln.

Entsprechend einer vorteilhaften Ausgestaltung des erfindungsgemäßen Fahrzeugs ist die Anzeigevorrichtung von dem Display eines Kombiinstruments, von einem Zentraldisplay, von einem Beifahrerdisplay oder von einer Head-Unit ausgebildet. Somit lässt sich die erfindungsgemäße Fahrzeuginsassenerfassungsvorrichtung besonders flexibel und dabei einfach in unterschiedlichste Fahrzeuge integrieren. Ist die Infrarotlichtquelle, also die Matrix aus IR-Leuchtelementen, in das Kombiinstrument integriert, so lässt sich aufgrund der zentralen Positionierung vor der fahrzeugführenden Person diese besonders umfassend beleuchten. Bei einer Integration in die Head-Unit können gleichzeitig mehrere Fahrzeuginsassen, beispielsweise Fahrer, Beifahrer sowie eine mittig im Fond sitzende Person, beleuchtet werden.

Eine weitere vorteilhafte Ausgestaltung des Fahrzeugs sieht ferner vor, dass dieses wenigstens einen Airbag und eine Steuerfunktion zum Auslösen des Airbags umfasst, wobei die Recheneinheit dazu eingerichtet ist, die Relativlage des zumindest einen Körperteils als Eingangsgröße der Steuerfunktion bereitzustellen und die Steuerfunktion dazu eingerichtet ist, den Airbag im Falle eines Airbag-Auslösesignals nur dann auszulösen, wenn sich wenigstens ein Körperteil innerhalb einer dem Airbag zugeordneten, vordefinierten Raumregion aufhält. Hierdurch lassen sich Fehlauslösungen des Airbags oder unnötige Auslösungen des Airbags vermeiden. Die vordefinierte Raumregion wird dabei von der Raumregion ausgebildet, in der ein entsprechendes Körperteil im Falle eines Unfalls auf den aufgeblasenen Airbag aufprallen würde. Hält sich in dieser Raumregion kein Körperteil auf, so ist auch das Auslösen des Airbags obsolet.

Bei der Steuerfunktion handelt es sich beispielsweise um ein dediziertes Airbagsteuergerät oder auch ein auf einem sonstigen Steuergerät oder einem zentralen Bordcomputer ausgeführtes Airbagsteuerprogramm.

Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung und des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahm auf die Figuren näher beschrieben werden.

Dabei zeigen:

Fig. 1 eine schematisierte Seitenansicht einer mittels einer erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung überwachten Person;

Fig. 2 ein schematisierter und vereinfachter Schichtaufbau eines LCD-Displays, umfassend eine Matrix aus IR-Leuchtelementen;

Fig. 3 eine schematisierte Darstellung der Pixel einer Anzeigevorrichtung, umfassend zum Abstrahlen von Infrarotlicht eingerichtete Subpixel; und

Fig. 4 eine schematisierte Darstellung eines Ausschnitts aus einem Kamerabild einer erfassten Person mit einer Rasterung und eine Zuordnung zwischen Rasterelementen zu entsprechenden IR-Leuchtelementen.

Figur 1 zeigt in einer Seitenansicht ein erfindungsgemäßes Fahrzeug 15. Im Fahrzeuginnenraum befindet sich eine Person 5, hier die fahrzeugführende Person. Die Person 5 wird von einer erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung erfasst. Diese umfasst eine Infrarotlichtquelle 1, eine Kamera 2 und eine Recheneinheit 3. Mittels der Fahrzeuginsassenerfassungsvorrichtung wird die Blickrichtung der Person 5 nachverfolgt, was zur Bereitstellung von Fahrerassistenzfunktionen genutzt wird. Zur besseren Erkennung der Person 5 bei widrigen Lichtverhältnissen wird die Person 5 mit Infrarotlicht von der Infrarotlichtquelle 1 beschienen. Entsprechend ist die Kamera 2 dazu eingerichtet Licht im Infrarotspektrum zu detektieren. Hierzu kann die Kamera 2 auch diverse Filter aufweisen. Bei dem in Figur 1 gezeigten Ausführungsbeispiel ist die Infrarotlichtquelle 1 in eine Anzeigevorrichtung 6 integriert, hier das Kombiinstrument des Fahrzeugs 15. Zudem ist die Infrarotlichtquelle 1 von einer Matrix aus IR-Leuchtelementen 7, welche in Figur 2 dargestellt sind, ausgebildet. Die Infrarotlichtquelle 1 und die Kamera 2 sind auf eine Beobachtungsregion 4 ausgerichtet, in der sich der Kopf der Person 5 und damit die zu beobachtenden Augen während der Nutzung des Fahrzeugs 15 befinden.

Die Kamera 2 kann an beliebiger Stelle im Fahrzeug 15 angeordnet sein, solange sie zumindest eine Gesichtspartie der Person 5 in der Beobachtungsregion 4, bevorzugt die Augen, erfassen kann. Beispielsweise ist die Kamera 2 in das Armaturenbrett des Fahrzeugs 15 integriert, insbesondere im Bereich der Anzeigevorrichtung 6, oder ebenfalls, wie dargestellt, in die Anzeigevorrichtung 6 integriert.

Mittels der erfindungsgemäßen Fahrzeuginsassenerfassungsvorrichtung ist eine noch zuverlässigere Erfassung der Person 5, insbesondere ihrer Augen und damit ihrer Blickrichtung, möglich. So kann es im Betrieb vorkommen, dass in Figur 4 gezeigte IR- Reflexionen 13 in einem von der Kamera 2 erzeugten Kamerabild entstehen und/oder einzelne Bildbereiche einen Infrarot-Schatten aufweisen. Entsprechende Gesichtspartien können dann von der Kamera 2 bzw. der Recheneinheit 3 nicht richtig erkannt werden. Dies lässt sich durch das Ausbilden der Infrarotlichtquelle 1 als eine in Figur 2 dargestellte Matrix aus IR-Leuchtelementen 7 verhindern oder zumindest abschwächen. So werden gezielt einzelne IR-Leuchtelemente 7 aktiviert bzw. deaktiviert, sodass dem Entstehen von IR- Reflexionen 13 und/oder IR-Schatten entgegengewirkt wird.

Figur 2 zeigt dabei die Ausführung der Infrarotlichtquelle 1 als Teil der Anzeigevorrichtung 6. In Figur 2 ist die Anzeigevorrichtung 6 als LCD-Display ausgeführt. Die Anzeigevorrichtung 6 umfasst beispielsweise vier Schichten 16.1, 16.2, 16.3 und 16.4. Bei der ersten Schicht 16.1 handelt es sich um die Hintergrundbeleuchtung 8 der Anzeigevorrichtung 6. Bei der zweiten Schicht 16.2 handelt es sich beispielsweise um eine Dünnschichttransistorschicht, auch als Thin-Film-Transistor oder kurz TFT bezeichnet. Bei der dritten Schicht 16.3 handelt es sich um eine Schicht aus Flüssigkristallen, also den eigentlichen Liquid Crystals. Bei der vierten Schicht 16.4 handelt es sich um eine Farbfilterschicht oder „Pixelschicht“, umfassend eine Vielzahl zu einer Matrix angeordneter Pixel 9. Die Anzeigevorrichtung 6 kann weitere nicht näher definierte und gezeigte Komponenten aufweisen wie beispielsweise Polfilter, ein Substrat, Elektroden, eine Deckschicht, eine Diffusor- oder Streuschicht und dergleichen. Der gezeigte Aufbau ist beispielhaft, das LCD-Display kann dabei einen aus dem Stand der Technik bekannten alternativen Aufbau aufweisen, beispielsweise

In Figur 2 sind die Pixel 9 zur besseren Erkennbarkeit der Subpixel 10 übergroß dargestellt. Besonders bevorzugt ist jedem Pixel 9 ein IR-Leuchtelement 7 zugeordnet.

Die einzelnen IR-Leuchtelemente 7 können erfindungsgemäß als Punktlichtquelle oder auch als flächiges Leuchtmittel ausgebildet sein. Figur 2 zeigt dabei in verschiedenen Regionen der Hintergrundbeleuchtung 8 unterschiedliche mögliche Ausführungsformen (links oben rechts oben und unten). Die IR-Leuchtelemente 7 sind dabei schraffiert dargestellt. Die Hintergrundbeleuchtung 8 umfasst ferner konventionelle Leuchtelemente 17, beispielsweise kaltweiße LEDs, LED-Bänder oder dergleichen, um eine Sichtbarkeit des Anzeigeinhalts der Anzeigevorrichtung 6 auch bei widrigen Lichtverhältnissen zu ermöglichen.

Die Pixel 9 umfassen verschiedene Subpixel 10. Beispielsweise enthält jedes Pixel 9 jeweils ein Subpixel 10 für die Farben Rot, Grün und Blau, angedeutet durch die Buchstaben R, G, B. Es sind auch andere Farbkombinationen denkbar wie beispielsweise Cyan, Magenta und Gelb angedeutet durch die Buchstaben C, M und Y. In dem in Figur 2 gezeigten Ausführungsbeispiel ist zumindest ein Subpixel 10 von zumindest einigen der Pixel 9 oder grundsätzlich alle Pixel 9 durchlässig für Infrarotlicht, sodass das von den IR- Leuchtelementen 7 abgestrahlte Infrarotlicht auf die Vorderseite der Anzeigevorrichtung 6 durchdringen kann und damit auf die Person 5 geworfen werden kann. Es könnten auch Aussparungen zum Hindurchlassen des Infrarotlichts vorgesehen sein.

Wie Figur 3 zeigt ist es auch möglich ein separates Subpixel 10 vorzusehen, um Infrarotlicht passieren zu lassen. Ein entsprechendes Subpixel 10 ist erkenntlich durch die Buchstaben IR.

Bei dem in Figur 3 gezeigten Ausführungsbeispiel kann es sich auch um die Pixel 9 einer als OLED-Display ausgeführten Anzeigevorrichtung 6 handeln. Wie Figur 3 zeigt, kommen alle erdenklichen Anordnungsformen und Geometrien der Subpixel 10 in Frage. Die in Figur 3 gezeigten Beispiele sind dabei nicht einschränkend zu verstehen. Es kommen auch weitere nicht näher gezeigte Anordnungen und Ausgestaltungen in Frage.

Figur 4 verdeutlicht den Zusammenhang zwischen den von der Infrarotlichtquelle 1 beleuchteten Gesichtspartien und der Anordnung der entsprechenden IR-Leuchtelemente 7 auf bzw. in der Anzeigevorrichtung 6. Figur 4 zeigt die Augenpartie der mittels der Kamera 2 erfassten Person 5. Dargestellt ist ein Raster 11 aus einer Vielzahl an Rasterelementen 12, von denen zur Wahrung der Übersichtlichkeit nur einige mit einem Bezugszeichen versehen sind. In der Recheneinheit 3 ist eine Zuordnung gespeichert, welches dieser Rasterelemente 12 hauptsächlich von welchem IR-Leuchtelement 7 beschienen wird. Erkennt die Recheneinheit 3 durch Auswertung eines entsprechenden von der Kamera 2 erzeugten Kamerabilds, dass IR-Reflexionen 13 vorhanden sind, so ermittelt die Recheneinheit 3 in welchen Rasterelementen 12 die IR-Reflexion liegt. Die den jeweiligen Rasterelementen 12 zugeordneten IR-Leuchtelemente 7, in Figur 4 angedeutet durch eine dunkle Schraffierung, werden dann deaktiviert. Dies hat zur Folge, dass die IR-Reflexion 13 verschwindet. Die jeweiligen IR-Leuchtelemente 7 müssen dabei nicht zwangsweise deaktiviert werden, sondern können lediglich in ihrer Helligkeit reduziert werden. Somit wird die Erkennung der Pupille 14 der Person 5 verbessert, sodass noch zuverlässiger die Blickrichtung der Person 5 durch die IR-Kamera bestimmt werden kann.

Zusätzlich oder alternativ können auf die entsprechende Art und Weise IR-Schatten vermieden oder zumindest abgeschwächt werden.

Claims

Patentansprüche

1. Fahrzeuginsassenerfassungsvorrichtung, umfassend wenigstens eine Infrarotlichtquelle (1), eine Kamera (2) und eine Recheneinheit (3) zum Ansteuern der Infrarotlichtquelle (1) und zur Auswertung von der Kamera (2) erzeugter Kamerabilder, wobei die Infrarotlichtquelle (1) und die Kamera (2) auf eine Beobachtungsregion (4) ausgerichtet sind, die Infrarotlichtquelle (1) dazu eingerichtet ist zumindest eine Gesichtspartie einer sich in der Beobachtungsregion (4) aufhaltenden Person (5) zu beleuchten, die Kamera (2) dazu eingerichtet ist zumindest die beleuchtete Gesichtspartie zu erfassen und die Recheneinheit (3) dazu eingerichtet ist in den Kamerabildern eine Blickrichtung der Person (5) zu erkennen, wobei die Infrarotlichtquelle (1) in eine Anzeigevorrichtung (6) integriert ist und von einer Vielzahl in einer Matrix angeordneter IR-Leuchtelemente (7) ausgebildet ist und die Recheneinheit (3) ferner dazu eingerichtet ist eine Auswahl der IR-Leuchtelemente (7) zum Abstrahlen von Infrarotlicht zu aktivieren, wobei die Recheneinheit (3) die Auswahl der zu aktivierenden IR-Leuchtelemente (7) in Abhängigkeit des Auswerteergebnisses eines Kamerabilds bestimmt, dadurch gekennzeichnet, dass die Recheneinheit (3) ferner dazu eingerichtet ist die Matrix aus IR-Leuchtelementen (7) zum Abstrahlen eines strukturierten Lichtmusters anzusteuern und zur Bestimmung der Blickrichtung der Person (5) in einem Kamerabild die Relativlage zwischen der Pupille (14) der Person (5) und zumindest eines Abschnitts des Lichtmusters zu bestimmen.

2. Fahrzeuginsassenerfassungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass bei einer als LCD-Display ausgebildeten Anzeigevorrichtung (6) die Matrix aus IR- Leuchtelementen (7) in die Hintergrundbeleuchtung (8) der Anzeigevorrichtung (6) integriert ist oder diese zumindest zum Teil ausbildet und bei einer als OLED- Display ausgebildeten Anzeigevorrichtung (6) die Matrix aus IR-Leuchtelementen (7) mit einer Matrix aus Pixeln (9) korrespondiert, sodass ein jeweiliges IR- Leuchtelement (7) ein zusätzliches Subpixel (10) eines Pixels (9) ausbildet.

3. Fahrzeuginsassenerfassungsvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in der Recheneinheit (3) ein Raster (11) gespeichert ist, wobei das Raster (11) eine Unterteilung zumindest eines Ausschnitts der Beobachtungsregion (4) in eine Vielzahl an Rasterelementen (12) beschreibt, in der Recheneinheit (3) eine Zuordnung zwischen Rasterelementen (12) und IR-Leuchtelementen (7) gespeichert ist, und die Recheneinheit (3) ferner dazu eingerichtet ist beim Detektieren einer IR- Reflexion (13) in einem Kamerabild das dem wenigstens einen Rasterelement (12) in dem die IR-Reflexion (13) liegt zugeordnete IR-Leuchtelement (7) zu deaktivieren oder zumindest seine Helligkeit zu reduzieren.

4. Fahrzeuginsassenerfassungsvorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in der Recheneinheit (3) ein Raster (11) gespeichert ist, wobei das Raster (11) eine Unterteilung zumindest eines Ausschnitts der Beobachtungsregion (4) in eine Vielzahl an Rasterelementen (12) beschreibt, in der Recheneinheit (3) eine Zuordnung zwischen Rasterelementen (12) und IR-Leuchtelementen (7) gespeichert ist, und die Recheneinheit (3) ferner dazu eingerichtet ist beim Detektieren eines IR- Schattens in einem Kamerabild das dem wenigstens einen Rasterelement (12) in dem der IR-Schatten liegt zugeordnete IR-Leuchtelement (7) zu aktivieren oder seine Helligkeit zu erhöhen.

5. Fahrzeuginsassenerfassungsvorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Recheneinheit (3) ferner dazu eingerichtet ist die Matrix aus IR-Leuchtelementen (7) zum Abstrahlen eines strukturierten Lichtmusters anzusteuern und durch das Auswerten einer in einem Kamerabild vorliegenden Verzerrung des strukturierten Lichtmusters eine Relativlage zumindest eines Körperteils der Person (5) in der Beobachtungsregion (4) zu bestimmen.

6. Fahrzeuginsassenerfassungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Recheneinheit (3) ferner dazu eingerichtet ist durch Analyse zumindest zweier aufeinanderfolgender Kamerabilder eine Änderung der Relativlage des Körperteils zu erkennen und daraus das Ausführen einer Geste durch die Person (5) zu detektieren.

7. Fahrzeug (15), gekennzeichnet durch wenigstens eine Fahrzeuginsassenerfassungsvorrichtung nach einem der Ansprüche 1 bis 6.

8. Fahrzeug (15) nach Anspruch 7, dadurch gekennzeichnet, dass die Anzeigevorrichtung (6) von dem Display eines Kombiinstruments, von einem Zentraldisplay, von einem Beifahrerdisplay oder von einer Head-Unit ausgebildet ist.

9. Fahrzeug (15) nach Anspruch 7 oder 8, gekennzeichnet durch wenigstens einen Airbag und eine Steuerfunktion zum Auslösen des Airbags, wobei die Recheneinheit (3) dazu eingerichtet ist die Relativlage des zumindest einen Körperteils als Eingangsgröße der Steuerfunktion bereitzustellen und die Steuerfunktion dazu eingerichtet ist den Airbag im Falle eines Airbagauslösesignals nur dann auszulösen, wenn sich wenigstens ein Körperteil innerhalb einer dem Airbag zugeordneten, vordefinierten Raumregion aufhält.