DE102021101278A1

DE102021101278A1 - Erkennen von fahrerablenkung

Info

Publication number: DE102021101278A1
Application number: DE102021101278.3A
Authority: DE
Inventors: David Michael Herman
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-01-24
Filing date: 2021-01-21
Publication date: 2021-07-29
Also published as: US11254316B2; CN113173167A; US20210229672A1

Abstract

Diese Offenbarung stellt ein Erkennen von Fahrerablenkung bereit. Es kann eine Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums bestimmt werden. Daraufhin wird bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen ein Fahrzeugaktor auf Grundlage einer bestimmten Position der Lichtquelle betätigt.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen den Fahrzeugbetrieb und insbesondere das Erkennen von Fahrerablenkung.
ALLGEMEINER STAND DER TECHNIK
Es können Probleme auftreten, wenn ein Fahrzeugführer eine Benutzervorrichtung, wie etwa ein Smartphone, verwendet. Es kann ein Fahrzeugcomputer verwendet werden, um eine Benutzervorrichtung in dem Fahrzeug zu erkennen, z. B. mit Daten von einem Kamerasensor im Fahrzeuginnenraum. Es ist jedoch ein Problem, eine Benutzervorrichtung zu identifizieren, wenn sich die Benutzervorrichtung außerhalb eines Sichtfelds eines Kamerasensors im Fahrzeuginnenraum befindet.
KURZDARSTELLUNG
In dieser Schrift wird ein System offenbart, das einen Prozessor und einen Speicher beinhaltet. Der Speicher speichert Anweisungen, die durch den Prozessor ausgeführt werden können, um eine Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums zu bestimmen und um bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen dann einen Fahrzeugaktor auf Grundlage einer bestimmten Position der Lichtquelle zu betätigen.
Die Anweisungen können ferner Anweisungen zum Betätigen des Fahrzeugaktors zusätzlich zu der bestimmten Position der ersten Lichtquelle auf Grundlage des Folgenden beinhalten: (i) eine Häufigkeit, mit welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Häufigkeitsschwellenwert, (ii) ob die Lichtquelle eine Benutzervorrichtung ist, (iii) eine Zeitdauer, während welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Zeitschwellenwert, und (iv) der Fahrzeuginsasse steuert mindestens eines von Antrieb, Lenkung und Bremsen des Fahrzeugs.
Die Anweisungen können ferner Anweisungen zum Betätigen des Fahrzeugaktors auf Grundlage des Bestimmens eines Typs von Medienausgabe der Benutzervorrichtung basierend auf einer Vielzahl von empfangenen polarimetrischen Bildern beinhalten, wobei der Medientyp eines von einer Videowiedergabe, interaktiver Nachrichtenübermittlung und einer angezeigten Navigationsanweisung ist.
Die Anweisungen können ferner Anweisungen zum Bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut, basierend auf einer erkannten Kopfrichtung des Fahrzeuginsassen, einer erkannten Blickrichtung des Fahrzeuginsassen und einer geschätzten Position der Lichtquelle beinhalten.
Das System kann ferner einen Kamerasensor mit einer polarisierenden Bildgebungsvorrichtung beinhalten, wobei die Bildgebungsvorrichtung polarimetrische Bilddaten für jedes Bildpixel auf Grundlage von Bildattributen einschließlich einer Polarisationsachse, einer Lichtstärke und eines Farbraums generiert.
Die Anweisungen können ferner Anweisungen beinhalten, um ein entmosaiziertes Bild auf Grundlage des empfangenen Bildes zu generieren und um eine Polarisationszuordnung auf Grundlage des entmosaizierten Bildes zu generieren.
Die äußere Quelle kann eines von dem Firmament, der Sonne, dem Mond, einem Straßenlicht, einem Licht eines zweiten Fahrzeugs, einer beleuchteten Anzeigevorrichtung und einer an einem zweiten Fahrzeug montierten Anzeige sein.
Die Anweisungen können ferner Anweisungen zum Klassifizieren der Lichtquelle auf Grundlage einer Polarisierungszuordnung und einer Tiefenzuordnung, wobei die Tiefenzuordnung auf Grundlage des empfangenen polarimetrischen Bildes generiert wird, und zum Bestimmen einer dreidimensionalen Position der Lichtquelle auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt einschließlich des Fahrzeuginsassen innerhalb des empfangenen Bildes beinhalten.
Die Anweisungen können ferner Anweisungen zum Bestimmen auf Grundlage einer Polarisierungszuordnung des empfangenen Bildes und einer Polarisierungseigenschaft der Benutzervorrichtung, ob die Lichtquelle eine Benutzervorrichtung ist, beinhalten.
Die Anweisungen können ferner Anweisungen zum Bestimmen beinhalten, dass ein polarisiertes Licht, das in dem empfangenen Bild enthalten ist, von einer anderen Benutzervorrichtung als die Fahrzeugbeleuchtung stammt, auf Grundlage einer an die Fahrzeuganzeige gesendeten Betätigungsanweisung, die eine Zeitangabe zum Betätigen der Fahrzeugbeleuchtung beinhaltet.
Die Anweisungen können ferner Anweisungen zum Bestimmen einer Position der Umweltquelle auf Grundlage eines Firmamentmodells und Daten, die von einem zweiten Computer empfangen werden und Positionskoordinaten eines zweiten Fahrzeugs beinhalten, enthalten.
Ferner wird ein Verfahren offenbart, welches das Bestimmen der Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums und bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen dann das Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle umfasst.
Das Verfahren kann ferner das Betätigen des Fahrzeugaktors zusätzlich zu der bestimmten Position der ersten Lichtquelle auf Grundlage des Folgenden beinhalten: (i) eine Häufigkeit, mit welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Häufigkeitsschwellenwert, (ii) ob die Lichtquelle eine Benutzervorrichtung ist, (iii) eine Zeitdauer, während welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Zeitschwellenwert, und (iv) der Fahrzeuginsasse steuert mindestens eines von Antrieb, Lenkung und Bremsen des Fahrzeugs.
Das Verfahren kann ferner das Betätigen des Fahrzeugaktors auf Grundlage des Bestimmens eines Typs von Medienausgabe der Benutzervorrichtung basierend auf einer Vielzahl von empfangenen polarimetrischen Bildern beinhalten, wobei der Medientyp eines von einer Videowiedergabe, interaktiver Nachrichtenübermittlung und einer angezeigten Navigationsanweisung ist.
Das Verfahren kann ferner das Bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut, basierend auf einer erkannten Kopfrichtung des Fahrzeuginsassen, einer erkannten Blickrichtung des Fahrzeuginsassen und einer geschätzten Position der Lichtquelle beinhalten.
Die äußere Quelle ist eines von dem Firmament, der Sonne, dem Mond, einem Straßenlicht, einem Licht eines zweiten Fahrzeugs, einer beleuchteten Anzeigevorrichtung und einer an einem zweiten Fahrzeug montierten Anzeige.
Das Verfahren kann ferner das Klassifizieren der Lichtquelle auf Grundlage einer Polarisierungszuordnung und einer Tiefenzuordnung, wobei die Tiefenzuordnung auf Grundlage des empfangenen polarimetrischen Bildes generiert wird, und das Bestimmen einer dreidimensionalen Position der Lichtquelle auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt einschließlich des Fahrzeuginsassen innerhalb des empfangenen Bildes beinhalten.
Das Verfahren kann ferner das Bestimmen auf Grundlage einer Polarisierungszuordnung des empfangenen Bildes und einer Polarisierungseigenschaft der Benutzervorrichtung beinhalten, ob die Lichtquelle eine Benutzervorrichtung ist.
Das Verfahren kann ferner das Bestimmen beinhalten, dass ein polarisiertes Licht, das in dem empfangenen Bild enthalten ist, von einer anderen Benutzervorrichtung als die Fahrzeugbeleuchtung stammt, auf Grundlage einer an die Fahrzeuganzeige gesendeten Betätigungsanweisung, die eine Zeitangabe zum Betätigen der Fahrzeugbeleuchtung beinhaltet.
Das Verfahren kann ferner das Bestimmen einer Position der Umweltquelle auf Grundlage eines Firmamentmodells und Daten, die von einem zweiten Computer empfangen werden und Positionskoordinaten eines zweiten Fahrzeugs beinhalten, enthalten.
Ferner wird hierin ein System offenbart, das Mittel zum Bestimmen einer Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums und Mittel zum Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen umfasst.
Außerdem wird eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Darüber hinaus wird ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst.
Darüber hinaus wird ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, das Anweisungen speichert, die durch einen Computerprozessor ausführbar sind, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Figurenliste

1 ist eine Ansicht, die ein beispielhaftes Fahrzeug, einen Insassen und eine Benutzervorrichtung in dem Fahrzeug veranschaulicht.
2 ist ein Ansicht, die einen beispielhaften Bildgebungssensor zum Erkennen einer empfangenen Lichtpolarisation zeigt.
Die 3A-3B sind ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben des Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Hierin werden technische Einschränkungen von Sensoren, wie etwa Bildsensoren, einschließlich der Beschränkung auf ein definiertes direktes Sichtfeld, angegangen. In einer beispielhaften Umsetzung kann ein Fahrzeugcomputer eine Benutzervorrichtung außerhalb eines Sichtfelds eines Kamerasensors im Fahrzeuginnenraum auf Grundlage von polarimetrischen Bilddaten erkennen, die von dem Kamerasensor im Innenraum empfangen werden. Der Computer kann ferner erkennen, ob ein Fahrzeugführer (d. h., ein Fahrzeugbenutzer, der das Fahrzeug bedient) durch die Benutzervorrichtung abgelenkt wird, die außerhalb des Sichtfelds des Kamerasensors erkannt wird. Daher überwindet die vorliegende Offenbarung vorteilhafterweise vorhandene Defizite bei erfassten Bilddaten und der Interpretation solcher Bilddaten, um eine Benutzervorrichtung außerhalb eines Sichtfelds des Kamerasensors im Innenraum zu erkennen, und kann zudem bestimmen, ob ein Fahrzeugführer mit der erkannten Benutzervorrichtung interagiert, anstatt seine Aufmerksamkeit auf ein Objekt oder eine Szene außerhalb des Fahrzeugs zu richten, z. B. aus einem Fenster zu schauen, um einen Spurwechsel zu herbeizuführen. Darüber hinaus überwindet die vorliegende Offenbarung vorteilhafterweise das aktuelle Defizit, dass lediglich eine Kopfhaltung des Fahrers und/oder eine Blickrichtung erkannt wird, indem eine Position einer Benutzervorrichtung, z. B. auf einem Armaturenbrett des Fahrzeugs, erkannt wird, die eine Sicht des Fahrers blockieren kann, obwohl eine Kopfhaltung und/oder Blickrichtung des Fahrers angeben kann, dass der Fahrer eine Szene außerhalb des Fahrzeugs betrachtet.
Diese technischen Vorteile werden durch einen Fahrzeugcomputer bereitgestellt, der dazu programmiert ist, die Position einer Lichtquelle, z. B. eines Smartphones, außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums zu bestimmen und bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen dann einen Fahrzeugaktor auf Grundlage einer bestimmten Position der Lichtquelle zu betätigen. Der Fahrzeugcomputer könnte zum Beispiel bestimmen, dass ein Benutzer auf eine Benutzervorrichtung, wie etwa ein Smartphone oder dergleichen, die auf dem Schoß des Bedieners, auf dem Armaturenbrett des Fahrzeugs oder auf der Fahrzeugmittelkonsole platziert ist, schaut, und könnte dann einen Fahrzeugaktor betätigen, z. B. um einen halbautonomen oder nicht autonomen Betriebsmodus zu deaktivieren, um eine Audioausgabe zu erzeugen usw.
1 veranschaulicht ein Fahrzeug 100, einen Insassen 160 und eine Benutzervorrichtung 170. Das Fahrzeug 100 kann auf vielfältige Weise angetrieben werden, z. B. mit einem Elektromotor und/oder einer Brennkraftmaschine. Das Fahrzeug 100 kann ein Landfahrzeug, wie etwa ein Auto, Lkw usw. sein. Ein Fahrzeug 100 kann einen Computer 110, (einen) Aktor(en) 120, (einen) Sensor(en) 130 und eine Mensch-Maschine-Schnittstelle (human-machine interface — HMI) 140 beinhalten. Das Fahrzeug 100 kann einen Referenzpunkt 175, z. B. einen geometrischen Mittelpunkt (d. h., einen Punkt, an dem sich eine longitudinale Achse und eine laterale Achse der Karosserie des Fahrzeugs 100 schneiden) oder einen anderen spezifizierten Punkt aufweisen. Das Fahrzeug 100 kann einen Innenraumabteil oder einen Innenraum 190, z. B. eine Fahrgastkabine, beinhalten.Der Innenraum 190 des Fahrzeugs 100 ist ein Raum innerhalb des Fahrzeugs 100. Es können sich ein oder mehrere Insassen 160 in dem Fahrzeug 100 befinden. Die Benutzervorrichtung(en) 170 kann/können (ein) Smartphone(s), (ein) Tablet(s), Media-Player usw. beinhalten.
Der Computer 110 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind.Der Speicher beinhaltet eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Computer 110 zum Durchführen verschiedener Vorgänge, einschließlich der in dieser Schrift offenbarten, ausführbar sind.
Der Computer 110 kann das Fahrzeug 100 in einem autonomen Modus, einem halbautonomen Modus oder einem nicht autonomen Modus betreiben.Zum Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, in dem jedes von Antrieb, Bremsen und Lenkung des Fahrzeugs 100 durch den Computer 110 gesteuert wird; in einem halbautonomen Modus steuert der Computer 110 eines oder zwei von Antrieb, Bremsen und Lenkung der Fahrzeuge 100; in einem nicht autonomen Modus steuert ein Fahrzeugführerinsasse 160, d. h. einer des einen oder der mehrerer Insassen 160 Antrieb, Bremsen und Lenkung des Fahrzeugs 100.
Somit empfängt ein Fahrzeugführerinsasse 160 in einem nicht autonomen Modus oder einem halbautonomen Modus Informationen von außerhalb des Fahrzeugs 100, z. B. visuelle und akustische Informationen von der Fahrbahn, und steuert einen oder mehrere Vorgänge des Fahrzeugs 100 auf Grundlage der empfangenen Informationen. Mit anderen Worten beobachtet ein Fahrzeugführerinsasse 160 eine Straße, Objekte, wie etwa andere Fahrzeuge und Fußgänger auf der Straße usw., um einen oder mehrere Vorgänge des Fahrzeugs 100 (z. B. Antrieb, Lenkung und/oder Bremsen) zu steuern. Ein Fahrzeugführerinsasse 160 kann auf Grundlage einer gespeicherten Sitzposition eines Fahrzeugführerinsassen 160, z. B. des vorderen linken Sitzes, und/oder auf Grundlage von Daten von Sensoren 130 identifiziert werden, z. B. durch Erkennen des Fahrzeugführerinsassen 160 auf Grundlage von Gesichtserkennung und gespeicherten Gesichtsinformationen des Fahrzeugführerinsassen 160 in einem Speicher des Computers 110. Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, z. B. auf Grundlage von Daten des Kamerasensors 130 einen Fahrzeugführerinsassen 160 zu identifizieren, wenn bestimmt wird, dass ein Insasse 160 mindestens eines von Antrieb, Bremsen und Lenken eines Fahrzeugs 100 steuert, z. B. ein Lenkrad des Fahrzeugs hält.
In einigen Beispielen kann ein Insasse 160 des Fahrzeugs 100 in einem autonomen Modus Informationen von einer HMI 140 des Fahrzeugs 100 empfangen, die den Insassen 160 anweisen, wieder die Steuerung über den Antrieb, das Bremsen und/oder das Lenken des Fahrzeugs 100 zu übernehmen, wenn bestimmte Bedingungen erkannt werden, z. beim Erkennen eines Fehlers in einem oder mehreren Sensoren 130 des Fahrzeugs 100.
Der Computer 110 kann eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuerung der Geschwindigkeit und/oder Beschleunigung des Fahrzeugs 100 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenbeleuchtung usw. des Fahrzeugs 100 zu betreiben, sowie um zu bestimmen, ob und wann der Computer 110 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll. Des Weiteren kann der Computer 110 dazu programmiert sein, zu bestimmen, ob und wann ein menschlicher Fahrzeugführer derartige Vorgänge steuern soll. Zum Beispiel kann der Computer 110 bestimmen, dass im nicht autonomen Modus ein menschlicher Bediener die Antriebs-, Lenk- und Bremsvorgänge steuern soll.
Der Computer 110 kann mehr als einen Prozessor, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug zum Überwachen und/oder Steuern verschiedener Fahrzeugsteuerungen, z. B. einer Antriebsstrangsteuerung, einer Bremssteuerung, einer Lenkungssteuerung usw., enthalten sind, beinhalten oder kommunikativ daran gekoppelt sein, z. B. über einen Kommunikationsbus des Fahrzeugs 100, wie er nachstehend ausführlicher beschrieben wird. Der Computer 110 ist im Allgemeinen zur Kommunikation in einem Fahrzeugkommunikationsnetz angeordnet, das einen Bus in dem Fahrzeug beinhalten kann, wie etwa ein Controller Area Network (CAN) oder dergleichen, und/oder andere drahtgebundene und/oder drahtlose Mechanismen.
Über das Netzwerk des Fahrzeugs 100 kann der Computer 110 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen, z. B. einem Aktor 120, einer HMI 140 usw., empfangen. Alternativ oder zusätzlich kann in den Fällen, in denen der Computer 110 tatsächlich mehrere Vorrichtungen umfasst, das Kommunikationsnetz des Fahrzeugs 100 für Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind.Wie nachfolgend ausführlicher erläutert, können verschiedene elektronische Steuerungen und/oder Sensoren 130 dem Computer 110 über das Fahrzeugkommunikationsnetz Daten bereitstellen.
Die Aktoren 120 des Fahrzeugs 100 sind über Schaltungen, Chips oder andere elektronische und/oder mechanische Komponenten umgesetzt, die verschiedene Fahrzeugteilsysteme gemäß geeigneten Steuersignalen, wie bekannt, betätigen können. Die Aktoren 120 können verwendet werden, um Systeme der Fahrzeuge 100 zu steuern, wie etwa Bremsen, Beschleunigung und/oder Lenkung der Fahrzeuge 100.
Die Sensoren 130 des Fahrzeugs 100 können eine Vielzahl von Vorrichtungen beinhalten, die bekannt sind, Daten über den Fahrzeugkommunikationsbus bereitzustellen. Beispielsweise können die Sensoren 130 einen oder mehrere Kamera-, Radar-, Infrarot- und/oder LIDAR-Sensoren 130 beinhalten, die im Fahrzeug 100 und/oder am Fahrzeug 100 angeordnet sind und Daten bereitstellen, die zumindest einen Teil des Innenraums und des Außenbereichs des Fahrzeugs 100 abdecken. Die Daten können vom Computer 110 über eine geeignete Schnittstelle empfangen werden. Ein LIDAR-Sensor 130, der z. B. auf einer Oberseite des Fahrzeugs 100 angeordnet ist, kann Objektdaten bereitstellen, die relative Standorte, Größen und Formen von Objekten bereitstellen, wie zum Beispiel andere Fahrzeuge, die das Fahrzeug 100 umgeben. Ein Computer 110 des Fahrzeugs 100 kann die Objektdaten empfangen und das Fahrzeug zumindest teilweise auf Grundlage der empfangenen Objektdaten in einem autonomen und/oder halbautonomen Modus betreiben. Ein Kamerasensor 130 im Innenraum des Fahrzeugs 100 mit einem Sichtfeld 150 kann Bilddaten aus dem Innenraum 190 bereitstellen, die z. B. (einen) Insassen 160 beinhalten.
Die HMI 140 kann dazu konfiguriert sein, Eingaben des Insassen 160, z. B. während des Betriebs des Fahrzeugs 100, zu empfangen und/oder Daten (in visueller Darstellung und/oder als Text) an einen Insassen 160 des Fahrzeugs 100 auszugeben. Beispielsweise kann ein Insasse 160 einen Betriebsmodus, z. B. einen autonomen Modus, durch Eingeben eines angefragten Betriebsmodus über eine HMI 140 auswählen. Darüber hinaus kann eine HMI 140 dazu konfiguriert sein, dem Insassen 160 Informationen darzustellen. Daher kann sich eine HMI 140 in dem Innenraum 190 des Fahrzeugs 100 befinden. In einem Beispiel kann der Computer 110 Informationen ausgeben, die angeben, dass in einem ausgewählten Betriebsmodus des Fahrzeugs 100, z. B. einem nicht autonomen und/oder halbautonomen Modus, ein Fahrzeugführerinsasse 160 nicht mit einer Benutzervorrichtung 170 interagieren kann.
Eine HMI 140 beinhaltet typischerweise eine LCD (liquid crystal display) zum Ausgeben von Bildern, Text usw. Eine LCD arbeitet auf Grundlage der Interaktion von stabförmigen flüssigkristallinen Molekülen mit einem elektrischen Feld und polarisierten Lichtwellen. Somit erzeugen LCDs beim Betrieb polarisiertes Licht. Die LCDs arbeiten auf Grundlage eines Pulsweitenmodulations-Steuersignals (PWM-Steuersignals), das bewirkt, dass eine LCD-Lichtausgabe flackert.Eine Frequenz eines PWM-Signals, z. B. bei einer Frequenz von 362 Hertz (Hz), die eine LCD steuert, ist größer als eine Frequenz, die für ein Auge eines Insassen 160 erkennbar ist. Mit anderen Worten kann das Auge des menschlichen Bedieners 160 ein dauerhaftes Licht von einem LCD sehen, obwohl das LCD-Licht periodisch AN und AUS geschaltet wird. Gleichermaßen beinhaltet eine Benutzervorrichtung 170, wie etwa ein Smartphone, ein Tablet usw., typischerweise eine LCD, d. h., Benutzervorrichtungen 170 erzeugen typischerweise ebenfalls polarisiertes Licht. Zum Beispiel ist bei einer PWM-Frequenz von 362 Hz und einem Betriebszyklus von 50 % das LCD-Licht für ungefähr 1,4 Millisekunden (ms) AN und für 1,4 ms AUS. Zusätzlich kann ein Computer, wie etwa der Fahrzeugcomputer 110, eine LCD der HMI 140 betätigen, um eine Beleuchtungsstärke der Hintergrundbeleuchtung und/oder einen Polarisationsgrad zu modifizieren, um die Lichtausgabeintensität einzelner LCD-Pixel zu steuern. Der Computer 110 kann dazu programmiert sein, Bilddaten von dem Kamerasensor 130 des Innenraums während bestimmter Zeiten (z. B. AUS-Zeiten, wie vorstehend erörtert) zu empfangen, die dazu optimiert sind, Interferenzen der Ausgabe des polarisierten Lichts der HMI 140 zu entfernen oder zu reduzieren. Zum Beispiel kann der Computer 110 mehrere Bilder zu Zeiten empfangen, bei denen die Ausgabe der HMI 140 z. B. keine Lichtausgabe (AUS-Zeiten), eine Lichtausgabe mit voller Intensität (AN-Zeiten) und/oder eine Lichtausgabe mit halber Intensität aufweist. In einem anderen Beispiel kann der Computer 110 dazu programmiert sein, die Fahrzeug-HMI 140 zu betätigen, um räumlich zu variieren, um eine Methode von photometrischen Stereo zu verwenden, um eine Benutzervorrichtung 170 zu erkennen, die Licht innerhalb eines Sichtfelds 150 emittiert.
Die Polarisation von Licht (oder einem Lichtstrahl) kann mit einem Polarisationsgrad und einer Polarisationsrichtung spezifiziert werden. Zusätzlich oder alternativ kann eine Polarisation von Licht durch Stokes-Parameter spezifiziert werden, die eine Intensität, einen Polarisationsgrad und Formparameter einer Polarisationsellipse beinhalten. Eine Lichtwelle, die in mehr als einer Richtung schwingt, wird als unpolarisiertes Licht bezeichnet. Polarisierte Lichtwellen sind Lichtwellen, bei denen die Schwingungen ganz oder teilweise in einer einzigen Ebene auftreten. Der Prozess des Umwandelns von unpolarisiertem Licht in polarisiertes Licht ist als Polarisation bekannt. Die Polarisationsrichtung ist als eine Richtung parallel zu einem elektromagnetischen Feld der Lichtwelle definiert. Eine Polarisationsrichtung (d. h. eine Schwingungsrichtung) kann mit einem Winkel zwischen 0 und 360 Grad spezifiziert werden. Unpolarisiertes Licht beinhaltet viele Lichtwellen (oder Strahlen) mit zufälligen Polarisationsrichtungen, z. B. Sonnenlicht, Mondlicht, fluoreszierendes Licht, Fahrzeugscheinwerfer usw.
Licht kann durch Passieren durch einen Polarisationsfilter oder ein anderes polarisierendes Material polarisiert werden. Ein Polarisationsgrad ist eine Größe, die verwendet wird, um den Teil einer elektromagnetischen Welle zu beschreiben, der polarisiert ist. Eine perfekt polarisierte Welle weist einen Grad an Polarisation (oder Polarisationsgrad) von 100 % auf (d. h., beschränkt Lichtwellen auf eine Richtung), wohingegen eine unpolarisierte Welle einen Polarisationsgrad von 0 % aufweist (d. h. es liegt keine Einschränkung in Bezug auf eine Schwingungsrichtung einer Lichtwelle vor). Eine teilweise polarisierte Welle kann durch eine Kombination aus polarisierten und unpolarisierten Komponenten dargestellt werden und weist somit einen Polarisationsgrad zwischen 0 und 100 % auf. Ein Polarisationsgrad wird als ein Bruchteil einer Gesamtleistung berechnet, die von der polarisierten Komponente der Lichtwelle getragen wird.
Ein Computer 110 des Fahrzeugs 100 kann dazu programmiert sein, die Position einer Lichtquelle, z. B. einer Benutzervorrichtung 170 (1), außerhalb eines Sichtfelds 150 eines polarimetrischen Bildes eines Innenraums 190 des Fahrzeugs 100 zu bestimmen und bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Beleuchtung des Fahrzeugs 100, z. B. die HMI, oder keine äußere Lichtquelle ist und (b) Erkennen eines Insassen 160 des Fahrzeugs 100 dann einen Aktor 120 des Fahrzeugs 100 auf Grundlage einer bestimmten Position der Lichtquelle zu betätigen. Eine äußere Lichtquelle ist eine Lichtquelle, die sich außerhalb des Innenraums 190 des Fahrzeugs 100 befindet, z. B. die Sonne, der Mond, ein Straßenlicht, ein Licht eines zweiten Fahrzeugs, eine beleuchtete Anzeigevorrichtungund/oder eine an ein zweites Fahrzeug montierte Anzeige, z. B. eine Werbeanzeige an einem Bus, Zug usw.
Im vorliegenden Zusammenhang ist ein polarimetrisches Bild ein Bild, das von einem polarimetrischen Kamerasensor 130 empfangen wird. Ein polarimetrischer Kamerasensor 130 ist eine Digitalkamera, die optische und/oder elektronische Komponenten beinhaltet, z. B. eine Abbildungsvorrichtung 200 (2), die dazu konfiguriert sind, polarisiertes Licht zu filtern und die Polarisation des empfangenen Lichts zu erkennen. Ein polarimetrischer Kamerasensor 130 kann einen Polarisationsgrad des empfangenen Lichts in verschiedenen Polarisationsrichtungen bestimmen. Licht weist physikalische Eigenschaften auf, wie etwa Helligkeit (oder Amplitude), Farbe (oder Wellenlänge), Polarisationsrichtung und einen Polarisationsgrad. Zum Beispiel kann unpolarisiertes Licht eine Gesamtheit von Lichtwellen aufweisen, die gleichmäßig in verschiedene Richtungen verteilt ist (d. h., unterschiedliche Richtungen aufweist), was zu einem „niedrigen“ Polarisationsgrad führt (d. h., unter einen spezifizierten Schwellenwert), und vollständig polarisiertes Licht kann Lichtwellen beinhalten, die eine Richtung aufweisen, was zu einem „hohen“ Polarisationsgrad führt (d. h., über einen spezifizierten Schwellenwert). Im vorliegenden Zusammenhang kann ein „niedriger“ Polarisationsgrad 0% bis 10 % betragen und kann ein „hoher“ Polarisationsgrad als 90 % bis 100 % definiert sein. Jede dieser physikalischen Eigenschaften kann durch einen polarimetrischen Kamerasensor 130 bestimmt werden.
Unter Bezugnahme auf 2 beinhaltet ein polarimetrischer Kamerasensor 130 typischerweise eine polarisierende Abbildungsvorrichtung 200. Die polarisierende Abbildungsvorrichtung 200 ist eine optoelektronische Komponente, die Licht in elektrische Signale umwandelt. Bilddaten, die von einer Bildgebungsvorrichtung 200 ausgegeben werden, beinhalten typischerweise eine Vielzahl von Pixeln, z. B. 1 Megapixel. Die Bildgebungsvorrichtung 200 kann eine Vielzahl von einzelnen optoelektronischen Komponenten 210 beinhalten, die jeweils ein elektrisches Signal für jedes Bildpixel erzeugen. Bilddaten, die von der Bildgebungsvorrichtung 200 für jedes Bildpixel erzeugt werden, können auf Bildattributen basieren, einschließlich einer Polarisationsrichtung (oder -achse), eines Polarisationsgrads, einer Lichtstärke und/oder eines Farbraums.
Um erkanntes polarisiertes Licht zu filtern, kann ein polarisierendes Material, z. B. in Form eines Films, auf der Abbildungsvorrichtung 200 platziert werden und/oder in der Abbildungsvorrichtung 200 enthalten sein. Um zum Beispiel einen polarisierenden Film zu erzeugen, können winzige Kristallite aus Iodchininsulfat, die in der gleichen Richtung ausgerichtet sind, in einen transparenten Polymerfilm eingebettet sein, um eine Migration und Neuausrichtung der Kristalle zu verhindern. Wie in 2 gezeigt, kann das polarisierende Material auf jeder optoelektronischen Komponente 210 so konfiguriert sein, dass Licht mit einer spezifischen Polarisationsrichtung, z. B. 0 (null), 45, 90, 270 Grad, durch den polarisierenden Film dringt. In einem Beispiel generiert jede optoelektronische Komponente 210 Bilddaten, die einem oder mehreren Bildpixeln entsprechen. In einem Beispiel können die optoelektronischen Komponenten 200 der Bildgebungsvorrichtung 200 derart angeordnet sein, dass jeder Satz von 2x2 optoelektronischen Komponenten 210 einen polarisierenden Film von 0 (null), 45, 90 und 270 Grad beinhaltet. Ein polarimetrisches Bild wird dann unter Verwendung bekannter Entmosaizierungstechniken (de-mosaicking techniques) erzeugt, wie nachstehend erörtert. Zusätzlich oder alternativ können andere Techniken, wie etwa ein Drehfilter, ein elektrooptischer Filter usw., verwendet werden.
Die Lichtstärke (oder Lichtintensität) ist ein Maß für die wellenlängengewichtete Leistung, die von einer Lichtquelle in eine bestimmten Richtung pro Raumwinkeleinheit emittiert wird, basierend auf der Hellempfindlichkeitsfunktion, einem standardisierten Modell der Empfindlichkeit des menschlichen Auges. Die SI-Einheit der Lichtstärke ist ein Candela (cd).
Wie vorstehend erörtert, kann jede der optoelektronischen Komponenten 210 der Abbildungsvorrichtung 200 Licht mit einer spezifischen Polarisationsrichtung erkennen. Der Computer 110 kann dazu programmiert sein, ein Bild auf Grundlage von Ausgaben der optoelektronischen Komponenten 210 zu erzeugen. Dieser Prozess wird typischerweise als „Entmosaikung“ bezeichnet. In dem „Entmosaikungs“-Prozess kann der Computer 110 die von jedem der 2x2 benachbarten optoelektronischen Sensoren 210 empfangenen Bilddaten kombinieren und den Polarisationsgrad, die Lichtstärke und die Polarisationsrichtung des empfangenen Lichts für den Satz von 4 (vier) optoelektronischen Komponenten 210 berechnen, z. B. unter Annahme eines Polarisationsgrads von 45 Grad für den Teil des Bildes, der von der optoelektronischen Komponente 210 empfangen wird, die einen Polarisationsfilm von 90 Grad aufweist. Mit anderen Worten kann unter Berücksichtigung der kleinen Pixelgröße davon ausgegangen werden, dass das Licht, das an einem Pixel von 90 Grad empfangen wird, die gleiche Polarisationskomponente von 45 Grad aufweist, die an dem benachbarten Pixel empfangen wird, d. h. innerhalb eines gleichen Satzes von vier optoelektronischen Komponenten 210. Das nach dem Entmosaizieren erzeugte Bild kann als das entmosaizierte Bild bezeichnet werden.
Der Computer 110 kann dazu programmiert sein, eine Lichtstärke, eine Polarisationsrichtung und einen Polarisationsgrad, z. B. für jedes Bildpixel, auf Grundlage von Daten zu bestimmen, die von dem Kamerasensor 130 empfangen werden. Der Computer 110 kann dazu programmiert sein, eine Polarisationszuordnung auf Grundlage der empfangenen Bilddaten zu generieren. Eine Polarisationszuordnung ist ein Datensatz, der einen Polarisationsgrad, eine Polarisationsrichtung und/oder eine Lichtstärke jedes Abschnitts des von dem Kamerasensor 130 empfangenen Bildes spezifiziert. Der Computer 110 kann einen Satz der Lichtstärke (z. B. in Candela spezifiziert), einer Polarisationsrichtung (z. B. 0 bis 360 Grad) und eines Polarisationsgrads (z. B. 0 bis 100%) für jedes Pixel des Bildes bestimmen.

Zum Beispiel kann der Computer 110 dazu programmiert sein, eine Polarisationszuordnung zu generieren, die einen Satz von Polarisationsdaten für jedes Pixel des Bildes beinhaltet, wie in Tabelle 1 gezeigt. Somit kann die Polarisationszuordnung angeben, ob polarisiertes Licht mit jeder der vier Polarisation erkannt wird und einen Polarisationsgrad für jede der Polarisationsrichtungen spezifizieren. Tabelle 1

Daten	Beschreibung
Lichtstärke	In Candela (cd) spezifizierte Lichtstärke.
Polarisationsgrad von 0 (null) Grad	Ein Polarisationsgrad von Licht in der Polarisationsrichtung von 0 (null) Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
Polarisation von 45 Grad	Ein Polarisationsgrad von Licht in der Polarisationsrichtung von 45 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
Polarisation von 90 Grad	Ein Polarisationsgrad von Licht in der Polarisationsrichtung von 90 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.
Polarisation von 270 Grad	Ein Polarisationsgrad von Licht in der Polarisationsrichtung von 270 Grad, z. B. eine Zahl zwischen 0 (null) und 100 %.

Der Computer 110 kann dazu programmiert sein, eine Polarisationszuordnung auf Grundlage der empfangenen Bilddaten zu generieren, die von der Bildgebungsvorrichtung 200 des Kamerasensors 130 empfangen werden. Zusätzlich oder alternativ kann der Kamerasensor 130 elektronische Komponenten beinhalten, welche die Polarisationszuordnung generieren und die Daten der Polarisationszuordnung an den Computer 110 ausgeben. Somit kann der Computer 110 Polarisationsdaten, z. B. wie durch Tabelle 1 veranschaulicht, für jedes Pixel oder jeden Satz von Pixeln von dem polarimetrischen Kamerasensor 130 empfangen.
Die HMI 140 des Fahrzeugs 100 beinhaltet typischerweise eine LCD-Anzeige, die, wie vorstehend erörtert, typischerweise polarisiertes Licht während des Betriebs des Fahrzeugs 100 ausgibt. Somit kann der Fahrzeugführerinsasse 160 des Fahrzeugs 100 die auf der HMI 140 angezeigten Informationen ansehen und die empfangenen Informationen beim Betreiben des Fahrzeugs 100 verwenden. Aus diesem Grund kann der Computer 110 dazu programmiert sein, zu bestimmen, ob sich eine andere Lichtquelle als die Beleuchtung (HMI 140) des Fahrzeugs 100 in dem Fahrzeug 100 befindet, wodurch polarisiertes Licht, das durch die HMI 140 des Fahrzeugs 100 generiert wird, ignoriert wird.
Wie vorstehend erörtert, werden die LCDs unter Verwendung einer PWM betätigt und sind nicht dauerhaft eingeschaltet oder aktiviert. In einem Beispiel kann der Computer 110 dazu programmiert sein, auf Grundlage einer an die HMI 140 des Fahrzeugs 100 gesendeten Betätigungsanweisung zu bestimmen, ob polarisiertes Licht, das in dem empfangenen Bild erkannt wird, von einer anderen Benutzervorrichtung 170 als der Fahrzeugbeleuchtung, z. B. der HMI 140, stammt. Der Computer 110 kann zum Beispiel dazu programmiert sein, einen Zeitraum, in dem eine HMI 140 des Fahrzeugs 100 inaktiv oder AUS ist, auf Grundlage des an die HMI 140 gesendeten PWM-Steuersignals zu identifizieren und die Polarisationszuordnung auf Grundlage von Bilddaten zu generieren, die in der Zeit empfangen werden, während welcher die HMI 140 ausgeschaltet ist, wodurch sichergestellt wird, dass erkanntes polarisiertes Licht in dem empfangenen Bild von einer anderen Lichtquelle als der Beleuchtung des Fahrzeugs, z. B. der HMI 140, 100 stammt. Somit kann der Computer 110 dazu programmiert sein, Bilddaten von dem polarimetrischen Kamerasensor 130 während des Zeitraums der AUS-Zeit der Anzeige der HMI 140 basierend auf empfangenen Daten zu empfangen, die Betätigungszeiten (d. h. EIN- und AUS-Zeiten) der Anzeige der HMI 140 beinhalten.
Zusätzlich oder alternativ kann der Computer 110 die 3D-Positionskoordinaten der HMI 140 speichern. Somit kann der Computer 110 bestimmen, dass die Lichtquelle die HMI 140 ist, wenn bestimmt wird, dass sich die geschätzte 3D-Position der Lichtquelle innerhalb eines Entfernungsschwellenwerts von der Position der HMI 140 befindet, z. B. liegt eine Entfernung zwischen einem Referenzpunkt der HMI 140 und der geschätzten Position der Lichtquelle unter einem Schwellenwert, wie etwa 10 cm. Ein 3D-Position ist eine Position, die gemäß Koordinaten in drei Dimensionen spezifiziert ist, z. B. X-, Y- und Z-Koordinaten eines Koordinatensystems 180 des Fahrzeugs 100.
Wie vorstehend erörtert, erzeugen Benutzervorrichtungen 170, wie etwa ein Tablet, Smartphone usw., polarisiertes Licht. Der Computer 110 kann dazu programmiert sein, eine Polarisationseigenschaft von Benutzervorrichtungen 170, wie etwa einem Tablet, einem Smartphone usw., in einem Speicher des Computers 110 zu speichern. Im vorliegenden Zusammenhang handelt es sich bei einer Polarisationseigenschaft um einen Datensatz, der einen Bereich des Polarisationsgrads, z. B. 100 %, die Polarisationsrichtung, z. B. 45 Grad, die Lichtstärke usw. von Licht spezifiziert, das durch eine Anzeige einer Benutzervorrichtung 170 generiert wird.Eine Polarisationseigenschaft kann zum Beispiel einen Bereich des Polarisationsgrads und/oder einen Satz von Polarisationsrichtungen einer Benutzervorrichtung 170 spezifizieren, z. B. einen Polarisationsgrad von 30 % bis 50 % für eine Polarisationsrichtung von 45 Grad und einen Polarisationsgrad von 0 % für andere Polarisationsrichtungen. Der Computer 110 kann dazu programmiert sein, auf Grundlage der Polarisationszuordnung und der gespeicherten Polarisationseigenschaft zu bestimmen, dass eine Benutzervorrichtung 170 polarisiertes Licht erzeugt. Der Computer 110 kann zum Beispiel auf Grundlage der Polarisationszuordnung (z. B. Tabelle 1) bestimmen, dass der Polarisationsgrad von Licht, das bei 45 Grad polarisiert ist, 40 % beträgt, was in dem in den Polarisationseigenschaften spezifizierten Bereich von 30 bis 50 % liegt und somit schlussfolgern, dass das erkannte Licht in dem Bild von einer Benutzervorrichtung 170 stammt. Es ist zu beachten, dass bei Vorhandensein einer äußeren Lichtquelle, wie etwa Sonnenlicht, Mondlicht, einer Straßenlampe usw., das von der Benutzervorrichtung 170 erzeugte Licht im Vergleich verschwindend gering sein kann, da der Kamerasensor 130 jedoch das Licht herausfiltert, um polarisiertes Licht zu erkennen, kann das von einer Benutzervorrichtung 170 erzeugte Licht erkannt werden. Der Computer 110 kann zum Beispiel polarisiertes Licht auf dem Gesicht oder der Kleidung eines Fahrzeugführerinsassen 160 auf Grundlage der Polarisationszuordnung erkennen. Der Computer 110 kann das Gesicht des Insassen 160 unter Verwendung herkömmlicher Computervisionstechniken erkennen und dann auf Grundlage der Polarisationszuordnung und der gespeicherten Polarisationseigenschaften bestimmen, dass das Gesicht des Fahrzeugführerinsassen 160 durch das polarisierte Licht beleuchtet wird, das durch eine Benutzervorrichtung 170 generiert wird.
Im vorliegenden Kontext ist eine Tiefenzuordnung ein Datensatz, der 3D-Positionen (dreidimensionale Positionen) von Punkten in einem Bild spezifiziert. Eine Tiefenzuordnung kann zum Beispiel einen Satz von 3D-Koordinaten für jedes Pixel des empfangenen Kamerabildes beinhalten, z. B. in Bezug auf das Koordinatensystem 180 mit einem Ursprung an dem Referenzpunkt 175 des Fahrzeugs 100. Mit anderen Worten stellt eine Tiefenzuordnung 3D-Positionskoordinaten von realen Oberflächenpunkten bereit, die in jeweiligen Pixeln des Bildes dargestellt sind. Die Tiefenzuordnung kann zum Beispiel 3D-Positionskoordinaten der Punkte beinhalten, die im Innenraum 190 des Fahrzeugs 100 in dem Bild sichtbar sind, z. B. auf Insassen 160, Sitzen usw. Somit kann eine Tiefenzuordnung 3D-Koordinaten beinhalten, die jedem Pixel des Bildes entsprechen. Der Computer 110 kann dazu programmiert sein, unter Verwendung herkömmlicher Computervisionstechniken eine Tiefenzuordnung für das Empfangene innerhalb des Sichtfelds 150 des Kamerasensors 130 zu erzeugen. Der Computer 110 kann dazu programmiert sein, eine Tiefenzuordnung durch Verarbeiten von Bilddaten zu generieren, die von zwei oder mehr Kamerasensoren 130 empfangen werden, die den Innenraum 190 des Fahrzeugs 100 aus unterschiedlichen Positionen einsehen und gleichzeitig ein überlappendes Sichtfeld 150 aufweisen. Alternativ können andere Verfahren zum Generieren einer Tiefenzuordnung die Verwendung einer Kamera, die in der Lage ist, Lichtfelder zu erkennen, die Verwendung von photometrischen Stereoverfahren oder monokulare Tiefenschätzungstechniken beinhalten, die typischerweise eine auf einem neuronalen Netz basierende Transformation von 2D-Bilddaten verwenden.
Der Computer 110 kann dazu programmiert sein, eine 3D-Position der Lichtquelle, z. B. der Benutzervorrichtung 170, auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt in dem empfangenen Bild, z. B. einem Insassen 160, zu bestimmen. Die 3D-Positionskoordinaten in der Tiefenzuordnung können in Bezug auf ein kartesisches Koordinatensystem 180 mit einem Ursprung bereitgestellt sein, der sich am Referenzpunkt 175 des Fahrzeugs 100 befindet. Der Computer 110 kann einen Schatten eines Objekts auf Grundlage des Erkennens einer Form eines Schattenbereichs in dem Bild und einer erkannten Form des Objekts in dem Bild erkennen. Der Computer 110 kann zum Beispiel einen im Wesentlichen dreieckigen Schatten auf einem Gesicht des Insassen 160 als einen Schatten der Nase des Insassen 160 identifizieren.
Als ein Beispiel kann der Computer 110 dazu programmiert sein, eine 3D-Position der Benutzervorrichtung 170 außerhalb des Sichtfelds 150 auf Grundlage eines erkannten Schattens des polarisierten Lichts der Benutzervorrichtung 170 auf dem Gesicht eines Insassen 160 zu schätzen, z. B. kann ein Schatten der Nase des Insassen 160 auf dem Gesicht des Insassen 160 abhängig von einer 3D-Position der Benutzervorrichtung 170 variieren. Somit kann der Computer 110 die 3D-Position der Benutzervorrichtung 170 basierend auf dem erkannten Schatten von polarisiertem Licht auf dem Gesicht des Insassen 160 schätzen. Zum Beispiel kann der Computer 110 einen Schatten einer Spitze der Nase des Insassen 160 an einem linken Auge des Insassen 160 erkennen. Der Computer 110 bestimmt dann die 3D-Position der Spitze der Nase und die 3D-Position des Auges des Insassen 160 auf Grundlage der Tiefenzuordnung und schätzt dann eine 3D-Position der Benutzervorrichtung 170 auf Grundlage der bestimmten Position der Spitze der Nase des Insassen 160 und deren Schatten, z. B. durch Bestimmen einer Linie, die durch den Schatten und das Objekt, das den Schatten verursacht, verläuft. In diesem Beispiel kann der Computer 110 schätzen, dass eine Position der Benutzervorrichtung 170 außerhalb des Sichtfelds 150 entlang der bestimmten Linie liegen muss, wie vorstehend erörtert, obwohl der Computer 110 in der Lage sein oder nicht in der Lage kann, eine exakte Position der Benutzervorrichtung 170 entlang der bestimmten Linie zu bestimmen.
Der Computer 110 kann dazu programmiert sein, äußere Lichtquellen und deren 3D-Position auf Grundlage von (i) Daten von (einem) Sensor(en) 130 des Fahrzeugs 100, z. B. einem vorderen Kamerasensor 130, der ein zweites Fahrzeug, ein Straßenlicht, eine Anzeige am Fahrbahnrand usw. erkennt, (ii) Kartendaten, z. B. einschließlich (einem) Standort(en) von Anzeigen am Fahrbahnrand, Straßenlichtern usw., (iii) Wetterdaten, die eine Bewölkung des Himmels spezifizieren und somit eine Menge an Sonnenlicht oder Mondlicht spezifizieren, die das Fahrzeug 100 erreicht (z. B. unter Verwendung von Ray-Tracing-Simulationstechniken mit Einbeziehung des Polarisationsgrads und der Richtung des erkannten Lichts, eines phänologischen Modells, um die Physik von mit Material innerhalb des Fahrzeugs 100 interagierendem Licht zu erlernen, um ein derartiges Modell dann zur Ausgabe zu verwenden, um Umgebungslicht aus dem erkannten Licht zu entfernen) und/oder (iv) Daten eines Firmamentmodells (oder einer beliebigen anderen Technik zum Modellieren atmosphärischer Phänomene), welche die Position der Sonne, die Position des Monds usw. auf Grundlage von Datum und Uhrzeit spezifizieren, zu identifizieren. Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, ein Position einer äußeren Lichtquelle, z. B. eines zweiten Fahrzeugscheinwerfers, auf Grundlage von Daten zu bestimmen, die von einem zweiten Computer, z. B. einem zweiten Fahrzeugcomputer, empfangen werden. Der Computer 110 kann zum Beispiel ferner basierend auf dem GPS-Standort (global positioning system — GPS) des Fahrzeugs 100, der z. B. von einem GPS-Sensor 130 des Fahrzeugs 100 empfangen wird, dazu programmiert sein, einen GPS-Standort eines sich bewegenden Lichts, z. B. eines Lichts eines zweiten Fahrzeugs, zu empfangen und die Position des zweiten Fahrzeuglichts in Bezug auf das Koordinatensystem 180 zu bestimmen.
Der Computer 110 kann dazu programmiert sein, die Lichtquelle(n) auf Grundlage einer Polarisationszuordnung und einer Tiefenzuordnung zu klassifizieren. Der Computer 110 kann dazu programmiert sein, die 3D-Position der erkannten Lichtquelle(n), z. B. der Benutzervorrichtung 170, zu schätzen und die erkannten Lichtquellen dann als (i) eine Fahrzeugvorrichtung, z. B. die HMI 140, (ii) eine Benutzervorrichtung 170, (iii) eine äußere natürliche Lichtquelle, d. h. die Sonne und den Mond, (iv) ein Infrastrukturlicht, wie etwa Straßenlicht, eine beleuchtete Anzeigevorrichtung, z. B. eine Werbetafel usw., und (v) ein äußeres Fahrzeuglicht, z. B. eines zweiten Fahrzeugs, Motorrads usw. zu klassifizieren. Der Computer 110 kann dazu programmiert sein, die Ergebnisse der Lichtquellenklassifizierung in einem Speicher des Computers 110 zu speichern, z. B. Tabelle 2. Die beispielhafte Tabelle 2 zeigt eine Liste von N erkannten Lichtquellen, 3D-Positionskoordinaten jeder erkannten Lichtquelle in Bezug auf das Koordinatensystem 180 sowie die bestimmte Klasse der Lichtquelle. Tabelle 2

Kennung der Lichtquelle Daten

Lichtquelle 1 3D-Position, Klasse der Lichtquelle

... ...

Lichtquelle N 3D-Position, Klasse der Lichtquelle
Der Computer 110 kann dazu programmiert sein, die Lichtquellen auf Grundlage der Polarisationszuordnung, der Tiefenzuordnung, von Daten, die von anderen Fahrzeugen empfangenen werden, z. B. GPS-Standort, Kartendaten, die Quellen von Infrastrukturlicht, z. B. Standorte von Straßenlichtern, beinhalten, des GPS-Sensors 130 des Fahrzeugs 100, usw. zu klassifizieren. Der Computer 110 kann zum Beispiel ein äußeres Licht auf Grundlage von Kartendaten, welche die Position der Lichtquelle außerhalb des Fahrzeugs 100 beinhalten, als Infrastrukturlichtklasse klassifizieren. Der Computer 110 kann dazu programmiert sein, eine äußere Lichtquelle auf Grundlage des GPS-Standorts des zweiten Fahrzeugs, der über ein drahtloses Kommunikationsnetz empfangen wird, und/oder von Bilddaten, die von einem Kamerasensor 130 des Fahrzeugs 100 mit einem Sichtfeld, das einen Außenbereich des Fahrzeugs 100 beinhaltet, und das zweite Fahrzeug in dem empfangenen Bild des Kamerasensors 130 erkennt, als Licht eines zweiten Fahrzeugs zu klassifizieren.
Wie vorstehend erörtert, kann der Computer 110 die 3D-Position einer Lichtquelle auf Grundlage der Tiefenzuordnung und des Schattens der Lichtquelle auf einem Objekt im Innenraum 190 des Fahrzeugs 100, z. B. einem Schatten einer Nase des Insassen 160, schätzen. Wie vorstehend erörtert, kann der Computer 110 zum Beispiel auf Grundlage der Tiefenzuordnung und des Schattens der Lichtquelle dazu programmiert sein, zu bestimmen, dass die Lichtquelle eine äußere Lichtquelle ist, z. B. wenn bestimmt wird, dass eine Linie, die den Schatten und das Objekt, z. B. die Nase des Insassen 160, verbindet, durch ein Seitenfenster des Fahrzeugs 100 verläuft, was angibt, dass das Licht von einer äußeren Lichtquelle stammt.
Basierend auf der geschätzten Position und basierend auf gespeicherten Informationen in dem Computer 110, die den Innenraum 190 identifizieren, z. B. die 3D-Position von Begrenzungen des Innenraums 190, kann der Computer 110 bestimmen, ob sich eine Lichtquelle, die ein polarisiertes Licht erzeugt, in dem Innenraum 190 des Fahrzeugs 100 befindet. Wenn bestimmt wird, dass sich die Quelle von polarisierten Licht in dem Innenraum 190 befindet (auf Grundlage einer oder mehrerer Polarisationseigenschaften, wie vorstehend erörtert), bestimmt der Computer 110, dass die Lichtquelle entweder eine Benutzervorrichtung 170 oder eine HMI 140 des Fahrzeugs 100 ist.
Der Computer 110 kann ferner dazu programmiert sein, auf Grundlage einer Polarisierungszuordnung des empfangenen Bildes und einer Polarisierungseigenschaft der Benutzervorrichtung 170 zu bestimmen, ob die Lichtquelle eine Benutzervorrichtung 170 ist. Der Computer 110 kann dazu programmiert sein, eine Lichtquelle als eine Benutzervorrichtung 170 in dem Innenraum 190 auf Grundlage der Polarisationszuordnung, der Tiefenzuordung und einer Position der Lichtquelle zu klassifizieren. Wie vorstehend erörtert, kann der Computer 110 polarisiertes Licht auf einem Gesicht eines Insassen 160 auf Grundlage der Polarisationszuordnung erkennen.
Der Computer 110 kann ferner dazu programmiert sein, basierend auf einer erkannten Kopfrichtung oder -haltung A1 des Insassen 160 des Fahrzeugs 100, einer erkannten Blickrichtung A2 des Insassen 160 des Fahrzeugs 100 und einer geschätzten Position der Lichtquelle zu bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut. Im vorliegenden Zusammenhang ist eine Kopfrichtung oder -haltung A1 durch eine Linie definiert, die im Wesentlichen senkrecht zu der Stirn eines Insassen 160 verläuft. „Blickrichtung“ bedeutet hierin eine Richtung, die gemäß einer Linie beschrieben werden kann, die durch eine Richtung einer Achse einer Augenlinse definiert ist, d. h. eine Richtung, in welche die Augen einer Person schauen.
Der Computer 110 kann dazu programmiert sein, eine Kopfhaltung A1 und eine Blickrichtung A2 des Insassen 160 unter Verwendung herkömmlicher Computervisionstechniken auf Grundlage der empfangenen Bilddaten, einschließlich des Gesichts des Insassen 160, zu bestimmen. Der Computer 110 kann dazu programmiert sein, zu bestimmen, dass ein Insasse 160 auf eine erkannte Benutzervorrichtung 170 schaut, wenn unter Verwendung herkömmlicher geometrischer Techniken bestimmt wird, dass eine Entfernung d der Benutzervorrichtung 170 von der Kopfhaltung A1 kleiner als ein Schwellenwert, z. B. 20 Zentimeter (cm), ist. Eine Entfernung d eines Punkts zu einer Linie in einem 3D-Raum ist eine Länge der kürzesten Linie von dem Punkt zu der Linie, d. h. einer Linie, die durch den Punkt verläuft und senkrecht zu der Linie ist.
Zusätzlich oder alternativ kann der Computer 110 dazu programmiert sein, auf Grundlage der Blickrichtung A2 des Insassen 160 zu bestimmen, dass der Insasse 160 auf die Benutzervorrichtung 170 schaut, z. B. wenn bestimmt wird, dass eine Entfernung d von der Benutzervorrichtung 170 zu einer Linie, welche die Blickrchtung A2 spezifiziert, kleiner als ein Schwellenwert ist. Somit kann der Computer 110 dazu programmiert sein, auf Grundlage einer Blickrichtung A2 von einem rechten oder linken Auge des Fahrzeugführerinsassen 160 zu bestimmen, ob die Augen des Insassen 160 auf die Benutzervorrichtung 170 schauen.
Der Computer 110 kann dazu programmiert sein, zu bestimmen, dass der Fahrzeugführerinsasse 160 abgelenkt ist, wenn (i) der Fahrzeugführer 160 die Benutzervorrichtung 170 über eine Zeit betrachtet, die einen Zeitschwellenwert, z. B. 2 Sekunden (s) überschreitet, (ii) der Fahrzeugführer 160 mit einer Häufigkeit auf die Benutzervorrichtung 170 schaut, die einen Häufigkeitsschwellenwert, z. B. einmal pro Minute, überschreitet, und/oder (iii) der Fahrzeugführerinsasse 160 einen Medientyp betrachtet, wie etwa interaktive Nachrichtenübermittlung oder Videowiedergabe.Im vorliegenden Kontext ist eine Häufigkeit des Schauens auf eine Benutzervorrichtung 170 eine Anzahl (oder ein Zählimpuls) von Malen, die ein Fahrzeugführerinsasse 160 (wie vorstehend definiert) auf die Benutzervorrichtung 170 pro Zeiteinheit schaut, z. B. 2 Mal pro Minute. Ein Änderung des Insassen 160 von einer ersten Position, in der nicht auf die Benutzervorrichtung 170 geschaut wird, zu einer zweiten Position, in der auf die Benutzervorrichtung 170 geschaut wird, ist als ein Zählimpuls definiert. Eine erste und eine zweite Position werden durch die Kopfhaltung A1 und/oder die Blickrichtung A2 definiert. Zusätzlich können die Schwellenwerte, wie etwa der Zeitschwellenwert, der Häufigkeitsschwellenwert usw., auf Grundlage eines Betriebsmodus des Fahrzeugs 100 und/oder eines Satzes von Fahrerassistenzmerkmalen, die aktuell in dem Fahrzeug 100 aktiviert sind, bestimmt werden. Zum Beispiel kann ein erster Zeitschwellenwert 4 Sekunden betragen, wenn nur der Antrieb des Fahrzeugs 100 durch den Computer 110 gesteuert wird, wohingegen ein zweiter Zeitschwellenwert 2 Sekunden betragen kann, wenn Antrieb, Lenkung und Bremsen durch den Computer 110 gesteuert werden.
Eine Benutzervorrichtung 170 kann verschiedene Arten von Medieninhalten ausgeben. Zum Beispiel kann eine Benutzervorrichtung 170 eine Videowiedergabe, eine interaktive Nachrichtenübermittlung und/ oder eine Navigationsanweisung ausgeben. Der Computer 110 kann dazu programmiert sein, auf Grundlage von Änderungen der Polarisationszuordnung einen Typ von Medieninhalt der Benutzervorrichtung 170 zu bestimmen. In einem Beispiel kann der Computer 110 Profildaten von Medientypen in einem Speicher des Computers 110 speichern und den Medientyp auf Grundlage der Änderungen der Polarisationszuordnung und der gespeicherten Typenprofile bestimmen. Ein Medientypprofil ist ein Muster, das eine Änderungsrate der Lichtstärke, eine Änderungsrate des Polarisationsgrads usw. für jeden Medientyp beinhaltet. Ein Medientypprofil kann ein Muster der Farbänderung, ein Muster der Beleuchtungsänderung und/oder räumliche Eigenschaften der Farbe und Beleuchtung basierend auf der Position des Kamerasensors 130 in dem Fahrzeug 100, dem Sichtfeld 150, und/oder Bildschirmgröße der Benutzervorrichtungen 170 beinhalten. Ein Medientypprofil kann auf der Position des Kamerasensors 130 basieren, da der Sensor 130 zum Beispiel in Abhängigkeit von einer Position, einer Richtung und einem Sichtfeld 150 weniger Außenlicht empfangen kann, z. B. kann ein Sensor auf einem Armaturenbrett mehr äußeres Licht empfangen, wohingegen ein Sensor 130, der an einer A-Säule des Fahrzeugs 100 montiert ist, weniger äußeres Licht empfangen kann. In einem Beispiel, beinhaltet eine Vielzahl von Medientypprofilen jeweils Informationen, die mindestens eines von einer Anzeige von Unterhaltung, wie z. B. das Fernsehprogramm, Web-Surfen, das mit Laden und Scrollen von Inhalten verbunden ist, Nachrichtenübermittlung, usw. spezifiziert. Somit kann der Computer 110 in einem Beispiel auf Grundlage der bestimmten Änderungsrate des Polarisationsgrads, der bestimmten Änderungsrate der Lichtstärke usw. und Vergleichen der bestimmten Raten mit den gespeicherten Medientypprofilen bestimmen, welcher Medientyp von der Benutzervorrichtung 170 erzeugt wird.
Der Computer 110 kann dazu programmiert sein, den Aktor 120 des Fahrzeugs 100 zu betätigen, wenn bestimmt wird, dass der Fahrzeugführerinsasse 160 abgelenkt ist. In einem Beispiel kann der Computer 110 eine Nachricht an die HMI 140 des Fahrzeugs 100 ausgeben, die z. B. eine Anweisung an den Insassen 160 beinhaltet, sich auf die Fahrbahn zu konzentrieren. Zusätzlich oder alternativ kann der Computer 110 einen autonomen Betriebsmodus des Fahrzeugs 100 aktivieren. Zusätzlich oder alternativ kann der Computer 110 einen Aktor 120 des Fahrzeugs 100 betätigen, um eine Audioausgabe auszugeben. Zusätzlich oder alternativ kann der Computer 110 einen Aktor 120 des Fahrzeugs 100 betätigen, um ein haptisches Feedback in einem Sitz des Fahrzeugs 100 und/oder dem Lenkrad des Fahrzeugs 100 zu bewirken.
VERARBEITUNG
Die 3A-3B sind ein Ablaufdiagramm eines beispielhaften Prozesses 300 zum Betreiben des Fahrzeugs 100. Der Computer 110 des Fahrzeugs 100 kann zum Beispiel dazu programmiert sein, die Blöcke des Prozesses 300 auszuführen.
Unter Bezugnahme auf 3A beginnt der Prozess 300 in einem Block 310, in dem der Computer 110 Bilddaten von einem polarimetrischen Kamerasensor 130 empfängt, der ein Sichtfeld 150 aufweist, das einen Innenraum 190 des Fahrzeugs 100 beinhaltet.
Als Nächstes generiert der Computer 110 in einem Block 315 eine Polarisationszuordnung des empfangenen Bildes. Der Computer 110 kann die Polarisationszuordnung auf Grundlage des Polarisationsgrads, der Polarisationsrichtung, der Lichtstärke und/oder der Farbe der empfangenen Bilddaten generieren.
Als Nächstes identifiziert der Computer 110 in einem Block 320 eine etwaige äußere Lichtquelle, z. B. Lichter eines zweiten Fahrzeugs, den Mond, die Sonne, ein Straßenlicht, eine äußere beleuchtete Anzeigevorrichtung, wie etwa eine Werbeanzeige am Straßenrand. Der Computer 110 kann dazu programmiert sein, äußere Lichtquellen auf Grundlage von (i) Daten des/der Sensor(en) 130 des Fahrzeugs 100, z. B. einem vorderen Kamerasensor 130, der ein zweites Fahrzeug, ein Straßenlicht, eine Anzeige am Straßenrand usw. erkennt, (ii) Kartendaten, z. B. einschließlich des Standorts von Anzeigen am Straßenrand, Straßenlichtern usw., (iii) Wetterdaten und/oder (iv) Firmamentmodelldaten, z. B. einschließlich einer Position der Sonne, einer Position des Mondes usw. zu identifizieren.
Als Nächstes generiert der Computer 110 in einem Block 325 eine Tiefenzuordnung des empfangenen Bildes. Der Computer 110 kann herkömmliche Computervisionstechniken verwenden, um eine Tiefenzuordnung für den Bereich des Inneraums 190 zu generieren, der in dem Sichtfeld 150 enthalten ist.
Als nächstes klassifiziert der Computer 110 in einem Block 330 die/jegliche erkannte Lichtquelle(n). Der Computer 110 kann dazu programmiert sein, die Lichtquelle(n), einschließlich Lichtquellen außerhalb des Sichtfelds 150, auf Grundlage der Polarisationszuordnung, der Tiefenzuordnung, von Daten, die von anderen Fahrzeugen empfangen werden, Kartendaten usw. zu klassifizieren. Nach dem Block 330 geht der Prozess 300 zu einem Block 335 über, wie in 3B gezeigt.
Unter Bezugnahme auf 3B identifiziert und verfolgt der Computer 110 in dem Block 335 den Fahrzeugführerinsassen 160. Der Computer 110 kann dazu programmiert sein, den Fahrzeugführerinsassen 160 zu erkennen, z. B. basierend auf den empfangenen Bilddaten, gespeicherten Daten im Speicher des Computers 110, welche die Position eines Fahrzeugführerinsasse 160 spezifizieren, usw. Der Computer 110 kann dazu programmiert sein, den Fahrzeugführerinsassen 160 zu verfolgen, indem die Kopfhaltung A1 des Insassen 160 und die Blickrichtung A2 des Fahrzeugführerinsassen 160 bestimmt wird.
Als nächstes bestimmt der Computer 110 in einem Entscheidungsblock 340, ob der Fahrzeugführerinsasse 160 auf eine Benutzervorrichtung 170 schaut. Der Computer 110 kann dazu programmiert sein, auf Grundlage der klassifizierten Lichtquellen und der 3D-Position der Lichtquellen zu bestimmen, ob eine Benutzervorrichtung 170 im Innenraum 190 vorhanden ist. Zusätzlich kann der Computer 110 beim Erkennen einer Benutzervorrichtung 170 im Innenraum 190 des Fahrzeugs 100 dazu programmiert sein, auf Grundlage der geschätzten 3D-Position der Benutzervorrichtung 170, der Kopfhaltung A1 des Fahrzeugführerinsassen 160 und/oder der Blickrichtung A2 des Fahrzeugführerinsassen 160 zu bestimmen, ob der Fahrzeugführerinsasse 160 auf die Benutzervorrichtung 170 schaut. Wenn der Computer 110 bestimmt, dass der Fahrzeugführerinsasse 160 auf die Benutzervorrichtungen 170 schaut, dann geht der Prozess 300 zu einem Block 345 über; andernfalls (d. h. wenn keine Benutzervorrichtung 170 im Innenraum 190 erkannt wird oder der Fahrzeugführerinsasse 160 nicht auf eine erkannte Benutzervorrichtung 170 schaut) endet der Prozess 300 oder kehrt alternativ zu dem Block 310 zurück, wenngleich dies in den 3A-3B nicht gezeigt ist.
In dem Block 345 bestimmt der Computer 110 einen Typ von Medienausgabe der Benutzervorrichtung 170. Der Computer 110 kann zum Beispiel dazu programmiert sein, auf Grundlage der Polarisationszuordnung und der gespeicherten Medientypprofildaten zu bestimmen, dass die Benutzervorrichtung 170 ein Video abspielt, interaktive Nachrichten ausgibt, Navigationsanweisungen anzeigt usw.
Als nächstes bestimmt der Computer 110 in einem Block 350 eine Häufigkeit, mit der auf die Benutzervorrichtung 170 geschaut wird, und/oder eine Dauer des Schauens auf die Benutzervorrichtung 170. Der Computer 110 kann dazu programmiert sein, eine Vielzahl von Bilddaten zu speichern und die Häufigkeit und Dauer, mit welcher der Fahrzeugführerinsasse 160 auf die Benutzervorrichtung 170 schaut, auf Grundlage der empfangenen Bilddaten zu bestimmen.
Als nächstes bestimmt der Computer 110 in einem Entscheidungsblock 355, ob der Fahrzeugführerinsasse 160 abgelenkt ist. Der Computer 110 kann zum Beispiel dazu programmiert sein, zu bestimmen, dass der Fahrzeugführerinsasse 160 abgelenkt ist, wenn (i) der Fahrzeugführer 160 die Benutzervorrichtung 170 über eine Zeit betrachtet, die einen Zeitschwellenwert überschreitet, (ii) der Fahrzeugführer 160 mit einer Häufigkeit auf die Benutzervorrichtung 170 schaut, die einen Häufigkeitsschwellenwert überschreitet, und/oder (iii) der Fahrzeugführer 160 einen Medientyp betrachtet, der zu einem der spezifizierten Medientypen gehört, wie etwa Nachrichtenübermittlung oder Videowiedergabe. Wenn der Computer 110 bestimmt, dass der Fahrzeugführer 160 abgelenkt ist, geht der Prozess 300 zu einem Block 360 über; andernfalls endet der Prozess 300 oder kehrt alternativ dazu zu dem Block 310 zurück.
In dem Block 360 veranlasst der Computer 110 eine Handlung. In einem Beispiel kann der Computer 110 eine Nachricht an die HMI 140 des Fahrzeugs 100 ausgeben, die z. B. eine Anweisung an den Insassen 160 beinhaltet, sich auf die Fahrbahn zu konzentrieren. Zusätzlich oder alternativ kann der Computer 110 einen autonomen Betriebsmodus des Fahrzeugs 100 aktivieren. Zusätzlich oder alternativ kann der Computer 110 einen Aktor 120 des Fahrzeugs 100 betätigen, um eine Audioausgabe auszugeben. Zusätzlich oder alternativ kann der Computer 110 einen Aktor 120 des Fahrzeugs 100 betätigen, um ein haptisches Feedback in einem Sitz des Fahrzeugs 100 und/oder dem Lenkrad des Fahrzeugs 100 zu bewirken. Im Anschluss an den Block 360 endet der Prozess 300 oder kehrt alternativ zu dem Block 310 zurück, wenngleich dies in den 3A-3B nicht gezeigt ist.
Rechenvorrichtungen, wie sie in dieser Schrift erörtert werden, beinhalten im Allgemeinen jeweils Anweisungen, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend identifizierten, und zum Ausführen vorstehend beschriebener Blöcke oder Schritte von Prozessen ausgeführt werden können.Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt an Programmiersprachen und/oder -technologien erstellt wurden, darunter unter anderem, entweder allein oder in Kombination, Java™, C, C++, Visual Basic, Java Script, Python, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, darunter einen oder mehrere der in dieser Schrift beschriebenen Prozesse.Derartige Anweisungen und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übermittelt werden.Eine Datei in der Rechenvorrichtung ist allgemein eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer ausgelesen werden können.Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien, flüchtiger Medien usw. Nicht flüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und andere Dauerspeicher.Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (dynamic random access memory-DRAM), der üblicherweise einen Hauptspeicher darstellt.Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH, einen EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das durch einen Computer ausgelesen werden kann.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. sollte es sich verstehen, dass, obwohl die Schritte derartiger Prozesse usw. als in einer bestimmten geordneten Sequenz erfolgend beschrieben worden sind, die beschriebenen Schritte bei der Ausführung derartiger Prozesse in einer Reihenfolge durchgeführt werden könnten, bei der es sich nicht um die in dieser Schrift beschriebene Reihenfolge handelt.Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte, in dieser Schrift beschriebene Schritte ausgelassen werden können.Mit anderen Worten sind die Beschreibungen von Systemen und/oder Prozessen in dieser Schrift zu Zwecken der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keineswegs dahingehend ausgelegt werden, dass sie den offenbarten Gegenstand einschränken.
Dementsprechend versteht es sich, dass die vorliegende Offenbarung, einschließlich der vorangehenden Beschreibung und der beigefügten Figuren und nachfolgenden Patentansprüche, veranschaulichend und nicht einschränkend sein soll.Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, sollten dem Fachmann nach der Lektüre der vorstehenden Beschreibung offensichtlich sein. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorangehende Beschreibung bestimmt werden, sondern stattdessen unter Bezugnahme auf Ansprüche, die hier beigefügt sind und/oder in einer hierauf basierenden, nicht vorläufigen Patentanmeldung enthalten sind, gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu welchen derartige Ansprüche berechtigen.Es wird vorweggenommen und ist beabsichtigt, dass es zukünftige Entwicklungen im in dieser Schrift erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden.Insgesamt versteht es sich, dass der offenbarte Gegenstand modifiziert und variiert werden kann.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das einen Prozessor und einen Speicher aufweist, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausgeführt werden können, um eine Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums zu bestimmen und um bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen dann einen Fahrzeugaktor auf Grundlage einer bestimmten Position der Lichtquelle zu betätigen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betätigen des Fahrzeugaktors zusätzlich zu der bestimmten Position der ersten Lichtquelle auf Grundlage des Folgenden: (i) eine Häufigkeit, mit welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Häufigkeitsschwellenwert, (ii) ob die Lichtquelle eine Benutzervorrichtung ist, (iii) eine Zeitdauer, während welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Zeitschwellenwert, und (iv) der Fahrzeuginsasse steuert mindestens eines von Antrieb, Lenkung und Bremsen des Fahrzeugs.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betätigen des Fahrzeugaktors auf Grundlage des Bestimmens eines Typs von Medienausgabe der Benutzervorrichtung basierend auf einer Vielzahl von empfangenen polarimetrischen Bildern, wobei der Medientyp eines von einer Videowiedergabe, interaktiver Nachrichtenübermittlung und einer angezeigten Navigationsanweisung ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut, basierend auf einer erkannten Kopfrichtung des Fahrzeuginsassen, einer erkannten Blickrichtung des Fahrzeuginsassen und einer geschätzten Position der Lichtquelle.
Gemäß einer Ausführungsform ist die Erfindung ferner durcheinen Kamerasensor mit einer polarisierenden Bildgebungsvorrichtung gekennzeichnet, wobei die Bildgebungsvorrichtung polarimetrische Bilddaten für jedes Bildpixel auf Grundlage von Bildattributen einschließlich einer Polarisationsachse, einer Lichtstärke und eines Farbraums generiert.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Anweisungen gekennzeichnet, um ein entmosaiziertes Bild auf Grundlage des empfangenen Bildes zu generieren und um eine Polarisationszuordnung auf Grundlage des entmosaizierten Bildes zu generieren.
Gemäß einer Ausführungsform ist die äußere Quelle eines von dem Firmament, der Sonne, dem Mond, einem Straßenlicht, einem Licht eines zweiten Fahrzeugs, einer beleuchteten Anzeigevorrichtung und einer an einem zweiten Fahrzeug montierten Anzeige.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen für Folgendes: Klassifizieren der Lichtquelle auf Grundlage einer Polarisierungszuordnung und einer Tiefenzuordnung, wobei die Tiefenzuordnung auf Grundlage des empfangenen polarimetrischen Bildes generiert wird, und Bestimmen einer dreidimensionalen Position der Lichtquelle auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt einschließlich des Fahrzeuginsassen innerhalb des empfangenen Bildes.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen auf Grundlage einer Polarisierungszuordnung des empfangenen Bildes und einer Polarisierungseigenschaft der Benutzervorrichtung, ob die Lichtquelle eine Benutzervorrichtung ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen, dass ein polarisiertes Licht, das in dem empfangenen Bild enthalten ist, von einer anderen Benutzervorrichtung als die Fahrzeugbeleuchtung stammt, auf Grundlage einer an die Fahrzeuganzeige gesendeten Betätigungsanweisung, die eine Zeitangabe zum Betätigen der Fahrzeugbeleuchtung beinhaltet.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen einer Position der Umweltquelle auf Grundlage eines Firmamentmodells und Daten, die von einem zweiten Computer empfangen werden und Positionskoordinaten eines zweiten Fahrzeugs beinhalten.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Bestimmen der Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums und bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen dann das Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle.
Gemäß einem Aspekt der Erfindung beinhaltet das Verfahren das Betätigen des Fahrzeugaktors zusätzlich zu der bestimmten Position der ersten Lichtquelle auf Grundlage des Folgenden: (i) eine Häufigkeit, mit welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Häufigkeitsschwellenwert, (ii) ob die Lichtquelle eine Benutzervorrichtung ist, (iii) eine Zeitdauer, während welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Zeitschwellenwert, und (iv) der Fahrzeuginsasse steuert mindestens eines von Antrieb, Lenkung und Bremsen des Fahrzeugs.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Betätigen des Fahrzeugaktors auf Grundlage des Bestimmens eines Typs von Medienausgabe der Benutzervorrichtung basierend auf einer Vielzahl von empfangenen polarimetrischen Bildern, wobei der Medientyp eines von einer Videowiedergabe, interaktiver Nachrichtenübermittlung und einer angezeigten Navigationsanweisung ist.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut, basierend auf einer erkannten Kopfrichtung des Fahrzeuginsassen, einer erkannten Blickrichtung des Fahrzeuginsassen und einer geschätzten Position der Lichtquelle.
In einem Aspekt der Erfindung ist die äußere Quelle eines von dem Firmament, der Sonne, dem Mond, einem Straßenlicht, einem Licht eines zweiten Fahrzeugs, einer beleuchteten Anzeigevorrichtung und einer an einem zweiten Fahrzeug montierten Anzeige.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen auf Grundlage einer Polarisationszuordnung des empfangenen Bildes und einer Polarisationseigenschaft der Benutzervorrichtung, ob die Lichtquelle eine Benutzervorrichtung ist, und das Klassifizieren der Lichtquelle auf Grundlage einer Polarisierungszuordnung und einer Tiefenzuordnung, wobei die Tiefenzuordnung auf Grundlage des empfangenen polarimetrischen Bildes generiert wird, sowie das Bestimmen einer dreidimensionalen Position der Lichtquelle auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt einschließlich des Fahrzeuginsassen innerhalb des empfangenen Bildes.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen, dass ein polarisiertes Licht, das in dem empfangenen Bild enthalten ist, von einer anderen Benutzervorrichtung als die Fahrzeugbeleuchtung stammt, auf Grundlage einer an die Fahrzeuganzeige gesendeten Betätigungsanweisung, die eine Zeitangabe zum Betätigen der Fahrzeugbeleuchtung beinhaltet.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen einer Position der Umweltquelle auf Grundlage eines Firmamentmodells und Daten, die von einem zweiten Computer empfangen werden und Positionskoordinaten eines zweiten Fahrzeugs beinhalten.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: Mittel zum Bestimmen einer Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums und Mittel zum Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen.

Claims

Verfahren, das Folgendes umfasst: Bestimmen der Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums; und bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen, dann Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle.
Verfahren nach Anspruch 1, das ferner das Betätigen des Fahrzeugaktors zusätzlich zu der bestimmten Position der ersten Lichtquelle auf Grundlage des Folgenden umfasst: (i) eine Häufigkeit, mit welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Häufigkeitsschwellenwert, (ii) ob die Lichtquelle eine Benutzervorrichtung ist, (iii) eine Zeitdauer, während welcher der Fahrzeuginsasse auf die Lichtquelle schaut, überschreitet einen Zeitschwellenwert, und (iv) der Fahrzeuginsasse steuert mindestens eines von Antrieb, Lenkung und Bremsen des Fahrzeugs.
Verfahren nach Anspruch 1, das ferner das Betätigen des Fahrzeugaktors auf Grundlage des Bestimmens eines Typs von Medienausgabe der Benutzervorrichtung basierend auf einer Vielzahl von empfangenen polarimetrischen Bildern umfasst, wobei der Medientyp eines von einer Videowiedergabe, interaktiver Nachrichtenübermittlung und einer angezeigten Navigationsanweisung ist.
Verfahren nach Anspruch 1, das ferner das Bestimmen, dass der Fahrzeuginsasse auf die Lichtquelle schaut, basierend auf einer erkannten Kopfrichtung des Fahrzeuginsassen, einer erkannten Blickrichtung des Fahrzeuginsassen und einer geschätzten Position der Lichtquelle umfasst.
Verfahren nach Anspruch 1, wobei die äußere Quelle eines von dem Firmament, der Sonne, dem Mond, einem Straßenlicht, einem Licht eines zweiten Fahrzeugs, einer beleuchteten Anzeigevorrichtung und einer an einem zweiten Fahrzeug montierten Anzeige ist.
Verfahren nach Anspruch 1, das ferner das Klassifizieren der Lichtquelle auf Grundlage einer Polarisierungszuordnung und einer Tiefenzuordnung, wobei die Tiefenzuordnung auf Grundlage des empfangenen polarimetrischen Bildes generiert wird; und das Bestimmen einer dreidimensionalen Position der Lichtquelle auf Grundlage der Tiefenzuordnung und eines erkannten Schattenmusters der Lichtquelle auf einem Objekt einschließlich des Fahrzeuginsassen innerhalb des empfangenen Bildes umfasst.
Verfahren nach Anspruch 1, das ferner das Bestimmen, ob die Lichtquelle eine Benutzervorrichtung ist, auf Grundlage einer Polarisierungszuordnung des empfangenen Bildes und einer Polarisierungseigenschaft der Benutzervorrichtung umfasst.
Verfahren nach Anspruch 1, das ferner das Bestimmen umfasst, dass ein polarisiertes Licht, das in dem empfangenen Bild enthalten ist, von einer anderen Benutzervorrichtung als die Fahrzeugbeleuchtung stammt, auf Grundlage einer an die Fahrzeuganzeige gesendeten Betätigungsanweisung, die eine Zeitangabe zum Betätigen der Fahrzeugbeleuchtung beinhaltet.
Verfahren nach Anspruch 1, das ferner das Bestimmen einer Position der Umweltquelle auf Grundlage eines Firmamentmodells und Daten, die von einem zweiten Computer empfangen werden und Positionskoordinaten eines zweiten Fahrzeugs beinhalten, umfasst.
Verfahren nach Anspruch 1, das ferner das Generieren, in einem Kamerasensor mit einer polarisierenden Bildgebungsvorrichtung, der polarimetrischen Bilddaten für jedes Bildpixel auf Grundlage von Bildattributen einschließlich einer Polarisationsachse, einer Lichtstärke und eines Farbraums umfasst.
Verfahren nach Anspruch 10, das ferner das Generieren eines entmosaizierten Bildes auf Grundlage des empfangenen Bildes und das Generieren einer Polarisationszuordnung auf Grundlage des entmosaizierten Bildes umfasst.
Rechenvorrichtung, die zum Ausführen des Verfahrens nach einem der Ansprüche 1-11 programmiert ist.
Computerprogrammprodukt, das ein computerlesbares Medium umfasst, auf dem Anweisungen gespeichert sind, die durch einen Computerprozessor ausführbar sind, um das Verfahren nach einem der Ansprüche 1-11 auszuführen.
System, das Folgendes umfasst: Mittel zum Bestimmen der Position einer Lichtquelle außerhalb eines Sichtfelds eines polarimetrischen Bildes eines Fahrzeuginnenraums; und Betätigen eines Fahrzeugaktors auf Grundlage einer bestimmten Position der Lichtquelle bei (a) Bestimmen auf Grundlage des polarimetrischen Bildes, dass die Lichtquelle keine Fahrzeugbeleuchtung oder äußere Quelle ist und (b) Erkennen eines Fahrzeuginsassen.