DE102021131701A1

DE102021131701A1 - Systeme und verfahren zum erfassen von abgelenktem fahren eines fahrers eines fahrzeugs

Info

Publication number: DE102021131701A1
Application number: DE102021131701.0A
Authority: DE
Inventors: David Michael Herman; Yashanshu Jain
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-12-03
Filing date: 2021-12-01
Publication date: 2022-06-09
Also published as: CN114604253A; US20220180722A1; US12014532B2

Abstract

Die Offenbarung ist im Allgemeinen auf Systeme und Verfahren zum Erfassen von abgelenktem Fahren gerichtet. In einem beispielhaften Verfahren kann eine Lichtquellenidentifizierungsprozedur zum Erfassen einer ersten Vorrichtung ausgeführt werden, die innerhalb eines Fahrzeugs und außerhalb eines Sichtfelds einer Fahrerüberwachungskamera (wie auf einem Armaturenbrett) vorhanden ist. Die Prozedur kann das Auswerten einer von der Fahrerüberwachungskamera erhaltenen Bilddatenprobe beinhalten, um verschiedene Vorrichtungen zu identifizieren, die Licht emittieren können, das auf das Gesicht des Fahrers einfällt. Das einfallende Licht kann ein erstes Impulsmuster beinhalten, das von der ersten Vorrichtung emittiertem Licht entspricht, und ein zweites Impulsmuster, das von einer zweiten Vorrichtung emittiertem Licht entspricht. Die erste Vorrichtung kann auf verschiedene Arten erfasst werden, wie durch Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster und/oder durch Auswerten des in der Bilddatenprobe vorhandenen Spektralinhalts.

Description

GEBIET DER OFFENBARUNG
Diese Offenbarung betrifft im Allgemeinen das Fahrerverhalten und betrifft insbesondere abgelenktes Fahren.
ALLGEMEINER STAND DER TECHNIK
Ein Hauptproblem bei der Verkehrssicherheit ist das Fahrerverhalten, insbesondere abgelenktes Fahren und Schläfrigkeit. Fahrzeughersteller sind derartigen Arten von Fahrerverhalten durch das Anbieten von Fahrerüberwachungssystemen (Driving Monitoring Systems - DSMs) begegnet. Ein typisches Fahrerüberwachungssystem überwacht unterschiedliche physische Eigenschaften eines Fahrers, um seine Aufmerksamkeit ununterbrochen auszuwerten. Eine der verschiedenen physischen Eigenschaften, die überwacht werden können, beinhaltet die Augen des Fahrers, wobei verschiedene Zustände identifizieren könnten, einschließlich zum Beispiel Schläfrigkeit. Typischerweise neigen die Augenlider eines müden Fahrers dazu, schlaff, teilweise geschlossen oder vollständig geschlossen zu sein. Wenn eine derartige Bedingung erfasst wird, kann das Fahrerüberwachungssystem einen akustischen Warnhinweis bereitstellen und/oder Vibration in dem Lenkrad des Fahrzeugs bereitstellen, um den Fahrer zu warnen und zu wecken.
In einigen Fällen kann ein Fahrer jedoch vollkommen wach sein, kann jedoch aufgrund von Ablenkung innerhalb oder außerhalb des Fahrzeugs seinen Blick von der Straße abwenden. Ein Fahrerüberwachungssystem kann eine Blickrichtung des Fahrers überwachen und bestimmen, dass der Fahrer nicht auf die Straße blickt, sondern stattdessen zu einem Objekt blickt, das sich innerhalb des Fahrzeugs befindet, wie zum Beispiel ein Kind auf dem Rücksitz des Fahrzeugs. Das Fahrerüberwachungssystem kann eine akustische Warnung ausgeben, um den Fahrer aufzufordern, nicht mehr abgelenkt zu sein und auf die Straße zu achten. Eine derartige Anordnung funktioniert ziemlich gut, wenn die Blickrichtung des Fahrers deutlich von der Straße vor sich weggeleitet ist. Jedoch kann ein findiger Fahrer entscheiden, das Fahrerüberwachungssystem zu täuschen, indem er eine Vorrichtung (wie ein Smartphone oder einen Laptop) derart auf dem Armaturenbrett des Fahrzeugs platziert, dass die Augen des Fahrers augenscheinlich auf die Straße vor sich blicken, obwohl Fahrer tatsächlich auf die Vorrichtung blickt.
Es ist daher wünschenswert, zumindest diesen Mangel in der herkömmlichen Praxis zu beheben.
KURZDARSTELLUNG
Im Hinblick auf einen allgemeinen Überblick betreffen bestimmte Ausführungsformen, die in dieser Offenbarung beschrieben werden, Systeme und Verfahren zum Erfassen von abgelenktem Fahren eines Fahrers eines Fahrzeugs. In einem beispielhaften Verfahren gemäß der Offenbarung kann eine Lichtquellenidentifizierungsprozedur ausgeführt werden, um eine erste Vorrichtung, wie ein Smartphone, zu erfassen, die innerhalb einer Kabine eines Fahrzeugs und außerhalb eines Sichtfelds einer Fahrerüberwachungskamera vorhanden ist. Die Lichtquellenidentifizierungsprozedur kann Vorgänge beinhalten, wie das Erhalten einer Bilddatenprobe von der Fahrerüberwachungskamera und das Auswerten der Bilddatenprobe, um verschiedene Vorrichtungen zu identifizieren, die Licht emittieren, das auf das Gesicht des Fahrers einfällt. In einem beispielhaften Szenario kann das einfallende Licht zum Beispiel ein erstes Impulsmuster aufweisen, das von der ersten Vorrichtung emittiertem Licht entspricht, und ein zweites Impulsmuster, das von einer zweiten Vorrichtung emittiertem Licht entspricht. Das erste Impulsmuster entspricht Licht, das von einem Anzeigebildschirm der ersten Vorrichtung emittiert wird, die auf einem Armaturenbrett des Fahrzeugs platziert ist (wobei sich die erste Vorrichtung außerhalb eines Sichtfelds einer Fahrerüberwachungskamera befindet). Das zweite Impulsmuster entspricht Licht, das von einem Anzeigebildschirm einer zweiten Vorrichtung emittiert wird. Es können zusätzliche Impulsmuster existieren, die verschiedenen anderen Lichtquellen entsprechen, die sich innerhalb der Kabine des Fahrzeugs sowie außerhalb des Fahrzeugs befinden. In einer beispielhaften Lösung kann die erste Vorrichtung durch Ausführen eines Zeitfensterungsvorgangs zum Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster erfasst werden. In einer anderen beispielhaften Lösung kann die erste Vorrichtung durch Auswerten des Spektralinhalts, der in der Bilddatenabtastung vorhanden sein kann, erfasst werden.
Figurenliste
Nachfolgend ist eine detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten als die in den Zeichnungen veranschaulichten genutzt werden und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.

1 veranschaulicht ein beispielhaftes Szenario für abgelenktes Fahren.
2 veranschaulicht einige beispielhafte Lichtquellen, die innerhalb eines Fahrzeugs vorhanden sein können und verwendet werden können, um abgelenktes Fahren gemäß einer Ausführungsform der Offenbarung zu erfassen.
3 veranschaulicht einige beispielhafte Impulsmuster, die verschiedenen Arten von Licht zugeordnet sind, die innerhalb eines Fahrzeugs vorhanden sein können.
4 veranschaulicht einige beispielhafte Impulsmuster, die zum Erfassen von abgelenktem Fahren gemäß einer Ausführungsform der Offenbarung angeordnet sind.
5 zeigt einige beispielhafte Komponenten eines Systems zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung gemäß einer Ausführungsform der Offenbarung.
6 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens zum Erfassen von abgelenktem Fahren gemäß einer Ausführungsform der Offenbarung.

DETAILLIERTE BESCHREIBUNG
Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen ausführlicher beschrieben, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind. Diese Offenbarung kann jedoch in vielen unterschiedlichen Formen umgesetzt werden und sollte nicht als auf die in dieser Schrift dargelegten beispielhaften Ausführungsformen beschränkt ausgelegt werden. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen bezüglich Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten Breite und Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt, sondern lediglich gemäß den folgenden Ansprüchen und deren Äquivalenten definiert werden. Die nachfolgende Beschreibung ist zur Veranschaulichung dargelegt worden und soll nicht erschöpfend oder auf die exakte offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder eine konkrete Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden. Darüber hinaus können sich, während spezifische Vorrichtungseigenschaften beschrieben worden sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist. Die konkreten Merkmale und Handlungen werden vielmehr als veranschaulichende Formen der Umsetzung der Ausführungsformen offenbart.
Bestimmte Wörter und Ausdrücke werden in dieser Schrift nur der Einfachheit halber verwendet, und derartige Wörter, Begriffe und Bezeichnungen sollten so interpretiert werden, dass sie sich auf verschiedene Objekte und Maßnahmen beziehen, die in verschiedenen Formen und Äquivalenzen vom Durchschnittsfachmann im Allgemeinen verstanden werden. Zum Beispiel kann die Bezeichnung „Fahrzeug“ im Sinne dieser Offenbarung beliebige verschiedene Fahrzeugarten einschließen, wie zum Beispiel ein Auto, eine Geländelimousine (Sports Utility Vehicle - SUV), einen Lkw, einen Transporter, einen Sattelschlepper, einen Bus und ein autonomes Fahrzeug jeder Art. Die Formulierung „autonomes Fahrzeug“, wie sie in dieser Offenbarung verwendet wird, bezieht sich im Allgemeinen auf ein Fahrzeug, das mindestens einige Vorgänge ohne menschliches Eingreifen durchführen kann. Mindestens einige der beschriebenen Ausführungsformen sind auf Fahrzeuge der Stufe 1 anwendbar und können auch auf Fahrzeuge höherer Stufen anwendbar sein. Die Society of Automotive Engineers (SAE) definiert sechs Stufen der Fahrautomatisierung, die von Stufe 0 (vollständig manuell) bis Stufe 5 (vollständig autonom) reichen. Diese Stufen wurden vom US-Verkehrsministerium übernommen. Fahrzeuge der Stufe 0 (L0) sind manuell gesteuerte Fahrzeuge, die keine fahrbezogene Automatisierung aufweisen. In Fahrzeuge der Stufe 1 (L1) sind einige Funktionen, wie Geschwindigkeitsregelung, integriert, doch ein menschlicher Fahrer steuert weiterhin die meisten Fahr- und Manövriervorgänge. Fahrzeuge der Stufe 2 (L2) sind teilweise automatisiert, wobei bestimmte Fahrvorgänge, wie Lenken, Bremsen und Spursteuerung, durch einen Fahrzeugcomputer gesteuert werden. Der Fahrer steuert das Fahrzeug weiterhin zu einem gewissen Grad und kann bestimmte durch den Fahrzeugcomputer ausgeführte Vorgänge übersteuern. Fahrzeuge der Stufe 3 (L3) stellen bedingte Fahrautomatisierung bereit, sind jedoch insofern intelligenter, als sie die Fähigkeit aufweisen, eine Fahrumgebung und bestimmte Fahrsituationen zu erfassen. Fahrzeuge der Stufe 4 (L4) können in einem Selbstfahrmodus betrieben werden und Funktionen beinhalten, bei denen der Fahrzeugcomputer die Steuerung während bestimmter Arten von Ausrüstungsausfällen übernimmt. Der Grad an menschlichem Eingreifen ist sehr gering. Fahrzeuge der Stufe 5 (L5) sind vollständig autonome Fahrzeuge, die keine menschliche Beteiligung einschließen. Der Ausdruck „Softwareanwendung“, wie in dieser Schrift verwendet, bezieht sich auf verschiedene Arten von Code (Firmware, Software, Maschinencode usw.), die in einer Vorrichtung installiert und ausgeführt werden können, um einen oder mehrere Vorgänge gemäß der Offenbarung umzusetzen. Das Wort „Bild“, wie in dieser Schrift verwendet, kann sich auf ein einzelnes digitales Bild oder mehrere digitale Bilder (zum Beispiel einen Videoclip) beziehen. Das Wort „Informationen“, wie in dieser Schrift verwendet, stellt Daten dar, die in verschiedenen Formen übermittelt werden können, wie zum Beispiel Bilder, Text, Zahlen, digitale Daten und analoge Rohdaten. Der Ausdruck „Bilddatenprobe“, wie in dieser Schrift verwendet, soll alle Formen von bildbezogenen Informationen einschließen, wie zum Beispiel Bilder in einem analogen Format, Bilder in einem digitalen Format (JPEG, TIFF, GIF, BMP usw.) und/oder Video in verschiedenen Formaten (MPEG, MP4, Mov, WMV, FLV, AVI, WebM usw.). Der Ausdruck „Auswerten einer Bilddatenprobe“ schließt verschiedene Arten von Vorgängen ein, die an Bildern und/oder an Bilddaten durchgeführt werden können (wie zum Beispiel Bildverarbeitung, Filtern, Verbessern, Unterscheiden usw.). Es versteht sich, dass das Wort „Beispiel“, wie in dieser Schrift verwendet, nicht ausschließender und nicht einschränkender Natur sein soll.
1 veranschaulicht ein beispielhaftes Szenario für abgelenktes Fahren, in dem ein Fahrer 110 eines Fahrzeugs 100 auf eine Vorrichtung 115 blickt, die auf dem Armaturenbrett des Fahrzeugs 100 platziert ist, anstatt die Straße vor sich zu beobachten. Die Vorrichtung 115 kann jede von verschiedenen Arten von Licht emittierenden Vorrichtungen sein, wie zum Beispiel eine persönliche Kommunikationsvorrichtung (zum Beispiel ein Smartphone), eine Unterhaltungsvorrichtung (zum Beispiel ein DVD-Player) und/oder eine Navigationsvorrichtung (zum Beispiel ein GPS-System). In einer Ausführungsform gemäß der Offenbarung stammt das von der Vorrichtung 115 emittierte Licht von Komponenten eines Anzeigebildschirms, wie zum Beispiel Leuchtdioden (LEDs) in dem Anzeigebildschirm. Auf dem Anzeigebildschirm der Vorrichtung 115 können Bilder durch eine beispielhafte Technik angezeigt werden, bei der die LEDs ein- und ausgeschaltet werden, um helle und dunkle Bereiche in Schwarzweißbildern und/oder Farbbildern zu erzeugen.
Das Fahrzeug 100 kann ferner ein Fahrerassistenzsystem beinhalten, das als erweitertes Fahrerassistenzsystem (Advanced Driver Assistance System - ADAS) 125 bezeichnet werden kann. Das ADAS 125 kann verschiedene Arten von Merkmalen bereitstellen, die nicht nur dem Fahrer 110 dabei assistieren können, bestimmte Vorgänge an dem Fahrzeug 100 durchzuführen, sondern auch verschiedene Fahrzeugsysteme automatisieren, anpassen und verbessern, um das Fahren sicherer zu machen. Das ADAS 125 kann zum Beispiel Beleuchtungsvorgänge automatisieren, adaptive Geschwindigkeitsregelung bereitstellen, beim Vermeiden von Kollisionen assistieren, Verkehrswarnungen ausgeben, den Fahrer 110 vor möglichen Hindernissen warnen, bei Spurabweichung und Spurzentrierung assistieren und/oder Navigationsunterstützung bereitstellen. Das ADAS 125 setzt typischerweise auch Sicherheitsmerkmale um, die Verkehrstote reduzieren, indem bestimmte Arten menschlicher Fehler minimiert oder beseitigt werden, die zu Unfällen und/oder Kollisionen führen können. In einigen Fällen kann das ADAS 125 den Fahrer 110 vor Probleme warnen und bei Bedarf Sicherheitsmanöver ausführen, indem es die Kontrolle über das Fahrzeug 100 übernimmt. In einem beispielhaften Szenario achtet der Fahrer 110 möglicherweise nicht auf die Straße vor sich, da der Fahrer 110 auf einen Anzeigebildschirm der Vorrichtung 115 blickt. Das ADAS 125 kann dieses Auftreten von abgelenktem Fahren erfassen und einen sicherheitsbezogenen Vorgang ausführen, wie zum Beispiel das Ausgeben einer Warnung an den Fahrer und/oder das Übernehmen der Kontrolle über einige Vorgänge, die normalerweise vom Fahrer 110 durchgeführt werden würden. In einem anderen beispielhaften Szenario kann das ADAS 125 unter bestimmten Umständen die Kontrolle über Vorgänge, wie Beschleunigung, Bremsung und Lenkung des Fahrzeugs 100, übernehmen. Der Fahrer 110 behält das Bewusstsein über die Situation bei und ist in der Lage, die Kontrolle über das Fahrzeug 100 zu jedem Zeitpunkt mit minimaler Verzögerung zurückzugewinnen.
Das ADAS 125 kann diese Vorgänge auf der Grundlage von Daten ausführen, die von verschiedenen Arten von Vorrichtungen empfangen werden, wie zum Beispiel einer Fahrerüberwachungskamera 105, einer Kamera 120 zur Überwachung externer Objekte und einem Fahrzeugcomputer 130. Die Fahrerüberwachungskamera 105 kann an jeder von verschiedenen Befestigungen des Fahrzeugs 100 montiert sein, wie zum Beispiel an dem Armaturenbrett des Fahrzeugs 100, dem Lenkrad des Fahrzeugs 100 oder dem Rückspiegel des Fahrzeugs 100 (wie in 1 veranschaulicht). Die Fahrerüberwachungskamera 105 ist so angeordnet, dass sie ein Sichtfeld aufweist, das das Gesicht des Fahrers 110 einschließt. Bilder, die von der Fahrerüberwachungskamera 105 aufgenommen wurden, können von dem ADAS 125 ausgewertet werden, um verschiedene Bedingungen zu erfassen, wie zum Beispiel Schläfrigkeit, Trunkenheit und/oder Ablenkung.
Ein Schläfrigkeitszustand kann durch Auswerten eines Augenlidstatus des Fahrers 110 erfasst werden. Hängende, halb geschlossene oder vollständig geschlossene Augenlider können dem ADAS 125 eine Angabe bereitstellen, dass der Fahrer 110 schläfrig und/oder betrunken ist. Das ADAS 125 kann eine Warnung an den Fahrer ausgeben, wenn die Schläfrigkeit und/oder der betrunkene Zustand erfasst wird. Die Warnung an den Fahrer kann zum Beispiel in Form einer Audionachricht über ein Infotainmentsystem des Fahrzeugs 100 und/oder als eine haptische Vibration, die über das Lenkrad des Fahrzeugs 100 übertragen wird, ausgegeben werden.
Eine Bedingung eines abgelenkten Fahrens kann durch Auswerten eines Blickrichtungsstatus des Fahrers 110 erkannt werden. In einem beispielhaften Szenario kann der Fahrer 110 seine Augen von der Straße vor sich abgewandt haben und sich umgedreht haben, um über seine Schulter auf einen Fahrgast zu blicken, der auf einem Rücksitz des Fahrzeugs 100 sitzt. In einem anderen beispielhaften Szenario kann der Fahrer 110 seine Augen von der Straße abgewandt haben und kann Aktivitäten durchführen, wie das Blicken in einen Spiegel in einer Sonnenschutzblende, um Lippenstift aufzutragen, Augenmake-up aufzutragen oder sich zu rasieren. Das ADAS 125 kann eine Warnung an den Fahrer ausgeben, wenn diese Bedingung eines abgelenkten Fahrens erfasst wird. Die Warnung an den Fahrer kann zum Beispiel in Form einer Audionachricht über ein Infotainmentsystem des Fahrzeugs 100 ausgegeben werden.
In noch einem anderen Szenario kann der Fahrer 110 seine Augen von der Straße vor sich abgewandt haben, um das Video zu betrachten, das auf der Vorrichtung 115 abgespielt wird. Die Vorrichtung 115 befindet sich außerhalb eines Sichtfelds der Fahrerüberwachungskamera 105 und Bilder, die von der Fahrerüberwachungskamera 105 an das ADAS 125 übermittelt werden, scheinen anzugeben, dass der Fahrer 110 auf die Straße vor sich achtet. Die Bedingung eines abgelenkten Fahrens des Fahrers 110 kann in diesem beispielhaften Szenario dadurch erfasst werden, dass das ADAS 125 verschiedene Vorgänge ausführt, die in dieser Schrift gemäß der Offenbarung beschrieben sind.
Die Kamera 120 zur Überwachung externer Objekte ist dazu angeordnet, Bilder von verschiedenen Objekten aufzunehmen, die möglicherweise nicht im Sichtfeld der Fahrerüberwachungskamera 105 vorhanden sind. Insbesondere ist die Kamera 120 zur Überwachung externer Objekte dazu angeordnet, Bilder von verschiedenen Objekten aufzunehmen, die sich außerhalb des Fahrzeugs 100 befinden, wie zum Beispiel Fahrzeugen, die sich vor dem Fahrzeug 100 bewegen, Verkehrssignalen, Fußgängern, auf der Straße vorhandenen Hindernissen, Straßenschildern und/oder Gebäuden. Die Bilder können von dem ADAS 125 und/oder andere Vorrichtungen, wie den Fahrzeugcomputer 130, für verschiedene Zwecke ausgewertet werden, wie zum Beispiel zur Unfallvermeidung und zu Versicherungszwecken nach einem Unfall. Die Kamera 120 zur Überwachung externer Objekte kann an jeder von verschiedenen Befestigungen des Fahrzeugs 100 montiert sein, wie zum Beispiel an dem Armaturenbrett des Fahrzeugs 100 oder der Windschutzscheibe des Fahrzeugs 100.
Der Fahrzeugcomputer 130 kann unterschiedliche Funktionen am Fahrzeug 100 durchführen, wie zu Beispiel das Steuern von Motorvorgängen (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), das Verwalten der Klimaanlage (Klimatisierung, Heizung usw.), das Aktivieren von Airbags und das Ausgeben von Warnungen (Leuchte zur Überprüfung des Motors, Ausfall einer Lampe, niedriger Reifendruck, Fahrzeug im toten Winkel usw.). In Anwendungen, in denen das Fahrzeug 100 autonom ist, kann der Fahrzeugcomputer 130 verschiedene autonome Maßnahmen steuern, die von dem autonomen Fahrzeug durchgeführt werden. Der Fahrzeugcomputer 130 kann zudem mit dem ADAS 125 zusammenwirken, um verschiedene Fahrassistenzfunktionen durchzuführen, die das Adressieren von Bedingungen eines abgelenkten Fahrens gemäß der Offenbarung beinhalten.
Der Fahrzeugcomputer 130 und/oder das ADAS 125 können drahtlos über ein Kommunikationsnetzwerk mit Vorrichtungen, wie zum Beispiel einem cloudbasierten Computer (nicht gezeigt) und/oder einer cloudbasierten Speichervorrichtung, kommunizieren. Das Kommunikationsnetzwerk kann ein beliebiges Netzwerk oder eine Kombination von Netzwerken beinhalten, wie zum Beispiel ein lokales Netzwerk (Local Area Network - LAN), ein Weitverkehrsnetzwerk (Wide Area Network - WAN), ein Telefonnetzwerk, ein Mobilfunknetzwerk, ein Kabelnetzwerk, ein drahtloses Netzwerk und/oder private/öffentliche Netzwerke, wie das Internet. Das Kommunikationsnetz kann eine oder mehrere Arten von Kommunikationstechnologien unterstützen, wie zum Beispiel Bluetooth®, Ultrabreitband, Mobilfunk, Nahfeldkommunikation (Near-Field Communication - NFC), Wi-Fi, Wi-Fi Direct, Li-Fi, Controller Area Network (CAN), Local Interconnect Network (LIN), Maschine-Maschine-Kommunikation und/oder Mensch-Maschine-Kommunikation. Mindestens ein Teil des Kommunikationsnetzwerks beinhaltet eine drahtlose Kommunikationsverbindung, die es dem Fahrzeugcomputer 130 und/oder dem ADAS 125 ermöglicht, mit zum Beispiel dem cloudbasierten Servercomputer zu kommunizieren. In einigen Umsetzungen kann der cloudbasierte Computer verschiedene Vorgänge ausführen, die in dieser Schrift gemäß der Offenbarung beschrieben sind. Die Vorgänge können unabhängig und/oder durch Zusammenwirken mit dem ADAS 125 ausgeführt werden.
2 veranschaulicht einige beispielhafte Lichtquellen, die innerhalb des Fahrzeugs 100 vorhanden sein können und verwendet werden können, um abgelenktes Fahren gemäß einer Ausführungsform der Offenbarung zu erfassen. Die verschiedenen beispielhaften Lichtquellen können die Vorrichtung 115, die Licht 215 von einem Anzeigebildschirm der Vorrichtung 115 emittieren kann, ein Infotainmentsystem 205, das Licht 210 von einem Anzeigebildschirm des Infotainmentsystems 205 emittieren kann, und ein Armaturenbrett 235, das Licht 220 von einem Anzeigebildschirm des Armaturenbretts 235 emittieren kann, beinhalten. Jede von der Vorrichtung 115, dem Infotainmentsystem 205 und dem Armaturenbrett 235 kann Pulsmodulationstechniken zum Anzeigen von Bildern auf dem jeweiligen Anzeigebildschirm verwenden, insbesondere, wenn die Anzeigebildschirme lichtemittierende Komponenten, wie lichtemittierende Vorrichtungen (LEDs), beinhalten. Derartige lichtemittierende Vorrichtungen werden typischerweise schnell durch die Verwendung eines oder mehrerer gepulster Signale ein- und ausgeschaltet, um beispielsweise helle und dunkle Bereiche von Einzelbildern zu erzeugen. Die Eigenschaften der gepulsten Signale, wie zum Beispiel eine Impulswiederholrate und eine Einschaltdauer, können gelegentlich ein Flimmern in Bildern verursachen, die auf dem Anzeigebildschirm der Vorrichtung angezeigt werden. Das Flimmern kann für Menschen wahrnehmbar sein oder nicht.
Licht, das innerhalb des Fahrzeugs 100 vorhanden ist, kann ferner Umgebungslicht 230 und Außenlicht 225 beinhalten. Das Umgebungslicht 230 kann von natürlichen und/oder künstlichen Quellen (Sonnenlicht, Straßenlaternen usw.) stammen. Umgebungslicht, das von natürlichen Quellen, wie der Sonne, stammt, weist typischerweise keine Flimmereigenschaft auf (wie sie in einem auf einem Anzeigebildschirm einer Vorrichtung angezeigten Bild vorhanden sein kann). Externes Licht 225 kann von Objekten stammen, die vor dem Fahrzeug 100 vorhanden sind (Rückleuchten, Scheinwerfer, Verkehrsampeln, Leuchten an Gebäuden, Leuchten an Vorrichtungen usw.). Das Flimmern von externem Licht 225 kann von der Quelle des externen Lichts 225 abhängig sein. Eine Rückleuchte eines anderen Fahrzeugs vor dem Fahrzeug 100 kann in einem Fall eine Glühlampe und in einem anderen Fall eine LED-Anordnung beinhalten. Flimmern kann in der Rückleuchte, in der die Glühlampe untergebracht ist, nicht vorhanden sein, kann jedoch in der Rückleuchte vorhanden sein, in der die LED-Anordnung untergebracht ist.
In einer Ausführungsform gemäß der Offenbarung ist die Fahrerüberwachungskamera 105 so angeordnet, dass sie ein Sichtfeld aufweist, das das Gesicht des Fahrers 110 einschließt, um dem ADAS 125 Informationen zum Auswerten eines Zustands des Fahrers 110 (Schläfrigkeitszustand, betrunkener Zustand, Ablenkungszustand usw.) bereitzustellen. Die Informationen können in verschiedenen Formen bereitgestellt werden, wie zum Beispiel in Form eines oder mehrerer Bilder und/oder eines Video-Feeds. Derartige Informationen können in dieser Schrift im Allgemeinen als Bilddatenproben bezeichnet werden.
In einer beispielhaften Umsetzung ist die Fahrerüberwachungskamera 105 eine Rolling-Shutter-Kamera. Eine Rolling-Shutter-Kamera nimmt typischerweise ein Bild oder ein Videoeinzelbild durch schnelles Scannen einer Szene (entweder horizontal oder vertikal) auf, anstatt eine Momentaufnahme zu einem einzigen Zeitpunkt aufzunehmen. Folglich werden nicht alle Teile des Bildes gleichzeitig aufgenommen. Diese Prozedur kann Bildverzerrungen erzeugen, insbesondere von sich schnell bewegenden Objekten. In diesem Fall nimmt die Fahrerüberwachungskamera 105 Bilder des Fahrers 110 (und aller anderen Objekte innerhalb des Sichtfelds der Fahrerüberwachungskamera 105) auf, indem ein Scanprozess ausgeführt wird, der das Anlegen eines gepulsten Signals an einen Bildsensor beinhalten kann. Die Eigenschaften des gepulsten Signals können angepasst werden, um dem Bildsensor verschiedene Belichtungszeiten bereitzustellen. In einer beispielhaften Anwendung beinhaltet die Rolling-Shutter-Kamera einen Komplementär-Metall-Oxid-Halbleiter(CMOS)-Sensor, der Lichtsignale erfasst, die Objekten entsprechen, die sich im Sichtfeld der Rolling-Shutter-Kamera befinden. Die Lichtsignale, die von dem CMOS-Sensor unter der Steuerung eines gepulsten Signals erfasst werden, können als Bildelemente (Pixel) bezeichnet werden. Die Pixel werden von einer an den CMOS-Sensor gekoppelten Schaltung in elektrische Signale (die ein digitales Bild darstellen) umgewandelt. Die Umwandlung von optischem in elektrisches Signal kann unter Nutzung einer Pulsmodulationstechnik durchgeführt werden, die die Verwendung eines gepulsten Signals einschließt. In einigen Fällen kann die Verwendung der Pulsmodulationstechnik zu Aberrationen in Bilddatenproben führen. Jede Bilddatenprobe kann digitale Informationen beinhalten, die einem einzelnen Bild oder mehreren Bildern entsprechen. Bildaberrationen können durch Anwenden von Bildverarbeitungstechniken (Bildfiltern, Rekonstruktion, Fehlerkorrektur usw.) korrigiert werden.
In einer anderen beispielhaften Umsetzung ist die Fahrerüberwachungskamera 105 eine Global-Shutter-Kamera, die Bilder des Fahrers 110 (und aller anderen Objekte innerhalb des Sichtfelds der Fahrerüberwachungskamera 105) durch Ausführen einer Bildaufnahme eines vollständigen Einzelbilds an einem beliebigen Einzelzeitpunkt aufnimmt. Jedes Einzelbild stellt eine Bilddatenprobe dar, die digitale Informationen enthält, die einem einzelnen Bild oder mehreren Bildern entsprechen.n Ein Sensor eines ladungsgekoppelten Bildwandlers (CCD-Sensor), der in der Global-Shutter-Kamera beinhaltet sein kann, ist an eine Schaltung gekoppelt, die die Optisch-zu-elektrisch-Umwandlung zum Erzeugen elektrischer Signale durchführt, die ein digitales Bild darstellen. In einigen Fällen können Bildaberrationen als Ergebnis der Verwendung bestimmter Bildraten für die Bildaufnahme auftreten.
Bilder, die von der Fahrerüberwachungskamera 105 aufgenommen werden, enthalten nicht nur Informationen über Licht, das auf das Gesicht des Fahrers 110 einfällt, sondern auch Licht, das innerhalb des Fahrzeugs 100 im Kabinenbereich vorhanden ist. In dieser Ausführungsform beinhaltet Licht, das innerhalb des Fahrzeugs 100 vorhanden ist, Licht 215 von dem Anzeigebildschirm der Vorrichtung 115, Licht 210 von dem Anzeigebildschirm des Infotainmentsystems 205, Licht 220 von dem Anzeigebildschirm des Armaturenbretts 235 und Umgebungslicht 230.
Informationen über externes Licht 225, das von Objekten außerhalb und vor dem Fahrzeug 100 (Rückleuchten anderer Fahrzeuge, Scheinwerfer anderer Fahrzeuge, Verkehrsampeln, Leuchten an Gebäuden, Leuchten an Vorrichtungen usw.) stammt, können in Bildern enthalten sein, die von der Kamera 120 zur Überwachung externer Objekte aufgenommen wurden.
Bilddatenproben von der Fahrerüberwachungskamera 105 und der Kamera 120 zur Überwachung externer Objekte können zur Auswertung an das ADAS 125 übermittelt werden, um einen Zustand des abgelenkten Fahrens des Fahrers 110 gemäß einer Ausführungsform der Offenbarung zu erfassen.
3 veranschaulicht einige Beispiele von Impulsmustern, die einigen beispielhaften Arten von Licht zugeordnet sind, die innerhalb des Fahrzeugs 100 vorhanden sein können. Licht 215, das von einem Anzeigebildschirm der Vorrichtung 115 emittiert wird, kann eine Flimmereigenschaft aufweisen, die durch ein Impulsmuster 305 dargestellt wird. Licht 210, das von einem Anzeigebildschirm des Infotanimentsystems 205 emittiert wird, kann eine Flimmereigenschaft aufweisen, die durch ein Impulsmuster 310 dargestellt wird. Licht 220, das von einem Anzeigebildschirm des Armaturenbretts 235 emittiert wird, kann eine Flimmereigenschaft aufweisen, die durch ein Impulsmuster 315 dargestellt wird. Externes Licht 225, das von einem Objekt stammt, das vor dem Fahrzeug 100 vorhanden ist, kann eine Flimmereigenschaft aufweisen, die durch ein Impulsmuster 320 dargestellt werden kann. Umgebungslicht 230 (zum Beispiel Sonnenlicht), das in den Kabinenbereich des Fahrzeugs 100 eintritt, kann eine relativ konstante Amplitude aufweisen, die durch eine Umgebungslichtbedingung 325 veranschaulicht werden kann.
In diesem beispielhaften Szenario nutzt die Vorrichtung 115 eine Pulsmodulationstechnik, die die durch das Impulsmuster 305 dargestellte Flimmereigenschaft erzeugt. Das Impulsmuster 305 weist eine erste Einschaltzeit und eine erste Impulswiederholrate auf. Das Infotainmentsystem 205 enthält eine Schaltung, die von der in der Vorrichtung 115 enthaltenen Schaltung unabhängig ist, und nutzt eine Pulsmodulationstechnik, die die durch das Impulsmuster 310 dargestellte Flimmereigenschaft erzeugt. Das Impulsmuster 310 weist eine zweite Einschaltzeit und eine zweite Impulswiederholrate auf, die sich von der ersten Einschaltzeit und der ersten Impulswiederholrate des Impulsmusters 305 unterscheidet. Darüber hinaus kann ein erster Phasenversatz zwischen dem Impulsmuster 310 und dem Impulsmuster 305 existieren.
Das Armaturenbrett 235 enthält eine Schaltung, die von der in der Vorrichtung 115 enthaltenen Schaltung unabhängig ist, aber einige Gemeinsamkeiten mit der Schaltung aufweisen kann, die in dem Infotainmentsystem 205 enthalten ist. Die Gemeinsamkeiten können die Verwendung eines oder mehrerer Signale beinhalten, die zum Beispiel von dem Fahrzeugcomputer 130 bereitgestellt werden (Taktsignal, Modulationssignal usw.). Das Armaturenbrett 235 nutzt eine Pulsmodulationstechnik, die die durch das Impulsmuster 315 dargestellte Flimmereigenschaft erzeugt. Die Gemeinsamkeiten können dazu führen, dass das Impulsmuster 315 eine dritte Einschaltzeit und eine dritte Impulswiederholrate aufweist, die im Wesentlichen ähnlich der zweiten Einschaltzeit und der zweiten Impulswiederholrate des Impulsmusters 310 ist. Es kann jedoch ein Phasenversatz zwischen dem Impulsmuster 315 und dem Impulsmuster 310 (sowie dem Impulsmuster 305) existieren.
Das Impulsmuster 320, das dem externen Licht 225 zugeordnet ist, das von außerhalb des Fahrzeugs 100 stammt und von der Kamera 120 zur Überwachung externer Objekte aufgenommen wird, kann eine Einschaltzeit und eine Impulswiederholrate aufweisen, die sich von denen des Impulsmusters 305, des Impulsmusters 310 und des Impulsmusters 315 unterscheiden.
4 veranschaulicht die vorstehend beschriebenen beispielhaften Impulsmuster, die angeordnet sind, um ein Vorhandensein der Vorrichtung 115 innerhalb des Fahrzeugs 100 und außerhalb eines Sichtfelds der Fahrerüberwachungskamera 105 zu erfassen. Einige der Impulsmuster können in einer ersten Bilddatenprobe vorhanden sein, die durch das ADAS 125 von der Fahrerüberwachungskamera 105 empfangen wird. Die verbleibenden Impulsmuster können in einer zweiten Datenprobe vorhanden sein, die durch das ADAS 125 von der Kamera 120 zur Überwachung externer Objekte empfangen wird. Die erste Bilddatenprobe und die zweite Bilddatenprobe können von dem ADAS 125 auf verschiedene Arten ausgewertet werden, um das Vorhandensein der Vorrichtung 115 zu erfassen.
In einer Ausführungsform gemäß der Offenbarung führt das ADAS 125 eine Lichtquellenidentifizierungsprozedur aus, die Identifizieren und Ignorieren der Umgebungslichtbedingung 325 einschließt. Die Umgebungslichtbedingung 325 kann auf verschiedene Arten identifiziert werden, wie zum Beispiel durch Erfassen eines im Wesentlichen konstanten Gleichspannungsversatzes in dem ersten Bilddatenabtastwert und/oder dem zweiten Bilddatenabtastwert. Die Amplitude des Gleichspannungsversatzes entspricht im Allgemeinen einer Intensität der Umgebungslichtbedingung 325, die in dem Kabinenbereich des Fahrzeugs 100 vorhanden ist. Der Gleichspannungsversatz kann vor dem Identifizieren der verbleibenden Impulsmuster entweder entfernt oder ignoriert werden.
Das Impulsmuster 320 ist hauptsächlich in der zweiten Bilddatenprobe vorhanden, die durch das ADAS 125 von der Kamera 120 zur Überwachung externer Objekte empfangen wird, die speziell dazu angeordnet ist, Bilder von Objekten vor dem Fahrzeug 100 (Rückleuchten, Scheinwerfer, Verkehrsampeln, Leuchten an Gebäuden, Leuchten an Vorrichtungen usw.) aufzunehmen. Das Impulsmuster 320 kann vor dem Identifizieren der verbleibenden Impulsmuster entweder entfernt oder ignoriert werden. Das Entfernen und/oder Ignorieren des Impulsmusters 320 kann durch Nutzen verschiedener Arten von Bildverarbeitungstechniken im Zeitbereich und/oder im Frequenzbereich (digitales Filtern, Frequenzauslöschung usw.) durchgeführt werden.
Die verbleibenden Impulsmuster beinhalten nun das Impulsmuster 305 (wenn die Vorrichtung 115 im Kabinenbereich des Fahrzeugs 100 in Betrieb ist), das Impulsmuster 310 und das Impulsmuster 315. In einer beispielhaften Umsetzung der Lichtquellenerfassungsprozedur können das Impulsmuster 310 und das Impulsmuster 315 durch Ausführen eines oder mehrerer von einer Impulsausrichtprozedur, einer Impulsvariationsprozedur und/oder einer Impulsabschaltprozedur identifiziert werden. Die Impulsausrichtprozedur kann durch Ausrichten des Impulsmusters 310 an dem Impulsmuster 315 ausgeführt werden. Nach dem Ausrichten ist eine Vorderflanke jedes Impulses des Impulsmusters 310 an einer Vorderflanke jedes Impulses des Impulsmusters 315 ausgerichtet (wie durch eine gestrichelte Linie 410 angegeben). Eine Rückflanke jedes Impulses des Impulsmusters 310 wird automatisch an einer Rückflanke jedes Impulses des Impulsmusters 315 ausgerichtet (wie durch eine gestrichelte Linie 415 angegeben), wenn die Einschaltzeit des Impulsmusters 310 mit der des Impulsmusters 315 identisch ist. Die Ausrichtung kann durch Anwenden von Taktsignalen und/oder Steuersignalen, die von dem Fahrzeugcomputer 130 (zum Beispiel) bereitgestellt werden, auf eine Schaltung, die in dem Infotainmentsystem 205 (Impulsmuster 310) und dem Armaturenbrett 235 (Impulsmuster 315) enthalten ist, durchgeführt werden. Die Ausrichtung kann auch in dem ADAS 125 durch Ausführen eines oder mehrerer Softwareprogramme und Softwarealgorithmen ausgeführt werden.
Der Ausrichtungsprozedur kann ein Fensterungsvorgang folgen, um einen Phasenversatz zwischen dem Impulsmuster 305 und dem Impulsmuster 310 (oder dem Impulsmuster 315) zu identifizieren. Der Fensterungsvorgang, der von dem ADAS 125 im Zeitbereich ausgeführt werden kann, kann einen Phasenversatz zwischen einer Vorderflanke eines Impulses 405 des Impulsmusters 305 und einer Vorderflanke eines Impulses 420 des Impulsmusters 310 identifizieren. Der Phasenversatz stellt eine Identifizierung des Impulsmusters 305 in Bezug auf das Impulsmuster 310 und das Impulsmuster 315 bereit, deren Phasen aneinander ausgerichtet sind. Das Impulsmuster 305 kann auch einen Impuls 425 enthalten, der keine Überlappung mit einem beliebigen Impuls des Impulsmusters 310 und/oder des Impulsmusters 315 aufweist.
In einer anderen Ausführungsform gemäß der Offenbarung führt das ADAS 125 eine Lichtquellenidentifizierungsprozedur aus, die Identifizieren und Ignorieren der Umgebungslichtbedingung 325 und des Impulsmusters 320 nach der Identifizierung auf die vorstehend beschriebene Weise einschließt. Das ADAS 125 kann dann mit dem Fahrzeugcomputer 130 zusammenwirken, um eine gewollte Phasenverschiebung in dem Impulsmuster 310 und/oder dem Impulsmuster 315 durchzuführen. Die gewollte Phasenverschiebung kann auch durch Software in dem ADAS 125 ausgeführt werden. Die gewollte Phasenverschiebung, die mit oder ohne Ausrichten des Impulsmusters 310 an dem Impulsmuster 315 durchgeführt werden kann, kann dann von dem ADAS 125 erfasst werden, um das Impulsmuster 310 und/oder das Impulsmuster 315 zu identifizieren. Das Impulsmuster 305 kann als das Impulsmuster identifiziert werden, das die gewollte Phasenverschiebung nicht durchgemacht hat.
In noch einer anderen Ausführungsform gemäß der Offenbarung führt das ADAS 125 eine Lichtquellenidentifizierungsprozedur aus, die Identifizieren und Ignorieren der Umgebungslichtbedingung 325 und des Impulsmusters 320 nach der Identifizierung auf die vorstehend beschriebene Weise einschließt. Das ADAS 125 kann dann mit dem Fahrzeugcomputer 130 zusammenwirken, um eine gewollte Abschaltprozedur durchzuführen, wodurch das Infotainmentsystem 205 und/oder das Armaturenbrett 235 vorübergehend abgeschaltet wird. Das Impulsmuster 310 und/oder das Impulsmuster 315, das der abgeschalteten Vorrichtung entspricht, verschwindet, was zu einer Identifizierung des Infotainmentsystems 205 und/oder des Armaturenbretts 235 führt. Das Impulsmuster 305 kann dann als das Impulsmuster identifiziert werden, das nicht von dem Abschaltvorgang beeinflusst wurde.
Die verschiedenen vorstehend beschriebenen Vorgänge können unter Verwendung verschiedener Signalverarbeitungstechniken und/oder Bildverarbeitungstechniken durchgeführt werden. Einige Beispiele für Signalverarbeitungstechniken können Trennung von überlappenden Mustern, Zeitbereichsverarbeitung (Zeitfensterung), Frequenzbereichsfiltern (überlappende Spektren), Vergleichen von zwei oder mehr Bilddatenproben beinhalten. Einige Beispiele für die Bildverarbeitung können die Verwendung photometrischer Stereoprinzipien zum Bestimmen von Orten einer oder mehrerer Lichtquellen (Vorrichtung 115, Infotainmentsystem 205, Armaturenbrett 235 usw.) und Ausrichten von Signalen, die von einzelnen Zeilen eines CMOS-Sensors in der Fahrerüberwachungskamera 105 und/oder anderen Kameras erhalten werden, beinhalten. Derartige Maßnahmen können das Bestimmen von Parametern, wie Frequenz, Wiederholrate, Phase und Einschaltzeit verschiedener Impulsmuster, ermöglichen.
Das ADAS 125 kann auch andere Vorgänge ausführen, um die Vorrichtung 115 zu erfassen, wie zum Beispiel das Bestimmen einer Kopfhaltung des Fahrers 110, der Blickrichtung des Fahrers 110 und das Optimieren von Betriebsparametern der Fahrerüberwachungskamera 105 und/oder anderer Kameras (Belichtung, Signalverstärkung, Fokus, Sichtfeld usw.).
5 zeigt einige beispielhafte Komponenten eines Systems 500 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung gemäß einer Ausführungsform der Offenbarung. Das System 500 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung beinhaltet verschiedene Komponenten, die in dem Fahrzeug 100 installiert sind, wie das ADAS 125, den Fahrzeugcomputer 130, das Infotainmentsystem 205, das Armaturenbrett 235, ein Bildaufnahmesystem 505 und ein Lichtdetektorsystem 510. Die verschiedenen Komponenten sind über einen oder mehrere Busse, wie einen beispielhaften Bus 511, kommunikativ miteinander gekoppelt.
Der Bus 511 kann unter Verwendung verschiedener drahtgebundener und/oder drahtloser Technologien umgesetzt sein. Zum Beispiel kann der Bus 511 ein Fahrzeugbus sein, der ein Controller-Area-Network-Bus-Protokoll (CAN-Bus-Protokoll), ein Media-Oriented-Systems-Transport-Bus-Protokoll (MOST-Bus-Protokoll) und/oder ein CAN-Flexible-Data-Bus-Protokoll (CAN-FD-Bus-Protokoll) verwendet. Einige oder alle Abschnitte des Busses 511 können auch unter Verwendung von drahtlosen Technologien, wie Bluetooth®, Ultra-Wideband, Wi-Fi, Zigbee® oder Nahfeldkommunikation (NFC), umgesetzt sein. Zum Beispiel kann der Bus 511 eine Wi-Fi-Kommunikationsverbindung beinhalten, die es dem ADAS 125 ermöglicht, drahtlos mit dem Fahrzeugcomputer 130 zu kommunizieren. Das Infotainmentsystem 205 kann verschiedene Elemente beinhalten, wie zum Beispiel ein Radio, einen DVD-Spieler, einen MP3-Spieler, einen Videospieler und einen Anzeigebildschirm 565. Der Anzeigebildschirm 565 kann lichtemittierende Vorrichtungen (wie LEDs, OLEDs, Mikro-LEDs, LCD usw.) beinhalten, die in einem gepulsten Modulationsformat arbeiten und Licht mit dem vorstehend beschriebenen Impulsmuster 310 emittieren. Das Armaturenbrett 235 kann einen Anzeigenbildschirm beinhalten, der lichtemittierende Vorrichtungen (wie LEDs) enthält, die in einem gepulsten Modulationsformat arbeiten und Licht mit dem vorstehend beschriebenen Impulsmuster 315 emittieren.
Das Bildaufnahmesystem 505 kann eine oder mehrere Kameras beinhalten, wie zum Beispiel die Fahrerüberwachungskamera 105 und die Kamera 120 zur Überwachung externer Objekt, die vorstehend beschrieben sind. Einige oder alle der Kameras des Bildaufnahmesystems können unter der Steuerung des ADAS 125 betrieben werden, wie zum Beispiel Bildaufnahmevorgänge ausführen, wenn Bildaufnahmebefehle von dem ADAS 125 empfangen werden. Die aufgenommenen Bilder einer beliebigen oder mehrerer Kameras können in Form von Bilddatenproben über den Bus 511 an das ADAS 125 weitergegeben werden. In einigen Anwendungen können die Bilddatenproben in Echtzeit an das ADAS 125 weitergegeben werden, wie zum Beispiel in Form eines Videostreams. In einigen Anwendungen können verschiedene Einstellungen einer Kamera, wie zum Beispiel eine Zoomeinstellung, ein Bereich von Interesse, eine Belichtungsdauer, eine Zeitlücke zwischen Bildern oder eine Fokuseinstellung, als Reaktion auf von dem ADAS 125 ausgegebene Befehle eingestellt werden.
Das Lichtdetektorsystem 510 kann Lichtsensoren beinhalten, die digitale Datenproben als Reaktion auf das Erfassen verschiedener Arten von Licht über verschiedene Teile des Spektrums (von sichtbaren bis zu unsichtbaren Wellenlängen) erzeugen. In einigen Umsetzungen gemäß dieser Offenbarung kann das Lichtdetektorsystem 510 einige Funktionen ergänzen, die von dem Bildaufnahmesystem 505 durchgeführt werden. Zum Beispiel kann ein Lichtsensor in dem Fahrzeug 100 montiert sein, um Umgebungslicht zu erfassen, das in der Kabine des Fahrzeugs 100 vorhanden ist. Der Lichtsensor kann eine digitale Datenprobe des Umgebungslichts über den Bus 511 an das ADAS 125 übermitteln. Das ADAS kann die digitale Datenprobe anstelle von einer Umgebungslichtmessung, die an einer digitalen Datenprobe durchgeführt wird, oder zu deren Validierung verwenden, nachdem die digitale Datenprobe von der Fahrerüberwachungskamera 105 empfangen wird.
Das ADAS 125 kann verschiedene Komponenten beinhalten, wie zum Beispiel einen Prozessor 520, eine Hardware 525 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung und einen Speicher 530. Der Speicher 530, der ein Beispiel für ein nichttransitorisches computerlesbares Medium ist, kann verwendet werden, um ein Betriebssystem (Operating System - OS) 550 und verschiedene Codemodule, wie zum Beispiel ein Modul 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung und ein Bilddatenprobe-Auswertmodul 540, zu speichern. Die Codemodule sind in Form computerausführbarer Anweisungen bereitgestellt, die von dem Prozessor 520 ausgeführt werden können, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen. Der Speicher 530 kann auch eine Datenbank 545 beinhalten.
Die Hardware 525 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung kann verschiedene Hardwarekomponenten beinhalten, die verschiedene Funktionen durchführen, wie zum Beispiel das Empfangen digitaler Datenproben von dem Bildaufnahmesystem 505 und/oder dem Lichtdetektorsystem 510 und Speichern der digitalen Datenproben in dem Speicher 530. Hardwarekomponenten, wie integrierte Schaltungen (ICs) und anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits - ASICs), können verschiedene Hardwarefunktionen in Zusammenwirkung mit der Ausführung des Moduls 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung durch den Prozessor 520 durchführen.
Das Modul 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung kann von dem Prozessor 520 ausgeführt werden, um verschiedene Vorgänge gemäß der Offenbarung auszuführen, wie zum Beispiel Erfassen von abgelenktem Fahren des Fahrers 110 des Fahrzeugs 100. Das Modul 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung kann mit dem Bilddatenproben-Auswertmodul 540 zusammenwirken, das von dem Prozessor 520 ausgeführt werden kann, um Funktionen wie die vorstehend in Bezug auf verschiedene Impulsmuster beschriebenen auszuführen.
Die Datenbank 545 kann Informationen speichern, die von dem Modul 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung verwendet werden können, um Vorgänge gemäß der Offenbarung durchzuführen. In einer beispielhaften Umsetzung kann die Datenbank 545 historische Daten über verschiedene Vorrichtungen speichern, wie zum Beispiel das der Vorrichtung 115 zugeordnete Impulsmuster 305. Das in der Datenbank 545 gespeicherte Impulsmuster 305 kann während der Ausführung des Moduls 535 zur Erfassung der Verwendung einer außerhalb des Bilds befindlichen Vorrichtung als Referenzvorlage verwendet werden, um die Verwendung der Vorrichtung 115 innerhalb des Fahrzeugs 100 zu erfassen.
6 zeigt ein Ablaufdiagramm 600 eines beispielhaften Verfahrens zum Erfassen einer Vorrichtung, die innerhalb einer Kabine eines Fahrzeugs und außerhalb eines Sichtfelds einer Fahrerüberwachungskamera vorhanden ist. Das Ablaufdiagramm 600 veranschaulicht eine beispielhafte Abfolge von Vorgängen, die in Hardware, Software oder einer Kombination daraus umgesetzt sein können. Im Kontext von Software stellen die Vorgänge computerausführbare, auf einem oder mehreren nichttransitorischen computerlesbaren Medien, wie dem Speicher 530, gespeicherte Anweisungen dar, die bei Ausführung durch einen oder mehrere Prozessoren, wie den Prozessor 520, die genannten Vorgänge durchführen. Im Allgemeinen beinhalten computerausführbare Anweisungen Routinen, Programme, Objekte, Komponenten, Datenstrukturen und dergleichen, die bestimmte Funktionen durchführen oder bestimmte abstrakte Datentypen umsetzen. Die Reihenfolge, in der die Vorgänge beschrieben sind, soll nicht als Einschränkung ausgelegt werden, und jede Anzahl der beschriebenen Vorgänge kann in einer anderen Reihenfolge ausgeführt, weggelassen, in einer beliebigen Reihenfolge kombiniert und/oder parallel ausgeführt werden. Die in dem Ablaufdiagramm 600 angegebenen Vorgänge wurden unter Bezugnahme auf das Fahrzeug 100 und die vorstehend beschriebenen beispielhaften Komponenten beschrieben. Es versteht sich jedoch, dass das Ablaufdiagramm 600 gleichermaßen auf verschiedene andere Fahrzeuge und verschiedene andere Komponenten gemäß der Offenbarung anwendbar ist. Einige oder alle der in dem Ablaufdiagramm 600 beschriebenen Vorgänge können durch von dem ADAS 125 ausgeführt werden. Es versteht sich jedoch, dass verschiedene Maßnahmen, die von dem ADAS 125 ausgeführt werden, gleichermaßen auf verschiedene andere Komponenten anwendbar sein können, wie zum Beispiel einen cloudbasierten Computer und/oder den Fahrzeugcomputer 130.
Bei Block 605 wird die Fahrerüberwachungskamera 105 zum Aufnehmen eines oder mehrerer Bilder des Fahrers 110 des Fahrzeugs 100 und insbesondere des Gesichts des Fahrers 110 betrieben. Das/die Bild(er) kann/können Informationen in Bezug auf Licht bereitstellen, das von einer oder mehreren Lichtquellen emittiert wird und auf das Gesicht des Fahrers 110 einfällt. Eine der Lichtquellen kann einen Anzeigebildschirm der Vorrichtung 115 beinhalten, wenn diese außerhalb eines Sichtfelds der Fahrerüberwachungskamera 105 platziert ist. In einem beispielhaften Szenario kann der Fahrer 110 die Vorrichtung 115 auf dem Armaturenbrett des Fahrzeugs 100 platziert haben, wo er den Anzeigebildschirm der Vorrichtung 115 beobachten kann, während er gelegentlich auf die Straße vor sich schaut und/oder das ADAS 125 zu der irrigen Schlussfolgerung veranlasst, dass er die Straße vor sich beobachtet. In einem anderen beispielhaften Szenario kann der Fahrer 110 ein vorsichtiger Fahrer sein, der auf die Straße vor sich achtet und vermeidet, durch die Verwendung von Vorrichtungen, wie der Vorrichtung 115, abgelenkt zu werden, wenn er das Fahrzeug 100 fährt.
Bei Block 610 kann das ADAS 125 eine oder mehrere Bilddatenproben von der Fahrerüberwachungskamera 105 empfangen. Das ADAS 125 wertet die Bilddatenprobe (n) aus, um ein Vorhandensein verschiedener Arten von Licht zu erfassen, die auf das Gesicht des Fahrers 110 einfallen können. Die verschiedenen Arten von Licht können von verschiedenen Lichtquellen emittiert werden, wie zum Beispiel den vorstehend beschriebenen Lichtquellen (Vorrichtung 115, Infotainmentsystem 205, Armaturenbrett 235 usw.).
Bei Block 615 kann das ADAS 125 die verschiedenen Arten von Licht charakterisieren, die auf das Gesicht des Fahrers 110 einfallen können. In einer beispielhaften Ausführungsform kann die Charakterisierung in Form von Bestimmen eines oder mehrerer Impulsmuster durchgeführt werden, die in dem/den Bilddatenprobe(n) vorhanden sein können. Einige beispielhafte Impulsmuster sind vorstehend beschrieben und in 3 und 4 veranschaulicht. In einer anderen beispielhaften Ausführungsform kann die Charakterisierung in Form von Bestimmen verschiedener Wellenlängen des Spektralinhalts des Lichts, das auf das Gesicht des Fahrers 110 einfallen kann, durchgeführt werden.
Bei Block 620 kann das ADAS 125 die charakterisierten Parameter (Impulsmuster und/oder Spektralinhalt) analysieren. Die Impulsmuster können auf verschiedene Arten analysiert und ausgewertet werden, einschließlich auf die vorstehend unter Bezugnahme auf 4 beschriebene Weise. Der Spektralinhalt kann ebenfalls auf verschiedene Arten analysiert und ausgewertet werden. In einer beispielhaften Umsetzung kann das ADAS 125 Informationen über einen Spektralinhalt von Licht erhalten, das von einer oder mehreren Vorrichtungen emittiert wird. Die Informationen können aus verschiedenen Quellen erhalten werden, wie zum Beispiel aus einem cloudbasierten Speicherelement oder sie können in der Datenbank 545 des ADAS 125 gespeichert sein.
Insbesondere kann der Spektralinhalt von Licht, das von dem Armaturenbrett 235 emittiert wird, Wellenlängen enthalten, die von (zum Beispiel) grünen LEDs und/oder blauen LEDs emittiert werden, die in dem Armaturenbrett 235 zum Anzeigen von Informationen, wie Geschwindigkeit, Kilometerstand, Ladezustand der Batterie, Kraftstoffpegel usw., bereitgestellt sind. Diese lichtemittierenden Komponenten würden kein Licht mit bestimmten Wellenlängen, wie zum Beispiel gelb oder grün, emittieren. Eine andere Vorrichtung, die in der Kabine des Fahrzeugs 100 vorhanden ist, kann einen Schwarzweiß-Anzeigebildschirm aufweisen, der Licht einer einzelnen Wellenlänge (oder eines schmalen Bandes von Wellenlängen) emittiert. Umgebungslicht, das durch Sonnenlicht erzeugt wird, weist einen Spektralinhalt auf, der sowohl sichtbare als auch unsichtbare Wellenlängen (Ultraviolett, Infrarot usw.) umfasst. Die Vorrichtung 115 (die zum Beispiel ein Smartphone sein kann) kann von dem Fahrer 110 betrieben werden, um während der Fahrt ein Video zu betrachten. Das Video würde typischerweise Spektralinhalt enthalten, der einen Bereich von sichtbaren Wellenlängen umfasst. Das ADAS 125 kann derartige Spektralinhaltsinformationen dieser verschiedenen Lichtquellen verwenden, um die Vorrichtung 115 zu erkennen und zu identifizieren (wenn die Vorrichtung 115 in dem Fahrzeug 100 betrieben wird).
Bei Block 625 wird die Kamera 120 zur Überwachung externer Objekte betrieben, um ein oder mehrere Bilder von Objekten aufzunehmen, die sich vor dem Fahrzeug 100 befinden. Einige dieser Objekte können Lichtquellen (Rücklicht eines anderen Fahrzeugs, Scheinwerfer eines anderen Fahrzeugs usw.) beinhalten.
Bei Block 630 kann das ADAS 125 eine oder mehrere Bilddatenproben von der Kamera 120 zur Überwachung externer Objekte empfangen. Das ADAS 125 wertet die Bilddatenprobe (n) aus, um ein Vorhandensein verschiedener Arten von Licht zu erfassen, die auf das Gesicht des Fahrers 110 einfallen können. Die verschiedenen Arten von Licht können durch verschiedene Lichtquellen emittiert werden, wie zum Beispiel einem Bremslicht eines Fahrzeugs vor dem Fahrzeug 100, einem Scheinwerfer eines entgegenkommenden Fahrzeugs, einem Verkehrszeichen und/oder einer Leuchtreklame auf einem Gebäude.
Bei Block 635 kann das ADAS 125 die verschiedenen Arten von Licht in der/den Bilddatenprobe(n), die von der Kamera 120 zur Überwachung externer Objekte empfangen wurden, charakterisieren. In einer beispielhaften Ausführungsform kann die Charakterisierung in Form des Bestimmens eines oder mehrerer Impulsmuster durchgeführt werden, die in der/den Bilddatenprobe(n) vorhanden sein können, wie beispielsweise das in 3 und 4 veranschaulichte Impulsmuster 320. In einer anderen beispielhaften Ausführungsform kann die Charakterisierung in Form von Bestimmen verschiedener Wellenlängen des Spektralinhalts des Lichts, das auf das Gesicht des Fahrers 110 einfällt, durchgeführt werden.
Bei Block 640 kann das ADAS 125 die charakterisierten Parameter (Impulsmuster und/oder Spektralinhalt) analysieren. Die Impulsmuster können auf verschiedene Arten analysiert und ausgewertet werden, einschließlich auf die vorstehend unter Bezugnahme auf 4 beschriebene Weise. Der Spektralinhalt kann ebenfalls auf verschiedene Arten analysiert und ausgewertet werden. In einer beispielhaften Umsetzung kann das ADAS 125 Informationen über einen Spektralinhalt von Licht erhalten, das von einem oder mehreren Elementen der Objekte vor dem Fahrzeug 100 emittiert wird. Die Informationen können aus verschiedenen Quellen erhalten werden, wie zum Beispiel aus einem cloudbasierten Speicherelement oder sie können in der Datenbank 545 des ADAS 125 gespeichert sein. Insbesondere kann der Spektralinhalt an Licht, das von einem Bremslicht emittiert wird, zum Beispiel überwiegend eine rote Wellenlänge sein. Der Spektralinhalt eines Warnlichts eines anderen Fahrzeugs kann vorwiegend eine orangefarbene Wellenlänge sein. Das ADAS 125 kann derartige Spektralinhaltsinformationen verschiedener Lichtquellen verwenden, um von Objekten vor dem Fahrzeug 100 emittiertes Licht zu identifizieren.
Bei Block 645 entfernt das ADAS 125 den bei Block 640 identifizierten externen Lichtinhalt aus dem bei Block 620 identifizierten Lichtinhalt, der von der Vorrichtung 115 (falls vorhanden) emittierten Lichtinhalt beinhaltet.
Bei Block 650 wird eine Bestimmung vorgenommen, ob nach der bei Block 650 ergriffenen Maßnahme ein Lichtinhalt übrig ist. Wenn ein derartiger Lichtinhalt nicht vorhanden ist (da die Vorrichtung 115 nicht betrieben wird), kehrt die Maßnahme zum Anfang des Ablaufdiagramms 600 zurück.
Wenn ein derartiger Lichtinhalt vorhanden ist, bestimmt das ADAS 125 bei Block 655 einen Ort der Vorrichtung 115, von der der Lichtinhalt stammt. Der Ort der Vorrichtung 115 kann auf verschiedene Arten bestimmt werden, wie zum Beispiel durch Auswerten von Schatten und Beleuchtungswinkeln von Licht, das auf das Gesicht des Fahrers 110 einfällt.
Bei Block 660 kann das ADAS 125 die Bilddatenprobe auswerten, um eine Bestimmung vorzunehmen, dass der Fahrer 110 in Richtung des Orts der Vorrichtung 115 blickt.
Bei Block 665 kann das ADAS 125 die Bilddatenprobe auswerten, um eine Bestimmung vorzunehmen, dass der Fahrer 110 in Richtung des Orts der Vorrichtung 115 blickt. In einigen Fällen kann sich der Fahrer 110 manchmal von der Vorrichtung 115 abwenden, um in Richtung der Straße vor sich zu schauen. Ein derartiges Verhalten muss nicht zwangsläufig abgelenktes Fahren darstellen, solange die Dauer des Blicks des Fahrers 110 auf die Vorrichtung 115 unter einem Schwellenwert des Zeitparameters liegt. Der Schwellenwert des Zeitparameters kann von dem ADAS 125 eingestellt und zur Fahrerblickauswertung verwendet werden. Zusätzliche Maßnahmen können ebenfalls ergriffen werden, wie zum Beispiel das Bestimmen einer Größe des Anzeigebildschirms der Vorrichtung 115 und ob die Größe des Anzeigebildschirms eine Sicht auf die Straße davor behindert.
Wenn der Fahrer einen anhaltenden Blick auf die Vorrichtung 115 richtet, der die Schwellenwerte des Zeitparameters überschreitet, kann das ADAS 125 bei Block 670 einen oder mehrere sicherheitsbezogene Vorgänge ausführen. In einem beispielhaften Szenario kann das ADAS 125 akustische und/oder haptische Warnungen ausgeben. In einem anderen beispielhaften Szenario kann das ADAS 125 einige Fahrvorgänge des Fahrzeugs 100 (Bremsung, Beschleunigung, Geschwindigkeitsregelung usw.) übernehmen und/oder das Aktivieren oder Deaktivieren einer Funktion des ADAS 125 verhindern.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und spezifische Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung praktisch umgesetzt werden kann.Es versteht sich, dass auch andere Umsetzungen verwendet und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft aufweisen kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Merkmal, Struktur oder Eigenschaft aufweisen muss.Darüber hinaus beziehen sich solche Formulierungen nicht unbedingt auf dieselbe Ausführungsform.Ferner wird, wenn ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der in dieser Schrift offenbarten Systeme, Einrichtungen, Vorrichtungen und Verfahren können eine oder mehrere Vorrichtungen umfassen oder nutzen, die Hardware beinhalten, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie in dieser Schrift erörtert. Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine beliebige Kombination aus festverdrahtet oder drahtlos) an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung zweckmäßig als ein Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, das/die verwendet werden kann/können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu führen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten außerdem im Umfang nichttransitorischer computerlesbarer Medien enthalten sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor, wie dem Prozessor 520, den Prozessor dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie Assemblersprache, oder sogar Quellcode sein. Wenngleich der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen konkreter Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen zum Umsetzen der Patentansprüche offenbart.
Eine Speichervorrichtung, wie der Speicher 530, kann ein beliebiges Speicherelement oder eine Kombination aus flüchtigen Speicherelementen (z. B. Direktzugriffsspeicher (Random Access Memory - RAM, wie DRAM, SRAM, SDRAM usw.)) und nichtflüchtigen Speicherelementen (z. B. ROM, Festplatte, Band, CD-ROM usw.) beinhalten. Darüber hinaus können in die Speichervorrichtung elektronische, magnetische, optische und/oder andere Arten von Speichermedien integriert sein. Im Kontext dieser Schrift kann ein „nichtflüchtiges computerlesbares Medium“ zum Beispiel unter anderem ein/e elektronische/s, magnetische/s, optische/s, elektromagnetische/s, Infrarot- oder Halbleitersystem, -einrichtung oder -vorrichtung sein. Konkretere Beispiele (eine nicht erschöpfende Liste) des computerlesbaren Mediums würden Folgendes beinhalten: eine tragbare Computerdiskette (magnetisch), einen Direktzugriffsspeicher (Random-Access Memory - RAM) (elektronisch), einen Festwertspeicher (Read-Only Memory - ROM) (elektronisch), einen löschbaren programmierbaren Festwertspeicher (Erasable Programmable Read-Only Memory - EPROM, EEPROM oder Flash-Speicher) (elektronisch) und einen tragbaren Compact-Disc-Festwertspeicher (CD-ROM) (optisch). Es sei darauf hingewiesen, dass das computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf welches das Programm gedruckt ist, da das Programm zum Beispiel durch optisches Abtasten des Papiers oder ein anderes Medium elektronisch erfasst, dann kompiliert, interpretiert oder bei Bedarf auf andere Weise verarbeitet und dann in einem Computerspeicher gespeichert werden kann.
Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, die Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Mitteilungsprozessoren, handgeführte Vorrichtungen, Mehrprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großrechner, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, unterschiedliche Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen umgesetzt werden, in denen sowohl lokale Computersysteme als auch Remote-Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in entfernten Datenspeichervorrichtungen befinden.
Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) können zum Beispiel dazu programmiert sein, eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung verwendet und Patentansprüche beziehen sich auf bestimmte Systemkomponenten. Für den Fachmann liegt auf der Hand, dass die Komponenten mit anderen Benennungen bezeichnet werden können. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Benennung nach unterscheiden, nicht jedoch hinsichtlich ihrer Funktion.
Es ist anzumerken, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Zum Beispiel kann ein Sensor Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind in dieser Schrift zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie sie dem einschlägigen Fachmann bekannt wären.
Mindestens einige Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte gerichtet, die derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie in dieser Schrift beschrieben zu funktionieren.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht der Einschränkung dienen. Der einschlägige Fachmann wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die vorangehende Beschreibung ist zu Veranschaulichungs- und Beschreibungszwecken dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die exakte offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder eine konkrete Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder eine andere Komponente durchgeführt werden. Ferner wurden zwar konkrete Vorrichtungseigenschaften beschrieben, doch können sich Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden sind, die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist. Die konkreten Merkmale und Handlungen werden vielmehr als veranschaulichende Formen der Umsetzung der Ausführungsformen offenbart. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Ausführungsformen diese unter Umständen nicht beinhalten, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß einer Ausführungsform der Erfindung ist die Fahrerüberwachungskamera eine Rolling-Shutter-Kamera, die die erste Bilddatenprobe erzeugt, wobei die erste Bilddatenprobe ein erstes Impulsmuster aufweist, das in von einem Anzeigebildschirm der ersten Vorrichtung emittiertem Licht enthalten ist.
Gemäß einer Ausführungsform umfasst die Rolling-Shutter-Kamera einen Komplementär-Metall-Oxid-Halbleiter(CMOS)-Sensor.
Gemäß einer Ausführungsform ist die erste Vorrichtung, die in der Kabine des Fahrzeugs vorhanden ist, eine persönliche Kommunikationsvorrichtung, die auf einem Armaturenbrett des Fahrzeugs platziert ist.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch: eine Kamera zur Überwachung externer Objekte, die eine zweite Bilddatenprobe erzeugt, die Informationen über Licht umfasst, das von außerhalb des Fahrzeugs in das Fahrzeug eintritt.
Gemäß einer Ausführungsform ist das Licht, das von außerhalb des Fahrzeugs in das Fahrzeug eintritt, Umgebungslicht, das außerhalb des Fahrzeugs vorhanden ist, oder Licht, das von einer lichtemittierenden Komponente eines anderen Fahrzeugs emittiert wird.

Claims

Verfahren, umfassend: Ausführen einer Lichtquellenidentifizierungsprozedur, um eine erste Vorrichtung zu erfassen, die innerhalb einer Kabine eines Fahrzeugs und außerhalb eines Sichtfelds einer Fahrerüberwachungskamera vorhanden ist, wobei die Lichtquellenidentifizierungsprozedur Identifizieren eines ersten Impulsmusters in von einem ersten Anzeigebildschirm der ersten Vorrichtung emittiertem Licht umfasst; und Ausführen eines sicherheitsbezogenen Vorgangs als Reaktion auf das Erfassen der ersten Vorrichtung innerhalb der Kabine des Fahrzeugs.
Verfahren nach Anspruch 1, wobei die Lichtquellenidentifizierungsprozedur ferner Folgendes umfasst: Identifizieren eines zweiten Impulsmusters von Licht, das von einem zweiten Anzeigebildschirm einer zweiten Vorrichtung emittiert wird; und Erfassen der ersten Vorrichtung durch Ausführen eines Zeitfensterungsvorgangs zum Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster.
Verfahren nach Anspruch 2, wobei die zweite Vorrichtung eine Komponente des Fahrzeugs ist und die erste Vorrichtung eine persönliche Kommunikationsvorrichtung ist, die außerhalb des Sichtfelds der Fahrerüberwachungskamera platziert wurde.
Verfahren nach Anspruch 2, wobei das Ausführen des sicherheitsbezogenen Vorgangs Warnen eines Fahrers des Fahrzeugs oder Deaktivieren einer Funktion eines erweiterten Fahrerassistenzsystems in dem Fahrzeug umfasst.
Verfahren nach Anspruch 1, wobei die Lichtquellenidentifizierungsprozedur ferner Folgendes umfasst: Identifizieren eines zweiten Impulsmusters von Licht, das von einem Anzeigebildschirm einer zweiten Vorrichtung emittiert wird; Identifizieren eines dritten Impulsmusters von Licht, das von einem dritten Anzeigebildschirm einer dritten Vorrichtung emittiert wird; und Erfassen der ersten Vorrichtung durch Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster, dem zweiten Impulsmuster und dem dritten Impulsmuster.
Verfahren nach Anspruch 5, wobei das Auswerten des ersten Impulsmusters in Bezug auf das zweite Impulsmuster oder das dritte Impulsmuster Folgendes umfasst: Ausführen eines Zeitfensterungsvorgangs bei einem ersten Impuls, der das erste Impulsmuster aufweist, bei einem zweiten Impuls, der das zweite Impulsmuster aufweist, und bei einem dritten Impuls, der das dritte Impulsmuster aufweist.
Verfahren nach Anspruch 6, ferner umfassend: Ausführen eines Ausrichtungsvorgangs, um den zweiten Impuls vor dem Zeitfensterungsvorgang an dem dritten Impuls auszurichten.
Verfahren, umfassend: Erhalten einer ersten Bilddatenprobe von einer Fahrerüberwachungskamera eines Fahrzeugs, wobei die erste Bilddatenprobe Informationen über Licht enthält, das auf ein Gesicht eines Fahrers des Fahrzeugs einfällt; Auswerten der ersten Bilddatenprobe, um eine oder mehrere Vorrichtungen zu identifizieren, die das Licht emittieren, das auf das Gesicht des Fahrers einfällt; und Ausführen eines sicherheitsbezogenen Vorgangs nach Identifizieren der einen oder mehreren Vorrichtungen und Erfassen einer ersten Vorrichtung, die innerhalb des Fahrzeugs und außerhalb eines Sichtfelds der Fahrerüberwachungskamera vorhanden ist.
Verfahren nach Anspruch 8, wobei das Erfassen der ersten Vorrichtung Folgendes umfasst: Bestimmen einer ersten Spektraleigenschaft von Licht, das von der ersten Vorrichtung emittiert wird; und Erfassen der ersten Vorrichtung durch Auswerten der ersten Bilddatenprobe, um ein Vorhandensein der ersten Spektraleigenschaft von Licht in der ersten Bilddatenprobe zu erfassen.
Verfahren nach Anspruch 8, wobei das Erfassen der ersten Vorrichtung Folgendes umfasst: Identifizieren eines ersten Impulsmusters von Licht, das von einem ersten Anzeigebildschirm der ersten Vorrichtung unter der einen oder den mehreren Vorrichtungen emittiert wird; Identifizieren eines zweiten Impulsmusters von Licht, das von einem zweiten Anzeigebildschirm einer zweiten Vorrichtung unter der einen oder den mehreren Vorrichtungen emittiert wird; und Erfassen der ersten Vorrichtung durch Ausführen eines Zeitfensterungsvorgangs zum Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster.
Verfahren nach Anspruch 8, wobei das Erfassen der ersten Vorrichtung Folgendes umfasst: Identifizieren eines ersten Impulsmusters in dem Licht, das auf das Gesicht des Fahrers einfällt; Identifizieren eines zweiten Impulsmusters in dem Licht, das auf das Gesicht des Fahrers einfällt; Abschalten einer zweiten Vorrichtung, die innerhalb des Fahrzeugs vorhanden ist; Erfassen eines Vorhandenseins des ersten Impulsmusters in dem Licht, das auf das Gesicht des Fahrers einfällt, nach dem Abschalten der zweiten Vorrichtung; und Bestimmen, dass das erste Impulsmuster von einem ersten Anzeigebildschirm der ersten Vorrichtung unter der einen oder den mehreren Vorrichtungen emittiert wird.
Verfahren nach Anspruch 8, wobei das Erfassen der ersten Vorrichtung Folgendes umfasst: Erhalten einer zweiten Bilddatenprobe von einer Kamera zur Überwachung externer Objekte des Fahrzeugs, wobei die zweite Bilddatenprobe Informationen über Licht umfasst, das von außerhalb des Fahrzeugs in das Fahrzeug eintritt; Identifizieren eines ersten Impulsmusters auf der Grundlage des Auswertens der ersten Bilddatenprobe, die von der Fahrerüberwachungskamera erhalten wurde; Identifizieren eines zweiten Impulsmusters auf der Grundlage des Auswertens der ersten Bilddatenprobe, die von der Fahrerüberwachungskamera erhalten wurde; Identifizieren eines dritten Impulsmusters auf der Grundlage des Auswertens der zweiten Bilddatenprobe, die von der Kamera zur Überwachung externer Objekte erhalten wurde; und Erfassen der ersten Vorrichtung durch Auswerten des ersten Impulsmusters, des zweiten Impulsmusters und des dritten Impulsmusters.
Verfahren nach Anspruch 12, wobei das Erfassen der ersten Vorrichtung durch Auswerten des ersten Impulsmusters, des zweiten Impulsmusters und des dritten Impulsmusters Folgendes umfasst: Ignorieren des dritten Impulsmusters; Ausführen eines Zeitfensterungsvorgangs zum Auswerten einer Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster; und Erfassen der ersten Vorrichtung auf der Grundlage der Phasenbeziehung zwischen dem ersten Impulsmuster und dem zweiten Impulsmuster.
Verfahren nach Anspruch 13, wobei der Zeitfensterungsvorgang Folgendes umfasst: Bestimmen einer ersten Einschaltzeit des zweiten Impulsmusters; Auswählen eines sich wiederholenden Zeitfensters, das eine zweite Einschaltzeit aufweist, die mit der ersten Einschaltzeit des zweiten Impulsmusters übereinstimmt.
Fahrzeug, umfassend eine Fahrerüberwachungskamera, die eine erste Bilddatenprobe erzeugt, die Informationen über Licht enthält, das auf ein Gesicht eines Fahrers des Fahrzeugs einfällt; und ein Fahrassistenzsystem, umfassend: einen Speicher, der computerausführbare Anweisungen speichert; und einen Prozessor, der dazu konfiguriert ist, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen zu Folgendem auszuführen: Ausführen einer Vorrichtungserfassungsprozedur an der ersten Bilddatenprobe, um eine erste Vorrichtung zu erfassen, die innerhalb einer Kabine des Fahrzeugs und außerhalb eines Sichtfelds der Fahrerüberwachungskamera vorhanden ist; und Ausführen eines sicherheitsbezogenen Vorgangs als Reaktion auf das Erfassen der ersten Vorrichtung innerhalb der Kabine des Fahrzeugs.