-
Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung der Blickrichtung eines Fahrers beim Führen eines Kraftfahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.
-
Systeme zur Kontrolle der Aufmerksamkeit bzw. zur Müdigkeitserkennung von Fahrzeugfahrern können erheblich zur Sicherheit des Fahrers, anderer Insassen des von dem Fahrer geführten Fahrzeugs, aber auch von Personen im Fahrzeugumfeld beitragen. Hierfür sind verschiedene Systeme bekannt. So kann die Betätigung von Bedienelementen wie der Bremse, Kupplung und des Fahrtrichtungsanzeigers überwacht werden. Ebenso kann über Sensoren das Fahrverhalten des Fahrers überwacht bzw. analysiert werden. So kann durch Erfassung der befahrenen Fahrspur bzw. der Fahrbahnbegrenzungen mithilfe eines Kamerasystems das Spurhalteverhalten des Fahrers ausgewertet werden. Ein ähnlicher Ansatz ist die Analyse des Lenkverhaltens des Fahrers. Das Lenkrad wird bei normaler Fahrweise permanent durch den Fahrer leicht bewegt. Bei Müdigkeit setzt dieses unbewusste Regelverhalten aber häufig kurzzeitig aus, sodass der Fahrer das Lenkrad starr hält, um dann zur Korrektur mit erhöhter Geschwindigkeit stärkere Lenkbewegungen durchzuführen. Diese auf charakteristische Weise erfolgenden Lenkkorrekturen können erkannt werden, sodass rechtzeitig hierauf reagiert werden kann. Ferner ist bekannt, über Innenraumkameras den Fahrer zu beobachten, um mittels Überwachung der Augen eine Aussage über den Zustand des Fahrers, insbesondere zur möglichen Ermüdung, zu treffen. Schließlich gibt es auch Systeme, die mit geeigneten Sensoren die Leitfähigkeit der Haut messen, um auf den Zustand des Fahrers schließen zu können.
-
Die
DE 10 2016 222 499 A1 offenbart, das Fahrverhaltens eines Fahrers eines Kraftfahrzeugs zu erfassen und ein Bedienablaufprotokoll, das einen Ablauf von Steuerschritten einer Bedieneinrichtung beschreibt, in Abhängigkeit von dem erfassten Fahrverhalten anzupassen. Hierfür können eine beabsichtigte Handlung sowie ein Aufmerksamkeitszustand des Fahrers ermittelt werden. Die beabsichtigte Handlung kann durch Erfassen einer Lenkbewegung, eines Blickwinkels oder einer Blickrichtung des Fahrers ermittelt werden. Für die Ermittlung des Aufmerksamkeitszustands kann eine Erfassung verschiedener Parameter, wie der Lidschlussfrequenz, der Körperposition, der Kopfbewegungsfrequenz, dem Blickwinkel, der Blickrichtung oder der Augenlidöffnung, oder auch eine Sprach- und/oder Stimmanalyse erfolgen.
-
Ebenso ist aus der
DE 10 2016 114 751 A1 ein Verfahren zur Bewertung der Fahreraufmerksamkeit bekannt. Hierfür kann ausgewertet werden wie häufig der Fahrer während eines bestimmten Zeitraums mit Vorrichtungen im Fahrzeug oder auch einem mobilen Endgerät im Fahrzeug interagiert. Ebenso kann ausgewertet werden, wie häufig der Fahrer seinen Blick von der Straße abwendet, in dem mit einer Kamera die Blickrichtung oder die Kopfstellung des Fahrers erfasst und ausgewertet wird.
-
Ferner offenbart auch die
DE 10 2017 202 194 A1 ein Verfahren zum Ermitteln einer visuellen Ablenkung eines Fahrers. Dabei wird eine Aufmerksamkeitskarte mittels der mit einer Kamera des Fahrzeugs erfassten Blickrichtung, Kopfhaltung oder Oberkörperorientierung des Fahrers modelliert. Die Aufmerksamkeitskarte repräsentiert hierbei eine Ist-Verteilung der Aufmerksamkeit des Fahrers in einem zweidimensionalen Koordinatensystem, welches einen Teilbereich der Fahrzeugumgebung abbildet. Ferner wird eine Aufmerksamkeitsbedarfskarte modelliert, die eine Soll-Verteilung der Aufmerksamkeit des Fahrers in dem zweidimensionalen Koordinatensystem repräsentiert. Die Aufmerksamkeitskarte und die Aufmerksamkeitsbedarfskarte werden miteinander verglichen, um einen die visuelle Ablenkung des Fahrers repräsentierenden Ablenkungswert zu ermitteln.
-
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Überwachung der Blickrichtung eines Fahrers beim Führen eines Kraftfahrzeugs zur Verfügung zu stellen.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung beruht auf der Erkenntnis, dass eine Ermittlung der genauen Blickrichtung eines Fahrers nur basierend auf Kopfrotationsdaten, die mit einer Fahrerbeobachtungskamera erfasst werden, lediglich für merkliche Kopfverdrehungen wie eine deutliche Blickabwendung von der Straße möglich ist. Bei winkelnahen Blickabwendungen liefert dieses keine verlässlichen Ergebnisse, da in solchen Fällen der Kopf des Fahrers oft nur wenig bewegt wird und die restliche Abwendung mit einer Rotation der Augen durchgeführt wird. Somit kann eine detektierte geringfügige Kopfrotation, beispielsweise leicht nach rechts oder leicht nach links, keine genaue Aussage über die Blickrichtung liefern. Der Fahrer könnte in diesem Fall beispielsweise auf das Display eines Infotainmentsystems im Bereich der Mittelkonsole schauen, den Rückspiegel betrachten oder einen Blick zum Fahrbahnrand durch die Frontscheibe werfen. Eine genauere Analyse der Blickrichtung kann zwar durch eine Erfassung der Augenposition und -rotation erfolgen, hierdurch können jedoch merkliche Zusatzkosten für die Auswertesoftware und die Bilderfassungshardware entstehen.
-
Bei dem erfindungsgemäßen Verfahren zur Überwachung der Blickrichtung eines Fahrers kann dagegen auch bei geringfügigen Kopfrotationen eine Aussage über die Blickrichtung des Fahrers getroffen werden und trotzdem auf aufwendige Verfahren für eine exakte Blickrichtungserkennung verzichtet werden.
-
Hierfür werden Videodaten, die den Kopf des Fahrers zumindest teilweise umfassen, mit einer Innenraumkamera des Kraftfahrzeugs erfasst. Es werden Kopfrotationsdaten des Fahrers durch eine Auswertung der erfassten Videodaten ermittelt. Eine Klassifikation der Blickrichtung des Fahrers wird basierend auf den ermittelten Kopfrotationsdaten vorgenommen. Ferner wird eine Betätigung von einem Bedienelement im Innenraums des Kraftfahrzeugs erfasst. Es wird ein Richtungswert basierend auf der erfassten Betätigung des Bedienelements ermittelt, wobei der Richtungswert dem betätigten Bedienelement zugewiesen ist und der Anordnung des Bedienelements im Innenraums des Kraftfahrzeugs in Bezug auf der Position des Fahrers entspricht. Eine Ablenkungsrichtung des Fahrers wird dann basierend auf einer gemeinsamen Auswertung der Klassifikation der Blickrichtung und dem ermittelten Richtungswert bestimmt.
-
Auf diese Weise kann auch in solchen Fällen, in denen eine Klassifikation der Blickrichtung lediglich über die Kopfrotation nur schwer verlässliche Ergebnisse liefert, eine Aussage über die Blickrichtung des Fahrers getroffen werden und trotzdem auf aufwendige Verfahren für eine exakte Blickrichtungserkennung verzichtet werden. Durch die Nutzung von Bediensignalen bei einer Betätigung von Bedienelementen, die ohnehin zur Umsetzung der Bedienhandlungen erfasste werden, können so Blickabwendungen bei geringfügigen Kopfrotation erkannt werden, ohne hierfür merklichen Aufwand für zusätzliche Hard- und/oder Software zu verursachen.
-
Vorteilhafterweise erfolgt bei der gemeinsamen Auswertung eine Plausibilisierung und/oder Priorisierung der erfassten Bedienhandlungen.
-
Gemäß einer Ausführungsform der Erfindung wird überprüft, ob sich ein Beifahrer im Fahrzeug befindet und ob im Fall eines sich im Fahrzeug befindenden Beifahrers die erfassten Bedienhandlungen durch den Beifahrer vorgenommen worden sind.
-
Vorteilhafterweise erfolgt die Klassifikation der Blickrichtung durch ein Schwellwertverfahren.
-
Vorzugsweise umfasst die Klassifikation der Blickrichtung mehrere Blickrichtungsklassen in horizontaler und/oder vertikaler Richtung.
-
Besonders vorteilhaft ist es hierbei, wenn die Blickrichtungsklassen einen zentralen Sichtbereich, der einer Blickrichtung des Fahrers auf die vor dem Fahrzeug liegende Straße entspricht, und einen oder mehrere Blickrichtungsklassen für um diesen zentralen Sichtbereich liegende Sichtbereiche umfasst.
-
Weiterhin kann es von Vorteil sein, wenn unterschiedlichen Bedienelementen je nach deren Komplexität, Erreichbarkeit und/oder Feedback unterschiedliche vordefinierte Zeitdauern zugewiesen sind und im Fall einer priorisierten Bedienhandlung die Ablenkungsrichtung entsprechend des betätigten Bedienelements für die zugewiesene Zeitdauer beibehalten wird.
-
Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Überwachung der Blickrichtung eines Fahrers beim Führen eines Kraftfahrzeugs,
- - eine Innenraumkamera, welche Videodaten, die den Kopf des Fahrers zumindest teilweise umfassen, erfasst;
- - eine Bildanalyseeinheit, die durch eine Auswertung der erfassten Videodaten Kopfrotationsdaten des Fahrers ermittelt;
- - eine Erfassungseinheit, mit der eine Betätigung von einem Bedienelement im Innenraums des Kraftfahrzeugs erfasst wird; und
- - eine Auswerte- und Steuereinheit, der von der Bildanalyseeinheit die ermittelten Kopfrotationsdaten und von der Erfassungseinheit ein Bediensignal über die erfasste Betätigung des Bedienelements zugeführt werden, und die eine Klassifikation der Blickrichtung des Fahrers basierend auf den ermittelten Kopfrotationsdaten vornimmt und einen Richtungswert basierend auf der erfassten Betätigung des Bedienelements ermittelt, wobei der Richtungswert dem betätigten Bedienelement zugewiesen ist und der Anordnung des Bedienelements im Innenraums des Kraftfahrzeugs in Bezug auf der Position des Fahrers entspricht und die eine Ablenkungsrichtung des Fahrers basierend auf einer gemeinsamen Auswertung der Klassifikation der Blickrichtung und dem ermittelten Richtungswert bestimmt.
-
Vorteilhafterweise weist die Vorrichtung zusätzlich einen Sensor zur Beifahrerdetektion auf, wobei von dem Sensor eine Information über eine Belegung des Beifahrersitzes der Auswerte- und Steuereinheit zugeführt und von dieser ausgewertet wird,
-
Die Erfindung betrifft auch ein Kraftfahrzeug, in dem das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung eingesetzt wird.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.
- 1 zeigt schematisch ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Überwachung der Blickrichtung eines Fahrers beim Führen eines Kraftfahrzeugs;
- 2 zeigt beispielhaft eine Klassifikation der Blickrichtung des Fahrers in mehrere Blickrichtungsklassen; und
- 3 zeigt schematisch einen Fahrzeugnutzer mit einem Blockschaltbild einer erfindungsgemäßen Vorrichtung.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
-
1 zeigt schematisch ein Flussdiagramm für ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens, das beispielsweise bei Fahrtantritt gestartet werden kann. Das Verfahren beruht hierbei auf der Arbitration von Daten über Bedientätigkeiten und Daten zur Kopforientierung bzw. Kopfrotation des Fahrers.
-
Gemäß Verfahrensschritt 1 werden mit einer Innenraumkamera des Kraftfahrzeugs, im Folgenden auch als Fahrerbeobachtungskamera (FBK) bezeichnet, Videodaten erzeugt. Die Fahrerbeobachtungskamera ist hierbei so im Innenraum verbaut, dass der Kopf des Fahrers während der Fahrt erfasst wird.
-
Die Videodaten werden im darauffolgenden Verfahrensschritt 2 ausgewertet, um zunächst den Kopf des Fahrers zu identifizieren und basierend darauf Kopfrotationsdaten des Fahrers zu ermitteln. Hierbei kann, beispielsweise bei Verwendung einer 3D-Kamera, bereits aus einzelnen Bildern die Orientierung des Kopfes ermittelt werden. Insbesondere kann aber auch durch eine Analyse aufeinanderfolgender Bilder eine Drehbewegung des Kopfes erfasst werden.
-
In dem darauffolgenden Verfahrensschritt 3 wird auf Basis der Kopfrotationsdaten eine Klassifikation der Blickrichtung durch ein Schwellwertverfahren vorgenommen. Die Blickrichtung kann hierbei insbesondere in die folgenden Klassen eingeteilt werden: Weit links (LL), weit rechts (RR), weit unten (U), Straße/Geradeaus (S) und einen Zwischenbereich (ZW) zwischen den zuvor genannten Klassen. Eine beispielhafte grafische Darstellung ist in 2 gezeigt.
-
Parallel zu der Erfassung und Verarbeitung der mit der Fahrerbeobachtungskamera erfassten Videodaten werden Bedientätigkeiten des Fahrers im Fahrzeuginnenraum analysiert, da der Fahrer hierfür häufig seinen Blick auf das zu bedienende Bedienelemente richtet.
-
Hierfür wird zunächst in einem Verfahrensschritt 4 eine Betätigung von einem Bedienelement im Innenraums des Kraftfahrzeugs erfasst. Dabei kommt grundsätzlich eine Bedienung von beliebigen Bedienelementen, die von dem Fahrer vom Fahrersitz aus erreichbar sind, in Betracht, wie beispielsweise Bedienelemente eines Infotainmentsystems, eines Multifunktionslenkrads oder eines Klimabedienteils, oder einer Spiegeleinstellung.
-
In dem darauffolgenden Verfahrensschritt 5 wird nun ein Richtungswert basierend auf der erfassten Betätigung des Bedienelements ermittelt. Hierfür ist jedem Bedienelement eine Ablenkungsrichtung zugeordnet, welche durch die Bedienung des Bedienelements als Blickabwendung beim Fahrer entsteht und sich aus der Anordnung des Bedienelements im Innenraums des Kraftfahrzeugs in Bezug auf der Position des Fahrers ergibt (z.B. zentral unten, oben, rechts, weit unten, ...).
-
So kann beispielsweise bei einem Fahrzeug für Rechtsverkehr, einem sogenannten Linkslenker, eine Bedienung eines Infotainmentsystems, welches im Bereich der Mittelkonsole angeordnet ist, zu einer Blickabwendung des Fahrers nach rechts unten führen, bei einem Rechtslenker entsprechend nach links unten. Erfolgen dagegen beispielsweise Bedienungen von Menü-Tasten auf einem Multifunktionslenkrad, so führt dieses zu einer Blickabwendung nach zentral unten.
-
Zusätzlich kann den verschiedenen Bedienelementen auch ein individueller Wert zugeordnet sein, der eine Abschätzung über die Ablenkung bei der Bedienung des jeweiligen Bedienelements angibt. Dieser Wert richtet sich nach der Komplexität, Erreichbarkeit und dem Feedback des jeweiligen Bedienelements. Hierbei haben beispielsweise schlecht erreichbare, komplexe Bedienelemente, die bei Betätigung eine visuelle Kontrolle benötigen, einen besonders hohen Wert. Gut erreichbare, wenig komplexe Bedienelemente, die ein haptisches oder akustisches Feedback geben, haben dagegen einen niedrigen Wert.
-
Ist bei der Fahrt ein Beifahrer anwesend, so kann insbesondere eine Bedienung mittig im Fahrzeug angeordneter Bedienelemente auch von dem Beifahrer durchgeführt werden. Solche Bedienhandlungen des Beifahrers haben keinen direkten Einfluss auf die Aufmerksamkeit des Fahrers. Aus diesem Grund wird in Verfahrensschritt 6 geprüft, ob sich ein Beifahrer im Fahrzeug befindet, um so Bedientätigkeiten des Fahrers, die zu einer Ablenkung und Veränderung der Blickrichtung des Fahrers führen, von Bedientätigkeiten eines Beifahrers zu unterscheiden.
-
Es erfolgt dann im darauffolgenden Verfahrensschritt 7 eine gemeinsame Auswertung der Klassifikation der Blickrichtung, des ermittelten Richtungswerts, sowie einer Information über die Belegung des Beifahrersitzes, um basierend darauf eine Ablenkungsrichtung des Fahrers zu bestimmen. Hierbei kann insbesondere auch eine Plausibilisierung und/oder Priorisierung der erfassten Bedienhandlungen erfolgen.
-
Wird beispielsweise bei Anwesenheit eines Beifahrers eine Bedienung eines mittig im Fahrzeug angeordneten Bedienelementes, welches ein visuelles Handlungsfeedback benötigt, registriert und ergibt gleichzeitig die Klassifikation der Kopfrotationsdaten eine Blickabwendung klar weg von dem bedienten Bedienelement, so kann davon ausgegangen werden, dass die Bedienung nicht durch den Fahrer erfolgte. Infolge dessen kann diese Bedienhandlung dann für die weitere Überwachung der Fahrerblickrichtung ignoriert werden.
-
Weiterhin kann für die Ermittlung der Ablenkungsrichtung aus den Kopfrotationsdaten der Fahrerbeobachtungskamera und erfassten Bedienhandlungen eine Priorisierung vorgenommen werden. Hierbei hat die Fahrerbeobachtungskamera grundsätzlich die höhere Priorität, da sie dauerhaft einen Wert der Kopfrotation liefert und eine Blickabwendung direkt ermitteln kann. Die Ermittlung einer Blickabwendung über erfasste Bedienhandlungen kann dagegen nur indirekt und nur bei einer Betätigung von Bedienelementen erfolgen. Die genannte Priorisierung kann hierbei je nach Situation angepasst werden. Hierzu kann eine Look-Up-Table (LUT) hinterlegt werden, welche die Priorisierung definiert. Eine beispielhafte Look-Up-Table ist in der folgenden Tabelle 1 angegeben. Tabelle 1: Beispielhafte Priorisierung der Ablehnungsrichtung
| | Fahrerbeobachtungskamera (FBK) |
| Straße/ Geradeaus (S) | Zwischenbereich (ZW) | Weit links (LL) | Weit rechts (RR) | Weit unten (U) |
| Bedienelemente (BE) | Zentral | BE | BE | FBK | FBK | FBK |
| Links | BE | BE | FBK | FBK | FBK |
| Rechts | BE | BE | FBK | FBK | FBK |
| Weit links | BE | BE | FBK | FBK | FBK |
| Weit rechts | BE | BE | FBK | FBK | FBK |
| Unten | BE | BE | FBK | FBK | FBK |
| Oben | BE | BE | FBK | FBK | FBK |
-
Entsprechend der Einträge dieser Look-Up-Table wird die Ablenkungsrichtung der Fahrerbeobachtungskamera oder des betätigten Bedienelements als resultierende Ablenkungsrichtung gesetzt. Die Look-Up-Table kann hierbei je nach dem Leistungsverhalten der Klassifikation der Kopfrotationsdaten der Fahrerbeobachtungskamera und den genauen Vorstellungen des Systemverhaltens angepasst werden.
-
Bei der beschriebenen Priorisierung können hierbei zusätzlich folgende Regeln/Ausnahmen gelten:
- - Wird eine Bedienhandlung priorisiert, so wird die Richtung des Bedienelements für eine bestimmte Zeit beibehalten (Haltezeit_BE). Die Haltezeit_BE modelliert die Dauer einer Blickabwendung bei einmaliger Bedienung eines Bedienelements und die benötigte Zeit für einen anschließenden Wechsel der Aufmerksamkeit zurück zur Straße bzw. primären Fahraufgabe.
- - Die Haltezeit_BE wird unterbrochen, wenn die Klassifikation der Kopfrotationsdaten die Blickrichtung „Straße/Geradeaus“ ergibt oder eine Bedienhandlung mit einer zur vorigen Ablenkungsrichtung unterschiedlichen Ablenkungsrichtung registriert wird.
-
Die Haltezeit_BE kann dabei von der „Komplexität“ und „Erreichbarkeit“ des jeweiligen Bedienelements abhängigen. Die Komplexität eines Bedienelements ergibt sich insbesondere aus der Anzahl der durch das Bedienelement bedienbaren Funktionen und erhöht sich mit zunehmender Anzahl. Die Komplexität beschreibt also, wie stark die Aufmerksamkeit des Fahrers allein von der Auswahl der richtigen Funktion in Anspruch genommen wird.
-
Bedienelemente mit nur geringer Komplexität sind beispielsweise Ein-/Ausschalter für bestimmte Fahrzeugfunktionen bzw. -komponenten, zum Beispiel für eine beheizbare Heckscheibe. Ein Bedienelement mit hoher Komplexität liegt mit einem zentralen Infotainmentsystem vor. Dieses ermöglicht die zentrale Steuerung von Radio, Navigation und Multimedia-, sowie Internet-Anwendungen. Weiterhin können über das Infotainmentsystem verschiedene Fahrzeugstatusmeldungen angezeigt werden und Fahrzeugeinstellungen vorgenommen werden. Hierfür können zahlreiche Menüs und Untermenüs vorgesehen sein, die teilweise eine umfassende Navigation durch den Nutzer erfordern, um die erwünschten Informationen abrufen bzw. Einstellungen des Fahrzeugs vornehmen zu können. Damit kann sowohl die Anzahl der bedienbaren Funktionen als auch der kognitive Aufwand, die gewünschte Funktion auszuwählen, sehr hoch sein.
-
Schließlich wird in einem Verfahrensschritt 8 die ermittelte Ablenkungsrichtung ausgegeben und gegebenenfalls durch weitere Komponenten des Kraftfahrzeugs weiterverarbeitet. So können beispielsweise bei einer potentiellen Gefahrensituation, die von dem Fahrer aufgrund der Ablenkung möglicherweise nicht wahrgenommen wird, automatisch Assistenzfunktionen des Fahrzeugs ausgelöst werden. Ebenso kann ein Warnhinweis oder eine Meldung, die den Fahrer zur Rückbesinnung auf die primäre Fahraufgabe auffordert, an den Fahrer ausgegeben werden.
-
Dieses kann auf unterschiedliche Weise erfolgen. So kann ein akustisches, optisches und/oder haptisches Signal ausgegeben werden. Eine akustische Meldung kann hierbei beispielsweise in Form eines Signaltons oder einer Sprachausgabe mit einem entsprechenden Hinweis ausgestaltet sein. Eine optisch wahrnehmbare Meldung kann beispielsweise durch die Darstellung eines Hinweises auf dem Cockpit oder Head-up-Display erfolgen. Eine haptisch wahrnehmbare Meldung kann beispielsweise durch Vibration des Lenkrades oder des Fahrersitzes ausgegeben werden. Es kann hierbei auch eine Reaktion von dem Fahrer, wie das Betätigen einer Taste oder eine Sprachkommunikation mit einem Assistenzsystem eingefordert werden. Wenn daraufhin jedoch keine Reaktion von dem Fahrer erfolgen sollte, kann weiterhin vorgesehen werden, automatisch einen teil- oder vollautonomen Fahrmodus zu aktivieren.
-
2 zeigt beispielhaft eine Klassifikation der Blickrichtung des Fahrers in mehrere Blickrichtungsklassen. Hierbei ist für eine Fahrerbeobachtungskamera ein Kamera-Koordinatensystem dargestellt, das als Bezugskoordinatensystem für das erfindungsgemäße Verfahren dient.
-
Das Kamera-Koordinatensystem umfasst eine horizontale x- und eine vertikale y-Achse, die sich insbesondere auf die Ausrichtung der optischen Achse der Kamera beziehen können. Das Kamera-Koordinatensystem kann weiterhin eine dritte, zu der x- und y-Achse senkrechte z-Achse umfassen, die in der Darstellung aus Gründen der Übersichtlichkeit jedoch nicht wiedergegeben ist.
-
Auf Basis der Kopfrotationsdaten, die mittels einer Bildanalyse der mit der Fahrerbeobachtungskamera erfassten Videodaten ermittelt werden, wird eine Klassifikation der Blickrichtung durch ein Schwellwertverfahren vorgenommen. Die Blickrichtung wird hierbei klassifiziert nach: Weit links (LL), weit rechts (RR), weit unten (U), Straße/Geradeaus (S) und den Zwischenbereich (ZW) zwischen den zuvor genannten Klassen.
-
Die Größen der einzelnen Teilbereiche entsprechend der verschiedenen Blickrichtungsklassen sind hierbei lediglich exemplarisch und können auch mit anderen Größenverhältnissen gewählt werden. Ebenso ist es denkbar, statt der dargestellten fünf Blickrichtungsklassen eine Klassifizierung in eine andere Anzahl von Blickrichtungsklassen vorzunehmen.
-
3 zeigt schematisch einen Fahrzeugnutzer 10 mit einem Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dem Fahrzeugnutzer kann es sich hierbei insbesondere um den Fahrer des Fahrzeugs handeln.
-
Der Fahrer wird mit einer im Innenraum des Fahrzeugs angeordneten Fahrerbeobachtungskamera 11 erfasst. Die Fahrerbeobachtungskamera ist hierbei so im Innenraum verbaut, dass der Kopf des Fahrers während der Fahrt gut erfasst werden kann, beispielsweise in Bereichen des Armaturenbretts, der Mittelkonsole, des Rückspiegels oder des Dachhimmels. Die Fahrerbeobachtungskamera kann im sichtbaren Spektralbereich und/oder im nahen Infrarotbereich betrieben werden, da dann auch bei Dunkelheit durch eine nicht dargestellte Infrarotbeleuchtung der Betrieb gewährleistet ist, ohne dass hierdurch der Fahrer gestört oder geblendet wird. Ferner kann es sich sowohl um eine 2D- oder aber auch eine 3D-Kamera handeln. Statt mit einer Fahrerbeobachtungskamera kann der Kopf des Fahrers und seine Rotation gegebenenfalls aber auch mit anderen geeigneten Sensoren erfasst werden, die eine ausreichende Auflösung aufweisen.
-
Die Bildsignale der Fahrerbeobachtungskamera 11 werden in dem dargestellten Beispiel zur Analyse zunächst einer Bildanalyseeinheit 12 zugeführt. Die Bildanalyseeinheit 12 lokalisiert in den Videodaten mittels geeigneter Algorithmen zur Bildverarbeitung und Bilderkennung den Bereich, in dem der Kopf des Fahrers enthalten ist, um dann basierend darauf Kopfrotationsdaten des Fahrers zu ermitteln. Die Kopfrotationsdaten werden dann einer Auswerte- und Steuereinheit 13 zugeführt, die eine Klassifikation der Blickrichtung des Fahrers basierend auf den ermittelten Kopfrotationsdaten vornimmt. Ebenso kann die Bildanalyseeinheit 12 aber auch in der Fahrerbeobachtungskamera 11 oder der Auswerte- und Steuereinheit 13 integriert sein. Die Auswerte- und Steuereinheit 13 kann einen Mikroprozessor, einen internen elektronischen Speicher und eine oder mehrere elektrische Schnittstellen aufweisen.
-
In dem dargestellten Beispiel betätigt der Fahrer mit dem Zeigefinger seiner rechten Hand ein Bedienelement im Innenraums des Kraftfahrzeugs, beispielsweise durch Berührung eines auf einem berührungsempfindlichen Display dargestellten Icons zur Einstellung von Parametern eines Infotainmentsystems. Diese Betätigung wird durch eine Erfassungseinheit 14 erfasst und eine Information hierüber der Auswerte- und Steuereinheit 13 zugeführt.
-
Die Auswerte- und Steuereinheit 13 ermittelt dann, wie oben beschrieben, entsprechend dem betätigten Bedienelement einen Richtungswert und führt gegebenenfalls die oben beschriebene Plausibilisierung und/oder Priorisierung der erfassten Bedienhandlungen durch. Hierfür wird überprüft, ob sich ein Beifahrer im Fahrzeug befindet und im Fall eines im Fahrzeug befindenden Beifahrers die erfassten Bedienhandlungen durch den Beifahrer vorgenommen worden sind.
-
Die Anwesenheit eines Beifahrers kann über einen geeigneten Sensor 15 zur Beifahrerdetektion, wie beispielsweise eine Sitzbelegungsmatte und/oder über das Gurtschloss des Beifahrersitzes detektiert werden. Grundsätzlich kann hierfür auch eine weitere Innenraumkamera vorgesehen werden. Ebenso kann auch vorgesehen werden, eine Fahrerbeobachtungskamera 11 mit einem ausreichend großen Erfassungsbereich vorzusehen und diese so zu positionieren, dass der Beifahrersitz im Sichtbereich liegt, sodass mit dieser die Belegung des Beifahrersitzes erkannt werden kann. Eine Information darüber, ob ein Beifahrer im Fahrzeug detektiert worden ist, wird dann ebenfalls der Auswerte- und Steuereinheit 13 zugeführt, die diese Information für die Plausibilisierung und/oder Priorisierung verwertet.
-
Basierend auf der Klassifikation der Blickrichtung, dem ermittelten Richtungswert und der Informationen über die Anwesenheit eines Beifahrers bestimmt die Auswerte- und Steuereinheit 13 dann die Ablenkungsrichtung des Fahrers.
-
Die so ermittelte Ablenkungsrichtung des Fahrers kann dann von der Auswerte- und Steuereinheit 13 an nicht dargestellte weitere Komponenten des Fahrzeugs ausgegeben und von diesen weiterverarbeitet werden.
-
Das erfindungsgemäße Verfahren kann beispielsweise in einem Fahrerassistenzsystem oder einem zentralen Steuergerät des Fahrzeugs implementiert sein und durch einen Mikroprozessor durchgeführt werden. Dem Mikroprozessor können die erforderlichen Daten von der Bildanalyseeinheit, der Erfassungseinheit und dem Sensor zur Beifahrerdetektion beispielsweise über einen Datenbus wie den CAN-Bus zugeführt werden. Die notwendigen Instruktionen und Wertetabellen zur Durchführung des Verfahrens können in einem internen elektronischen Speicher abgelegt sein.
-
Bezugszeichenliste
-
- 1
- Erfassung des Fahrerkopfs
- 2
- Ermittlung Kopfrotationsdaten
- 3
- Klassifikation der Blickrichtung
- 4
- Erfassung einer Bedientätigkeit
- 5
- Ermittlung der zugewiesenen Ablenkungsrichtung
- 6
- Überprüfung Beifahreranwesenheit
- 7
- Plausibilisierung & Priorisierung zur Ermittlung der resultierenden Ablenkungsrichtung
- 8
- Ausgabe der resultierenden Ablenkungsrichtung
- LL
- Blickrichtungsklasse „Weit links“
- RR
- Blickrichtungsklasse „Weit rechts“
- U
- Blickrichtungsklasse „Weit unten“
- S
- Blickrichtungsklasse „Straße/Geradeaus“
- ZW
- Blickrichtungsklasse „Zwischenbereich“
- 10
- Fahrzeugnutzer
- 11
- Fahrerbeobachtungskamera
- 12
- Bildanalyseeinheit
- 13
- Auswerte- und Steuereinheit
- 14
- Erfassungseinheit
- 15
- Sensor zur Beifahrerdetektion
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016222499 A1 [0003]
- DE 102016114751 A1 [0004]
- DE 102017202194 A1 [0005]
