DE102021202504A1 - Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs - Google Patents

Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs Download PDF

Info

Publication number
DE102021202504A1
DE102021202504A1 DE102021202504.8A DE102021202504A DE102021202504A1 DE 102021202504 A1 DE102021202504 A1 DE 102021202504A1 DE 102021202504 A DE102021202504 A DE 102021202504A DE 102021202504 A1 DE102021202504 A1 DE 102021202504A1
Authority
DE
Germany
Prior art keywords
driver
vehicle
view
windshield
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021202504.8A
Other languages
English (en)
Inventor
Sharath Panduraj Baliga
Alessandro Vianello
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021202504.8A priority Critical patent/DE102021202504A1/de
Priority to CN202210245848.5A priority patent/CN115140065A/zh
Publication of DE102021202504A1 publication Critical patent/DE102021202504A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorgeschlagen wird ein Verfahren (40) zum Erkennen einer Unaufmerksamkeit eines Fahrers (24) eines Fahrzeugs (20) mit den folgenden Schritten,Beobachten des Fahrers (24) des Fahrzeugs mittels einer Beobachtungsvorrichtung (22),Erkennen eines Blickpunktes (52, 54, 56) des Fahrers (24) in Richtung einer Windschutzscheibe (80) des Fahrzeugs (20),Clustern der Blickpunkte (54, 56) in zumindest einen Blickbereich (64, 86),Analysieren des zumindest einen Blickbereichs (64, 86) und ermitteln, ob der Fahrer (24) durch die Windschutzscheibe (80) hindurch auf eine Umgebung des Fahrzeugs (20) blickt oder ob der Fahrer (24) auf ein zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnetes Anzeigeelement (88) blickt,Erkennen einer Unaufmerksamkeit des Fahrers (24), wenn ermittelt wird, dass der Fahrer (24) auf das zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnete Anzeigeelement (88) blickt.

Description

  • Stand der Technik
  • Aus der DE 10 2014 214 352 A1 ist eine Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems bekannt.
  • Offenbarung der Erfindung
  • Vorgeschlagen wird ein Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs mit den folgenden Schritten,
  • Beobachten des Fahrers des Fahrzeugs mittels einer Beobachtungsvorrichtung,
  • Erkennen eines Blickpunktes des Fahrers in Richtung einer Windschutzscheibe des Fahrzeugs,
  • Clustern der Blickpunkte in zumindest einen Blickbereich,
  • Analysieren des zumindest einen Blickbereichs und ermitteln, ob der Fahrer durch die Windschutzscheibe hindurch auf eine Umgebung des Fahrzeugs blickt oder ob der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt,
  • Erkennen einer Unaufmerksamkeit des Fahrers, wenn ermittelt wird, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe angeordnete Anzeigeelement blickt.
  • Die Beobachtungsvorrichtung kann auch als Beobachtungssystem, Driver Monitoring System und/oder als Insassenbeobachtungssystem bezeichnet werden. Die Beobachtungsvorrichtung kann beispielsweise ausgebildet sein einen oder mehrere Fahrzeuginsassen zu beobachten, zum Beispiel eine Körperhaltung, eine Blickrichtung und/oder eine Position eines Kopfes bzw. eines Gesichts bzw. von Augen des Fahrzeuginsassen, eine Öffnung der Augen, eine Blinkfrequenz, insbesondere eines Fahrers und/oder eines Beifahrers und/oder eines oder mehrere Fahrzeuginsassen auf der Rückbank, oder den Müdigkeitszustand und/oder andere Vitalwerte des einen oder der mehreren Fahrzeuginsassen zu erfassen. Ferner kann beispielsweise eine Identität eines Fahrzeuginsassen erfasst werden.
  • Das Anzeigeelement kann beispielsweise als elektronisches Gerät ausgebildet sein. Beispielsweise kann das Anzeigeelement ein Display aufweisen, wobei das Display ausgebildet ist zum Anzeigen von Darstellungen von Bilddarstellungen. Beispielsweise kann das Anzeigeelement als Smartphone, Tablet, Laptop und/oder E-Book ausgebildet sein. Weiterhin kann das Anzeigeelement beispielsweise als Buch, Zeitschrift und/oder Zeitung ausgebildet sein.
  • Der Vorteil des vorgeschlagenen Verfahrens liegt darin, dass sicher und/oder zuverlässig erkannt werden kann, ob ein Fahrer auf die Umgebung des Fahrzeugs und somit insbesondere auf die Straße blickt bzw. achtet oder auf ein Anzeigeelement, welches zwischen dem Fahrer und der Windschutzscheibe angeordnet ist. Hierdurch kann insbesondere ermittelt werden, ob ein Fahrer unaufmerksam und beispielsweise durch das Anzeigeelement abgelenkt ist. Vorzugsweise kann ermittelt werden, ob sich der Fahrer auf die Umgebung des Fahrzeugs und somit auf die Fahraufgabe konzentriert. Beispielsweise kann festgestellt werden, ob ein Fahrer in der Lage ist eine Fahrzeugführung auszuführen und/oder zu übernehmen. Hierdurch kann insbesondere die Sicherheit im Straßenverkehr erhöht werden, wodurch insbesondere die Wahrscheinlichkeit für Unfälle im Straßenverkehr reduziert werden kann. Vorteilhafterweise kann dies mittels der Daten der Beobachtungsvorrichtung ausgeführt werden, welche dazu ausgelegt es den Fahrer zu beobachten. Es sind keine weiteren Elemente, beispielsweise zu Überwachung der Windschutzscheibe, notwendig. Weiterhin kann ein Fahrer insbesondere das System der Überwachung des Fahrers durch die Beobachtungsvorrichtung nicht missbrauchen, indem ein Anzeigeelement direkt zwischen ihn und die Windschutzscheibe platziert wird.
  • In einer beispielhaften Ausführung kann das Verfahren einen Schritt des Erkennens einer Aufmerksamkeit des Fahrers aufweisen, wenn ermittelt wird, dass der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs blickt. Hierdurch kann insbesondere sicher und/oder zuverlässig erkannt werden, dass ein Fahrer derart aufmerksam die Umgebung des Fahrzeugs beobachtet, dass dieser die Führung des Fahrzeugs vornehmen bzw. übernehmen kann. Es kann insbesondere die Sicherheit im Straßenverkehr erhöht werden.
  • In einer vorteilhaften Ausgestaltung können die Blickpunkte derart in einem Blickbereich geclustert werden, dass der Blickbereich eine hohe Dichte an Blickpunkten aufweist. Hierdurch können die Blickpunkte des Fahrers insbesondere sicher, zuverlässig und/oder einfach in einen oder mehrere Blickbereiche geclustert werden.
  • In einer Weiterentwicklung können die Blickpunkte einem Blickbereich zugeordnet werden, zu denen innerhalb eines definierten Abstandsradius mehr als eine definierte Anzahl an weiteren Blickpunkten erkannt werden. Vorzugsweise kann der definierte Abstandsradius einen Wert zwischen ungefähr 10 mm und 140 mm, insbesondere 80 mm, aufweisen. Vorteilhafterweise kann die definierte Anzahl an weiteren Blickpunkten ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte sein. In einer beispielhaften Ausgestaltung kann die definierte Anzahl an weiteren Blickpunkten ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte innerhalb eines definierten Zeitintervalls sein. Blickpunkte können somit zuverlässig in Blickbereiche geclustert werden, wodurch insbesondere eine Auswertung der Blickbereiche einfach und/oder zuverlässig durchgeführt werden kann. Hierdurch kann insbesondere sicher und/oder zuverlässig erkannt werden, ob ein Fahrer während des Fahrens aufmerksam oder unaufmerksam ist.
  • In einer weiteren Ausgestaltung kann der Fahrer auf einen Blickpunkt eine erste Verweildauer lang blicken und von einem ersten Blickpunkt zu einem zweiten Blickpunkt mit einer Wechselgeschwindigkeit wechseln und wobei die Blickpunkte in einem Blickbereich geclustert werden, die eine Verweildauer über einem definierten Schwellenwert der Verweildauer aufweisen und die aufeinanderfolgend eine Wechselgeschwindigkeit unter einem definierten Schwellenwert der Wechselgeschwindigkeit aufweisen. Hierdurch können Blickpunkte insbesondere sicher und/oder zuverlässig in verschiedene Blickbereiche geclustert werden. Hierdurch kann eine sichere Auswertung der Blickbereiche ermöglicht werden, wodurch insbesondere sicher und/oder zuverlässig eine Unaufmerksamkeit des Fahrers erkannt werden kann.
  • Vorzugsweise kann in dem Schritt des Analysierens des zumindest einen Blickbereichs eine Größe des Blickbereichs ermittelt werden, wobei dann ermittelt wird, dass der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs blickt, wenn der Blickbereich größer als ein Schwellwert der Größe ist und wobei dann ermittelt wird, dass der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt, wenn der Blickbereich kleiner als ein Schwellwert der Größe ist. In einer beispielhaften Ausgestaltung kann der Schwellwert der Größe des Blickbereichs als eine Größe eines Anzeigeelements mit einem Display ausgebildet sein. In einer Weiterentwicklung kann der Schwellwert der Größe des Blickbereichs insbesondere als eine Größe eines Smartphones und/oder eines Tablets ausgebildet sein. Vorzugsweise kann der Schwellwert der Größe des Blickbereichs beispielsweise als eine Größe einer Fläche eines Smartphones und/oder einer Fläche eines Tablets ausgebildet sein. Hierdurch können die Blickbereiche insbesondere sicher und/oder zuverlässig analysiert werden. Vorzugsweise kann ermittelt werden, ob ein Fahrer ein Anzeigeelement zwischen ihm und der Windschutzscheibe angebracht hat und von diesem Gerät abgelenkt wird. Wird ein Fahrer abgelenkt, kann dies mittels der Auswertung der Blickbereiche festgestellt werden. Hierdurch kann insbesondere die Sicherheit im Straßenverkehr erhöht werden.
  • Weiterhin vorgeschlagen wird eine Vorrichtung zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs aufweisend eine Beobachtungsvorrichtung zum Beobachten des Fahrers des Fahrzeugs. Die Vorrichtung weist eine Recheneinheit auf zum Erkennen eines Blickpunktes des Fahrers in Richtung einer Windschutzscheibe des Fahrzeugs, zum Clustern der Blickpunkte in zumindest einen Blickbereich, zum Analysieren des zumindest einen Blickbereichs und zum Ermitteln, ob der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung es Fahrzeugs blickt oder ob der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt. Eine Unaufmerksamkeit des Fahrers wird dann erkannt, wenn ermittelt wird, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe angeordnete Anzeigeelement blickt. Hierdurch kann insbesondere sicher und/oder zuverlässig erkannt werden kann, ob ein Fahrer auf die Umgebung des Fahrzeugs und somit insbesondere auf die Straße blickt bzw. achtet oder auf ein Anzeigeelement, welches zwischen dem Fahrer und der Windschutzscheibe angeordnet ist. Hierdurch kann insbesondere ermittelt werden, ob ein Fahrer unaufmerksam und beispielsweise durch das Anzeigeelement abgelenkt ist, wodurch die Sicherheit im Straßenverkehr erhöht werden.
  • Figurenliste
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in den nachfolgenden Beschreibungen näher erläutert. Für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente werden gleiche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird. Es zeigen:
    • 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung zum Beobachten eines Fahrzeuginsassen;
    • 2 eine schematische Darstellung eines Verfahrens zum Erkennen einer Unaufmerksamkeit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
    • 3 eine schematische Darstellung von Blickpunkten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
    • 4 eine schematische Darstellung von Blickpunkten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
    • 5 eine schematische Darstellung von Blickbereichen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
    • 6 eine schematische Darstellung einer Vorrichtung zum Erkennen einer Unaufmerksamkeit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
    • 7 eine schematische Darstellung einer Vorrichtung zum Erkennen einer Unaufmerksamkeit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
  • Ausführungsformen der Erfindung:
  • 1 zeigt eine schematische Darstellung eines Fahrzeugs 20, beispielsweise eines Kraftfahrzeugs, beispielsweise eines Autos, mit einer Beobachtungsvorrichtung 22 zum Beobachten eines Fahrzeuginsassen 24. Der Fahrzeuginsassen 24 ist vorzugsweise der Fahrer 24. Das Fahrzeug 20 weist insbesondere einen Fahrzeuginnenraum 26 bzw. Innenraum 26 auf, wobei in dem Fahrzeuginnenraum 26 insbesondere ein oder mehrere Sitze 28 für einen oder mehrere Fahrzeuginsassen 24 angeordnet sein können. Weiterhin weist das Fahrzeug 20 eine Beobachtungsvorrichtung 22 zum Beobachten eines Fahrzeuginsassen 24 auf, wobei die Beobachtungsvorrichtung 22 auch als Beobachtungssystem und/oder als Insassenbeobachtungssystem bezeichnet werden kann. Die Beobachtungsvorrichtung 22 kann beispielsweise ausgebildet sein eine Blickrichtung, eine Körperhaltung und/oder die Position des Kopfes bzw. des Gesichts bzw. der Augen, eine Öffnung der Augen, eine Blinkfrequenz, insbesondere des Fahrzeuginsassen 24 oder den Müdigkeitszustand und/oder andere Vitalwerte des Fahrzeuginsassen 24 zu erfassen. Ferner kann beispielsweise eine Identität des Fahrzeuginsassen 24 erfasst werden.
  • Zum Beobachten des Fahrzeuginsassen 24 weist die Beobachtungsvorrichtung 22 in dieser Ausführung insbesondere eine Beleuchtungseinheit 30 zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, und eine Aufnahmeeinheit 32 auf. Die Beobachtungsvorrichtung 22 kann insbesondere in einem Armaturenbrett 34 und/oder in einer Instrumententafel 34 des Fahrzeugs 20 angeordnet sein. In einer vorteilhaften Ausführung kann die Beobachtungsvorrichtung 22 insbesondere in einem Kombiinstrument in dem Armaturenbrett 34 angeordnet sein.
  • Die Beleuchtungseinheit 30 ist insbesondere in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes 28 gerichtet, um den Fahrzeuginsassen 24 mit Lichtstrahlen, insbesondere mit Infrarotstrahlen, anzustrahlen. Mit anderen Worten werden mittels der Beleuchtungseinheit 30 Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginsassen 24 ausgesendet. Die Beleuchtungseinheit 30 kann zum Beispiel als Leuchteinheit, Leuchtelement, Leuchtdiode, LED, OLED und/oder Laserdiode ausgebildet sein und/oder eine Leuchteinheit, ein Leuchtelement, eine Leuchtdiode, eine LED, OLED und/oder eine Laserdiode aufweisen.
  • Die Aufnahmeeinheit 32 kann beispielsweise als Bildaufnahmeeinheit, zum Beispiel als Sensor bzw. als Kamera ausgebildet sein, insbesondere als Infrarot-Kameramodul, wobei die Aufnahmeeinheit 32 in Richtung des Fahrzeuginsassen 24 und somit in Richtung des Fahrzeugsitzes 28 gerichtet ist, um den Fahrzeuginsassen 24 des Fahrzeugs 20 visuell zu erfassen. Durch die Ausbildung als Infrarot-Kameramodul ist es möglich, die Beobachtung auch nachts durchzufuhren, ohne dass der Fahrzeuginsasse 24 hell angeleuchtet und dadurch geblendet werden würde.
  • Mit anderen Worten ist Beobachtungsvorrichtung 22 ausgebildet zum Beobachten eines Fahrzeuginnenraums eines Fahrzeugs. Die Beobachtungsvorrichtung 22 weist eine Beleuchtungseinheit 30 zum Aussenden von Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung des Fahrzeuginnenraums und eine Aufnahmeeinheit 32 zum Aufnehmen von Lichtstrahlen, insbesondere Infrarotstrahlen, wobei die von der Beleuchtungseinheit 30 ausgesendeten Lichtstrahlen, insbesondere Infrarotstrahlen, an bzw. in dem Fahrzeuginnenraum reflektierbar sind und wobei die reflektierten Lichtstrahlen, insbesondere Infrarotstrahlen, in Richtung der Aufnahmeeinheit 32 lenkbar sind.
  • Weiterhin weist die Beobachtungsvorrichtung 22 eine Steuereinheit 36 bzw. eine Auswerteeinheit 36 bzw. eine Recheneinheit 36 auf zur Ansteuerung der Beleuchtungseinheit 30 und/oder der Aufnahmeeinheit 32 und/oder zur Verarbeitung der mittels der Aufnahmeeinheit 32 aufgenommenen Daten.
  • 2 zeigt eine schematische Darstellung eines Verfahrens 40 zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug kann insbesondere gemäß dem Fahrzeug gemäß 1 ausgebildet sein.
  • In einem ersten Schritt 42 des Verfahrens 40 wird der Fahrer des Fahrzeugs mittels einer Beobachtungsvorrichtung beobachtet. Die Beobachtungsvorrichtung kann beispielsweise gemäß der Beobachtungsvorrichtung gemäß 1 ausgebildet und/oder in dem Fahrzeug angeordnet sein.
  • In einem zweiten Schritt 44 des Verfahrens 40 wird ein Blickpunkt bzw. werden mehrere Blickpunkte des Fahrers in Richtung einer Windschutzscheibe des Fahrzeugs erkannt. Hierfür können insbesondere Daten, zum Beispiel mittels eines Auswertealgorithmus, ausgewertet werden, welche mittels der Beobachtungsvorrichtung generiert werden.
  • Ein Blickpunkt ist vorzugsweise als der Punkt ausgebildet, auf welchen der Fahrer bzw. Fahrzeuginsasse blickt. Beispielsweise kann ein Blickrichtungsvektor des Fahrers ermittelt werden, wobei ein Blickrichtungsvektor den Vektor darstellt, in welche Richtung der Fahrer entlang einer Linie blickt. Mit anderen Worten blickt der Fahrer entlang des Blickrichtungsvektors auf einen Blickpunkt. Dieser Blickpunkt kann auf der Windschutzscheibe und/oder in der Ferne und somit der Umgebung des Fahrzeugs liegen. Als Blickpunkt kann beispielsweise der Punkt ausgebildet sein, in dem sich der Blickrichtungsvektor des Fahrers mit der Windschutzscheibe schneidet.
  • In einer vorteilhaften Ausführung können die Blickpunkte des Fahrers insbesondere in definierten Zeitabständen gemessen werden. In einer alternativen Ausführungsform können die Blickpunkte eines Fahrers erfasst werden, die über einer definierten Zeitschwelle liegen bzw. auf die ein Fahrer eine definierte Verweildauer lang blickt, wobei die definierte Verweildauer größer einer definierten Verweildauerschwelle ist. In einer Weiterentwicklung können mittels der Beobachtungvorrichtung mindestens 20 Frames pro Sekunde, insbesondere mindestens 40 Frames pro Sekunde, insbesondere 48 Frames pro Sekunde, aufgenommen werden. Pro Frame kann beispielsweise ein Blickpunkt erkannt werden.
  • In einem dritten Schritt 46 des Verfahrens 40 werden die Blickpunkte in zumindest einen Blickbereich geclustert. Beispielsweise können die Blickpunkte derart in einem Blickbereich geclustert werden, dass der Blickbereich eine hohe Dichte an Blickpunkten aufweist. Der Blickbereich kann hierfür insbesondere Grenzen aufweisen, innerhalb welcher einer hohen Dichte an Blickpunkten benachbart angeordnet sind. Der Blickbereich kann beispielsweise auch als Bereich eines höchsten Interesses bzw. Blickinteresses des Fahrers und/oder als Area of Interest bzw. AOI bezeichnet werden.
  • In einer vorteilhaften Ausführung können insbesondere die Blickpunkte einem Blickbereich zugeordnet werden, zu denen innerhalb eines definierten Abstandsradius mehr als eine definierte Anzahl an weiteren Blickpunkten erkannt werden. Beispielsweise können die Blickpunkte in zumindest einen Blickbereich gemäß 3 geclustert werden. Mit anderen Worten werden die Bildpunkte einem Blickbereich zugeordnet, zu welchen innerhalb eines definierten Kreises, mit einem definierten Abstand und dem Blickpunkt als Mittelpunkt, weitere benachbarte Blickpunkte erkannt werden. Somit weist ein Blickpunkt innerhalb eines definierten Kreises mehrere benachbarte Blickpunkte auf, insbesondere eine definierte Anzahl an benachbarten Blickpunkten. Vorzugsweise kann der definierte Abstandsradius einen Wert zwischen ungefähr 10 mm und 140 mm, insbesondere 80 mm, aufweist. Die definierte Anzahl an weiteren Blickpunkten kann ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte sein. Vorzugsweise kann die definierte Anzahl an weiteren Blickpunkten ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte innerhalb eines definierten Zeitintervalls sein. Mit anderen Worten wird innerhalb eines definierten Zeitintervalls eine definierte Gesamtanzahl an Blickpunkten erkannt. Weiterhin werden insbesondere die Blickpunkte einem Blickbereich zugeordnet, zu welchen innerhalb eines Kreises mit dem definierten Abstandsradius mindestens ungefähr 25 % aller erkannter Blickpunkte weitere Blickpunkte erkannt werden.
  • In einer weiteren Ausgestaltung können die Blickpunkte in zumindest einen Blickbereich gemäß 4 geclustert werden. Vorzugsweise blickt der Fahrer auf einen Blickpunkt eine erste Verweildauer lang. Weiterhin wechselt der Fahrer von einem ersten Blickpunkt zu einem zweiten Blickpunkt mit einer Wechselgeschwindigkeit. Gemäß dieser Ausgestaltung werden die Blickpunkte in einem Blickbereich geclustert, die eine Verweildauer über einem definierten Schwellenwert der Verweildauer aufweisen und die aufeinanderfolgend eine Wechselgeschwindigkeit unter einem definierten Schwellenwert der Wechselgeschwindigkeit aufweisen. Vorzugsweise kann die Dynamik der Augen des Fahrers analysiert werden. Mit anderen Worten wird eine Bewegung, insbesondere eine dynamische Bewegung, der Augen des Fahrers, insbesondere in Richtung der Windschutzscheibe, analysiert.
  • Sollten beispielsweise in einer Weiterentwicklung keine Blickbereiche geclustert werden können, so kann das Verfahren 40 auch erneut mit dem ersten Schritt 42 begonnen werden und der Fahrer kann beobachtet werden.
  • In einem vierten Schritt 48 des Verfahrens 40 wird der zumindest eine Blickbereich analysiert. Weiterhin wird in dem vierten Schritt 48 des Verfahrens 40 ermittelt, ob der Fahrer durch die Windschutzscheibe hindurch auf eine Umgebung des Fahrzeugs blickt oder ob der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt. Das Anzeigeelement kann beispielsweise als elektronisches Gerät ausgebildet sein. Beispielsweise kann das Anzeigeelement ein Display aufweisen, wobei das Display ausgebildet ist zum Anzeigen von Darstellungen von Bilddarstellungen. Beispielsweise kann das Anzeigeelement als Smartphone, Tablet, Laptop und/oder E-Book ausgebildet sein. Weiterhin kann das Anzeigeelement beispielsweise als Buch, Zeitschrift und/oder Zeitung ausgebildet sein.
  • Der zumindest eine Blickbereich kann beispielsweise gemäß den Blickbereichen gemäß 5 analysiert werden. Die Analyse kann beispielsweise mittels einer Support Vector Machine bzw. SVM ausgeführt werden.
  • Vorzugsweise kann in dem Schritt des Analysierens des zumindest einen Blickbereichs eine Größe des Blickbereichs ermittelt werden. Insbesondere wird dann ermittelt, dass der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs blickt, wenn der Blickbereich größer als ein Schwellwert der Größe ist und wobei dann ermittelt wird, dass der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt, wenn der Blickbereich kleiner als ein Schwellwert der Größe ist. Vorzugsweise kann der Schwellwert der Größe des Blickbereichs als eine Größe eines Anzeigeelements, insbesondere mit einem Display, ausgebildet sein, zum Beispiel als eine Größe eines Smartphones und/oder eines Tablets. Mit anderen Worten wird die Größe des Blickbereichs insbesondere mit der Größe eines Anzeigeelements, insbesondere eines Smartphones, verglichen, wobei dann festgestellt wird, dass der Fahrer auf das Anzeigeelement blickt, wenn die Größe des Blickbereichs entsprechend einer Größe eines Smartphones oder kleiner ausgebildet ist. Hierbei kann insbesondere erkannt werden, dass ein Betrachter auf ein Anzeigeelement blickt und hierdurch vom Fahrergeschehen abgelenkt wird. Mit anderen Worten wird erkannt, dass der Fahrer seinen Blick auf das Display eines Anzeigeelements richtet, wenn erkannt wird, dass der Blickbereich gleich oder kleiner der Größe des Anzeigeelements mit dem Display ausgebildet ist. Vorzugsweise kann der Schwellwert der Größe des Blickbereichs als eine Größe einer Fläche eines Smartphones und/oder einer Fläche eines Tablets ausgebildet sein.
  • Blickt eine Fahrer in die Umgebung des Fahrzeugs und verfolgt somit das Fahrergeschehen, so ergeben sich in gewissen Zeitabständen unvorhersehbare/oder plötzliche Veränderungen in der Blickrichtung, durch insbesondere Verfolgung von Umgebung Veränderungen und/oder des Verhaltens der anderen Verkehrsteilnehmer. Fallen diese plötzlichen Veränderungen des Blicks des Fahrers aus, so kann davon ausgegangen werden das dieser sich lediglich auf einen kleinen Bereich auf der Windschutzscheibe, und somit beispielsweise auf ein Anzeigeelement blickt und hierdurch abgelenkt wird und somit das Verkehrsgeschehen nicht mehr konzentriert beobachten kann.
  • In einem fünften Schritt 50 des Verfahrens 40 wird eine Unaufmerksamkeit des Fahrers erkannt, wenn ermittelt wird, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe angeordnete Anzeigeelement blickt. In einer Weiterentwicklung wird eine Aufmerksamkeit des Fahrers dann erkannt, wenn ermittelt wird, dass der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs blickt.
  • Vorzugsweise kann in einem weiteren Schritt bei Feststellung einer Unaufmerksamkeit des Fahrers eine Aktion ausgelöst werden. Beispielsweise kann der Fahrer gewarnt werden. Beispielsweise kann dem Fahrer eine visuelle Anzeige dargestellt werden, mittels welcher er gewarnt wird. Alternativ oder zusätzlich kann dem Fahrer eine akustische Warnung gegeben werden, wobei beispielsweise ein Warnton und/oder eine Durchsage gemacht werden kann. In einer Weiterentwicklung können die Daten insbesondere auf einem Server gespeichert werden. Beispielsweise können diese bei einem Unfall zur Analyse des Unfall Geschehens verwendet werden. Alternativ oder zusätzlich kann das Fahrzeug bei Erkennen einer Unaufmerksamkeit des Fahrers in einen sicheren Zustand überführt werden. Der sichere Zustand kann beispielsweise ein langsamer werden des Fahrzeugs darstellen und ein Parken bzw. Abstellen des Fahrzeugs auf einem sicheren Platz bzw. Parkplatz.
  • In einer Weiterentwicklung können zur Verbesserung des Systems insbesondere Daten eingelernt werden. Beispielsweise können solche Daten mittels Versuchsreihen ermittelt werden, wobei die Daten beispielsweise mittels einer Kl ausgewertet und für das Verfahren, insbesondere zur Verbesserung des Verfahrens, eingelernt werden. Mit anderen Worten kann Kl verwendet werden, um Daten einzulesen und zu verarbeiten, um den Algorithmus des Verfahrens zur Erkennung eine Unaufmerksamkeit des Fahrers zu verbessern. Hierdurch können insbesondere Fehlmeldungen reduziert werden.
  • 3 zeigt eine schematische Darstellung von Blickpunkten 52, 54, 56 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Blickpunkte 56 können entsprechend des dritten Schritts des Verfahrens zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs gemäß 2 geclustert werden.
  • Die Analyse eines Blickpunkts wird in dieser vorteilhaften Ausführung entsprechend einem ersten Blickpunkt 54 dargestellt. Um den ersten Blickpunkt 54 herum wird ein Kreis 58 mit einem definierten Abstandsradius 60 dargestellt bzw. im Virtuellen dargestellt. Anschließend werden die Blickpunkte 56 gezählt bzw. aufsummiert, welche sich, insbesondere zusätzlich, zu dem ersten Blickpunkt 54 innerhalb des Kreises 58 befinden. Übersteigt die Summe der gezählten Blickpunkte 56 innerhalb des Kreises 58 eine definierte Anzahl, so wird der erste Blickpunkt 54 in einem Blickbereich geclustert. Dieses Verfahren wird ebenfalls auf die darum herumliegenden Blickpunkte angewandt, wodurch insbesondere mehrere Blickpunkte innerhalb des gleichen Blickbereichs geclustert werden. Die weiteren Blickpunkte 52 welche dieses Kriterium nicht erfüllen, welches somit innerhalb eines definierten Abstandsradius eine geringere Anzahl an weiteren Blickpunkte aufweisen, werden somit nicht innerhalb des Blickbereichs geclustert.
  • Mit anderen Worten kann der Kreis 58 mit dem definierten Abstandsradius 60, als Grenze ausgebildet sein, innerhalb welcher nach Nachbarn des Blickpunkts 54, insbesondere des Mittelpunkt-Blickpunkts 54, gesucht wird. Die definierte Anzahl an Blickpunkten bzw. der Schwellenwert der definierten Anzahl an Blickpunkten kann beispielsweise als Parameter ausgebildet sein, mittels welchem die minimale Anzahl an Nachbarn des Blickpunkts 54, insbesondere des Mittelpunkt-Blickpunkts 54, innerhalb des Kreises 58 mit dem definierten Abstandsradius 60 ausgebildet ist.
  • Somit werden in dieser vorteilhaften Ausführung die Blickpunkte 56 einem Blickbereich zugeordnet werden, zu denen innerhalb des definierten Abstandsradius 60 mehr als eine definierte Anzahl an weiteren Blickpunkten 56 erkannt werden. Vorzugsweise kann der definierte Abstandsradius 60 einen Wert zwischen ungefähr 10 mm und 140 mm, insbesondere 80 mm, aufweisen. Die definierte Anzahl an weiteren Blickpunkten 56 kann ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte 52, 54, 56 ausgebildet sein. Vorteilhafterweise können die Parameter insbesondere mittels Kl eingelernt werden und stetig verbessert werden.
  • In einer Weiterentwicklung kann alternativ oder zusätzlich der Abstand zwischen den Blickpunkten ermittelt werden. Beispielsweise können die Blickpunkte in einem Blickbereich geclustert werden, welche einen Abstand zueinander haben, welcher geringer als eine Schwelle eines definierten Abstandes ist.
  • 4 zeigt eine schematische Darstellung von Blickpunkten 52, 56 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Blickpunkte 56 können entsprechend des dritten Schritt des Verfahrens zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs gemäß 2 geclustert werden.
  • Vorzugsweise blickt der Fahrer auf einen Blickpunkt 56 eine erste Verweildauer lang. Mit anderen Worten blickt der Fahrer eine Dauer lang auf einen Blickpunkt 56, wobei diese Verweildauer ermittelt werden kann. Weiterhin wechselt der Fahrer von einem ersten Blickpunkt 56 zu einem zweiten, weiteren Blickpunkt 56 mit einer Wechselgeschwindigkeit 62. Mit anderen Worten blickt der Fahrer auf einen Blickpunkt 56 eine gewisse Dauer und wechselt dann zu dem nächsten Blickpunkte 56 mit einer Wechselgeschwindigkeit 62. Vorzugsweise kann somit ein Weg erkannt werden, welche die nacheinander folgenden Blickpunkte 56 miteinander verbindet.
  • Beispielsweise kann der Vorgang mittels welcher der Fahrer auf einen Blickpunkt 56 eine Verweildauer lang blickt Fixierung genannt werden. Damit ein Blick des Fahrers als Fixierung erkannt werden kann, kann beispielsweise eine minimale Fixierungsdauer festgelegt werden. Die minimale Fixierungsdauer kann auch als Minimum Fixation Length Threshold bzw. MFLT bezeichnet werden. Beispielsweise kann die minimale Fixierungsdauer insbesondere zwischen 500 Millisekunden und 2000 Millisekunden sein, insbesondere 500 Millisekunden, sein bzw. dauern. Die Blicke des Fahrers, die unterhalb dieser Fixierungsdauer liegen, werden vorteilhafterweise dann nicht als Fixierung und somit nicht als Blickpunkt erkannt. Die Wechselgeschwindigkeit bei kann beispielsweise auch Velocity bezeichnet werden.
  • Vorteilhafterweise werden die Blickpunkte 56 in einem Blickbereich 64 geclustert, die eine Verweildauer über einem definierten Schwellenwert der Verweildauer aufweisen und die aufeinanderfolgend eine Wechselgeschwindigkeit 62 unter einem definierten Schwellenwert der Wechselgeschwindigkeit aufweisen. Wenn der Fahrer von einem Blickpunkt 56 zu einem weiteren Blickpunkt 52 mit einer Wechselgeschwindigkeit 66 Wechsel, die über einem definierten Schwellenwert der Wechselgeschwindigkeit liegt, so wird dieser Blickpunkt 56 nicht in den Blickbereich 64 geclustert. Der Schwellenwert der Verweildauer kann beispielsweise auch als maximaler Fixierungsschwellwert bzw. Maximum Velocity Threshold bzw. MVT bezeichnet werden. Der Schwellenwert der Wechselgeschwindigkeit kann beispielsweise zwischen 5 mm/sec und 20 mm/sec, insbesondere 5mm/s, ausgebildet sein.
  • Das Clustern kann beispielsweise die Blickpunkte durchgeführt werden, welche innerhalb eines definierten Zeitfensters gemessen werden.
  • In einer Weiterentwicklung kann zusätzlich der Abstand zwischen den Blickpunkten ermittelt werden. Beispielsweise können die Blickpunkte in einem Blickbereich geclustert werden, welche einen Abstand zueinander haben, welcher geringer ist als eine Schwelle eines definierten Abstandes.
  • In einer Weiterentwicklung kann der Blickbereich 64 mit weiteren Blickbereichen zur weiteren Analyse zusätzlich geclustert werden. Die Blickbereiche können beispielsweise entsprechend des Verfahrens zum Clustern der Blickpunkte gemäß 3 durchgeführt werden und somit mit einem definierten Abstandsradius und einer definierten Anzahl an Nachbarn innerhalb des Kreises mit dem definierten Abstandsradius.
  • 5 zeigt eine schematische Darstellung von Blickbereichen 64 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der zumindest eine Blickbereich bzw. in dieser vorteilhaften Ausführung die Blickbereiche 64 können entsprechend des vierten Schritts des Verfahrens zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs gemäß 2 analysiert werden. In dieser verteilten Ausführung liegen die beiden Blickbereiche 64 derart nacheinander bzw. überschneiden sich, dass dieser gemeinsam analysiert werden. Mit anderen Worten werden die sich überschneiden Blickbereiche 64 zusammengefügt bzw. geclustert und somit gemeinsame im vierten Schritt des Verfahrens analysiert.
  • Hierfür kann vorzugsweise die Größe des zumindest einen Blickbereichs bzw. der beiden Blickbereiche 64 analysiert werden. Hierfür kann ein virtuell angedachtes Rechteck 70 analysiert werden, welches über die beiden Blickbereiche gelegt bzw. angeordnet wird. Weiterhin kann die Größe des Rechtecks 70 analysiert werden, beispielsweise eine Länge 72 und eine Breite 74 und/oder die Fläche.
  • Insbesondere wird dann ermittelt, dass der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs blickt, wenn der zumindest eine Blickbereich 64 bzw. die Blickbereiche 64 bzw. das angedachte Rechteck 70 größer als ein Schwellwert der Größe ist. Es wird dann ermittelt wird, dass der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe angeordnetes Anzeigeelement blickt, wenn der zumindest eine Blickbereich bzw. die Blickbereiche 64 bzw. das angedachte Rechteck 70 kleiner als ein Schwellwert der Größe ist bzw. sind.
  • Vorzugsweise kann der Schwellwert der Größe des Blickbereichs als eine Größe eines Anzeigeelements ausgebildet sein. Der Schwellwert der Größe des Blickbereichs kann beispielsweise als Größe eines Anzeigeelements mit Display ausgebildet sein, zum Beispiel als eine Größe eines Smartphones, Tablets, Laptops und/oder E-Books. Alternativ kann der Schwellwert der Größe des Bildbereichs beispielsweise als Größe eines Buchs ausgebildet sein. Mit anderen Worten kann die Größe des Blickbereichs bzw. die Größe des Rechtecks 70 insbesondere mit der Größe eines Anzeigeelements, insbesondere eines Smartphones, verglichen werden. Hierfür kann beispielsweise die Breite 74 und die Länge 72 mit den Maßen eines Smartphones verglichen werden. Alternativ kann auch die Fläche eines Smartphones mit der Fläche des Rechtecks des Rechtecks 70 verglichen werden.
  • 6 zeigt eine schematische Darstellung einer Vorrichtung 76 zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs 20 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 76 kann insbesondere in einem Fahrzeug 20 angeordnet sein. Das Fahrzeug 20 kann insbesondere gemäß dem Fahrzeug 20 gemäß 1 ausgebildet sein. Das Fahrzeug 20 kann insbesondere eine Beobachtungsvorrichtung 22 gemäß der Beobachtungsvorrichtung 22 gemäß 1 aufweisen. Weiterhin weist das Fahrzeug 20 insbesondere ein Lenkrad 78 und eine Windschutzscheibe 80 auf. Auf der Windschutzscheibe 80 ist insbesondere der Bereich 82 markiert, welcher sich vor dem Fahrer, insbesondere in Fahrtrichtung des Fahrzeugs, befindet. Zur Vereinfachung ist der Fahrer hier nicht dargestellt.
  • Die Vorrichtung 76 weist weiterhin eine Recheneinheit 84 auf. Die Recheneinheit 84 kann beispielsweise auch als Steuereinheit 84 ausgebildet sein bzw. bezeichnet werden. Die Recheneinheit 84 ist ausgebildet zum Erkennen eines Blickpunktes oder mehrerer Blickpunkte des Fahrers in Richtung einer Windschutzscheibe 80 des Fahrzeugs 20. Hierfür kann die Recheneinheit 84 Daten von der Beobachtungsvorrichtung 22 empfangen und diese auswerten. Weiterhin ist die Recheneinheit 84 ausgebildet zum Clustern der Blickpunkte in zumindest einen Blickbereich 64.
  • Ferner ist die Recheneinheit 84 ausgebildet zum Analysieren des zumindest einen Blickbereichs 64 bzw. der mehreren Blickbereiche 64 und zum Ermitteln, ob der Fahrer durch die Windschutzscheibe hindurch auf die Umgebung des Fahrzeugs 20 blickt oder ob der Fahrer auf ein zwischen dem Fahrer und der Windschutzscheibe 80 angeordnetes Anzeigeelement blickt. Der Blickbereich 64 bzw. die Blickbereiche 64 können entsprechend des Verfahrens gemäß 2 und/oder gemäß der Analyse gemäß 3, 4 und/oder 5 analysiert werden. Eine Unaufmerksamkeit des Fahrers wird dann erkannt, wenn ermittelt wird, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe 80 angeordnete Anzeigeelement blickt. In dieser vorteilhaften Ausführung ist kein Anzeigeelement zwischen dem Fahrer und der Windschutzscheibe 80 angeordnet. Die Recheneinheit 84 kann bzw. wird somit mittels der Analyse der Blickbereiche 64 ermitteln, dass der Fahrer auf die Umgebung des Fahrzeugs und somit durch die Windschutzscheibe 80 hindurch auf die Umgebung des Fahrzeugs blickt.
  • 7 zeigt eine schematische Darstellung einer Vorrichtung 76 zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs 20 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 76 kann insbesondere in einem Fahrzeug 20 angeordnet sein. Das Fahrzeug 20 kann insbesondere gemäß dem Fahrzeug 20 gemäß 1 und/oder gemäß 6 ausgebildet sein. Das Fahrzeug 20 kann insbesondere eine Beobachtungsvorrichtung 22 gemäß der Beobachtungsvorrichtung 22 gemäß 1 und/oder gemäß 6 aufweisen. Die Vorrichtung 76 gemäß 7 kann insbesondere gemäß der Vorrichtung 76 gemäß 6 ausgebildet sein. Weiterhin kann die Vorrichtung 76 eine Recheneinheit 84 gemäß 6 aufweisen.
  • In dieser vorteilhaften Ausführung ist zwischen dem Fahrer und der Windschutzscheibe 80 ein Anzeigeelement 88, in diese vorteilhaften Ausführungen insbesondere ein Smartphone 88, angeordnet. Die Recheneinheit 84 analysiert die Blickbereiche 64, 86 entsprechend des Verfahrens gemäß 2 und/oder gemäß der Analyse gemäß 3, 4 und/oder 5. Hierdurch kann mittels der Recheneinheit 84 ermittelt werden, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe 80 angeordnete Anzeigeelement 88, hier das Smartphone 88, blickt. Somit kann mittels der Recheneinheit 84 erkannt werden, dass der Fahrer unaufmerksam ist. Mit anderen Worten kann eine Unaufmerksamkeit des Fahrers dann erkannt werden, wenn ermittelt wird, dass der Fahrer auf das zwischen dem Fahrer und der Windschutzscheibe 80 angeordnete Anzeigeelement 88 blickt.
  • In diese beispielhaften Ausführungen werden weitere Blickbereiche 86 erkannt. Für diese weiteren Blickbereiche 86 wird jedoch erkannt, dass ein Fahrer durch diese Blickbereiche 86 hindurch auf eine Umgebung des Fahrzeugs blickt. Da jedoch bereits eine Unaufmerksamkeit des Fahrers mittels der Blickbereiche 64 erkannt wurde, wird eine Unaufmerksamkeit des Fahrers durch das Verfahren ausgegeben. In einer Weiterentwicklung können dann weitere Schritte gemäß dem Verfahren gemäß 2 eingeleitet werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014214352 A1 [0001]

Claims (13)

  1. Verfahren (40) zum Erkennen einer Unaufmerksamkeit eines Fahrers (24) eines Fahrzeugs (20) mit den folgenden Schritten, Beobachten des Fahrers (24) des Fahrzeugs mittels einer Beobachtungsvorrichtung (22), Erkennen eines Blickpunktes (52, 54, 56) des Fahrers (24) in Richtung einer Windschutzscheibe (80) des Fahrzeugs (20), Clustern der Blickpunkte (54, 56) in zumindest einen Blickbereich (64, 86), Analysieren des zumindest einen Blickbereichs (64, 86) und ermitteln, ob der Fahrer (24) durch die Windschutzscheibe (80) hindurch auf eine Umgebung des Fahrzeugs (20) blickt oder ob der Fahrer (24) auf ein zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnetes Anzeigeelement (88) blickt, Erkennen einer Unaufmerksamkeit des Fahrers (24), wenn ermittelt wird, dass der Fahrer (24) auf das zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnete Anzeigeelement (88) blickt.
  2. Verfahren (40) nach einem der vorherigen Ansprüche, mit einem Schritt des Erkennens einer Aufmerksamkeit des Fahrers (24), wenn ermittelt wird, dass der Fahrer (24) durch die Windschutzscheibe (80) hindurch auf die Umgebung des Fahrzeugs (20) blickt.
  3. Verfahren (40) nach einem der vorherigen Ansprüche, wobei die Blickpunkte (54, 56) derart in einem Blickbereich (64, 86) geclustert werden, dass der Blickbereich (64, 86) eine hohe Dichte an Blickpunkten (54, 56) aufweist.
  4. Verfahren (40) nach einem der vorherigen Ansprüche, wobei die Blickpunkte (54) einem Blickbereich (64, 86) zugeordnet werden, zu denen innerhalb eines definierten Abstandsradius (60) mehr als eine definierte Anzahl an weiteren Blickpunkten (56) erkannt werden.
  5. Verfahren (40) nach Anspruch 4, wobei der definierte Abstandsradius (60) einen Wert zwischen ungefähr 10 mm und 140 mm, insbesondere 80 mm, aufweist.
  6. Verfahren (40) nach einem der vorherigen Ansprüche 4 bis 5, wobei die definierte Anzahl an weiteren Blickpunkten (56) ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte (52, 54, 56) ist.
  7. Verfahren (40) nach einem der vorherigen Ansprüche 4 bis 6, wobei die definierte Anzahl an weiteren Blickpunkten (56) ungefähr zwischen 10 % und 50 %, insbesondere 25%, aller erkannten Blickpunkte (52, 54, 56) innerhalb eines definierten Zeitintervalls ist.
  8. Verfahren (40) nach einem der vorherigen Ansprüche, wobei der Fahrer (24) auf einen Blickpunkt (56) eine erste Verweildauer lang blickt und wobei der Fahrer (24) von einem ersten Blickpunkt (56) zu einem zweiten Blickpunkt (56) mit einer Wechselgeschwindigkeit (62) wechselt und wobei die Blickpunkte (56) in einem Blickbereich (64, 86) geclustert werden, die eine Verweildauer über einem definierten Schwellenwert der Verweildauer aufweisen und die aufeinanderfolgend eine Wechselgeschwindigkeit (62) unter einem definierten Schwellenwert der Wechselgeschwindigkeit (62) aufweisen.
  9. Verfahren (40) nach einem der vorherigen Ansprüche, wobei in dem Schritt des Analysierens des zumindest einen Blickbereichs (64, 86) eine Größe des Blickbereichs (64, 86) ermittelt wird und wobei dann ermittelt wird, dass der Fahrer (24) durch die Windschutzscheibe (80) hindurch auf die Umgebung des Fahrzeugs (20) blickt, wenn der Blickbereich (64, 86) größer als ein Schwellwert der Größe ist und wobei dann ermittelt wird, dass der Fahrer (24) auf ein zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnetes Anzeigeelement (88) blickt, wenn der Blickbereich (64, 86) kleiner als ein Schwellwert der Größe ist.
  10. Verfahren (40) nach Anspruch 9, wobei der Schwellwert der Größe des Blickbereichs (64, 86) als eine Größe eines Anzeigeelements (88) mit einem Display ausgebildet ist.
  11. Verfahren (40) nach einem der vorherigen Ansprüche 9 bis 10, wobei der Schwellwert der Größe des Blickbereichs (64, 86) als eine Größe eines Smartphones und/oder eines Tablets ausgebildet ist.
  12. Verfahren (40) nach einem der vorherigen Ansprüche 9 bis 11, wobei der Schwellwert der Größe des Blickbereichs (64, 86) als eine Größe einer Fläche eines Smartphones und/oder einer Fläche eines Tablets ausgebildet ist.
  13. Vorrichtung zum Erkennen einer Unaufmerksamkeit eines Fahrers (24) eines Fahrzeugs (20) aufweisend eine Beobachtungsvorrichtung (22) zum Beobachten des Fahrers (24) des Fahrzeugs (20), dadurch gekennzeichnet, dass die Vorrichtung eine Recheneinheit (84) aufweist zum Erkennen eines Blickpunktes (52, 54, 56) des Fahrers (24) in Richtung einer Windschutzscheibe (80) des Fahrzeugs (20), zum Clustern der Blickpunkte (54, 56) in zumindest einen Blickbereich (64, 86), zum Analysieren des zumindest einen Blickbereichs (64, 86) und zum Ermitteln, ob der Fahrer (24) durch die Windschutzscheibe (80) hindurch auf die Umgebung es Fahrzeugs (20) blickt oder ob der Fahrer (24) auf ein zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnetes Anzeigeelement (88) blickt, wobei eine Unaufmerksamkeit des Fahrers (24) erkannt wird, wenn ermittelt wird, dass der Fahrer (24) auf das zwischen dem Fahrer (24) und der Windschutzscheibe (80) angeordnete Anzeigeelement (88) blickt.
DE102021202504.8A 2021-03-15 2021-03-15 Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs Pending DE102021202504A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021202504.8A DE102021202504A1 (de) 2021-03-15 2021-03-15 Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs
CN202210245848.5A CN115140065A (zh) 2021-03-15 2022-03-14 用于识别车辆的驾驶员的不专心的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021202504.8A DE102021202504A1 (de) 2021-03-15 2021-03-15 Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102021202504A1 true DE102021202504A1 (de) 2022-09-15

Family

ID=83005329

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021202504.8A Pending DE102021202504A1 (de) 2021-03-15 2021-03-15 Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs

Country Status (2)

Country Link
CN (1) CN115140065A (de)
DE (1) DE102021202504A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014201036A1 (de) 2014-01-21 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102014214352A1 (de) 2014-07-23 2016-01-28 Robert Bosch Gmbh Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems
DE102015206209A1 (de) 2015-04-08 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl und Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers
DE102016223909A1 (de) 2016-12-01 2018-06-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur sensorgestützten Fahrerzustandsbewertung
DE102017202194A1 (de) 2017-02-13 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE102020006512A1 (de) 2020-10-23 2020-12-24 Daimler Ag Verfahren zur Bestimmung dynamischer Aufmerksamkeitsbereiche und Fahrzeug
DE102020122357A1 (de) 2019-08-28 2021-03-04 Ford Global Technologies, Llc Fahrerbewusstseinserfassungssystem

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014201036A1 (de) 2014-01-21 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102014214352A1 (de) 2014-07-23 2016-01-28 Robert Bosch Gmbh Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems
DE102015206209A1 (de) 2015-04-08 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl und Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers
DE102016223909A1 (de) 2016-12-01 2018-06-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur sensorgestützten Fahrerzustandsbewertung
DE102017202194A1 (de) 2017-02-13 2018-08-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE102020122357A1 (de) 2019-08-28 2021-03-04 Ford Global Technologies, Llc Fahrerbewusstseinserfassungssystem
DE102020006512A1 (de) 2020-10-23 2020-12-24 Daimler Ag Verfahren zur Bestimmung dynamischer Aufmerksamkeitsbereiche und Fahrzeug

Also Published As

Publication number Publication date
CN115140065A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
DE10039795C2 (de) Verfahren zur Warnung eines Fahrers eines Fahrzeugs
DE102019208663B4 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE112017001746T5 (de) Fahrunterstützungsvorrichtung, autonome Fahrsteuerungsvorrichtung, Fahrzeug, Fahrunterstützungsverfahren und Programm
EP2989590A1 (de) Verfahren und vorrichtung zur erkennung von nicht motorisierten verkehrsteilnehmern
EP2710573B1 (de) Verfahren und vorrichtung zum erkennen eines möglichen kollisionsobjektes
DE102012109624A1 (de) Fahrzeuganlage und Verfahren zum Beurteilen und Mitteilen der Verfassung eines Fahrers
DE102016001204B4 (de) Kraftfahrzeug
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102017109073A1 (de) Informationsanzeigevorrichtung
DE102014216208A1 (de) Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
DE10024227A1 (de) Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
DE102012025354A1 (de) Verfahren und Vorrichtung zur Anzeige einer Änderung eines Dynamikparameters eines Verkehrsmittels
DE102017204529A1 (de) Anordnung zur Aufmerksamkeitssteuerung des Fahrers eines Fahrzeugs und Verfahren zur Ansteuerung einer Anordnung zur Aufmerksamkeitssteuerung des Fahrers eines Fahrzeugs
DE102007036250A1 (de) Verfahren zur Ausgabe einer Warnung für ein Fahrzeug und Steuergerät
DE102015206209A1 (de) Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl und Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers
DE112019007195B4 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
DE102012006679A1 (de) Verfahren zum Erfassen und Darstellen einer Fahrzeugumgebung eines Fahrzeugs
DE102021202504A1 (de) Verfahren zum Erkennen einer Unaufmerksamkeit eines Fahrers eines Fahrzeugs
DE102014206769A1 (de) Informationsverfahren und Informationssystem für den Fahrer eines Kraftfahrzeugs
DE102015216623A1 (de) Situative Neuromodulation eines Insassen eines Kraftfahrzeugs
DE102020210055A1 (de) Verfahren und Vorrichtung zur Innenraumüberwachung eines Fahrzeugs
DE102020106850A1 (de) Verfahren zum Unterstützen eines Insassen bei einem Aussteigen aus einem Fahrzeug durch Anpassung einer Anzeige, Fahrerassistenzsystem sowie Fahrzeug
DE102018200980B4 (de) Verfahren zum Ermitteln einer Objektwahrnehmungswahrscheinlichkeit, mit welcher ein Fahrer eines Kraftfahrzeugs Objekte in einem Umfeld des Kraftfahrzeugs wahrnimmt, sowie Steuervorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102020214206A1 (de) Verfahren und Alarmierungssystem für ein Fahrzeug zur Erhöhung der Insassensicherheit
DE102020204362A1 (de) Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, ein Verfahren zum Beleuchten eines Objekts sowie ein Beleuchtungssystem

Legal Events

Date Code Title Description
R163 Identified publications notified