DE102022120344A1 - Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers - Google Patents

Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers Download PDF

Info

Publication number
DE102022120344A1
DE102022120344A1 DE102022120344.1A DE102022120344A DE102022120344A1 DE 102022120344 A1 DE102022120344 A1 DE 102022120344A1 DE 102022120344 A DE102022120344 A DE 102022120344A DE 102022120344 A1 DE102022120344 A1 DE 102022120344A1
Authority
DE
Germany
Prior art keywords
driver
vehicle
question
attention
vehicle environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022120344.1A
Other languages
English (en)
Inventor
Christian Patron
Marcel Eigner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022120344.1A priority Critical patent/DE102022120344A1/de
Publication of DE102022120344A1 publication Critical patent/DE102022120344A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Beispiele betreffen ein Verfahren (10) zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers (22) eines Fahrzeugs (21). Das Verfahren (10) umfasst die Schritte Erfassen (11) einer für den Fahrer (22) wahrnehmbaren Fahrzeugumgebung (23) mittels eines Fahrzeugsensors (21a); Analysieren (12) der Fahrzeugumgebung (23); Generieren (13) einer Frage betreffend die Fahrzeugumgebung (23); Ausgeben (14) der Frage an den Fahrer (22); Erfassen (15) einer Antwort des Fahrers (22) in Reaktion auf die Frage; und Ermitteln (16) des Aufmerksamkeitsgrades des Fahrers (22) basierend auf der Antwort.

Description

  • Technisches Gebiet
  • Ausführungsbeispiele betreffen Verfahren zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers eines Fahrzeugs. Ferner wird ein Computerprogramm zum Ausführen des Verfahrens vorgeschlagen.
  • Hintergrund
  • In modernen Kraftfahrzeugen werden häufig Funktionen implementiert, die eine einsetzende Müdigkeit des Fahrers erkennen können. Dadurch soll die Fahrsicherheit erhöht werden und der Fahrer zu Pausen animiert werden, wenn eine mangelnde Konzentrationsfähigkeit erkannt wird. Zur Erkennung der Aufmerksamkeit des Fahrers eines PKW sind heute Systeme bekannt die z.B. Lenkbewegungen analysieren oder Prognosen aufgrund der Fahrzeit ermitteln. Als Reaktion auf eine erkannte Müdigkeit kann eine Anzeige „Kaffeepause machen“, „Müdigkeit erkannt“ oder dergleichen im Fahrzeug erscheinen.
  • Weiterhin sind Sensoren bekannt, die anhand der Mimik oder veränderten Gesichtsmerkmalen des Fahrers Müdigkeit des Fahrers erkennen können. Dafür kann eine Kameraerfassung des Fahrers benötigt werden.
  • Die heute bekannten Systeme sind teils nur ungenau (z.B. reine Ermittlung aus Lenkzeit) und können daher zum Teil den tatsächlichen Zustand des Fahrers nicht immer ermitteln. Beispielsweise kann ein Fahrer individuell trotz langer Fahrzeit noch aufmerksam fahren. Zum Beispiel kann ein Fahrer mit leicht geschlossenen Augen fahren, um sich vor Sonnenblendung zu schützen, was als Müdigkeit fehlinterpretiert werden kann. Eine Müdigkeitserkennung mittels Kamera kann ferner den Nachteil haben kann, dass sie bei Verdeckung des Gesichts des Fahrers oder Verdeckung der Kamera nicht ordnungsgemäß funktionieren kann. Problematisch können Fehleinschätzungen sein, wenn sei zu häufig auftreten, da ein Fahrer dem System misstrauen kann und sich in Konsequenz z.B. auch bei zutreffender Warnung des Systems vor Müdigkeit fälschlicherweise gegen eine Pause entscheiden kann.
  • Zusammenfassung
  • Es ist eine Aufgabe der vorliegenden Offenbarung, verbesserte Konzepte bereitzustellen, die einen Aufmerksamkeitsgrad eines Fahrzeugfahrers ermitteln können.
  • Diese Aufgabe wird gelöst gemäß den Gegenständen der unabhängigen Patentansprüche. Weitere vorteilhafte Ausführungsformen werden in den abhängigen Patentansprüchen, der folgenden Beschreibung sowie in Verbindung mit den Figuren beschrieben.
  • Entsprechend wird ein Verfahren zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers eines Fahrzeugs vorgeschlagen. Das Verfahren umfasst die Schritte Erfassen einer für den Fahrer wahrnehmbaren Fahrzeugumgebung mittels eines Fahrzeugsensors; Analysieren der Fahrzeugumgebung; Generieren einer Frage betreffend die Fahrzeugumgebung; Ausgeben der Frage an den Fahrer; Erfassen einer Antwort des Fahrers in Reaktion auf die Frage; und Ermitteln des Aufmerksamkeitsgrades des Fahrers basierend auf der Antwort.
  • Die Frage kann verschiedene Aspekte der Fahrzeugumgebung betreffen, z.B. die Anwesenheit weiterer Verkehrsteilnehmer, Gegenstände und/oder Ereignisse z.B. im Bereich des Fahrweges. Wenn der Fahrer die Frage korrekt beantwortet, kann darauf geschlossen werden, dass er die Fahrzeugumgebung aufmerksam beobachtet hat und somit einen hohen Aufmerksamkeitsgrad hat. Wenn er die Frage nicht beantworten kann oder fehlerhaft beantwortet kann geschlossen werden, dass er unaufmerksam ist. Ein hoher Aufmerksamkeitsgrad kann zu geringer Müdigkeit korrelieren, entsprechend kann bei geringerem Aufmerksamkeitsgrad höhere Müdigkeit angenommen werden. Allerdings kann ein Fahrer auch aus anderen Gründen außer Müdigkeit abgelenkt sein, z.B. aufgrund von Musik oder einem Telefonat über eine Freisprecheinrichtung des Fahrzeugs. Beispielsweise kann eine Mehrzahl an verschiedenen Fragen gestellt werden, um einen Aufmerksamkeitsgrad des Fahrers genauer bestimmen zu können, z.B. anhand einer Quote von richtigen zu falschen Antworten.
  • Ein Vorteil an dem vorgeschlagenen Verfahren im Gegensatz zu bekannten Konzepten kann sein, dass bei der Analyse des Aufmerksamkeitsgrades mit dem Fahrer interagiert wird.
  • Dadurch kann eine Fokussierung oder Wiederfokussierung des Fahrers auf die Fahrzeugumgebung erfolgen, da die generierte Frage ihn animieren kann, diese genauer zu beobachten, um die Frage oder folgende Fragen besser beantworten zu können. Mit anderen Worten kann der Fahrer durch das vorgeschlagene Verfahren gleichzeitig aktiv und aufmerksam gehalten werden. Eine Umsetzung kann z.B. in Form eines digitalen Beifahrers (z.B. Chat-Bot oder Avatar; z.B. Audioausgabe der Fragen) erfolgen, der die Fragen zur Ermittlung des Aufmerksamkeitsgrades des Fahrers in einen Dialog mit dem Fahrer einfließen lässt. Die Praxiserfahrung zeigt, dass Fahrer sehr viel leichter aufmerksam bleiben können, wenn sie im Dialog mit einem Beifahrer stehen und sich dabei z.B. über die Fahrzeugumgebung und das Verhalten anderer Verkehrsteilnehmer unterhalten. Auf diese Weise kann ein Abschweifen des Fahrers auch bei längeren Fahrten besser vermieden werden. Das vorgeschlagene Konzept kann vorteilhaft einen solchen Dialog nachahmen und dabei den Fahrer durch gezielte Fragen zur Fahrzeugumgebung z.B. implizit auf kritische Situationen oder andere Verkehrsteilnehmer, die besonders beobachtet werden sollten, hinweisen.
  • Beispielsweise kann es sich bei der Fahrzeugumgebung um eine visuell oder akustisch für den Fahrer wahrnehmbare Fahrzeugumgebung handeln. Beispielsweise kann die Fahrzeugumgebung entsprechend mittels eines geeigneten Sensors, z.B. Kamera oder Mikrofon, erfasst werden. Zum Analysieren der Fahrzeugumgebung und/oder Generieren der Frage über die Fahrzeugumgebung kann vorteilhafterweise künstliche Intelligenz eingesetzt werden, z.B. können dadurch Objekte der Fahrzeugumgebung erkannt werden und daraufhin eine Frage zu den erkannten Objekten generiert werden.
  • Beispielsweise kann ferner ein Ausgeben des Aufmerksamkeitsgrades erfolgen. Zum Beispiel kann der ermittelte Aufmerksamkeitsgrad an den Fahrer ausgegeben werden, sodass dieser den aktuellen Grad seiner Aufmerksamkeit besser beurteilen kann. Bei Unterschreiten eines vorbestimmten Aufmerksamkeitsgrades kann dem Fahrer z.B. vorgeschlagen werden, eine Pause zu machen. Beispielsweise kann durch eine intensivere Gestaltung eines Dialoges (z.B. kontinuierliches Generieren und Ausgeben von Fragen) versucht werden, die Aufmerksamkeit des Fahrers zu stimulieren und erst, wenn dies nicht gelingt, vorgeschlagen werden, eine Pause zu machen. Die Ausgabe kann auch an eine zentrale Stelle erfolgen, sodass z.B. eine Zentrale eines Beförderungsunternehmens Auskunft über den aktuellen Aufmerksamkeitsgrad der eingesetzten Fahrer erhalten kann.
  • Das Verfahren kann für Fahrzeuge jeder Art eingesetzt werden, z.B. für Personenkraftfahrzeuge oder auch für Lastkraftfahrzeuge, deren Fahrer üblicherweise lange Fahrzeiten zu absolvieren haben.
  • Zum Beispiel kann vorgesehen sein, dass die Frage akustisch an den Fahrer ausgegeben wird und dass das Erfassen der Antwort mittels Spracherkennung erfolgt. Auf diese Weise kann z.B. eine möglichst geringe Ablenkung des Fahrers vom Straßenverkehr oder eine besonders intuitive Umsetzung des Verfahrens für den Fahrer erreicht werden. Wie bereits erwähnt kann auf diese Weise z.B. ein Dialog mit einem virtuellen Beifahrer simuliert werden, durch den der Fahrer auf relevante Aspekte der Fahrzeugumgebung aufmerksam gemacht werden kann.
  • Beispielsweise kann vorgesehen sein, dass das Erfassen der Fahrzeugumgebung unter Verwendung einer Fahrzeugkamera, eines GPS-Sensor, eines Regensensors und/oder eines Mikrofons erfolgt. Durch Kombination der verschiedenen Wahrnehmungsarten (z.B. visuell und akustisch) können z.B. vielfältige Fragen an den Fahrer gestellt werden, sodass das Verfahren auch über einen längeren Zeitraum hinweg für den Fahrer ansprechend bleiben kann.
  • Beispielsweise kann vorgesehen sein, dass das Analysieren der Fahrzeugumgebung eine Bildanalyse von Bilddaten der Fahrzeugumgebung umfasst. Zum Beispiel kann basierend auf Bilddaten eine Analyse der Fahrzeugumgebung besonders genau und detailreich erfolgen. Zum Beispiel kann vorteilhafterweise eine bereits im Fahrzeug vorhandene Kamera für das Bereitstellen der Bilddaten verwendet werden, sodass das Verfahren ressourcenschonender umgesetzt werden kann.
  • Beispielsweise kann vorgesehen sein, dass die generierte Frage auf einen Aspekt der Fahrzeugumgebung abzielt, die innerhalb eines vorbestimmten, der Frage vorangegangenen Zeitraums für den Fahrer wahrnehmbar war. Zum Beispiel kann eine Frage zur Fahrzeugumgebung innerhalb der letzten Minute (oder halben Minute oder der letzten 10 Sekunden) vor der Fragestellung gestellt werden. Der Fahrer kann vorteilhafterweise mehrere korrekte Antwortmöglichkeiten geben, wenn die Frage auf die Fahrzeugumgebung in einem bestimmten, z.B. kurzen, Zeitraum abzielt, da z.B. auf diese Weise für eine allgemein gehaltene Frage mehrere spezifische Antworten möglich sein können. Durch das Beziehen der Frage auf einen vergangenen Zeitraum kann die Aufmerksamkeit des Fahrers besonders gut geprüft werden, da der Fahrer die Antwort nicht nachträglich herausfinden kann, sondern die korrekte Antwort z.B. nur dann geben kann, wenn er zuvor kontinuierlich die Fahrzeugumgebung aufmerksam genug beobachtet hat.
  • Beispielsweise kann vorgesehen sein, dass die Frage in Abhängigkeit von einem aktuellen Fahrmanöver generiert wird. Zum Beispiel kann das Fahrmanöver vom Fahrer selbst vorgenommen werden. Das aktuelle Fahrmanöver kann auch ein Fahrmanöver sein, das unmittelbar (z.B. als nächster Fahrschritt) durchgeführt werden wird. Beispielsweise kann ein prädiziertes Abbiegen oder Überholen für den Fokus der Fragestellung zugrunde gelegt werden. Beispielsweise kann anhand von einem Navigationssystem oder einer Routenführung ein Fahrmanöver erkannt werden, das unmittelbar erfolgen wird - z.B. Rechtsabbiegen notwendig basierend auf Routenführung. Daraufhin kann eine Frage gestellt werden, die auf einen Verkehrsteilnehmer, z.B. Fahrradfahrer, rechts des Fahrzeugs aufmerksam machen kann. So kann z.B. durch die Frage implizit auf andere Verkehrsteilnehmer hingewiesen werden, die der Fahrer beim aktuellen Fahrmanöver beachten muss (z.B. kann implizit an einen Schulterblick erinnert werden, der für das prädizierte Fahrmanöver ratsam ist).
  • Beispielsweise kann vorgesehen sein, dass die Frage in Abhängigkeit von anderen Verkehrsteilnehmern in der Fahrzeugumgebung generiert wird. Beispielsweise kann die generierte Frage auf die Art eines vorausfahrenden Fahrzeugs (z.B. LKW statt PKW) abzielen. Zum Beispiel kann die generierte Frage auf das Verhalten der anderen Fahrzeuge abzielen; z.B. kann ein implizites Hinweisen auf Fehlverhalten wie Schwanken oder Abbiegen ohne Blinker zu setzen erfolgen.
  • Beispielsweise kann vorgesehen sein, dass die Frage in Abhängigkeit stationärer Elemente der Fahrzeugumgebung generiert wird. Beispielsweise kann die generierte Frage auf Schilder oder eine aktuelle Fahrbahnbeschaffenheit abzielen. Beispielsweise kann die generierte Frage auf die aktuell durchfahrene geografische Region oder Besonderheiten an der Strecke gerichtet sein. So kann z.B. durch Fragestellung zu einem Verkehrsschild zur Geschwindigkeitsbegrenzung zum einen geprüft werden, ob der Fahrer das Schild überhaupt wahrgenommen hat, zum anderen kann implizit darauf hingewiesen werden, dass aktuell eine Geschwindigkeitsbegrenzung zu beachten ist. Zum Beispiel kann ein GPS-Signal als Sensorsignal genutzt werden, um stationäre Elemente zu erfassen, da der Standort solcher Elemente z.B. in einer Karte hinterlegt sein kann. Dadurch kann eine besonders einfachere Erfassung der Fahrzeugumgebung erreicht werden.
  • Beispielsweise kann vorgesehen sein, dass die Frage in Abhängigkeit variabler Bedingungen der Fahrzeugumgebung generiert wird. Beispielsweise kann die Frage aktuelles Wetter; z.B. starker Regen oder blendende Sonne, betreffen. Somit kann der Fahrer z.B. aktiv auf starke Witterungen hingewiesen werden, die fahrtechnisch beachtet werden sollten. Aktuelle Regenbedingungen können z.B. mittels eines Regensensors erfasst werden, wobei z.B. ein bereits für eine Scheibenwischerautomatik im Fahrzeug integrierter Sensor effizient für das Verfahren genutzt werden kann.
  • Beispielsweise kann vorgesehen sein, dass das Ermitteln des Aufmerksamkeitsgrads basierend auf einem Inhalt der erfassten Antwort und/oder basierend auf einer Zeitdauer zwischen Fragestellung und der erfassten Antwort erfolgt. Wenn die korrekte Antwort z.B. unmittelbar erfolgt (z.B. innerhalb weniger Sekunden), kann von einem sehr hohen Aufmerksamkeitsgrad ausgegangen werden. Je länger der Fahrer für die Antwort braucht, desto geringer kann der Aufmerksamkeitsgrad sein. Wenn die Antwort falsch ist kann der Aufmerksamkeitsgrad z.B. zu gering sein. Auf diese Weise kann vorteilhafterweise die Aufmerksamkeit des Fahrers graduell gemessen werden und bei Bedarf können unterschiedlich starke Maßnahmen, die bei geringerer Aufmerksamkeit notwendig sein können, vorgeschlagen werden.
  • Beispielsweise kann vorgesehen sein, dass das Verfahren ferner ein Ausgeben eines Sicherheitshinweises an den Fahrer umfasst, falls der ermittelte Aufmerksamkeitsgrad einen vorbestimmten minimalen Schwellenwert unterschreitet. Beispielsweise kann ein Hinweis „Müdigkeit erkannt“ oder „mangelnde Konzentration erkannt - bitte auf die Verkehrsumgebung achten“ ausgegeben. Zum Beispiel kann vorgeschlagen werden, eine Pause zu machen. Aufgrund der graduellen Abstufungsmöglichkeit kann der Fahrer den Vorschlag besser annehmen, da er selbst überzeugter sein kann, dass seine Aufmerksamkeit z.B. aktuell tatsächlich zu gering ist. Im Gegensatz zu anderen Konzepten, die standardmäßig nur Kaffeepausen vorschlagen, kann erst versucht werden, die Aufmerksamkeit des Fahrers wieder zu fokussieren. Zum Beispiel können nach einer falschen Antwort zunächst weitere Fragen an den Fahrer gestellt werden. Werden diese korrekt beantwortet, kann davon ausgegangen werden, dass der Fahrer wieder aufmerksam genug fährt. Werden auch die weiteren Fragen fehlerhaft beantwortet kann z.B. die Information ausgegeben werden, dass ein Pause dringend ratsam ist. Dies kann z.B. bei Unterschreiten eines vorbestimmten kritischen, zweiten Schwellenwertes erfolgen, der niedriger sein kann als der minimale Schwellenwert, wobei in diesem Fall ein noch deutlicherer Sicherheitshinweis ausgegeben werden kann. Wenn der Fahrer merkt, dass er tatsächlich keine korrekten Angaben zur Fahrzeugumgebung geben kann, kann er unter Umständen leichter davon zu überzeugen sein, tatsächlich eine Pause zu machen als wenn er die Grundlage des Vorschlags zur Kaffeepause nicht erkennen kann und als unbegründet einstuft.
  • Ein weiterer Aspekt betrifft ein Computerprogramm mit einem Programmcode, um das zuvor oder nachfolgend beschriebene Verfahren auszuführen, wenn das Computerprogramm auf einem Prozessor, einem Computer, oder einer programmierbaren Hardware ausgeführt wird. Ein solches Programm kann vorteilhaft auf einem Bordcomputer ausgeführt werden, um das Verfahren im Fahrzeug bereitzustellen. Alternativ kann es auch als App für ein Mobilgerät bereitgestellt werden, z.B. wenn das Mobilgerät mittels eingebauter Kamera oder anderen geeigneten Sensoren die Fahrzeugumgebung erfassen kann.
  • Figurenkurzbeschreibung
  • Ausführungsbeispiele werden nachfolgend bezugnehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
    • 1 ein Flussdiagramm eines Verfahrens zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers eines Fahrzeugs; und
    • 2 ein schematisches Beispiel eines Fahrzeugs und einer mittels Fahrzeugkamera erfassten Fahrzeugumgebung.
  • Beschreibung
  • Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein. Bei der nachfolgenden Beschreibung der beigefügten Figuren, die lediglich einige exemplarische Ausführungsbeispiele zeigen, können gleiche Bezugszeichen gleiche oder vergleichbare Komponenten bezeichnen.
  • Ein Element, das als mit einem anderen Element „verbunden“ oder „verkoppelt“ bezeichnet wird, mit dem anderen Element direkt verbunden oder verkoppelt sein kann oder dass dazwischenliegende Elemente vorhanden sein können. Solange nichts anderes definiert ist, haben sämtliche hierin verwendeten Begriffe (einschließlich von technischen und wissenschaftlichen Begriffen) die gleiche Bedeutung, die ihnen ein Durchschnittsfachmann auf dem Gebiet, zu dem die Ausführungsbeispiele gehören, beimisst.
  • 1 zeigt ein Flussdiagramm eines Verfahrens 10 zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers eines Fahrzeugs. Das Verfahren 10 umfasst die Schritte Erfassen 11 einer für den Fahrer wahrnehmbaren Fahrzeugumgebung mittels eines Fahrzeugsensors; Analysieren 12 der Fahrzeugumgebung; Generieren 13 einer Frage betreffend die Fahrzeugumgebung; Ausgeben 14 der Frage an den Fahrer; Erfassen 15 einer Antwort des Fahrers in Reaktion auf die Frage; und Ermitteln 16 des Aufmerksamkeitsgrades des Fahrers basierend auf der Antwort.
  • Durch das Verfahren 10 kann der Fahrer angeregt werden, die Fahrzeugumgebung besonders gut zu beobachten, was zu einer Erhöhung der Verkehrssicherheit führen kann. Beispielsweise kann die Aufmerksamkeit des Fahrers basierend auf den Fragen auf bestimmte Bereiche der Fahrzeugumgebung gelenkt werden, die besonders relevant sein können. Wenn die Antwort des Fahrers richtig ausfällt und zeitnah erfolgt, kann z.B. auf einen hohen Aufmerksamkeitsgrad des Fahrers geschlossen werden. Ist die Antwort fehlerhaft und/oder verzögert, kann dagegen z.B. auf einen geringen Aufmerksamkeitsgrad geschlossen werden.
  • 2 zeigt ein schematisches Beispiel 20 eines Fahrzeugs 21 und einer mittels einer Fahrzeugkamera 21a erfassten Fahrzeugumgebung 23. Die Fahrzeugkamera 21a ist eine Frontkamera des Fahrzeugs 21, die z.B. ferner auch für Funktionen des assistierten Fahrens verwendet werden kann. Am Fahrzeug 21 ist ferner eine Rückkamera 21b dargestellt, mit der z.B. eine rückwärtige Fahrzeugumgebung (nicht dargestellt) erfasst werden kann. Das Fahrzeug ist ausgebildet, um das offenbarte Verfahren 10 auszuführen. Schematisch ist ein Fahrer 22 des Fahrzeugs 21 dargestellt, dessen Antworten auf die verfahrensgemäß gestellten Fragen erfasst werden können, um dessen Aufmerksamkeitsgrad zu messen.
  • Die Fahrzeugumgebung 23 ist schematisch dargestellt, es ist eine Straße zu erkennen, auf der sich verschiedene Verkehrsteilnehmer befinden. Links im dargestellten Bildausschnitt der Fahrzeugumgebung 23 sind zwei Radfahrer 23a, 23b zu erkennen, mittig befinden sich zwei PKW 23c, 23d und rechts ist ein Bus 23e dargestellt. Die einzelnen Verkehrsteilnehmer 23a-23e können z.B. aus der Bildaufnahme heraus unter Verwendung von KI (künstliche Intelligenz)-Methoden identifiziert und klassifiziert werden. Weiter ist es möglich, aus der beispielhaften visuellen Darstellung der Fahrzeugumgebung 23 auch Straßenschilder, Wetterbedingungen etc. der Fahrzeugumgebung 23 zu extrahieren.
  • Für die Analyse der Fahrzeugumgebung, z.B. basierend auf einer Videoaufnahme oder auch auf GPS-Daten oder einer Mikrofonaufnahme (nicht dargestellt), die von einem geeigneten Sensor bereitgestellt werden können, kann ein Fahrzeugrechner 21c (z.B. Bordcomputer) des Fahrzeugs 21 genutzt werden. Auf diesem kann implementiert sein: -KI (Abk. künstliche Intelligenz; z.B. KI-basierte Software) zur Bildverarbeitung und Kontextauswertung; -KI zur Sprachverarbeitung; -KI zur Dialogführung mit Fahrer. Beispielsweise kann dem Fahrer 22 als Frage ausgegeben werden (z.B. akustisch mittels Sprachcomputer): „Hast Du die zwei Radfahrer auf der linken Straßenseite gesehen?“ Als korrekte Antwort kann basierend auf dem dargestellten Beispiel der Fahrzeugumgebung 23 die Antwort „ja“ gewertet werden. In diesem Fall kann dem Fahrer 22 z.B. eine genügend hohe Aufmerksamkeit zugeschrieben werden.
  • Beispielsweise kann vom Bordcomputer 21c ein Fahrmanöver des Fahrers 22 prädiziert werden, z.B. ein Rechtsabbiegen (z.B. Prädizieren eines unmittelbar erfolgenden Fahrmanövers basierend auf Navigationsdaten des Fahrzeugs 22). In diesem Fall kann z.B. die Rückkamera 21b genutzt werden, um die rückwärtige Fahrzeugumgebung zu erfassen und zu analysieren. Sind z.B. rechts hinter dem Fahrzeug 22 Radfahrer oder Fußgänger präsent, die mit dem geplanten Fahrweg des Fahrzeugs 22 kreuzen könnten, kann eine Frage zu diesen relevanten Verkehrsteilnehmern gestellt werden, die den Fahrer 22 implizit auf deren Anwesenheit hinweisen kann. Zum Beispiel kann der Fahrer 22 durch eine entsprechende Frage betreffend den rückwärtigen Fahrzeugbereich zu einem Schulterblick animiert werden und daraufhin die zu beachtenden Verkehrsteilnehmer besser oder frühzeitiger wahrnehmen.
  • Ein Beispiel kann eine mögliche Umsetzung des Verfahrens veranschaulichen: Der Fahrer 22 fährt eine längere Strecke. Nach einer längeren Fahrzeit wird zufällig (random) ein Bild aus dem Blickwinkel des Fahrers erfasst (z.B. über Frontkamera 21a; beispielhafte Bildaufnahme ist in 2 dargestellt als Fahrzeugumgebung 23). Dieses Bild wird von einer KI analysiert (z.B. dargestellte Situation, bestimmte Objekte, Merkmale von Objekten). Auf Basis dieser Daten wird dem Fahrer 22 von einer Sprach-KI eine Frage gestellt (z.B. „ist dir die kleine Kirche auf dem Hügel links aufgefallen“ oder „hast Du den roten SUV auf der Standspur gesehen“).
  • Die Antwort des Fahrers 22 wird analysiert und mit dem zuvor ermittelten Informationen abgeglichen. Macht der Fahrer 22 Fehler, kann auf eine geringere Fokussierung und Aufmerksamkeit geschlossen werden.
  • Das vorgeschlagene Verfahren kann durch Implementierung eines digitalen Beifahrers umgesetzt werden, der den Fahrer 22 z.B. bei langen Fahrten oder in der Nacht unterhält und somit dessen Aufmerksamkeit unterstützen kann und zugleich kontinuierlich analysieren kann. Hierfür kann in effizienter Weise bereits vorhandene Fahrzeughardware genutzt werden, um z.B. eines oder mehrere der folgenden Features bereit zu stellen:
    • - Umfeld erkennen; z.B. was ist auf und neben der Strecke? Beispiele für Fragen und Antworten können wie folgt aussehen: Frage: „was war da eben am Straßenrand?“ Antwort: „zwei Radfahrer.“ Frage: „was ist dir in der letzten Minute am Straßenrand aufgefallen?“ Antwort: „es waren Pferde auf der Weide.“ Beschriftung und Schilder erkennen und in Kontext setzen (z.B. Fragen bezüglich Verkehrsschildern generieren, die vom System erkannt werden und für die Fahrt relevant sind).
    • - Andere Verkehrsteilnehmer erkennen. Zum fährt ein LKW neben dem eigenen Fahrzeug. Eine Beispielfrage kann sein: „was wird hier transportiert?“ Beispielantwort: „Limonade“. Oder „was für einen Bremsweg hat der Lastwagen?“ - Antwort „Lastwagen in dieser Größe haben folgenden Bremsweg...“. Erkennung des Kennzeichens: „Dieser LKW kommt aus folgendem Land und könnte schon seit mehreren Stunden unterwegs sein. Sei etwas vorsichtiger und halte immer genügend Abstand.“
    • - Fahrsituationen erkennen: Verhalten und Fehlverhalten von Verkehrsteilnehmern und aktive Ansprache des Fahrers. Beispiel: vorausfahrendes Fahrzeug wechselt die Spur. Allgemeiner Dialog des Fahrzeugs: „Achtung, das Fahrzeug vor Dir fährt inkonstant.“ Darauffolgende Frage des Fahrzeugs: „was hat das Fahrzeug vor Dir gerade falsch gemacht?“ Antwort beispielhaft: „es wurde kein Blinker gesetzt.“
  • Verkehrsaufkommen: Beispiel: Wenig Verkehr auf der Autobahn in der Nacht. Der Assistent (z.B. digitaler Beifahrer, der das vorgeschlagene Verfahren umsetzt) spricht aktiv den Fahrer an, ob die Situation nicht ermüdend ist. Antwort: „ja“ - weitere Frage: „Soll ich dich unterhalten?“ oder „Mit was soll ich dich unterhalten?“.
  • Schilder und Verkehrsinformationen, Beispielfrage (z.B. bei erkannter Müdigkeit) „Hast Du gesehen, dass in 1 km ein Rastplatz kommt?“. Betreffend Wetterbedingungen: Beispielfrage des Fahrzeugs: „Es regnet momentan echt stark. Wie viel Liter/m2/h glaubst Du, dass es gerade regnet?“ Hier kann das System basierend auf dem Regensensor die Regenmenge ermitteln und z.B. nach der Antwort des Fahrers noch Informationen ausgeben, ab wann die Unfallhäufigkeit steigt. Weitere Fragen können z.B. Fahrbahnbeschaffenheit etc. betreffen.
  • Weitere Einzelheiten und Aspekte sind in Verbindung mit den vor- oder nachstehend beschriebenen Ausführungsbeispielen erwähnt. Das in 2 gezeigte Ausführungsbeispiel kann ein oder mehrere optionale zusätzliche Merkmale aufweisen, die einem oder mehreren Aspekten entsprechen, die in Verbindung mit dem vorgeschlagenen Konzept oder mit einem oder mehreren vorstehend (z.B. 1) oder nachstehend beschriebenen Ausführungsbeispielen erwähnt sind.
  • Beispiele beziehen sich auf ein System zur Aufmerksamkeitserkennung im Fahrzeug. Ein Aspekt der Offenbarung betrifft ein System, das zufällig Bilder der Fahrsituation oder Fahrzeugumgebung aufnimmt, diese nach Inhalt analysiert und dem Fahrer dann Fragen hierzu stellt. Ist der Fahrer nicht aufmerksam, entgehen ihm Details in der Wahrnehmung der Fahrzeugumgebung. Das System kann so in einem interaktiven Dialog mit dem Fahrer dessen Wahrnehmung/Aufmerksamkeit gezielt überprüfen. Besonders geeignet kann der Einsatz von KI zur Auswertung der Bilddaten sein, d.h. es können KI-Modelle eingesetzt werden, die den Kontext von Bildern erkennen und analysieren können (z.B. bei visueller Erfassung der Fahrzeugumgebung durch das System).

Claims (11)

  1. Verfahren (10) zum Analysieren eines Aufmerksamkeitsgrades eines Fahrers (22) eines Fahrzeugs (21), das Verfahren (10) umfassend: - Erfassen (11) einer für den Fahrer (22) wahrnehmbaren Fahrzeugumgebung (23) mittels eines Fahrzeugsensors (21a); - Analysieren (12) der Fahrzeugumgebung (23); - Generieren (13) einer Frage betreffend die Fahrzeugumgebung (23); - Ausgeben (14) der Frage an den Fahrer (22); - Erfassen (15) einer Antwort des Fahrers (22) in Reaktion auf die Frage; und - Ermitteln (16) des Aufmerksamkeitsgrades des Fahrers (22) basierend auf der Antwort.
  2. Verfahren (10) gemäß Anspruch 1, wobei das Erfassen (11) der Fahrzeugumgebung (23) unter Verwendung einer Fahrzeugkamera (21a, 21b), eines GPS-Sensor, eines Regensensors und/oder eines Mikrofons erfolgt.
  3. Verfahren (10) gemäß Anspruch 1 oder 2, wobei das Analysieren (12) der Fahrzeugumgebung (23) eine Bildanalyse von Bilddaten der Fahrzeugumgebung (23) umfasst.
  4. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die generierte (13) Frage auf einen Aspekt der Fahrzeugumgebung (23) abzielt, die innerhalb eines vorbestimmten, der ausgegebenen (14) Frage vorangegangenen Zeitraums für den Fahrer (22) wahrnehmbar war.
  5. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die Frage in Abhängigkeit von einem aktuellen Fahrmanöver generiert (13) wird.
  6. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die Frage in Abhängigkeit von anderen Verkehrsteilnehmern (23a-23e) in der Fahrzeugumgebung (23) generiert (13) wird.
  7. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die Frage in Abhängigkeit stationärer Elemente der Fahrzeugumgebung (23) generiert (13) wird.
  8. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei die Frage in Abhängigkeit variabler Bedingungen der Fahrzeugumgebung (23) generiert (13) wird.
  9. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, wobei das Ermitteln (16) des Aufmerksamkeitsgrads basierend auf einem Inhalt der erfassten Antwort (15) und/oder basierend auf einer Zeitdauer zwischen Fragestellung (14) und der erfassten Antwort (15) erfolgt.
  10. Verfahren (10) gemäß einem der vorhergehenden Ansprüche, ferner umfassend: - Ausgeben eines Sicherheitshinweises, insbesondere an den Fahrer (22), falls der ermittelte (16) Aufmerksamkeitsgrad einen vorbestimmten minimalen Schwellenwert unterschreitet.
  11. Ein Computerprogramm mit einem Programmcode, um das Verfahren (10) gemäß einem der vorhergehenden Ansprüche auszuführen, wenn das Computerprogramm auf einem Prozessor, einem Computer, oder einer programmierbaren Hardware ausgeführt wird.
DE102022120344.1A 2022-08-11 2022-08-11 Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers Pending DE102022120344A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022120344.1A DE102022120344A1 (de) 2022-08-11 2022-08-11 Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022120344.1A DE102022120344A1 (de) 2022-08-11 2022-08-11 Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers

Publications (1)

Publication Number Publication Date
DE102022120344A1 true DE102022120344A1 (de) 2024-02-22

Family

ID=89808874

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022120344.1A Pending DE102022120344A1 (de) 2022-08-11 2022-08-11 Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers

Country Status (1)

Country Link
DE (1) DE102022120344A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213965A1 (de) 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
DE102017210825A1 (de) 2017-06-27 2018-12-27 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs, Fahrzeug und Computerprogrammprodukt
DE112019004597T5 (de) 2018-09-13 2021-06-17 Sony Semiconductor Solutions Corporation Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213965A1 (de) 2012-08-07 2014-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Gewährleisten einer ausreichenden Leistungsfähigkeit eines Fahrers eines Kraftfahrzeugs beim automatisierten Fahren
DE102017210825A1 (de) 2017-06-27 2018-12-27 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs, Fahrzeug und Computerprogrammprodukt
DE112019004597T5 (de) 2018-09-13 2021-06-17 Sony Semiconductor Solutions Corporation Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm

Similar Documents

Publication Publication Date Title
EP3762271A1 (de) Verfahren zum betrieb eines kraftfahrzeugs mit einem autopilotsystem und kraftfahrzeug
DE102011081892A1 (de) Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug
DE102012219721A1 (de) Fahrassistenzverfahren und Fahrassistenzsystem zur Erhöhung des Fahrkomforts
DE102009005730A1 (de) Verfahren und Vorrichtung zur Überwachung der Aufmerksamkeit eines Fahrzeugführers
DE102018001375A1 (de) Fahrzeugfahrassistenzsystem, Fahrzeugfahrassistenzverfahren und Computerprogrammprodukt
DE102009027547A1 (de) Assistenzsystem für ein Kraftfahrzeug
WO2013091742A1 (de) Verfahren zur erzeugung und nutzung verkehrsrelevanter informationen durch fahrzeuge eines fahrzeugpools
DE102013000131A1 (de) Feedbacksystem für ein Kraftfahrzeug und Verfahren zum Bereitstellen eines Feedbacks
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102021107602A1 (de) Fahrassistenzvorrichtung und datensammelsystem
DE102017201538A1 (de) Verfahren zum Verarbeiten von Daten über ein in einer Umgebung eines ersten Fahrzeugs befindliches Objekt
DE10309934B4 (de) Fahrsimulator und Verfahren zum Simulieren des Fahrzustands eines Fahrzeugs
DE102015103361A1 (de) Verkehrsdichte-empfindlichkeitswähler
DE102012020568A1 (de) Verfahren zum Betreiben einer Navigationseinrichtung und zur Erfassung einer wahrnehmbaren Umwelt
DE102006019111A1 (de) Linksverkehr-/Rechtsverkehrassistent
DE102020204964A1 (de) Verfahren zum Überwachen einer aktuellen Aufmerksamkeit eines Fahrers während eines Betriebs eines Fahrzeugs
DE102022120344A1 (de) Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers
DE102006030278A1 (de) Generierung einer Fahrsituation
DE102018133442A1 (de) Verfahren zum Ausgeben von Informationen in einem Fahrzeug und Vorrichtung zum Steuern einer Ausgabe von Informationen in einem Fahrzeug
DE102018219125A1 (de) Verfahren zum Klassifizieren von Objekten mittels eines automatisiert fahrenden Kraftfahrzeuges und automatisiert fahrendes Kraftfahrzeug
DE102021001109A1 (de) Verfahren zum Hinweisen eines Fahrers eines Fahrzeugs auf die Notwendigkeit zum Bilden einer Rettungsgasse
DE102021101805A1 (de) Fahrerüberwachungssystem für kraftfahrzeug
DE102020110496A1 (de) Verfahren und System zur Bestimmung eines Fahrerprofils eines Fahrers eines Fahrzeugs
DE102021100574A1 (de) Steuern einer Darbietung an Bord eines Fahrzeugs
DE102018127471A1 (de) Verfahren und System zum Warnen eines Fahrers eines Fahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified