-
Die Erfindung betrifft ein Verfahren zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie eine Anordnung zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 4.
-
Die vorliegende Erfindung betrifft die Ablenkung eines Fahrers und Feedback-Mechanismen in einem Fahrzeug, insbesondere die Bestimmung eines kontinuierlichen Maßes für die Ablenkung des Fahrers in Echtzeit, basierend auf Merkmalen, die aus Signalen im Fahrzeug berechnet werden.
-
Fortschritte in Forschung und Entwicklung in der Automobilindustrie belasten den Fahrer eines Fahrzeugs mit einer Vielzahl von sekundären Aufgaben, die nichts mit der primären Aufgabe des Fahrens zu tun haben. Diese Aufgaben erfordern unterschiedliche Grade der Aufmerksamkeit des Fahrers. Fortgeschrittene Fahrerassistenzsysteme sind zwar in der Lage, die Fahraufgabe in speziellen Anwendungsfällen zu übernehmen, das Fahren bleibt jedoch in der primären Verantwortung des Fahrers. Dies erfordert, dass der Fahrer sich unabhängig vom implementierten Automatisierungsgrad jederzeit der Umgebung bewusst ist. Der Fortschritt der automobilen Technologie führt zu neuen, komplizierten Merkmalen, sodass die Komplexität der Fahrzeugelektronik ebenfalls steigt. Dies erzeugt eine große Menge an visuellem und akustischem Feedback vom Fahrzeug zu Fahrer. Abhängig vom Fahrszenario ist es möglich, dass der Fahrer dieses Feedback nicht immer als hilfreich oder notwendig erachtet. Es wird daher ein System benötigt, das die Auslastung des Fahrers in Echtzeit einschätzt, um einen Entscheidungsprozess zu unterstützen, der die Feedback-Mechanismen steuert.
-
Die Analyse menschlicher Gesichtsmerkmale zur Bewertung der Aufmerksamkeit des Fahrers ist im Stand der Technik bekannt, erfordert jedoch große Datenmengen und Rechenleistung für die korrekte Identifizierung. Insbesondere werden dabei Mimik, Bewegungen und Gesichtsausdrücke verwendet, um Unaufmerksamkeit oder Ablenkung des Fahrers zu bewerten.
-
Die bekannte Technologie zur Identifikation von Ablenkung kann den Einfluss zufälliger Effekte nicht adäquat schätzen, indem sie lediglich auf Fahrleistungs-Indizes wie Änderungen der Fahrgeschwindigkeit mit großer Amplitude, Spurwechsel, Änderungen des Sicherheitsabstands und ähnliche Faktoren baut, um die Ablenkung abzuschätzen. Diese Leistungs-Indizes berücksichtigen nicht den kognitiven Ansatz zur Detektion der Ablenkung des Fahrers. Intrusive Sensoren wie beispielsweise Elektroenzephalografie (EEG) können präzise Daten bezüglich kognitiver Aspekte der Ablenkung des Fahrers erfassen. Solche Sensoren können allerdings nicht in Fahrzeugen implementiert werden.
-
Es Besteht ein Bedarf nach einem Verfahren und einem System, das Daten, die von EEG-Sensoren oder ähnlichem erfasst wurden, mit Daten von Sensoren im Inneren des Fahrzeugs so kombiniert, dass quantifizierte Messungen der Ablenkung oder Unaufmerksamkeit des Fahrers auch latente kognitive Merkmale erfassen.
-
Der bekannte Stand der Technik in diesem Bereich baut auf konstante Überwachung und Bewertung der Umgebung im Fahrzeug und außerhalb des Fahrzeugs zur Bewertung des Ausmaßes der Ablenkung des Fahrers. Dies verursacht große Datensätze und hohe Rechenleistung bei der Implementierung von Algorithmen zur Detektion der Ablenkung. Die On-board-Verarbeitung von solch komplexen Daten hat sich als große Herausforderung erwiesen.
-
Darüber hinaus klassifiziert bekannte Technologie zur Identifikation der Ablenkung die Ablenkung des Fahrers in weite Bereiche. Stattdessen wird ein kontinuierliches Maß benötigt, das eine feinere Stratifizierung des Ablenkungs-Niveaus ermöglicht.
-
US 7,394,393 B2 beschreibt ein Verfahren zur adaptiven Schätzung der Fahrerauslastung. Von einem Fahrzeugführer wird eine subjektive Einschätzung der Arbeitsbelastung eines Fahrers eingeholt. Als Reaktion auf den Empfang der subjektiven Beurteilung wird ein Strom von Sensoreingabedaten von einem oder mehreren Sensoren erfasst. Ein maschineller Lernalgorithmus wird auf ein Modell zur Schätzung der Arbeitsbelastung des Fahrers angewendet, das auf dem Strom von Sensoreingabedaten und der subjektiven Bewertung basiert. Das Ergebnis der Anwendung ist ein aktualisiertes Modell zur Schätzung der Fahrerauslastung.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren und eine neuartige Anordnung zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 1 und durch eine Anordnung zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 4.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Es wird ein Verfahren zum Erkennen einer Auslastung eines Fahrers eines Kraftfahrzeugs vorgeschlagen, wobei im Kraftfahrzeug eine Vielzahl von Sensordaten aus einer Vielzahl von im Kraftfahrzeug angeordneten Sensoren über eine Vielzahl von Zeitintervallen erfasst wird. Erfindungsgemäß ist vorgesehen, dass die Sensordaten Daten zu einem Blick des Fahrers, einen Lenkrad-Winkel, eine Fahrzeuggeschwindigkeit, eine Beschleunigung und Daten zu Spurwechseln umfassen, wobei die Sensordaten verarbeitet werden, um Merkmale zu erhalten, die sensitiv für Änderungen in der Auslastung des Fahrers sind, wobei das Verfahren ferner umfasst:
- Anpassen einer Funktion oder eines Modells an die Merkmale, um eine Schätzung kognitiver, visueller und subjektiver Anforderungsmaße des Fahrers während einer Fahrt in Echtzeit zu erhalten, wobei die Anforderungsmaße mittels trainierter Gewichtungen eines neuronalen Netzes oder einer Funktion zu einem einzigen kontinuierlichen numerischen Auslastungsmaß des Fahrers kombiniert werden, das kontinuierlich aktualisiert wird, wobei Ausgaben und Feedbacks über Nutzerschnittstellen im Fahrzeug basierend auf dem Auslastungsmaß geregelt werden.
-
Die vorliegende Erfindung beschreibt ein Verfahren und ein System zur Bestimmung der kognitiven, visuellen und subjektiven Anforderungen an den Fahrer, zusammenfassend auch als Auslastung bezeichnet, unter Verwendung von Signalen im Fahrzeug und von Algorithmen neuronaler Netze, um Ul/UX-basierte (user interface/user experience - Nutzerschnittstelle/Nutzererfahrung) Entscheidungsprozesse zu unterstützen. Das Verfahren weist die folgenden Schritte auf:
- 1) Empfangen von Signalen, die Informationen über den Blick des Fahrers, Lenkradwinkel, Fahrzeug-Geschwindigkeit, Beschleunigung, Spurwechsel und gegebenenfalls andere relevante Daten enthalten.
- 2) Berechnen von Merkmalen aus diesen Signalen, die für Änderungen der Auslastung des Fahrers sensitiv sind.
- 3) Bestimmen numerischer Maße, die über inkrementelle Zeiträume für die kognitiven und visuellen Anforderungen des Fahrers repräsentativ sind.
- 4) Kombinieren dieser numerischen Maße mit Gewichtungen, die aus dem Training von Modellen neuronaler Netze gewonnen werden, um die Auslastung des Fahrers nachzubilden.
-
Anschließend aktualisiert das Verfahren die Auslastung durch kontinuierliche Berechnung über die Zeit und sendet Signale an das Steuersystem des Fahrzeugs. Das Steuersystem regelt UI/UX-Funktionen basierend auf dem Auslastungs-Maß.
-
Das System umfasst eine Trainingsanordnung und ein primäres Fahrzeug, das durch den Fahrer betrieben werden kann, wobei das System ein Fahrer-Überwachungs-System, gegebenenfalls Sensoren, die andere relevante Signale erfassen, sowie einen Speicher, und eine Onboard-Recheneinheit zum Verarbeiten dieser Signale und zum Berechnen der Auslastung aufweist. Das System weist ferner eine Steuereinheit auf, die die berechneten Auslastungs-Maße für die Entscheidungsfindung auf Basis der Ablenkung des Fahrers empfängt.
-
Die vorliegende Erfindung stellt ein kontinuierliches Maß bereit, um Ul-Funktionen und Feedback im Fahrzeug basierend auf Echtzeit-Maßen der visuellen und kognitiven Anforderungen des Fahrers unter Verwendung von Fahrzeugsensordaten und Onboard-Prozessoren zu regeln. Die Erfindung reduziert das Erfordernis für Echtzeit-Modell-Trainings um Vorhersagen zu visuellen und kognitiven Anforderungen des Fahrers, die zusammenfassend als Auslastung bezeichnet werden, zu machen.
-
Trotz des Fortschritts beim Erfassen komplexer Gesichtsdaten betreffend Fahrer und ihr Fahrverhalten besteht ein Bedarf für die Vereinfachung der Daten und Verfahren zur Einschätzung des Fahrerverhaltens. Die Analyse von Gesichtsmerkmalen wird auch von den verfügbaren Lichtbedingungen im Fahrzeug und/oder außerhalb des Fahrzeugs beeinträchtigt. Die vorliegende Erfindung wird diesem Bedarf gerecht und verwendet den Blick anstelle vollständiger Gesichtsdaten zur Berechnung von Merkmalen, die die visuelle Auslastung des Fahrers anzeigen.
-
Die Erfindung verwendet Daten, die von Sensoren im Fahrzeug gewonnen werden, beispielsweise Lenkradwinkel, Fahrzeug-Geschwindigkeit, Beschleunigung, Spurwechsel und gegebenenfalls andere relevante Merkmale. Ausführungsbeispiel der Erfindung stellen ein Verfahren bereit, um unter Verwendung dieser fahrzeugspezifischen Daten kontinuierliche Schätzungen der Auslastung des Fahrers bereitzustellen. Im vorliegenden Kontext umfasst die Auslastung des Fahrers zusammenfassend die kognitiven, visuellen und subjektiven Anforderungen an den Fahrer.
-
Ausführungsformen der vorliegenden Erfindung stellen ein System bereit, das einen physischen und/oder softwarebasierten Simulator, eine Vielzahl an Sensoren wie sie in Fahrzeugen vorhanden sind, cloudbasierten oder hardwarebasierten Speicher und eine Recheneinheit umfasst. Die Recheneinheit ist dazu konfiguriert, verschiedene Operationen auszuführen, einschließlich dem Erfassen einer Vielzahl von Maßen von einer Vielzahl von Sensoren über eine Vielzahl von Zeitintervallen. Die Operationen umfassen ohne Einschränkung: Löschen der Daten, Verarbeiten der empfangenen Daten zu Merkmalen, Generieren von kognitiven, visuellen und subjektiven Anforderungs-Maßen und Einpassen (Fitting) einer Funktion oder eines neuronalen Netzwerk-Modells zwischen die für die Auslastungs-Metrik spezifischen Maße und die von den im Fahrzeug angeordneten Sensoren erfassten Merkmale.
-
Die Lösung des Problems umfasst, ein vortrainiertes Modell unter Verwendung von Sensoren, die im Fahrzeug angeordnet sind, zu implementieren, wobei das Modell sensitiv auf Änderungen in den visuellen und kognitiven Anforderungs-Maßen des Fahrers ist. Visuelle und kognitive Maße, die während des Vor-Trainings-Schrittes definiert werden, sind repräsentativ für die tatsächliche visuelle und kognitive Belastung, wie sie vom Fahrer während des Fahrens und während anderer Aktivitäten, die nicht mit dem Fahren zusammenhängen, erlebt werden. Die vorhergesagten Ausgaben des Modells stellen Echtzeit-Einschätzungen der visuellen und kognitiven Anforderungen eines Fahrers, zusammenfassend als Auslastung bezeichnet, als ein kontinuierliches numerisches Maß für die Steuereinheit des Fahrzeugs bereit. Die Steuereinheit kann diese Auslastungs-Informationen verwenden, um Ul-Feedback und andere Prozesse zu regeln.
-
Der Steuereinheit des Fahrzeugs stehen somit schnelle, verlässliche und kontinuierliche Echtzeit-Schätzungen der visuellen und kognitiven Anforderungen des Fahrers nur aus Signalen innerhalb des Fahrzeugs zur Verfügung.
-
Durch Regelung des UI-Feedbacks basierend auf dem Auslastungsmaß werden der Fahrerkomfort und die Sicherheit verbessert. Die Rechenzeit für die Auslastung wird durch Implementierung vortrainierter Modelle auf Onboard-Prozessoren verringert. Ferner werden Kosten für das Testen neuer Fahrzeugmerkmale reduziert, die zur Ablenkung des Fahrers führen können.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
-
Dabei zeigt:
- 1 ein schematisches Ablaufdiagramm eines Verfahrens zur Bestimmung eines Auslastungsmaßes eines Fahrers in einem Fahrzeug unter Verwendung von Informationen aus einer Trainingsstudie.
-
Die einzige 1 ist ein schematisches Ablaufdiagramm eines Verfahrens zur Bestimmung eines Auslastungsmaßes eines Fahrers in einem Fahrzeug unter Verwendung von Informationen aus einer Trainingsstudie.
-
In diesem Kontext umfasst die Auslastung des Fahrers zusammenfassend visuelle, kognitive und subjektive Anforderungen.
-
In einer Ausführungsform der vorliegenden Erfindung ist ein Trainingsschritt vorgesehen, um grundlegende präzise Informationen über die Auslastung des Fahrers bereitzustellen und eine Beziehung zwischen der Auslastung und Daten von Sensoren im Inneren eines Fahrzeugs herzustellen.
-
In 1 ist ein Trainingssystem 100 zum Erfassen von Daten zum Verhalten des Fahrers und zum Fahrverhalten des Fahrzeugs sowie ein Echtzeitsystem 150 zur Echtzeitimplementierung im Fahrzeug gezeigt. Es werden Daten benötigt, die sowohl verlässliche numerische Maße für visuellen, kognitive und subjektive Anforderungen bereitstellen als auch Fahrzeugsignale generieren. Dem Fachmann ist klar, dass die Datenerfassung entweder durch Simulationsstudien oder auf andere Weise erfolgen kann, um visuelle, kognitive und subjektive Anforderungsmaße für unterschiedliche Fahrszenarien und Tätigkeiten innerhalb des Fahrzeugs zu bestimmen. Das Trainingssystem 100 weist eine Vielzahl von Sensoren 101 auf, die Daten im Fahrzeug erfassen. Die Sensoren 101 weisen auch Komponenten auf, die Daten aufzeichnen, die spezifisch für die visuellen kognitiven und subjektiven Anforderungsmaße sind. Die Daten von diesen Sensoren 101 werden in einer ersten Speichereinheit 102 gespeichert und an einen ersten Verarbeitungsblock 103 übermittelt. Der erste Verarbeitungsblock 103 umfasst eine erste Verarbeitungseinheit 104, die die aus der ersten Speichereinheit 102 empfangenen Daten vorverarbeitet, eine zweite Verarbeitungseinheit 105, die Vorhersagemerkmale berechnet, die sensitiv für das Auslastungsmaß des Fahrers sind, eine dritte Verarbeitungseinheit 106, die Zielmaße für die visuellen, kognitiven und subjektiven Anforderungen ableitet, und eine vierte Verarbeitungseinheit 107, die ein Modell oder eine Funktion zwischen die Maße einpasst (fitting), die von der zweiten und der dritten Verarbeitungseinheiten 105 und 106 abgeleitet wurden.
-
Das Echtzeitsystem 150 weist ebenfalls Sensoren 151 auf, die im Fahrzeug angeordnet sind und die Daten zum Verhalten des Fahrers, zum Fahrverhalten des Fahrzeugs und zu anderen für das Fahren und die Umgebung relevanten Merkmalen erfassen. Die Daten werden in einer zweiten Speichereinheit 152 gespeichert und dann an einen zweiten Verarbeitungsblock 153 übermittelt. Der zweite Verarbeitungsblock 153 weist eine fünfte Verarbeitungseinheit 154 auf, die die aus der zweiten Speichereinheit 152 empfangenen Daten vorverarbeitet, um Vorhersagemerkmale zu generieren. Die Vorhersagemerkmale werden dann an eine sechste Verarbeitungseinheit 155 übermittelt, wo das Modell und/oder die Funktion aus der vierten Verarbeitungseinheit 107 verwendet wird, um das Auslastungsmaß des Fahrers zu schätzen. Eine siebte Verarbeitungseinheit 156 empfängt die geschätzten Maße und führt eine fein stratifizierte Einschätzung der Ablenkung des Fahrers durch. Diese Einschätzung wird an einen Steuerblock 160 weitergeleitet. Der Steuerblock 160 weist eine Empfangseinheit 161 auf, die sowohl die Information über das kontinuierliche Auslastungsmaß des Fahrers als auch die stratifizierte Einschätzung zur Ablenkung des Fahrers an eine Einheit 162 zur Durchführung weiterer Prozesse und/oder zur Entscheidungsfindung weiterleitet. Unabhängig von der durch die siebte Verarbeitungseinheit 156 getroffenen Entscheidung werden neue Signale über inkrementelle Zeitabschnitte in der zweiten Speichereinheit 152 gespeichert.
-
In Übereinstimmung mit dem schematischen Diagramm in 1 kann ein Verfahren gemäß dem folgenden Ablauf durchgeführt werden:
- Schritt 1: Erfassen eines Blicks des Fahrers mittels mindestens einer Bilderfassungseinrichtung, eines Lenkradwinkels, einer Fahrzeuggeschwindigkeit, einer Beschleunigung, von Spurwechselsignalen und gegebenenfalls anderen relevanten Signalen in periodischen Zeitinkrementen.
- Schritt 2: Vorverarbeiten der Daten zur Erzeugung von hervortretenden Eigenschaften, die sensitiv für Änderungen der kognitiven und visuellen Auslastung des Fahrers sind.
- Schritt 2.1: Interpolieren der Blickdaten auf Basis von Beschränkungen der Signalfrequenz der Bilderfassungseinrichtungen und auf Basis physikalischer Beschränkungen.
- Schritt 2.2: Tiefpassfilterung zur Verringerung von Rauschen in Hochfrequenzdaten.
- Schritt 2.3: gegebenenfalls weitere Vorverarbeitungsschritte.
- Schritt 2.4: Anwendung eines Schiebefensteralgorithmus oder mindestens eines anderen geeigneten Algorithmus, um die verarbeiteten Maße über die Zeit zu aktualisieren.
- Schritt 3: Die Merkmale aus dem Schritt 2 werden kombiniert, um das Auslastungsmaß des Fahrers durch Trainieren eines neuronalen Netzwerk-Modells zu bestimmen. Beispielsweise könnten dabei Simulationsstudien folgendermaßen verwendet werden:
- Schritt 3.1: Bestimmen visueller Anforderungsmaße unter Verwendung von Surrogate Reference Tasks (SuRT).
- Schritt 3.2: Bestimmen kognitiver Anforderungsmaße unter Verwendung von N-back-Tests.
- Schritt 3.3: Bestimmen subjektiver Anforderungsmaße unter Verwendung des NASA TLX-Fragebogens.
- Schritt 3.4: Bestimmen von Reaktionszeiten unter Verwendung des Detection Response Task (DRT).
- Schritt 3.5: Bestimmen des gesamten erwarteten Auslastungsmaßes als gemittelte Anforderungsmaße, die mit der Interaktionszeit skaliert sind.
Die zum Schritt 3 beschriebene Simulationsstudie wird nur beispielhaft angegeben und soll die vorliegende Erfindung nicht einschränken. Andere Simulationsaufbauten und Simulationsverfahren, die dem Fachmann bekannt sind, können ebenfalls angewandt werden.
- Schritt 4: Bestimmen einer Funktion der im Schritt 2 abgeleiteten Maße oder Vorhersagevariablen, die eine Eins-zu-Eins-Korrespondenz zum in Schritt 3 gefundenen Auslastungsmaß oder der dort aufgefundenen Zielvariable erzeugt. Die Funktion könnte ein Regressionmodell oder ein neuronales Netz (NN) oder beides aufweisen oder irgendein anderes Modell beinhalten, das eine Anpassung (fit) zwischen den berechneten Merkmalen oder Vorhersagevariablen und den Zielvariablen oder Ausgabevariablen bereitstellt.
- Schritt 5: Trainieren und Testen des Modells und/oder der Funktion und Treffen weiterer Vorhersagen.
- Schritt 6: Abrufen des angepassten Modells aus Schritt 4 zum Schätzen der erwarteten Auslastung im Fahrzeug und in Echtzeit während einer Fahrt.
- Schritt 7: Kontinuierliche Aktualisierung der erwarteten Auslastung durch Wiederholung der Schritte 1, 2 und 6 in inkrementellen Zeitintervallen.
-
Die Sensordaten können beispielsweise eine Blickentropie, eine Lenkrad-Umkehr-Rate (steering wheel reversal rate), eine Lenkrad-Entropie, eine Quergeschwindigkeit, usw. umfassen.
-
Die Anpassung der Funktion oder des Modells auf die verarbeiteten Merkmale zur Generierung kognitiver, visueller und subjektiver Maße kann ferner umfassen: Generieren von in Fahrzeugen üblichen Sensordaten durch Simulationsstudien oder andere Methoden, Generieren visueller, kognitiver und subjektiver Anforderungsmaße in der Simulationsstudie, Finden einer Beziehung zwischen den Sensordaten des Fahrzeugs und den visuellen, kognitiven und subjektiven Anforderungsmaßen durch Trainieren eines Modells und Testen, Übertragen dieses Verhältnisses als angepasstes Modell auf Prozessoren im Fahrzeug zur Schätzung der Auslastung des Fahrers, Echtzeitvorhersage der erwarteten Auslastung des Fahrers anhand des übertragenen Modells.
-
Das Verfahren und die Vorrichtung gemäß der vorliegenden Erfindung überwindet zumindest einen Teil der Nachteile des Standes der Technik durch die Einschätzung kognitiver Anforderungen im Kontext der Detektion der Ablenkung des Fahrers. Beispielsweise können Sensordaten des Fahrzeugs verarbeitet werden, um die Auslastung des Fahrers ohne das Erfordernis eines Trainings eines Vorhersagemodells unter Verwendung von Onboard-Prozessoren vorherzusagen.
-
Dabei werden Kosten zum Testen neuer Merkmale im Fahrzeug bezüglich der Fahrerauslastung und der Ablenkung reduziert.
-
Bezugszeichenliste
-
- 100
- Trainingssystem
- 101
- Sensoren
- 102
- Speichereinheit
- 103
- Verarbeitungsblock
- 104
- Verarbeitungseinheit
- 105
- Verarbeitungseinheit
- 106
- Verarbeitungseinheit
- 107
- Verarbeitungseinheit
- 150
- Echtzeitsystem
- 151
- Sensoren
- 152
- Speichereinheit
- 153
- Verarbeitungsblock
- 154
- Verarbeitungseinheit
- 155
- Verarbeitungseinheit
- 156
- Verarbeitungseinheit
- 160
- Steuerblock
- 161
- Empfangseinheit
- 162
- Einheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
