DE112019004676T5

DE112019004676T5 - Gerät und verfahren zur überwachung des fahrzeugbetriebs

Info

Publication number: DE112019004676T5
Application number: DE112019004676.4T
Authority: DE
Inventors: Andrew Fairgrieve; Paul King; Rebecca Matthias; John SIMLETT; Nicolas Iacovou
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2018-09-19
Filing date: 2019-08-22
Publication date: 2021-06-24
Also published as: WO2020057895A1; US11738758B2; US20210354703A1; GB201815230D0; GB2577270A; GB2577270B; CN112867650A; US11420637B2; US20220396272A1

Abstract

Ausführungsformen der vorliegenden Erfindung stellen ein Steuersystem für ein Fahrzeug bereit, wobei das Fahrzeug (800) in einem zumindest teilweise autonomen Modus und einem manuellen Modus betrieben werden kann, wobei das Steuersystem Eingabemittel (291, 292) zum Empfangen eines Blicksignals (211), das eine Blickrichtung eines Insassen des Fahrzeugs (800) angibt, und eines Kontaktsignals (212), das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs angibt, Steuermittel (250, 260, 270, 280, 290), die konfiguriert sind, um die Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal (211) zu bestimmen und um zu bestimmen, wann der Insasse zumindest teilweise relativ zu der zumindest einen Abbildungseinrichtung (150, 220) verdeckt ist, wobei die Steuereinrichtung (250, 260, 270, 280, 290) konfiguriert ist, um die Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Kontaktsignal zu bestimmen, wenn bestimmt wird, dass der Insasse zumindest teilweise verdeckt ist.

Description

TECHNIKBEREICH
Die vorliegende Offenbarung bezieht sich auf eine Überwachung des Fahrzeugbetriebs und insbesondere, aber nicht ausschließlich, auf die Feststellung, ob der Fahrzeugbetrieb von einem Insassen des Fahrzeugs überwacht wird. Aspekte der Erfindung beziehen sich auf ein Steuerungssystem für ein Fahrzeug, auf ein Verfahren, auf ein System, auf ein Fahrzeug und auf Computersoftware.
HINTERGRUND
Fahrzeuge enthalten zunehmend autonome Betriebsmodi, bei denen ein oder mehrere Aspekte der Fahrzeugsteuerung autonom gehandhabt werden. Bei einigen Stufen der Fahrzeugautomatisierung muss ein Fahrer des Fahrzeugs während des Betriebs im autonomen Modus immer noch aufmerksam auf eine Fahraufgabe des Fahrzeugs achten. Ein Beispiel für einen Automatisierungsgrad ist der von SAE International definierte Automatisierungsgrad 2, obwohl auch andere derartige Definitionen verwendet werden können, bei denen der Fahrer während eines autonomen Betriebsmodus des Fahrzeugs auf die Fahraufgabe aufmerksam bleiben muss.
Es ist bekannt, durch Überwachung des physischen Kontakts zwischen dem Fahrer und einem Lenkrad des Fahrzeugs festzustellen, ob der Fahrer während des autonomen Betriebsmodus auf die Fahraufgabe des Fahrzeugs aufmerksam ist. Eine solche Überwachung des physischen Kontakts ist jedoch möglicherweise nicht unter allen Umständen angemessen. Wenn ein Fahrzeug beispielsweise in einer Geländeumgebung gefahren wird, kann die Geschwindigkeit des Fahrzeugs unter derjenigen liegen, bei der eine Überwachung des physischen Kontakts erforderlich ist. Darüber hinaus kann insbesondere (aber nicht ausschließlich) bei Fahrten im Gelände die Aufrechterhaltung des physischen Kontakts mit dem Lenkrad für den Fahrer aufgrund der Bewegung des Lenkrads in solchen Geländeszenarien unangenehm sein. Zum Beispiel werden im Gelände wahrscheinlich größere Lenkwinkel angetroffen, d. h. das Lenkrad erfährt größere Drehbewegungen, und die Änderungsrate des Lenkwinkels kann im Gelände auch geringer sein, was die Überwachung der Aufmerksamkeit des Fahrers auf die Fahraufgabe durch Berührung unangenehm machen kann.
Es ist ein Ziel von Ausführungsformen der Erfindung, eines oder mehrere der Probleme des Standes der Technik zumindest abzumildern.
ZUSAMMENFASSUNG DER ERFINDUNG
Aspekte und Ausführungsformen der Erfindung stellen ein Steuerungssystem für ein Fahrzeug, ein Verfahren, ein System, ein Fahrzeug und eine Computersoftware gemäß den beigefügten Ansprüchen bereit.
Gemäß einem Aspekt der Erfindung wird ein Steuersystem für ein Fahrzeug bereitgestellt, wobei das Fahrzeug in einem zumindest teilweise autonomen Modus und einem manuellen Modus betreibbar ist, wobei das Steuersystem ein oder mehrere Steuergeräte umfasst, wobei das Steuersystem so konfiguriert ist, dass es ein Blicksignal, das eine Blickrichtung eines Insassen des Fahrzeugs anzeigt, und ein Kontaktsignal, das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt, empfängt; und eine Schätzung der Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal und dem Kontaktsignal bestimmt. Die Schätzung kann selektiv in Abhängigkeit von dem Blicksignal und dem Kontaktsignal bestimmt werden. Das Blicksignal und das Kontaktsignal können in Abhängigkeit davon bestimmt werden, ob der Insasse verdeckt ist. Vorteilhafterweise ist es möglich, die Schätzung der Aufmerksamkeit des Fahrers auch bei verdecktem Insassen zu ermitteln.
Gemäß einem Aspekt der Erfindung wird ein Steuersystem für ein Fahrzeug bereitgestellt, wobei das Fahrzeug in einem zumindest teilweise autonomen Modus und einem manuellen Modus betrieben werden kann, wobei das Steuersystem eine oder mehrere Steuerungen umfasst, wobei das Steuersystem konfiguriert ist, um: Empfangen eines Blicksignals, das eine Richtung eines Blicks eines Insassen des Fahrzeugs anzeigt, wobei das Blicksignal in Abhängigkeit von Bilddaten bestimmt wird, die sich auf mindestens einen Teil des Insassen beziehen, wobei die Bilddaten von mindestens einer Abbildungseinrichtung ausgegeben werden, und eines Kontaktsignals, das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt Bestimmen einer Abschätzung der Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal und zum Bestimmen, wann der Insasse relativ zu dem zumindest einen Abbildungsmittel zumindest teilweise verdeckt ist, wobei das Steuersystem konfiguriert ist, um die Abschätzung der Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Kontaktsignal zu bestimmen, wenn bestimmt wird, dass der Insasse relativ zu dem zumindest einen Abbildungsmittel zumindest teilweise verdeckt ist; Ausgeben eines Signals zum Einleiten einer oder mehrerer Aktionen, wobei das Steuersystem so konfiguriert ist, dass es das Signal in Abhängigkeit von der Schätzung der Aufmerksamkeit des Fahrers für die Fahraufgabe und einem oder mehreren vorgegebenen Schwellenwerten ausgibt. Vorteilhafterweise wird die Abschätzung der Aufmerksamkeit des Fahrers auch dann ermittelt, wenn der Insasse verdeckt ist.
Das Steuerungssystem ist optional so konfiguriert, dass es die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Blicksignal bestimmt, das anzeigt, dass der Blick des Insassen auf einen fahrenden Bereich oder einen nicht fahrenden Bereich gerichtet ist. Vorteilhafterweise wird ermittelt, ob der Insasse auf einen Bereich schaut, der mit dem Fahren des Fahrzeugs zusammenhängt, oder auf einen nicht fahrenden Bereich, und die Schätzung wird entsprechend aktualisiert. Es kann ermittelt werden, ob der Blick des Insassen entweder auf den fahrenden Bereich oder den nicht fahrenden Bereich gerichtet ist.
Das Steuersystem, das so konfiguriert ist, dass es die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Blicksignal bestimmt, kann umfassen, dass das Steuersystem so eingerichtet ist, dass es eine Blickdauer bestimmt, das eine Zeitdauer angibt, für die der Blick des Insassen auf den Fahrbereich bzw. den Nicht-Fahrbereich gerichtet ist. Vorteilhafterweise kann die Zeitdauer, für die der Blick des Insassen auf den fahrenden Bereich und den nicht fahrenden Bereich gerichtet ist, bei der Bestimmung der Schätzung berücksichtigt werden.
Das Steuersystem ist optional so konfiguriert, dass es die Aktualisierung der Blickdauermessung aussetzt, wenn der Insasse relativ zu dem mindestens einer Abbildungseinrichtung zumindest teilweise verdeckt ist. Vorteilhafterweise wird die Blickdauermessung ausgesetzt, anstatt aktualisiert oder zurückgesetzt zu werden, wenn der Insasse verdeckt ist.
Optional ist das Steuersystem so konfiguriert, dass es das Signal ausgibt, wenn die Blickdauermessung einen vorgegebenen Schwellenwert erreicht. Vorteilhafterweise wird eine Maßnahme ergriffen, wenn die Blickdauermessung den Schwellenwert erreicht.
Das Steuerungssystem kann so konfiguriert sein, dass es die Blickdauer in einer ersten Richtung in Abhängigkeit von dem Blicksignal aktualisiert, das anzeigt, dass der Blick des Fahrers auf einen primären Fahrbereich, PDR, gerichtet ist, Aktualisieren der Blickdauerin einer zweiten Richtung mit einer ersten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen sekundären Fahrbereich, SDR, gerichtet ist, und Aktualisieren der Blickdauer in der zweiten Richtung mit einer zweiten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen Nicht-Fahrbereich, NDR, gerichtet ist. Vorteilhafterweise berücksichtigt die Blickdauermessung, wenn der Blick des Insassen auf einen Bereich gerichtet ist, der teilweise mit dem Fahren des Fahrzeugs zusammenhängt, nämlich den SDR.
Die zweite Rate kann größer sein als die erste Rate. Vorteilhafterweise berücksichtigt die zweite Rate die Teilaufmerksamkeit des Insassen für die Fahraufgabe.
Das Steuersystem, das so konfiguriert ist, dass es die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Blicksignal bestimmt, kann umfassen, dass das Steuersystem so konfiguriert ist, dass es ein Blickabstandsmaß bestimmt, das eine Fahrstrecke vor dem Fahrzeug angibt, für die der Insasse als aufmerksam erachtet wird. Vorteilhafterweise kann das Blickabstandsmaß ein langsam fahrendes Fahrzeug berücksichtigen, das eine relativ kurze Strecke in einer Zeitspanne zurücklegt.
Das Steuersystem kann so konfiguriert sein, dass es das Blickabstandsmaß aktualisiert, das anzeigt, dass der Blick des Insassen auf einen fahrenden Bereich bzw. auf den nicht fahrenden Bereich gerichtet ist. Vorteilhafterweise kann die Blickrichtung des Insassen auf den Fahrbereich und den Nicht-Fahrbereich bei der Bestimmung der Schätzung berücksichtigt werden. Die Aktualisierung kann in Abhängigkeit von einer Geschwindigkeit des Fahrzeugs durchgeführt werden. Vorteilhafterweise wird die Geschwindigkeit des Fahrzeugs in Abhängigkeit von der Fahrstrecke des Fahrzeugs berücksichtigt.
Das Steuerungssystem kann so konfiguriert sein, dass es das Blickabstandsmaß in Abhängigkeit von der Geschwindigkeit des Fahrzeugs und einem vorgegebenen Verstärkungswert aktualisiert. Vorteilhafterweise kann der Verstärkungswert verwendet werden, um die Aktualisierung in Abhängigkeit von der Geschwindigkeit des Fahrzeugs zu steuern.
Das Steuersystem ist optional konfiguriert, um das Blickabstandsmaß in einer ersten Richtung in Abhängigkeit von dem Blicksignal zu aktualisieren, das anzeigt, dass der Blick des Fahrers für eine vorbestimmte Zeitspanne auf einen primären Fahrbereich, PDR, gerichtet ist, um das Blickabstandsmaß in einer zweiten Richtung in Abhängigkeit von dem Blicksignal zu aktualisieren, das anzeigt, dass der Blick des Fahrers für eine vorbestimmte Zeitspanne entweder auf einen sekundären Fahrbereich, SDR, oder einen Nicht-Fahrbereich, NDR, gerichtet ist. Vorteilhafterweise berücksichtigt das Blickabstandsmaß, wenn der Blick des Insassen auf einen Bereich gerichtet ist, der teilweise mit dem Fahren des Fahrzeugs zusammenhängt, nämlich den SDR.
Das Steuersystem kann so konfiguriert werden, dass es das Signal in Abhängigkeit davon ausgibt, dass sowohl das Maß für die Blickdauer als auch das Maß für die Blickdistanz jeweils vorbestimmte Schwellenwerte erreichen. Durch die Berücksichtigung des Erreichens beider Messwerte kann vorteilhafterweise eine falsche oder versehentliche Ausgabe des Signals vermieden werden.
Das Bestimmen der Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Kontaktsignal umfasst optional, dass das Steuerungssystem konfiguriert ist, um einen Kontaktwert zu bestimmen, der zumindest teilweise die Schätzung der Aufmerksamkeit des Fahrers für die Fahraufgabe repräsentiert, und um den Kontaktwert in Abhängigkeit von dem Kontaktsignal zu aktualisieren. Vorteilhafterweise kann der Kontaktwert verwendet werden, um den Kontakt des Insassen mit der Steuerung des Fahrzeugs zu überwachen.
Optional ist das Steuersystem so konfiguriert, dass es das Signal in Abhängigkeit sowohl von der Blickdauermessung als auch vom Kontaktwert ausgibt. Vorteilhafterweise werden die Blickdauer des Insassen und der Kontakt mit der Steuerung des Fahrzeugs verwendet, um zu bestimmen, wann das Signal ausgegeben werden soll.
Das Steuerungssystem ist optional so eingerichtet, dass es die Schätzung der Aufmerksamkeit des Fahrers für die Fahraufgabe in periodischen Abständen aktualisiert. Vorteilhafterweise wird die Schätzung periodisch ermittelt.
Das Steuersystem kann so konfiguriert sein, dass es ein Aussetzungssignal ausgibt, um eine zumindest teilweise Aussetzung des Betriebs des Fahrzeugs im autonomen Modus in Abhängigkeit von der Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe und dem einen oder den mehreren vorgegebenen Schwellenwerten einzuleiten. Vorteilhafterweise kann die Aussetzung des autonomen Betriebs in Abhängigkeit von der Schätzung eingeleitet werden.
Optional ist das Steuersystem so konfiguriert, dass es ein Wiederaufnahmesignal ausgibt, um den Betrieb des Fahrzeugs im autonomen Modus in Abhängigkeit von dem Kontaktsignal wieder aufzunehmen, das einen physischen Kontakt zwischen dem Fahrer und der Steuerung des Fahrzeugs anzeigt. Vorteilhafterweise kann der autonome Betrieb des Fahrzeugs in Abhängigkeit von der Schätzung wieder aufgenommen werden.
Die zumindest teilweise Aussetzung des Betriebs des Fahrzeugs im autonomen Modus kann umfassen, dass das Steuersystem so angeordnet ist, dass es die Unterstützung bei der Steuerung der seitlichen Bewegung des Fahrzeugs reduziert. Vorteilhafterweise kann die Aufhängung die autonome Lenkeingabe an das Fahrzeug reduzieren.
Die zumindest teilweise Aussetzung des Betriebs des Fahrzeugs im autonomen Modus umfasst, dass das Steuersystem so angeordnet ist, dass es eine Unterstützung bei der Steuerung der Längsbewegung des Fahrzeugs aufrechterhält. Vorteilhafterweise kann die Steuerung des Fahrzeugs in Längsrichtung aufrechterhalten werden, was insbesondere unter bestimmten Umständen, wie z. B. bei Steigungen oder Gefällen, von Vorteil ist.
Das Steuersystem ist optional konfiguriert, um den Kontaktwert in einer ersten Richtung in Abhängigkeit von dem Kontaktsignal zu aktualisieren, das einen physischen Kontakt zwischen dem Fahrer und der Steuerung des Fahrzeugs anzeigt, und um den Kontaktwert in einer zweiten Richtung in Abhängigkeit von dem Kontaktsignal zu aktualisieren, das ein Fehlen eines physischen Kontakts zwischen dem Fahrer und der Steuerung des Fahrzeugs anzeigt. Vorteilhafterweise wird der Kontaktwert in einer Richtung aktualisiert, die vom Vorhandensein des Kontakts abhängig ist.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren für ein Fahrzeug bereitgestellt, das in einem zumindest teilweise autonomen Modus und einem manuellen Modus betrieben werden kann, wobei das Verfahren umfasst: Empfangen eines Blicksignals, das eine Blickrichtung eines Insassen eines Fahrzeugs anzeigt, wobei das Blicksignal in Abhängigkeit von Bilddaten bestimmt wird, die sich auf mindestens einen Teil des Insassen beziehen, wobei die Bilddaten von mindestens einer Abbildungseinrichtung ausgegeben werden, Empfangen eines Kontaktsignals, das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt, Bestimmen einer Schätzung der Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal, Bestimmen, wann der Insasse zumindest teilweise relativ zu dem zumindest einen Abbildungsmittel verdeckt ist, und, wenn dies bestimmt wird, Bestimmen der Schätzung der Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Kontaktsignal, Einleiten einer oder mehrerer Aktionen in Abhängigkeit von der Schätzung der Aufmerksamkeit des Insassen auf die Fahraufgabe und einem oder mehreren vorbestimmten Schwellenwerten.
Das Bestimmen der Schätzung der Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Blicksignal kann das Bestimmen einer Blickdauer umfassen, das eine Zeitdauer angibt, für die der Blick des Insassen auf einen fahrenden Bereich bzw. einen nicht fahrenden Bereich gerichtet ist.
Optional umfasst das Verfahren das Aktualisieren der Blickdauer in einer ersten Richtung in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen primären Fahrbereich, PDR, gerichtet ist, Aktualisieren der Blickdauerin einer zweiten Richtung mit einer ersten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen sekundären Fahrbereich, SDR, gerichtet ist, und Aktualisieren der Blickdauer in der zweiten Richtung mit einer zweiten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen Nicht-Fahrbereich, NDR, gerichtet ist.
Gemäß einem Aspekt der Erfindung wird ein Steuersystem für ein Fahrzeug bereitgestellt, wobei das Fahrzeug in einem zumindest teilweise autonomen Modus und einem manuellen Modus betreibbar ist, wobei das Steuersystem ein oder mehrere Steuergeräte umfasst, wobei das Steuersystem konfiguriert ist, um: Empfangen eines Blicksignals, das eine Richtung eines Blicks eines Insassen eines Fahrzeugs anzeigt, wobei das Blicksignal anzeigt, dass der Blick eines Insassen auf einen primären Fahrbereich, PDR, einen sekundären Fahrbereich, SDR, oder einen Nicht-Fahrbereich, NDR, gerichtet ist Bestimmen eines Aufmerksamkeitswerts, der eine Schätzung der Aufmerksamkeit des Insassen auf eine Fahraufgabe anzeigt, wobei der Aufmerksamkeitswert sich in einer ersten Richtung in Abhängigkeit von dem Blicksignal ändert, das anzeigt, dass der Blick des Insassen auf den PDR gerichtet ist, wobei der Aufmerksamkeitswert in einer zweiten Richtung mit einer ersten Rate in Abhängigkeit von dem Blicksignal geändert wird, das anzeigt, dass der Blick des Insassen auf den SDR gerichtet ist, und der Aufmerksamkeitswert in der zweiten Richtung mit einer zweiten Rate in Abhängigkeit von dem Blicksignal geändert wird, das anzeigt, dass der Blick des Insassen auf den NDR gerichtet ist; und Ausgeben eines Signals, um zu veranlassen, dass eine oder mehrere Aktionen in Abhängigkeit davon ausgeführt werden, dass der Aufmerksamkeitswert gleich einem vorbestimmten Schwellenwert ist oder diesen überschreitet. Vorteilhafterweise berücksichtigt der Aufmerksamkeitswert, wenn der Blick des Insassen auf einen Bereich gerichtet ist, der teilweise mit dem Fahren des Fahrzeugs zusammenhängt, nämlich den SDR.
Das Steuersystem ist optional so eingerichtet, dass es den Aufmerksamkeitswert für jede von mehreren Zeitperioden in Abhängigkeit von der Blickrichtung des Fahrers für die jeweilige Zeitperiode bestimmt. Die zweite Rate kann größer sein als die erste Rate.
In Ausführungsformen eines Steuersystems gemäß einem der vorhergehenden Aspekte können die eine oder die mehreren Steuerungen gemeinsam Folgendes umfassen:

mindestens einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen des Blicksignals und/oder des Kontaktsignals; und mindestens eine elektronische Speichervorrichtung, die operativ mit dem mindestens einen elektronischen Prozessor gekoppelt ist und in der Befehle gespeichert sind; und wobei der mindestens eine elektronische Prozessor so konfiguriert ist, dass er auf die mindestens eine Speichervorrichtung zugreift und die Befehle darauf ausführt, um den mindestens einen elektronischen Prozessor zu veranlassen:
- die Schätzung der Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal zu bestimmen und das Signal zum Auslösen der einen oder mehreren Aktionen auszugeben; oder
- einen Aufmerksamkeitswert zu bestimmen, der eine Schätzung der Aufmerksamkeit des Insassen für eine Fahraufgabe anzeigt, und das Signal auszugeben, um die Durchführung der einen oder mehreren Aktionen in Abhängigkeit davon zu veranlassen, dass der Aufmerksamkeitswert gleich einem vorbestimmten Schwellenwert ist oder diesen überschreitet.

Gemäß einem weiteren Aspekt der Erfindung wird ein System bereitgestellt, das ein Steuersystem, wie oben beschrieben, und mindestens eine Abbildungseinrichtung zur Bereitstellung von Bilddaten in Bezug auf mindestens einen Teil eines Insassen eines Fahrzeugs umfasst.
Das System kann Kontaktmittel zur Ausgabe eines Kontaktsignals umfassen, das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt.
Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug vorgesehen, das ein Steuerungssystem wie oben beschrieben oder das System wie oben beschrieben umfasst.
Gemäß einem weiteren Aspekt der Erfindung wird eine Computersoftware bereitgestellt, die, wenn sie ausgeführt wird, eingerichtet ist, um ein Verfahren wie oben beschrieben durchzuführen. Die Computersoftware kann auf einem computerlesbaren Medium gespeichert sein. Die Computersoftware kann auf dem computerlesbaren Medium greifbar gespeichert sein. Das computerlesbare Medium kann nicht-transitorisch sein.
Gemäß einem weiteren Aspekt der Erfindung wird ein nicht-transitorisches, computerlesbares Speichermedium bereitgestellt, auf dem Befehle gespeichert sind, die, wenn sie von einem oder mehreren elektronischen Prozessoren ausgeführt werden, den einen oder die mehreren elektronischen Prozessoren veranlassen, das oben beschriebene Verfahren auszuführen.
Jede hier beschriebene Steuerung oder Steuerung kann zweckmäßigerweise eine Steuereinheit oder ein Rechengerät mit einem oder mehreren elektronischen Prozessoren umfassen. Somit kann das System eine einzige Steuereinheit oder ein einziges elektronisches Steuergerät umfassen, oder alternativ können verschiedene Funktionen des Steuergeräts in verschiedenen Steuereinheiten oder Steuergeräten verkörpert oder untergebracht sein. Der hier verwendete Begriff „Steuergerät“ oder „Steuereinheit“ umfasst sowohl ein einzelnes Steuergerät oder eine einzelne Steuereinheit als auch eine Vielzahl von Steuergeräten oder Steuereinheiten, die gemeinsam arbeiten, um eine bestimmte Steuerungsfunktionalität bereitzustellen. Um ein Steuergerät zu konfigurieren, kann ein geeigneter Satz von Anweisungen bereitgestellt werden, die, wenn sie ausgeführt werden, bewirken, dass die Steuereinheit oder das Rechengerät die hier angegebenen Steuertechniken implementiert. Der Satz von Anweisungen kann in geeigneter Weise in den einen oder die mehreren elektronischen Prozessoren eingebettet sein. Alternativ kann der Satz von Anweisungen als Software bereitgestellt werden, die in einem oder mehreren mit dem Steuergerät verbundenen Speicher(n) gespeichert ist, um auf dem Rechengerät ausgeführt zu werden. Ein erstes Steuergerät kann in Software implementiert sein, die auf einem oder mehreren Prozessoren läuft. Eine oder mehrere andere Steuerungen können in Software implementiert sein, die auf einem oder mehreren Prozessoren läuft, optional auf demselben oder mehreren Prozessoren wie die erste Steuerung. Andere geeignete Anordnungen können ebenfalls verwendet werden.
Im Rahmen dieser Anmeldung ist ausdrücklich beabsichtigt, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorangehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargelegt sind, und insbesondere die einzelnen Merkmale davon, unabhängig voneinander oder in beliebiger Kombination verwendet werden können. Das heißt, alle Ausführungsformen und/oder Merkmale einer Ausführungsform können in beliebiger Weise und/oder Kombination miteinander kombiniert werden, sofern diese Merkmale nicht miteinander unvereinbar sind. Der Anmelder behält sich das Recht vor, jeden ursprünglich eingereichten Anspruch zu ändern oder einen neuen Anspruch entsprechend einzureichen, einschließlich des Rechts, einen ursprünglich eingereichten Anspruch dahingehend zu ändern, dass er von einem anderen Anspruch abhängt und/oder ein Merkmal eines anderen Anspruchs einbezieht, obwohl er ursprünglich nicht in dieser Weise beansprucht wurde.
Figurenliste
Eine oder mehrere Ausführungsformen der Erfindung werden nun nur beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:

zeigt eine Darstellung einer Lenksteuerung und eines Abbildungsmittels gemäß einer Ausführungsform der Erfindung;
zeigt ein System mit einem Steuergerät gemäß einer Ausführungsform der Erfindung;
zeigt eine Innenansicht eines Fahrzeugs und Fahrbereiche gemäß einer Ausführungsform der Erfindung;
veranschaulicht einen Überwachungswert für die Blickdauer gemäß einer Ausführungsform der Erfindung;
zeigt einen Blickabstandsmonitor gemäß einer Ausführungsform der Erfindung;
In ist ein Kontaktüberwachungswert gemäß einer Ausführungsform der Erfindung dargestellt;
veranschaulicht ein Verfahren gemäß einer Ausführungsform der Erfindung;
zeigt ein Fahrzeug gemäß einer Ausführungsform der Erfindung; und
veranschaulicht ein Verfahren gemäß einer weiteren Ausführungsform der Erfindung.

DETAILLIERTE BESCHREIBUNG
1 zeigt eine Lenksteuerung 100 und eine Abbildungseinrichtung 150 eines Fahrzeugs gemäß einer Ausführungsform der Erfindung. Die Lenksteuerung 100 ist ein Lenkrad 100, das einen ringförmigen Kranz 110 und eine oder mehrere Speichen 120 umfasst, die von einer zentralen Nabe (nicht dargestellt) des Lenkrads 100, um die das Rad 100 gedreht wird, um die Lenkung des Fahrzeugs zu steuern, nach außen zum Kranz 110 strahlen. Die Abbildungseinrichtung 150 ist so angeordnet, dass sie im Gebrauch Bilddaten ausgibt, die sich auf mindestens einen Teil eines Insassen des Fahrzeugs beziehen. Der Begriff Insasse wird verwendet, um sich auf eine Person innerhalb des Fahrzeugs zu beziehen, die in einem manuellen Betriebsmodus des Fahrzeugs das Fahrzeug steuern, d.h. das Fahrzeug fahren kann. Das Fahrzeug kann auch in einer zumindest teilweise autonomen Betriebsart betrieben werden, in der die Längs- und Quersteuerung des Fahrzeugs oder beides automatisiert ist. In einem solchen autonomen Modus ist der Insasse nicht verpflichtet, das Fahrzeug manuell zu steuern. Somit kann der Insasse des Fahrzeugs ein Fahrer des Fahrzeugs im manuellen Betriebsmodus sein. Der Insasse muss im autonomen Modus auf eine Fahraufgabe des Fahrzeugs aufmerksam bleiben.
Die Abbildungseinrichtung 150 kann eine Kamera 150 oder eine andere Abbildungsvorrichtung 150 sein, die beispielsweise einen CCD-Sensor (Charge Coupled Device) oder Ähnliches umfasst. Die Kamera 150 kann vor (relativ zum Fahrzeug) einer Ebene des Lenkrads 100 angeordnet sein, d.h. so, dass das Lenkrad 100 die Kamera 150 und den Insassen einschließt. Die Kamera 150 ist so angeordnet, dass sie die Bilddaten liefert, die sich auf den Bereich des Insassen des Fahrzeugs beziehen, wobei der Bereich einen oder beide von Oberkörper und Kopf des Insassen, d.h. Kopf und Schultern des Insassen, oder nur den Kopf des Insassen umfassen kann. Es kann erwünscht sein, dass sich die Bilddaten auf ein Gesicht des Insassen beziehen, um einen Zustand des Insassen zu bestimmen. Der Zustand kann eine Blickrichtung des Insassen umfassen, wobei die Blickrichtung eine Richtung ist, in die der Insasse schaut, wie insbesondere unter Bezugnahme auf 3 erläutert wird. Die Blickrichtung kann relativ zum Fahrzeug ermittelt werden. Um solche Bilddaten zu liefern, kann die Kamera 150 innerhalb des Fahrzeugs auf einer niedrigeren Höhe als der Kopf des Insassen angeordnet sein, wobei eine solche Anordnung der Kamera 150 die Erkennung erleichtern kann, ob die Augen des Insassen geöffnet oder geschlossen sind. Der Insasse kann nach unten blicken, um z. B. einen Bereich vor dem Fahrzeug oder ein oder mehrere Instrumente des Fahrzeugs zu beobachten. Daher kann das Lenkrad 100 den Insassen relativ zur Kamera 150 während einiger Zeiträume zumindest teilweise verdecken. Wenn beispielsweise das Lenkrad 100 gedreht wird, wie durch den Pfeil 130 in 1 angedeutet, kann sich die Speiche 120 herumbewegen, um die Sicht des Insassen auf die Kamera 150 zumindest teilweise zu blockieren, wodurch der Insasse zumindest teilweise verdeckt wird. Diese Situation kann häufig auftreten, wenn sich das Fahrzeug im Gelände befindet, oder zumindest häufiger als beim Betrieb des Fahrzeugs in einer Straßenumgebung, da voraussichtlich größere Lenkwinkel erforderlich sind, um Hindernisse und dergleichen zu umfahren.
2 veranschaulicht ein System, allgemein mit 200 bezeichnet, gemäß einer Ausführungsform der Erfindung. Das System 200 umfasst ein Steuersystem 210 oder Steuergerät 210 für ein Fahrzeug gemäß einer Ausführungsform der Erfindung. Wie in 2 dargestellt, wird das Steuersystem 210 durch ein Steuergerät 210 realisiert. Es wird verstanden, dass das Steuersystem 210 durch eine Vielzahl von Steuergeräten implementiert werden kann, die als das Steuersystem 210 fungieren.
Das System 200 umfasst ferner eine Abbildungseinrichtung 220, wie die oben unter Bezugnahme auf 1 beschriebene Kamera 150, ein Kontaktbestimmungsmittel 230 zum Bestimmen des physischen Kontakts zwischen dem Insassen und einer Steuerung des Fahrzeugs und ein Benachrichtigungsmittel 240 zum Bereitstellen einer Benachrichtigung für den Insassen, wie eine oder mehrere visuelle, akustische oder haptische Benachrichtigungen, wie noch erläutert wird.
Das Steuergerät 210 umfasst ein Eingabemittel 291 zum Empfangen eines Blicksignals 211, das eine Blickrichtung eines Insassen des Fahrzeugs anzeigt. Das Steuergerät 210 umfasst ein Eingabemittel 292 zum Empfangen eines Kontaktsignals 212, das einen physischen Kontakt zwischen dem Insassen und einem Bedienelement des Fahrzeugs, wie z. B. dem Lenkrad 100, anzeigt. Die Eingabemittel 291, 292 können elektrische Eingänge für das Steuergerät 210 sein, um ein oder mehrere elektrische Signale zu empfangen, die das Blicksignal 211 und das Kontaktsignal 212 darstellen.
Die Steuerung 210 umfasst eine Ausgabeeinrichtung 293 zur Ausgabe eines Benachrichtigungssignals 213 an die Benachrichtigungseinrichtung 240. Das Benachrichtigungssignal 213 ist ein Hinweis auf eine oder mehrere visuelle, akustische oder haptische Benachrichtigungen, die von der Benachrichtigungseinrichtung 240 ausgegeben werden. Die Benachrichtigungsmittel 240 können eine oder mehrere von einer oder mehreren visuellen Ausgabevorrichtungen, z. B. zur Ausgabe eines visuellen Signals oder einer Anzeige an den Insassen, eine oder mehrere akustische Ausgabevorrichtungen zur Ausgabe eines akustischen Signals oder einer Anzeige an den Insassen und eine oder mehrere haptische Ausgabevorrichtungen zur Ausgabe einer haptischen Benachrichtigung oder Anzeige an den Insassen umfassen. Die Steuereinheit 210 steuert die Ausgabemittel 293 zur Ausgabe des Benachrichtigungssignals 213, um die Ausgabe einer entsprechenden Benachrichtigung an den Insassen zu veranlassen, wie insbesondere unter Bezugnahme auf 7 erläutert wird.
Das Steuergerät 210 kann ein Ausgabemittel 295 zur Bereitstellung eines Steuersignals 215 zur Steuerung des Betriebs des Fahrzeugs umfassen. Das Steuergerät 210 ist so eingerichtet, dass es das Ausgabemittel 291 so steuert, dass es das Steuersignal 215 ausgibt, um den Betrieb des Fahrzeugs in der manuellen oder autonomen Betriebsart auszuwählen. Zum Beispiel kann das Ausgabemittel 295 das Steuersignal 215 ausgeben, um einen Übergang vom autonomen Modus zum manuellen Betriebsmodus des Fahrzeugs zu bewirken. In einigen Ausführungsformen wird das Ausgabemittel 295 von der Steuerung gesteuert, um das Steuersignal 215 auszugeben, um eine zumindest teilweise Aussetzung des Betriebs des Fahrzeugs im autonomen Modus einzuleiten. Das Steuergerät 210 kann das Ausgabemittel 295 so steuern, dass es das Steuersignal 215 ausgibt, um eine Wiederaufnahme des Betriebs des Fahrzeugs im autonomen Modus zu bewirken, wie noch erläutert wird. Das Steuersignal 215 kann an ein autonomes Steuergerät des Fahrzeugs (in 2 nicht dargestellt) geliefert werden.
Die elektrischen Ein- und Ausgänge des Steuergeräts 210 können an/von einem Kommunikationsbus oder -netzwerk des Fahrzeugs bereitgestellt werden, wie z. B. einem CANBus oder einem anderen Kommunikationsnetzwerk, das z. B. durch ein Internetprotokoll (IP) basiertes Netzwerk wie Ethernet oder FlexRay implementiert werden kann.
Die Blickrichtung des Insassen wird in Abhängigkeit von Bilddaten bestimmt, die sich auf mindestens einen Teil des Insassen beziehen, z. B. auf den Kopf und/oder das Gesicht des Insassen. Die Blickrichtung kann von einem Blickrichtungsmodul 225 bestimmt werden, das so angeordnet ist, dass es Bilddaten von der Abbildungseinrichtung 220 empfängt, und das Blicksignal 211 wird von dem Blickrichtungsmodul 225 an die Steuerung 210 geliefert. In anderen Ausführungsformen können die Bilddaten dem Steuergerät 210 zur Verfügung gestellt und die Blickrichtung durch das Steuergerät 210 bestimmt werden, d. h. das Steuergerät kann das Blickrichtungsmodul 225 enthalten. Das Blicksignal 211 kann auch anzeigen, wenn es nicht möglich ist, die Blickrichtung des Insassen zu bestimmen, z.B. weil der Insasse relativ zur Abbildungseinrichtung 220 zumindest teilweise verdeckt ist, wobei die Verdeckung durch einen Teil des Lenkrads 100 bedingt sein kann, der die Sicht des Insassen von der Abbildungseinrichtung 220, wie z.B. der Kamera 150, blockiert.
Bezug nehmend auf ist das Blickrichtungsmodul 225 in einigen Ausführungsformen so angeordnet, dass es bestimmt, ob der Blick des Insassen auf einen primären Fahrbereich (PDR) 310 oder einen Nicht-Fahrbereich (NDR) 330 gerichtet ist. In anderen Ausführungsformen ist das Blickrichtungsmodul 225 so angeordnet, dass es feststellt, ob der Blick des Insassen auf einen der PDR 310, den NDR 330 oder einen oder mehrere sekundäre Fahrbereiche (SDRs) 320 gerichtet ist. Das Blicksignal 211 kann somit anzeigen, dass der Blick des Insassen auf den PDR, NDR oder SDR gerichtet ist.
Wie in dargestellt, ist die PDR 310 eine Blickrichtung des Insassen auf einen Bereich, über den das Fahrzeug fährt, im Allgemeinen einen Bereich vor dem Fahrzeug, der bogenförmig sein kann, um dadurch eine Lenkung des Fahrzeugs zu ermöglichen, während es sich vorwärts bewegt. Der PDR 310 kann einem Blick durch ein Frontfenster des Fahrzeugs, d.h. die Windschutzscheibe des Fahrzeugs, entsprechen.
Der SDR 320 entspricht einem oder mehreren Bereichen, die für die Steuerung des Fahrzeugs von untergeordneter Bedeutung sind. Der eine oder die mehreren Bereiche können eines oder mehrere von einem oder beiden Seitenfenstern des Fahrzeugs, d. h. vordere Türfenster, Spiegel oder Anzeigevorrichtungen, die eine Außenansicht des Fahrzeugs liefern, wie z. B. Rück- oder Seitenansichten des Fahrzeugs, ein Kombiinstrument oder eine Anzeigevorrichtung, die Steuerinformationen für das Fahrzeug liefert, wie z. B. eine Anzeige der Geschwindigkeit, ein Vorhandensein anderer Fahrzeuge, d. h. neben dem primären Fahrzeug des Insassen usw., umfassen. zeigt zwei SDRs 320, die einer Position eines Außenspiegels des Fahrzeugs und eines Kombiinstruments entsprechen, wobei es sich natürlich um Beispiele und nicht um eine Einschränkung handelt.
Die NDR 330 kann einer beliebigen Blickrichtung des Insassen entsprechen, die nicht dem PDR 310 und dem einen oder den mehreren SDRs 320 entspricht. Zum Beispiel ist die NDR 330 eine Blickrichtung in Richtung eines Infotainment- oder Navigationssystems des Fahrzeugs, ein Innenbereich des Fahrzeugs, der nicht dem SDR 320 entspricht.
Zurück zu : Das Kontaktsignal 212 ist ein Indikator für den physischen Kontakt zwischen dem Insassen und der Steuerung des Fahrzeugs, z. B. dem Lenkrad 100. Das Kontaktsignal 212 zeigt an, ob der Insasse das Lenkrad 100 physisch berührt oder in Kontakt mit ihm ist.
Das Steuergerät 210 umfasst ein oder beide Blickdauermodule (GDURM) 250 und ein Blickdistanzmodul (GDISM) 260. Das GDURM 250 und das GDISM 260 können parallel, d. h. gleichzeitig arbeiten, wie noch erläutert wird. Das Steuergerät 210 umfasst ein Kontaktmodul (CM) 270 und ein Aufmerksamkeitsmodul (AM) 280. Das GDURM 250, das GDISM 260, das CM 270 und das AM 280 können in Hardware oder als Softwaremodule implementiert sein, die operativ auf einem elektronischen Prozessor 290 ausgeführt werden, wie in mit gestrichelten Linien angedeutet. Computerlesbare Anweisungen zur Implementierung des GDURM 250, GDISM 260, CM 270 und AM 280 auf dem Prozessor 290 können in einem Speicher 296 gespeichert sein, auf den der Prozessor 290 zugreifen kann.
Der AM 280 ist so konfiguriert, dass er eine Schätzung der Aufmerksamkeit des Insassen für eine Fahraufgabe bestimmt, wenn das Fahrzeug im autonomen Modus betrieben wird. Die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe ist ein Maß dafür, wie viel Aufmerksamkeit der Insasse für die Fahraufgabe aufbringt, während das Fahrzeug im autonomen Modus betrieben wird. Wie noch erläutert wird, wird die Schätzung in Abhängigkeit von einer Ausgabe 255, 265, 275 von einem oder mehreren der GDURM 250, GDIS 260 und CM 270 bestimmt. Der AM 280 ist so angeordnet, dass er das Blicksignal 211 empfängt und bestimmt, wann der Insasse relativ zur Kamera 220, 150 zumindest teilweise verdeckt ist. Die Bestimmung kann in Abhängigkeit von dem Blicksignal 211 erfolgen, das anzeigt, dass der Insasse zumindest teilweise verdeckt ist, so dass seine Blickrichtung nicht bestimmt werden kann, oder dadurch, dass das AM 280 bestimmt, dass der Insasse zumindest teilweise verdeckt ist, in Abhängigkeit von den Bilddaten, die von der Abbildungseinrichtung 220 wie der Kamera 150 bereitgestellt werden. Beispielsweise kann das Blickerkennungsmodul 225 feststellen, dass eine Form, die z.B. dem Kopf oder dem Gesicht des Insassen entspricht, aus den Bilddaten nicht erkannt werden kann und dass der Insasse daher verdeckt ist, und das Blicksignal 211 dem AM 280 einen Hinweis darauf geben. In einigen Ausführungsformen kann entweder das Blickerkennungsmodul 225 oder das AM 280 daraus schließen, dass der Insasse verdeckt ist. Eine solche Schlussfolgerung kann in Abhängigkeit von Daten gemacht werden, die einen Lenkwinkel des Fahrzeugs anzeigen, so dass ein Arm 120 des Lenkrads 100 wahrscheinlich die Sicht des Insassen verdeckt.
Wenn der Insasse nicht verdeckt ist, d.h. dass die Blickrichtung des Insassen bestimmt werden kann, ist der AM 280 so eingerichtet, dass er die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von einem oder beiden Ausgangssignalen des GDURM 250 und des GDISM 260 bestimmt. Wenn der AM 280 jedoch feststellt, dass der Insasse verdeckt ist, wird die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Kontaktsignal 212 bestimmt. Insbesondere wenn der Insasse verdeckt ist, bestimmt der AM 280 die Schätzung in Abhängigkeit von einem Ausgang 275 des CM 270.
Das GDURM 250 ist so angeordnet, dass es eine Blickdauer bestimmt, die die Zeitdauer angibt, für die der Blick des Insassen auf einen Fahrbereich bzw. einen Nicht-Fahrbereich gerichtet ist. Der fahrende Bereich kann dem PDR 310 und der nicht fahrende Bereich dem NDR 330 entsprechen, die in beispielhaft dargestellt sind. In einigen Ausführungsformen ist das GDURM 250 so angeordnet, dass es die Blickdauer bestimmt, die die jeweiligen Zeitdauern angibt, für die der Blick des Insassen auf den PDR 310, SDR 320 bzw. NDR 330 gerichtet ist. Das GDURM 250 kann ein gleitendes Fenster verwenden, so dass die Blickdauer einen Anteil der Zeit angibt, für die der Blick des Insassen auf den PDR 310, SDR 320 bzw. NDR 330 innerhalb eines Zeitraums gerichtet ist, der dem gleitenden Fenster entspricht. Das GDURM 250 ist so angeordnet, dass es dem AM 280 ein Signal 255 zur Verfügung stellt, das die Blickdauer anzeigt.
Das GDISM 260 ist so angeordnet, dass es ein Blickabstandsmaß bestimmt, das eine Fahrstrecke vor dem Fahrzeug angibt, auf die der Insasse als aufmerksam erachtet wird. Das Blickabstandsmaß kann in Abhängigkeit von einer Geschwindigkeit des Fahrzeugs bestimmt werden, wie noch erläutert wird. Das GDISM 260 ist so angeordnet, dass es dem AM 280 ein Signal 265 zur Verfügung stellt, das das Blickabstandsmaß anzeigt.
Der Betrieb des GDURM 250 gemäß einer Ausführungsform der Erfindung wird unter Bezugnahme auf 4 erläutert. In 4 ist ein Wert der Blickdauermessung 410 über die Zeit t gemäß einer Ausführungsform der Erfindung dargestellt. Ebenfalls in 4 dargestellt sind Zeitspannen 420, in denen der Blick des Insassen auf den PDR 310 gerichtet ist, eine Zeitspanne 430, in der der Blick auf einen der einen oder mehreren SDRs 320 gerichtet ist, und Zeitspannen 440 auf den NDR 330. In ist auch eine Zeitspanne 450 dargestellt, für die der Blick des Insassen von der Kamera 150, 220 behindert wird.
In wird als Beispiel angenommen, dass der Blick des Insassen auf den PDR 420 gerichtet ist und das Blickmaß einen Anfangswert hat, der der maximalen Aufmerksamkeit des Insassen entspricht, d.h. der Insasse gilt als voll aufmerksam gegenüber der Fahraufgabe des Fahrzeugs, obwohl das Fahrzeug im autonomen Modus gefahren wird. Es wird deutlich, dass diese Anfangsbedingungen nur ein Beispiel sind. In entspricht der Anfangswert einem Minimalwert der Blickdauermessung. Es wird angenommen, dass der Minimalwert Null ist, obwohl auch andere Werte verwendet werden können. In anderen Ausführungsformen kann der Wert der Blickdauermessung, der der maximalen Aufmerksamkeit des Insassen entspricht, ein Maximalwert der Blickdauermessung sein. In solchen Ausführungsformen wird in der folgenden Beschreibung der Begriff „steigend“ durch „fallend“ und der Begriff „fallend“ durch „steigend“ ersetzt.
Während des Zeitraums 420 ab t=0 wird das Maß für die Blickdauer nicht erhöht, da davon ausgegangen wird, dass der Insasse voll aufmerksam ist und die Situation des Fahrzeugs gerade beobachtet. Nach einer gewissen Zeit löst sich der Insasse von der vollständigen Beobachtung der Fahrzeugsituation, indem er seinen Blick auf den PDR 310 richtet, und richtet seinen Blick auf den NDR 330, wie im Zeitraum 440 ab t1. Der GDRUM 250 ist so angeordnet, dass er die Blickdauermessung 410 während der Periode 420 in einer entgegengesetzten Richtung aktualisiert, die in diesem Beispiel eine ansteigende Richtung ist, d. h. er erhöht den Wert der Blickdauermessung 410 für die Zeitdauer, für die der Blick des Insassen auf den NDR 330 gerichtet ist. Bei t2 stellt das GDRUM 250 fest, dass der Blick des Insassen wieder auf den PDR 310 gerichtet ist, und das GDRUM 250 ist so angeordnet, dass es die Blickdauermessung 410 in einer abnehmenden, in diesem Beispiel, Richtung aktualisiert, d.h. dass es den Wert der Blickdauermessung 410 für die Zeitdauer verringert, für die der Blick des Insassen auf den PDR 310 gerichtet ist. Es wird deutlich, dass das Maß für die Blickdauer nur solange verringert wird, bis der Minimalwert, z. B. 0, erreicht ist, der dann beibehalten wird. Das Maß für die Blickdauer 410 kann durch den GDRUM 250 um einen Einheitswert für jede vorbestimmte Zeitspanne, wie z. B. 100ms, 500ms, erhöht und verringert werden. Die Rate der Erhöhung und Verringerung kann in einigen Ausführungsformen in den jeweiligen Richtungen unterschiedlich sein. In der Zeitspanne ab t3 ist der Blick des Insassen wieder auf den NDR 330 gerichtet und das GDURM 250 erhöht erneut die Blickdauer 410. Wenn die Blickdauer einen Schwellenwert erreicht, der ein Maximalwert sein kann, den die Blickdauer 410 annehmen kann, gibt das GDURM 250 ein Blickdauersignal 255 an den AM 280 aus, das anzeigt, dass die Blickdauer den Schwellenwert erreicht hat, wie durch das Flaggensymbol 460 in 4 angezeigt.
Die Blickdauermessung 410 wird während des Zeitraums 420, der bei t4 beginnt und in dem der Blick des Insassen auf den PDR 310 gerichtet ist, verringert. Wenn die Blickdauer unter den Schwellenwert fällt, kann das Blickdauersignal 255 nicht mehr ausgegeben werden.
Während der Periode 450, die bei t5 beginnt, kann die Blickrichtung des Insassen nicht bestimmt werden, weil der Insasse zumindest teilweise von der Kamera 150, 220 verdeckt ist. Während dieses Zeitraums 450 ist das GDURM 250 so konfiguriert, dass es die Aktualisierung der Blickdauermessung 410 aussetzt, während der Insasse zumindest teilweise von der Kamera 150, 220 verdeckt ist. Das heißt, mit „aussetzen“ ist gemeint, dass der Wert der Blickdauer auf seinem Wert unmittelbar vor der Verdeckung des Insassen gehalten wird, wie es durch den horizontalen Wert der Linie angezeigt wird, die die Blickdauermessung 410 während der Periode 450 darstellt. Sobald der Insasse nicht mehr verdeckt ist, d.h. die Blickrichtung des Insassen wieder bestimmt werden kann, ist das GDURM 250 so konfiguriert, dass es die Aktualisierung der Blickdauer 410 wieder aufnimmt. Wie weiter unten erklärt wird, kann der AM 280 während der Periode 450 der Verdunkelung die Schätzung der Aufmerksamkeit des Insassen auf die Fahraufgabe mit Hilfe des CM 270 bestimmen.
In dem in gezeigten Beispiel wird in dem bei t6 beginnenden Zeitraum 430 festgestellt, dass der Blick des Insassen in einer Ausführungsform auf einen der ein oder mehreren SDRs 320 gerichtet ist. Während der Blick auf den SDR 320 gerichtet ist, wird in einigen Ausführungsformen davon ausgegangen, dass der Insasse teilweise, aber nicht vollständig, auf den Betrieb des Fahrzeugs aufmerksam ist. Daher wird in einigen Ausführungsformen ie Blickdauermessung 410 im Beispiel durch das GDURM 250 erhöht, jedoch mit einer anderen Rate als wenn der Blick des Insassen auf den NDR 330 gerichtet ist. Die unterschiedliche Rate, die dem SDR 320 entspricht, kann niedriger sein, d.h. die Blickdauermessung 410 wird erhöht, aber langsamer, als das für den NDR 330.
Wie aus dem Vorstehenden ersichtlich ist, ist das GDURM 250 in einigen Ausführungsformen so eingerichtet, dass es die Blickdauer 410 in einer ersten Richtung in Abhängigkeit von dem Blicksignal aktualisiert, das anzeigt, dass der Blick des Fahrers auf den PDR 310 gerichtet ist. Das GDURM 250 ist in einigen Ausführungsformen ferner so konfiguriert, dass es die Blickdauer in einer zweiten Richtung mit einer ersten Rate in Abhängigkeit von dem Blicksignal aktualisiert, das anzeigt, dass der Blick des Fahrers auf einen sekundären Fahrbereich, SDR 320, gerichtet ist, und dass es die Blickdauer in der zweiten Richtung mit einer zweiten Rate in Abhängigkeit von dem Blicksignal aktualisiert, das anzeigt, dass der Blick des Fahrers auf einen Nicht-Fahrbereich, NDR 330, gerichtet ist. Die zweite Rate kann größer sein als die erste Rate. Dies kann als „Leaky-bucket“ mit zwei Raten bezeichnet werden, wobei der Blick, der auf den PDR 310 gerichtet ist, das Füllen des „Leaky-bucket“ darstellt und die Blickrichtung auf den SDR und NDR das Entleeren des „Leaky-bucket“ mit einer von zwei Raten darstellt.
Die Blickdauermessung 410 kann eine Zeitspanne der Unaufmerksamkeit des Insassen gegenüber der Fahraufgabe zulassen, d. h. es kann eine vorbestimmte Zeitspanne von der vollen Aufmerksamkeit bis zur Ausgabe des Blickdauersignals 255 durch die Blickdauermessung 410 zugelassen werden. Die Zeitspanne kann einer Zeitspanne entsprechen, in der das Fahrzeug eine vorbestimmte Strecke mit einer maximalen Geschwindigkeit des Fahrzeugs im autonomen Modus zurücklegt. Die Maximalgeschwindigkeit kann 10, 20 oder 30 kmh-1 entsprechen, obwohl es verständlich ist, dass andere Maximalgeschwindigkeitswerte verwendet werden können
Das GDISM 260 ist so angeordnet, dass es das Blickabstandsmaß bestimmt, das eine Fahrstrecke vor dem Fahrzeug angibt, auf die der Insasse als aufmerksam gilt. Das GDISM 260 ist so angeordnet, dass es das Blicksignal 211 empfängt, das die Blickrichtung des Insassen anzeigt. Das GDISM 260 ist so angeordnet, dass es das Blickabstandsmaß in Abhängigkeit von der Blickrichtung des Insassen aktualisiert, um eine Fahrstrecke vor dem Fahrzeug darzustellen, bei der davon ausgegangen wird, dass der Insasse aufmerksam ist, d.h. dass er sie beachtet hat. In einigen Ausführungsformen aktualisiert das GDISM 260 das Blickabstandsmaß entsprechend einer Dauer, in der der Blick des Insassen auf den PDR 310 gerichtet ist, um eine zunehmende Entfernung vor dem Fahrzeug darzustellen, auf die der Insasse aufmerksam ist. In einigen Ausführungsformen wird das Blickabstandsmaß in Abhängigkeit von der Geschwindigkeit des Fahrzeugs verringert.
In ist ein Fahrzeug 510 in einer Ausgangslage dargestellt, während es im autonomen Modus in Richtung des Pfeils 515 fährt. Das GDISM 260 ist so angeordnet, dass es das Blicksignal 211 empfängt, das in dem beschriebenen Beispiel anzeigt, dass der Blick des Insassen auf den PDR 310 gerichtet ist. Das GDISM 260 ist so angeordnet, dass es eine Zeitdauer bestimmt, für die der Blick des Insassen auf den PDR 310 gerichtet ist, und die Dauer mit einer Blickabstandsschwellenperiode vergleicht. Der Schwellenwert für den Blickabstand kann in einigen Ausführungsformen zwischen 1 und 10 Sekunden liegen. In einigen Ausführungsformen kann die Blickabstandsschwellenperiode weniger als 5 Sekunden betragen. In einer Ausführungsform kann die Blickabstandsschwellenperiode etwa 2 Sekunden betragen. Wenn der Blick des Insassen für eine Zeitspanne auf den PDR 310 gerichtet ist, die mindestens der Blickabstandsschwellwertperiode entspricht, ist das GDISM 260 so angeordnet, dass es das Blickabstandsmaß aktualisiert, so dass es einen vorbestimmten Abstand d vor dem Fahrzeug 510 anzeigt. In einigen Ausführungsformen ist das GDISM 260 so angeordnet, dass es das Blickabstandsmaß proportional in Abhängigkeit von der Dauer des auf den PDR 310 gerichteten Blicks des Insassen aktualisiert. Das heißt, wenn der Blick des Insassen für einen Teil der Blickabstandsschwellenperiode auf den PDR 310 gerichtet ist, ist das GDSIM 260 so angeordnet, dass es das Blickabstandsmaß aktualisiert, um den gleichen Teil des Abstands d darzustellen. Daher bewirkt der Blick, der für die Hälfte der Blickabstandsschwellenperiode auf den PDR 310 gerichtet ist, dass das GDSIM 260 das Blickrichtungsmaß aktualisiert, um 0,5d darzustellen.
Wie in gezeigt, stellt die Linie 520 das Blickabstandsmaß 520 dar, das eine Ausdehnung des Abstands vor dem Fahrzeug 510 angibt, für den das GDISM 260 festgestellt hat, dass der Insasse achtsam ist. Wenn der Blick des Insassen anschließend auf den NDR 330 gerichtet ist, kann das GDISM 260 in einigen Ausführungsformen das Blickabstandsmaß nicht aktualisieren. Mit anderen Worten, das Blickabstandsmaß wird möglicherweise nicht aktualisiert oder erhöht, um einen zusätzlichen Abstand vor dem Fahrzeug 510 darzustellen. Da sich das Fahrzeug 510 im autonomen Modus weiter vorwärts bewegt, ohne dass der Blick des Insassen auf den PDR 310 gerichtet ist, erreicht das Fahrzeug 510 schließlich die Ausdehnung des Blickabstandsmaßes 520, d.h. das Fahrzeug erreicht eine Position, die der Linie 520 entspricht, wie in gezeigt. Das GDISM 260 ist so angeordnet, dass es ein Signal 265 an den AM 280 ausgibt, wenn das Fahrzeug 510 den Ort erreicht, der der Linie 520 entspricht.
In einigen Ausführungsformen ist das GDISM 260 so konfiguriert, dass es das Blickabstandsmaß 520, das eine abnehmende Entfernung vor dem Fahrzeug 510 anzeigt, in Abhängigkeit von dem Blicksignal 211 aktualisiert. Das Blickabstandsmaß 520 kann so aktualisiert werden, dass es einen abnehmenden Abstand vor dem Fahrzeug 510 anzeigt, wenn das Blicksignal 211 anzeigt, dass der Blick des Insassen auf einen der ein oder mehreren SDRs 320 oder den NDR 330 gerichtet ist. Die Aktualisierung kann in Abhängigkeit von einer Geschwindigkeit des Fahrzeugs 510 durchgeführt werden.
Das GDISM 260 kann so konfiguriert sein, dass es das Blickabstandsmaß in Abhängigkeit von der Geschwindigkeit des Fahrzeugs und einem vorgegebenen Verstärkungswert aktualisiert. Das GDISM 260 kann so eingerichtet sein, dass es das Blickabstandsmaß entsprechend aktualisiert: $GDM = - gv$
Dabei ist GDM das Blickabstandsmaß, g ein vorgegebener Verstärkungswert und v eine Geschwindigkeit des Fahrzeugs 510.
Wie oben erwähnt, können das GDURM 250 und das GDISM 260 parallel arbeiten, um gleichzeitig das Maß für die Blickdauer bzw. das Maß für den Blickabstand zu bestimmen. Eine Anzeige der Blickdauermessung und des Blickabstandsmaßes wird gleichzeitig an den AM 280 übermittelt.
Das CM 270 ist so angeordnet, dass es das Kontaktsignal 212 empfängt, das einen physischen Kontakt zwischen dem Insassen und einem Bedienelement des Fahrzeugs anzeigt. Das Kontaktsignal 212 kann anzeigen, dass der Insasse das Lenkrad 100 berührt. Das Kontaktsignal 212 wird von der Kontaktbestimmungseinrichtung 230 ausgegeben, die eine Kontakterfassungseinrichtung 230 sein kann. Der Kontakt zwischen dem Insassen und der Steuerung kann z.B. durch die Kontakterfassungseinrichtung 230 bestimmt werden, die eine kapazitive Berührungserfassungseinrichtung umfasst, oder dadurch, dass der Insasse einen Teil eines leitenden Pfades zwischen der Steuerung und einem Sitz des Fahrzeugs bildet, der von der Kontakterfassungseinrichtung 230 erfasst wird, z.B. indem die Einrichtung 230 ein über den Insassen geleitetes Signal ausgibt und empfängt. Es versteht sich, dass der physische Kontakt auch auf andere Weise ermittelt werden kann, z. B. durch Drehmomenterfassung, d. h. Erfassen eines Drehmoments, das entweder vom Insassen in das Lenkrad 100 eingeleitet wird, oder eines Drehmomentenwiderstands des Insassen gegenüber einem in das Lenkrad eingeleiteten Drehmoment, z. B. durch einen Motor, oder durch Grip-Erfassung, d. h. Erfassen eines Drucks, der durch das Aufbringen eines Griffs auf das Lenkrad verursacht wird, oder z. B. durch Druckpolster. Es wird deutlich, dass diese Liste nicht vollständig ist. Die Kontakterkennungsvorrichtung 230 gibt das Kontaktsignal 212 aus, das den Kontakt zwischen dem Insassen und dem Bedienelement, wie z. B. dem Lenkrad 100, anzeigt.
In einigen Ausführungsformen ist das CM 270 so angeordnet, dass es das Kontaktsignal 212 empfängt und ein Kontaktmaß aufrechterhält, das den Kontakt des Insassen mit der Steuerung des Fahrzeugs, wie z. B. dem Lenkrad 100, anzeigt. In einigen Ausführungsformen ist das CM 270 so konfiguriert, dass es feststellt, dass der Insasse für einen Großteil der Zeit in Kontakt mit dem Lenkrad 100 ist. Das heißt, dass der Insasse das Lenkrad 100 überwiegend berührt und nicht nur gelegentlich mit dem Lenkrad 100 in Kontakt kommt. Dies steht im Gegensatz zu einigen früheren Ansätzen zur Bestimmung, dass ein Insasse die Situation des Fahrzeugs wahrnimmt, bei denen ein periodisches Berühren eines Bedienelements ausreichend sein kann.
Das CM 270 hält in einigen Ausführungsformen das Kontaktmaß gemäß einem Leaky-Bucket-Protokoll aufrecht. 6 veranschaulicht das Kontaktmaß 610, das vom CM 270 in Abhängigkeit von dem Kontaktsignal 212 gemäß einer Ausführungsform der Erfindung aufrechterhalten wird. Im Beispiel von 6 ist das CM 270 so angeordnet, dass es das Kontaktmaß 610 in einer ersten Richtung aktualisiert, die auf einen fehlenden Kontakt zwischen dem Insassen und dem Lenkrad 100 hinweist. Die erste Richtung kann einer Erhöhung des Kontaktmaßes 610 entsprechen. Das CM 270 ist so angeordnet, dass es das Kontaktmaß in einer zweiten Richtung aktualisiert, die auf einen Kontakt zwischen dem Insassen und dem Lenkrad 100 hinweist. Die zweite Richtung kann einer Abnahme des Wertes des Kontaktmaßes 610 entsprechen.
Wie in 6 gezeigt, empfängt das CM 270 während der Periode 620 das Kontaktsignal 212, das einen fehlenden Kontakt zwischen dem Insassen und dem Lenkrad 100 anzeigt, und das CM 270 erhöht das Kontaktmaß 610 in Abhängigkeit davon mit einer ersten Rate. Während der Periode 630 empfängt das CM 270 das Kontaktsignal 212, das einen Kontakt zwischen dem Insassen und dem Lenkrad 100 anzeigt, und das CM 270 verringert das Kontaktmaß 610 in Abhängigkeit davon mit einer zweiten Rate. Die erste und die zweite Rate können in einigen Ausführungsformen gleich sein. Wenn das Kontaktmaß 610 einen vorbestimmten Schwellenwert für das Kontaktmaß erreicht, ist das CM 270 so angeordnet, dass es ein Signal 275 an den AM 280 ausgibt, das das Fehlen eines physischen Kontakts zwischen dem Insassen und dem Lenkrad 100 anzeigt.
Der AM 280 ist in einem ersten und einem zweiten Modus betriebsbereit, um die Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit davon zu bestimmen, ob der Insasse von der Abbildungseinrichtung 220 verdeckt wird. Im ersten und zweiten Modus wird eine unterschiedliche Kombination der Eingänge 255, 265, 275 verwendet, um die Aufmerksamkeit des Insassen für die Fahraufgabe zu bestimmen. Im ersten Modus, wenn der Insasse nicht verdeckt ist, ist der AM 280 so angeordnet, dass er die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von einem oder beiden der Signale 255, 265 bestimmt, die vom GDURM 250 bzw. GDISM 260 bereitgestellt werden. In einigen Ausführungsformen ist das AM 280 so konfiguriert, dass es eines oder beide der Ausgabemittel 293, 295 steuert, um das Benachrichtigungssignal 213 und das Steuersignal 215 in Abhängigkeit davon auszugeben, dass sowohl das Blickdauersignal 255, das die Blickdauermessung anzeigt, als auch das Blickabstandssignal 265, das die Blickabstandsmessung anzeigt, jeweilige vorbestimmte Schwellenwerte erreichen. Im zweiten Modus, wenn der Insasse zumindest teilweise verdeckt ist, ist AM 280 so eingerichtet, dass es die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem vom CM 270 ausgegebenen Signal bestimmt.
Wenn festgestellt wird, dass der Insasse nicht aufmerksam auf die Fahraufgabe des Fahrzeugs im autonomen Modus ist, ist in einigen Ausführungsformen, wenn sowohl das Signal 255 als auch das Signal 265 dem AM 280 zur Verfügung gestellt werden, das anzeigt, dass der Insasse nicht aufmerksam ist, das AM 280 so angeordnet, dass es in Abhängigkeit davon ein Aufmerksamkeitswarnverfahren einleitet.
Ein Aufmerksamkeitswarnverfahren 700 gemäß einer Ausführungsform der Erfindung ist in 7 dargestellt. Das Verfahren 700 kann durch das Steuergerät 210, insbesondere durch den darauf funktionsfähig abgestützten AM 280, implementiert werden. Das Verfahren 700 kann die Ausgabe des Benachrichtigungssignals 213 oder des Steuersignals 212 oder beider durch die Steuerung unter Kontrolle des AM 280 bewirken. Das Verfahren 700 kann kontinuierlich durch den AM 280 implementiert werden, während das Fahrzeug im autonomen Modus betrieben wird, d.h. das Verfahren wird gestartet, sobald das Fahrzeug im autonomen Modus betrieben wird.
Das Verfahren 700 umfasst einen Schritt 710, in dem bestimmt wird, ob eine oder mehrere vorgegebene Aufmerksamkeitswarnbedingungen (AW) erfüllt sind. Die AW-Bedingungen können eine Ausgabe 255, 265, 275 von einem oder mehreren der GDURM 250, GDIS 260 und CM 270 umfassen. Die AW-Bedingungen können beide Signale 255, 265 vom GDURM 250, GDIS 260 umfassen, die anzeigen, dass der Insasse der Fahraufgabe nicht genügend Aufmerksamkeit schenkt, wie oben beschrieben. Alternativ können die AW-Bedingungen, wenn die Kamera 150, 220 verdeckt ist, die Ausgabe 275 vom CM 270 umfassen, die anzeigt, dass der Insasse keinen ausreichenden Kontakt mit dem Lenkrad 100 gehalten hat.
Wenn in Schritt 710 festgestellt wird, dass die AW-Bedingungen vorliegen, geht das Verfahren zu den Schritten 720, 730 über, in denen dem Insassen eine Benachrichtigung über die unzureichende Aufmerksamkeit für die Fahraufgabe übermittelt wird. Die Schritte 720, 730 können je nach Ausführungsform der Erfindung variieren und umfassen eine gestaffelte Benachrichtigungsstrategie, die dem Insassen bereitgestellt wird. Mit gestaffelt ist gemeint, dass eine oder mehrere der visuellen, akustischen und haptischen Benachrichtigungen dem Insassen in einer eskalierenden Weise bereitgestellt werden. In der dargestellten Ausführungsform umfasst Schritt 720 die Bereitstellung einer visuellen Benachrichtigung für den Insassen. Die visuelle Benachrichtigung kann eine Anzeige umfassen, die von einer visuellen Anzeigevorrichtung ausgegeben wird. Die visuelle Ausgabe kann für mindestens eine vorgegebene Zeitspanne erfolgen, z. B. zwischen 2 und 20 Sekunden. In einigen Ausführungsformen wird Schritt 720 für 15 Sekunden aufrechterhalten, bevor das Verfahren zu Schritt 730 übergeht. In Schritt 730 wird eine akustische Benachrichtigung an den Insassen ausgegeben. Die akustische Benachrichtigung kann eine Anzeige umfassen, die von einem Audioausgabegerät ausgegeben wird. Schritt 720 kann in einigen Ausführungsformen weiterhin parallel zu Schritt 730 durchgeführt werden. Der Schritt 730 kann zwischen 2 und 20 Sekunden lang durchgeführt werden. In einigen Ausführungsformen wird Schritt 730 für 15 Sekunden beibehalten. In einigen Ausführungsformen werden die Schritte 720 und 730 insgesamt für mindestens 20 Sekunden ausgeführt. In einer Ausführungsform werden die Schritte 720 und 730 für 30 Sekunden durchgeführt. Wenn während eines oder beider Schritte 720, 730 festgestellt wird, dass die eine oder die mehreren AW-Bedingungen aufhören, kann das Verfahren zu Schritt 710 zurückkehren, d. h. die eine oder die mehreren visuellen, akustischen und haptischen Benachrichtigungen können in Abhängigkeit von der Beendigung der einen oder der mehreren AW-Bedingungen beendet werden. Die Schritte 720, 730 werden durchgeführt, während das Fahrzeug weiterhin im autonomen Modus betrieben wird.
Wenn die eine oder mehrere AW-Bedingungen nicht aufhören, geht das Verfahren zu Schritt 740 über, in dem der autonome Modus zumindest teilweise ausgesetzt wird. Mit zumindest teilweiser Aufhebung ist gemeint, dass die im autonomen Modus bereitgestellte Unterstützung zum Führen des Fahrzeugs reduziert wird. In Schritt 740 kann die im autonomen Modus bereitgestellte Unterstützung für das Führen des Fahrzeugs teilweise beibehalten werden. Darüber hinaus ist mit „ausgesetzt“ gemeint, dass die im autonomen Modus bereitgestellte Unterstützung als Reaktion auf den Wegfall der einen oder mehreren AW-Bedingungen wieder aufgenommen oder erhöht werden kann. Zum Beispiel kann der autonome Modus in Abhängigkeit davon wieder aufgenommen werden, dass der Insasse das Lenkrad 100 berührt oder der Blick des Insassen auf den PDR 310 gerichtet ist. Während des Schritts 740 können die Schritte 720, 730 beibehalten werden, d.h. die eine oder mehrere visuelle, akustische und haptische Benachrichtigungen können während des Schritts 740 weiterhin ausgegeben werden.
Schritt 740 kann umfassen, dass der AM 280 die Ausgabe eines Aussetzsignals 215 veranlasst, um eine zumindest teilweise Aussetzung des Betriebs des Fahrzeugs im autonomen Modus einzuleiten. In ähnlicher Weise kann die Feststellung während des Schritts 740, dass die eine oder mehrere AW-Bedingungen aufgehört haben, den AM 280 veranlassen, ein Wiederaufnahmesignal 215 auszugeben, um eine Wiederaufnahme des Betriebs des Fahrzeugs im autonomen Modus zu bewirken. Das Aussetzsignal 215 kann so eingerichtet sein, dass es die Reduzierung der Unterstützung bei der Steuerung der Querbewegung des Fahrzeugs im autonomen Modus bewirkt. Die Reduzierung der Unterstützung bei der Steuerung der seitlichen Bewegung des Fahrzeugs kann eine Reduzierung der Lenkunterstützung im autonomen Modus umfassen. In einer Ausführungsform kann die Reduzierung der Unterstützung die Beendigung der Lenkung des Fahrzeugs umfassen. In einer Ausführungsform ist das AM 280 so eingerichtet, dass es die Unterstützung bei der Steuerung der Längsbewegung des Fahrzeugs beibehält, d.h. dass es weiterhin eine Geschwindigkeit des Fahrzeugs steuert, auch wenn die Unterstützung im autonomen Modus reduziert ist. Vorteilhafterweise kann es, da sich das Fahrzeug in einer Fahrsituation befinden kann, die eine signifikante Längsneigung beinhaltet, d.h. bergauf oder bergab, unerwünscht sein, die Unterstützung bei der Steuerung der Längsbewegung des Fahrzeugs zu reduzieren, wie z.B. die Reduzierung der Bremsunterstützung oder des Drehmoments, das einem oder mehreren Rädern des Fahrzeugs während Schritt 740 zur Verfügung gestellt wird. Der Schritt 740 kann für eine vorgegebene Zeitspanne aufrechterhalten werden, z. B. bis zu 45 Sekunden. In einer Ausführungsform kann Schritt 740 für 30 Sekunden ausgeführt werden. In einer Ausführungsform kann eine Gesamtdauer der Schritte 720-740 60 Sekunden betragen.
In Schritt 750 wird ermittelt, ob die eine oder mehrere AW-Bedingungen aufgehört haben oder entfernt worden sind. Wenn nicht, geht das Verfahren zu Schritt 760. Wenn die eine oder die mehreren AW-Bedingungen aufgehört haben, kehrt das Verfahren zu Schritt 710 zurück. Es ist verständlich, dass Schritt 750 periodisch oder zu einem oder mehreren anderen Zeitpunkten während der Schritte 720-740 durchgeführt werden kann. Insbesondere wird deutlich, dass, während Schritt 750 in als auf Schritt 740 folgend dargestellt ist, ein Wiederaufnahmeschritt 750 zwischen jedem der Schritte 720, 730, 740 durchgeführt werden kann, um zu bestimmen, ob die eine oder mehreren AW-Bedingungen aufgehört haben. Der Übersichtlichkeit halber ist in jedoch nur ein Schritt 750 dargestellt.
Wenn das Verfahren Schritt 750 erreicht, kann der autonome Modus deaktiviert werden. Das Deaktivieren des autonomen Modus kann umfassen, dass das Fahrzeug zum Anhalten gebracht wird. Schritt 750 kann das Aufbringen eines Bremsmoments auf ein oder mehrere Räder des Fahrzeugs umfassen, um das Fahrzeug zum Stillstand zu bringen. In einigen Ausführungsformen kann, während das Verfahren durch die Schritte 720, 730, 740 fortschreitet, eine Verringerung der Geschwindigkeit des Fahrzeugs bei einigen oder allen Schritten 720, 730, 740 durchgeführt werden, so dass in Schritt 760 die Deaktivierung des autonomen Modus vorteilhafterweise bei einer niedrigeren Geschwindigkeit des Fahrzeugs erfolgt.
8 zeigt ein Fahrzeug 800 gemäß einer Ausführungsform der Erfindung. Das Fahrzeug 800 ist ein Fahrzeug mit Rädern. Das Fahrzeug 800 kann ein Steuerungssystem 210 wie oben beschrieben und oder ein System 200 wie beschrieben umfassen. In einigen Ausführungsformen kann das Fahrzeug 800 angeordnet sein, um ein Verfahren gemäß einer Ausführungsform der Erfindung durchzuführen, wie es in 7 oder 9 dargestellt ist.
In 9 ist ein Verfahren 900 gemäß einer weiteren Ausführungsform der Erfindung dargestellt. Bei dem Verfahren 900 kann es sich um ein Aufmerksamkeitswarnverfahren 900 gemäß einer Ausführungsform der Erfindung handeln. Das Verfahren 900 kann durch das Steuersystem 210, insbesondere durch den darauf wirkenden AM 280, implementiert werden. Das Verfahren 900 kann eine Ausgabe des Benachrichtigungssignals 213 und/oder des Steuersignals 215 durch die Steuereinrichtung 210 unter Steuerung des AM 280 bewirken. Das Verfahren 900 kann kontinuierlich durch den AM 280 implementiert werden, während das Fahrzeug in dem autonomen Modus betrieben wird, d.h. das Verfahren wird gestartet, sobald das Fahrzeug in dem autonomen Modus betrieben wird.
Das Verfahren 900 kann einen Schritt des Empfangs 910 eines Blicksignals 211 umfassen, das eine Blickrichtung eines Fahrzeuginsassen anzeigt. Das Blicksignal 211 kann in Abhängigkeit von Bilddaten bestimmt werden, die sich auf mindestens einen Teil des Insassen beziehen. Die Bilddaten werden von mindestens einer Abbildungseinrichtung 150, 220, wie einer Kamera 150, wie oben beschrieben, ausgegeben. Das Verfahren 900 umfasst das Empfangen 920 eines Kontaktsignals 212, das auf einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs hinweist.
In Schritt 930 wird ermittelt, ob der Insasse relativ zu dem mindestens einen Abbildungsmittel 150, 220 zumindest teilweise verdeckt ist. Wenn der Insasse verdeckt ist, geht das Verfahren 900 zu Schritt 950 über. Wenn der Insasse jedoch nicht verdeckt ist, geht das Verfahren zu Schritt 940 weiter.
In einem Schritt 940 wird in Abhängigkeit von dem Blicksignal 211 eine Schätzung der Aufmerksamkeit des Insassen für eine Fahraufgabe ermittelt.
In Schritt 950 wird die Schätzung der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit vom Kontaktsignal 212 ermittelt.
Schritt 960 umfasst die Bestimmung, ob es notwendig ist, eine Maßnahme in Abhängigkeit von der Einschätzung der Aufmerksamkeit des Insassen für die Fahraufgabe zu ergreifen. Die Bestimmung kann auch in Abhängigkeit von einem oder mehreren vorgegebenen Schwellenwerten erfolgen, wie oben beschrieben, z. B. in Bezug auf die 4-6. In Schritt 970 werden eine oder mehrere Aktionen in Abhängigkeit von der Einschätzung der Aufmerksamkeit des Insassen für die Fahraufgabe eingeleitet, was die Ausgabe eines oder mehrerer Signale 213, 215 von der Steuerung 210 umfassen kann.
Es wird deutlich, dass Ausführungsformen der vorliegenden Erfindung in Form von Hardware, Software oder einer Kombination aus Hardware und Software realisiert werden können. Jede derartige Software kann in Form eines flüchtigen oder nichtflüchtigen Speichers, wie z. B. einer Speichervorrichtung wie einem ROM, ob löschbar oder wiederbeschreibbar oder nicht, oder in Form eines Speichers, wie z. B. RAM, Speicherchips, Gerät oder integrierte Schaltungen oder auf einem optisch oder magnetisch lesbaren Medium, wie z. B. einer CD, DVD, Magnetplatte oder Magnetband gespeichert werden. Es wird deutlich, dass es sich bei den Speichergeräten und Speichermedien um Ausführungsformen von maschinenlesbaren Speichern handelt, die zum Speichern eines Programms oder von Programmen geeignet sind, die, wenn sie ausgeführt werden, Ausführungsformen der vorliegenden Erfindung implementieren. Dementsprechend stellen Ausführungsformen ein Programm bereit, das einen Code zum Implementieren eines Systems oder Verfahrens gemäß einem der vorhergehenden Ansprüche umfasst, sowie einen maschinenlesbaren Speicher, der ein solches Programm speichert. Noch weiter, Ausführungsformen der vorliegenden Erfindung kann elektronisch über ein beliebiges Medium wie ein Kommunikationssignal über eine drahtgebundene oder drahtlose Verbindung übertragen werden und Ausführungsformen geeignet umfassen die gleichen.
Alle in dieser Spezifikation offengelegten Merkmale (einschließlich aller begleitenden Ansprüche, der Zusammenfassung und der Zeichnungen) und/oder alle Schritte eines so offengelegten Verfahrens oder Prozesses können in jeder Kombination kombiniert werden, mit Ausnahme von Kombinationen, bei denen sich zumindest einige dieser Merkmale und/oder Schritte gegenseitig ausschließen.
Jedes in dieser Beschreibung (einschließlich der zugehörigen Ansprüche, der Zusammenfassung und der Zeichnungen) offengelegte Merkmal kann durch alternative Merkmale ersetzt werden, die dem gleichen, gleichwertigen oder ähnlichen Zweck dienen, sofern nicht ausdrücklich etwas anderes angegeben ist. Sofern nicht ausdrücklich anders angegeben, ist jedes offengelegte Merkmal daher nur ein Beispiel aus einer generischen Reihe gleichwertiger oder ähnlicher Merkmale.
Die Erfindung ist nicht auf die Details der vorgenannten Ausführungsformen beschränkt. Die Erfindung erstreckt sich auf jede neuartige Ausführungsform oder jede neuartige Kombination der in dieser Beschreibung (einschließlich der beigefügten Ansprüche, der Zusammenfassung und der Zeichnungen) offenbarten Merkmale oder auf jede neuartige Ausführungsform oder jede neuartige Kombination der Schritte eines so offenbarten Verfahrens oder Prozesses. Die Ansprüche sollten nicht so ausgelegt werden, dass sie nur die vorstehend genannten Ausführungsformen abdecken, sondern auch alle Ausführungsformen, die in den Anwendungsbereich der Ansprüche fallen.

Claims

Steuersystem für ein Fahrzeug, wobei das Fahrzeug (800) in einem zumindest teilweise autonomen Modus und einem manuellen Modus betreibbar ist, wobei das Steuersystem eine oder mehrere Steuerungen (210) umfasst, wobei das Steuersystem konfiguriert ist, um: ein Blicksignal (211) empfangen, das eine Blickrichtung eines Insassen des Fahrzeugs (800) anzeigt, wobei das Blicksignal in Abhängigkeit von Bilddaten bestimmt wird, die sich auf mindestens einen Teil des Insassen beziehen, wobei die Bilddaten von mindestens einer Abbildungseinrichtung (150, 220) ausgegeben werden, und ein Kontaktsignal (212), das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt; Bestimmen der Aufmerksamkeit des Insassen auf eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal (211) und zum Bestimmen, wann der Insasse relativ zu dem zumindest einen Abbildungsmittel (150, 220) zumindest teilweise verdeckt ist, wobei das Steuersystem konfiguriert ist, die Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Kontaktsignal zu bestimmen, wenn bestimmt wird, dass der Insasse relativ zu dem zumindest einen Abbildungsmittel zumindest teilweise verdeckt ist; und ein Signal (213, 215) zur Auslösung einer oder mehrerer Aktionen ausgeben; wobei das Steuersystem so konfiguriert ist, dass es das Signal (213, 215) in Abhängigkeit von der Bestimmung der Aufmerksamkeit des Fahrers für die Fahraufgabe und einem oder mehreren vorgegebenen Schwellenwerten ausgibt.
Steuerungssystem nach Anspruch 1, das so konfiguriert ist, dass es die Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Blicksignal (211) bestimmt, das anzeigt, dass der Blick des Insassen auf einen fahrenden Bereich (310) oder einen nicht fahrenden Bereich (330) gerichtet ist.
Steuersystem nach Anspruch 2, wobei das Steuersystem so konfiguriert ist, dass es die Aufmerksamkeit des Insassen auf die Fahraufgabe in Abhängigkeit von dem Blicksignal (211) bestimmt, wobei das Steuersystem so angeordnet ist, dass es eine Blickdauer (410) bestimmt, die eine Zeitdauer angibt, für die der Blick des Insassen auf den Fahrbereich (310) bzw. den Nicht-Fahrbereich (330) gerichtet ist.
Steuerungssystem nach Anspruch 3, das so konfiguriert ist, dass es die Blickdauer (410) in einer ersten Richtung in Abhängigkeit von dem Blicksignal aktualisiert, das anzeigt, dass der Blick des Fahrers auf einen primären Fahrbereich, PDR (310), gerichtet ist, Aktualisieren der Blickdauer (410) in einer zweiten Richtung mit einer ersten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen sekundären Fahrbereich, SDR (320), gerichtet ist, und Aktualisieren der Blickdauer (410) in der zweiten Richtung mit einer zweiten Rate in Abhängigkeit von dem Blicksignal, das anzeigt, dass der Blick des Fahrers auf einen Nicht-Fahrbereich, NDR (330), gerichtet ist.
Steuersystem nach einem der Ansprüche 2 bis 4, wobei das Steuersystem so konfiguriert ist, dass es die Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Blicksignal (211) bestimmt, wobei das Steuersystem so konfiguriert ist, dass es ein Blickabstandsmaß (520) bestimmt, das eine Fahrstrecke vor dem Fahrzeug angibt, für die der Insasse als aufmerksam gilt.
Steuerungssystem nach Anspruch 5, das so konfiguriert ist, dass es das Blickabstandsmaß (520) aktualisiert, das anzeigt, dass der Blick des Insassen auf einen fahrenden Bereich (310) bzw. den nicht fahrenden Bereich (330) gerichtet ist, wobei die Aktualisierung in Abhängigkeit von einer Geschwindigkeit des Fahrzeugs erfolgt.
Steuerungssystem nach einem der Ansprüche 5 und 6, das so konfiguriert ist, dass es das Blickabstandsmaß (520) in einer ersten Richtung in Abhängigkeit von dem Blicksignal aktualisiert, welches anzeigt, dass der Blick des Fahrers für eine vorbestimmte Zeitspanne auf einen primären Fahrbereich, PDR, gerichtet ist, um das Blickabstandsmaß (520) in einer zweiten Richtung in Abhängigkeit von dem Blicksignal (211) zu aktualisieren, welches anzeigt, dass der Blick des Fahrers für eine vorbestimmte Zeitspanne auf einen sekundären Fahrbereich, SDR, oder einen Nicht-Fahrbereich, NDR, gerichtet ist.
Steuerungssystem nach einem der vorhergehenden Ansprüche, wobei das Bestimmen der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Kontaktsignal (212) umfasst ein Steuerungssystem, so dass das Steuerungssystem konfiguriert ist, um einen Kontaktwert (610) zu bestimmen, der zumindest teilweise die Schätzung der Aufmerksamkeit des Fahrers für die Fahraufgabe repräsentiert, und um den Kontaktwert (610) in Abhängigkeit von dem Kontaktsignal (212) zu aktualisieren.
Steuerungssystem nach Anspruch 8 oder einem davon abhängigen Anspruch, das so konfiguriert ist, dass es den Kontaktwert (610) in einer ersten Richtung in Abhängigkeit von dem Kontaktsignal (212) aktualisiert, welches einen physischen Kontakt zwischen dem Fahrer und der Steuerung des Fahrzeugs anzeigt, und dass es den Kontaktwert (610) in einer zweiten Richtung in Abhängigkeit von dem Kontaktsignal (212) aktualisiert, das ein Fehlen eines physischen Kontakts zwischen dem Fahrer und der Steuerung des Fahrzeugs (800) anzeigt.
Verfahren für ein Fahrzeug (800), das in einem zumindest teilweise autonomen Modus und einem manuellen Modus betrieben werden kann, wobei das Verfahren umfasst: Empfangen (910) eines Blicksignals, das eine Blickrichtung eines Insassen eines Fahrzeugs anzeigt, wobei das Blicksignal in Abhängigkeit von Bilddaten bestimmt wird, die sich auf mindestens einen Teil des Insassen beziehen, wobei die Bilddaten von mindestens einem Abbildungsmittel (150, 200) ausgegeben werden; Empfangen (920) eines Kontaktsignals, das einen physischen Kontakt zwischen dem Insassen und einer Steuerung des Fahrzeugs anzeigt; Bestimmen (940) einer Schätzung der Aufmerksamkeit des Insassen für eine Fahraufgabe in dem zumindest teilweise autonomen Modus in Abhängigkeit von dem Blicksignal; Bestimmen (950), wann der Insasse relativ zu dem mindestens einen Abbildungsmittel (150, 220) zumindest teilweise verdeckt ist, und, wenn dies bestimmt ist, Bestimmen der Aufmerksamkeit des Insassen für die Fahraufgabe in Abhängigkeit von dem Kontaktsignal; Einleiten (960, 970) einer oder mehrerer Aktionen in Abhängigkeit von der Aufmerksamkeit des Insassen für die Fahraufgabe und einem oder mehreren vorgegebenen Schwellenwerten.
Ein System, umfassend: das Steuerungssystem (210) nach einem der Ansprüche 1 bis 9; mindestens eine Abbildungseinrichtung (150, 220) zum Bereitstellen von Bilddaten, die sich auf mindestens einen Teil eines Insassen eines Fahrzeugs (800) beziehen; und Kontaktmittel (230) zur Ausgabe eines Kontaktsignals (212), das einen physischen Kontakt zwischen dem Insassen und einer Steuerung (100) des Fahrzeugs anzeigt.
Fahrzeug (800) mit einem Steuersystem (210) nach einem der Ansprüche 1 bis 9 oder dem System nach Anspruch 11.
Computersoftware, die, wenn sie ausgeführt wird, so eingerichtet ist, dass sie ein Verfahren nach Anspruch 10 durchführt; optional ist die Computersoftware auf einem nicht-transitorischen computerlesbaren Medium gespeichert.