DE102022109372A1

DE102022109372A1 - Anwenderschnittstelle zur Zuweisung von überwachungsfreien Perioden während der automatischen Steuerung einer Vorrichtung

Info

Publication number: DE102022109372A1
Application number: DE102022109372.7A
Authority: DE
Inventors: Yael Shmueli Friedland; Omer Tsimhoni; Asaf Degani; Ronit Bustin; Claudia Goldman-Shenhar; Zahy Bnaya; Gila Kamhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-07-23
Filing date: 2022-04-15
Publication date: 2023-01-26
Also published as: CN115700203A; US20230025804A1

Abstract

Ein System zur Anwenderwechselwirkung mit einer automatisierten Vorrichtung enthält ein Steuersystem, das konfiguriert ist, die Vorrichtung in einer Betriebsart zu betreiben, die einem ersten Zustand entspricht, in dem das Steuersystem den Vorrichtungsbetrieb automatisch steuert, wobei die Betriebsart vorschreibt, dass ein Anwender den Vorrichtungsbetrieb während der automatisierten Steuerung überwacht. Das Steuersystem ist konfiguriert, einen Zeitraum für die Vorrichtung zuzuweisen, um in einen temporären Zustand überzugehen, in dem die automatische Steuerung aufrechterhalten wird und dem Anwender erlaubt ist, die Überwachung zu stoppen und eine nicht auf den Vorrichtungsbetrieb bezogene Aufgabe auszuführen. Das System enthält ein Anwenderwechselwirkungssystem, das eine visuelle Anzeige enthält, die konfiguriert ist, Trajektorieninformationen, eine Angabe bezüglich dessen, ob ein Bereich förderlich ist, die Vorrichtung in den temporären Zustand zu versetzen, und Zeitraum-Zuweisungsinformationen zu präsentieren, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung des (der) zugewiesenen Zeitraums (Zeiträume) zu managen.

Description

EINLEITUNG
Die Offenbarung des Gegenstands bezieht sich auf die Technik des automatisierten Fahrens oder des automatisierten Vorrichtungsbetriebs. Insbesondere bezieht sich die Offenbarung des Gegenstands auf ein System und ein Verfahren zum Kommunizieren und Wechselwirken mit einem Anwender oder Fahrer zum Zweck des Zuweisens von überwachungsfreien Perioden während des automatisierten Vorrichtungs- oder Fahrzeugbetriebs.
Fahrzeuge sind zunehmend mit automatisierten Fahrsystemen ausgestattet, die verschiedene Automatisierungsstufen bieten. Fahrzeuge können unter bestimmten Bedingungen eine vollautomatisierte Steuerung, eine halbautomatisierte Steuerung und eine automatisierte Steuerung spezifischer Fahrzeugfunktionen (z. B. Bremsen oder Lenken) aufweisen. Die Automatisierung in Fahrzeugen kann gemäß den Automatisierungsstufen kategorisiert werden. Die Automatisierung der Stufe 0 bezieht sich z. B. auf eine vollständig manuelle Operation (keine Automatisierung des Fahrens), während die Automatisierung de Stufe 1 eine Fahrerassistenz enthält. Die Automatisierung der Stufe 2 ermöglicht die Fahrzeugsteuerung der Lenkung und der Beschleunigung, wobei der Fahrer überwacht und jederzeit bereit ist, die Steuerung zu übernehmen. Bei der Automatisierung der Stufe 3 (bedingte Automatisierung) kann ein Fahrzeug die Umgebung überwachen und den Betrieb automatisch steuern. Der Fahrer braucht bei Stufe 3 die Umgebung nicht zu überwachen, muss aber bereit sein, die Steuerung mit Ankündigung zu übernehmen.
Die Automatisierungssysteme der Stufe 2 erfordern im Allgemeinen, dass der Fahrer aufmerksam ist (Augen auf die Straße) und jederzeit bereit ist, die manuelle Steuerung zu übernehmen, wenn das Fahrzeug automatisierte Operationen ausführt. Üblicherweise wird dem Fahrer eine kurze Zeitdauer (z. B. 3-5 Sekunden, abhängig von der Geschwindigkeit und anderen Faktoren) zugestanden, um die Augen von der Straße zu nehmen. Ein derartiger begrenzter Zeitraum schließt den Fahrer davon aus, viele nicht auf das Fahren bezogene Aufgaben auszuführen, und berücksichtigt nicht den Fahrkontext. Folglich würde es wünschenswert sein, ein System zu haben, das einem Anwender die Flexibilität bereitstellt, verschiedene nicht auf das Fahren bezogene Aufgaben auszuführen.
ZUSAMMENFASSUNG
In einer beispielhaften Ausführungsform enthält ein System zur Anwenderwechselwirkung mit einer automatisierten Vorrichtung ein Steuersystem, das konfiguriert ist, die Vorrichtung in einer Betriebsart zu steuern, wobei die Betriebsart einem ersten Zustand entspricht, in dem das Steuersystem den Vorrichtungsbetrieb automatisch steuert, und die Betriebsart vorschreibt, dass ein Anwender den Vorrichtungsbetrieb während der automatisierten Steuerung überwacht. Das Steuersystem ist konfiguriert, der Vorrichtung einen Zeitraum zuzuweisen, um in einen temporären Zustand überzugehen, in dem die automatisierte Steuerung aufrechterhalten wird und dem Anwender erlaubt ist, die Überwachung zu stoppen und eine nicht auf den Vorrichtungsbetrieb bezogene Aufgabe auszuführen. Das System enthält außerdem ein Anwenderwechselwirkungssystem, das eine visuelle Anzeige enthält, die konfiguriert ist, dem Anwender Trajektorieninformationen, eine Angabe bezüglich dessen, ob ein Bereich förderlich ist, um die Vorrichtung in den temporären Zustand zu versetzen, und Zeitraum-Zuweisungsinformationen zu präsentieren, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung eines oder mehrerer zugewiesener Zeiträume zu managen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Steuersystem konfiguriert, in Reaktion auf eine Anforderung den Zeitraum zuzuweisen, wobei der Zeitraum eine überwachungsfreie Periode mit einer Dauer basierend auf einer Zeitdauer, um die Aufgabe abzuschließen, enthält, und die Vorrichtung beim Beginn des zugewiesenen Zeitraums in den temporären Zustand zu versetzen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist die Vorrichtung ein Fahrzeug und ist die Aufgabe eine nicht auf das Fahren bezogene Aufgabe (NDRT).
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Angabe eine Darstellung eines zulässigen Bereichs, der die Trajektorie schneidet, wobei der zulässige Bereich förderlich ist, um die Vorrichtung in den temporären Zustand zu versetzen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen ersten Indikator, der konfiguriert ist, den Anwender bezüglich dessen zu informieren, ob sich die Vorrichtung innerhalb des zulässigen Bereichs befindet, und enthält das Anwenderwechselwirkungssystem einen adaptiven Zeitgeber, der konfiguriert ist, den Anwender bezüglich einer verbleibenden Zeitdauer für den Anwender, um die Aufgabe auszuführen, zu informieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen zweiten Indikator, der konfiguriert ist, eingeblendet zu werden, wenn der Blick des Anwenders auf die visuelle Anzeige gerichtet ist, und ausgeblendet zu werden, wenn der Blick des Anwenders von der visuellen Anzeige weg gerichtet ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen Richtungsanzeiger, der konfiguriert ist, eine Richtung eines detektierten Objekts oder einer detektierten Bedingung in einer Umgebung um die Vorrichtung anzugeben.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Anwenderwechselwirkungssystem eine Mobilvorrichtungsanwendung, wobei die Mobilvorrichtungsanwendung konfiguriert ist, einen zweiten Indikator in Abstimmung mit dem ersten Indikator zu präsentieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Anwenderwechselwirkungssystem konfiguriert, dem Anwender eine Warnung zu präsentieren, wenn die Vorrichtung in den temporären Zustand eintreten kann, wobei die Warnung wenigstens eine visuelle Warnung, eine akustische Warnung und eine haptische Warnung enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Anwenderwechselwirkungssystem konfiguriert, die Zuweisung des Zeitraums basierend auf einem Detektieren einer dringenden Bedingung zu verhindern, die einen Übergang vom ersten Zustand in einen manuellen Zustand rechtfertigt.
In einer beispielhaften Ausführungsform enthält ein Verfahren zum Steuern einer autonomen Vorrichtung das Betreiben der Vorrichtung in einer Betriebsart, wobei die Betriebsart einem ersten Zustand entspricht, in dem das Steuersystem den Vorrichtungsbetrieb automatisch steuert, wobei die Betriebsart vorschreibt, dass ein Anwender den Vorrichtungsbetrieb während der automatisierten Steuerung überwacht. Das Verfahren enthält außerdem das Empfangen einer Aufforderung für den Anwender, die Überwachung vorübergehend zu stoppen, um eine Aufgabe auszuführen, die nicht auf den Vorrichtungsbetrieb bezogen ist, über ein Anwenderwechselwirkungssystem, und das Zuweisen eines Zeitraums für die Vorrichtung, um in einen temporären Zustand überzugehen, in dem die automatisierte Steuerung aufrechterhalten wird und dem Anwender erlaubt ist, die Überwachung zu stoppen und eine Aufgabe auszuführen, die nicht auf den Vorrichtungsbetrieb bezogen ist, und das Präsentieren von Trajektorieninformationen, einer Angabe bezüglich dessen, ob ein Bereich förderlich ist, um die Vorrichtung in den temporären Zustand zu versetzen, und von Zeitraum-Zuweisungsinformationen über eine visuelle Anzeige des Anwenderwechselwirkungssystems dem Anwender, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung eines oder mehrerer zugewiesener Zeiträume zu managen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält der zugewiesene Zeitraum eine überwachungsfreie Periode mit einer Dauer basierend auf einer Zeitdauer, um die Aufgabe abzuschließen, wobei das Verfahren das Versetzen der Vorrichtung in den temporären Zustand bei Beginn des zugewiesenen Zeitraums umfasst.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Angabe eine Darstellung eines zulässigen Bereichs, der die Trajektorie schneidet, wobei der zulässige Bereich förderlich ist, um die Vorrichtung in den temporären Zustand zu versetzen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen ersten Indikator, der konfiguriert ist, den Anwender bezüglich dessen zu informieren, ob sich die Vorrichtung innerhalb des zulässigen Bereichs befindet, und enthält das Anwenderwechselwirkungssystem einen adaptiven Zeitgeber, der konfiguriert ist, den Anwender bezüglich einer verbleibenden Zeitdauer für den Anwender, um die Aufgabe auszuführen, zu informieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen zweiten Indikator, der konfiguriert ist, eingeblendet zu werden, wenn der Blick des Anwenders auf die visuelle Anzeige gerichtet ist, und ausgeblendet zu werden, wenn der Blick des Anwenders von der visuellen Anzeige weg gerichtet ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die visuelle Anzeige einen Richtungsanzeiger, der konfiguriert ist, eine Richtung eines detektierten Objekts oder einer detektierten Bedingung in einer Umgebung um die Vorrichtung anzugeben.
In einer beispielhaften Ausführungsform enthält ein Fahrzeugsystem einen Speicher, der computerlesbare Anweisungen aufweist, und eine Verarbeitungsvorrichtung zum Ausführen der computerlesbaren Anweisungen, wobei die computerlesbaren Anweisungen die Verarbeitungsvorrichtung steuern, um auszuführen: Betreiben des Fahrzeugs in einer Betriebsart, wobei die Betriebsart einem ersten Zustand entspricht, in dem das Steuersystem den Fahrzeugbetrieb automatisch steuert, wobei die Betriebsart vorschreibt, dass ein Anwender den Fahrzeugbetrieb während der automatisierten Steuerung überwacht, Empfangen einer Anforderung für den Anwender, die Überwachung vorübergehend zu stoppen, um eine Aufgabe auszuführen, die nicht auf den Fahrzeugbetrieb bezogen ist, über ein Anwenderwechselwirkungssystem, Zuweisen eines Zeitraums für das Fahrzeug, um in einen temporären Zustand überzugehen, in dem die automatisierte Steuerung aufrechterhalten wird und es dem Anwender erlaubt ist, die Überwachung zu stoppen und eine Aufgabe auszuführen, die nicht auf den Fahrzeugbetrieb bezogen ist, und Präsentieren von Trajektorieninformationen, einer Angabe bezüglich dessen, ob ein Bereich förderlich ist, um das Fahrzeug in den temporären Zustand zu versetzen, und von Zeitraum-Zuweisungsinformationen über eine visuelle Anzeige des Anwenderwechselwirkungssystems dem Anwender, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung eines oder mehrerer zugeteilter Zeiträume zu managen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Angabe eine Darstellung eines zulässigen Bereichs, der die Trajektorie schneidet, wobei der zulässige Bereich förderlich ist, um das Fahrzeug in den temporären Zustand zu versetzen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Anzeige einen ersten Indikator, der konfiguriert ist, den Anwender bezüglich dessen zu informieren, ob sich das Fahrzeug innerhalb des zulässigen Bereichs befindet, und enthält das Anwenderwechselwirkungssystem einen adaptiven Zeitgeber, der konfiguriert ist, den Anwender bezüglich einer verbleibende Zeitdauer für den Anwender, um die Aufgabe auszuführen, zu informieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Anzeige einen Richtungsanzeiger, der konfiguriert ist, eine Richtung eines detektierten Objekts oder einer detektierten Bedingung in einer Umgebung um das Fahrzeug anzugeben.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Offenbarung sind aus der folgenden ausführlichen Beschreibung, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet wird, leicht offensichtlich.
Figurenliste
Andere Merkmale, Vorteile und Einzelheiten erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:

1 eine Draufsicht auf ein Kraftfahrzeug, das Aspekte eines Planungs- und Zuweisungssystems gemäß einer beispielhaften Ausführungsform enthält;
2 ein Computersystem gemäß einer beispielhaften Ausführungsform;
3 eine schematische Darstellung einer Ausführungsform eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei das Steuersystem konfiguriert ist, Aspekte des Fahrzeugbetriebs auszuführen und Zeiträume für nicht auf das Fahren bezogene Aufgaben (oder Aufgaben, die nicht auf den automatisierten Vorrichtungsbetrieb bezogen sind) zuzuweisen, wobei jeder zugewiesene Zeitraum eine oder mehrere überwachungsfreie Perioden enthält;
4 eine Ausführungsform eines Zeitraums, der für die Nichtüberwachung während des automatisierten Betriebs eines Fahrzeugs zugewiesen ist, gemäß einer beispielhaften Ausführungsform;
5 einen Ablaufplan, der Aspekte eines Verfahrens zum Planen und Zuweisen von Zeiträumen, die überwachungsfreie Perioden enthalten, für automatisierte Fahrzeuge und/oder andere automatisierte Vorrichtungen gemäß einer beispielhaften Ausführungsform darstellt;
6 eine endliche Zustandsmaschine (FSM) eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei die FSM konfiguriert ist, vorgegebene Zeiträume zuzuweisen;
7 ein Beispiel eines Zeitraums, der durch das Steuersystem nach 6 zugewiesen wird;
8 eine FSM eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei die FSM konfiguriert ist, mehrere Zeiträume zuzuweisen und/oder einen vorgegebenen Zeitraum zu verlängern;
9 eine FSM eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei die FSM konfiguriert ist, einen oder mehrere Zeiträume und eine relativ kurze Überwachungsperiode zwischen überwachungsfreien Perioden und/oder im Anschluss an einen zugewiesenen Zeitraum zuzuweisen;
10 ein Beispiel eines Zeitraums, der eine zugewiesene überwachungsfreie Periode enthält, wobei die überwachungsfreie Periode durch das Steuersystem nach 9 zugewiesen wird;
11 eine FSM eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei die FSM konfiguriert ist, die Leistung einer nicht auf des Fahren bezogenen Aufgabe zu identifizieren und basierend auf den Bedingungen der Umgebung (z. B. Fahrzeug-, Straßen- und Verkehrsbedingungen) und dem Anwenderzustand zu bestimmen, ob ein Zeitraum für eine nicht auf das Fahren bezogene Aufgabe zuzuweisen ist;
12 eine Ausführungsform einer dynamischen Prioritätswarteschlange zum Planen mehrerer Zeiträume, die mehreren Aufgaben zugeordnet sind, die nicht auf das Fahren oder den automatisierten Vorrichtungsbetrieb bezogen sind, gemäß einer beispielhaften Ausführungsform;
13 eine FSM eines Steuersystems gemäß einer beispielhaften Ausführungsform, wobei die FSM konfiguriert ist, Zeiträume für verschiedene Aufgaben zuzuweisen und zu priorisieren;
14 einen Blockschaltplan, der die Wechselwirkung zwischen dem Steuersystem nach 3 und einem Anwenderwechselwirkungssystem gemäß einer beispielhaften Ausführungsform darstellt;
15 eine Anzeige des Anwenderwechselwirkungssystems gemäß einer beispielhaften Ausführungsform, die eine Straßengraphik enthält, die konfiguriert ist, eine Trajektorie eines Fahrzeugs und Merkmale einer Umgebung um das Fahrzeug darzustellen;
16 die Anzeige nach 15, wenn das Fahrzeug einen Bereich erreicht hat, der für die Zuweisung eines Zeitraums, der eine überwachungsfreie Periode enthält, förderlich ist, gemäß einer beispielhaften Ausführungsform;
17 die Anzeige nach 15, die einen Indikator enthält, der konfiguriert ist, einen Anwender bezüglich dessen zu informieren, ob der Anwender eine nicht auf das Fahren bezogene Aufgabe ausführen kann, gemäß einer beispielhaften Ausführungsform;
18 die Anzeige nach 15, die einen Richtungsanzeiger enthält, der konfiguriert ist, eine Richtung eines detektierten Objekts oder einer detektierten Bedingung anzugeben, gemäß einer beispielhaften Ausführungsform;
19 die Anzeige nach 15 während einer überwachungsfreien Periode gemäß einer beispielhaften Ausführungsform;
20 die Anzeige nach 15 während einer überwachungsfreien Periode gemäß einer beispielhaften Ausführungsform;
21 die Anzeige nach 15, die einen Indikator enthält, die einen Anwender auf eine dringende Bedingung aufmerksam macht, gemäß einer beispielhaften Ausführungsform;
22 ein Beispiel für Fahrzeugcockpitindikatoren, die mit dem Indikator nach 15 koordiniert sind, gemäß einer beispielhaften Ausführungsform; und
23 eine Mobilvorrichtung, die eine Anwendung enthält, die einen Mobilvorrichtungsindikator darstellt, der dem Indikator nach 15 entspricht, gemäß einer beispielhaften Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich beispielhafter Art und ist nicht vorgesehen, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen einzuschränken. Es sollte erkannt werden, dass überall in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Abschnitte und Merkmale angeben.
Gemäß einer oder mehreren beispielhaften Ausführungsformen werden Verfahren und Systeme zum Planen und Zuweisen überwachungsfreier Perioden für automatisierte Fahrzeuge, Systeme oder Vorrichtungen bereitgestellt. Einige Fahrzeuge können eine autonome Fähigkeit (Stufe 5) aufweisen und imstande sein, sich selbst abhängig von den Umgebungsbedingungen, den Sensorfähigkeiten und dem Zustand und der Absicht des Fahrers auf niedrigere Stufen der Automatisierung (Stufe 4, Stufe 3, Stufe 2 und/oder Stufe 1) herabzustufen. In einer Ausführungsform führen die Systeme und Verfahren das Planen und Zuweisen für ein Fahrzeug aus, wenn sich das Fahrzeug auf einer Stufe der Automatisierung befindet, die die automatisierte Steuerung des Fahrzeugs ermöglicht, während ein Anwender oder Fahrer das Fahrzeug aktiv überwacht. Ein Beispiel einer derartigen Stufe der Automatisierung ist die Automatisierung der Stufe 2, wie sie durch die Gesellschaft der Kraftfahrzeugingenieure (SAE) definiert ist.
Ein Planungs- und Zuweisungssystem ist konfiguriert, überwachungsfreie Zeiträume zu planen und zuzuweisen, die es einem Anwender ermöglichen, seine Aufmerksamkeit vorübergehend von dem automatisierten Vorrichtungsbetrieb abzulenken und die aktive Überwachung zu stoppen, um eine nicht auf den automatisierten Betrieb bezogene Aufgabe auszuführen. Der überwachungsfreie Zeitraum kann ein im Voraus gewählter Zeitraum sein, der verlängert werden kann, falls es die Bedingungen erlauben. Zwischen den überwachungsfreien Perioden kann eine kurze Überwachungsperiode vorgesehen sein (Periskopieren). Die automatisierte Vorrichtung kann ein Fahrzeug oder irgendeine andere geeignete Vorrichtung oder irgendein anderes geeignetes System sein, wie z. B. ein Luftfahrzeug, ein von Menschen überwachtes Kraftwerk, ein Produktions- oder Fertigungssystem oder -gerät, ein Gerät, das in einem medizinischen Verfahren verwendet wird, und andere. Im Kontext der Fahrzeuge werden nicht in Beziehung stehende Aufgaben als nicht auf das Fahren bezogene Aufgaben (NDRTs) bezeichnet. Im Folgenden werden nicht auf das Fahren bezogene Aufgaben als NDRTs beschrieben; es soll jedoch erkannt werden, dass die hier beschriebenen Ausführungsformen auf jeden Typ einer nicht in Beziehung stehenden Aufgabe anwendbar sind, die während des Betriebs irgendeiner geeigneten automatisierten Vorrichtung (z. B. eines Fahrzeugs der Stufe 2 und/oder 3) ausgeführt werden.
In Reaktion auf eine Anforderung (z. B. vom Anwender oder durch eine Fahrzeugverarbeitungseinheit erzeugt) für einen überwachungsfreien Zeitraum (eine „NDRT-Anforderung“) weist das System einen Zeitraum zu, der einen überwachungsfreien Zeitraum enthält, wobei es außerdem Zuteilungen (Zuweisungen) zum Übergehen zwischen Fahrzeugzuständen und Reagieren auf Umgebungsbedingungen oder Ereignisse enthalten kann. Der überwachungsfreie Zeitraum basiert auf einer geschätzten Zeitdauer, um eine NDRT (z. B. Lesen einer E-Mail, Beantworten eines Anrufs usw.) auszuführen.
Das System kann Zeiträume gemäß einem „festen“ Schema, bei dem eine definierte Zeitdauer für eine NDRT vorgesehen ist, oder gemäß einem „rollenden“ Schema, bei dem ein zugewiesener Zeitraum basierend auf den aktuellen Bedingungen weiter verlängert werden kann, zuweisen. Ein zugewiesener Zeitraum kann eine relativ kurze Überwachungsperiode zwischen überwachungsfreien Perioden oder innerhalb einer gegebenen überwachungsfreien Periode enthalten. Das Einbeziehen einer derartigen kurzen Periode wird als „Periskopieren“ bezeichnet. Eine „kurze“ Überwachungsperiode ist in einer Ausführungsform eine Dauer, die ausreichend ist, um es einem Anwender zu erlauben, die Aufmerksamkeit auf die Straße zu richten und Objekte auf der Straße zu beobachten (z. B. 3 Sekunden).
In einer Ausführungsform ist das System konfiguriert, das Planen mehrerer zugewiesener Zeiträume für mehrere diskrete NDRTs zu koordinieren. Das System enthält z. B. eine dynamische Prioritätswarteschlange oder einen anderen Mechanismus, um die NDRTs basierend auf Faktoren, wie z. B. der Dringlichkeit, Wichtigkeit und physiologischen (Komfort-) Bedürfnissen, zu planen.
In einer Ausführungsform bestimmt das System die Zeitdauer, die basierend auf der Anwenderbereitschaft und dem Umgebungskontext zugewiesen werden soll. Ein „Umgebungskontext“ enthält irgendeine Kombination von Umgebungsbedingungen und Merkmalen, die das Fahr- oder Betriebsverhalten beeinflussen können. Ein Umgebungskontext kann Merkmale der Umgebung um ein Fahrzeug oder ein anderes automatisiertes System enthalten, die die physische Umgebung und deren Merkmale und Bedingungen (z. B. andere Fahrzeuge, Fußgänger, Straßentyp, Kreuzungen, Verkehrssteuervorrichtungen, Straßenbedingungen, Tageszeit, Wetter usw.) und die Fahrzeugdynamik (z. B. stationär, bei einer gegebenen Geschwindigkeit, Bremsen, Beschleunigen, Abbiegen usw.) enthalten können. Die Anwenderbereitschaft bezieht sich auf eine Bedingung des Anwenders (z. B. abgelenkt, gestresst, Augen weg von der Straße, Übergang zur manuellen Steuerung usw.), die angibt, ob der Anwender bereit ist, eine Aufgabe auszuführen, die auf das Steuern des automatisierten Systems des Fahrzeugs bezogen ist.
Die Zuweisung eines Zeitraums kann in Reaktion auf eine Anwenderanforderung oder im Voraus gewählte Anforderungen, die vor oder während des Fahrens oder des Betriebs geplant werden, stattfinden. Die Zuweisung kann automatisch in Reaktion auf ausgewählten Kriterien (z. B. basierend auf einem Vorschlag, der dem Anwender unterbreitet wird, und der Annahme des Vorschlags durch den Anwender) stattfinden. Ein Anwender kann z. B. überwacht oder verfolgt werden, um das Bereitschaftsniveau zu bestimmen, die Steuerung des Fahrzeugs zu übernehmen oder die Überwachung zu übernehmen, und/oder um Bedingungen zu identifizieren, die einen Wunsch angeben, eine NDRT auszuführen (z. B. der Anwender erscheint müde oder hungrig, der Anwender schaut auf eine Mobilvorrichtung oder Nachrichten von einem Fahrzeug-Infotainmentsystem). Der Zuweisungsprozess kann z. B. basierend auf der Blickverfolgung durch das Fahrerüberwachungssystem (DMS) eines Fahrzeugs oder ein anderes geeignetes Verfolgungssystem aktiviert werden.
In einer Ausführungsform enthält das Fahrzeug und/oder das Planungs- und Zuweisungssystem ein Anwenderwechselwirkungssystem, das die Übergänge zwischen den Fahrzeugzuständen unterstützt (z. B. einem NDRT-Zustand, während dessen eine NDRT ausgeführt werden kann, und einem Überwachungszustand, während dessen der Anwender den automatisierten Betrieb aktiv überwacht). Das Anwenderwechselwirkungssystem ermöglicht dem Anwender außerdem, die Aspekte des Planens und der Zuweisung, wie z. B. das Eingeben von NDRT-Anforderungen, das Auswählen von NDRT-Anforderungen (z. B. aus einer dynamischen Warteschlange), das Angeben des Abschlusses von NDRTs und/oder das Aufheben oder Ablehnen der NDRT-Anforderungen zu managen.
Das Anwenderwechselwirkungssystem enthält eine visuelle Anzeige, die dem Anwender relevante Informationen, wie z. B. Angaben eines NDRT-Zustands, Angaben zu bevorstehenden oder aktuell zugewiesenen Zeiträumen und/oder Angaben zu Zeiträumen und Bereichen, die für die Zuweisung verfügbar sind (zulässige Zeiten und/oder zulässige Bereiche), anzeigt oder präsentiert. Die visuelle Anzeige kann außerdem Umgebungsinformationen (z. B. den Ort detektierter Objekte, wie z. B. anderer Fahrzeuge und Verkehrsteilnehmer) und auf das Fahren bezogene Informationen (z. B. eine Benachrichtigung über bevorstehende Manöver) darstellen. In einer Ausführungsform werden bevorstehende Zeiträume durch einen Sprachdialog angesprochen und werden die aktuellen Zeiträume visuell dargestellt.
Das Anwenderwechselwirkungssystem kann dem Anwender Informationen in einer intuitiven und subtilen Weise anzeigen, die eine übermäßige Ablenkung des Anwenders vermeidet, während sie dem Anwender Hinweise hinsichtlich bevorstehender Übergänge und zulässiger Bereiche bereitstellt. Das Anwenderwechselwirkungssystem unterstützt z. B. Übergänge über farbcodierte Indikatoren, die Fahrzeugzustände angeben und den Anwender bezüglich dessen informieren, ob der Anwender eine NDRT ausführen kann. Die Indikatoren können basierend auf der Blickrichtung des Anwenders allmählich erscheinen (eingeblendet werden) und verschwinden (ausgeblendet werden). Das Anwenderwechselwirkungssystem kann Kombinationen von Modalitäten (z. B. visuell, akustisch und/oder haptisch) bereitstellen, die den Anwender hinsichtlich Zeitzuweisungen und Fahrzeugzuständen benachrichtigen, und kann außerdem den Anwender hinsichtlich der Richtung der detektierten Objekte benachrichtigen.
Obwohl die folgende Beschreibung im Kontext eines Fahrzeugs ist, sind die hier beschriebenen Ausführungsformen nicht so eingeschränkt und können in Verbindung mit irgendwelchen verschiedenen Vorrichtungen und Systemen mit automatisiertem Verhalten (automatisierten Systemen) oder mit irgendeinem System oder Prozess, das bzw. der eine menschliche Überwachung beinhaltet (bei dem der Mensch eingreifen kann), verwirklicht sein. Die Beispiele derartiger Vorrichtungen oder Systeme enthalten z. B. ein Luftfahrzeug, Fabrik- oder Fertigungsmaschinen, Roboter, Baufahrzeuge, Smart-Home-Vorrichtungen, Vorrichtungen des Internets der Dinge und andere.
Die hier beschriebenen Ausführungsformen bieten eine Anzahl von Vorteilen. Aktuelle automatisierte Fahrzeuge weisen z. B. eine Automatisierung der Stufe 2 oder der Stufe 3 auf, die einen Mechanismus zur Rückübertragung der Steuerung zu manuell erfordern, falls ein Fahrer für mehr als ein paar Sekunden unaufmerksam ist (das Überwachen stoppt). Viele automatisierte Fahrzeuge sind z. B. der durch die Industrie automatisierter Fahrzeuge verwendeten informellen Dauer einer Faustregel unterworfen, die die Augen „3 Sekunden“ von der Straße erlaubt, wenn der Fahrer z. B. ein Radio oder eine andere Infotainmentvorrichtung bedient. Die Dauer des abgewendeten Blicks, die ohne ungünstige Wirkungen zugewiesen werden kann, kann jedoch auf vielen Faktoren, wie z. B. dem Fahrerzustand, dem Fahrzeugzustand, der Straße und dem Zustand anderer Verkehrsteilnehmer und dem Umgebungszustand, basierend variieren. Es gibt z. B. Fahrsituationen, die Perioden des abgewendeten Blicks von nicht mehr als 1 Sekunde oder sogar keiner erfordern (wie z. B. während eines Einfädel- oder Ausfahrtmanövers), wobei es aber außerdem Situationen (z. B. gerade Fernverkehrsstraße, wenige andere Verkehrsteilnehmer, schönes Wetter usw.) gibt, in denen es eine Möglichkeit gibt, die Fähigkeiten der automatisierten Steuerung zu erweitern, was ein automatisiertes Verhalten erleichtert, und dadurch die Dauer der von der Straße abgewendeten Augen auf länger als 3 Sekunden zu verlängern. Die hier beschriebenen Ausführungsformen verbessern die Fähigkeiten aktueller automatisierter Fahrzeuge durch das Bereitstellen der Zuweisung von Zeiträumen, die auf spezifische Anwender und Situationen zugeschnitten werden können, um die Bedürfnisse eines Anwenders, nicht zu fahren, zu behandeln, während die Sicherheit aufrechterhalten wird. Zusätzlich stellen die Ausführungsformen Merkmale und Fähigkeiten bereit, die die Zuweisung und Planung erleichtern, z. B. durch das Einbeziehen des Anwenders und das Unterstützen, die Zeit zu verringern, die ein Anwender benötigt, um zwischen NDRT-Zuständen und Überwachungszuständen überzugehen.
1 zeigt eine Ausführungsform eines Kraftfahrzeugs 10, das eine Fahrzeugkarosserie 12 enthält, die eine Fahrgastzelle 14 wenigstens teilweise definiert. Die Fahrzeugkarosserie 12 trägt außerdem verschiedene Fahrzeugteilsysteme, einschließlich eines Antriebsstrangsystems 16 (z. B. Verbrennung, elektrisch und anderes) und andere Teilsysteme, um die Funktionen des Kraftmaschinensystems 16 und anderer Fahrzeugkomponenten, wie z. B. eines Bremsteilsystems, eines Lenkungsteilsystems und anderer, zu unterstützen.
Das Fahrzeug enthält außerdem ein Überwachungs-, Detektions- und automatisiertes Steuersystem 18, dessen Aspekte in das Fahrzeug 10 aufgenommen oder mit dem Fahrzeug verbunden sein können. Das Steuersystem 18 in dieser Ausführungsform enthält eine oder mehrere optische Kameras 20, die konfiguriert sind, Bilder aufzunehmen, die Standbilder und/oder Videobilder sein können. Zusätzliche Vorrichtungen oder Sensoren können in dem Steuersystem 18 enthalten sein, wie z. B. eine oder mehrere Radaranordnungen 22, die in dem Fahrzeug 10 enthalten sind. Das Steuersystem 18 ist nicht so eingeschränkt und kann andere Typen von Sensoren, wie z. B. Infrarot, enthalten.
Das Fahrzeug 10 und das Steuersystem 18 enthalten ein Bordcomputersystem 30 oder sind mit einem Bordcomputersystem 30 verbunden, das eine oder mehrere Verarbeitungsvorrichtungen 32 und eine Anwenderschnittstelle 34 enthält. Die Anwenderschnittstelle 34 kann einen Berührungsschirm, ein Spracherkennungssystem und/oder verschiedene Schaltflächen enthalten, um es einem Anwender zu ermöglichen, mit den Merkmalen des Fahrzeugs in Wechselwirkung zu treten. Die Anwenderschnittstelle 24 kann konfiguriert sein, mit dem Anwender über eine visuelle Kommunikation (z. B. Text und/oder graphische Anzeigen), eine taktile Kommunikation oder Warnungen (z. B. Vibration) und/oder eine akustische Kommunikation in Wechselwirkung zu treten. Das Bordcomputersystem 30 kann außerdem Vorrichtungen zum Überwachen des Anwenders enthalten oder mit ihnen kommunizieren, wie z. B. Innenkameras und Bildanalysekomponenten. Derartige Vorrichtungen können in ein Fahrerüberwachungssystem (DMS) aufgenommen sein.
Zusätzlich zur Anwenderschnittstelle 34 kann das Fahrzeug 10 andere Typen von Anzeigen und/oder andere Vorrichtungen enthalten, die mit einem Anwender in Wechselwirkung treten und/oder ihm Informationen vermitteln können. Zusätzlich oder alternativ kann das Fahrzeug 10 z. B. einen Anzeigeschirm (z. B. einen Vollanzeigespiegel oder FDM) enthalten, der in einen Rückspiegel 36 und/oder einen oder mehrere Seitenspiegel 38 aufgenommen ist. In einer Ausführungsform enthält das Fahrzeug 10 eine oder mehrere Heads-up-Displays (HUDs). Andere Vorrichtungen, die aufgenommen sein können, enthalten Kontrollleuchten, haptische Vorrichtungen, Innenbeleuchtung, akustische Kommunikationsvorrichtungen und andere. Die haptischen Vorrichtungen (taktilen Schnittstellen) enthalten z. B. vibrierende Vorrichtungen im Lenkrad und/oder im Sitz des Fahrzeugs. Die verschiedenen Anzeigen, haptischen Vorrichtungen, Leuchten und akustischen Vorrichtungen sind konfiguriert, in verschiedenen Kombinationen verwendet zu werden, um einem Anwender (z. B. einem Fahrer, einer Bedienungsperson oder einem Insassen) Erklärungen zu präsentieren.
In einer Ausführungsform enthält das Fahrzeug 10 ein Planungs- und Zuweisungssystem, das in das Bordcomputersystem 30 aufgenommen sein kann oder mit dem Computersystem 30 in Verbindung stehen kann. Zusätzlich oder alternativ kann das Planungs- und Zuweisungssystem in eine entfernte Verarbeitungsvorrichtung, wie z. B. einen Server, einen Personalcomputer, eine Mobilvorrichtung oder einen anderen geeigneten Prozessor, aufgenommen sein.
2 veranschaulicht Aspekte einer Ausführungsform eines Computersystems 40, das mit dem Steuersystem 18 und/oder dem Erklärungssystem in Verbindung steht oder ein Teil davon ist und das verschiedene Aspekte der hier beschriebenen Ausführungsformen ausführen kann. Das Computersystem 40 enthält wenigstens eine Verarbeitungsvorrichtung 42, die im Allgemeinen einen oder mehrere Prozessoren enthält, zum Ausführen der Aspekte der hier beschriebenen Bilderfassungs- und Analyseverfahren. Die Verarbeitungsvorrichtung 42 kann in das Fahrzeug 10, z. B. als die Bordverarbeitungsvorrichtung 32, integriert sein oder kann eine vom Fahrzeug 10 getrennte Verarbeitungsvorrichtung, wie z. B. ein Server, ein Personalcomputer oder eine Mobilvorrichtung (z. B. ein Smartphone oder Tablet), sein.
Die Komponenten des Computersystems 40 enthalten die Verarbeitungsvorrichtung 42 (wie z. B. einen oder mehrere Prozessoren oder Verarbeitungseinheiten), einen Systemspeicher 44 und einen Bus 46, der verschiedene Systemkomponenten einschließlich des Systemspeichers 44 an die Verarbeitungsvorrichtung 42 koppelt. Der Systemspeicher 44 kann verschiedene für Computersysteme lesbaren Medien enthalten. Derartige Medien können alle verfügbaren Medien sein, die durch die Verarbeitungsvorrichtung 42 zugänglich sind, und enthalten sowohl flüchtige und nicht flüchtige Medien als auch abnehmbare und nicht abnehmbare Medien.
Der Systemspeicher 44 enthält z. B. einen nichtflüchtigen Speicher 48, wie z. B. eine Festplatte, und kann außerdem einen flüchtigen Speicher 50, wie z. B. einen Schreib-Lese-Speicher (RAM) und/oder einen Cache-Speicher, enthalten. Das Computersystem 40 kann ferner andere abnehmbare/nicht abnehmbare, flüchtige/nicht flüchtige Computersystem-Speichermedien enthalten.
Der Systemspeicher 44 kann wenigstens ein Programmprodukt mit einem Satz (z. B. wenigstens einem) von Programmmodulen enthalten, die konfiguriert sind, die Funktionen der hier beschriebenen Ausführungsformen auszuführen. Der Systemspeicher 44 speichert z. B. verschiedene Programmmodule, die im Allgemeinen die Funktionen und/oder Methodologien der hier beschriebenen Ausführungsformen ausführen. Ein Modul oder Module 52 können enthalten sein, um Funktionen bezüglich der Bestimmung des Anwenderzustands, des Fahrzeugzustands und der Umgebungsbedingungen auszuführen. Ein Planungs- und Zuweisungsmodul 54 kann zum Empfangen von Daten (z. B. Zustandsinformationen und NDRT-Anforderungen) enthalten sein. Ein Schnittstellenmodul 56 kann zum Wechselwirken mit einem Anwender enthalten sein, um verschiedene hier beschriebene Verfahren zu erleichtern. Das System 40 ist nicht so eingeschränkt, da andere Module enthalten sein können. Der Systemspeicher 44 kann außerdem verschiedene Datenstrukturen, wie z. B. Datendateien oder andere Strukturen, die auf die Bildgebung und Bildverarbeitung bezogene Daten speichern, speichern. Wie der Begriff „Modul“ hier verwendet wird, bezieht er sich auf eine Verarbeitungsschaltungsanordnung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen (gemeinsam benutzten, dedizierten oder Gruppe) Prozessor und einen Speicher enthalten kann, die ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Die Verarbeitungsvorrichtung 42 kann außerdem mit einer oder mehreren externen Vorrichtungen 58, wie z. B. einer Tastatur, einer Zeigevorrichtung und/oder anderen Vorrichtungen (z. B. einer Netzkarte, einem Modem usw.), kommunizieren, die es der Verarbeitungsvorrichtung 42 ermöglichen, mit einer oder mehreren anderen Rechenvorrichtungen zu kommunizieren. Zusätzlich kann die Verarbeitungsvorrichtung 42 mit einer oder mehreren derartigen Vorrichtungen, wie z. B. den Kameras 20 und den Radaranordnungen 22, kommunizieren. Die Verarbeitungsvorrichtung 42 kann mit einer oder mehreren Anzeigevorrichtungen 60 (z. B. einem bordinternen Berührungsschirm, Cluster, der Mittelkonsole, HUD, Spiegelanzeigen (FDM) und anderen) und den Fahrzeugsteuervorrichtungen oder -systemen 62 (z. B. für eine teilautomatisierte (z. B. Fahrerassistenz) und/oder vollautomatisierte Fahrzeugsteuerung) kommunizieren. Die Kommunikation mit den verschiedenen Vorrichtungen kann über die Eingabe/Ausgabe-Schnittstellen (E/A-Schnittstellen) 64 und 65 erfolgen.
Die Verarbeitungsvorrichtung 42 kann außerdem über einen Netzadapter 68 mit einem oder mehreren Netzen 66, wie z. B. einem lokalen Netz (LAN), einem allgemeinen Weitbereichsnetz (WAN) und/oder einem öffentlichen Netz (z. B. dem Internet) kommunizieren. Es sollte erkannt werden, dass, obwohl dies nicht gezeigt ist, andere Hardware- und/oder Software-Komponenten in Verbindung mit dem Computersystem 40 verwendet werden können. Die Beispiele enthalten, sind aber nicht eingeschränkt auf: Mikrocode, Vorrichtungstreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerksanordnungen, RAID-Systeme und Datenarchivierungsspeichersysteme usw.
3 stellt eine Ausführungsform eines Systems 80 zum Zuweisen von Zeiträumen für nicht auf das Fahren bezogene Aufgaben (NDRTs) dar. Eine NDRT ist irgendeine Aufgabe oder irgendein Verhalten, die bzw. das einen Anwender veranlasst, unaufmerksam gegenüber dem Fahrzeugbetrieb zu sein. Die Beispiele derartiger Aufgaben enthalten das Lesen (z. B. einer E-Mail oder einer Textnachricht), Essen, Trinken, das Kommunizieren über Telephon oder Video, das Wiedergewinnen von Elementen oder irgendeine andere Aufgabe, bei der sich der Anwender auf etwas anderes als das Fahren oder Bedienen eines Fahrzeugs (oder einer anderen automatisierten Vorrichtung) konzentriert. Obwohl die Ausführungsformen in Verbindung mit einem Fahrzeug erörtert werden, können sie auf jede Vorrichtung oder jedes System angewendet werden, das irgendeine Kombination aus manueller Steuerung und automatisiertem Betrieb enthält. Die Beispiele derartiger Vorrichtungen enthalten Fertigungsmaschinen, Roboter, Baugeräte und andere. Als solche ist eine NDRT als eine Aufgabe zu verstehen, die das Hauptaugenmerk des Anwenders von irgendeiner Vorrichtung abzieht und nicht auf den Kontext des Fahrens eines automatisierten Fahrzeugs eingeschränkt ist.
Das System 80 enthält ein Planungs- und Zuweisungsmodul 82, das basierend auf den Anforderungen für überwachungsfreie Perioden (NDRT-Anfragen), Fahrerzustandsinformationen und Fahrzeug- und Umgebungszustandsinformationen Zeitschätzungen (z. B. t_{est non monitoring}, t_{evasive maneuver} und t_{monitoring→driving}, wie im Folgenden definiert wird) empfängt und Zeiträume schätzt und zuweist, die die NDRTs des Anwenders berücksichtigen. Das System 80 enthält verschiedene Komponenten oder Module, die mit dem Planungs- und Zuweisungsmodul 82 wechselwirken und/oder NDRT-Anforderungen bereitstellen. Ein Fahrerzustands-Schätzmodul 84 bestimmt z. B. einen Fahrerzustand (z. B. aufmerksam, abgelenkt, Augen auf der Straße, Augen weg von der Straße usw.), während ein Umgebungs- und Fahrzeugzustands-Schätzmodul 86 den Zustand des Fahrzeugs (z. B. Betriebsart, Dynamik) und einen Zustand oder eine Bedingung einer Umgebung um das Fahrzeug bestimmt. Der Fahrerzustand kann geschätzt werden, um eine Schätzung der Zeit, die für einen Fahrer erforderlich ist, um vom Überwachen zum manuellen Fahren überzugehen, (um sicherzustellen, dass der Fahrer ausreichend Zeit hat, um erforderlichenfalls zum Überwachen und Fahren zurückzukehren), und der Zeit, die für das System erforderlich ist, um Zeiträume für NDRTs vorzuschlagen, zu bestimmen.
Das Umgebungs- und Fahrzeugzustands-Schätzmodul 86 kann verwendet werden, um zu bestimmen, ob Umgebungs- und Fahrzeugbedingungen vorhanden sind, so dass ein Zeitraum für eine NDRT zugewiesen werden kann. Die Beispiele der Umgebungsbedingungen enthalten den Straßentyp (z. B. Fernverkehrsstraße, örtlich), die Nähe zu anderen Fahrzeugen, Objekte in der Umgebung, ob es ein Ereignis gibt, dem sich das Fahrzeug nähert, das die Verfügbarkeit für eine NDRT ausschließen oder einschränken würde, oder irgendeine Kombination von Umgebungsmerkmalen, die die Verfügbarkeit von Zeiten beeinflussen würden, während denen ein Anwender unaufmerksam ist.
Das Fahrerzustands-Schätzmodul 84 kann verwendet werden, um zu detektieren, ob der Fahrer eine Handlung ausführt, die auf eine fahrfremde Aufgabe oder ein fahrfremdes Verhalten hinweist (z. B Herabblicken auf eine Mobilvorrichtung oder das Lesen einer Zeitung auf dem Beifahrersitz). In einer Ausführungsform bestimmt das Fahrerzustands-Schätzmodul 84 basierend auf einer Anwenderbedingung (z. B. Augen von der Straße abgewandt, Fahrer nimmt eine Mobilvorrichtung auf oder schaut auf eine Mobilvorrichtung, der Fahrer wirkt aufgeregt oder hungrig usw.), ob eine NDRT geeignet sein würde, um dem Fahrer gutzutun. Eine NDRT kann als ein Vorteil betrachtet werden, wenn die NDRT in Anbetracht der für die NDRT erlaubten Zeit mit den Anwendervorlieben (z. B. aus den Anwendereingaben oder die aus der Verfolgung des Verhaltens und der Bedingung des Anwenders gefolgert worden sind) konsistent ist oder mit den Vorlieben ähnlicher Anwender konsistent sind. Falls z. B. ein Anwender während einer gegebenen Zeitdauer überwacht worden ist, kann das Fahrerzustands-Schätzmodul 84 bestimmen, dass der Anwender von einer Positionsänderung profitieren würde, die Übergangszeiten (Zeitdauern, um zwischen den Zuständen überzugehen) bestimmen und automatisch eine Anforderung erzeugen oder dem Anwender einen Vorschlag für eine NDRT unterbreiten.
Die Module 84 und 86 können verwendet werden, um verschiedene Zeiträume zu berechnen (z. B. t_{est non monitoring}, t_{evasive maneuver} und t_{monitoring→driving}), die verwendet werden, um einzelne zugewiesene Zeiträume (t_{NDRT_alloc}.) zum Ausführen von NDRTs zu berechnen. Derartige einzelne Zeiträume berücksichtigen die Zeit, die zum Übergehen zwischen Betriebszuständen und zum Ausführen von Ausweichmanövern erforderlich ist. Das Modul 84 und/oder 86 kann z. B. verwendet werden, um die Zeitdauer zu bestimmen, in der sich der Fahrer in einer überwachungsfreien Kapazität (t_{est non monitoring}) befinden kann, die in Anbetracht des Zustands des Fahrzeugs, der Umgebung und/oder des Zustands des Fahrers bestimmt wird. In einem weiteren Beispiel können das Modul 84 und/oder 86 verwendet werden, um eine Zeitdauer für den Anwender und das Fahrzeug zu bestimmen, um von einem „Überwachungszustand“, in dem der Fahrer auf die Straße und den Fahrzeugsystemzustand achtet, aber das Fahrzeug nicht physisch steuert, in einen „manuellen Zustand“ oder „Fahrzustand“, in dem der Fahrer die aktive manuell Steuerung hat, überzugehen. Dieser Zeitraum wird als t_{monitoring→driving} bezeichnet. Während eines zugewiesenen Zeitraums befindet sich das Fahrzeug in einem „NDRT-Zustand“, in dem der Fahrer das Fahrzeug nicht überwachen muss (d. h., die Anwenderüberwachung ist ausgesetzt).
Weiterhin können das Modul 84 und/oder 86 verwendet werden, um einen Zeitraum zum Ausführen eines kritischen Ausweichmanövers (t_{evasive maneuver}) zu berechnen. Die Beispiele der Ausweichmanöver enthalten Ausweichhandlungen, wie z. B. das Lenken, das Wechseln von Fahrspuren, eine Notbremsung und andere. t_{evasive maneuver} kann basierend sowohl auf den Umgebungs- und Fahrzeugbedingungen als auch auf der Fahrerbereitschaft für das Ausweichmanöver variieren. Dieser Zeitraum ist z. B. in Bereichen mit höheren Geschwindigkeiten (z. B. Fernverkehrsstraßen) oder in verkehrsreichen Bereichen kürzer und in Bereichen mit niedrigeren Geschwindigkeiten oder in nicht verkehrsreichen Bereichen länger.
Das System 80 enthält außerdem eine Mensch-Maschine-Schnittstelle (HMI) 90, wie z. B. einen Berührungsschirm oder eine Anzeige, die es einem Anwender oder einer anderen Entität ermöglicht, Anforderungen in das Zuweisungsmodul 82 einzugeben. Die HMI 90 kann außerdem Informationen an einen Anwender ausgeben (Block 97), wie z. B. eine Angabe, dass ein zugewiesener Zeitraum begonnen hat, die zugewiesene Dauer, Routeninformationen usw.
Die Zuweisung eines Zeitraums für eine NDRT wird durch eine Anforderung (eine NDRT-Anforderung) veranlasst, die durch verschiedene Stellen und Vorrichtungen oder Module erzeugt oder bereitgestellt werden kann. Wie im Folgenden weiter erörtert wird, können eine Anforderung oder Anforderungen (die durch den Block 92 dargestellt sind) durch einen Anwender, während das Fahrzeug fährt („Anforderung während das Fahrens“) und/oder vor dem Fahren („Anforderung vor dem Fahren“), wie z. B. für eine erwartete Videokonferenz oder einen Telephonanruf, erzeugt werden. Derartige Anforderungen können durch einen Anwender über die HMI 90 (z. B. einen Berührungsschirm, eine Mobilvorrichtung, Anzeigen des Fahrzeug-Infotainmentsystems oder Schaltflächen) eingegeben werden. Die Anforderungen können außerdem automatisch basierend auf dem Überwachen der Bedingung eines Anwenders, z. B. über das Fahrerzustands-Überwachungsmodul 84, erzeugt werden.
In einer Ausführungsform wird eine NDRT-Anforderung basierend auf der Historie eines Anwenders (z. B. durch maschinelles Lernen) erzeugt. Das System 80 lernt ein spezifisches Muster des Anwenders (z. B. ruft der Anwender immer seine Frau an, wenn er nach Hause fährt). Eine NDRT-Anforderung kann außerdem basierend auf identifizierenden Benachrichtigungen, wie z. B. einer eingehenden dringenden E-Mail oder SMS-Nachricht, erzeugt werden.
Die Zeiträume t_{monitoring→driving} und t_{evasive maneuver} werden (z. B. kontinuierlich oder auf einer periodischen Grundlage) berechnet und in das Zuweisungs- und Planungsmodul 82 zusammen mit einer geschätzten Zeitdauer, in der es nicht erforderlich sein würde, dass der Anwender den Fahrzeugbetrieb überwacht, (t_{est non} _monitoring), eingegeben, die aus verschiedenen Quellen, wie z. B. behördlichen Quellen, Analysen vorher gesammelter Daten und/oder Simulationen, und/oder basierend auf Bedingungen, wie Straßenbedingungen, der Verkehrsdichte, der Geschwindigkeit und dem Anwenderzustand, erfasst werden können.
Die Eingaben in das Zuweisungs- und Planungsmodul 82 können außerdem Informationen hinsichtlich geschätzter Zeiten zum Ausführen von NDRTs (t_estimated__NDRT), geschätzter Zeiten zum Zurückkehren aus dem NDRT-Zustand in den Überwachungszustand nach einer überwachungsfreien Periode (t_{transition→monitoring}) und einer minimalen Zeit für eine gegebene NDRT (t_{min NDRT}) enthalten. Die minimale NDRT-Zeit kann aus Versuchsdaten oder vorher gesammelten Fahrzeugdaten bestimmt werden und ist vorgesehen, es zu vermeiden, Vorschläge zu machen oder NDRTs zuzulassen, wenn das System 80 nicht ausreichend Zeit zuweisen kann. Falls das System 80 nicht wenigstens die minimale Zeit berücksichtigen kann, wird kein Vorschlag unterbreitet (wobei das Zuweisungs- und Planungsmodul 82 zu einem weiteren NDRT, z. B. in einer Liste oder Warteschlange, gehen kann).
Das Planungs- und Zuweisungsmodul 82 enthält verschiedene Module zum Einleiten von NDRT-Zuständen, zum Zurückkehren zu dem Überwachungs- oder dem Fahrzustand und/oder zum Koordinieren mehrerer NDRT-Zustände. Ein Planungsmodul 94 empfängt z. B. Eingaben von der HMI 90 und/oder den Modulen 84 und 86 und/oder von einer ML-Einheit, die die NDRT-Zeiten basierend auf einer Historie und erlernten Verhaltensweisen schätzt. Für eine gegebene NDRT-Anforderung empfängt das Planungsmodul 94 t_estimated__NDRT und t_{transition→monitoring} (und in einigen Fällen eine minimale NDRT-Zeit t_{min NDRT}). Diese Zeiträume können vorgegebene Perioden sein, die entfernt und/oder lokal an einem ausgewählten Ort gespeichert sind. Eine Nachschlagetabelle oder eine andere Datenstruktur in einer Datenbank 96 speichert z. B. Zeitbudgets und Informationen, wie z. B. geschätzte NDRT-Zeiten, geschätzte Übergangszeiten und/oder minimale NDRT-Zeiten (Block 95) in der Datenbank 96.
Bei dem Beginn eines zugewiesenen Zeitraums und dem Beginn eines NDRT-Zustands überführt ein Übergangsmodul 98 das Fahrzeug aus dem Überwachungszustand in den NDRT-Zustand. Ein NDRT-Modul 100 steuert die Übergänge zwischen dem Überwachungszustand, dem NDRT-Zustand und dem manuellen Zustand. Das NDRT-Modul 100 kann beim Ablauf des zugewiesenen Zeitraums (t_{NDRT total}) zurück in den Überwachungszustand übergehen. Das NDRT-Modul 100 kann früher übergehen, z. B. falls der Anwender dies anfordert oder sich eine Situation ergibt, die einen Übergang zum manuellen Fahren erfordern würde (z. B. ein Unfall, ein Fußgänger oder ein anderes Objekt auf der Straße usw.). Eines oder mehrere der obigen Module können als endliche Zustandsmaschinen (FSMs) konfiguriert sein oder eine oder mehrere endliche Zustandsmaschinen enthalten.
Das Planungsmodul 94 kann konfiguriert sein, die Ausführung mehrerer NDRT-Zustände, die mehreren NDRTs zugeordnet sind, auszuführen und/oder zu koordinieren. Das Planungsmodul 94 kann z. B. auf Zeiten für verschiedene Typen von Aufgaben zugreifen und derartige Zeiten verwenden, um Zeiträume für die Ausführung mehrerer Aufgaben zuzuweisen. In einigen Fällen kann das Modul 82 eine kurze Überwachungsperiode zwischen den NDRTs zuweisen. Wie im Folgenden weiter erörtert wird, können Zeiträume basierend auf der Dringlichkeit oder der Wichtigkeit zugewiesen werden.
4 stellt verschiedene Fahrzeugzustände während eines Zeitraums 110 dar. Der Zeitraum 110 enthält einen zugewiesenen Zeitraum 112, der einer Zeitdauer entspricht, die dem Anwender zugewiesen ist, um die NDRT auszuführen, (T_{NDRT_al-loc.}), die fest sein oder verlängert werden kann, wie es die Bedingungen zulassen. Dieser Zeitraum kann dem Anwender z. B. über die HMI 90 dargestellt werden.
Ein weiterer Zeitraum 114 entspricht t_{transition->monitoring}, d. h., der geschätzten Zeit, um aus einem NDRT-Zustand zum Überwachen zurückzukehren (z. B. wenn sich ein Notfall oder eine dringende Situation ergibt, der bzw. die es erforderlich macht, dass der Anwender zurück zu einer Fahrschleife gebracht wird), oder t_{NDRT_ aloc}. läuft ab. Ein Zeitraum 116 entspricht einer Zeit, die sich das Fahrzeug im Überwachungszustand befindet.
Die Zeiträume 114, 118 und 122 werden geschätzt, um zu bestimmen, ob es ausreichend Zeit gibt, dass das Fahrzeug zur manuellen Steuerung (Fahrzustand) übergeht und auf ein Straßenereignis oder eine Umgebungsbedingung (z. B. ein Fußgänger auf der Straße, ein weiteres Fahrzeug kreuzt das Fahrzeug oder die Trajektorie) reagiert. Die Zeiträume 114, 118 und 122 repräsentieren die Fähigkeit eines Fahrzeugs und eines Anwenders, zur manuellen Operation zurückzukehren, um auf ein Straßenereignis zu reagieren.
Der Zeitraum 118 ist ein Zeitraum, der der Zeit entspricht, um vom Überwachungszustand zum (manuellen) Fahrzustand überzugehen, (t_{monitoring→driving}). Dieser Zeitraum ermöglicht das Zurückkehren zur Fahrschleife (einschließlich der Stabilisierung) in einer effektiven Weise. Der Zeitraum 120 (t_driving) repräsentiert das Fahrzeug, das sich in dem Fahrzustand befindet. Der Zeitraum 122 (t_{evasive maneuver}) ist für den Anwender vorgesehen, um ein erfolgreiches kritisches Manöver (z. B. ein Notausweichmanöver) auszuführen.
5 stellt ein Verfahren 130 zum Planen und Zuweisen von Zeiträumen während des automatisierten Fahrens (oder eines anderen automatisierten Betriebs) für einen Anwender dar, um bezüglich des Fahrzeug- oder Vorrichtungsbetriebs unaufmerksam zu sein. Das Verfahren 130 wird in Verbindung mit den Blöcken 131-136 erörtert. Das Verfahren 130 ist nicht auf die Anzahl oder die Reihenfolge der Schritte darin eingeschränkt, da einige der in den Blöcken 131-136 dargestellten Schritte in einer anderen als der im Folgenden beschriebenen Reihenfolge ausgeführt werden können oder weniger als alle Schritte ausgeführt werden können.
Das Verfahren 130 wird in Verbindung mit dem Fahrzeug nach 1 und einem Verarbeitungssystem erörtert, das z. B. das Computersystem 40, das Bordcomputersystem 30 oder eine Kombination daraus sein kann. Die Aspekte des Verfahrens 130 werden für Veranschaulichungszwecke in Verbindung mit dem Steuersystem 80 erörtert. Es wird angegeben, dass das Verfahren 130 nicht so eingeschränkt ist und durch irgendeine geeignete Verarbeitungsvorrichtung oder irgendein geeignetes Verarbeitungssystem oder eine Kombination aus Verarbeitungsvorrichtungen ausgeführt werden kann.
Im Block 131 verfolgt oder beobachtet ein Fahrzeugsystem (z. B. das Steuersystem 80) einen Anwender während des automatisierten Betriebs eines Fahrzeugs. Das Fahrzeug befindet sich in einem Überwachungszustand, in dem das Fahrzeug automatisch gesteuert wird und der Fahrer verfolgt wird, um sicherzustellen, dass der Fahrer aufmerksam ist („Augen auf der Straße“). Während des Überwachungszustands kann das Fahrzeug während einer vorgegebenen Zeitdauer erlauben, dass der Anwender unaufmerksam ist, der eine kurze Periode (z. B. 3 Sekunden) oder länger (z. B. Minuten, Dutzende von Minuten oder größer) sein kann. Diese Zeitdauer ist ein fester Betrag, der nicht auf die Anwenderbedingung oder dem Anwenderwunsch, eine NDRT auszuführen, bezogen ist.
Im Block 132 identifiziert das System eine NDRT-Anforderung. Eine Anforderung kann basierend auf dem Empfangen einer bestätigenden Eingabe vom Anwender, basierend auf im Voraus geplanten Aufgaben oder basierend auf der Anwenderbedingung identifiziert werden. Ein Anwender kann z. B. eine Anforderung über das Infotainmentsystem des Fahrzeugs, die HMI 90 oder eine andere Anwenderschnittstelle eingeben.
Ein Typ von Anforderung wird basierend auf einem Vorschlag erzeugt, der dem Anwender unterbreitet und durch den Anwender akzeptiert wird, was durch das Überwachen des Anwenderverhaltens, des Fahrzeugzustands und/oder der Umgebung identifiziert werden kann, um eine potentielle NDRT zu identifizieren. Ein NDRT-Vorschlag (z. B. die Position ändern, einen Telephonanruf tätigen usw.) kann erzeugt und dem Anwender angezeigt werden, wobei der Anwender den Vorschlag bestätigen oder ablehnen kann. Der Anwender wird z. B. über eine Kamera und/oder andere Sensoren überwacht, um Anzeichen zu identifizieren, dass der Anwender von einer NDRT profitieren würde (z. B. Anzeichen, dass der Anwender sich unwohl oder aufgeregt fühlt oder dass der Anwender während einer ausgedehnten Zeitdauer im Fahr- oder Überwachungszustand gewesen ist und eine Pause vertragen könnte).
Weiterhin kann eine Anforderung durch die Identifikation von externen Bedarfen und Aktivitäten (Eingang einer wichtigen E-Mail, SMS, Telephon) erzeugt werden. Das System kann z. B. für wichtige eingehende E-Mails, SMS aus der Favoritenliste, SMS aus der arbeitsbezogenen Liste und anderes auf das Infotainmentsystem des Fahrzeugs zugreifen. Das System kann konfiguriert sein, basierend auf der Historie und dem Lernen des Anwenders Vorschläge für potentielle NDRTs zu unterbreiten.
Die Anforderungen können außerdem basierend auf vorher eingegebenen oder geplanten NDRTs identifiziert werden, die in das Fahrzeugsystem oder eine mobile Anwendung (App) eingegeben werden können. Ein Kalender in einer Mobilvorrichtung oder im Infotainmentsystem kann z. B. vor dem Fahrzeugbetrieb mit dem System synchronisiert werden, wobei die Informationen eine Eingabe in das System werden.
In einer Ausführungsform ist ein Modul des maschinellen Lernens, eine FSM oder eine andere Verarbeitungseinheit konfiguriert, potentielle NDRTs zu identifizieren und Vorschläge basierend auf maschinellem Lernen (ML) zu machen. Ein derartiges Modul überprüft die Historie der Beschäftigung mit einem Fahrzeugsystem (z. B. Infotainmentsystem) oder einer Mobilvorrichtung eines Anwenders und macht basierend auf dem Zeitpunkt und den Empfängern früherer Anrufe (oder anderer Kommunikationen, wie z. B. SMS und E-Mails) Vorschläge. Das Modul lernt z. B., dass ein Anwender an den meisten oder allen vorhergehenden Tagen typischerweise gegen 8:00 Uhr vormittags seine Mama anruft, und erzeugt folglich 8:00 Uhr vormittags automatisch einen Vorschlag, „Mama anzurufen“. Wie hier weiter erörtert wird, kann das Modul außerdem eine Fahrzeugroute dynamisch anordnen, um eine bessere Gelegenheit für eine geplante NDRT zu erzeugen. Folglich können die Systeme und Verfahren hier NDRTs in einer Ad-hoc- oder opportunistischen Weise anfordern und eine geplante NDRT (basierend z. B. auf einem geplanten Ereignis, einer ML-erlernten NDRT, einer Anwendervorliebe usw.) anfordern und planen, die durch das Auswählen der besten Routen, Geschwindigkeiten, Fahrspuren, Zeiten usw. im Voraus angeordnet werden kann, um sichere und effektive (d. h., mit geringen Chancen für Notfallübernahmen) Zeitzuteilungen oder -zuweisungen für NDRTs sicherzustellen.
In einer Ausführungsform erhält das System eine Warteschlange von Aufgaben, die im Voraus geplant worden sind, potentiell durch den Anwender während des Betriebs angefordert werden können, und/oder Aufgaben, die basierend auf der Anwenderbedingung vorgeschlagen werden können, aufrecht. Es kann eine dynamische Warteschlange aufrechterhalten werden, die verschiedene NDRTs (oder Typen von NDRTs) auflistet und jeder NDRT ein Wichtigkeits- oder Dringlichkeitsniveau zuordnet, das sich dynamisch ändern kann. Jeder NDRT sind in der Warteschlange Zeiträume bezüglich einer minimalen Zeit, um die NDRT auszuführen, und Zeiten, um zum Überwachen überzugehen, zugeordnet. Die NDRTs können entweder zu einem geplanten Zeitpunkt oder basierend auf aktuellen Bedingungen zu der Warteschlange hinzugefügt werden.
Im Block 133 bestimmt das System ein Bereitschaftsniveau des Fahrers und/oder die Absichten und Motivationen des Fahrers. Die Bereitschaftskategorien enthalten die physische Verfügbarkeit, die physiologische Bereitschaft, das kognitive Bewusstsein und das Fähigkeitsniveau (Fähigkeit, verschiedene NDRTs oder Typen von Aufgaben auszuführen). Die Bereitschaft kann z. B. durch das Überwachen der Körperhaltung des Fahrers, das Überwachen des Blicks und eine Gesichtsanalyse, um emotionale Zustände zu bestimmen, und/oder durch das Befragen des Fahrers bestimmt werden. Die Bereitschaftskategorien können gespeichert und mit einer Zeitdauer für den Fahrer korreliert werden, um vom NDRT-Zustand zur Überwachung überzugehen (t_{transition→monitoring}). Ein Wert von t_{transition→monitoring} kann jedem NDRT in der Warteschlange beigefügt sein, da er sowohl eine Funktion des Anwenders als auch der spezifischen NDRT sein kann.
Zusätzlich zur „Bereitschaft“ des Fahrers kann das System die „Absichten und die Motivation“ des Fahrers bewerten, um die Überwachung und/oder die manuelle Steuerung zu übernehmen. „Die Absichten und die Motivation“ können basierend auf früheren Vorkommen in ähnlichen Situationen (z. B. ein Fahrer oder eine Fahrerin, der bzw. die widerwillig ist, die Überwachung zu übernehmen, wenn er oder sie die Zeitung liest), auf verbalen Berichten des Fahrers oder der Fahrerin und/oder auf seinen oder ihren Reaktionen auf andauernde Warnungen bewertet werden. Sowohl die Bereitschaft als auch die Absichten und die Motivation werden verwendet, um eine Qualität der Übertragung der Steuerung zu dem Anwender zu schätzen.
In einer Ausführungsform wird die Qualität der Übertragung der Steuerung als das kartesische Produkt aus der „Bereitschaft“ und „den Absichten und der Motivation“ geschätzt. Falls z. B. die Bereitschaft des Fahrers oder der Fahrerin gering ist (d. h., der Fahrer oder die Fahrerin befindet sich nicht auf dem Sitz oder befindet sich in irgendeiner ungünstigen Haltung), aber seine oder ihre Motivation aufgrund von Frustration und Angst hoch ist (wie auf der Grundlage von einer Bildanalyse oder anderen Fahrerverfolgungsmitteln geschätzt wird), ergibt das Produkt der beiden Elemente („Bereitschaft“ und „Absichten und Motivation“) die Übergangszeiten (t_{transition→monitoring}, t_{monitoring→monitoring}, t_{evasive maneuver}). Basierend auf diesen Zeiten kann die Länge der NDRT, die dem Fahrer bereitgestellt werden kann, vorhergesagt werden.
Im Block 134 bestimmt das System basierend auf dem Bereitschaftsniveau, den Absichten und der Motivation und/oder dem Umgebungskontext, ob die NDRT ausgeführt werden kann. Falls ja, berechnet oder erfasst das System eine Zeitzuweisung f_{NDRT_Alloc}. für den Anwender, um die NDRT auszuführen, wobei die Zeit für den Übergang zum Überwachen berücksichtigt wird. Das System bestimmt außerdem die Zeiträume zum Übergehen und Ausführen von Ausweichmanövern, wie oben erörtert worden ist.
Im Block 135 geht das System in einen NDRT-Zustand über, in dem das System das Fahrzeug automatisch steuert und nicht erfordert, dass der Anwender aufmerksam bleibt.
Im Block 136 geht das System nach dem Ablauf eines zugewiesenen Zeitraums zurück in einen Überwachungszustand über. Alternativ geht das System basierend auf einer Anwendereingabe (der Anwender bricht z. B. die NDRT-Anforderung ab oder gibt an, dass die NDRT abgeschlossen ist, oder in Reaktion auf eine Änderung des Fahrzeugs oder der Umgebung) früher zurück zu dem Überwachungszustand über. Andere Ereignisse oder Anwenderhandlungen können als eine Angabe der Beendigung identifiziert werden, wie z. B. der Anwender sendet eine E-Mail oder eine SMS, beendet einen Telephonanruf, beendet das Essen usw.
In einer Ausführungsform kann das System den Anwender aktiv nach einer Angabe, das die NDRT abgeschlossen ist, abfragen, was verwendet werden kann, um den Abschluss allein oder in Kombination mit gesammelten Daten von Kameras und anderen Sensoren zu bestimmen. Zu einem ausgewählten Punkt während des t_{NDRT_Alloc}. (z. B. irgendeine Anzahl von Sekunden vor dem Ende) beginnt das System z. B., den Fahrer hinsichtlich des Abschlusses der Aufgabe über eine akustische Aufforderung oder eine Anzeige zu befragen. Ferner kann der Abschluss durch das Entfernen der Aufgabe aus der Warteschlange erzwungen werden.
Die NDRTs können in verschiedenen Weisen geplant werden. Es kann z. B. ein Gesamtzeitraum gemäß einem „festen“ NDRT-Algorithmus, einem „rollenden“ NDRT-Algorithmus oder einem „rollenden begrenzten“ Algorithmus geplant werden.
Feste NDRT-Zeiträume sind für eine gegebene Aufgabe spezifisch und stellen eine vorgegebene Zeit für einen Anwender bereit, um eine NDRT auszuführen. Rollende NDRT-Zeiträume können zusätzliche Zeit bereitstellen, um eine Aufgabe abzuschließen, falls eine ursprünglich zugewiesene Zeit unzureichend ist. Rollende begrenzte NDRT-Zeiträume stellen zusätzliche Zeit bereit, sind aber z. B. durch behördliche Vorschriften oder durch eine interne Berechnung basierend auf dem Fahrerzustand, der Straßenbedingung und dem Umgebungszustand begrenzt.
6 stellt eine Ausführungsform einer endlichen Zustandsmaschine (FSM) 150 dar, die verwendet wird, ein Verfahren einer festen NDRT-Zuweisung auszuführen. Die FSM 150 enthält einen Überwachungszustand 152, der in Reaktion auf verschiedene Bedingungen (z. B. Situationen, in denen ein Ausweichmanöver erforderlich ist) zum manuellen Betrieb (Fahrschleife) übergehen kann.
In Reaktion auf eine Anforderung einer NDRT geht die FSM 150 in einen NDRT-Anforderungszustand 154 über. In diesem Zustand bestimmt das Planungs- und Zuweisungsmodul 82 den geschätzten Gesamtbetrag der überwachungsfreien Zeit basierend auf dem Fahrzeugzustand (z. B. der Geschwindigkeit), den Stra-ßen- und anderen Umgebungsbedingungen, den Verkehrsbedingungen und dem Fahrerzustand. „Überwachungsfrei Zeit“ oder t_{est non monitoring} ist die Gesamtzeitdauer, die für den Fahrer verfügbar ist, um sich in einem überwachungsfreien Zustand zu befinden.
t_{est non monitoring} ist die geschätzte Zeit, in der es nicht erforderlich ist, dass der Fahrer oder Anwender den Fahrzeugbetrieb überwacht, und kann auf Faktoren, wie z. B. den Abtastfähigkeiten des Fahrzeugs (z. B. Reichweite, Abdeckung, Detektionsfähigkeiten usw.), der Straßenbedingung (z. B. Verkehr und andere Verkehrsteilnehmer in der Umgebung), dem Straßen- und Infrastrukturtyp (z. B. vorstädtisch, ländlich, Fernverkehrsstraße, städtisch usw.), Umweltfaktoren (z. B. Regen, Dämmerung, Schneeregen usw.) und der Straßengeometrie (z. B. kurvig, gerade usw.) basieren. Die Zeit für die Nichtüberwachung kann einem vorgegebenen Maximum unterworfen (z. B. durch irgendeinen behördlichen Wert begrenzt) sein. Zusätzlich kann die Zeit für die Nichtüberwachung dynamisch eingestellt werden, wie sich die Bedingungen ändern.
Die überwachungsfreie Zeit wird mit einer Summe aus einer minimalen NDRT-Zeit t_minNDRT (die auf Daten basieren kann, die von dem Fahrer und/oder anderen Fahrern beobachtet werden) und der Zeit, um zum Überwachen überzugehen (t_{transition→} _monitoring), verglichen, um sicherzustellen, dass ausreichend Zeit für die NDRT zugewiesen werden kann. Dieser Vergleich kann dargestellt werden als: $t_{e s t n o n m o n i t o r i n g} \geq t_{m i n N D R T} + t_{t r a n s i t i o n \to m o n i t o r i n g .}$
Die minimale Zeit kann ein Wert sein, der allen Aufgaben zugewiesen ist, oder kann für eine oder mehrere Aufgaben spezifisch sein.
Wen die geschätzte überwachungsfreie Zeit größer als die oder gleich der Summe ist, dann geht die FSM 150 in einen NDRT-Zustand 156 über. Im NDRT-Zustand 156 arbeitet das Fahrzeug automatisch, während dem Anwender erlaubt ist, unaufmerksam zu sein und die NDRT auszuführen.
7 veranschaulicht ein Beispiel des Zeitraums 110, der einen Zeitraum enthält, der einer NDRT zugewiesen ist. In diesem Beispiel ist die Zeitzuweisung eine feste Zuteilung. In diesem Beispiel erhält das Planungs- und Zuweisungssystem 80 eine Warteschlange von Aufgaben aufrecht, die mit variierenden Prioritätsniveaus zugewiesen werden können. Der Anwender will eine dringende SMS-Nachricht senden und gibt eine entsprechende Anforderung (z. B. durch das Auswählen der Aufgabe aus einer angezeigten Warteschlange oder das Eingeben der Aufgabe) ein. Diese Anfrage wird als mit hoher Priorität betrachtet und wird folglich vor anderen geplanten NDRT-Zeiträumen ausgeführt.
In diesem Beispiel beträgt die geschätzte Zeit zum Ausführen der NDRT (Verfassen und Senden der Nachricht) 10 Sekunden, beträgt t_minNDRT 5 Sekunden und beträgt t_{transition→monitoring} 3 Sekunden. Die geschätzte überwachungsfreie Zeit beträgt 9 s, was basierend auf den Fähigkeiten der Fahrzeugsensoren, dem Zustand des Fahrers und den äußeren Bedingungen (z. B. Wetter, Straße und Verkehr) eine zulässige Zeitdauer repräsentiert.
t_minNDRT + t_{transition→monitoring} beträgt 8 Sekunden, was weniger als die überwachungsfreie Zeit ist, folglich kann das System die Zeit für diese NDRT zuweisen. Der zugewiesene Zeitraum 112 (t_{NDRT alloc}.) beträgt in diesem Beispiel 9 Sekunden - 3 Sekunden = 6 Sekunden.
8 stellt eine Ausführungsform einer FSM 160 zum Ausführen eines rollenden NDRT-Zuweisungsverfahrens dar. Die FSM 160 enthält einen Überwachungszustand 162, in dem sich das Fahrzeug im Überwachungszustand befindet und zu der Fahrschleife zurückgeführt werden kann. In Reaktion auf eine Anforderung für eine NDRT geht die FSM 160 in einen NDRT-Anforderungszustand 164 über.
Wenn t_{est non monitoring} ≥ t_minNDRT + t_{transition→monitoring} ist, geht die FSM 160 in einen NDRT-Zustand 166 über. Die FSM 160 bleibt im NDRT-Zustand 166, solange wie t_{est non monitoring} ≥ t_{transition→monitoring} ist. Falls der Anwender angibt, dass die NDRT abgeschlossen ist, oder t_{est non monitoring} < t_{transition→monitoring} ist, geht die FMS 160 in einen „Übergang-zur-Überwachung“-Zustand 168 über, wobei das Planungs- und Zuweisungssystem 80 zur Überwachung zurückkehrt.
In einer Ausführungsform ist die FSM 160 für die Ausführung einer „rollenden“ NDRT, wie oben erörtert worden ist, konfiguriert und/oder für die Ausführung eines „rollenden begrenzten“ NDRT-Zuweisungsverfahrens konfiguriert.
In der rollenden Ausführungsform bleibt die FSM 160 so lange im NDRT-Zustand 166, wie t_{est non monitoring} ≥ t_{transition→monitoring} ist (wenn nicht die Bedingungen oder eine Anwendereingabe einen früheren Abschluss erforderlich machen). Im Prinzip kann das System 80 auf unbestimmte Zeit oder wenigstens bis Bedingungen auftreten, die eine Rückkehr zur Überwachung und/oder manuellen Steuerung erforderlich machen, im NDRT-Zustand bleiben.
Bei Ausführungsformen mit rollender begrenzter NDRT ist die gesamte überwachungsfreie Zeit begrenzt, um sich innerhalb eines ausgewählten oder berechneten Bereichs zu befinden.
Die NDRT-Zeit ist z. B. durch behördliche Vorschriften, den Hersteller, die Fahrervorlieben oder durch eine interne Berechnung begrenzt. In einer Ausführungsform ist t_NDRTalloc. durch eine maximale Zeit begrenzt, die als „NDRT gesamt“ bezeichnet wird. Eine derartige Begrenzung kann durch einen Hersteller oder durch die Vorlieben das Fahrers auferlegt oder bereitgestellt werden. Die Begrenzung kann außerdem durch behördliche Vorschriften auferlegt werden.
Im NDRT-Zustand 166 kann das System Zeit für mehrere Aufgaben zuweisen. Falls der Anwender angibt, dass die NDRT abgeschlossen ist, test non _monitoring < t_{transition→monitoring} ist oder die NDRT gesamt größer als ein oder gleich einem ausgewählten Schwellenwert ist, geht die FSM 160 zum Übergang zum Überwachungszustand 168 über, wobei das System 80 in den Überwachungszustand zurückkehrt und der Fahrer zur Überwachung zurückkehrt.
In einer Ausführungsform ist das System 80 konfiguriert, eine NDRT-Zuweisung t_NDRTalloc. nach einer kurzen Überwachungsperiode zu verlängern. Diese Zuteilung einer kurzen Überwachungsperiode wird als „Periskopieren“ bezeichnet.
9 stellt eine Ausführungsform einer FSM 170 zum Ausführen eines rollenden und periskopierenden NDRT-Zuweisungsverfahrens dar, bei dem eine kurze Zeitzuteilung t_{monitoring min} für das Periskopieren vorgesehen ist. Die FSM 170 enthält einen Überwachungszustand 172, in dem sich das Fahrzeug im Überwachungszustand befindet und zu der Fahrschleife zurückgeführt werden kann. In Reaktion auf eine Anforderung für eine NDRT geht die FSM 170 in einen NDRT-Anforderungszustand 174 über. Das System 80 schätzt den Gesamtbetrag der überwachungsfreien Zeit. Wenn t_{est non monitoring} ≥ t_minNDRT + t_{transition→monitoring} ist, dann geht die FSM 170 in einen NDRT-Zustand 176 über.
Es wird angegeben, dass sich t_{est non-monitoring} im Lauf der Zeit als eine Funktion der Umgebung und/oder der Anwenderbedingungen ändern kann. Wenn der Anwender in der NDRT beschäftigt ist, wird die Fähigkeit, die Fähigkeit des Anwenders, zur Überwachung (und zum Fahren) zurückzukehren, zu bewerten, im Lauf der Zeit wahrscheinlich verringert (der Anwender blickt z. B. auf sein Mobiltelephon herab). Da der Anwender mehr Zeit im NDRT-Zustand (Rollen) verbringt, nimmt folglich t_{est non-monitoring} ab, sowohl weil das System 80 vorübergehend nicht imstande sein kann, die Fähigkeit des Anwenders, um zu überwachen und zu fahren, zu schätzen, als auch auf Grund der Tatsache, dass die Wahrscheinlichkeit von Systemfehlfunktionen mit der Zeit zunimmt. Im Ergebnis kann die FSM 170 zum Überwachen in einer kurzen Periode oder „Periskop“ übergehen. Sobald das Periskopieren abgeschlossen ist, nimmt t_{est non monitoring} wahrscheinlich abermals zu.
Wenn z. B. die FSM 170 in den NDRT-Zustand 176 eintritt, wird ein Zeitgeber aktiviert. Die FSM 160 verbleibt im NDRT-Zustand 166, solange wie t_{est non monitoring} ≥ t_{transition→monitoring} ist. Falls der Anwender angibt, dass die NDRT abgeschlossen ist, oder t_{est non monitoring} < t_{transition→monitoring} ist, geht die FMS zu einem Übergang zum Überwachungszustand 178 über.
Falls die NDRT nicht abgeschlossen ist oder eine weitere NDRT ausgeführt werden soll, geht die FSM 170 in einen Überwachungszustand 180 in einer kurzen Periode über, in dem eine kurze Periode t_{monitoringmin} für den Fahrer zugeteilt ist, um vorübergehend zur Überwachung zurückzukehren. Wenn t_{monitoring min} vorbei ist und t_{est non monitoring} < t_minNDRT + t_{transition→monitoring} ist, kehrt die FSM 170 in den Überwachungszustand 172 zurück. Falls t_{monitoring min} vorbei ist und t_{est non monitoring}≥ t_minNDRT+ t_{transition→monitoring} ist, geht die FSM 170 zurück in den NDRT-Zustand 176 über. Dies kann auf Wunsch oder wie es die Zeit und die Bedingungen erlauben wiederholt werden.
In einer Ausführungsform können das Rollen und Periskopieren z. B. basierend auf behördlichen Vorgaben begrenzt sein. Wenn eine zugewiesene NDRT-Periode fortschreitet, ist die akkumulierte NDRT-Zeit t_NDRT__Total (beginnend vom letzten Übergang in den NDRT-Zustand) innerhalb einer maximalen Zeit begrenzt. Die FSM 170 bleibt z. B. im NDRT-Zustand 176, falls t_{est nonmonitoring} ≥ t_{transition->monitoring} ist und t_NDRT__Total kleiner als ein Schwellenwert (z. B. 30 Sekunden) ist. Gleichermaßen findet der Übergang vom NDRT-Zustand 176 zum Übergang in den Überwachungszustand 178 statt, falls t_{est non monitoring} < t_{transition->monitoring} ist, der Anwender die Beendigung angibt oder der Schwellenwert erreicht ist (z. B. T_{NDRT_Total} größer als oder gleich 30 ist).
In einer Ausführungsform ist das System 80 konfiguriert, mehrere Aufgaben zu planen und zuzuweisen, die zuvor geplante Aufgaben oder während des Fahrens oder des Betriebs angeforderte Aufgaben sein können. Den geplanten Aufgaben können Prioritäts- oder Dringlichkeitsniveaus zugewiesen werden, so dass wichtigere oder dringendere Aufgaben schnell zugewiesen werden.
10 stellt eine Ausführungsform des Zeitraums 110 dar, der zugewiesene Zeiten sowohl für das Rollen als auch für das Periskopieren enthält. Wie gezeigt ist, enthält der Zeitraum 112 eine zugewiesene NDRT-Zeit 112, die als t_NDRTalloc. bezeichnet wird, die von einem Anfangswert bis zu einem verlängerten Wert verlängert werden kann. Der zugewiesene Zeitraum 112 enthält die minimale Zeit t_min _NDRT, eine geschätzte Zeit, um eine NDRT abzuschließen (t_{estimated NDRT}) und eine verlängerte Zeit, die t_{NDRT alloc}. und eine verlängerte Zeit („Rollen“) enthält. Die verlängerte Zeit ist durch die Zeit 112A dargestellt. Der Zeitraum 110 ist z. B. so gewählt, dass am Ende der zugewiesenen NDRT-Zeit 112 ein Übergang zur Überwachungszeit 114 und einer kurzen Überwachungszeit 116 (Periskop) vorgesehen ist.
11 stellt eine Ausführungsform einer FSM 185 zum Ausführen eines NDRT-Zuweisungsverfahrens dar, das auf das Identifizieren von NDRTs bezogene Merkmale enthält. Die FSM 185 ist konfiguriert, auf das Verhalten eines Anwenders zu reagieren, falls der Anwender versucht, eine nicht autorisierte NDRT auszuführen oder länger als eine vorgegebene Zeit unaufmerksam ist. Die FSM 185 enthält eine Fähigkeit, sowohl das Periskopieren als auch rollende NDRT-Zuweisungen auszuführen, ist aber nicht so eingeschränkt. Die FSM 185 kann z. B. konfiguriert sein, strenge Zuweisungen oder eine rollende Zuweisung (ohne Periskopieren) auszuführen.
Die FSM 185 enthält den Überwachungszustand 172, den NDRT-Anforderungszustand 174 und den NDRT-Zustand 176. Die FSM 185 enthält außerdem den Übergang zum Überwachungszustand 178 und den Überwachungszustand 180 in einer kurzen Periode. Die Übergänge zwischen diesen Zuständen sind oben bezüglich der FSM 170 beschrieben worden.
Die FSM 185 ist konfiguriert, Kameradaten, Sensordaten und/oder andere auf die Anwenderbedingung und das Anwenderverhalten bezogene Informationen zu empfangen. Falls das Verhalten des Anwenders angibt, dass der Anwender versucht, eine NDRT auszuführen (ohne Genehmigung vom System und ohne einen zugewiesenen NDRT-Zeitraum), geht die FSM 185 in einen Zustand 186 einer „nicht identifizierten NDRT“ über. Die Verhaltensweisen, die diesen Übergang auslösen können, enthalten Änderungen der Haltung, das Lenken des Blicks des Anwenders länger als die vorgegebene Zeit weg von der Straße (z. B. in Richtung der Infotainment-Schnittstelle, des Beifahrersitzes oder der hinteren Sitzbereiche usw.), das Versuchen des Anwenders, das Infotainmentsystem oder eine andere Fahrzeugschnittstelle in Anspruch zu nehmen, und das Verbalisieren des Anwenders einer Absicht, eine NDRT auszuführen.
Falls das Verhalten des Anwenders angibt, dass der Anwender beabsichtigt oder versucht, eine NDRT auszuführen, geht die FSM 185 in den Zustand 186 einer nicht identifizierten NDRT über. Wenn sie sich im Zustand 186 einer nicht identifizierten NDRT befindet, geht die FSM 185, falls sich Bedingungen ergeben, so dass der Anwender überwachen oder fahren sollte, sofort oder innerhalb der vorgegebenen Zeit in den Überwachungszustand über, wobei sie die NDRT grundsätzlich ablehnt. An diesem Punkt kann das System 80 dem Anwender angeben, dass die NDRT nicht verfügbar ist, und/oder eine Schätzung bezüglich dessen bereitstellen, wann das System 80 Zeit für die beabsichtigte NDRT zuweisen kann.
Falls die Bedingungen es zulassen, geht die FSM 185 in einen „Identifizieren-der-NDRT“-Zustand 188 über, wobei das System 80 versucht, die beabsichtigte NDRT zu identifizieren. Falls die NDRT identifiziert wird, konsultiert das System eine Nachschlagetabelle oder eine andere Datenstruktur, um die geschätzte Zeit für den Übergang zur Überwachung t_{transition->monitoring} zu bestimmen. Wenn die beabsichtigte NDRT nicht identifiziert wird, dann werden vorkonfigurierte feste Werte für t_{transition->monitoring} ausgewählt.
Falls t_{est non monitoring} größer als oder gleich t_{transition→monitoring} ist, geht die FSM 185 in den NDRT-Zustand 176 über. Falls t_{est non monitoring} kleiner als t_{transition->monitoring} ist, lehnt das System die identifizierte NDRT ab, wobei es in den Überwachungszustand 172 übergeht und die Ablehnung dem Anwender angibt. Alternativ kann das System, falls die Bedingungen es zulassen, versuchen, die t_{est non monitoring} zu vergrößern (z. B. durch Verringern der Geschwindigkeit, Wechseln auf die rechte Fahrspur usw.).
12 stellt ein Beispiel einer Prioritätswarteschlange 190 dar, die durch das System 80 verwendet werden kann, um die Zuweisung von Zeiträumen für verschiedene NDRTs (oder NDRT-Typen) zu koordinieren. Jede NDRT wird mit einer Anfangspriorität in die Prioritätswarteschlange 190 eingegeben. Wenn ein Eintrag ausgewählt wird, können die zugeordneten Zeiträume aus einem gespeicherten Datensatz in einer Datenbank oder anderswo extrahiert werden.
Die Warteschlange 190 ist durch einzelne NDRT-Einträge (NDRTi) gemäß einer Reihenfolge der Ausführung oder gemäß der Priorität befüllt. Wenn eine NDRT abgeschlossen ist, wird ihr Datensatz entfernt und werden die nachfolgenden NDRT-Einträge in der Warteschlange nach oben verschoben.
Die Warteschlange 190 enthält z. B. einen Eintrag mit niedriger Priorität für eine NDRT „Änderung der Fahrerposition“ 192. Eingehende E-Mails veranlassen, dass entsprechende Einträge gemäß der Priorität in die Warteschlange 190 eingefügt werden. In diesem Beispiel wird ein Eintrag 194 „eingehende E-Mail - dringend“ mit einer hohen Priorität an der Spitze der Warteschlange eingefügt. Ein Eintrag 196 „eingehende E-Mail - nicht dringend“ wird mit einer mittleren Priorität eingefügt.
Die NDRTs können ihre Priorität im Lauf der Zeit - folglich „dynamisch“ - ändern. Die Priorität einzelner Datensätze kann sich z. B. aufgrund von Änderungen des Fahrzeugs, des Anwenders oder der Umgebungsbedingungen ändern. Nachdem im Beispiel nach 12 eine Zeitdauer vergangen ist, kann das Verhalten des Fahrers angeben, dass eine Positionsänderung dringender ist. Als solchem wird dem Eintrag „Fahrerpositionsänderung“ 192 eine höhere Priorität zugewiesen, wobei er in der Warteschlange 190 nach oben verschoben wird.
13 stellt eine FSM 200 zum Ausführen eines Planungs- und Zuweisungsverfahrens dar, das mehrere NDRTs plant. In dieser Ausführungsform verwendet das System 80 eine Prioritätswarteschlange (z. B. die Warteschlange 190), um NDRT-Zeiträume optional mit Periskopieren zu planen. Die FSM 200 verwendet explizite oder implizite Angaben des Abschlusses, um zu bestimmen, wann eine NDRT abgeschlossen ist. Falls derartige Angaben nicht verfügbar sind, fährt das System 80 mit der NDRT-Zuweisung so lange wie möglich fort (solange es die t_{est non monitoring} zulässt), da t_{est non monitoring} kontinuierlich oder periodisch aktualisiert werden kann, um sicherzustellen, dass die Bedingungen das Zuweisen von NDRT-Zeiträumen erlauben. Ein „NDRT-im-Gange“-Parameter, der bestimmt, ob sich der Anwender inmitten einer NDRT befindet, wird auf „falsch“ initialisiert. Der Ort eines Eintrags in der Warteschlange wird als „x“ bezeichnet, während eine aktuelle NDRT als „NDRTx“ bezeichnet wird.
Eine NDRTx weist zwei definierende Werte auf: eine minimale erforderliche Zeit t_minNDRT(_X) und eine zusätzliche Zeit t_{transition→monitoring}(x), um aus einem spezifischen NDRT-Zustand in den Überwachungszustand zurückzukehren. Die NDRT-Einträge in der Warteschlange werden von der höchsten Priorität abwärts geprüft, falls sie dem Folgenden entsprechen: $t_{e s t n o n m o n i t o r i n g} \geq t_{m i n N D R T} (x) + t_{t r a n s i t i o n \to m o n i t o r i n g} (x),$
Wenn ja, wird die folgende Zeit für die NDRT zugewiesen: $t_{N D R T}_{a l l o c .} = t_{e s t n o n m o n i t o r i n g} - t_{t r a n s i t i o n \to m o n i t o r i n g} (x) .$
Dies könnte mehr sein, als für die spezifische NDRT erforderlich ist. In einem derartigen Fall gibt der Fahrer „erledigt“ an und kehrt zur Überwachung in einer kurzen Periode zurück, bevor er zu einer weiteren NDRT wechseln kann.
Noch in 13 enthält die FSM 200 den Überwachungszustand 172 und den Überwachungszustand 180 in einer kurzen Periode. Wenn sich die FSM 200 im Überwachungszustand 172 befindet, wird das Fahrzeug durch das System 80 verfolgt, um Bedingungen zu identifizieren, die dem Zuweisen einer überwachungsfreien Periode förderlich sein würden. Wenn ja, geht die FSM 200 in einen Zustand 206 „Finde eine NDRT in der Warteschlange“ über, in dem die NDRTx an der Spitze der Warteschlange durch das Vergleichen einer (basierend auf den Bedingungen geschätzten) Referenzzeit t_{est non monitoring} mit der Summe aus der minimalen NDRT-Zeit und den Zeiten, um zur Überwachung überzugehen, überprüft wird. Falls t_{est non monitoring} kleiner als die Summe ist, prüft das System 80 die nächste NDRT in der Warteschlange (NDRT(x + 1). Falls t_{est non monitoring} größer als die oder gleich der Summe ist, geht die FSM 200 in den Zustand 208 über, wobei sie dem Anwender die NDRTx vorschlägt. Falls der Anwender ablehnt, geht die FSM 200 zurück in den Zustand 206 über. Falls der Anwender annimmt, geht die FSM 200 in einen NDRT-Zustand 176 über, während dessen ein Zeitraum zugewiesen wird und das Fahrzeug dem Anwender vorübergehend erlaubt, die NDRTx auszuführen.
Sobald das System eine explizite Angabe des Abschlusses vom Anwender oder eine implizite Angabe empfängt, wird die NDRT abgeschlossen (NDRT um Gange = falsch) und wird die abgeschlossene NDRTx aus der Warteschlange entfernt.
Falls t_{est non monitoring} < t_{transition→monitoring} ist, wird der Übergang zur Überwachung im Zustand 178 ausgeführt. Falls die NDRTx nicht abgeschlossen ist, geht die FMS 200 in den Zustand 180 einer kurzen Überwachungsperiode über, wobei sie einen Überwachungszeitgeber initialisiert. Falls die NDRT gegenwärtig ausgeführt wird und der Überwachungszeitgeber einen minimalen Wert t_{monitoring min} erreicht, kehrt das System in den NDRT-Zustand 176 zurück. In dieser Weise wird eine kurze Überwachungsperiode in die zugewiesene NDRT-Zeit für eine spezifische NDRT eingefügt.
Falls t_{est non monitoring} < t_{transition->monitoring} ist, geht die FSM 200 zur Überwachung im Zustand 178 über. Falls die NDRTx abgeschlossen ist (NDRT im Gange = falsch), findet der Übergang in den Überwachungszustand 172 statt. Die NDRTx wird dann aus der Warteschlange entfernt und x wird auf null initialisiert. Falls zusätzliche Zeit zum Ausführen der NDRTs verfügbar ist, geht die FSM 200 zurück in den Zustand 206 über, wobei sie die NDRT gemäß der Warteschlange abermals prüft.
In einer Ausführungsform kann der Betrieb und/oder die Route des Fahrzeugs gesteuert werden, um Zeit für längere NDRTs zu ermöglichen oder diese anderweitig zu fördern. Falls mehrere Routen möglich sind, kann eine gegebene Route basierend auf auf die NDRT-Leistung bezogenen Kriterien ausgewählt werden. Das Bewerten der Routen basiert z. B. auf dem Bestimmen der kürzesten Route vorbehaltlich einer ausreichenden geschätzten NDRT-Zeit überall auf der Route, um die aktuellen NDRTs in der Warteschlange (z. B. jene, die durch den Fahrer angefordert werden) zu berücksichtigen. Dies ist eine Einstellung, die der Fahrer auf einer Seite der Vorlieben des Systems beeinflussen kann. Die Einstellung kann vorgegeben sein und/oder während des Fahrens dynamisch geändert werden.
Verfügbare Routen können als eine Menge S = {s₁, s₂, ..., s_k} von möglichen Routen dargestellt sein. Jede Route s_i weist zwei relevante Parameter auf: t_i und NDRT timet. Das Optimierungsproblem für das Wählen der bestmöglichen Route besteht darin, das Minimum ti unter der Einschränkung zu finden, dass NDRT time_i wenigstens irgendein geschätzter Wert basierend auf den angeforderten NDRTs des Fahrers ist.
Das System 80 kann außerdem die Fahrzeugdynamik einstellen, um die NDRTs zu berücksichtigen. Das System 80 identifiziert z. B. einen Bedarf an einer sofortigen NDRT (z. B. vor oder während des Fahrens geplant, explizite Anforderungen, positive NDRT-Handlungen, dringende E-Mail usw.). Das System 80 bestimmt dann, ob t_{est non monitoring} ausreichend ist, um einem Anwender zu erlauben, die NDRT auszuführen. Falls nicht, kann das System 80 den Fahrstil einstellen, um t_{est non monitoring} zu vergrößern. Nicht einschränkende Beispiele der Fahreinstellungen enthalten das Wechseln auf die Fahrspur ganz links und das Vermeiden zusätzlicher Fahrspurwechsel, das Verringern der Geschwindigkeit, das Einstellen der Geschwindigkeit, um einem weiteren Fahrzeug zu folgen, und das Vornehmen von Änderungen an einer Route.

Die folgende Tabelle veranschaulicht Beispiele für NDRT-Zeiten. Jede NDRT-Zeit ist einer spezifischen Aufgabe zugeordnet oder einem Typ von Aufgabe zugeordnet. Wie gezeigt ist, können NDRT-Zeiten als kurz und lang kategorisiert werden. Kurze Zeiten (Typ I) befinden sich typischerweise unter einer Minute und umfassen relativ einfache Aufgaben. Lange Zeiten (Typ II) sind typischerweise von längerer Dauer (Minuten bis Stunden) und umfassen eine hohe Konzentration. Diese Tabelle kann als eine Nachschlagetabelle konfiguriert und z. B. in der Datenbank 96 gespeichert sein.

Aufgaben (Verwendungsfälle) Typ I: kurz Typ II: lang und erfordern ein höheres Niveau der Aufmerksamkeit	min./max. geschätzte Zeit, um die Aufgabe abzuschließen	Zeit für den Übergang zur Überwachung	Geschätzte Zeit zur ausreichenden Überwachung „Periskop“	Zeit für den Übergang zum Fahren (enthält Stabilisierung)	Übergang zum Manövrieren
SMS-Lesen u. Diktat/Ti ppen	5-10 s	3 s (3-8 s)	5-10 s	2 s (2 LB, 3 UP)	2s (1 LB, 4 UP)
E-Mail-Lesen u. Diktat/Ti ppen	8-30 s	5 s (3-8 s)	5-10 s	3 s (2 LB, 5 UP)	3 s (1 LB, 4 UP)
Kurze Smartphone-Aktivität	5-10 s	3 s (3-8 s)	5-10 s	2 s (2 LB, 3 UP)	2 s (1 LB, 4 UP)
Besser im Fahrersitz befindlich werden, Ausziehen der Jacke usw. (Bequemlichkeit)	5-10 s	2 s (1-5 s)	3-6 s	2 s (2 LB, 3 UP)	2 s (1 LB, 4 UP)
Typ II: Videokonferenz	15-120 Minuten*	10 s (7 LB, 8 UP)	10-20 s	5 s (3 LB, 5 UP)	3 s (1 LB, 5 UP)

Die Ausführungsformen eines Anwenderwechselwirkungssystems 199 werden bezüglich der 14-23 beschrieben. Das Anwenderwechselwirkungssystem 199 ist konfiguriert, in Verbindung mit den hier beschriebenen Planungs- und Zuweisungssystemen und -verfahren zu arbeiten, und erleichtert sowohl die Planung und die Zuweisung als auch das Situationsbewusstsein des Anwenders. Das Anwenderwechselwirkungssystem 199 enthält eine visuelle Anzeige, die dem Anwender Informationen bereitstellt, einschließlich sich nähernder NDRT-Zuweisungen oder Gelegenheiten für NDRT-Zuweisungen (z. B. NDRT-Sicherheitssegmente und -Sicherheitsperioden), Fahrzeugzustände (z. B. NDRT-Zustand und Überwachungszustand), Schnittstellen zum Auswählen von NDRTs und Umgebungsinformationen, wie z. B. das Vorhandensein detektierter Objekte. Das Anwenderwechselwirkungssystem 199 enthält visuelle Merkmale (z. B. Soft-Schaltflächen und/oder auswählbare visuelle Elemente), physische Tasten und/oder eine akustische Erkennung, um dem Anwender zu ermöglichen, Eingaben bereitzustellen. Die Aspekte des Systems können als Teil in der HMI 90 oder einer anderen geeigneten Schnittstelle enthalten sein.
14 veranschaulicht die Wechselwirkungen zwischen dem Planungs- und Zuweisungsmodul 82, der HMI 90 oder einer anderen Schnittstelle und einem Anzeigesystem, das eine visuelle Anzeige 200 enthält. Das Anzeigesystem kann andere Komponenten, wie z. B. die Beleuchtung in einem Fahrzeugcockpit, akustische Komponenten und Haptik, enthalten. Wie gezeigt ist, erzeugt das Modul 82 einen zugewiesene Zeitraum 110 basierend auf NDRT-Anforderungen, einer Eingabe von einem Anwender über die HMI 90 und/oder Anwender- und Umgebungsbedingungen. Die Anzeige 200 enthält Wechselwirkungsmerkmale (z. B. Soft-Schaltflächen und auswählbare Menüs in der Infotainment-Schnittstelle des Fahrzeugs) und stellt eine Darstellung der Fahrzeugtrajektorie und/oder detektierter Objekte (z. B. andere Fahrzeuge, andere Verkehrsteilnehmer usw.) in der Umgebung bereit. Die Anzeige 200 stellt außerdem zusätzlich zur Darstellung Informationen zur Situationswahrnehmung bereit.
Das Anwenderwechselwirkungssystem 199 unterstützt verschiedene Formen der Anwendereingabe, wie z. B. Berührungsschirmeingaben (z. B. Soft-Schaltflächen in der Anzeige 200 und/oder einen Berührungsschirm einer Mobilvorrichtung), Eingaben über eine Heads-up-Display (HUD), akustische oder Spracheingaben über ein Mikrophon und implizite Eingaben, die aus der Verfolgung oder Überwachung der Anwenderbedingung und des Anwenderverhaltens abgeleitet werden (z. B. Augenverfolgung).
Die Ausgaben enthalten Affordanzen (d. h., Warnungen, Angaben und/oder Visualisierungen, die den Anwender auffordern, zu handeln, um eine NDRT auszuführen, oder den Anwender darüber informieren, dass das Fahrzeug in Anbetracht aller äußeren Bedingungen zum Ausführen einer NDRT förderlich ist) und Zuweisungen von Zeiträumen für NDRTs, Anzeigemerkmale (z. B. Farbe, Darstellungen des Fahrzeugwegs und der Umgebung), angezeigte Zeitgeberinformationen (z. B. verbleibende Zeit eines zugewiesenen Zeitraums oder t_{NDRT Alloc}.) und Informationen zur Situationswahrnehmung. Die Informationen zur Situationswahrnehmung können über eine Kombination von einer oder mehreren Modalitäten bereitgestellt werden, wie z. B. visuelle Darstellungen, Lichter, Töne (gerichtet oder ungerichtet) und Haptik (gerichtet oder ungerichtet). Wie hier ferner erörtert wird, enthalten die Ausgaben z. B. Trajektorieninformationen und eine visuelle Angabe (z. B. gestrichelte Linien) eines bevorstehenden Bereichs oder Segments, der bzw. das für die Zuweisung einer überwachungsfreien Periode förderlich ist, optional mit zusätzlichen Warteschlangen (z. B. Ton und/oder Haptik), wenn sich das Fahrzeug dem Bereich nähert.
Die 15-23 stellen Ausführungsformen von Komponenten des Anwenderwechselwirkungssystems 199 und Aspekte eines Verfahrens zum Managen von Anwenderwechselwirkungen und zum Steuern des Fahrzeugbetriebs dar. Spezifisch stellen die 15-21 die Ausführungsformen der Anzeige 200 dar. Die Anzeige 200 kann eine Cluster-Anzeige der Instrumententafel, wie gezeigt ist, eine Spiegelanzeige (hinten oder seitlich), eine Heads-up-Anzeige oder eine andere geeignete Anzeige oder eine Kombination von Anzeigen sein. In dieser Ausführungsform befindet sich die Anzeige 200 in der Instrumententafel eines Fahrzeugs und hinter einem Lenkrad 202. Die Anzeige 200 enthält eine animierte Straßengraphik oder Anzeige 204 des Fahrzeugs und eine Trajektorie oder einen Weg des Fahrzeugs (z. B. entlang einer Fernverkehrsstraße oder einer anderen Straße), eine Soft-Schaltfläche 205 und eine graphische Infotainment-Schnittstelle oder Infotainment-Graphik 209.
Wie in 15 gezeigt ist, stellt die Straßenanzeige 204 während des Fahrens Indikatoren, wie z. B. visuelle Wegmarkierungen 210, bereit, die den Weg oder die Trajektorie des Fahrzeugs charakterisieren. Die Wegmarkierungen 210 können Linien sein, wie gezeigt ist, oder irgendein anderes geeignetes graphisches Element, wobei sie farbcodiert sind, um die Stufe der Automatisierung des Fahrzeugs anzugeben.
In den 15 und 16 gibt die Straßenanzeige 204 an, dass eine NDRT ausgeführt werden kann, wenn die Wegmarkierungen 210 grün sind, wobei eine zusätzliche visuelle Darstellung der Anzeige 200, wie z. B. Sicherheitssegmentmarkierungen 214, als ein Indikator auf der Anzeige erscheint, um anzugeben, dass sich die Fahrzeugumgebung nun in einem Bereich oder Segment (zulässigen Bereich) befindet oder sich diesem nähert, der für NDRTs förderlich ist. Die Sicherheitssegmentmarkierungen 214 sind in einer Ausführungsform gestrichelte weiße Linien, die einen Abschnitt der Wegmarkierungen 210 überlagern, obwohl irgendeine geeignete Markierung oder visuelle Darstellung in irgendeiner gewünschten Farbe verwendet werden kann. Wie in 15 gezeigt ist, geben die Sicherheitssegmentmarkierungen 214 an, dass sich das Fahrzeug einem „NDRT-Sicherheitssegment“ nähert, während dessen eine NDRT ausgeführt werden kann. Falls das NDRT-Sicherheitssegment nur in der Zukunft verfügbar ist, kann über die Routenplanung eine Visualisierung in einem größeren Maßstab verfügbar sein, um zu zeigen, wann es möglich ist, zu beginnen, und wann es enden wird. In diesem Stadium sind in einer Ausführungsform die Merkmale der Infotainment-Graphik 209 (z. B. „Meine Aufgaben“) deaktiviert.
16 stellt die Anzeige dar, wenn sich das Fahrzeug innerhalb eines NDRT-Sicherheitssegments befindet, und zeigt, dass alle oder die meisten der Wegmarkierungen 210 durch die Sicherheitssegmentmarkierungen 214 überlagert oder ersetzt sind. An diesem Punkt ist kein Zeitgeber aktiviert.
Zusätzlich kann ein Lenkradindikator 212, wie z. B. eine Reihe von LED-Leuchten entlang einem Abschnitt des Lenkrads 202, die Wegmarkierungen 210 und die NDRT-Sicherheitssegmentmarkierungen 214 ergänzen. Der Lenkradindikator 212 ist außerdem farbcodiert, um der Farbcodierung der Fahrzeugweg- und NDRT-Sicherheitssegmentmarkierungen zu entsprechen (z. B. kann die Farbcodierung des Lenkrads grün mit weißen gestrichelten Linien 201 sein, die der Farbe und dem Darstellungsformat des NDRT-Sicherheitssegments in der Straßenanzeige 204 entsprechen).
In der Anzeige 200 und/oder an verschiedenen Orten innerhalb des Fahrzeugcockpits können zusätzliche Indikatoren enthalten sein. Wie in 17 gezeigt ist, ist z. B. eine farbige Umrandung 216 um die Infotainment-Schnittstelle 209 vorgesehen, um anzugeben, dass sich das Fahrzeug in einem NDRT-Sicherheitssegment befindet und dass das Infotainmentsystem aktiviert worden ist. Die Soft-Schaltfläche 205 kann außerdem eine (nicht gezeigte) Umrandung enthalten, die mit der Umrandung 216 übereinstimmt (z. B. mit der Farbe der Umrandung 216 übereinstimmt). Die Umrandung 216 kann konfiguriert sein, basierend auf einer Anwenderanforderung (z. B. über eine Eingabe durch den Anwender, eine Berührung auf der der Infotainment-Schnittstelle, den Blick des Anwenders, der auf die Infotainment-Schnittstelle 209 gerichtet ist, und irgendeinen anderen Typ von Anforderung) aktiviert zu werden (zu erscheinen oder eingeblendet zu werden) und den Anwender schnell zu informieren. Falls in einer Ausführungsform das Planungs- und Zuweisungssystem anfordert, das der Anwender die Steuerung über das Fahrzeug übernimmt, wird die Umrandung 216 synchron mit der Farbe des Lenkrads gelb oder rot.
In einer Ausführungsform weist die Farbe die Fahrzeugwegmarkierungen 210, der Umrandung 216 und der Lenkradanzeige 212 alles die gleiche Farbe auf, die so gewählt sein kann, dass sie sich von der Farbe anderer Objekte oder Fahrzeuge unterscheidet, die durch die Straßenanzeige 204 dargestellt werden. Die Farbe der Fahrzeugwegmarkierungen ist z. B. grün mit weißen gestrichelten Linien, wenn sie sich in einem Sicherheitssegment befinden, einfarbig grün in automatisierten Straßensegmenten, gelb in Reaktion auf eine nicht dringende Systemanforderung zur Übernahme und rot, wenn keine Zuweisung verfügbar ist (z. B. die Bedingungen für NDRTs nicht förderlich sind oder der Anwender infolge einer dringenden Bedingung verfügbar sein sollte, die Steuerung zu übernehmen). Es können irgendwelche verschiedene Farbschemata verwendet werden. Falls ein Fahrzeug z. B. bereits ein grün-gelb-rotes Farbschema für andere Zwecke verwendet, kann eine zusätzliche Farbe (z. B. Magenta) oder Textur verwendet werden, um die NDRT-Zuweisungen zu unterscheiden.
Wenn sich das Fahrzeug in einem „NDRT-Sicherheitsbereich“ befindet, der einem Sicherheitssegment entspricht, wird die Zuweisung eines Zeitraums und der Eintritt in den NDRT-Zustand erlaubt und können NDRT-Sicherheitssegmentmarkierungen 214 erscheinen. Die Zeit, während der sich das Fahrzeug in einem NDRT-Sicherheitsbereich befindet, wird als „NDRT-Sicherheitsperiode“ bezeichnet. Während der NDRT-Sicherheitsperiode kann eine NDRT oder können NDRTs ausgewählt und Zeit für deren Ausführung zugewiesen werden.
Wenn das Zuweisungs- und Planungssystem 80 entscheidet, dass es sicher ist, eine NDRT auszuführen, kann eine einzelne oder multimodale Warnung erzeugt werden, wobei die Merkmale der Infotainment-Graphik 209 (z. B. „Meine Aufgaben“) freigegeben werden und für die Wechselwirkung offen sind. Zusätzlich veranlasst das Wechselwirkungssystem 199, dass die Umrandung 216 in der Anzeige 200 (z. B. in Reaktion auf den Blick eines Anwenders und/oder nach der Bestimmung, dass es sicher ist, die zuvor angeforderte NDRT auszuführen) erscheint, wobei es eine Warnung in der Form eines gleichmäßigen Lichts oder eines dezent pulsierenden Lichts, eines kurzen angenehmen Tons und/oder einer Haptik einschließlich eines oder mehrerer Pulsationen des Lenkrads, einer Vibration und anderer bereitstellt. Die Warnung informiert den Anwender, dass eine NDRT ausgeführt werden kann oder eine Zuweisung angefordert werden kann. In Verbindung mit dem Einblenden der Umrandung 216 kann z. B. ein Merkmal „Meine Aufgaben“ eine Liste von Anwenderanfragen und/oder eine Liste von durch das System erzeugten Empfehlungen für NDRTs (z. B. aus einer dynamischen Warteschlange) zeigen, die der Anwender auswählen kann. Die aktuellen Aktivitäten werden verfolgt, wobei nicht abgeschlossene und geplante Aufgaben in der Liste bleiben (nicht abgeschlossene Aufgaben z. B. an der Spitze bleiben). Es kann eine zusätzliche Warteschlange bereitgestellt sein, um den Anwender zu informieren, wenn er sich am Ende eines NDRT-Sicherheitssegments befindet oder sich diesem nähert.
In einer Ausführungsform enthält das Wechselwirkungssystem 199 einen adaptiven Zeitgeber, der konfiguriert ist, die verbleibende Zeitdauer in einem zugewiesenen Zeitraum oder die verbleibende Zeit, damit der Anwender eine NDRT anfordert, zu verfolgen, wie in 17 gezeigt ist. Nach einer Anwenderanforderung, einer direkten Eingabe oder einer Blickaktivierung und wenn das Fahrzeug in einen Bereich einfährt, der dem NDRT-Sicherheitssegment entspricht, erscheint z. B. allmählich die Umrandung 216, wobei der Zeitgeber aktiviert wird. Der Zeitgeber kann in irgendwelchen geeigneten Formaten angezeigt werden. Die Soft-Schaltfläche 205 enthält z. B. ein Countdown-Symbol, das eine oder mehrere Zeitmarken 207 (z. B. als eine Zahl auf der Soft-Schaltfläche 205 und/oder am Rand der Schaltfläche 205) enthält. Wann immer in ein NDRT-Sicherheitssegment eingefahren und es aktiviert wird und/oder bei jeder NDRT-Auswahl aus dem „Meine-Aufgaben“-Merkmal, wenn in einem NDRT-Sicherheitsbereich, wird der Zeitgeber regeneriert. Der Zeitgeber regeneriert sich z. B., nachdem eine kurze Überwachungsperiode (Periskopieren) angewendet worden ist, oder wann immer eine zugewiesene überwachungsfreie Periode endet oder unterbrochen wird.
Wie im Folgenden weiter erörtert wird, können einer oder mehrere der Indikatoren basierend auf einer direkten Anwendereingabe (z. B. über den Anwender, der die Soft-Schaltfläche drückt, oder über Sprache) oder implizit darauf basierend, wohin der Anwender blickt, wie durch die Blickdetektion oder andere Mittel zur Anwenderaufmerksamkeitsverfolgung bestimmt wird, aktiviert und deaktiviert werden. Die Umrahmung 216 (wenn sich das Fahrzeug in einem Sicherheitsbereich befindet) erscheint z. B., wenn der Blick des Anwenders auf die Infotainment-Graphik 209 gerichtet ist, und gibt an, dass es sicher ist, mit der Graphik 209 in Wechselwirkung zu treten.
In einer Ausführungsform berücksichtigt das Anwenderwechselwirkungssystem 199 das Periskopieren (d. h., die Bereitstellung einer kurzen Überwachungsperiode innerhalb eines zugewiesenen Zeitraums oder zwischen den NDRTs). Wenn der Anwender oder die Anwenderin z. B. während eines zugewiesenen Zeitraums (das Fahrzeug befindet sich im NDRT-Zustand) seinen oder ihren Blick von der Infotainment-Schnittstelle 209 zurück auf die Straße verlagert, werden die Countdown-Marken 207 und die Umrandung 216 ausgeblendet. Eine neue Aktivierung des Infotainment-Bereichs (z. B. durch Rückkehr des Blicks auf die Infotainment-Oberfläche 209) setzt den Zeitgeber zurück. Bei Abschluss einer NDRT kann der Anwender das System 199 durch Sprache, Wegwischen der Aufgabe, Drücken der Soft-Schaltfläche 205 oder in irgendeiner anderen geeigneten Weise benachrichtigen.
Die Indikatoren können in Verbindung mit dem Zeitgeber arbeiten, um den Anwender in einer subtilen Weise bezüglich der verbleibenden Zeit zu informieren. Wenn der Zeitgeber herunterzählt, kann z. B. die Umrandung 216 allmählich verblassen, bis der Zeitgeber endet, und optional pulsieren. Haptische Indikatoren können in Abstimmung mit der Umrandung 216 arbeiten, um anzugeben, dass sich der Fahrzeugweg und das NDRT-Sicherheitssegment dem Ende zuneigen. Es kann z. B. ein angenehmer, aber fester Ton erklingen, wobei der Fahrzeugsitz außerdem vibrieren kann. Eine haptische Vorrichtung im Lenkrad 202 kann mit einer Frequenz pulsieren, die mit der Pulsation der Umrandung 216 synchronisiert ist. Außerdem können die Indikatoren in dieser Weise arbeiten, um den Beginn einer NDRT-Sicherheitsperiode anzugeben.
Zusätzlich zu den obigen Informationen kann die Anzeige 200 konfiguriert sein, situationsbezogene Wahrnehmungsinformationen hinsichtlich detektierter Objekte in der Umgebung um das Fahrzeug, wie z. B. anderer Fahrzeuge und Verkehrsteilnehmer, und/oder irgendwelcher anderer Merkmale oder Objekte in der Umgebung bereitzustellen. Wie in den 18 und 19 gezeigt ist, wird z. B. die Situationswahrnehmung durch einen oder mehrere Richtungsanzeiger 218 unterstützt. In den Beispielen nach den 18 und 19 wird ein Indikator 218 auf eine Stelle der Umrandung 216 als ein Abschnitt mit einer anderen Farbe und/oder Helligkeit projiziert. Außerdem können Ton- und/oder haptische Indikatoren enthalten sein, um die Richtungsinformationen des Beobachtungsobjekts oder irgendeines anderen Verkehrsteilnehmers zu beweisen.
Der Anwender kann jederzeit während der NDRT-Sicherheitsperiode eine NDRT anfordern. Die Anforderung kann per Sprache ausgeführt werden, wobei die erforderliche Aufgabe, ihre geschätzten Dauern und/oder die für ihre Ausführung erforderlichen Bedingungen in natürlicher Sprache spezifiziert werden. Alternativ kann der Anwender eine Anforderung vornehmen, ohne irgendwelche weiteren Einzelheiten bereitzustellen. Überdies kann der Anwender entscheiden, eine NDRT in einer informellen Weise zu starten, wie z. B. durch das Verfolgen des Anwenders (ohne irgendeine Anforderung) detektiert wird. Falls in diesem Fall die NDRT unterstützt werden kann, wird das System 80 sie zulassen. Falls die NDRT nicht unterstützt werden kann, lehnt das System 80 sie ab, optional mit irgendeiner Erklärung und/oder einer Warnmeldung und Markierungen auf der Straßenanzeige 204, die angeben, ob und wann das NDRT-Sicherheitssegment verfügbar wird.
Falls sich das Fahrzeug nicht in einem NDRT-Sicherheitsbereich befindet, können die Eingabemerkmale der Anzeige 200 deaktiviert sein. Die Wechselwirkung mit dem Meine-Aufgaben-Bereich der Infotainment-Graphik 209 ist z. B. deaktiviert. Falls der Anwender die Infotainment-Graphik 209 berührt oder mit ihr in Wechselwirkung tritt, kann die Anzeige 200 den Anwender in verschiedenen Weisen benachrichtigen, dass Meine Aufgaben deaktiviert ist, warum sie deaktiviert ist und wann sie wieder verfügbar gemacht wird. Diese Benachrichtigung kann visuell erfolgen, z. B. durch die Umrandung 216, die grau oder eine weitere Farbe wird, um anzugeben, dass sich das Fahrzeug außerhalb eines NDRT-Sicherheitssegments befindet. Diese Benachrichtigung kann außerdem in der Form von Sprache stattfinden. Das System 199 kann z. B. nach einer Anforderung aufgelistete Aufgaben vorlesen, einschließlich wie lang es beansprucht, die nächste NDRT-Sicherheitszone zu erreichen, und dem Anwender ermöglichen, eine Anforderung zu stellen, die durch das System 80 zu einem späteren Zeitpunkt erledigt oder behandelt wird.
Die 17-20 veranschaulichen ein Beispiel eines Prozesses, der durch das Anwenderwechselwirkungssystem 199 ausgeführt wird. In diesem Beispiel entscheidet das System 199 nach einer Anwenderaktivierung, dass es tatsächlich sicher ist, eine NDRT auszuführen. Die Straßenanzeige 204 zeigt, dass sich das Fahrzeug innerhalb eines NDRT-Sicherheitsbereichs befindet. Wie in 17 gezeigt ist, sind die Fahrzeugwegmarkierungen 210 grün, ist der Lenkradindikator 212 grün (optional mit weißen gestrichelten Linien 201 oder einem anderen geeigneten Indikator) und ist die NDRT-Sicherheitssegmentmarkierung im Abschnitt 214 aktiv. An diesem Punkt wird der Meine-Aufgaben-Abschnitt freigegeben, optional von einem kurzen angenehmen Ton und einem sanften Pulsieren des Lenkrads 202 begleitet, um anzugeben, dass es sicher ist, mit dem Infotainmentsystem in Wechselwirkung zu treten und/oder irgendeine andere NDRT auszuführen.
Wie in 20 gezeigt ist, berührt der Anwender den Meine-Aufgaben-Abschnitt, was verursacht, dass eine Liste von Aufgaben angezeigt wird. Die Liste kann geplante Aufgaben und/oder Aufgaben enthalten, die für die Auswahl verfügbar sind oder durch das System 199 empfohlen werden. Der Anwender kann durch die Infotainment-Graphik 209 browsen und navigieren und andere Aufgaben auswählen, die nicht aufgelistet sind, wobei das Planungsmodul 82 sie im Hintergrund hinzufügen kann. 18 zeigt die Anzeige 200 mit einer geöffneten aktiven Aufgabe.
Wenn der Anwender eine NDRT auswählt, wird ein Zeitraum zugewiesen und wird ein Countdown auf der Soft-Schaltfläche 205 gezeigt. Die Countdown-Markierungen 207 weisen die gleiche Farbe wie die Fahrzeugwegmarkierungen 210 und die NDRT-Sicherheitssegmentmarkierung 210 auf, wenn eine neue Aufgabe beginnt. Wenn der Anwender eine Offline-Aufgabe (d. h., eine kurze Aufgabe, wie z. B. das Umdrehen zum Rücksitz) ausführen möchte, die nicht aufgelistet ist, kann der Anwender die Schaltfläche 205 unabhängig von der gewählten NDRT betätigen, was eine feste Zeit (z. B. 10 Sekunden) zuweist. Das Drehen des Blicks kann die Randbeleuchtung aktivieren (siehe z. B. 22). Wenn neue Objekte und andere Verkehrsteilnehmer detektiert werden, wird die Umrandung 216 aktualisiert, um die geeigneten Richtungsanzeiger zu enthalten. Beim Abschluss einer NDRT benachrichtigt der Anwender das System per Sprache, wischt die Aufgabe weg oder drückt die Schaltfläche auf dem Schirm
Wie in 21 gezeigt ist, färben sich die Fahrzeugwegmarkierungen 210, die Umrandung 216 und die Lenkradanzeige 212 rot (oder in einer anderen geeigneten Farbe) und können mit einer hohen Frequenz mit scharfen Impulsen pulsieren, um den Anwender zu warnen, falls der zugewiesene Zeitraum abläuft und das System die NDRT nicht „rollend“ verlängern kann. Dies kann außerdem stattfinden, wenn eine Bedingung, die es erfordert, dass der Anwender das Ausführen einer NDRT stoppt und die Überwachung übernimmt, oder eine dringende Bedingung, die es erfordert, dass der Anwender die NDRT stoppt und die Steuerung übernimmt, detektiert wird.
22 zeigt ein Beispiel zusätzlicher Indikatoren, die in Verbindung mit der Anzeige 200 und dem Lenkradindikator 212 arbeiten. In diesem Beispiel befinden sich die zusätzlichen Indikatoren in der Form eines Leuchtbandes 226 mit einer Farbe, die der Farbe des Fahrzeugwegs mit der Sicherheitssegmentmarkierung 214, der Umrandung 216 und dem Lenkradindikator 212 entspricht. Das Leuchtband 226 erstreckt sich um die Fahrzeugkabine. Die Abschnitte des Leuchtbandes 226 können konfiguriert sein, basierend auf der Blickrichtung ein- und ausgeblendet zu werden, und können außerdem Richtungsobjektindikatoren 228 (Bereiche mit unterschiedlicher Farbe oder Helligkeit) enthalten, um die Richtung von Objekten in der Umgebung anzugeben.
Die Aspekte des Anwenderwechselwirkungssystems können in eine Mobilvorrichtung aufgenommen sein, die mit dem Zuweisungssystem und der Anzeige koordiniert ist. Wie in 23 gezeigt ist, kann z. B. eine Mobilvorrichtung 230 mit einer Anwendung ausgestattet sein, die es dem Anwender ermöglicht, NDRTs anzufordern, den NDRT-Abschluss anzugeben, über Zustandsänderungen und NDRT-Segmente und/oder andere Funktionen des Zuweisungs- und Steuerungssystems und des Wechselwirkungssystems benachrichtigt zu werden. Die Anwendung veranlasst die Mobilvorrichtung 230, einen Indikator 236 um eine Umrandung der Anzeige der Mobilvorrichtung anzuzeigen. Der Indikator 236 kann außerdem Richtungsanzeiger 238 enthalten, die basierend auf der Richtung der detektierten Objekte positioniert sind.
Die hier verwendete Terminologie ist nur für den Zweck des Beschreibens spezieller Ausführungsformen und ist nicht vorgesehen, die vorliegende Offenbarung einzuschränken. Wie sie hier verwendet werden, ist vorgesehen, dass die Einzahlformen „ein“, „eine“ und „der/die/das“ ebenfalls die Mehrzahlformen enthalten, wenn es der Kontext nicht eindeutig anderes angibt. Es wird ferner erkannt, dass die Begriffe „umfasst“ und/oder „umfassend“, wenn sie in dieser Patentschrift verwendet werden, das Vorhandensein der dargelegten Merkmale, ganzen Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber das Vorhandensein oder die Ergänzung eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen.
Während die obige Offenbarung bezüglich beispielhafter Ausführungsformen beschrieben worden ist, wird durch die Fachleute auf dem Gebiet erkannt, dass verschiedene Änderungen vorgenommen und Äquivalente für deren Elemente ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Zusätzlich können viele Modifikationen vorgenommen werden, um eine spezielle Situation oder ein spezielles Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Schutzumfang abzuweichen. Deshalb ist vorgesehen, dass die vorliegende Offenbarung nicht auf die offenbarten speziellen Ausführungsformen eingeschränkt ist, sondern alle Ausführungsformen enthält, die in ihren Schutzumfang fallen.

Claims

System zur Anwenderwechselwirkung mit einer automatisierten Vorrichtung, das umfasst: ein Steuersystem, das konfiguriert ist, die Vorrichtung in einer Betriebsart zu betreiben, wobei die Betriebsart einem ersten Zustand entspricht, in dem das Steuersystem den Vorrichtungsbetrieb automatisch steuert, wobei die Betriebsart vorschreibt, dass ein Anwender den Vorrichtungsbetrieb während der automatisierten Steuerung überwacht, wobei das Steuersystem konfiguriert ist, einen Zeitraum für die Vorrichtung zuzuweisen, um in einen temporären Zustand überzugehen, in dem die automatisierte Steuerung aufrechterhalten wird und es dem Anwender erlaubt ist, die Überwachung zu stoppen und eine Aufgabe auszuführen, die nicht auf den Vorrichtungsbetrieb bezogen ist; und ein Anwenderwechselwirkungssystem, das eine visuelle Anzeige enthält, die konfiguriert ist, dem Anwender Trajektorieninformationen, eine Angabe bezüglich dessen, ob ein Bereich förderlich ist, die Vorrichtung in den temporären Zustand zu versetzen, und Zeitraum-Zuweisungsinformationen zu präsentieren, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung eines oder mehrerer zugewiesener Zeiträume zu managen.
System nach Anspruch 1, wobei die Vorrichtung ein Fahrzeug ist und die Aufgabe eine nicht auf das Fahren bezogene Aufgabe (NDRT) ist.
System nach Anspruch 1, wobei die Angabe eine Darstellung eines zulässigen Bereichs enthält, der die Trajektorie schneidet, wobei der zulässige Bereich förderlich ist, die Vorrichtung in den temporären Zustand zu versetzen.
System nach Anspruch 3, wobei die visuelle Anzeige einen ersten Indikator enthält, der konfiguriert ist, den Anwender bezüglich dessen zu informieren, ob sich die Vorrichtung innerhalb des zulässigen Bereichs befindet, und das Anwenderwechselwirkungssystem einen adaptiven Zeitgeber enthält, der konfiguriert ist, den Anwender bezüglich einer für den Anwender verbleibenden Zeitdauer zu informieren, um die Aufgabe auszuführen.
System nach Anspruch 4, wobei die visuelle Anzeige wenigstens eines des Folgenden enthält: einen zweiten Indikator, der konfiguriert ist, eingeblendet zu werden, wenn der Blick des Anwenders auf die visuelle Anzeige gerichtet ist, und ausgeblendet zu werden, wenn der Blick des Anwenders von der visuellen Anzeige weg gerichtet ist; und einen Richtungsanzeiger, der konfiguriert ist, eine Richtung eines detektierten Objekts oder einer Bedingung in einer Umgebung um die Vorrichtung anzugeben.
System nach Anspruch 4, wobei das Anwenderwechselwirkungssystem eine Mobilvorrichtungsanwendung enthält, wobei die Mobilvorrichtungsanwendung konfiguriert ist, einen zweiten Indikator in Abstimmung mit dem ersten Indikator zu präsentieren.
System nach Anspruch 1, wobei das Anwenderwechselwirkungssystem konfiguriert ist, dem Anwender eine Warnung zu präsentieren, wenn die Vorrichtung in den temporären Zustand eintreten kann, wobei die Warnung wenigstens eine einer visuellen Warnung, einer akustischen Warnung oder einer haptischen Warnung enthält.
System nach Anspruch 1, wobei das Anwenderwechselwirkungssystem konfiguriert ist, die Zuweisung des Zeitraums basierend auf einem Detektieren einer dringenden Bedingung, die einen Übergang vom ersten Zustand in einen manuellen Zustand rechtfertigt, zu verhindern.
Verfahren zum Steuern einer automatisierten Vorrichtung, das umfasst: Betreiben der Vorrichtung in einer Betriebsart, wobei die Betriebsart einem ersten Zustand entspricht, in dem das Steuersystem den Vorrichtungsbetrieb automatisch steuert, wobei die Betriebsart vorschreibt, dass ein Anwender die Vorrichtungsbetrieb während der automatisierten Steuerung überwacht; Empfangen über ein Anwenderwechselwirkungssystem einer Anforderung für den Anwender, die Überwachung vorübergehend zu stoppen, um eine nicht auf den Vorrichtungsbetrieb bezogene Aufgabe auszuführen, und Zuweisen eines Zeitraums für die Vorrichtung, um in einen temporären Zustand überzugehen, in dem die automatische Steuerung aufrechterhalten wird und dem Anwender erlaubt ist, die Überwachung zu stoppen und eine nicht auf den Vorrichtungsbetrieb bezogene Aufgabe auszuführen; und Präsentieren von Trajektorieninformationen, einer Angabe bezüglich dessen, ob ein Bereich förderlich ist, die Vorrichtung in den temporären Zustand zu versetzen, und von Zeitraum-Zuweisungsinformationen über eine visuelle Anzeige des Anwenderwechselwirkungssystems an den Anwender, wobei das Anwenderwechselwirkungssystem eine Schnittstelle enthält, die durch den Anwender aktivierbar ist, um die Planung eines oder mehrerer zugewiesener Zeiträume zu managen.
Verfahren nach Anspruch 9, wobei der zugewiesene Zeitraum eine überwachungsfreie Periode mit einer Dauer basierend auf einer Zeitdauer, um die Aufgabe abzuschließen, enthält, wobei das Verfahren das Versetzen der Vorrichtung in den temporären Zustand bei Beginn des zugewiesenen Zeitraums umfasst.