DE102020124633A1

DE102020124633A1 - Kontextsensitive anpassung einer geländeblickzeit

Info

Publication number: DE102020124633A1
Application number: DE102020124633.1A
Authority: DE
Inventors: Ariel Telpaz; Michael Baltaxe; Donald K. Grimm; Gila Kamhi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-10-23
Filing date: 2020-09-22
Publication date: 2021-04-29
Also published as: US20210125521A1; CN112699721A; CN112699721B; US11587461B2

Abstract

Verfahren und Systeme beinhalten das Bereitstellen von Informationen aus einer oder mehreren Quellen, um einen Echtzeitkontext zu bestimmen. Ein Verfahren umfasst das Bestimmen einer Situationsbewusstseins-Punktzahl, die auf der Grundlage des Echtzeitkontext ein erforderliches Level an Wachsamkeit anzeigt, das erhalten von Bildern von Augen eines Fahrers, um ein Blickmuster des Fahrers zu erkennen, das Bestimmen einer relevanten Aufmerksamkeits-Punktzahl, die ein Level an Engagement des Fahrers im Echtzeitkontext anzeigt, auf der Grundlage eines Abgleichs zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext, und das Erhalten von Bildern des Fahrers, um das Verhalten des Fahrers zu erkennen. Es wird eine Fahrerbereitschafts-Punktzahl bestimmt, die ein Level der Bereitschaft des Fahrers anzeigt, das Fahren des Fahrzeugs wiederaufzunehmen, basierend auf dem Verhalten des Fahrers. Auf der Grundlage der Situationsbewusstseins-Punktzahl, der relevanten Aufmerksamkeits-Punktzahl und der Fahrerbereitschafts-Punktzahl wird eine Geländeblickzeit ermittelt.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich auf die kontextsensitive Anpassung einer Geländeblickzeit.
Semiautonome Fahrzeugsysteme automatisieren viele Aspekte des Betriebs eines Fahrzeugs (z.B. PKW, LKW, landwirtschaftliche Geräte, Baumaschinen, automatisierte Fabrikausrüstung). Zu den semiautonomen Fahrzeugsystemen gehören Kollisionsvermeidung, automatisiertes Bremsen und ähnliches. Einige semiautonome Fahrzeugsysteme (z.B. Super Cruise) erleichtern das Freihandfahren. Diese Freihandfahrsysteme bieten in der Regel ein festes Intervall (als - Geländeblickzeit bezeichnet), während dessen der Fahrer von der Straße wegblicken darf. Basierend auf der Echtzeitsituation kann diese feste Geländeblickzeit jedoch zu kurz oder zu lang sein. Dementsprechend ist es wünschenswert, eine kontextsensitive Anpassung der Geländeblickzeit vorzusehen.
BESCHREIBUNG
In einer beispielhaften Ausführungsform umfasst ein Verfahren zur Anpassung einer Zeitdauer, während der ein Fahrer, der einen Freihandmodus eines semiautonomen Fahrzeugs benutzt, möglicherweise unaufmerksam auf eine Fahrbahn ist, das Bereitstellen von Informationen aus einer oder mehreren Quellen, um einen Echtzeitkontext zu bestimmen. Der Echtzeitkontext gibt mindestens eine Geschwindigkeit des Fahrzeugs und eine Entfernung zu einem Ziel an. Die eine oder mehrere Quellen umfassen einen oder mehrere Sensoren des Fahrzeugs. Das Verfahren umfasst das Bestimmen einer Situationsbewusstseins-Punktzahl, die auf der Grundlage des Echtzeitkontextes ein erforderliches Level an Wachsamkeit anzeigt, das Erhalten von Bildern von Augen des Fahrers zur Erkennung eines Blickmusters des Fahrers und das Bestimmen einer relevanten Aufmerksamkeits-Punktzahl, die ein Level an Engagement des Fahrers im Echtzeitkontext anzeigt, auf der Grundlage eines Abgleichs zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext. Es werden Bilder des Fahrers erhalten, um das Verhalten des Fahrers zu erkennen. Es wird eine Fahrerbereitschafts-Punktzahl ermittelt, die auf der Grundlage des Verhaltens des Fahrers ein Level der Bereitschaft des Fahrers anzeigt, das Fahren des Fahrzeugs wiederaufzunehmen. Eine Geländeblickzeit wird auf der Grundlage einer Anpassung innerhalb einer Reihe von Zeitdauerwerten unter Verwendung der Situationsbewusstseins-Punktzahl, der relevanten Aufmerksamkeits-Punktzahl und der Fahrerbereitschafts-Punktzahl ermittelt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der Informationen von dem einem oder den mehreren Sensoren des Fahrzeugs auch das Erhalten von Informationen von einer Kamera, einem Radarsystem, einem globalen Navigationssatellitensystem oder einem Lidarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der Informationen aus der einer oder den mehreren Quellen des Fahrzeugs auch das Erhalten von Informationen aus einer Kommunikationsvorrichtung.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Erhalten der Informationen von der Kommunikationsvorrichtung auch das Erhalten von Verkehrsstatus- oder Wetterinformationen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Bestimmen der Situationsbewusstseins-Punktzahl die Verwendung eines maschinellen Lernalgorithmus für die Informationen aus der einen oder den mehreren Quellen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Bestimmen der relevanten Aufmerksamkeits-Punktzahl die Verwendung eines neuronalen Netzes zur Bestimmung des Abgleichs zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erkennen des Verhaltens des Fahrers das Klassifizieren einer Aktivität des Fahrers und das Klassifizieren einer Pose des Fahrers unter Verwendung von faltenden neuronalen Netzen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Bestimmen der Fahrerbereitschafts-Punktzahl die Verwendung eines vollständig verbundenen faltenden neuronalen Netzes über die Aktivität des Fahrers und die Pose des Fahrers.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch das Starten eines Zeitgebers, basierend auf einem Geländeblick des Fahrers, während sich das Fahrzeug im Freihandmodus befindet.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Bereitstellung einer Warnung für den Fahrer, basierend auf dem Erreichen der Geländeblickzeit durch den Zeitgeber.
In einer anderen beispielhaften Ausführungsform umfasst ein System zur Anpassung einer Zeitdauer, während der ein Fahrer, der den Freihandmodus eines semiautonomen Fahrzeugs benutzt, möglicherweise unaufmerksam auf eine Fahrbahn ist, eine oder mehrere Quellen zur Bereitstellung von Informationen. Die eine oder mehreren Quellen umfassen einen oder mehrere Sensoren des Fahrzeugs. Das System umfasst auch eine erste Kamera innerhalb des Fahrzeugs, um Bilder von Augen des Fahrers zu erhalten, und eine zweite Kamera innerhalb des Fahrzeugs, um Bilder des Fahrers zu erhalten. Eine Steuerung bestimmt auf der Grundlage der Informationen einen Echtzeitkontext. Der Echtzeitkontext gibt mindestens eine Geschwindigkeit des Fahrzeugs und eine Entfernung zu einem Ziel an. Die eine oder mehrere Quellen umfassen einen oder mehrere Sensoren des Fahrzeugs. Der Steuerung bestimmt eine Situationsbewusstseins-Punktzahl, die auf der Grundlage des Echtzeitkontextes ein erforderliches Level an Wachsamkeit anzeigt, erkennt ein Blickmuster des Fahrers auf der Grundlage der Bilder der Augen des Fahrers und bestimmt eine relevante Aufmerksamkeits-Punktzahl, die ein Level an Engagement des Fahrers im Echtzeitkontext anzeigt, auf der Grundlage eines Abgleichs zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext. Die Steuerung erkennt auch ein Verhalten des Fahrers auf der Grundlage der Bilder des Fahrers, bestimmt eine Fahrerbereitschafts-Punktzahl, die ein Level an Bereitschaft des Fahrers anzeigt, das Fahren des Fahrzeugs wiederaufzunehmen, auf der Grundlage des Verhaltens des Fahrers, und erhält eine Geländeblickzeit auf der Grundlage einer Anpassung innerhalb einer Reihe von Zeitdauerwerten unter Verwendung der Situationsbewusstseins-Punktzahl, der relevanten Aufmerksamkeits-Punktzahl und der Fahrerbereitschafts-Punktzahl.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfassen der eine oder die mehreren Sensoren des Fahrzeugs eine Kamera, ein Radarsystem, ein globales Navigationssatellitensystem oder ein Lidarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfassen die eine oder mehrere Quellen des Fahrzeugs eine Kommunikationsvorrichtung.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfassen die Informationen der Kommunikationsvorrichtung einen Verkehrsstatus oder Wetterinformationen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale bestimmt die Steuerung die Situationsbewusstseins-Punktzahl, indem sie einen maschinellen Lernalgorithmus für die Informationen aus der einen oder den mehreren Quellen verwendet.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale bestimmt die Steuerung die relevante Aufmerksamkeits-Punktzahl, indem sie ein neuronales Netz verwendet, um den Abgleich zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext zu bestimmen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erkennt die Steuerung das Verhalten des Fahrers, indem sie eine Aktivität des Fahrers klassifiziert und eine Pose des Treibers unter Verwendung von faltenden neuronalen Netzen klassifiziert.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale bestimmt die Steuerung die Fahrerbereitschafts-Punktzahl, indem sie ein vollständig verbundenes faltendes neuronales Netz für die Aktivität des Fahrers und die Pose des Fahrers verwendet.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen startet die Steuerung einen Zeitgeber, basierend auf einem Geländeblick des Fahrers, während sich das Fahrzeug im Freihandmodus befindet.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen liefert die Steuerung dem Fahrer eine Warnung, wenn der Zeitgeber die Geländeblickzeit erreicht.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen aufgenommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 ein Blockdiagramm eines Fahrzeugs ist, das eine kontextsensitive Anpassung der Geländeblickzeit ermöglicht, gemäß einer oder mehreren Ausführungsformen;
2 ein Blockdiagramm ist, in dem die Funktionalität der Komponenten des Fahrzeugs detailliert dargestellt ist, um eine kontextsensitive Anpassung der Geländeblickzeit zu ermöglichen, gemäß einer oder mehreren Ausführungsformen; und
3 ein Prozessablauf eines Verfahrens zur Umsetzung der Geländeblickzeit ist, die gemäß einer oder mehreren Ausführungsformen bestimmt wird.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Es ist zu verstehen, dass in den Zeichnungen durchgehend entsprechende Referenzziffern auf gleiche oder entsprechende Teile und Merkmale hinweisen.
Wie bereits erwähnt, kann das Freihandfahren in einigen semiautonomen Fahrzeugen möglich sein. Wie ebenfalls erwähnt, erlauben diese Freihandsysteme im Allgemeinen eine feste Geländeblick-Zeitdauer, während der der Fahrer nicht auf die Straße achten muss. Diese Fahrzeuge können mit Fahrerüberwachungssystemen und anderen Sensoren ausgestattet sein, um das Freihandfahren und das Auferlegen der festen Geländeblickzeit zu erleichtern. Bei geringem Verkehrsaufkommen und wenn die Umstände es rechtfertigen, kann die feste Geländeblickzeit kürzer als nötig sein. In ähnlicher Weise kann bei starkem Verkehr oder einem Notfallszenario die Wachsamkeit des Fahrers vor Ablauf der festgelegten Geländeblickzeit gefordert sein.
Die Ausführungsformen der hier beschriebenen Systeme und Verfahren beziehen sich auf die kontextsensitive Anpassung der Geländeblickzeit. Mit Hilfe von Informationen von Sensoren, die auch die Sensoren des Freihandsystems sein können, wird die relative Wachsamkeit bestimmt, die durch die Echtzeitbedingungen und den aktuellen Zustand des Fahrers erforderlich ist. Diese Kontextinformationen werden verwendet, um die Dauer einer dynamischen Geländeblickzeit innerhalb eines Bereichs anzupassen. Konkret werden drei Kategorien von Punktzahlen gewichtet und summiert, um die Art und Weise zu bestimmen, wie die dynamische Geländeblickzeit angepasst werden sollte. Die erste Punktzahlkategorie bezieht sich auf das erforderliche Wachsamkeitslevel, und die zweite und dritte Kategorie beziehen sich auf den aktuellen Fahrerzustand. Die zweite Punktzahlkategorie gibt das aktuelle Level eines Engagements des Fahrers im Fahrzeugeinsatz an. Dies wird durch die Erkennung eines Blickmusters des Fahrers ermittelt. Die dritte Punktzahlkategorie gibt das aktuelle Level einer Bereitschaft des Fahrers an, seine Fahrtätigkeit wieder aufzunehmen. Dieser wird durch die Erkennung der aktuellen Aktivität des Fahrers ermittelt.
Entsprechend einer beispielhaften Ausführungsform ist 1 ein Blockdiagramm eines Fahrzeugs 100, das eine kontextsensitive Anpassung der Geländeblickzeit ermöglicht. Das in 1 gezeigte exemplarische Fahrzeug 100 ist ein Automobil 101. Das Fahrzeug 100 enthält mehrere Sensoren, die sowohl das Freihandfahren als auch die kontextsensitive Anpassung erleichtern. Die in 1 beispielhaft gezeigten Sensoren sind nicht dazu gedacht, die Anzahl und die Anordnung der Sensoren nach alternativen Ausführungsformen zu begrenzen. Eine Kamera 120 ist an der Vorder- und Rückseite des Fahrzeugs 100 gezeigt. Zusätzliche Kameras 120 können so positioniert werden, dass sie z.B. ein Sichtfeld an den Seiten des Fahrzeugs 100 haben. Ein Radarsystem 130 wird ebenfalls an der Vorder- und Rückseite des Fahrzeugs 100 gezeigt. Ein Lidarsystem 140 wird auf dem Dach des Fahrzeugs 100 gezeigt.
Ein globales Navigationssatellitensystem (GNSS) 150 (z.B. Global Positioning System (GPS)) ist ebenfalls auf dem Dach des Fahrzeugs 100 abgebildet. Das GNSS 150 liefert Standortinformationen und erleichtert die präzise Kartierung, die das Freihandfahren erfordert. Zwei Innenkameras 125a und 125b (allgemein als 125 bezeichnet) sind abgebildet. Eine der Innenkameras 125a kann sich im Armaturenbrett befinden und so positioniert werden, dass sie z.B. Bilder von Augen des Fahrers des Fahrzeugs 100 liefert. Diese Bilder würden ein Blickmuster des Fahrers anzeigen. Die andere Innenkamera 125b kann so positioniert werden, dass sie Bilder des Fahrers erhält, um z.B. festzustellen, welche Handlungen der Fahrer gerade ausführt. Gemäß alternativen Ausführungsformen kann sowohl für die Blick- als auch für die Verhaltenserkennung nur eine Innenkamera 125 verwendet werden, oder es können mehr als zwei Kameras 125 verwendet werden.
Ein Steuerung 110 ist auch im Fahrzeug 100 abgebildet. Gemäß alternativen Ausführungsformen kann die Steuerung 110 ein Satz von Steuerungen 110 sein, die miteinander kommunizieren, um die Funktion des Freihandfahrens und die kontextsensitive Anpassung der Geländeblickzeit gemäß einer oder mehreren Ausführungsformen durchzuführen. Die Funktionalität der Steuerung 110 wird unter Bezugnahme auf 2 weiter erörtert. Der Steuerung 110 umfasst eine Verarbeitungsschaltung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen kann. Die Steuerung 110 enthält zusätzlich die Kommunikationsfähigkeit zur Kommunikation mit anderen Fahrzeugen in der Fahrzeug-zu-Fahrzeug-Kommunikation (V2V), zur Kommunikation mit der Infrastruktur in der Fahrzeug-zu-Infrastruktur-Kommunikation (V2I) oder zur Kommunikation mit irgendeiner anderen Einheit in der Fahrzeug-zu-Alles-Kommunikation (V2X). Die Kommunikation durch die Steuerung 110 kann z.B. das Erhalten von Wetterinformationen und das Erhalten von Verkehrsinformationen außerhalb des Sichtfeldes der Sensoren des Fahrzeuges 100 erleichtern.
2 ist ein Blockdiagramm 200, in dem die Funktionalität der Komponenten des Fahrzeugs 100 detailliert dargestellt ist, um eine kontextsensitive Anpassung der Geländeblickzeit gemäß einer oder mehreren Ausführungsformen zu ermöglichen. Wie dargestellt, werden der Steuerung 110 Eingaben von einer oder mehreren Kameras 120, dem Radarsystem 130, dem Lidarsystem 140, dem GNSS 150 und einer oder mehreren Innenraumkameras 125 zur Verfügung gestellt. Die Informationen, die von der Kamera 120, dem Radarsystem 130, dem Lidarsystem 140 und GNSS 150 geliefert werden, werden verwendet, um eine Echtzeitkontext-Erkennung bei Block 210 durchzuführen. Der Echtzeitverkehr und andere Faktoren, die als Teil der Kontexterfassung in Block 210 bereitgestellt werden, werden bewertet, um das Level der Wachsamkeit zu bestimmen, der durch den Echtzeitkontext bei Block 240 erforderlich ist. Die Prozesse in den Blöcken 210 und 240 werden weiter detailliert.
In Block 220 werden Informationen von einer Innenkamera 125, die Augen des Fahrers erkennt, zur Blickmustererkennung verwendet. In Block 250 wird die Echtzeitkontext-Erkennung (aus Block 210), die die Bewegungen des Automobils 100 anzeigt, mit dem in Block 220 erkannten Blickmuster verglichen. Der Vergleich zeigt das aktuelle Level eines Engagements des Fahrers an. Das heißt, der Vergleich zeigt an, ob der Blick des Fahrers mit der Bedienung des Fahrzeugs 100 im Freihandfahrmodus übereinstimmt. Zum Beispiel wird das Blickmuster (aus Block 220) mit dem Echtzeitkontext (aus Block 210) verglichen, um festzustellen, ob der Fahrer nach links geschaut hat, um die Bewegung des Fahrzeugs 100 während einer Linkskurve zu verfolgen. Die Vorgänge in den Blöcken 220 und 250 werden weiter detailliert.
In Block 230 werden Informationen von einer Innenkamera 125, die eine Aktivität und Pose des Fahrers erkennt (z.B. Sprechen mit den Händen am Lenkrad, Halten eines Objekts mit dem Fuß auf dem Sitz), zur Erkennung des Fahrerverhaltens verwendet. In Block 260 werden die Informationen zum Fahrerverhalten (aus Block 230) zusammen mit den Blickmusterinformationen (aus Block 220) verwendet, um das aktuelle Level an Bereitschaft des Fahrers zu bestimmen. Wenn sich der Fahrer z.B. gemäß den Informationen zur Fahreraktivität aus Block 230 nicht bewegt und die Augen des Fahrers gemäß den Blickmusterinformationen aus Block 220 geschlossen sind, dann schläft der Fahrer wahrscheinlich und zeigt einen relativ niedrigen Bereitschaftslevel, die Kontrolle über das Fahrzeug wiederaufzunehmen 100. Ähnlich verhält es sich, wenn der Fahrer mit beiden Händen isst oder einen Fuß auf dem Fahrersitz hat. Wenn der Fahrer mit beiden Händen isst oder einen Fuß auf dem Fahrersitz hat, zeigt der Fahrer gemäß den Informationen zur Fahrertätigkeit aus Block 230 ein relativ geringes Level an Bereitschaft, die Kontrolle über das Fahrzeug 100 wiederaufzunehmen. Die Vorgänge in den Blöcken 230 und 260 werden weiter detailliert.
Das erforderliche Level an Wachsamkeit (aus Block 240) kann als eine erforderliche Situationsbewusstseins-Punktzahl S_SA angesehen werden. Das Level an Engagements des Fahrers in Bezug auf die Bewegung des Fahrzeugs 100 (aus Block 250) kann als relevante Aufmerksamkeits-Punktzahl S_RA angesehen werden. Das Level an Bereitschaft des Fahrers zur Wiederaufnahme der Fahrt (aus Block 260) kann als eine Fahrerbereitschafts-Punktzahl S_DR angesehen werden. Jede dieser Punktzahlen kann, wie in 2 dargestellt, gewichtet werden. So kann die Situationsbewusstseins-Punktzahl S_SA mit der Gewichtung W1, die relevante Aufmerksamkeits-Punktzahl S_RA mit der Gewichtung W2 und die Fahrerbereitschafts-Punktzahl S_DR mit der Gewichtung W3 multipliziert werden. In Block 270 werden die gewichteten Punkte zur Bestimmung der Geländeblickzeit innerhalb des festgelegten Bereichs verwendet. Dies kann z.B. bedeuten, dass die Geländeblickzeit von dem aktuell eingestellten Wert erhöht oder verringert wird. Die Gewichtung W1, W2, W3, die auf die Punktzahl aus jedem der Vorgänge 240, 250, 260 angewandt wird, kann auf der Grundlage empirischer Studien oder einer überwachten Lerntechnik bestimmt werden. Die gewichteten Punktzahlen werden addiert, um die Geländeblickzeit entlang eines Kontinuums zu verschieben (z.B. 4 Sekunden auf 10 Sekunden). Anstelle der Geländeblickzeit kann auch ein Verhältnis von Straßenblickzeit und Geländeblickzeit bestimmt und verfolgt werden, gemäß alternativen Ausführungsformen.
Die Vorgänge in den Blöcken 210 und 240 werden weiter diskutiert. In Block 210 werden Informationen aus verschiedenen Quellen (z.B. Kamera 120, Radarsystem 130, Lidarsystem 140, GNSS 150, Kommunikation durch Steuerung 110) gewonnen, um den Echtzeitkontext zu erfassen. So können z.B. Licht- und Wetterbedingungen durch die Steuerung 110 über die Kommunikation erfasst werden. Straßenstruktur- und Navigationsinformationen wie die Anzahl der Fahrspuren, die Art der Fahrbahnmarkierungen und deren Zustand, die Art der Straße (z.B. städtisch, ländlich), der Krümmungsgrad der Straße, die Unfallhistorie am Unfallort, die Art der erforderlichen Abbiegung, die erforderliche Geschwindigkeitsänderung (z.B. Verlassen einer Autobahn in eine Landstraße oder umgekehrt) und die Entfernung zum Ziel können aus Sensoren und Kommunikation abgeleitet werden. Spezifisch für das Fahrzeug 100 können die Geschwindigkeit, die Zentrierung in der Fahrspur, die Beschleunigung, der Kurs, die Fahrspur, die Gierrate und das nächste Manöver bestimmt werden. Zusätzlich können die Position, die relative Geschwindigkeit, der Kurs, der Typ und die relative Beschleunigung eines oder mehrerer anderer Fahrzeuge (z.B. eines Folgefahrzeugs) bestimmt werden.
Auf der Grundlage der in Block 210 ermittelten Informationen kann zur Bestimmung des erforderlichen Wachsamkeitslevels in Block 240 ein maschinelles Lernmodell herangezogen werden. Ein Random-Forest-Regressionsmodell ist zum Beispiel ein Algorithmus für überwachtes Lernen, der aus Entscheidungsbäumen aufgebaut ist. Die Entscheidungsbäume werden während des Trainings erstellt und auf verschiedenen Datenproben trainiert. Innerhalb jedes einzelnen Entscheidungsbaums wird das Aufteilungskriterium für jeden Knoten auf der Grundlage einer zufälligen Zufallsteilprobe der Eingangsdatenvariablen (d.h. der in Block 210 erfassten Informationen) bestimmt. Die Zufallsproben ermöglichen es, die Überanpassung des Regressionsmodells zu überwinden, wodurch die Verallgemeinerbarkeit des Regressionsmodells erhöht wird und verhindert wird, dass das Regressionsmodell auf den ursprünglichen Datensatz beschränkt wird. Das nichtlineare maschinelle Lernmodell gibt die durchschnittliche Vorhersage (Regression) der einzelnen Bäume aus. Das Ergebnis der Random-Forest-Regression oder eines anderen maschinellen Lernmodells ist die Situationsbewusstseins-Punktzahl S_SA.
Die Prozesse in den Blöcken 220 und 250 werden weiter diskutiert. Bei Block 220 werden Bilder der Augen des Fahrers verwendet, um das Blickmuster des Fahrers zu erkennen. Das Blickmuster basiert auf dem Anteil der Blicke pro Pixel oder Bin. Das heißt, die Dichte des Fokus des Fahrers über eine bestimmte Anzahl von Sekunden gibt das Blickmuster an. In Block 250 wird diese Information mit dem Echtzeitkontext und insbesondere mit dem vom Fahrzeug 100 durchgeführten Manöver verglichen. Dieser Vergleich zeigt die Hervorhebung des Manövers gegenüber dem Blickmuster des Fahrers, der das Fahrzeug 100 aufgrund des Freihandfahrens nicht kontrolliert. Beispielsweise kann der Fahrer das Bewusstsein des Fahrzeug 100 -Kontexts nachweisen, indem er an Kreuzungen nach links oder rechts blickt, indem er in einen Seiten- oder Rückspiegel blickt, indem er zur Seite blickt, um die Bewegung von Fußgängern zu verfolgen, indem er in Kurven auf der Fahrbahn blickt oder indem er an Kreuzungen auf eine Ampel blickt. Der Vergleich des Blickmusters und des Echtzeitkontextes kann z. B. mit Hilfe eines neuronalen Netzes durchgeführt werden. Im Wesentlichen wird der Abgleich zwischen dem Blickmuster des Fahrers und der Fahraufgabe des Fahrzeugs 100 durch das neuronale Netz bestimmt. Dies liefert die relevante Aufmerksamkeits-Punktzahl S_RA.
Die Vorgänge in den Blöcken 230 und 260 werden weiter diskutiert. In Block 230 werden Bilder des Fahrers verwendet, um die vom Fahrer ausgeführte Tätigkeit und die Pose des Fahrers zu erkennen. Ein faltendes neuronales Netz (CNN) kann verwendet werden, um die Aktivität des Fahrers zu klassifizieren. Der Fahrer kann z.B. einen Gegenstand halten, lesen, telefonieren, sprechen, während er die Hände bewegt, oder er kann neutral sein. Ein weiteres CNN kann verwendet werden, um die Pose des Fahrers zu klassifizieren. Dieser CNN kann den Abstand zwischen den Händen des Fahrers und dem Lenkrad, den Abstand zwischen dem Fuß des Fahrers und dem Gas- oder Bremspedal, den Abstand zwischen den Händen des Fahrers und den Bedienelementen des Infotainmentsystems bestimmen und bestimmen, ob der Fahrer z. B. zum Fahren oder zum Zurücklehnen richtig sitzt. Zusätzlich können biometrische Daten (z.B. Herzfrequenz) des Fahrers erhoben werden. Mit all diesen Informationen als Eingaben können vollständig verbundene Schichten eines CNN in Block 260 verwendet werden, um das Bereitschaftslevel des Fahrers zu bestimmen, die Fahrerbereitschafts-Punktzahl S_DR.
3 ist ein Prozessablauf eines Verfahrens 300 zur Umsetzung der gemäß einer oder mehreren Ausführungsformen ermittelten Geländeblickzeit. Gemäß einer beispielhaften Ausführungsform können die in 3 dargestellten Verfahren nur dann umgesetzt werden, wenn die Freihandfunktion im Fahrzeug 100 aktiviert ist. Bei Block 310 kann der Zeitgeber gestartet werden, nachdem die Freihandfunktion aktiviert ist und der Fahrer von der Straße weg schaut. Die Blickmustererkennung bei Block 220 (2) kann verwendet werden, um Zeiten zu bestimmen, zu denen der Fahrer auf die Straße und ins Gelände blickt. Bei Block 320 bezieht sich die Aufzeichnung der Dauer darauf, den Zeitgeber laufen zu lassen, nachdem er gestartet wurde (bei Block 310). Jedes Mal, wenn der Fahrer wieder einen Blick auf die Straße wirft, kann der Zeitgeber zurückgesetzt werden. So können die Vorgänge in Block 310 und 320 aufgrund eines oder mehrerer Blicke des Fahrers auf die Straße wiederholt werden. Sobald der Zeitgeber in Block 320 läuft, wird in Block 330 geprüft, ob die Zeit für den Geländeblick erreicht ist. Diese Geländeblickzeit wird anhand einer oder mehrerer Ausführungsformen bestimmt, wie unter Bezugnahme auf 2 näher erläutert. Die Geländeblickzeit kann sich z.B. aus einer Anpassung innerhalb eines Kontinuums entsprechend der Summe der gewichteten Punktzahlen ergeben. kann der Fahrer in Block 340 gewarnt werden. Wenn aufgrund der Überprüfung bei Block 330 die Geländeblickzeit erreicht ist, kann der Fahrer bei Block 340 alarmiert werden. Die Warnungen in Block 340 können über akustische, haptische oder andere verfügbare Ausgänge ausgegeben werden.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Anwendungsbereich abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen einschließt, die in ihren Umfang fallen.

Claims

Verfahren zum Anpassen einer Zeitdauer, während der ein Fahrer, der einen Freihandmodus eines semiautonomen Fahrzeugs verwendet, auf einer Fahrbahn unaufmerksam sein kann, wobei das Verfahren umfasst: Erhalten von Informationen von einer oder mehreren Quellen, um einen Echtzeitkontext zu bestimmen, wobei der Echtzeitkontext zumindest eine Geschwindigkeit des Fahrzeugs und eine Entfernung zu einem Ziel anzeigt, wobei die eine oder die mehreren Quellen einen oder mehrere Sensoren des Fahrzeugs umfassen; Bestimmen einer Situationsbewusstseins-Punktzahl, die ein erforderliches Level an Wachsamkeit angibt, basierend auf dem Echtzeitkontext; Erhalten von Bildern von Augen des Fahrers zur Erkennung eines Blickmusters des Fahrers; Bestimmen einer relevanten Aufmerksamkeits-Punktzahl, die ein Level an Engagement des Fahrers im Echtzeitkontext anzeigt, basierend auf einem Abgleich zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext; Erhalten von Bildern des Fahrers, um das Verhalten des Fahrers zu erkennen; Bestimmen einer Fahrerbereitschafts-Punktzahl, die ein Level an Bereitschaft des Fahrers anzeigt, das Fahren des Fahrzeugs wiederaufzunehmen, basierend auf dem Verhalten des Fahrers; und Ermitteln einer Geländeblickzeit auf der Grundlage einer Anpassung innerhalb einer Reihe von Zeitdauerwerten unter Verwendung der Situationsbewusstseins-Punktzahl, der relevanten Aufmerksamkeits-Punktzahl und der Fahrerbereitschafts-Punktzahl.
Verfahren nach Anspruch 1, wobei das Erhalten der Informationen von dem einen oder mehreren Sensoren des Fahrzeugs das Erhalten von Informationen von einer Kamera, einem Radarsystem, einem globalen Navigationssatellitensystem oder einem Lidarsystem umfasst, das Erhalten der Informationen von der einen oder mehreren Quellen des Fahrzeugs das Erhalten von Informationen von einer Kommunikationsvorrichtung umfasst, und das Erhalten der Informationen von der Kommunikationsvorrichtung das Erhalten von Verkehrsstatus- oder Wetterinformationen umfasst.
Verfahren nach Anspruch 1, wobei das Bestimmen der Situationsbewusstseins-Punktzahl das Verwenden eines maschinellen Lernalgorithmus für die Informationen aus der einen oder mehreren Quellen umfasst, und das Bestimmen der relevanten Aufmerksamkeits-Punktzahl das Verwenden eines neuronalen Netzes umfasst, um den Abgleich zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext zu bestimmen.
Verfahren nach Anspruch 1, wobei das Erfassen des Verhaltens des Fahrers das Klassifizieren einer Aktivität des Fahrers und das Klassifizieren einer Pose des Fahrers unter Verwendung von faltenden neuronalen Netzen umfasst, und das Bestimmen der Fahrerbereitschafts-Punktzahl das Verwenden eines vollständig verbundenen faltenden neuronalen Netzes über die Aktivität des Fahrers und die Pose des Fahrers umfasst.
Verfahren nach Anspruch 1, ferner umfassend das Starten eines Zeitgebers auf der Grundlage eines Geländeblicks durch den Fahrer, während sich das Fahrzeug im Freihandmodus befindet, und das Bereitstellen einer Warnung an den Fahrer auf der Grundlage des Erreichens der Geländeblickzeit durch den Zeitgeber.
System zur Anpassung einer Zeitdauer, während der ein Fahrer, der einen Freihandmodus eines semiautonomen Fahrzeugs verwendet, auf einer Fahrbahn unaufmerksam sein kann, wobei das System umfasst: eine oder mehrere Quellen, die zur Bereitstellung von Informationen konfiguriert sind, wobei die eine oder die mehreren Quellen einen oder mehrere Sensoren des Fahrzeugs umfassen; eine erste Kamera innerhalb des Fahrzeugs, die so konfiguriert ist, dass sie Bilder von Augen des Fahrers erhält; eine zweite Kamera innerhalb des Fahrzeugs, die so konfiguriert ist, dass sie Bilder des Fahrers erhält; und eine Steuerung, die konfiguriert ist, um einen Echtzeitkontext auf der Grundlage der Informationen zu bestimmen, wobei der Echtzeitkontext mindestens eine Geschwindigkeit des Fahrzeugs und eine Entfernung zu einem Ziel anzeigt, wobei die eine oder die mehreren Quellen einen oder mehrere Sensoren des Fahrzeugs umfassen, um eine Situationsbewusstseins-Punktzahl zu bestimmen, die ein erforderliches Level an Wachsamkeit auf der Grundlage des Echtzeitkontextes anzeigt, um ein Blickmuster des Fahrers auf der Grundlage der Bilder der Augen des Fahrers zu erfassen, um eine relevante Aufmerksamkeits-Punktzahl zu bestimmen, die ein Level an Engagement des Fahrers im Echtzeitkontext anzeigt, auf der Grundlage eines Abgleichs zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext, um ein Verhalten des Fahrers auf der Grundlage der Bilder des Fahrers zu erkennen, um eine Fahrerbereitschafts-Punktzahl zu bestimmen, die ein Level an Bereitschaft des Fahrers anzeigt, das Fahren des Fahrzeugs wiederaufzunehmen, auf der Grundlage des Verhaltens des Fahrers, und um eine Geländeblickzeit auf der Grundlage einer Anpassung innerhalb einer Reihe von Zeitdauerwerten unter Verwendung der Situationsbewusstseins-Punktzahl, der relevanten Aufmerksamkeits-Punktzahl und der Fahrerbereitschafts-Punktzahl zu erhalten.
System nach Anspruch 6, wobei der eine oder die mehreren Sensoren des Fahrzeugs eine Kamera, ein Radarsystem, ein globales Navigationssatellitensystem oder ein Lidarsystem umfassen, die eine oder die mehreren Quellen des Fahrzeugs eine Kommunikationseinrichtung umfassen und die Informationen von der Kommunikationseinrichtung Verkehrsstatus- oder Wetterinformationen umfassen.
System nach Anspruch 6, wobei die Steuerung so konfiguriert ist, dass sie die Situationsbewusstseins-Punktzahl unter Verwendung eines maschinellen Lernalgorithmus anhand der Informationen aus der einen oder den mehreren Quellen bestimmt, und die Steuerung so konfiguriert ist, dass sie die relevante Aufmerksamkeits-Punktzahl unter Verwendung eines neuronalen Netzes bestimmt, um den Abgleich zwischen dem Blickmuster des Fahrers und dem Echtzeitkontext zu bestimmen.
System nach Anspruch 6, wobei die Steuerung so konfiguriert ist, dass sie das Verhalten des Fahrers durch Klassifizieren einer Aktivität des Fahrers und Klassifizieren einer Pose des Fahrers unter Verwendung von faltenden neuronalen Netzen erfasst, und die Steuerung so konfiguriert ist, dass sie die Fahrerbereitschafts-Punktzahl unter Verwendung eines vollständig verbundenen faltenden neuronalen Netzes über die Aktivität des Fahrers und die Pose des Fahrers bestimmt.
System nach Anspruch 6, wobei die Steuerung zusätzlich so konfiguriert ist, dass sie einen Zeitgeber auf der Grundlage eines Geländeblicks des Fahrers startet, während sich das Fahrzeug im Freihandmodus befindet, und die Steuerung zusätzlich so konfiguriert ist, dass sie dem Fahrer eine Warnung bereitstellt, wenn der Zeitgeber die Geländeblickzeit erreicht.