DE102020122853A1

DE102020122853A1 - Verfahren und Vorrichtung zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion

Info

Publication number: DE102020122853A1
Application number: DE102020122853.8A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2022-03-03

Abstract

Es wird eine Vorrichtung zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs beschrieben. Die Vorrichtung ist eingerichtet, für einen bestimmten Zeitpunkt, eine Sequenz von Bildern in Bezug auf ein Umfeld des Fahrzeugs zu ermitteln. Des Weiteren ist die Vorrichtung eingerichtet, auf Basis der Sequenz von Bildern und anhand eines ersten maschinen-erlernten Klassifikators zu prädizieren, ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.

Description

Die Erfindung betrifft ein Fahrzeug mit ein oder mehreren Fahrfunktionen zum zumindest teilweise automatisierten Fahren. Insbesondere betrifft die Erfindung ein Verfahren und eine entsprechende Vorrichtung zur präzisen und zuverlässigen Vorhersage des Abbruchs einer derartigen Fahrfunktion.
Ein Fahrzeug kann ein oder mehrere Fahrfunktionen umfassen, die es ermöglichen, das Fahrzeug zumindest teilweise oder vollständig automatisiert längs- und/oder querzuführen. Beispielhafte Fahrfunktionen sind ein Spurhalteassistent, Adaptive Cruise Control (ACC), hoch- oder vollautomatisiertes Fahren.
Während des Betriebs einer Fahrfunktion kann es zu einer Fahrsituation kommen, die nicht mehr selbständig durch die Fahrfunktion bewältigt werden kann und die ggf. zu einem Abbruch der Fahrfunktion führt. Im Vorfeld zu dem Abbruch der Fahrfunktion kann eine Übernahmeaufforderung bzw. ein sogenannter Take-Over-Request (TOR) an den Fahrer des Fahrzeugs ausgegeben werden, um den Fahrer des Fahrzeugs zu veranlassen, die Fahraufgabe von der Fahrfunktion zu übernehmen und insbesondere das Fahrzeug manuell zu führen.
Die Sicherheit und der Komfort einer Fahrfunktion zum zumindest teilweise automatisierten Fahren können insbesondere dadurch erhöht werden, dass bereits frühzeitig vor einem Abbruch der Fahrfunktion ein TOR an den Fahrer des Fahrzeugs ausgegeben wird. Das vorliegende Dokument befasst sich daher mit der technischen Aufgabe, in präziser und zuverlässiger Weise bereits frühzeitig einen bevorstehenden Abbruch einer Fahrfunktion zu prädizieren.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird eine Vorrichtung zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines (Kraft-) Fahrzeugs beschrieben. Die automatisierte Fahrfunktion kann ausgebildet sein, das Fahrzeug gemäß SAE-Level 2 oder höher, oder gemäß SAE-Level 3 oder höher, oder gemäß SAE-Level 4 oder höher zu führen. Insbesondere kann die automatisierte Fahrfunktion ausgebildet sein, eine automatisierte Längs- und/oder Querführung des Fahrzeugs zu bewirken. Die Vorrichtung kann ausgebildet sein, bereits zeitlich vor einem bestimmten Abbruchzeitpunkt der automatisierten Fahrfunktion zu prädizieren, ob die automatisierte Fahrfunktion an dem nachfolgenden Abbruchzeitpunkt abgebrochen werden wird oder nicht.
Die Vorrichtung kann eingerichtet sein, für einen bestimmten (aktuellen) Zeitpunkt, eine Sequenz von Bildern in Bezug auf ein Umfeld des Fahrzeugs (insbesondere in Bezug auf das Umfeld in Fahrtrichtung des Fahrzeugs vor dem Fahrzeug) zu ermitteln. Die Sequenz von Bildern kann von zumindest einer Umfeldkamera des Fahrzeugs erfasst worden sein. Die Bilder können mit einer bestimmten Abtastfrequenz (z.B. 10Hz oder mehr) zeitlich aufeinander folgen. Dabei kann die Sequenz von Bildern ein Bild für den bestimmten (aktuellen) Zeitpunkt sowie Bilder für Zeitpunkte umfassen, die zeitlich vor dem bestimmten Zeitpunkt liegen. Dabei kann die Sequenz von Bildern einen bestimmten Zeithorizont ausgehend von dem bestimmten (aktuellen) Zeitpunkt abdecken (z.B. von 5 Sekunden oder mehr). Die Sequenz von Bildern kann somit den zeitlichen Verlauf der Verkehrssituation im Umfeld des Fahrzeugs (insbesondere in Fahrtrichtung vor dem Fahrzeug) beschreiben.
Die Vorrichtung ist ferner eingerichtet, auf Basis der Sequenz von Bildern und anhand eines ersten maschinen-erlernten Klassifikators zu prädizieren, ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Dabei kann der Abbruchzeitpunkt dem bestimmten Zeitpunkt um eine vordefinierte Vorhersagezeitdauer nachfolgen. Die Vorhersagezeitdauer kann z.B. 5 Sekunden oder mehr sein.
Der erste maschinen-erlernte Klassifikator kann ein neuronales Netz umfassen, insbesondere ein neuronales Netz, das auf die Verarbeitung von Bildern spezialisiert ist (wie z.B. ein Convolutional Neural Network). Insbesondere kann der erste maschinen-erlernte Klassifikator eine MobileNetV2, eine AlexNet, eine ResNet18 und/oder eine ResNet50 Netzwerkarchitektur aufweisen.
Der erste maschinen-erlernte Klassifikator kann im Vorfeld auf Basis von gelabelten Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen angelernt worden sein. Dabei kann ein Trainings-Datensatz jeweils eine Trainings-Sequenz von Bildern oder von Differenz-Bildern für eine Trainings-Fahrsituation umfassen. Ferner kann der jeweilige Trainings-Datensatz anzeigen, ob bei der Trainings-Fahrsituation die automatisierte Fahrfunktion (an einem nachfolgenden Abbruchzeitpunkt) abgebrochen wurde oder nicht. Es kann somit ein überwachtes Lernen des erste maschinen-erlernten Klassifikators durchgeführt worden sein.
Es wird folglich eine Vorrichtung beschrieben, die ausgebildet ist, mittels eines ersten maschinen-erlernten Klassifikators eine Sequenz von Bildern (oder eine davon abgeleitete Sequenz von Differenz-Bildern) auszuwerten, um basierend auf einer durch die Bilder beschriebenen zeitlichen Entwicklung der Verkehrssituation im Umfeld des Fahrzeugs zu bestimmen, ob die automatisierte Fahrfunktion abgebrochen werden wird oder nicht. Durch eine derartige Auswertung der Bilder einer Umfeldkamera des Fahrzeugs kann bereits frühzeitig in präziser und zuverlässiger Weise der Abbruch der automatisierten Fahrfunktion des Fahrzeugs vorhergesagt werden.
Die Vorrichtung kann eingerichtet sein, eine Übernahmeaufforderung an den Fahrer des Fahrzeugs zu bewirken, wenn prädiziert wurde, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. So kann ein komfortabler und sicherer Fahrbetrieb des Fahrzeugs bewirkt werden.
Die Vorrichtung kann eingerichtet sein, auf Basis von jeweils zwei zeitlich aufeinanderfolgenden Bildern der Sequenz von Bildern jeweils ein Differenz-Bild zu ermitteln, um auf Basis der Sequenz von Bildern eine Sequenz von Differenz-Bildern zu ermitteln. Ein Differenz-Bild kann dabei jeweils auf Basis von zwei zeitlich aufeinanderfolgenden Bildern der Sequenz von Bildern ermittelt werden, die zeitlich um eine bestimmte Mindestzeitdauer voneinander beabstandet sind.
Die Mindestzeitdauer kann 500 Millisekunden oder mehr (z.B. eine Sekunde) betragen.
Die Differenz-Bilder können jeweils paarweise für die einzelnen Bilder der Sequenz von Bildern ermittelt werden, so dass eine entsprechende Sequenz von Differenz-Bildern ermittelt werden kann. Die einzelnen Differenz-Bilder zeigen dabei primär dynamische Objekte im Umfeld des Fahrzeugs an. Ferner wird durch die Differenzbildung eine Normalisierung der Differenz-Bilder bewirkt. Durch die Sequenz von Differenz-Bildern kann somit in besonders präziser Weise die zeitliche Entwicklung von dynamischen Objekten im Umfeld des Fahrzeugs beschrieben werden.
Es kann dann in besonders präziser Weise auf Basis der Sequenz von Differenz-Bildern und anhand des ersten maschinen-erlernten Klassifikators prädiziert werden, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Insbesondere kann die Sequenz von Differenz-Bildern (für einen bestimmten rückblickenden Zeithorizont, etwa 5 Sekunden oder mehr, ab dem bestimmten Zeitpunkt) als Eingangsdaten an den ersten maschinen-erlernten Klassifikator übergeben werden. Durch die Berücksichtigung der Sequenz von Differenz-Bildern als Eingangsdaten des ersten maschinen-erlernten Klassifikators kann der Abbruch der automatisierten Fahrfunktion in besonders präziser und zuverlässiger Weise prädiziert werden.
Die Vorrichtung kann eingerichtet sein, auf Basis der Sequenz von Bildern (insbesondere auf Basis der Sequenz von Differenz-Bildern) und anhand des ersten maschinen-erlernten Klassifikators erste Wahrscheinlichkeitsdaten, insbesondere einen ersten Wahrscheinlichkeitswert, in Bezug auf die Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Insbesondere kann der erste maschinen-erlernte Klassifikator ausgebildet sein, auf Basis der Sequenz von Differenz-Bildern (für den bestimmten Zeitpunkt) die ersten Wahrscheinlichkeitsdaten, insbesondere den ersten Wahrscheinlichkeitswert, (für den dem bestimmten Zeitpunkt entsprechenden Abbruchzeitpunkt) bereitzustellen. Der erste Wahrscheinlichkeitswert kann dabei eine Zahl zwischen 0% und 100% anzeigen, die der ermittelten Wahrscheinlichkeit des Abbruchs der automatisierten Fahrfunktion entspricht.
Es kann dann in besonders präziser und zuverlässiger Weise auf Basis der ersten Wahrscheinlichkeitsdaten prädiziert werden, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Die Vorrichtung kann eingerichtet sein, anhand zumindest eines zweiten maschinen-erlernten Klassifikators und auf Basis von zweiten Eingangsdaten zweite Wahrscheinlichkeitsdaten, insbesondere einen zweiten Wahrscheinlichkeitswert, in Bezug auf die Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
In einem bevorzugten Beispiel umfassen die zweiten Eingangsdaten eine zeitliche Sequenz eines Zustandsvektors in Bezug auf einen Zustand des Fahrzeugs an einer entsprechenden Sequenz von Zeitpunkten. Die Sequenz von Zeitpunkt kann sich dabei ausgehend von dem bestimmten (aktuellen) Zeitpunkt um einen bestimmten Zeithorizont (etwa 5 Sekunden oder mehr) und mit einer bestimmten zeitlichen Abtastrate (etwa 10Hz oder mehr) in die Vergangenheit erstrecken.
Der Zustandsvektor kann Werte für eine Mehrzahl von Zustandsvariablen umfassen (für den jeweiligen Zeitpunkt). Die Mehrzahl von Zustandsvariablen kann umfassen: die Fahrgeschwindigkeit des Fahrzeugs; die Längsbeschleunigung des Fahrzeugs; die Querbeschleunigung des Fahrzeugs; den Lenkwinkel des Fahrzeugs; und/oder die Gierrate des Fahrzeugs.
Es können somit auf Basis der zeitlichen Entwicklung des Fahrzustands des Fahrzeugs im Vorfeld zu dem bestimmten (aktuellen) Zeitpunkt zweite Wahrscheinlichkeitsdaten ermittelt werden. Es können dann auf Basis der ersten Wahrscheinlichkeitsdaten und auf Basis der zweiten Wahrscheinlichkeitsdaten, insbesondere durch Mittelwertbildung, fusionierte Wahrscheinlichkeitsdaten ermittelt werden.
Ferner kann die Vorrichtung eingerichtet sein, auf Basis der fusionierten Wahrscheinlichkeitsdaten zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Durch die Berücksichtigung von weiteren Sensordaten des Fahrzeugs und durch die späte Fusionierung der ausgewerteten Sensordaten (insbesondere durch die Fusionierung der Wahrscheinlichkeitsdaten), können die Genauigkeit und die Zuverlässigkeit der Vorhersage des Abbruchs der automatisierten Fahrfunktion weiter erhöht werden.
Die Vorrichtung kann eingerichtet sein, für eine Sequenz von aufeinanderfolgenden (bestimmten) Zeitpunkten jeweils erste Wahrscheinlichkeitsdaten, insbesondere jeweils einen ersten Wahrscheinlichkeitswert, (und ggf. jeweils zweite Wahrscheinlichkeitsdaten) zu ermitteln. Des Weiteren kann die Vorrichtung eingerichtet sein, die Sequenz von ersten Wahrscheinlichkeitsdaten oder eine davon abgeleitete Sequenz von fusionierten Wahrscheinlichkeitsdaten zu glätten, um geglättete Wahrscheinlichkeitsdaten für den bestimmten (aktuellen) Zeitpunkt zu ermitteln. Es kann dann in besonders präziser und zuverlässiger Weise auf Basis der geglätteten Wahrscheinlichkeitsdaten prädiziert werden, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Die Vorrichtung kann eingerichtet sein, den ersten Wahrscheinlichkeitswert oder einen davon abgeleiteten (fusionierten und/oder geglätteten)
Wahrscheinlichkeitswert mit einem Wahrscheinlichkeits-Schwellenwert (z.B. von 50%) zu vergleichen, um zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Durch den Schwellwert-Vergleich kann der Abbruch der automatisierten Fahrfunktion in besonders robuster Weise prädiziert werden.
Die Vorrichtung kann eingerichtet sein, an einer Sequenz von aufeinanderfolgenden (bestimmten) Zeitpunkten, jeweils eine aktualisierte Sequenz von Bildern in Bezug auf das Umfeld des Fahrzeugs zu ermitteln. Des Weiteren kann die Vorrichtung eingerichtet sein, auf Basis der jeweils aktualisierten Sequenz von Bildern und anhand des ersten maschinen-erlernten Klassifikators zu prädizieren, ob die automatisierte Fahrfunktion an einem dem jeweiligen (bestimmten) Zeitpunkt um die vordefinierte Vorhersagezeitdauer nachfolgenden Abbruchzeitpunkt abgebrochen werden wird oder nicht. Es kann somit in zuverlässiger Weise eine dauerhafte Überwachung eines möglichen Abbruchs der automatisierten Fahrfunktion bewirkt werden.
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
Gemäß einem weiteren Aspekt wird ein Verfahren zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln einer Sequenz von Bildern in Bezug auf ein Umfeld des Fahrzeugs (z.B. mittels einer Umfeld-, etwa einer Front-, Kamera des Fahrzeugs). Des Weiteren umfasst das Verfahren das Prädizieren bzw. das Bestimmen, auf Basis der Sequenz von Bildern und anhand eines maschinen-erlernten Klassifikators, ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Der Abbruchzeitpunkt kann dabei dem Zeitpunkt des aktuellsten Bildes aus der Sequenz von Bildern um eine definierte Vorhersagezeitdauer (z.B. zwischen 5 und 10 Sekunden) nachfolgen.
Gemäß einem weiteren Aspekt wird ein Verfahren zum Anlernen eines maschinen-erlernten Klassifikators beschrieben, um den Klassifikator zu befähigen, den Abbruch einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs vorherzusagen bzw. zu prädizieren. Das Verfahren umfasst das Ermitteln einer Vielzahl von gelabelten Trainings-Datensätzen. Dabei kann ein gelabelter Trainings-Datensatz eine Trainings-Sequenz von Bildern oder von Differenz-Bildern in Bezug auf das Umfeld eines Fahrzeugs für eine Trainings-Fahrsituation umfassen. Ferner kann der gelabelte Trainings-Datensatz anzeigen, ob bei der Trainings-Fahrsituation die automatisierte Fahrfunktion abgebrochen wurde oder nicht. Des Weiteren umfasst das Verfahren das Anlernen des Klassifikators anhand der Vielzahl von gelabelten Trainings-Datensätzen.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs oder auf einem Server) ausgeführt zu werden, und um dadurch eines der in diesem Dokument beschriebenen Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch eines der in diesem Dokument beschriebenen Verfahren auszuführen.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 beispielhafte Komponenten eines Fahrzeugs;
2 beispielhafte Sequenzen von Kamerabildern;
3 eine beispielhafte Vorrichtung zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion;
4a ein Ablaufdiagramm eines beispielhaften Verfahrens zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion; und
4b ein Ablaufdiagramm eines beispielhaften Verfahrens zum Anlernen eines Klassifikators zur Vorhersage des Abbruchs einer automatisierten F ahrfunkti on.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen, robusten, präzisen und frühzeitigen Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs. In diesem Zusammenhang zeigt 1 beispielhafte Komponenten eines Fahrzeugs 100. Das Fahrzeug 100 umfasst ein oder mehrere Umfeldsensoren 102, die eingerichtet sind, Sensordaten (in diesem Dokument auch als Umfelddaten bezeichnet) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind eine Bildkamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, etc.
Des Weiteren kann das Fahrzeugs 100 ein oder mehrere Fahrzeugsensoren 104 umfassen, die eingerichtet sein, Sensordaten (in diesem Dokument auch als Zustandsdaten bezeichnet) in Bezug auf einen Fahrzustand des Fahrzeugs 100 zu erfassen. Beispielhafte Zustandsdaten sind die Fahrgeschwindigkeit des Fahrzeugs 100, der Lenkwinkel des Fahrzeugs 100, die Längsbeschleunigung des Fahrzeugs 100, die Querbeschleunigung des Fahrzeugs 100, die Gierrate des Fahrzeugs 100, etc.
Eine Steuereinheit 101 des Fahrzeugs 100 kann eingerichtet sein, ein oder mehrere Aktoren 103 (z.B. einen Antriebsmotor, eine Verzögerungseinheit und/oder eine Lenkeinheit) des Fahrzeugs 100 in Abhängigkeit von den Umfelddaten und/oder in Abhängigkeit von den Zustandsdaten zu betreiben, um eine automatisierte Fahrfunktion bereitzustellen. Die automatisierte Fahrfunktion kann eine Fahrfunktion gemäß SAE-Level 2 oder höher, oder SAE-Level 3 oder höher sein.
Das Fahrzeug 100 kann eine Benutzerschnittstelle 105 umfassen, die eine Interaktion zwischen dem Fahrzeug 100 und dem Nutzer, insbesondere dem Fahrer, des Fahrzeugs 100 ermöglicht. Insbesondere kann es dem Nutzer ermöglicht werden, eine automatisierte Fahrfunktion über die Benutzerschnittstelle 105 zu aktivieren. Das Fahrzeug 100 kann dann mit der automatisierten Fahrfunktion betrieben werden.
Die Steuereinheit 101 kann eingerichtet sein, (z.B. auf Basis der Umfelddaten und/oder auf Basis der Zustandsdaten) zu erkennen, dass die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt beendet bzw. abgebrochen werden muss. Des Weiteren kann die Steuereinheit 101 eingerichtet sein, zeitlich vor dem Abbruchzeitpunkt über die Benutzerschnittstelle 105 eine Übernahmeaufforderung (d.h. einen TOR) an den Fahrer des Fahrzeugs 100 auszugeben, um den Fahrer zu veranlassen, die Fahraufgabe, die von der automatisierten Fahrfunktion erfüllt wird, manuell zu übernehmen.
Um es dem Fahrer des Fahrzeugs 100 zu ermöglichen, sich in komfortabler und sicherer Weise auf die Übernahme der Fahraufgabe vorzubereiten, sollte die Übernahmeaufforderung möglichst frühzeitig vor dem Abbruchzeitpunkt ausgegeben werden. Folglich sollte die Steuereinheit 101 befähigt werden, den Abbruch und den Abbruchzeitpunkt der automatisierten Fahrfunktion möglichst frühzeitig zu ermitteln.
In diesem Zusammenhang zeigt 3 eine beispielhafte Vorrichtung 300 zur Vorhersage des Abbruchs (und ggf. des Abbruchzeitpunktes) einer automatisierten Fahrfunktion. Die Vorrichtung 300 umfasst zumindest einen (maschinen-erlernten) Klassifikator 301-1, 301-R, der eingerichtet ist, auf Basis von Eingangsdaten 311-1, 311-R Wahrscheinlichkeitsdaten 312-1, 312-R in Bezug auf die Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an einem bestimmten (vorausliegenden) Abbruchzeitpunkt abgebrochen wird.
Auf Basis der Wahrscheinlichkeitsdaten 312-1, 312-R kann dann bestimmt werden, ob die automatisierte Fahrfunktion an dem bestimmten Abbruchzeitpunkt abgebrochen werden wird. Ferner kann eine Übernahmeaufforderung an den Fahrer des Fahrzeugs 100 ausgegeben werden, wenn bestimmt wird, dass die automatisierte Fahrfunktion an dem bestimmten Abbruchzeitpunkt abgebrochen werden wird.
Die Eingangsdaten 311-1 für einen ersten Klassifikator 301-1 können auf Basis einer zeitlichen Sequenz 200 von Bildern 201 einer Umfeldkamera 102 des Fahrzeugs 100 ermittelt werden. Insbesondere können jeweils auf Basis eines Paars von aufeinanderfolgenden Bildern 201 Differenz-Bilder 211 ermittelt werden. Dabei kann ein Differenz-Bild 211 dadurch ermittelt werden, dass ein Bild I_t-x für den Zeitpunkt t-x von dem Bild I_t für den Zeitpunkt t abgezogen wird, um das Differenz-Bild I_t,Δ, I_t,Δ=I_t-I_t-x, zu ermitteln. Dabei kann x eine bestimmte Anzahl von Zeitschritten sein, z.B. x=10 (wobei die Zeitschritte mit einer bestimmten Abtastrate, etwa 10Hz, aufeinander folgen). Es kann somit auf Basis der Sequenz 200 von Bildern 201 eine Sequenz 210 von Differenz-Bildern 211 ermittelt werden. Die Sequenz 210 von Differenz-Bildern 211 kann sich dabei über einen bestimmten Zeithorizont, z.B. von mehreren Sekunden, erstrecken.
Die einzelnen Bilder 201 bzw. Differenz-Bilder 211 können jeweils mehrere Teil-Bilder umfassen, z.B. für unterschiedliche Farben, wie z.B. R (Red), G (Green), B (Blue). Mit anderen Worten, die einzelnen Bilder 201 bzw. Differenz-Bilder 211 können jeweils Tensoren sein.
Die Sequenz 210 von Differenz-Bildern 211 beschreibt eine zeitliche Entwicklung des Ausmaßes und/oder des Typs an Veränderungen in dem Umfeld des Fahrzeugs 100. Diese Information kann als Basis für die frühzeitige Erkennung des Abbruchs einer automatisierten Fahrfunktion verwendet werden. Insbesondere kann die Sequenz 210 von Differenz-Bildern 211 für einen bestimmten Zeitpunkt t_z als Eingangsdaten 211-1 für einen Klassifikator 301-1 verwendet werden, um Wahrscheinlichkeitsdaten 312-1 in Bezug auf die Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an dem Abbruchzeitpunkt t_z+t_Δ abgebrochen werden wird. Dabei kann t_Δ eine bestimmte Vorhersagezeitdauer (z.B. von einigen Sekunden) sein.
Der erste Klassifikator 301-1 kann im Vorfeld auf Basis von Trainingsdaten angelernt worden sein. Dabei können die Trainingsdaten eine Vielzahl von gelabelten Trainings-Sequenzen 210 von Differenz-Bildern 211 umfassen. Eine gelabelte Trainings-Sequenz 210 für einen Zeitpunkt t_z kann dabei als Label anzeigen, ob an dem Abbruchzeitpunkt t_z+t_Δ tatsächlich ein Abbruch der automatisierten Fahrfunktion erfolgt ist oder nicht.
Der erste Klassifikator 301-1 kann ein neuronales Netz, insbesondere ein Convolutional Neural Network, mit einer Mehrzahl von Schichten von Neuronen umfassen. Dabei können bevorzugt Netzwerkarchitekturen zur Bildverarbeitung mit bereits teilweise angelernten Schichten verwendet werden. Beispielhafte Netzwerkarchitekturen sind: MobileNetV2; AlexNet; ResNet18; und/oder ResNet50. Die Parameter von ein oder mehreren Schichten der jeweiligen Netzwerkarchitektur können auf Basis der Trainingsdaten angelernt werden (z.B. mittels eines Backpropagation-Algorithmus).
Der angelernte erste Klassifikator 301-1 kann ausgebildet sein, auf Basis der Eingangsdaten 311-1 (insbesondere auf Basis einer Sequenz 210 von Differenz-Bildern 211 für einen bestimmten Zeitpunkt t_z) einen Wahrscheinlichkeitswert p(t_z+t_Δ), z.B. zwischen 0 und 1, zu ermitteln, der die Wahrscheinlichkeit dafür anzeigt, dass die automatisierte Fahrfunktion an dem Abbruchzeitpunkt t_z+t_Δ abgebrochen werden wird.
Der von dem ersten Klassifikator 301-1 ermittelte Wahrscheinlichkeitswert p(t_z+t_Δ) 312-1 oder ein auf Basis von Datenfusion davon abgeleiteter fusionierter Wahrscheinlichkeitswert 313 können mittels einer Tiefpassfunktion oder mittels eines gleitenden Fensters geglättet werden (in der Glättungseinheit 303), um einen geglätteten Wahrscheinlichkeitswert 314 zu ermitteln. Basierend auf dem geglätteten Wahrscheinlichkeitswert 314 kann dann bestimmt werden (z.B. in der Entscheidungseinheit 304), ob an dem Zeitpunkt t_z+t_Δ ein Abbruch der automatisierten Fahrfunktion erfolgen wird oder nicht. Zu diesem Zweck kann der geglättete Wahrscheinlichkeitswert 314 mit einem Schwellenwert verglichen werden.
Die Vorrichtung 300 kann ein oder mehrere weitere Klassifikatoren 301-R umfassen, die jeweils eingerichtet sind, auf Basis von Eingangsdaten 311-R Wahrscheinlichkeitsdaten, insbesondere einen Wahrscheinlichkeitswert, 312-R zu ermitteln, der die Wahrscheinlichkeit dafür anzeigt, dass die automatisierte Fahrfunktion an einem bestimmten vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Die Wahrscheinlichkeitsdaten, insbesondere die Wahrscheinlichkeitswerte, 312-1, 312-R der unterschiedlichen Klassifikatoren 301-1, 301-R können dann in einer Fusionseinheit 302 fusioniert werden, um fusionierte Wahrscheinlichkeitsdaten, insbesondere einen fusionierten Wahrscheinlichkeitswert, 313 zu ermitteln. Die Fusionierung kann z.B. durch Bilden eines (ggf. gewichteten) Mittelwertes der unterschiedlichen Wahrscheinlichkeitsdaten, insbesondere der unterschiedlichen Wahrscheinlichkeitswerte, 312-1, 312-R erfolgen.
Die Eingangsdaten 311-R eines weiteren Klassifikators 301-R können z.B. auf Basis der Zustandsdaten des Fahrzeugs 100 ermittelt werden. Beispielsweise kann eine zeitliche Sequenz eines Zustandsvektors des Fahrzeugs 100 für eine entsprechende Sequenz von Zeitpunkten ermittelt werden (auf Basis der Sensordaten der ein oder mehreren Fahrzeugsensoren 104). Ein Zustandsvektor kann Werte für eine Mehrzahl von unterschiedlichen Zustandsvariablen umfassen. Beispielhafte Zustandsvariablen des Zustandsvektors sind: die Fahrgeschwindigkeit, der Lenkwinkel, die Längsbeschleunigung, die Querbeschleunigung, und/oder die Gierrate. Die zeitliche Sequenz des Zustandsvektors kann als Eingangsdaten 311-R an einen im Vorfeld angelernten Klassifikator 301-R übergeben werden.
Der Klassifikator 301-R kann auf Basis von gelabelten Trainingsdaten angelernt worden sein (wie weiter oben für den ersten Klassifikator 301-R für die Sequenz 210 von Differenz-Bildern 211 beschrieben). Der Klassifikator 301-R kann z.B. ein neuronales Netz mit ein oder mehreren LSTM (Long short-term memory) Schichten und/oder mit eine oder mehreren FC (Fully Connected) Schichten und/oder mit einer Softmax-Schicht umfassen.
4a zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 400 zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs 100. Das Verfahren 400 kann ausgeführt werden, während die automatisierte Fahrfunktion betrieben wird. Die automatisierte Fahrfunktion kann eine Fahrfunktion gemäß SAE-Level 2 oder höher, oder gemäß SAE-Level 3 oder höher sein.
Das Verfahren 400 umfasst, für einen bestimmten Zeitpunkt, das Ermitteln 401 einer Sequenz 200 von Bildern 201 in Bezug auf das Umfeld des Fahrzeugs 100. Die Sequenz 200 von Bildern 201 kann von einer Umfeldkamera 102 des Fahrzeugs 100 erfasst werden (z.B. mittels einer Frontkamera 102 zur Erfassung des Umfelds in Fahrtrichtung vor dem Fahrzeug 100). Die Sequenz 200 von Bildern 201 kann ein Bild 201 für den bestimmten Zeitpunkt und weitere Bilder 201 für vorhergehende Zeitpunkte umfassen (z.B. mit einer bestimmten Abtastrate, etwa von 10Hz oder mehr, und mit einem bestimmten Zeithorizont, etwa 5 Sekunden oder mehr oder 7 Sekunden oder mehr). Es kann somit eine Sequenz 200 von Bildern 201 bereitgestellt werden, die die Entwicklung der Verkehrssituation im Umfeld des Fahrzeugs 100 anzeigt (über einen bestimmten Zeithorizont bis zu dem aktuellen, bestimmten, Zeitpunkt).
Das Verfahren 400 umfasst ferner das Prädizieren 402, auf Basis der Sequenz 200 von Bildern 201 (insbesondere auf Basis einer davon abgeleiteten Sequenz 210 von Differenz-Bildern 211) und anhand eines ersten maschinen-erlernten Klassifikators 301-1, ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird. Der vorausliegende Abbruchzeitpunkt kann dabei dem bestimmten Zeitpunkt um eine bestimmte Vorhersagezeitdauer (z.B. 5 Sekunden, oder 7 Sekunden) nachfolgen. Es kann somit bereits zeitlich vor dem Abbruchzeitpunkt prädiziert werden, ob ein Abbruch erfolgen wird oder nicht.
Das Verfahren 400 nutzt einen maschinen-erlernten Klassifikator 301-1. 4b zeigt ein Ablaufdiagramm eines beispielhaften (ggf. Computerimplementierten) Verfahrens 410 zum Anlernen eines maschinen-erlernten Klassifikators 301-1, um den Klassifikator 301-1 zu befähigen, den Abbruch einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs 100 vorherzusagen bzw. zu prädizieren. Das Verfahren 410 kann im Vorfeld zu der Ausführung des Verfahrens 400, etwa auf einem Server, ausgeführt werden.
Das Verfahren 410 umfasst das Ermitteln 411 einer Vielzahl von gelabelten Trainings-Datensätzen (als Trainingsdaten). Dabei können die einzelnen gelabelten Trainings-Datensätze jeweils eine Trainings-Sequenz 200, 210 von Bildern 201 oder von Differenz-Bildern 211 in Bezug auf das Umfeld eines Fahrzeugs 100 für eine Trainings-Fahrsituation umfassen. Ferner können die gelabelten Trainings-Datensätze jeweils anzeigen, ob bei der jeweiligen Trainings-Fahrsituation die automatisierte Fahrfunktion (nach Ablauf der Vorhersagezeitdauer) abgebrochen wurde oder nicht.
Das Verfahren 410 umfasst ferner das Anlernen 412 des Klassifikators 301-1 (insbesondere von Parametern eines neuronalen Netzes) anhand der Vielzahl von gelabelten Trainings-Datensätzen. Zu diesem Zweck kann ein Lernalgorithmus zum überwachten Lernen verwendet werden.
Durch die in diesem Dokument beschriebenen Maßnahmen kann in effizienter, präziser und zuverlässiger Weise bereits frühzeitig der Abbruch einer automatisierten Fahrfunktion prädiziert werden. So können die Sicherheit und der Komfort der automatisierten Fahrfunktion erhöht werden.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Vorrichtung (101, 300) zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs (100); wobei die Vorrichtung (101, 300) eingerichtet ist, für einen bestimmten Zeitpunkt, - eine Sequenz (200) von Bildern (201) in Bezug auf ein Umfeld des Fahrzeugs (100) zu ermitteln; und - auf Basis der Sequenz (200) von Bildern (201) und anhand eines ersten maschinen-erlernten Klassifikators (301-1) zu prädizieren, ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß Anspruch 1, wobei die Vorrichtung (101, 300) eingerichtet ist, - auf Basis der Sequenz (200) von Bildern (201) und anhand des ersten maschinen-erlernten Klassifikators (301-1) erste Wahrscheinlichkeitsdaten (312-1), insbesondere einen ersten Wahrscheinlichkeitswert, in Bezug auf eine Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird; und - auf Basis der ersten Wahrscheinlichkeitsdaten (312-1) zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß Anspruch 2, wobei die Vorrichtung (101, 300) eingerichtet ist, - anhand zumindest eines zweiten maschinen-erlernten Klassifikators (301-R) und auf Basis von zweiten Eingangsdaten (311-1) zweite Wahrscheinlichkeitsdaten (312-R), insbesondere einen zweiten Wahrscheinlichkeitswert, in Bezug auf die Wahrscheinlichkeit dafür zu ermitteln, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird; - auf Basis der ersten Wahrscheinlichkeitsdaten (312-1) und auf Basis der zweiten Wahrscheinlichkeitsdaten (312-R), insbesondere durch Mittelwertbildung, fusionierte Wahrscheinlichkeitsdaten (313) zu ermitteln, und - auf Basis der fusionierten Wahrscheinlichkeitsdaten (313) zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß Anspruch 3, wobei - die zweiten Eingangsdaten (311-R) eine zeitliche Sequenz eines Zustandsvektors in Bezug auf einen Zustand des Fahrzeugs (100) an einer entsprechenden Sequenz von Zeitpunkten umfasst; - der Zustandsvektor Werte für eine Mehrzahl von Zustandsvariablen umfassen; und - die Mehrzahl von Zustandsvariablen umfasst: - eine Fahrgeschwindigkeit des Fahrzeugs (100); - eine Längsbeschleunigung des Fahrzeugs (100); - eine Querbeschleunigung des Fahrzeugs (100); - einen Lenkwinkel des Fahrzeugs (100); und/oder - eine Gierrate des Fahrzeugs (100).
Vorrichtung (101, 300) gemäß einem der Ansprüche 2 bis 4, wobei die Vorrichtung (101, 300) eingerichtet ist, - für eine Sequenz von aufeinanderfolgenden Zeitpunkten jeweils erste Wahrscheinlichkeitsdaten (312-1), insbesondere jeweils einen ersten Wahrscheinlichkeitswert, zu ermitteln; - die Sequenz von ersten Wahrscheinlichkeitsdaten (312-1) oder eine davon abgeleitete Sequenz von fusionierten Wahrscheinlichkeitsdaten (313) zu glätten, um geglättete Wahrscheinlichkeitsdaten (314) für den bestimmten Zeitpunkt zu ermitteln; und - auf Basis der geglätteten Wahrscheinlichkeitsdaten (314) zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß einem der Ansprüche 2 bis 5, wobei die Vorrichtung (101, 300) eingerichtet ist, den ersten Wahrscheinlichkeitswert oder einen davon abgeleiteten Wahrscheinlichkeitswert mit einem Wahrscheinlichkeits-Schwellenwert zu vergleichen, um zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101, 300) eingerichtet ist, - auf Basis von jeweils zwei zeitlich aufeinanderfolgenden Bildern (201) der Sequenz (200) von Bildern (201) jeweils ein Differenz-Bild (211) zu ermitteln, um auf Basis der Sequenz (200) von Bildern (201) eine Sequenz (210) von Differenz-Bildern (211) zu ermitteln; und - auf Basis der Sequenz (210) von Differenz-Bildern (211) und anhand des ersten maschinen-erlernten Klassifikators (301-1) zu prädizieren, ob die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß Anspruch 7, wobei - ein Differenz-Bild (211) jeweils auf Basis von zwei zeitlich aufeinanderfolgenden Bildern (201) ermittelt wird, die zeitlich um eine Mindestzeitdauer voneinander beabstandet sind; und - die Mindestzeitdauer insbesondere 500 Millisekunden oder mehr ist.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei sich die Sequenz (200) von Bildern (201) und/oder eine davon abgeleitete Sequenz (210) von Differenz-Bildern (211) über einen Zeitraum von 5 Sekunden oder mehr erstrecken.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei - der erste Klassifikator (301-1) ein neuronales Netz umfasst; und/oder - der erste Klassifikator (301-1) eine MobileNetV2, eine AlexNet, eine ResNet18 und/oder eine ResNet50 Netzwerkarchitektur aufweist; und/oder - der erste Klassifikator (301-1) im Vorfeld auf Basis von gelabelten Trainingsdaten mit einer Vielzahl von Trainings-Datensätzen angelernt wurde; und - ein Trainings-Datensatz eine Trainings-Sequenz (200, 210) von Bildern (201) oder von Differenz-Bildern (211) für eine Trainings-Fahrsituation umfasst; und - der Trainings-Datensatz anzeigt, ob bei der Trainings-Fahrsituation die automatisierte Fahrfunktion abgebrochen wurde oder nicht.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei der Abbruchzeitpunkt dem bestimmten Zeitpunkt um eine vordefinierte Vorhersagezeitdauer nachfolgt.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101, 300) eingerichtet ist, an einer Sequenz von aufeinanderfolgenden Zeitpunkten, - jeweils eine aktualisierte Sequenz (200) von Bildern (201) in Bezug auf das Umfeld des Fahrzeugs (100) zu ermitteln; und - auf Basis der jeweils aktualisierten Sequenz (200) von Bildern (201) und anhand des ersten maschinen-erlernten Klassifikators (301-1) zu prädizieren, ob die automatisierte Fahrfunktion an einem dem jeweiligen Zeitpunkt um eine vordefinierte Vorhersagezeitdauer nachfolgenden Abbruchzeitpunkt abgebrochen werden wird.
Vorrichtung (101, 300) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (101, 300) eingerichtet ist, eine Übernahmeaufforderung an einen Fahrer des Fahrzeugs (100) zu bewirken, wenn prädiziert wurde, dass die automatisierte Fahrfunktion an dem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Verfahren (400) zur Vorhersage des Abbruchs einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs (100); wobei das Verfahren (400) für einen bestimmten Zeitpunkt umfasst, - Ermitteln (401) einer Sequenz (200) von Bildern (201) in Bezug auf ein Umfeld des Fahrzeugs (100); und - Prädizieren (402), auf Basis der Sequenz (200) von Bildern (201) und anhand eines ersten maschinen-erlernten Klassifikators (301-1), ob die automatisierte Fahrfunktion an einem vorausliegenden Abbruchzeitpunkt abgebrochen werden wird.
Verfahren (410) zum Anlernen eines maschinen-erlernten Klassifikators (301-1), um den Klassifikator (301-1) zu befähigen, den Abbruch einer automatisierten Fahrfunktion zum zumindest teilweise automatisierten Führen eines Fahrzeugs (100) vorherzusagen; wobei das Verfahren (410) umfasst, - Ermitteln (411) einer Vielzahl von gelabelten Trainings-Datensätzen; wobei ein gelabelter Trainings-Datensatz eine Trainings-Sequenz (200, 210) von Bildern (201) oder von Differenz-Bildern (211) in Bezug auf ein Umfeld eines Fahrzeugs (100) für eine Trainings-Fahrsituation umfasst; und wobei der gelabelte Trainings-Datensatz anzeigt, ob bei der Trainings-Fahrsituation die automatisierte Fahrfunktion abgebrochen wurde oder nicht; und - Anlernen (412) des Klassifikators (301-1) anhand der Vielzahl von gelabelten Trainings-Datensätzen.