-
Die Erfindung betrifft ein Verfahren zum Betrieb eines autonomen Fahrzeugs gemäß dem Oberbegriff des Anspruchs 1 sowie ein autonomes Fahrzeug gemäß dem Oberbegriff des Anspruchs 10.
-
Autonome Fahrzeuge auf SAE Level 4 führen dynamische Fahraufgaben (Dynamic Driving Task - DDT) vollständig automatisch innerhalb ihrer Systemgrenzen aus, die durch den operativen Design-Bereich (Operational Design Domain - ODD) definiert sind. Trotzdem kann ein autonomes Fahrzeug auf hochkomplexe oder spezielle Situationen außerhalb seiner ODD stoßen, in denen sein Vertrauen auf eigene Entscheidungen nicht groß genug ist, um automatisiert zu handeln.
-
KR 20180008593 A offenbart ein autonomes Fahrzeug, das infolge der Feststellung, dass das autonome Fahrzeug seine Route nicht sicher fortsetzen kann, Führungs-Unterstützung von einem durch einen Menschen gefahrenen Fahrzeug empfangen kann. Es kann vorkommen, dass ein Ereignis detektiert wird, das ein Konfidenzniveau des autonomen Fahrzeugs bezüglich der Fortsetzung einer gegenwärtigen Route beeinträchtigt. Als Reaktion auf die Detektion des Ereignisses kommuniziert das autonome Fahrzeug Informationen über das Ereignis zu einer entfernten Führungs-Quelle und kann während des Betriebs des autonomen Fahrzeugs Anweisungen umsetzen, wie mit dem Ereignis umzugehen ist.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren zum Betrieb eines autonomen Fahrzeugs sowie ein verbessertes autonomes Fahrzeug anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines autonomen Fahrzeugs gemäß Anspruch 1 sowie durch ein autonomes Fahrzeug gemäß Anspruch 10.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einem erfindungsgemäßen Verfahren zum Betrieb eines autonomen Fahrzeugs detektiert das autonome Fahrzeug mittels eines oder mehrerer Sensoren eine Verkehrsumgebung und plant anhand einer erkannten Situation in der detektierten Verkehrsumgebung eine dynamische Fahraufgabe und führt sie aus, wobei dann, wenn das autonome Fahrzeug in der Situation ein für die Ausführung der dynamischen Fahraufgabe relevantes Problem detektiert hat, das infolge eines geringen Konfidenzniveaus einer eigenen Entscheidung als nicht automatisiert lösbar eingestuft wird, über eine drahtlose Verbindung die Unterstützung eines entfernten Operators anfordert und ihm für die Bewertung der Situation erforderliche Daten übermittelt, wobei die dynamische Fahraufgabe durch vom entfernten Operator bereitgestellte Informationen modifizierbar ist oder modifiziert wird, wobei das autonome Fahrzeug bei Detektion eines für die Ausführung der dynamischen Fahraufgabe relevanten Problems sich zunächst in einen sicheren Zustand manövriert, bevor die Unterstützung des entfernten Operators angefordert wird.
-
In einer Ausführungsform kann ein Feedbackloop vom Fahrzeug zum entfernten Operator vorgesehen sein, wobei das Fahrzeug anhand der vom entfernten Operator bereitgestellten Informationen sein geplantes Verhalten modifiziert und dem entfernten Operator zur Bestätigung übermittelt, wobei nach der Bestätigung des adaptierten Verhaltens durch den entfernten Operator das adaptierte Verhalten ausgeführt wird.
-
In einer Ausführungsform umfasst der sichere Zustand zumindest, dass das autonome Fahrzeug sich im Stillstand befindet.
-
In einer Ausführungsform werden die dem entfernten Operator für die Bewertung der Situation erforderlichen Daten als mindestens ein Modell der Situation bereitgestellt.
-
In einer Ausführungsform wird als Modell eine Repräsentation auf einem Objekt-Level, das mindestens eine Eigenschaft umfasst, oder eine Repräsentation von Sensormessungen oder fusionierten Sensormessungen in einem Koordinatensystem verwendet.
-
In einer Ausführungsform umfasst die mindestens eine Eigenschaft Objektklassen.
-
In einer Ausführungsform werden die dem entfernten Operator für die Bewertung der Situation erforderlichen Daten als mindestens ein Kamera-Datenstrom und/oder mindestens ein virtueller Bild-Datenstrom bereitgestellt.
-
In einer Ausführungsform umfassen die Informationen mindestens ein Attribut, das sich auf mindestens ein Objekt in der Situation bezieht, und mit dem mindestens ein im autonomen Fahrzeug vorhandenes Attribut der Situation überschrieben wird, das vom autonomen Fahrzeug zur Bestimmung seines Verhaltens verwendet wird.
-
In einer Ausführungsform übermittelt das autonome Fahrzeug die anhand der Informationen modifizierte dynamische Fahraufgabe über die drahtlose Verbindung zur Bestätigung durch den entfernten Operator. Auf diese Weise erfährt der entfernte Operator im Voraus, welche Art von Verhalten durch das autonome Fahrzeug ausgeführt werden wird.
-
In einer Ausführungsform führt das autonome Fahrzeug ein von dem entfernten Operator bestätigtes Verhalten, welches anhand der Informationen geplant wurde, aus.
-
In einer Ausführungsform wird bei Abbruch und/oder zu geringer Bandbreite und/oder zu hoher Latenz der drahtlosen Verbindung während des Empfangs der Informationen und/oder während des Empfangs der Bestätigung die dynamische Fahraufgabe unmodifiziert durchgeführt. Auf diese Weise kann das Verfahren auch in unzuverlässigen drahtlosen Kommunikations-Netzwerken angewandt werden.
-
Gemäß einem Aspekt der vorliegenden Erfindung wird ein autonomes Fahrzeug angegeben, umfassend einen oder mehrere Sensoren zur Detektion einer Verkehrsumgebung und mindestens eine Steuereinheit zur Planung und Durchführung einer dynamischen Fahraufgabe, wobei die Steuereinheit zur Durchführung des oben beschriebenen Verfahrens konfiguriert ist.
-
Durch die erfindungsgemäße Lösung kann ein entfernter Operator ein autonomes Fahrzeug in Situationen mit geringer Konfidenz in die eigenen Entscheidungen des autonomen Fahrzeugs unterstützen. Der entfernte Operator kann Objekte, die vom autonomen Fahrzeug als relevant klassifiziert wurden, analysieren. Eigenschaften und/oder Attribute eines oder mehrerer Objekte, die das autonome Fahrzeug am Weiterfahren hindern, können durch den entfernten Operator durch entsprechendes Steuern modifiziert werden. Das autonome Fahrzeug kann ein Modell der Situation entsprechend modifizieren und den entfernten Operator darüber informieren, wie sich das Verhalten des autonomen Fahrzeugs ändern würde, wenn er die Modifikation bestätigt. Wenn der entfernte Operator die Modifikation bestätigt, dann kann das autonome Fahrzeug seine dynamische Fahraufgabe in gleicher Weise ausführen wie für den Fall, dass die Eigenschaften und/oder Attribute durch seine Sensorik detektiert worden wären.
-
Bei der erfindungsgemäßen Lösung verbleiben sicherheitsrelevante Aufgaben weitgehend beim autonomen Fahrzeug, das bereits in der Lage ist, sie zu erbringen.
-
Das autonome Fahrzeug kann seine Fahrt unmittelbar nach der Unterstützung durch den entfernten Operator fortsetzen. Im Unterschied zu anderen Verfahren der Fernbedienung ist keine explizite Übergabe der Kontrolle erforderlich.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 eine schematische Ansicht eines autonomen Fahrzeugs in einer Umgebung sowie eines über eine drahtlose Verbindung mit dem autonomen Fahrzeug verbundenen entfernten Operators,
- 2 eine schematische Ansicht eines Verfahrens zum Betrieb des autonomen Fahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 ist eine schematische Ansicht eines an einem ersten Ort A befindlichen autonomen Fahrzeugs 1 in einer Verkehrsumgebung 2 sowie eines über eine drahtlose Verbindung 3 mit dem autonomen Fahrzeug 1 verbundenen und an einem zweiten Ort B befindlichen entfernten Operators 4, der über ein Ein- und Ausgabegerät 5, beispielsweise einen PC, an die drahtlose Verbindung 3 angeschlossen ist. In der drahtlosen Verbindung 3 können Verbindungsabbrüche 6 oder Bandbreitenbeschränkungen auftreten.
-
Durch ein erfindungsgemäßes Verfahren wird ermöglicht, dass der entfernte Operator 4, der sich am zweiten Ort B befindet, der vom ersten Ort A verschieden ist, an dem sich das autonome Fahrzeug 1 befindet, das autonome Fahrzeug 1 aus der Ferne bei einem Entscheidungsprozess in einer unbekannten aber strukturierten Verkehrsumgebung 2 unterstützt. Durch das Verfahren wird die Kommunikation zwischen dem entfernten Operator 4 und dem autonomen Fahrzeug 1 über drahtlose Mittel ermöglicht. Ferner stellt das Verfahren die Sicherheit des autonomen Fahrzeugs 1 und seiner Verkehrsumgebung 2 auch im Fall von Verbindungsabbrüchen 6 oder Bandbreitenbeschränkungen oder Verlust der drahtlosen Verbindung zwischen dem entfernten Operator 4 und dem autonomen Fahrzeug 1 sicher. Weiter wird dem entfernten Operator 4 während seiner Unterstützungsdienstleistung ermöglicht, die Kontrolle an das autonome Fahrzeug 1 zu übergeben, das imstande ist, in einen sicheren Zustand überzugehen. Darüber hinaus kann der entfernte Operator 4 durch das Verfahren mit der Situation des autonomen Fahrzeugs 1 in seiner Verkehrsumgebung 2 vertraut gemacht werden. Weiter erlaubt das Verfahren dem entfernten Operator 4, das autonome Fahrzeug 1 zu unterstützen, indem er Informationen bereitstellt, die in einem Planungsprozess der dynamischen Fahraufgabe (Dynamic Driving Task - DDT) im autonomen Fahrzeug 1 berücksichtigt werden.
-
Jedes autonome Fahrzeug 1 auf SAE Level 4 führt die dynamische Fahraufgabe (Dynamic Driving Task - DDT) vollständig automatisch innerhalb seines operativen Design-Bereichs (Operational Design Domain - ODD) aus. Trotzdem kann das autonome Fahrzeug 1 auf hochkomplexe oder spezielle Situationen außerhalb seiner ODD stoßen, in denen sein Vertrauen auf eigene Entscheidungen nicht groß genug ist, um automatisiert zu handeln.
-
Das nachfolgend beschriebene erfindungsgemäße Verfahren löst Probleme der oben genannten Art. 2 ist eine schematische Ansicht eines Verfahrens zum Betrieb des autonomen Fahrzeugs 1.
-
In einem Schritt S1 detektiert das autonome Fahrzeug 1 mittels eines oder mehrerer Sensoren, beispielsweise Kameras, Lidarsensoren, Radarsensoren, usw., die Verkehrsumgebung 2.
Wenn das autonome Fahrzeug 1 in der Verkehrsumgebung 2 ein Problem detektiert hat, das für die Ausführung der dynamischen Fahraufgabe relevant ist und das infolge eines geringen Konfidenzniveaus einer eigenen Entscheidung, beispielsweise zu einer geplanten Trajektorie, nicht automatisiert gelöst werden kann, manövriert es sich selbst in einen sicheren Zustand. Ein sicherer Zustand bedeutet, dass das autonome Fahrzeug 1 sich zumindest im Stillstand befindet. Ein sicherer Zustand kann außerdem weitere Erfordernisse an die Position des autonomen Fahrzeugs 1 in der Verkehrsumgebung 2 stellen. Beispielsweise ist beim Verlassen einer Fahrspur ein Stillstand auf einer Autobahnspur kein sicherer Zustand.
-
Beispielsweise kann das Problem in der Verkehrsumgebung 2 darin bestehen, dass ein Objekt auf der Fahrbahn erkannt wurde, bei dem unsicher ist, ob es vom autonomen Fahrzeug 1 überfahren werden kann.
-
Während des Stillstands und/oder im sicheren Zustand fordert das autonome Fahrzeug 1 entfernte Unterstützung an und ein entfernter Operator 4 wird aufgefordert, die Situation zu bewerten. Die Situation kann dem entfernten Operator 4 auf mindestens eine von zwei verschiedenen Weisen dargestellt werden:
- - als ein Modell M oder eine Mehrzahl von Modellen M der Situation, wobei ein Modell M eine Repräsentation auf einem Objekt-Level sein kann, das eine Vielzahl von Eigenschaften umfasst, beispielsweise Objektklassen (zum Beispiel Fahrspuren, Fahrzeuge, Fußgänger), oder wobei das Modell M eine Repräsentation eines physikalischen Zustands der Objekte oder wobei das Modell M zumindest eine Teilmenge physikalischer Zustände der Objekte in einem kartesischen Koordinatensystem sein kann, das sich auch auf die Position des autonomen Fahrzeugs 1 bezieht, oder wobei das Modell M eine Repräsentation von Sensormessungen oder fusionierten Sensormessungen sein kann, die in einem kartesischen Koordinatensystem dargestellt sind, das sich auch auf die Position des autonomen Fahrzeugs 1 bezieht. Das Fahrzeug 1 kann beispielsweise im Koordinatenursprung dargestellt werden. Insbesondere soll das Fahrzeug 1 im selben Koordinatensystem wie die Objekte dargestellt werden, so dass ein Operator einen Bezug zwischen Objekten und Fahrzeug 1 für die Situationsinterpretation herstellen kann.
- - durch einen oder mehrere Kamera-Datenströme und/oder virtuelle Bild-Datenströme, wobei ein virtueller Datenstrom eine Kombination eines oder mehrerer Kamera-Datenströme umfassen kann, die in unterschiedlicher Weise (beispielsweise als Draufsicht wie in einem Parkassistenzsystem) an einem neuen Datenstrom angeheftet oder mit diesem kombiniert sein können, jedoch nicht sein müssen.
-
In der Situation können Entitäten im Modell M der Situation, die für die interne Bewertung der Situation und den Planungsprozess des autonomen Fahrzeugs 1 relevant sind, beispielsweise Objekte (wie andere Fahrzeuge oder Verkehrshindernisse) und/oder Verkehrselemente (wie Spurmarkierungen, Haltelinien, Ampeln oder ähnliches), für den entfernten Operator 4 hervorgehoben werden, insbesondere in der mindestens einen Modellansicht oder in dem mindestens einen Kamera-Datenstrom.
-
Das gegenwärtige Verhalten V des autonomen Fahrzeugs 1 (beispielsweise Anhalten vor einem unbekannten Hindernis) kann für den entfernten Operator 4 transparent gemacht und/oder visualisiert werden. Beispielsweise kann die geplante Trajektorie dargestellt werden. Insbesondere kann die Fahrzeugposition dargestellt werden. Zusätzlich können die Objekte (andere Fahrzeuge und Hindernisse) und Verkehrselemente (Ampeln, Überwege, Haltelinien, Fahrspurmarkierungen) und die geplante Route dargestellt werden.
-
In einem Schritt S2 kann der entfernte Operator 4 die Situation analysieren und bewerten. In einem Schritt S3 kann der entfernte Operator 4 dem autonomen Fahrzeug 1 Informationen I zukommen lassen, um es bei seinem Entscheidungsprozess zu unterstützen. Diese Informationen I können ein oder mehrere Attribute umfassen, die sich auf ein oder mehrere Entitäten im Modell M der Situation beziehen.
-
Beispielsweise kann der entfernte Operator 4 ein auf der Fahrbahn befindliches Objekt auswählen und festlegen, dass es sicher überfahren werden kann.
-
Diese Informationen I können in einem Schritt S4 existierende Attribute des Modells M der Situation überschreiben, die vom autonomen Fahrzeug 1 zur Bestimmung seines Verhaltens V verwendet werden.
-
Das autonome Fahrzeug 1 kann dem entfernten Operator 4 sein verändertes geplantes Verhalten V, das durch die Änderung des Modells M der Situation verursacht wird, mitteilen. Die Änderung kann durch eine aktualisierte Trajektorie und/oder als eine aktualisierte Liste und/oder Darstellung von Entitäten im Modell M der Situation, die für die interne Bewertung der Situation und den Planungsprozess des autonomen Fahrzeugs 1 relevant sind, visualisiert werden.
-
In einem Schritt S5 kann der entfernte Operator 4 das übermittelte modifizierte Verhalten V analysieren und bewerten. Um dem autonomen Fahrzeug 1 die Weiterfahrt zu gestatten, kann der entfernte Operator 4 die Modifikation in einem Schritt S6 bestätigen, woraufhin das veränderte Verhalten V in einem Schritt S7 ausgeführt wird. Eventuell sind das Überschreiben und die Bestätigung nur dann möglich, wenn die verfügbare Bandbreite der drahtlosen Verbindung 3 ausreichend hoch und/oder die Latenz der drahtlosen Verbindung 3 ausreichend gering sind/ist.
-
Ein Abbruch der Bestätigung kann zu einem Abbruch des Überschreibens der Attribute führen, wobei das Fahrzeug anschließend die dynamische Fahraufgabe basierend auf seinem nichtmodifizierten Modell M der Situation ausführt. Eine Planung funktioniert typischerweise zyklisch (wenige ms pro Iteration), so dass auch die Attribute zyklisch überschrieben werden. Es kann also beispielsweise ein Abbruch der Zyklen erfolgen. Sollte die Entscheidungskonfidenz des Fahrzeugs 1 bei Ausführung der dynamischen Fahraufgabe basierend auf dem nichtmodifizierten Modell M der Situation erneut zu gering sein, so bleibt das Fahrzeug erneut stehen und das Verfahren wird erneut durchgeführt.
-
Während der Fernunterstützung kann der entfernte Operator 4 die Situation zu jeder Zeit unter Verwendung der Kamera und/oder der virtuellen Datenströme überwachen um die Plausibilität seiner Entscheidung zu überprüfen und/oder um sein Verständnis seines semantischen Verständnisses der Situation zu verbessern.
-
Bezugszeichenliste
-
- 1
- autonomes Fahrzeug
- 2
- Verkehrsumgebung
- 3
- drahtlose Verbindung
- 4
- entfernter Operator
- 5
- Ein- und Ausgabegerät
- 6
- Verbindungsabbruch
- A
- Ort
- B
- Ort
- I
- Informationen
- M
- Modell
- S1 bis S7
- Schritt
- V
- Verhalten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
