DE102018216719A1

DE102018216719A1 - Schlüsselbildbasierter autonomer Fahrzeugbetrieb

Info

Publication number: DE102018216719A1
Application number: DE102018216719.2A
Authority: DE
Inventors: Priyam Parashar; Kikuo Fujimura; Alireza Nakhaei Sarvedani; Akansel Cosgun
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2017-10-06
Filing date: 2018-09-28
Publication date: 2019-04-11

Abstract

Gemäß einem Aspekt kann ein schlüsselbildbasierter autonomer Fahrzeugbetrieb Sammeln von Fahrzeugzustandsinformationen und Sammeln von Umgebungszustandsinformationen beinhalten. Eine Größe eines Objekts innerhalb der Umgebung, eine Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, können bestimmt werden. Ein passendes Schlüsselbildmodell kann auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen ausgewählt werden. Auf Grundlage des gewählten Schlüsselbildmodells können Grenzwerte für einen Fahrparameter im Zusammenhang mit dem autonomen Fahrzeugbetrieb generiert werden. Das autonome Fahrzeug kann angewiesen werden, gemäß den vorgeschlagenen Grenzwerten für die Fahrparameter autonom zu arbeiten.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil der vorläufigen US-Patentanmeldung mit Anmeldenummer 62/569431 (Anwaltsaktenzeichen HRA-43272) mit dem Titel „LEARNING GENERALIZABLE AUTONOMOUS DRIVING CONSTRAINTS USING KEYFRAMES AND VARIATIONS FROM USER DEMONSTRATIONS“, eingereicht am 6. Oktober 2017; die Gesamtheit der oben genannten Anmeldung(en) wird durch Verweis hierin aufgenommen.
ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge können automatische Fahrsysteme beinhalten, die ein autonomes Fahren ermöglichen. Beispielsweise kann Bewegungsbahnplanung genutzt werden, wenn sich andere Fahrzeuge oder Fußgänger auf vorhersehbare Weise um das autonome Fahrzeug bewegen. Beim autonomen Betrieb des autonomen Fahrzeugs können jedoch unerwartete Situationen oder Szenarien auftreten.
KURZBESCHREIBUNG
Gemäß einem Aspekt kann ein System für schlüsselbildbasierten autonomen Fahrzeugbetrieb einen Sensor, einen Merkmalsextraktor, eine Schlussfolgerungslogik und eine elektronische Steuereinheit (electronic control unit - ECU) beinhalten. Der Sensor kann Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Umgebungszustandsinformationen sammeln, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Verdeckungsobjekt in einer Umgebung, durch die das autonome Fahrzeug gerade fährt, beinhalten. Der Merkmalsextraktor kann eine Größe des Verdeckungsobjekts, eine Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmen. Die Schlussfolgerungslogik kann ein passendes Schlüsselbildmodell aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Verdeckungsobjekt, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählen. Die Schlussfolgerungslogik kann auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung einen maximalen vorgeschlagenen Grenzwert und einen minimalen vorgeschlagenen Grenzwert für einen Fahrparameter generieren, der mit dem autonomen Fahrzeugbetrieb verknüpft ist. Die ECU kann das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
Die Fahrzeugzustandsinformationen können eine Position des autonomen Fahrzeugs, einen Kurs des autonomen Fahrzeugs und eine Geschwindigkeit des autonomen Fahrzeugs beinhalten. Die Umgebungszustandsinformationen können eine Position des Verdeckungsobjekts beinhalten. Die Fahrspurstruktur der Umgebung kann eine zweispurige Straßenstruktur oder eine vierspurige Straßenstruktur beinhalten. Die ECU kann das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn eine Position des autonomen Fahrzeugs geringer als eine Schwellenentfernung zu einer Position des Verdeckungsobjekts ist. Die ECU kann das autonome Fahrzeug anweisen, den maximalen vorgeschlagenen Grenzwert und den minimalen vorgeschlagenen Grenzwert für den Fahrparameter zu ignorieren, nachdem das autonome Fahrzeug an dem Verdeckungsobjekt vorbeigefahren ist, aber innerhalb der Schwellenentfernung zur Position des Verdeckungsobjekts ist.
Der Satz von Schlüsselbildmodellen kann auf Grundlage von Splines dritten Grads oder Splines fünften Grads erstellt werden. Die Fahrzeugzustandsinformationen können eine Position des autonomen Fahrzeugs beinhalten, die als Unterspur innerhalb einer Fahrspur definiert ist, durch die das autonome Fahrzeug gerade fährt. Der Sensor kann eine Radareinheit, eine LiDAR-Einheit (Light Detection and Ranging) oder einen Bilderfassungssensor beinhalten. Der Fahrparameter kann eine Geschwindigkeit, eine Beschleunigung oder ein Lenkwinkel des autonomen Fahrzeugs sein.
Gemäß einem Aspekt kann ein System für schlüsselbildbasierten autonomen Fahrzeugbetrieb einen Sensor, einen Merkmalsextraktor, eine Schlussfolgerungslogik und eine elektronische Steuereinheit (ECU) beinhalten. Der Sensor kann Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Umgebungszustandsinformationen sammeln, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Objekt in einer Umgebung, durch die das autonome Fahrzeug gerade fährt, beinhalten. Der Merkmalsextraktor kann eine Größe des Objekts, eine Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmen. Die Schlussfolgerungslogik kann ein passendes Schlüsselbildmodell aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählen. Die Schlussfolgerungslogik kann auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung einen maximalen vorgeschlagenen Grenzwert und einen minimalen vorgeschlagenen Grenzwert für einen Fahrparameter generieren, der mit dem autonomen Fahrzeugbetrieb verknüpft ist. Die ECU kann das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
Die ECU kann das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn eine Position des autonomen Fahrzeugs geringer als eine Schwellenentfernung zu einer Position des Objekts ist. Der Satz von Schlüsselbildmodellen kann auf Grundlage von Splines dritten Grads oder Splines fünften Grads erstellt werden. Die Fahrzeugzustandsinformationen können eine Position des autonomen Fahrzeugs beinhalten, die als Unterspur innerhalb einer Fahrspur definiert ist, durch die das autonome Fahrzeug gerade fährt. Der Sensor kann eine Radareinheit, eine LiDAR-Einheit (Light Detection and Ranging) oder einen Bilderfassungssensor beinhalten. Der Fahrparameter kann eine Geschwindigkeit, eine Beschleunigung oder ein Lenkwinkel des autonomen Fahrzeugs sein.
Gemäß einem Aspekt kann ein computerimplementiertes Verfahren für schlüsselbildbasierten autonomen Fahrzeugbetrieb beinhalten: Sammeln von Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und von Umgebungszustandsinformationen, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Objekt beinhalten, das sich in einer Umgebung befindet, durch die das autonome Fahrzeug gerade fährt, Bestimmen einer Größe des Objekts, einer Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und einer Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, Auswählen eines passenden Schlüsselbildmodells aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts, der Entfernung vom Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen, Generieren eines maximalen vorgeschlagenen Grenzwerts und eines minimalen vorgeschlagenen Grenzwerts für einen Fahrparameter, der mit dem autonomen Fahrzeugbetrieb verknüpft ist, auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Objekts, der Entfernung vom Objekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung, und Anweisen des autonomen Fahrzeugs, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
Das Verfahren kann Sammeln von Umgebungszustandsinformationen einschließlich Informationen im Zusammenhang mit einem zweiten Objekt, das sich in der Umgebung befindet, durch die das autonome Fahrzeug gerade fährt, Bestimmen einer Größe des zweiten Objekts und einer Entfernung zwischen dem zweiten Objekt und dem autonomen Fahrzeug und Auswählen des Schlüsselbildmodells aus dem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts und der Größe des zweiten Objekts, einer Entfernung von einer durchschnittlichen zentrierten Position des Objekts und des zweiten Objekts zu dem autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen beinhalten. Die Fahrzeugzustandsinformationen können eine Position des autonomen Fahrzeugs, einen Kurs des autonomen Fahrzeugs und eine Geschwindigkeit des autonomen Fahrzeugs beinhalten. Die Umgebungszustandsinformationen können eine Position des Objekts beinhalten.
Figurenliste

1 ist eine Darstellung eines beispielhaften Komponentendiagramms eines Systems für schlüsselbildbasierten autonomen Fahrzeugbetrieb gemäß einem Aspekt.
2 ist eine Darstellung eines beispielhaften Nutzungsszenarios für das System für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1.
3A-3B sind Darstellungen eines beispielhaften Trainingsszenarios in Verbindung mit dem System für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1.
4A-4B sind Darstellungen eines beispielhaften Nutzungsszenarios in Verbindung mit dem System für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1.
5 ist eine Darstellung eines beispielhaften Ablaufdiagramms eines Verfahrens für schlüsselbildbasierten autonomen Fahrzeugbetrieb gemäß einem Aspekt.
6 ist eine Darstellung eines beispielhaften computerlesbaren Mediums oder einer computerlesbaren Vorrichtung einschließlich vom Prozessor ausführbarer Anweisungen, die dazu konfiguriert sind, eine oder mehrere der hierin dargelegten Bestimmungen zu verkörpern, gemäß einem Aspekt.
7 ist eine Darstellung einer beispielhaften Rechenumgebung, in der eine oder mehrere der hierin dargelegten Bestimmungen implementiert sind, gemäß einem Aspekt.

DETAILLIERTE BESCHREIBUNG
Die folgenden Begriffe werden in der gesamten Offenbarung verwendet, deren Definitionen hier bereitgestellt werden, um das Verständnis eines oder mehrerer Aspekte der Offenbarung zu erleichtern.
Ein „Fahrzeug“ im hier verwendeten Sinne bezieht sich auf ein beliebiges sich bewegendes Fahrzeug, das in der Lage ist, einen oder mehrere menschliche Insassen zu befördern und das durch eine beliebige Form von Energie angetrieben wird. In einigen Fällen beinhaltet ein Kraftfahrzeug einen oder mehrere Motoren. Der Begriff „Fahrzeug“ kann sich auch auf ein autonomes Fahrzeug und/oder ein selbstfahrendes Fahrzeug beziehen, das durch eine beliebige Form von Energie angetrieben wird. Das Fahrzeug kann einen oder mehrere Personen oder eine andere Fracht befördern. Ferner kann der Begriff „Fahrzeug“ auch Fahrzeuge beinhalten, die automatisiert oder nicht automatisiert mit vorgegebenen Wegen oder frei bewegliche Fahrzeuge sind.
Eine „Betriebsumgebung“ im hier verwendeten Sinne kann eine oder mehrere Fahrbahnen, Straßenabschnitte, andere Fahrzeuge, Objekte, Hindernisse, Behinderungen, Tiere, Bauwerke, Schutt, Schlaglöcher, Verkehrstonnen, Verkehrskegel usw. beinhalten. Einige Objekte können von anderen Objekten verdeckt werden, die als „Verdeckungsobjekte“ bezeichnet werden. Verdeckungsobjekte können stationär oder statisch oder sich bewegende Objekte, wie etwa andere Fahrzeuge, sein.
Ein „Modul“ oder eine „Komponente“ im hier verwendeten Sinne beinhaltet unter anderem ein nicht-transitorisches, computerlesbares Medium, das Anweisungen, Anweisungen in Ausführung auf einer Maschine, Hardware, Firmware, Software in Ausführung auf einer Maschine und/oder Kombinationen davon speichert, um eine Funktion(en) oder eine Aktion(en) auszuführen und/oder eine Funktion oder Aktion von einem anderen Modul, Verfahren und/oder System auszulösen. Ein Modul oder eine Komponente kann Logik, einen softwaregesteuerten Mikroprozessor, eine diskrete Logikschaltung, eine analoge Schaltung, eine digitale Schaltung, eine programmierte Logikvorrichtung, eine Speichervorrichtung, die ausführende oder ausführbare Anweisungen enthält, Logikgates, eine Kombination von Gates und/oder andere Schaltungskomponenten, wie etwa die Module, Systeme, Vorrichtungen, Einheiten oder beliebige der Komponenten der 1 beinhalten. Mehrere Module oder Komponenten können zu einem Modul oder einer Komponente zusammengefasst und ein einzelnes Modul oder eine einzelne Komponente können auf mehrere Module oder Komponenten verteilt werden.
Ein „Bus“ im hier verwendeten Sinne bezieht sich auf eine vernetzte Architektur, die mit anderen Computerkomponenten innerhalb eines Computers oder zwischen Computern wirkverbunden ist. Der Bus kann Daten zwischen den Computerkomponenten übertragen. Der Bus kann unter anderem ein Speicherbus, ein Speicherprozessor, ein Peripheriebus, ein externer Bus, ein Koordinatenschalter und/oder ein lokaler Bus sein. Der Bus kann auch ein Fahrzeugbus sein, der Komponenten innerhalb eines Fahrzeugs über Protokolle wie etwa unter anderem Media Oriented Systems Transport (MOST), Controller Area Network (CAN), Local Interconnect Network (LIN) verbindet.
„Kommunikation“ im hier verwendeten Sinne bezieht sich auf eine Kommunikation zwischen zwei oder mehr Rechengeräten (z. B. Computer, Personal Digital Assistant, Mobiltelefon, Netzwerkgerät) und/oder Komponenten und kann beispielsweise eine Netzwerkübertragung, eine Dateiübertragung, eine Appletübertragung, eine E-Mail, ein Hypertext-Übertragungsprotokoll (HTTP) und so weiter sein. Eine Computerkommunikation kann beispielsweise über ein drahtloses System (z. B. IEEE 802.11), ein Ethernet-System (z. B. IEEE 802.3), ein Token-RingSystem (z. B. IEEE 802.5), ein lokales Netzwerk (LAN), ein Wide Area Network (WAN), ein Punkt-zu-Punkt-System, ein Leitungsvermittlungssystem, ein Paketvermittlungssystem usw. erfolgen.
Eine „Wirkverbindung“ im hier verwendeten Sinne oder eine Verbindung, durch die Instanzen „wirkverbunden“ sind, ist eine solche, in der Signale, physikalische Kommunikation und/oder logische Kommunikationen gesendet und/oder empfangen werden können. Eine Wirkverbindung kann eine drahtlose Schnittstelle, eine physische Schnittstelle, eine Datenschnittstelle und/oder eine elektrische Schnittstelle beinhalten. Beispielsweise können eine oder mehrere der Komponenten der 1 miteinander wirkverbunden sein, wodurch die Kommunikation zwischen ihnen ermöglicht wird.
„Ableiten“ oder „Inferenz“ im hier verwendeten Sinne bezieht sich im Allgemeinen auf den Prozess der Schlussfolgerung oder Ableitung von Zuständen eines Systems, einer Komponente, einer Umgebung, eines Benutzers aus einer oder mehreren Beobachtungen, die über Ereignisse oder Daten erfasst wurden, usw. Inferenz kann eingesetzt werden, um einen Kontext oder eine Aktion zu identifizieren oder um beispielsweise eine Wahrscheinlichkeitsverteilung über Zustände zu erzeugen. Eine Inferenz kann probabilistisch sein. Zum Beispiel die Berechnung einer Wahrscheinlichkeitsverteilung über interessierende Zustände auf Grundlage einer Berücksichtigung von Daten oder Ereignissen. Inferenz kann sich auch auf Techniken beziehen, die zum Zusammenstellen von übergeordneten Ereignissen aus einem Satz von Ereignissen oder Daten eingesetzt werden. Eine derartige Inferenz kann dazu führen, dass neue Ereignisse oder neue Aktionen aus einem Satz von beobachteten Ereignissen oder gespeicherten Ereignisdaten konstruiert werden, unabhängig davon, ob die Ereignisse in enger zeitlicher Nähe zueinander stehen oder nicht und ob die Ereignisse und Daten aus einer oder mehreren Ereignis- und Datenquellen stammen.
1 ist eine Darstellung eines beispielhaften Komponentendiagramms eines Systems 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb gemäß einem Aspekt.
SIMULATION
Das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb kann ein oder mehrere Schlüsselbildmodelle verwenden, um ein autonomes Fahrzeug anzuweisen oder das autonome Fahrzeug anderweitig autonom zu betreiben. Diese Schlüsselbildmodelle können auf Grundlage von Beobachtungen, Lernen aus Demonstration oder Lernen durch Demonstration während einer Simulationsphase erstellt werden. Da die Simulation auf einem Fahrsimulator 102 oder in einer kontrollierten Umgebung durchgeführt werden kann, kann das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb von Modellen lernen, die ohne Ausprobieren erzeugt werden können, wodurch ein Auftreten tatsächlicher Kollisionen während der Simulationsphase vermieden wird.
Der Fahrsimulator 102 kann eine Anzeige 104, eine Setup-Schnittstelle 106 und einen Beobachtungssammler 108 beinhalten. Zusätzlich kann der Fahrsimulator 102 so eingerichtet sein, dass er eine oder mehrere Fahreigenschaften über einen Querschnitt von Bedingungen oder unterschiedlichen Szenarien hinweg erfasst oder beobachtet. Anders ausgedrückt kann der Fahrsimulator 102 eine Simulation eines oder mehrerer unterschiedlicher Zielfahrszenarien erzeugen. Diese Fahrszenarien können ein Objekt, ein Verdeckungsobjekt oder ein anderes straßenseitiges Hindernis, Fußgänger auf Bürgersteigen, Fußgänger auf Übergängen oder Fußgänger im Zusammenhang mit dem Verdeckungsobjekt beinhalten. Beispielsweise kann in dieser Simulationsphase ein Fußgänger, der für einen Fahrer eines Fahrzeugs verborgen ist, hinter dem Verdeckungsobjekt hervortreten und den Fahrer zwingen, den Kurs zu ändern. Auf Grundlage von Beobachtungen, die durch den Beobachtungssammler 108 gesammelt werden, kann/können ein oder mehrere Schlüsselbildmodelle erstellt werden. Auf diese Weise kann der Fahrsimulator 102 während der Simulationsphase Daten von menschlichen Teilnehmern sammeln, die verwendet werden können, um zu modellieren, wie ein autonomes Fahrzeug reagieren kann, wenn ein zuvor unbeobachteter Fußgänger oder ein Objekt plötzlich aus einem verdeckten Bereich (z. B. dem Verdeckungsobjekt) auftaucht.
Einer der Vorteile des Systems 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb ist, dass das autonome Fahrzeug vor der Erkennung eines Objekts oder Fußgängers reagieren kann, indem bestimmt wird, dass ein Objekt ein Verdeckungsobjekt ist, das mit einer Gefahr verbunden ist, dass sich ein Fußgänger hinter diesem Objekt verbirgt. Außerdem sind im Gegensatz zu einem realen Trainingsszenario keine ungünstigen Situationen (z. B. Unfälle oder Kollisionen) erforderlich, um die Schlüsselbildmodelle zu trainieren.
Die Setup-Schnittstelle 106 kann genutzt werden, um die Simulation auf Grundlage von einem oder mehreren Verdeckungsfaktoren (z. B. unabhängigen Variablen, die eingestellt werden können) einzurichten. Diese Verdeckungsfaktoren können Faktoren sein, die das Fahrverhalten beeinflussen. Die Verdeckungsfaktoren können beispielsweise eine Größe des Verdeckungsobjekts, eine Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und eine Fahrspurstruktur einer Umgebung, durch die das autonome Fahrzeug gerade fährt, umfassen. Die Setup-Schnittstelle 106 kann dazu konfiguriert sein, die Simulation so einzurichten, dass sie für den menschlichen Teilnehmer so erscheint, dass das Verdeckungsobjekt (das z. B. ein anderes Fahrzeug sein kann) in eine erste Größenklasse, eine zweite Größenklasse, eine dritte Größenklasse usw. fällt. Mit anderen Worten kann die Setup-Schnittstelle 106 verwendet werden, um die Größe des Verdeckungsobjekts (klein, mittel, groß, usw.) einzustellen. Auch wenn die Größe des Verdeckungsobjekts (oder des Verdeckungsfahrzeugs, wie hier beschrieben) mit Bezug auf die erste oder zweite Größe (z. B. mittelgradig oder groß) erläutert wird, ist anzuerkennen, dass die Setup-Schnittstelle 106 je nach Wunsch zusätzliche Größenklassen zulassen kann.
Gleichermaßen kann die Setup-Schnittstelle 106 die Entfernung zwischen dem Verdeckungsobjekt und dem Fahrzeug so konfigurieren, dass sie innerhalb einer ersten Entfernungsspanne, einer zweiten Entfernungsspanne, einer dritten Entfernungsspanne usw. liegt. Mit anderen Worten kann die Setup-Schnittstelle 106 verwendet werden, um die Entfernung zwischen dem Verdeckungsobjekt und dem Fahrzeug, das vom menschlichen Teilnehmer gefahren wird, einzustellen (nah (<1 m), mittel (2 m-3 m), weit (>3 m), usw.). Auch wenn die Entfernung zwischen dem Verdeckungsobjekt und dem Fahrzeug in Bezug auf die erste oder zweite Entfernung (z. B. nah oder fern) erörtert wird, ist anzuerkennen, dass die Setup-Schnittstelle 106 je nach Wunsch zusätzliche Entfernungsspannen zulassen kann.
Die Setup-Schnittstelle 106 kann auch die Fahrspurstruktur der Fahrbahn oder die Umgebung des Fahrzeugs während der Simulation einstellen. Anders ausgedrückt kann die Setup-Schnittstelle 106 verwendet werden, um zu modifizieren, ob auf einer Fahrspur unmittelbar rechts von der Fahrspur des Fahrzeugs Verkehr herrscht. Erneut erläutert bedeutet dies, dass die Setup-Schnittstelle 106 ermöglichen kann, dass die Fahrbahn der Simulation als unidirektionale Straße, als bidirektionale Straße, als zweispurige Straße, als vierspurige Straße usw. erscheint. Auch wenn die Fahrspurstruktur hier als zweispurige Straßenstruktur oder vierspurige Straßenstruktur erörtert wird, ist anzuerkennen, dass die Setup-Schnittstelle 106 ermöglichen kann, dass viele verschiedene Fahrspurstrukturen für die Simulation eingerichtet werden können.
Auf diese Weise kann die Setup-Schnittstelle 106 verwendet werden, um eine oder mehrere unabhängige Variablen (d. h. die Verdeckungsfaktoren) zu steuern, die mit der Simulationsphase verknüpft und in Verbindung mit dem System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb sind. Unter der Annahme, dass jede der drei oben genannten unabhängigen Variablen (z. B. Objektgröße, Entfernung vom Objekt zum Fahrzeug und Fahrspurstruktur) so gesteuert wird, dass sie zwei Einstellungen (z. B. mittelgradig/groß, nahe/fern, zweispurig/vierspurig) hat, können acht unterschiedliche (d. h. 2³) mögliche Simulationsszenarien (und damit Schlüsselbildmodelle) erzeugt werden. Es ist zu beachten, dass zusätzliche Szenarien und Schlüsselbildmodelle durch Hinzufügen zusätzlicher Kategorien für eine oder mehrere der unabhängigen Variablen oder durch Hinzufügen zusätzlicher unabhängiger Variablen (z. B. Wetter, Sicht, Straßenzustand usw.) erzeugt werden können. Eine oder mehrere der unabhängigen Variablen können auf Grundlage eines t-Tests und dem Wilcoxon-Test für unterschiedliche menschliche Fahrer auf Signifikanz getestet werden.
Eine Anzahl von menschlichen Fahrern kann einen oder mehrere Simulationsläufe durch jedes der oben beschriebenen möglichen Simulationsszenarien durchführen, und der Beobachtungssammler 108 kann für jedes der unterschiedlichen Simulationsszenarien eine oder mehrere Fahreigenschaften aufzeichnen. Anders ausgedrückt kann der Beobachtungssammler 108 eine oder mehrere Fahreigenschaften (z. B. eine Geschwindigkeit, eine Beschleunigung oder einen Lenkwinkel usw.) erfassen, die mit einem ersten Modell (mittelgradiges Verdeckungsobjekt, nahe am Fahrzeug (innerhalb 1 m), auf einer zweispurigen Straße) verknüpft sind, während ein menschlicher Fahrer in dieser entsprechenden Simulationsumgebung navigiert. Der Beobachtungsammler 108 kann diese Fahreigenschaften für ein zweites Modell (großes Verdeckungsobjekt, nahe am Fahrzeug (innerhalb 1 m), auf einer zweispurigen Straße), ein drittes Modell (mittelgradiges Verdeckungsobjekt, fern vom Fahrzeug (>3 m), auf einer zweispurigen Straße), ein viertes Modell (großes Verdeckungsobjekt, fern vom Fahrzeug (>3 m), auf einer zweispurigen Straße), ein fünftes Modell (mittelgradiges Verdeckungsobjekt, nahe am Fahrzeug (innerhalb 1 m), auf einer vierspurigen Straße), ein sechstes Modell (großes Verdeckungsobjekt, nahe am Fahrzeug (innerhalb 1 m), auf einer vierspurigen Straße), ein siebtes Modell (mittelgradiges Verdeckungsobjekt, fern vom Fahrzeug (>3 m), auf einer vierspurigen Straße), ein achtes Modell (großes Verdeckungsobjekt, fern vom Fahrzeug (>3 m), auf einer vierspurigen Straße) usw. erfassen. Auf diese Weise können Schlüsselbildmodelle für jedes der unterschiedlichen Szenarien erstellt werden.
Die Fahreigenschaften können in dem Beobachtungssammler 108 oder in einer Datenbank 112 eines Servers 114 vor der Schlüsselbildmodellgenerierung gespeichert werden. Da die Fahreigenschaften einer Anzahl von menschlichen Fahrern erfasst werden können, können die Reaktionsfahreigenschaften auf jedes der unterschiedlich modellierten Szenarien (z. B. durch die Setup-Schnittstelle 106 erzeugt) für eine allgemeine Bevölkerung erfasst werden, und das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb kann so lernen, wie eine allgemein angemessene Reaktion auf ein entsprechendes Szenario aussehen sollte. Die Fahreigenschaften können die Position des Trainingsfahrzeugs innerhalb der Simulation, die Position des Objekts, den Kurs des Trainingsfahrzeugs, die Geschwindigkeit des Trainingsfahrzeugs, die Größe des Verdeckungsobjekts, die Art der Straßen- oder Fahrspurstruktur, Fahrbahnbegrenzungen usw. beinhalten. Gemäß einem Aspekt kann die Position des Trainingsfahrzeugs innerhalb der Simulation durch eine Unterspurposition unterteilt oder definiert werden, wobei jede Unterspur eine vorbestimmte Breite aufweist (z. B. 0,2 m, 0,25 m, 0,5 m, usw.). Unterspuren können auch durch eine Zahl N definiert werden, wobei 0 die dem Verdeckungsobjekt am nächsten liegende Unterspur und N die vom Verdeckungsobjekt am weitesten entfernte Unterspur ist. Die Fahrzeugzustandsinformationen können somit die Position des autonomen Fahrzeugs beinhalten, die als Unterspur innerhalb einer Fahrspur definiert ist, durch die das autonome Fahrzeug gerade fährt.
Die Setup-Schnittstelle 106 kann die Unterschiede in der Klassifizierung der unabhängigen Variablen (z. B. Größe des Objekts, Entfernung vom Objekt zum Fahrzeug (die in Breiten- und Längsentfernungskomponenten unterteilt werden kann) und Fahrspurstruktur) auf Grundlage von Schwellenwerten (z. B. einer Schwellengröße, einer Schwellenentfernung, einer Schwellenanzahl von Fahrspuren oder einer Schwellenbreite der Fahrspur usw.) bestimmen. Ungeachtet dessen kann der Fahrsimulator 102 die unabhängigen Variablen oder die Verdeckungsfaktoren auf Grundlage dieser entsprechenden Schwellenwerte klassifizieren und dementsprechend Daten zur Erzeugung verschiedener Modelle für unterschiedliche Szenarien erfassen. Auf diese Weise kann der Fahrsimulator 102 aufzeichnen, wie Menschen auf mögliche Verdeckungsszenarien reagieren, und so kann generalisiertes Lernen durchgeführt werden, um darauf basierende Schlüsselbildmodelle zu erzeugen. Der Fahrsimulator 102 oder eine oder mehrere Komponenten davon können über einen Prozessor oder eine Verarbeitungseinheit auf einem Computer implementiert und/oder in einem Speicher, einer Datenspeichervorrichtung usw. gespeichert werden, wie unter Bezugnahme auf die 6-7 unten beschrieben wird.
TRAININGSMODELLE MITTELS LERNEN AUS SCHLÜSSELBILDERN (LfK, Learning from Keyframes)
Eine Schlüsselbildmodell-Erstellungseinrichtung 110 kann genutzt werden, um einen oder mehrere Sätze von Schlüsselbildmodellen auf Grundlage der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung zu erstellen. Beispielsweise können Einschränkungen für bidirektionale Fahrbahnstrukturen strenger konstruiert werden (als unidirektionale Fahrbahnstrukturen) und die Außenkante kann konservativer konstruiert werden und innerhalb der eigenen Fahrspurvorgabe bleiben. Ungeachtet dessen kann die Schlüsselbildmodell-Erstellungseinrichtung 110 genutzt werden, um ein oder mehrere Schlüsselbildmodelle auf Grundlage der oben in Bezug auf die Simulationsphase beschriebenen unabhängigen Variablen oder Verdeckungsfaktoren zu trainieren. Da die Schlüsselbildmodelle auf Grundlage dieser Merkmale trainiert werden, sind sie mit einer kaskadierten Architektur verknüpft, die es den Komponenten des Systems 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb ermöglicht, die Komplexität der Schlüsselbildmodellierung zu bewältigen. Schlüsselbilder innerhalb des Schlüsselbildmodells können einen zugehörigen Fahrparameter für eine kurze Bewegungsbahn anzeigen (z. B. in Verbindung mit einer Entfernung, wie etwa 1 m, oder einer Zeit).
Die Schlüsselbildmodell-Erstellungseinrichtung 110 kann eines oder mehrere der Schlüsselbildmodelle so erstellen, dass sowohl das Verhalten des Fahrers als auch das Verhalten eines Fußgängers, der hinter dem Verdeckungsobjekt hervortritt, modelliert wird. Das Schlüsselbildmodell ist eine Lösung, die über unterschiedliche Varianten des modellierten Szenarios, die in der Praxis oder im Training nicht unbedingt beobachtet wurden, verallgemeinert werden kann. Anders ausgedrückt, da das Schlüsselbildmodell auf Beobachtungen des Trainingsfahrers (z. B. Fahrzeugzustandsinformationen) und umweltbezogenen Beobachtungen (z. B. Umweltzustandsinformationen) basiert, können Szenarien, die während der Simulationsphase nicht erfasst oder angetroffen wurden, spontan berücksichtigt werden. Selbst wenn die Schlüsselbildmodell-Erstellungseinrichtung 110 beispielsweise nur ein Modell erstellt hat, das auf Szenarien basiert, die mit einem straßenseitigen Objekt verknüpft sind (z. B. einem einzelnen Verdeckungsobjekt), kann dieses Modell genutzt werden, um Beschränkungen für andere Szenarien zu erzeugen, wie etwa Szenarien mit mehreren Verdeckungsobjekten in Folge, wie hier beschrieben wird. Im hier verwendeten Sinne kann eine Beschränkung eine Spanne oder eine vorgeschlagene Spanne für einen Fahrparameter bedeuten. Beispiele für Fahrparameter können eine Geschwindigkeit, eine Beschleunigung oder ein Lenkwinkel des autonomen Fahrzeugs beinhalten.
Die Schlüsselbildmodell-Erstellungseinrichtung 110 kann ein oder mehrere Schlüsselbildmodelle erstellen, um eine oder mehrere Vorbedingungen zu erfüllen. Eine Vorbedingung kann beispielsweise eine aktuelle Zustandsbedingung sein, die vor der Ausführung oder Verwendung des entsprechenden Schlüsselbilds oder Schlüsselbildmodells abgeglichen werden kann. Auf diese Weise können Artefakte (z. B. die Vorbedingungen oder die Stammfunktionen) in Verbindung verwendet werden, um Aufgabenpläne oder Schlüsselbildmodelle spontan zu erstellen, um ein Ziel zu erreichen (z. B. Bereitstellen von Anweisungen für autonomes Fahren oder Befehlen in der Umgebung, in der Verdeckungsobjekte vorhanden sind). Zusätzlich kann die Schlüsselbildmodell-Erstellungseinrichtung 110 die unabhängigen Variablen oder Verdeckungsfaktoren als Eingaben in eine kanonische, egozentrische interne Darstellung umwandeln, die einen Arbeitszustand von Umgebungsänderungen isoliert (z. B. ob sich das Verdeckungsobjekt links oder rechts befindet, eine Anzahl der Verdeckungsobjekte usw.).
Gemäß einem Aspekt kann die Schlüsselbildmodell-Erstellungseinrichtung 110 über einen Prozessor oder eine Prozessoreinheit in einem Computer implementiert und/oder in einem Speicher, einer Datenspeichervorrichtung usw. gespeichert werden, wie es in Bezug auf 6-7 unten beschrieben wird. Zusätzlich kann die Schlüsselbildmodell-Erstellungseinrichtung 110 ein oder mehrere Schlüsselbildmodelle mittels Schlüsselbildern als Aufgabeneckdaten oder Stammfunktionen erstellen. Gemäß einem Aspekt kann die Schlüsselbildmodell-Erstellungseinrichtung 110 ein oder mehrere der Schlüsselbildmodelle erstellen, indem Aufgaben zwischen Lernen suboptimaler Beschränkungen und optimierungsbasierter Planung aufgeteilt werden. Weiterhin kann/können eines oder mehrere der Schlüsselbildmodelle oder Schlüsselbilder davon eine Bibliothek von Stammfunktionen oder primitiven Aktionen darstellen, die mit dem entsprechenden Fahrparameter verknüpft sind. Beispielsweise kann es eine Reihe von Schlüsselbildmodellen geben, die mit jeder/jedem von Geschwindigkeit, Beschleunigung oder Lenkwinkel des autonomen Fahrzeugs usw. verknüpft sind.
Die Schlüsselbildmodelle oder Sätze von Schlüsselbildmodellen können in der Datenbank 112 des Servers 114 gespeichert werden und durch das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb, durch autonome Fahrzeuge oder durch eine mobile Vorrichtung (z. B. einem Smartphone, Tablet, usw.), die mit dem autonomen Fahrzeug oder System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb kommunizieren kann, zugänglich sein.
Zusätzlich kann die Schlüsselbildmodell-Erstellungseinrichtung 110 einen Wert D_thresh auf Grundlage einer oder mehrerer der beobachteten Fahreigenschaften bestimmen. Als weiteres Beispiel kann die Schlüsselbildmodell-Erstellungseinrichtung 110 einen vorgegebenen Wert D_thresh verwenden. Gemäß anderen Aspekten können unterschiedliche Fahrparameter, die mit verschiedenen Schlüsselbildmodellen verknüpft sind, ihre eigenem Werte D_thresh implementieren. Die Schlüsselbildmodell-Erstellungseinrichtung 110 kann die Schlüsselbildmodelle erstellen und dabei zwischen der Art der Straßen- oder Fahrbahnstruktur und verglichenen Beobachtungen aus ähnlichen Verkehrsszenarien unterscheiden. Auf jeden Fall kann D_thresh eine Entfernung sein, bei der der menschliche Fahrer in der Regel beginnen, auf das Verdeckungsobjekt innerhalb der Simulation zu reagieren.
AUTONOMES FAHREN
Das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb kann einen Sensor 120, einen Merkmalsextraktor 130, ein Navigationsgerät 140, eine Schlussfolgerungslogik 142, einen Bus 150 und eine Steuerung 160 beinhalten. Die Steuerung 160 kann eine oder mehrere Komponenten des autonomen Fahrzeugs steuern, wie etwa einen Lenkmechanismus 162, einen Drosselmechanismus 164 oder einen Bremsmechanismus 166.
Der Sensor 120 kann Fahrzeugzustandsinformationen und Umgebungszustandsinformationen sammeln und kann eine Radareinheit, eine LIDAR-Einheit (Light Detection and Range) oder einen Bilderfassungssensor beinhalten. Zum Beispiel können die Fahrzeugzustandsinformationen Informationen sein, die mit einem autonomen Fahrzeug verknüpft sind, wie etwa ein aktueller Kurs oder eine aktuelle Lage, eine aktuelle Geschwindigkeit, eine aktuelle Beschleunigung, ein aktueller Lenkwinkel, eine aktuelle Bewegungsbahn, eine aktuelle Position des autonomen Fahrzeugs, usw. Die Umgebungszustandsinformationen können Informationen sein, die mit dem Verdeckungsobjekt verknüpft sind, das sich in der Umgebung befindet, durch die das autonome Fahrzeug gerade fährt. Beispielsweise können die Umgebungszustandsinformationen eine Größe des Verdeckungsobjekts, eine Position des Verdeckungsobjekts relativ zum autonomen Fahrzeug, eine Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug, eine Art der Fahrbahn, eine Fahrbahnstruktur der Umgebung, eine Anzahl von Fahrspuren der Fahrbahn, eine Fahrbahnbegrenzung (z. B. Fahrspurbreite) usw. angeben.
Der Merkmalsextraktor 130 kann Merkmale extrahieren oder bestimmen, die mit den Fahrzeugzustandsinformationen oder den Umgebungszustandsinformationen verknüpft sind, um die Auswahl eines passenden Modells zu ermöglichen. Mit anderen Worten können die durch den Merkmalsextraktor 130 extrahierten Merkmale beispielsweise gemäß einem Aspekt dazu verwendet werden, einem der acht oben genannten Modelle am ehesten zu entsprechen. Anders ausgedrückt kann der Merkmalsextraktor 130 eine Größe des Verdeckungsobjekts, eine Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmen. Diese extrahierten Merkmale können einer oder mehreren der unabhängigen Variablen entsprechen, die von der Setup-Schnittstelle 106 während der oben beschriebenen Simulationsphase gesteuert wurden. In jedem Fall können die vom Merkmalsextraktor 130 extrahierten Merkmale (z. B. die Größe des Verdeckungsobjekts, die Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug, eine Unterspurposition des autonomen Fahrzeugs und die Fahrspurstruktur) durch die Schlussfolgerungslogik 142 genutzt werden, um beispielsweise Schlüsselbilder als Metrik für den Fortschritt zu behandeln und somit das passende Schlüsselbildmodell entsprechend auszuwählen. Anders ausgedrückt, da der Merkmalsextraktor 130 die oben genannten Merkmale als Schlüsselbilder oder als Stammfunktionen extrahiert, können diese Merkmale als Fortschrittsmarkierungen betrachtet werden, die linear kombiniert werden können, wodurch ermöglicht wird, dass die Schlussfolgerungslogik 142 ein oder mehrere passende Schlüsselbildmodelle auswählt und mehrere Schlüsselbilder zu einem zusammenhängenden Modell zusammenfügt oder ,zusammenheftet‘.
Auf diese Weise können die Schlüsselbilder oder Stammfunktionen genutzt werden, um eine Reaktion (z. B. als die bestimmten oder generierten Fahrparameter oder andere Sätze von Beschränkungen) auf ein erfasstes oder erkanntes Szenario individuell anzupassen, das mit einem oder mehreren Verdeckungsobjekten auf Grundlage der ausgewählten Schlüsselbildmodelle verknüpft ist, wodurch ermöglicht wird, dass das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb als Rahmen für die Übertragung von Beschränkungen über Variationen der Quellaufgabe der Bestimmung von Fahrparametern für verschiedene Fahrszenarien hinweg fungieren kann. Aufgrund der Art und Weise, wie Schlüsselbilder oder Stammfunktionen aneinandergereiht werden können, kann die Schlussfolgerungslogik 142 Variationen des bekannten zulässigen Verhaltens lernen und diese Variationen als Beschränkungen in Form einer modifizierten vorgeschlagenen Spanne für einen gegebenen Fahrparameter während der Laufzeit (z. B. in Echtzeit) implementieren. Auf diese Weise kann eine optimale Fahrtroute bei gleichzeitiger Erhöhung der Sicherheit für das autonome Fahrzeug und seine Insassen während des autonomen Betriebs bereitgestellt werden.
Das Navigationsgerät 140 kann eine oder mehrere Bewegungsbahnen für das autonome Fahrzeug generieren, wie etwa von einem Ausgangsort zu einem Zielort, und kann Bewegungsbahn- und/oder Geschwindigkeitsbeschränkungshüllkurven als Richtlinien für die Bewegungsbahnplanung auf globaler Ebene generieren oder ausgeben oder anderweitig eine Navigationsplanung auf Topebene bereitstellen (z. B. Generieren einer Fahrtroute von einem ersten Ort zu einem zweiten Ort auf Grundlage von Karteninformationen, die auf dem Server 114 gespeichert sein können, einschließlich Straßennetzinformationen). Anders ausgedrückt kann das Navigationsgerät 140 eine Fahrtroute vom ersten zum zweiten Ort generieren. Gemäß einem Aspekt kann das Navigationsgerät 140 Fahrparameter, wie etwa Geschwindigkeit, Beschleunigung oder andere Bewegungsbahnbeschränkungen, für die Planung auf hoher Ebene generieren.
Die Schlussfolgerungslogik 142 kann die Entscheidungsfindung auf niedriger oder mittlerer Ebene ermöglichen (z. B. Auswählen einer Unterspurposition, der Geschwindigkeit, der Beschleunigung, der Bewegungsbahn des autonomen Fahrzeugs von Sekunde zu Sekunde usw.). Auf diese Weise kann die Schlussfolgerungslogik 142 die Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug als Faktor bei der Auswahl des entsprechenden passenden Schlüsselbildmodells nutzen und so einen geschätzten Hinweis darauf geben, wie reale menschliche Fahrer auf Verdeckungsobjekte in ähnlichen Szenarien reagierten. Dies ermöglicht, dass die ECU 160 das autonome Fahrzeug anweist, entsprechend autonom zu arbeiten. Die Schlussfolgerungslogik 142 kann architektonisch so eingerichtet werden, dass sie einem Paradigma der Trichterplanerstellung folgt oder anderweitig Fahrparameter erzeugt, die für die Laufzeit optimiert sind. Beispielsweise kann die Schlussfolgerungslogik 142 in einer mittleren Ebene der Hierarchie der Navigationslogik liegen und Geschwindigkeits- und Bewegungsbahnbeschränkungen als Fahrparameter für vom Sensor 120 erkannte Szenarien generieren, wie etwa die erkannten Verdeckungsobjekte (die z. B. auf mögliche tote Winkel hinweisen) und/oder tatsächliche Hindernisse, die hinter den Verdeckungsobjekten auftreten. Daher können gemäß einem Aspekt die durch die Schlussfolgerungslogik 142 generierten Beschränkungen oder Fahrparameter genutzt werden, um die durch das Navigationsgerät 140 generierten Fahrparameter zu ergänzen oder zu ersetzen.
Anders ausgedrückt kann die Schlussfolgerungslogik 142 ein passendes Schlüsselbildmodell aus einem Satz von Schlüsselbildmodellen auswählen, basierend auf der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung, und den Fahrzeugzustandsinformationen, und einen maximalen vorgeschlagenen Grenzwert und einen minimalen vorgeschlagenen Grenzwert für einen Fahrparameter generieren, der mit dem autonomen Fahrzeugbetrieb verknüpft ist, basierend auf dem ausgewählten Schlüsselbildmodell, den Fahrzeugzustandsinformationen, der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung.
Die Schlussfolgerungslogik 142 kann das passende Schlüsselbildmodell auswählen, indem sie eine Bewegungsbahn als eine zu extrapolierende Kurve behandelt. Splines unterschiedlichen Grads können verwendet werden, um eine Eingangs-Bewegungsbahn mit Start- und Endpunkten zu interpolieren und dann einen Bewegungsbahnpunkt mit dem größten Fehler als Zwischen-Schlüsselbild hinzuzufügen. Anders ausgedrückt können ein festgelegter erster und letzter Punkt der Bewegungsbahnen, die mit den beobachteten Fahreigenschaften verknüpft sind, an einen Spline (z.B. kubisch, fünfter Grad, usw.) angepasst werden. Der Mittelwert, die Varianz und andere statistische Maße werden bei der Bestimmung der oberen und unteren Begrenzung als maximalen und minimalen vorgeschlagenen Grenzwert für einen gegebenen Fahrparameter berücksichtigt. Dieses geordnete Tupel von (µKx, σKx) wird als das Schlüsselbildmodell gespeichert. Dies kann solange wiederholt werden, bis der Fehler zwischen der extrapolierten Bewegungsbahn und der tatsächlichen Bewegungsbahn kleiner als ein vorbestimmter Schwellenwert ist. Auf diese Weise können die Schlüsselbildmodelle als Identifikatoren für Aufgabeneckdaten dienen, bei denen Schlüsselbilder ausgerichtet und zu Durchschnittsschlüsselbildern zusammengefasst werden, die dann zur Extrapolation einer Bewegungsbahn oder anderer Fahrparameter während der Laufzeit oder in Echtzeit genutzt werden können. Da die Schlussfolgerungslogik 142 die Schlüsselbilder oder Schlüsselbildmodelle als Eckdaten behandelt, können diese Eckdaten als Metrik für den Fortschritt und als Kontrollpunkt für die Ausführung angesehen werden.
Der Sensor 120 kann beispielsweise ständig Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Umgebungszustandsinformationen sammeln, einschließlich Informationen in Verbindung mit dem Verdeckungsobjekt in der Umgebung, durch die das autonome Fahrzeug gerade fährt. Der Merkmalsextraktor 130 kann ständig die Größe des Verdeckungsobjekts, die Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmen. Die Schlussfolgerungslogik 142 kann ständig das passende Schlüsselbildmodell aus dem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählen. Die Schlussfolgerungslogik 142 kann ebenfalls ständig auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung maximale vorgeschlagene Grenzwerte und minimale vorgeschlagene Grenzwerte für den Fahrparameter generieren.
Da die Schlüsselbilder als Fortschrittsmarkierungen betrachtet werden können, kann die Schlussfolgerungslogik 142 Beschränkungen (z. B. den maximalen vorgeschlagenen Grenzwert und den minimalen vorgeschlagenen Grenzwert für die Fahrparameter) für verschiedene Fahrszenarien mit mehreren Verdeckungsobjekten generieren, indem die jeweiligen Schlüsselbilder für entsprechende Fahrszenarien linear miteinander kombiniert werden. Anders ausgedrückt kann die Schlussfolgerungslogik 142 einzelne Schlüsselbilder, Sätze von Schlüsselbildern oder Teilmengen von Schlüsselbildern mittels ,plug-and-play‘ oder ,cut-and-paste‘ verwenden, um dementsprechend Parametersätze zu generieren, wie etwa einen maximalen vorgeschlagenen Grenzwert oder einen minimalen vorgeschlagenen Grenzwert für den Fahrparameter. Auf diese Weise können die mit jedem Schlüsselbild verknüpften Aktionen auf unterschiedliche Weise miteinander verbunden werden, um Aufgaben innerhalb eines Bereichs zu lösen.
In jedem Fall kann die Schlussfolgerungslogik 142 eine aktuelle Position des autonomen Fahrzeugs (die z. B. eine Unterspur des autonomen Fahrzeugs beinhalten kann), eine Position des Verdeckungsobjekts oder Objekts, einen aktuellen Kurs des autonomen Fahrzeugs, eine aktuelle Geschwindigkeit des autonomen Fahrzeugs, eine Größe, die mit dem Verdeckungsobjekt verknüpft ist, eine Art von Straßen- oder Fahrbahnstruktur, die mit der Umgebung verknüpft ist, empfangen und einen oder mehrere Fahrparameter ausgeben oder anderweitig generieren. Für jeden Fahrparameter kann die Schlussfolgerungslogik 142 den maximalen vorgeschlagenen Grenzwert und den minimalen vorgeschlagenen Grenzwert als eine empfohlene Betriebsspanne innerhalb eines Zeitraums oder Zeithorizonts (z. B. 5 Sekunden) generieren. Der Zeithorizont und die aktuelle Geschwindigkeit können von der Schlussfolgerungslogik 142 verwendet werden, um den entsprechenden Entfernungshorizont, egozentrische Werte gespeicherter Varianzen und den kubischen Spline des passenden Schlüsselbildmodells zu berechnen, um die vorgeschlagenen Begrenzungen oder Grenzwerte als extrapolierte Kurven über einen Entfernungshorizont zu erzeugen, wie durch die x-Achse in 4A-4B dargestellt.
Die Steuerung 160 kann eine elektronische Steuereinheit (ECU) des autonomen Fahrzeugs sein. Die ECU 160 oder Steuerung kann das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten. Dies kann in einem oder mehreren Zeitintervallen oder einem oder mehreren Positionsintervallen erfolgen, wie die Linien entlang der x-Achse (z. B. in vertikaler Richtung oder aufwärts-abwärts) in den 4A-4B zeigen. In jedem Fall kann die ECU 160 veranlassen, dass Aspekte des passenden Schlüsselbildmodells auf einer entsprechenden Fahrzeugkomponente ausgeführt werden (z. B. wenn sich der Fahrparameter für ein bevorstehendes Schlüsselbild auf die Geschwindigkeit bezieht und größer ist als eine aktuelle Geschwindigkeit des Fahrzeugs, wodurch die Drosselklappe erweitert wird). Anders ausgedrückt kann das ECU 160 autonomes Fahren gemäß dem passenden Schlüsselbildmodell realisieren, indem der Zustand einer oder mehrerer Fahrzeugkomponenten (d. h. des Lenkmechanismus 162, des Drosselmechanismus 164 oder des Bremsmechanismus 166) des autonomen Fahrzeugs verändert wird, etwa wenn sich das autonome Fahrzeug innerhalb eines Werts D_thresh des Verdeckungsobjekts befindet. Auf diese Weise kann die ECU 160 das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn die Position des autonomen Fahrzeugs geringer als die Schwellenentfernung (D_thresh ) zur Position des Verdeckungsobjekts ist.
Gemäß einem oder mehreren Aspekten kann das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb zwei oder mehr Verdeckungsobjekte in Folge erkennen, wie etwa ein erstes Verdeckungsobjekt, ein zweites Verdeckungsobjekt, usw. Mit anderen Worten können die vom Sensor 120 gesammelten Umgebungszustandsinformationen Informationen beinhalten, die mit dem ersten Verdeckungsobjekt und dem zweiten Verdeckungsobjekt in der Umgebung, durch die das autonome Fahrzeug gerade fährt, verknüpft sind. Der Merkmalsextraktor 130 kann eine Größe des zweiten Verdeckungsobjekts, eine Entfernung zwischen dem zweiten Verdeckungsobjekt und dem autonomen Fahrzeug bestimmen. Wie zuvor erörtert, lassen sich diese Entfernungen in Breiten- und Längskomponenten unterteilen. Die Schlussfolgerungslogik 142 kann ein passendes Schlüsselbildmodell bzw. passende Schlüsselbildmodelle aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des zweiten Verdeckungsobjekts, der Entfernung von dem zweiten Verdeckungsobjekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählen. Unter Verwendung des/der ausgewählten Schlüsselbildmodells/e kann die Schlussfolgerungslogik 142 maximale und minimale vorgeschlagene Grenzwerte für einen Fahrparameter, der mit dem autonomen Fahrzeugbetrieb verknüpft ist, auf Grundlage des/der ausgewählten Schlüsselbildmodells/e, der Fahrzeugzustandsinformationen, der Größe des zweiten Verdeckungsobjekts, der Entfernung von dem zweiten Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung generieren.
Gemäß einem Aspekt kann die Schlussfolgerungslogik 142 nachfolgende Verdeckungsobjekte als ein isoliertes Objekt mit eigener Schwellenentfernung (D_thresh ) behandeln. Wenn das erste Verdeckungsobjekt und das zweite Verdeckungsobjekt so weit voneinander entfernt sind, dass D_thresh1 (entsprechend dem ersten Verdeckungsobjekt) und D_thresh2 (entsprechend dem zweiten Verdeckungsobjekt) und die jeweilige aktive Verhaltenszeit nicht kollidieren, kann die Schlussfolgerungslogik 142 entsprechende Schlüsselbildmodelle separat implementieren. Sind das erste Verdeckungsobjekt und das zweite Verdeckungsobjekt jedoch so weit voneinander entfernt, dass sich D_thresh1 (entsprechend dem ersten Verdeckungsobjekt) und D_thresh2 (entsprechend dem zweiten Verdeckungsobjekt) und die jeweilige aktive Verhaltenszeit überlappen, kann die Schlussfolgerungslogik 142 entsprechende Schlüsselbildmodelle zusammen implementieren, wie etwa durch Generieren von Beschränkungen (z. B. die maximalen und minimalen vorgeschlagenen Grenzwerte für den Fahrparameter) unter Verwendung von Schlüsselbildern vom ersten Verdeckungsobjekt bis zum Mittelpunkt des ersten Verdeckungsobjekts CP_h1 , und diese mit Schlüsselbildern vom zweiten Verdeckungsobjekt bis zum Mittelpunkt des zweiten Verdeckungsobjekts CP_h2 (die nach CP_h1 liegen) aneinanderreihen. Die Schlussfolgerungslogik 142 kann die Schlüsselbilder, die mit dem ersten Verdeckungsobjekt und dem zweiten Verdeckungsobjekt verknüpft sind, auf Grundlage von Splines dritten Grads aneinanderreihen. Mit anderen Worten können kubische Splines verwendet werden, um mehrere Sätze von Schlüsselbilder miteinander zu kombinieren.
Gemäß einem Aspekt kann die Schlussfolgerungslogik 142 entsprechende Schlüsselbildmodelle implementieren, indem ein Durchschnittspunkt (AP_(h1,h2)) zwischen dem Mittelpunkt des ersten Verdeckungsobjekts CP_h1 und dem Mittelpunkt des zweiten Verdeckungsobjekts CP_h2 bestimmt wird. Dies kann beispielsweise eine Entfernung von einer durchschnittlichen zentrierten Position des ersten Objekts und des zweiten Objekts zum autonomen Fahrzeug sein. Hier kann die Schlussfolgerungslogik 142 das erste Verdeckungsobjekt und das zweite Verdeckungsobjekt als isolierte Objekte behandeln und Varianz-Schlüsselbilder in einem globalen Bereich abrufen. Die Schlussfolgerungslogik 142 kann alle h1-Schlüsselrahmen mit einer Vorwärtskomponente kleiner als AP_(h1,h2) auswählen und diese unter Schlüsselbildern für h2 mit einer Vorwärtskomponente größer als AP_(h1,h2) stapeln. Diese Kombination kann mit kubischen Splines genutzt werden, um die Beschränkungen für die überlappenden Verdeckungsobjekte zu generieren.
2 ist eine Darstellung eines beispielhaften Nutzungsszenarios für das System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1. Wie zuvor erläutert, kann D_thresh so implementiert werden, dass jeder Fahrparameter seinen eigenen D_thresh aufweist, auch wenn D_thresh von den Fahrparametern gemeinsam genutzt werden kann. Auf jeden Fall kann D_thresh eine Entfernung angeben, bei der der menschliche Fahrer auf ein Verdeckungsobjekt 210 reagiert (z. B. im Zusammenhang mit der Möglichkeit eines Fußgängers oder Hindernisses).
Gemäß einem Aspekt kann die ECU 160 das autonome Fahrzeug anweisen, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn eine Position des autonomen Fahrzeugs geringer als eine Schwellenentfernung, wie etwa D_thresh , zu einer Position des verdeckten Objekts 210 ist. Anders ausgedrückt, sobald das autonome Fahrzeug D_thresh erreicht, kann die ECU 160 die mit dem Fahrparameter verknüpften Beschränkungen aktivieren. Diese Fahrparameter können aktiviert oder eingeschaltet bleiben, während das autonome Fahrzeug eine Entfernung D_ab zurücklegt (d. h. die Entfernung während des aktiven Verhaltens im Zusammenhang mit dem Schlüsselbildmodell). Während der Aktivierung dieser Fahrparameter nimmt die Schlussfolgerungslogik 142 eine Momentaufnahme der aktuellen Merkmale oder Fahrparameter auf und wandelt diese Fahrparameter in eine egozentrische Dimension um. Wie in 2 zu sehen ist, kann das Verdeckungsobjekt 210 eine Gefahr h ein, verknüpft mit zwei Faktoren: einer Größe und einer Mittelposition CP_h .
Nach dem Vorbeifahren am Verdeckungsobjekt 210 kann die ECU 160 jedoch andere Spannen oder vorgeschlagene Grenzwerte für den Fahrparameter implementieren. Mit anderen Worten kann die ECU das autonome Fahrzeug anweisen, den maximalen vorgeschlagenen Grenzwert und den minimalen vorgeschlagenen Grenzwert für den Fahrparameter zu ignorieren, nachdem das autonome Fahrzeug an dem Verdeckungsobjekt 210 vorbeigefahren ist, aber immer noch innerhalb der Schwellenentfernung zur Position des Verdeckungsobjekts 210 ist, etwa wenn eine Schwellenentfernung D_ab gefahren wird.
3A-3B sind Darstellungen eines beispielhaften Trainingsszenarios in Verbindung mit dem System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1. Wie in 3A zu sehen ist, kann das Verdeckungsobjekt 310 ein potentielles Szenario des toten Winkels darstellen, bei dem ein Fußgänger 320 hinter dem Verdeckungsobjekt hervortreten kann. Dies wird in der 3B dargestellt. Wie zuvor erörtert, können während der Trainings- oder Simulationsphase Informationen, wie etwa Fahrzeugeigenschaften, während der von menschlichen Fahrern durchgeführten Testfahrten aufgezeichnet oder gespeichert werden, und diese Informationen können zur Erstellung von Schlüsselbildmodellen verwendet werden. Autonome Fahrzeuge können auf Grundlage dieser Schlüsselbildmodelle betrieben werden.
4A-4B sind Darstellungen eines beispielhaften Nutzungsszenarios in Verbindung mit dem System 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb der 1. Die 4A-4B sind beispielhafte Begrenzungen (z.B. maximale vorgeschlagene Grenzwerte und minimale vorgeschlagene Grenzwerte) für verschiedene Fahrparameter. Wie in 4A-4B zu sehen ist, sind die mit der Hüllkurve verknüpften Spannen (z. B. zwischen dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert) nicht unbedingt symmetrisch. Während die rechte Begrenzung der 4B eine engere Begrenzung mit weniger Lenkbewegung ist, ist die linke Begrenzung kurvenreicher und stärker auf das „Ausweichen“ der Objekte ausgerichtet. Diese gegensätzlichen Begrenzungen repräsentieren verschiedene Stereotypen von Fahrern, wie etwa Zielorientierte mit minimaler möglicher Bewegung und Sicherheitsorientierte mit übertriebenen Bewegungen. Gemäß einem Aspekt kann LfD implementiert werden, um sich für das Verhalten eines Benutzers auf Grundlage der Demographie des Benutzers oder Insassen des autonomen Fahrzeugs zu eignen. Durch die Aufzeichnung der Verhaltenspräferenzen des Benutzers kann das Framework des Systems 100 für schlüsselbildbasierten autonomen Fahrzeugbetrieb die Schlüsselbild- und Varianz-Modelle aktualisieren, um die Präferenzen des Benutzers widerzuspiegeln, wodurch die Verhaltenssteuerung gedrängt wird, Fahrparameter zu implementieren, die mit einem der beiden Extreme (z.B. Minimum oder Maximum) verknüpft sind.
5 ist eine Darstellung eines beispielhaften Ablaufdiagramms eines Verfahrens für schlüsselbildbasierten autonomen Fahrzeugbetrieb gemäß einem Aspekt. Das Verfahren kann Sammeln 502 von Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Sammeln 504 von Umgebungszustandsinformationen beinhalten, einschließlich Informationen in Verbindung mit einem Objekt, das sich in einer Umgebung befindet, durch die das autonome Fahrzeug gerade fährt, Bestimmen 506 einer Größe des Objekts, einer Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und einer Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, Auswählen 508 eines passenden Schlüsselbildmodells aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen, Generieren 510 eines maximalen vorgeschlagenen Grenzwerts und eines minimalen vorgeschlagenen Grenzwerts für einen Fahrparameter in Verbindung mit dem autonomen Fahrzeugbetrieb auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung, und Anweisen des autonomen Fahrzeugs, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten 512.
Noch ein weiterer Aspekt betrifft ein computerlesbares Medium mit prozessorausführbaren Anweisungen, die dazu konfiguriert sind, einen Aspekt der hier vorgestellten Techniken zu implementieren. Eine Ausführungsform eines computerlesbaren Mediums oder einer computerlesbaren Vorrichtung, die auf diese Weise geplant ist, ist in 6 dargestellt, wobei eine Implementierung 600 ein computerlesbares Medium 608, wie etwa eine CD-R, DVD-R, ein Flash-Laufwerk, eine Platte eines Festplattenlaufwerks usw., beinhaltet, auf dem computerlesbare Daten 606 codiert sind. Diese codierten computerlesbaren Daten 606, wie etwa Binärdaten mit einer Vielzahl von Nullen und Einsen, wie in 606 gezeigt, beinhalten wiederum einen Satz von prozessorausführbaren Computeranweisungen 604, der dazu konfiguriert ist, nach einem oder mehreren der hier dargelegten Prinzipien zu arbeiten. In einer solchen Ausführungsform 600 können die prozessorausführbaren Computeranweisungen 604 dazu konfiguriert sein, ein Verfahren 602 ausführen, wie das Verfahren 500 der 5. In einem anderen Aspekt können die prozessorausführbaren Computeranweisungen 604 dazu konfiguriert sein, ein System zu implementieren, wie etwa das System 100 der 1. Viele dieser computerlesbaren Medien können von einem Durchschnittsfachmann geplant werden und sind so konfiguriert, dass sie in Übereinstimmung mit den hier vorgestellten Techniken arbeiten.
Die in dieser Anmeldung verwendeten Begriffe „Komponente“, „Modul“, „System“, „Schnittstelle“ und dergleichen sollen sich im Allgemeinen auf eine computerbezogene Instanz, entweder Hardware, eine Kombination aus Hard- und Software, Software oder Software in Ausführung beziehen. Eine Komponente kann beispielsweise unter anderem ein Prozess, der auf einem Prozessor läuft, ein Prozessor, ein Objekt, eine ausführbare Datei, ein Ausführungs-Thread, ein Programm oder ein Computer sein. Zur Veranschaulichung kann sowohl eine auf einer Steuerung laufende Anwendung als auch die Steuerung eine Komponente sein. Eine oder mehrere Komponenten, die sich innerhalb eines Prozesses oder Ausführungs-Threads befinden, und eine Komponente können auf einem Computer lokalisiert sein oder auf zwei oder mehrere Computer verteilt werden.
Weiterhin wird der beanspruchte Gegenstand als ein Verfahren, ein Gerät oder ein hergestellter Gegenstand unter Verwendung von Standardprogrammier- oder Konstruktionstechniken zur Herstellung von Software, Firmware, Hardware oder einer beliebigen Kombination davon implementiert, um einen Computer zum Implementieren des offenbarten Gegenstands zu steuern. Der hier verwendete Begriff „hergestellter Gegenstand“ soll ein Computerprogramm, das von jeder computerlesbaren Vorrichtung, Träger oder Medium aus zugänglich ist, einschließen. Natürlich können viele Modifikationen an dieser Konfiguration vorgenommen werden, ohne vom Umfang oder Geist des beanspruchten Gegenstandes abzuweichen.
7 und die nachfolgende Erörterung geben eine Beschreibung einer geeigneten Computerumgebung zum Implementieren von Aspekten einer oder mehrerer der hier dargelegten Bestimmungen. Die Betriebsumgebung in 7 ist nur ein Beispiel für eine geeignete Betriebsumgebung und soll keine Einschränkung des Anwendungsbereichs oder der Funktionalität der Betriebsumgebung suggerieren. Zu den beispielhaften Rechenvorrichtungen gehören unter anderem Personal Computer, Servercomputer, Handheld- oder Laptopgeräte, mobile Vorrichtungen wie Mobiltelefone, Personal Digital Assistant (PDA), Mediaplayer und dergleichen, Multiprozessorsysteme, Unterhaltungselektronik, Minicomputer, Großrechner, verteilte Computerumgebungen, die ein beliebiges oder eine beliebige der oben genannten Systeme oder Vorrichtungen beinhalten, usw.
Im Allgemeinen werden Ausführungsformen oder Aspekte im allgemeinen Kontext von „computerlesbaren Anweisungen“ beschrieben, die durch eine oder mehrere Rechenvorrichtungen ausgeführt werden. Computerlesbare Anweisungen können über computerlesbare Medien verteilt werden, wie nachfolgend erörtert wird. Computerlesbare Anweisungen können als Programmmodule implementiert werden, wie etwa Funktionen, Objekte, Anwendungsprogrammierschnittstellen (Application Programming Interface - API), Datenstrukturen und dergleichen, die eine oder mehrere Aufgaben durchführen oder einen oder mehrere abstrakte Datentypen implementieren. Typischerweise werden die Funktionen der computerlesbaren Anweisungen in verschiedenen Umgebungen nach Wunsch kombiniert oder verteilt.
7 veranschaulicht ein System 700 mit einer Rechenvorrichtung 712, die dazu konfiguriert ist, einen hierin bereitgestellten Aspekt zu implementieren. In einer Konfiguration beinhaltet die Rechenvorrichtung 712 mindestens eine Verarbeitungseinheit 716 und einen Speicher 718. Abhängig von der genauen Konfiguration und der Art der Rechenvorrichtung kann der Speicher 718 flüchtig sein, wie etwa ein RAM, nicht flüchtig, wie etwa ein ROM, ein Flash-Speicher usw., oder eine Kombination aus beiden. Diese Konfiguration ist in 7 durch die gestrichelte Linie 714 dargestellt.
In anderen Aspekten beinhaltet die Rechenvorrichtung 712 zusätzliche Merkmale oder Funktionen. Zum Beispiel kann die Rechenvorrichtung 712 zusätzlichen Datenspeicher, wie entfernbaren Speicher oder nicht entfernbaren Speicher, beinhalten, einschließlich unter anderem magnetische Speicher, optische Speicher, usw. Ein solcher zusätzlicher Datenspeicher ist in 7 durch den Datenspeicher 720 dargestellt. In einem Aspekt befinden sich computerlesbare Anweisungen zum Implementieren eines hier bereitgestellten Aspekts im Datenspeicher 720. Der Datenspeicher 720 kann andere computerlesbare Anweisungen zur Implementierung eines Betriebssystems, eines Anwendungsprogramms usw. speichern. Computerlesbare Anweisungen können in den Speicher 718 geladen werden, um beispielsweise von der Verarbeitungseinheit 716 ausgeführt zu werden.
Der hier verwendete Begriff „computerlesbare Medien“ beinhaltet Computerspeichermedien. Computerspeichermedien beinhalten flüchtige und nichtflüchtige, entfernbare und nicht entfernbare Medien, die durch ein beliebiges Verfahren oder eine beliebige Technologie zur Speicherung von Informationen, wie etwa computerlesbaren Anweisungen oder anderen Daten, implementiert sind. Der Speicher 718 und der Datenspeicher 720 sind Beispiele für Computerspeichermedien. Computerspeichermedien beinhalten unter anderem RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologien, CD-ROM, Digital Versatile Disks (DVD) oder andere optische Speicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium, das zum Speichern der gewünschten Informationen verwendet werden kann und auf das durch die Rechenvorrichtung 712 zugegriffen werden kann. Ein solches Computerspeichermedium ist Teil der Rechenvorrichtung 712.
Der Begriff „computerlesbare Medien“ beinhaltet Kommunikationsmedien. Kommunikationsmedien verkörpern typischerweise computerlesbare Anweisungen oder andere Daten in einem „modulierten Datensignal“, wie etwa eine Trägerwelle oder ein anderer Transportmechanismus, und beinhalten beliebige Informationsübertragungsmedien. Der Begriff „moduliertes Datensignal“ beinhaltet ein Signal, das eine oder mehrere seiner Eigenschaften so eingestellt oder verändert hat, dass es Informationen im Signal kodiert.
Die Rechenvorrichtung 712 beinhaltet (eine) Eingabevorrichtung(en) 724 wie Tastatur, Maus, Stift, Spracheingabevorrichtung, Touch-Eingabevorrichtung, Infrarotkameras, Videoeingabegeräte oder andere Eingabevorrichtungen. (Eine) Ausgabevorrichtung(en) 722, wie etwa eine oder mehrere Anzeigen, Lautsprecher, Drucker oder andere Ausgabevorrichtungen können in der Rechenvorrichtung 712 enthalten sein. Eingabevorrichtung(en) 724 und Ausgabevorrichtung(en) 722 können über eine Kabelverbindung, eine drahtlose Verbindung oder eine beliebige Kombination davon mit der Rechenvorrichtung 712 verbunden werden. In einem Aspekt kann eine Eingabevorrichtung oder eine Ausgabevorrichtung von einer anderen Rechenvorrichtung als Eingabevorrichtung(en) 724 oder Ausgabevorrichtung(en) 722 für die Rechenvorrichtung 712 verwendet werden. Die Rechenvorrichtung 712 kann (eine) Kommunikationsverbindung(en) 726 beinhalten, um die Kommunikation mit einer oder mehreren anderen Vorrichtungen 730, beispielsweise über das Netzwerk 728, zu ermöglichen.
Obwohl der Gegenstand in für strukturelle Merkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der Gegenstand der beigefügten Patentansprüche nicht notwendigerweise auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die oben beschriebenen spezifischen Merkmale und Handlungen als Ausführungsbeispiele offenbart.
Hier werden verschiedene Vorgänge von Ausführungsformen bereitgestellt. Die Reihenfolge, in der ein oder mehrere oder alle der Vorgänge beschrieben werden, sollte nicht so ausgelegt werden, dass die Vorgänge unbedingt abhängig von der Reihenfolge sind. Eine alternative Reihenfolge auf Grundlage dieser Beschreibung ist anzuerkennen. Außerdem sind nicht alle Vorgänge notwendigerweise in jeder hier bereitgestellten Ausführungsform vorhanden.
Wie in dieser Anwendung verwendet, soll „oder“ ein inklusives „oder“ und nicht ein exklusives „oder“ bedeuten. Darüber hinaus kann ein inklusives „oder“ eine beliebige Kombination davon enthalten (z. B. A, B oder eine beliebige Kombination davon). Darüber hinaus sollen „ein“ und „eine“, wie sie in dieser Anwendung verwendet werden, in der Regel als „ein/e oder mehrere“ verstanden werden, sofern nicht anders angegeben oder aus dem Zusammenhang klar ersichtlich ist, dass auf eine singuläre Form abgezielt wird. Zusätzlich bedeutet mindestens eines von A und B und/oder dergleichen im Allgemeinen A oder B oder sowohl A als auch B. Ferner, soweit „beinhaltet“, „aufweisend“, „aufweist“, „mit“ oder Varianten davon entweder in der ausführlichen Beschreibung oder in den Ansprüchen verwendet werden, sollen solche Begriffe inklusiv sein, in einer ähnlichen Weise wie der Begriff „umfasst“.
Ferner sind „erste“, „zweite“ oder dergleichen, wenn nicht anders angegeben, nicht dazu bestimmt, einen zeitlichen Aspekt, einen räumlichen Aspekt, eine Reihenfolge usw. zu implizieren. Vielmehr werden solche Begriffe lediglich als Bezeichner, Namen usw. für Merkmale, Elemente, Gegenstände usw. verwendet. Beispielsweise entsprechen ein erster Kanal und ein zweiter Kanal in der Regel Kanal A und Kanal B oder zwei unterschiedlichen oder zwei identischen Kanälen oder dem gleichen Kanal. Zusätzlich bedeutet „umfassend“, „umfassen“, „beinhaltend“, „beinhaltet“ oder dergleichen im Allgemeinen, dass sie umfassend oder beinhaltend, aber nicht auf etwas beschränkt, bedeuten.
Es ist anzuerkennen, dass verschiedene der oben offenbarten und anderer Merkmale und Funktionen oder Alternativen oder Varianten davon nach Wunsch zu vielen anderen unterschiedlichen Systemen oder Anwendungen kombiniert werden können. Auch diese verschiedenen derzeit unvorhergesehenen und unerwarteten Alternativen, Modifikationen, Variationen oder Verbesserungen können nachfolgend von einem Fachmann vorgenommen werden, wobei diese auch durch die nachfolgenden Ansprüche umfasst sein sollen.
Gemäß einem Aspekt kann ein schlüsselbildbasierter autonomer Fahrzeugbetrieb Sammeln von Fahrzeugzustandsinformationen und Sammeln von Umgebungszustandsinformationen beinhalten. Eine Größe eines Objekts innerhalb der Umgebung, eine Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, können bestimmt werden. Ein passendes Schlüsselbildmodell kann auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen ausgewählt werden. Auf Grundlage des gewählten Schlüsselbildmodells können Grenzwerte für einen Fahrparameter im Zusammenhang mit dem autonomen Fahrzeugbetrieb generiert werden. Das autonome Fahrzeug kann angewiesen werden, gemäß den vorgeschlagenen Grenzwerten für die Fahrparameter autonom zu arbeiten.

Claims

System für schlüsselbildbasierten autonomen Fahrzeugbetrieb, umfassend: einen Sensor, der Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Umgebungszustandsinformationen sammelt, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Verdeckungsobjekt, das sich in einer Umgebung befindet, durch die das autonome Fahrzeug gerade fährt, beinhalten; einen Merkmalsextraktor, der über einen Prozessor einer elektronischen Steuereinheit (ECU) implementiert ist und eine Größe des Verdeckungsobjekts, eine Entfernung zwischen dem Verdeckungsobjekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmt; eine Schlussfolgerungslogik, die über den Prozessor der ECU implementiert ist: die ein passendes Schlüsselbildmodell aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählt; und die auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Verdeckungsobjekts, der Entfernung von dem Verdeckungsobjekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung einen maximalen vorgeschlagenen Grenzwert und einen minimalen vorgeschlagenen Grenzwert für einen Fahrparameter generiert, der mit dem autonomen Fahrzeugbetrieb verknüpft ist; und wobei die ECU das autonome Fahrzeug anweist, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach Anspruch 1, wobei die Fahrzeugzustandsinformationenen eine Position des autonomen Fahrzeugs, einen Kurs des autonomen Fahrzeugs und eine Geschwindigkeit des autonomen Fahrzeugs beinhalten.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach Anspruch 1 oder Anspruch 2, wobei die Umgebungszustandsinformationen eine Position des Verdeckungsobjekts beinhalten.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 3, wobei die Fahrspurstruktur der Umgebung eine zweispurige Straßenstruktur oder eine vierspurige Straßenstruktur beinhaltet.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 4, wobei die ECU das autonome Fahrzeug anweist, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn eine Position des autonomen Fahrzeugs geringer als eine Schwellenentfernung zu einer Position des Verdeckungsobjekts ist.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach Anspruch 5, wobei die ECU das autonome Fahrzeug anweist, den maximalen vorgeschlagenen Grenzwert und den minimalen vorgeschlagenen Grenzwert für den Fahrparameter zu ignorieren, nachdem das autonome Fahrzeug an dem Verdeckungsobjekt vorbeigefahren ist, aber innerhalb der Schwellenentfernung zur Position des Verdeckungsobjekts ist.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 6, wobei der Satz von Schlüsselbildmodellen auf Splines dritten Grads oder Splines fünften Grads basiert.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 7, wobei die Fahrzeugzustandsinformationen eine Position des autonomen Fahrzeugs beinhalten, die als eine Unterspur innerhalb einer Fahrspur definiert ist, durch die das autonome Fahrzeug gerade fährt.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 8, wobei der Sensor eine Radareinheit, eine LIDAR-Einheit (Light Detection and Ranging) oder einen Bilderfassungssensor beinhaltet.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 1 bis 9, wobei der Fahrparameter eine Geschwindigkeit, eine Beschleunigung oder ein Lenkwinkel des autonomen Fahrzeugs ist.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb, umfassend: einen Sensor, der Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und Umgebungszustandsinformationen sammelt, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Objekt beinhalten, das sich in einer Umgebung befindet, durch die das autonome Fahrzeug gerade fährt; einen Merkmalsextraktor, der über einen Prozessor einer elektronischen Steuereinheit (ECU) implementiert ist und eine Größe des Objekts, eine Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und eine Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt, bestimmt; eine Schlussfolgerungslogik, die über den Prozessor der ECU implementiert ist: die ein passendes Schlüsselbildmodell aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen auswählt; und die auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung einen maximalen vorgeschlagenen Grenzwert und einen minimalen vorgeschlagenen Grenzwert für einen Fahrparameter, der mit dem autonomen Fahrzeugbetrieb verknüpft ist, generiert; und wobei die ECU das autonome Fahrzeug anweist, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach Anspruch 11, wobei die ECU das autonome Fahrzeug anweist, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten, wenn eine Position des autonomen Fahrzeugs geringer als eine Schwellenentfernung zu einer Position des Objekts ist.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach Anspruch 11 oder Anspruch 12, wobei der Satz von Schlüsselbildmodellen auf Splines dritten Grads oder Splines fünften Grads basiert.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 11 bis 13, wobei die Fahrzeugzustandsinformationen eine Position des autonomen Fahrzeugs beinhalten, die als eine Unterspur innerhalb einer Fahrspur definiert ist, durch die das autonome Fahrzeug gerade fährt.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 11 bis 14, wobei der Sensor eine Radareinheit, eine LIDAR-Einheit (Light Detection and Ranging) oder einen Bilderfassungssensor beinhaltet.
System für schlüsselbildbasierten autonomen Fahrzeugbetrieb nach einem der Ansprüche 11 bis 15, wobei der Fahrparameter eine Geschwindigkeit, eine Beschleunigung oder ein Lenkwinkel des autonomen Fahrzeugs ist.
Computerimplementiertes Verfahren für schlüsselbildbasierten autonomen Fahrzeugbetrieb, umfassend Ausführen, über einen Prozessor einer elektronischen Steuereinheit (ECU), von Folgendem: Sammeln von Fahrzeugzustandsinformationen in Verbindung mit einem autonomen Fahrzeug und von Umgebungszustandsinformationen, wobei die Umgebungszustandsinformationen Informationen in Verbindung mit einem Objekt, das sich in einer Umgebung befindet, durch die das autonome Fahrzeug gerade fährt, beinhalten; Bestimmen einer Größe des Objekts, einer Entfernung zwischen dem Objekt und dem autonomen Fahrzeug und einer Fahrspurstruktur der Umgebung, durch die das autonome Fahrzeug gerade fährt; Auswählen eines passenden Schlüsselbildmodells aus einem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen; Generieren eines maximalen vorgeschlagenen Grenzwerts und eines minimalen vorgeschlagenen Grenzwerts für einen Fahrparameter, der mit dem autonomen Fahrzeugbetrieb verknüpft ist, auf Grundlage des ausgewählten Schlüsselbildmodells, der Fahrzeugzustandsinformationen, der Größe des Objekts, der Entfernung von dem Objekt zum autonomen Fahrzeug und der Fahrspurstruktur der Umgebung; und Anweisen des autonomen Fahrzeugs, gemäß dem maximalen vorgeschlagenen Grenzwert und dem minimalen vorgeschlagenen Grenzwert für den Fahrparameter autonom zu arbeiten.
Computerimplementiertes Verfahren nach Anspruch 17, umfassend: Sammeln von Umgebungszustandsinformationen, einschließlich Informationen in Verbindung mit einem zweiten Objekt, das sich in der Umgebung befindet, durch die das autonome Fahrzeug gerade fährt; Bestimmen einer Größe des zweiten Objekts und einer Entfernung zwischen dem zweiten Objekt und dem autonomen Fahrzeug; und Auswählen des Schlüsselbildmodells aus dem Satz von Schlüsselbildmodellen auf Grundlage der Größe des Objekts und der Größe des zweiten Objekts, einer Entfernung von einer durchschnittlichen zentrierten Position des Objekts und des zweiten Objekts zum autonomen Fahrzeug, der Fahrspurstruktur der Umgebung und der Fahrzeugzustandsinformationen.
Computerimplementiertes Verfahren nach Anspruch 17 oder Anspruch 18, wobei die Fahrzeugzustandsinformationen eine Position des autonomen Fahrzeugs, einen Kurs des autonomen Fahrzeugs und eine Geschwindigkeit des autonomen Fahrzeugs beinhalten.
Computerimplementiertes Verfahren nach einem der Ansprüche 17 bis 19, wobei die Umgebungszustandsinformationen eine Position des Objekts beinhalten.