DE102023209384A1

DE102023209384A1 - System und verfahren zur verteilungsbewussten zielvorhersage für modulare autonome fahrzeugsteuerung

Info

Publication number: DE102023209384A1
Application number: DE102023209384.7A
Authority: DE
Inventors: Jonathan Francis
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-09-27
Filing date: 2023-09-26
Publication date: 2024-03-28
Also published as: US20240109557A1; CN117789502A

Abstract

Ein Verfahren beinhaltet Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage und Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage und vorherigen räumlichen Informationen. Das Verfahren beinhaltet auch Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage. Das Verfahren beinhaltet auch Empfangen, in dem ersten Zeitintervall, von Sensordaten und einer Sequenz von Wegpunkten, und Steuern, in dem ersten Zeitintervall, wenigstens einer Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft die autonome Fahrzeugsteuerung und insbesondere Systeme und Verfahren zur verteilungsbewussten Zielvorhersage zur modulbasierten autonomen Fahrzeugsteuerung.
Hintergrund
Fahrzeuge, wie etwa Autos, Lastkraftwagen, SUVs, Crossover-Fahrzeuge, Minivans oder andere geeignete Fahrzeuge, beinhalten ein Antriebssystem, ein Bremssystem, ein Lenksystem und dergleichen. Solche Fahrzeugsysteme können manuell gesteuert werden (z. B. durch einen Fahrzeugführer) und/oder autonom oder semiautonom gesteuert werden (z. B. durch eine oder mehrere autonome oder semiautonome Fahrzeugsteuerungen). Solche autonomen oder semiautonomen Fahrzeugsteuerungen verlassen sich zunehmend auf verschiedene Maschinenlernmodelle zur Fahrzeugsteuerungsentscheidungsfindung oder verwenden diese zunehmend. Solche Maschinenlernmodelle werden an relativ großen Trainingsdatensätzen trainiert oder sind auf diese angewiesen, die unter Verwendung großer Mengen an Expertendemonstrationen oder anderer geeigneter Daten oder Informationen erzeugt werden können.
Kurzdarstellung
Ein Aspekt der offenbarten Ausführungsformen beinhaltet ein Verfahren zur autonomen Fahrzeugsteuerung. Das Verfahren beinhaltet Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs. Das Verfahren beinhaltet auch Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen. Das Verfahren beinhaltet auch Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage. Das Verfahren beinhaltet auch Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten, und Steuern, in dem ersten Zeitintervall, wenigstens einer Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten.
Ein anderer Aspekt der offenbarten Ausführungsformen beinhaltet ein System zur autonomen Fahrzeugsteuerung. Das System beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet Anweisungen, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Fahrzeugoperationsbefehls zum Steuern wenigstens einer Fahrzeugoperation des Fahrzeugs, wobei der wenigstens eine Fahrzeugoperationsbefehl basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Ein anderer Aspekt der offenbarten Ausführungsformen beinhaltet eine Einrichtung für eine Maschinenlernentscheidungsfindung. Die Einrichtung beinhaltet einen Prozessor und einen Speicher, der Anweisungen beinhaltet, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Positionsvorhersage einer autonom gesteuerten Maschine basierend auf wenigstens aktuellen räumlichen Positionsinformationen der autonom gesteuerten Maschine; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Trajektorienvorhersage der autonom gesteuerten Maschine basierend auf wenigstens der ersten aktuellen Positionsvorhersage und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Positionsvorhersage der autonom gesteuerten Maschine basierend auf der ersten aktuellen Positionsvorhersage und der ersten historischen Trajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor der autonom gesteuerten Maschine und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Operationsbefehls zum Steuern wenigstens einer Operation der autonom gesteuerten Maschine, wobei der wenigstens eine Operationsbefehl basierend auf der ersten aktuellen Positionsvorhersage, der ersten historischen Trajektorienvorhersage, der ersten zukünftigen Positionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Kurze Beschreibung der Zeichnungen

1 veranschaulicht allgemein ein System zum Trainieren eines neuronalen Netzes gemäß den Prinzipien der vorliegenden Offenbarung.
2 veranschaulicht allgemein ein computer-implementiertes Verfahren zum Trainieren und Nutzen eines neuronalen Netzes gemäß den Prinzipien der vorliegenden Offenbarung.
3A und 3B veranschaulichen allgemein eine Autonome-Fahrzeugsteuerung-Architektur gemäß den Prinzipien der vorliegenden Offenbarung.
4 ist ein Flussdiagramm, dass ein Autonome-Fahrzeugsteuerung-Verfahren gemäß den Prinzipien der vorliegenden Offenbarung allgemein veranschaulicht.
5 stellt ein schematisches Diagramm einer Interaktion zwischen einer computergesteuerten Maschine und einem Steuersystem gemäß den Prinzipien der vorliegenden Offenbarung dar.
6 stellt ein schematisches Diagramm des Steuersystems aus 5, das zum Steuern eines Fahrzeugs ausgebildet ist, das ein teilweise autonomes Fahrzeug, ein vollständig autonomes Fahrzeug, ein teilweise autonomer Roboter oder ein vollständig autonomer Roboter sein kann, gemäß den Prinzipien der vorliegenden Offenbarung dar.
7 stellt ein schematisches Diagramm des Steuersystems aus 5 dar, das zum Steuern einer Herstellungsmaschine, wie etwa eines Stanzwerkzeugs, eines Schneidewerkzeugs oder eines Kanonenbohrers, eines Herstellungssystems, wie etwa eines Teils einer Fertigungslinie, ausgebildet ist.
8 zeigt ein schematisches Diagramm des Steuersystems aus 5, das zum Steuern eines Elektrowerkzeugs, wie etwa einer/eines elektrischen Bohrmaschine oder Schraubendrehers, ausgebildet ist, das einen wenigstens teilweise autonomen Modus aufweist.
9 stellt ein schematisches Diagramm des Steuersystems aus 5 dar, das zum Steuern eines automatisierten persönlichen Assistenten ausgebildet ist.
10 zeigt ein schematisches Diagramm des Steuersystems aus 5, das zum Steuern eines Überwachungssystems ausgebildet ist, wie etwa eines Zugangssteuersystems oder eines Beobachtungssystems.
11 stellt ein schematisches Diagramm des Steuersystems aus 5 dar, das zum Steuern eines Bildgebungssystems, zum Beispiel einer MRI-Einrichtung, einer Röntgenbildgebungseinrichtung oder einer Ultraschalleinrichtung, ausgebildet ist.

Ausführliche Beschreibung
Ausführungsformen der vorliegenden Offenbarung sind hier beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; manche Merkmale könnten übertrieben oder minimiert sein, um Einzelheiten spezieller Komponenten zu zeigen. Daher sollen spezielle strukturelle und funktionale Einzelheiten, die hier offenbart sind, nicht als beschränkend interpretiert werden, sondern lediglich als eine repräsentative Basis, um einem Fachmann zu lehren, die Ausführungsformen verschiedentlich einzusetzen. Wie ein Durchschnittsfachmann versteht, können verschiedene Merkmale, die unter Bezugnahme auf eine beliebige der Figuren veranschaulicht und beschrieben sind, mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren veranschaulicht sind, um Ausführungsformen zu produzieren, die nicht explizit veranschaulicht oder beschrieben sind. Die Kombinationen von veranschaulichten Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der Merkmale in Übereinstimmung mit den Lehren dieser Offenbarung könnten jedoch für bestimmte Anwendungen oder Implementierungen gewünscht sein.
Wie beschrieben, beinhalten Fahrzeuge, wie etwa Autos, Lastkraftwagen, SUVs, Crossover-Fahrzeugen, Minivans oder andere geeignete Fahrzeugen, ein Antriebssystem, ein Bremssystem, ein Lenksystem und dergleichen. Solche Fahrzeugsysteme können manuell gesteuert werden (z. B. durch einen Fahrzeugführer) und/oder autonom oder semiautonom gesteuert werden (z. B. durch eine oder mehrere autonome oder semiautonome Fahrzeugsteuerungen). Solche autonomen oder semiautonomen Fahrzeugsteuerungen verlassen sich zunehmend auf verschiedene Maschinenlernmodelle zur Fahrzeugsteuerungsentscheidungsfindung oder verwenden diese zunehmend. Solche Maschinenlernmodelle werden an relativ großen Trainingsdatensätzen trainiert oder sind auf diese angewiesen, die unter Verwendung großer Mengen an Expertendemonstrationen oder anderer geeigneter Daten oder Informationen erzeugt werden können.
Die Durchführbarkeit des Sammelns solcher großen Mengen an Expertendemonstrationen hat ein wachsendes Forschungsinteresse in Umgebungen zum Lernen des Fahrens erweckt, wobei Modelle durch Imitieren des Fahrverhaltens von Experten lernen. Jedoch kann ein ausschließlicher Verlass auf Imitation eine Verallgemeinerbarkeit des Maschinenlernmodells auf neuartige Szenarien beschränken, die außerhalb der Unterstützung der Trainingsdaten liegen.
Entsprechend können Systeme und Verfahren, wie etwa jene hier beschriebenen, die zum Zerlegen von Fahrzeugoperationsaufgaben in modulare Fähigkeitsprimitive (die z. B. verallgemeinerbar und robust gegenüber Änderungen in der Umgebung sind) ausgebildet sind, wünschenswert sein. Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Umformulieren der Aufgabe zum Lernen des Fahrens als eine Zielverteilungsvorhersage, modellbasierte Planung und Trajektorienreduktion ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Lernen einer Mehrfachmoduszielverteilung durch Imitation des Experten, konditioniert auf das Erreichen des Bestimmungsortes, ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Basieren von Kandidatentrajektorienvorhersagen auf Fahrzeugkinematik und Straßengeometrie ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Abtasten, in jedem Zeitschritt, mehrerer Ziele und zur gleichen Zeit oder im Wesentlichen zur gleichen Zeit Entfernen der Vorhersagen ausgebildet sein, die falsch sind.
Das Erzielen einer Verallgemeinerbarkeit auf neuartige Szenarien beim städtischen autonomen Fahren verbleibt eine herausfordernde Aufgabe für künstliche Intelligenz (KI). Jüngste Ansätze haben vielversprechende Ergebnisse beim Ende-zu-Ende-Imitationslernen von Expertendemonstrationen gezeigt, wobei Agenten (die z. B. Fahrzeugsteuerungen, autonome Fahrzeugsteuerungen, semiautonome Fahrzeugsteuerungen, Maschinensteuerungen, autonome Maschinensteuerungen, semiautonome Maschinensteuerungen und dergleichen beinhalten oder hier als diese bezeichnet werden können) Richtlinien lernen, die Expertenhandlungen in jedem Zeitschritt replizieren, wenn die entsprechenden Beobachtungen gegeben sind. Trotz dieses Fortschritts können imitative Ende-zu-Ende-Modelle oft die kausalen Strukturen, die Expertenumgebungsinteraktionen zugrunde liegen, nicht erfassen, was dazu führt, dass Modelle die korrekten Zuordnungen aus den Beobachtungen falsch identifizieren. Des Weiteren wird, falls Expertendemonstrationen nicht alle Szenarien abdecken, die der Agent während der Testzeit erfahren wird, der Agent falsche Handlungen als Reaktion auf diese OOD(Out-Of-Distribution - außerhalb der Verteilung)-Beobachtungen erzeugen.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Zerlegen des Lernens in Submodule (oder z. B. Teilaufgaben) zur Trajektorienvorhersage, Innenroboternavigation, erlernbarer Robotererkundung, andere geeignete Lernanwendungen oder eine Kombination daraus ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Aufspalten des Inferenzproblems in kleinere Einheiten ausgebildet sein, um eine bessere Kontrolle über den Inferenzschritt bereitzustellen, um eine kausale Fehlidentifizierung zu vermeiden (z. B. durch Verwenden von Modulen, die nicht durch einen datengesteuerten Prozess optimiert werden müssen, wie etwa Proportional-Integral-Derivative(PID)-Regler, A*-Pfad-Suchalgorithmen usw.). Die hier beschriebenen Systeme und Verfahren können zum Definieren von Modulen in der Umgebung zum Lernen des Fahrens ausgebildet sein, so dass jede Modulaufgabe direkt den Verhaltenskomponenten zuschreibbar ist, die von einem Expertenagenten erwartet werden. Die hier beschriebenen Systeme und Verfahren können zum Bereitstellen von Aufgabenmodulen mit spezialisierten Rollen (z. B. Hinderniswahrnehmung, explizites Modellieren von Umgebungsdynamik, Zielvorhersage, Trajektorienreduzierung und/oder einer Kombination davon) ausgebildet sein, wobei sowohl die Lenkbarkeit ihrer jeweiligen Aufgaben als auch ihre Komplementarität gegenüber nachgelagerten Aufgaben verbessert werden.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum effektiven Nutzen der vorherigen Erfahrung des Experten (z. B. in der Form von Expertendemonstrationen) ausgebildet sein, während auch eine Verallgemeinerbarkeit auf neuartige Szenarien erzielt wird. Die hier beschriebenen Systeme und Verfahren können zum Nutzen von Expertendemonstrationen zum Vortrainieren von Submodulen und zur Dichtenschätzung genutzt werden. Die hier beschriebenen Systeme und Verfahren können zum Basieren von Vorhersagen auf einem differenzierbaren Fahrzeugkinematikmodell und Begrenzungsvorhersagen mit Bezug auf Straßenzulässigkeit durch geometrische Projektion einer Zielvorhersage ausgebildet sein.
Die hier beschriebenen Systeme und Verfahren können zum Produzieren eines Rahmens zum Erzeugen diverser multimodaler Vorhersagen für die Umgebung zum Lernen des Fahrens ausgebildet sein, welcher eine verbesserte Verallgemeinerbarkeit durch modulare Aufgabenstrukturen, eine besser informierte Ziel-Likelihood-Dichteschätzung, explizite Basierung auf differenzierbarer Fahrzeugkinematik zur Trajektorienerzeugung und lernbarer Trajektorienreduzierung durch konfliktäre Filterung und Richtlinienverfeinerung erzielt. Wie allgemein in 3A veranschaulicht, können die hier beschriebenen Systeme und Verfahren zum Definieren modularer Fähigkeitsprimitive basierend auf der zerlegbaren Natur eines menschlichen Fahrverhaltens ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Bereitstellen einer Modellverallgemeinerbarkeit durch Koppeln einer Imitation-Prior-Zielvorgabe mit einem Ziel-Likelihood-Term ausgebildet sein, wobei dem Agenten das Nutzen von Expertenwissen ermöglicht wird, während diverse Modi in den zugrundeliegenden Verteilungsgesamtzielzukünften modelliert werden. Die hier beschriebenen Systeme und Verfahren können zum Basieren von Kandidatentrajektorien auf Fahrzeugkinematik ausgebildet sein, während das Reduzieren der Vorhersagen gelernt wird, die falsch sind.
Wie hier verwendet, beinhaltet der Ego-Agent (oder z. B. Agent) eine dynamische Straßenentität, deren Zustand durch eine 7-dimensonale (7D) Haltung charakterisiert wird: eine räumliche Position (bestehend aus x, y und z in einem kartesischen Weltkoordinatenrahmen), eine Geschwindigkeit v und eine Orientierung (bestehend aus Rollen, Gieren und Nicken), die sich mit der Zeit entwickeln. Für die Position des Ego-Agenten zu einem Steuerzeitschritt k können die hier beschriebenen Systeme und Verfahren die Notation S_k = [x, y, v, yaw] ∈ ℝ⁴ für die Sequenz von Positionen des Agenten verwenden. Von dem Zeitschritt k₁ bis k₂ können die hier beschriebenen Systeme und Verfahren S_k1:k2 verwenden. Für die volle Sequenz der Positionen des Ego-Agenten können die hier beschriebenen Systeme und Verfahren für eine einzelne Episode in den Trainingsdaten S (fettgedruckt) verwenden. Wenn k₀ als der aktuelle Zustand festgelegt wird, können die hier beschriebenen Systeme und Verfahren die historische Trajektorie des Agenten t ≤ k₀ als S_{Vergangenheit} und die zukünftige Trajektorie des Agenten (wieder aus den Expertendemonstrationen) t ≥ k₀ als S_Zukunft definieren. In jedem Steuerzeitschritt, k, wird der Agent mit Kontextinformationen aus der Umgebung, wie etwa einer Frontkamera(z. B. der Maschine, die mit dem Ego-Agenten assoziiert ist)-Ansicht Φ ∈ ℝ^{H × W × C} und einer Sequenz von Wegpunkten ω versorgt. Bei einer Kombination von S_{Vergangenheit}, Φ und ω können die hier beschriebenen Systeme und Verfahren zum Bereitstellen der Observation des Agenten, oder $O \equiv {S_{Vergangenheit}, Φ,ω},$
ausgebildet sein.
In jedem Zeitschritt führt der Agent eine Handlung a_k aus, die als ein Tupel aus Brems-, Drosselungs- und Lenk-Steuerung (oder z. B. einer beliebigen anderen geeigneten Steuerung der Maschine, die mit dem Agenten assoziiert ist) definiert ist. Die hier beschriebenen Systeme und Verfahren können zum Lernen einer parametrisierten Richtlinie π_θ, die Observationen auf Handlungen $a \sim π_{θ} (\cdot | O)$

abbildet, so dass bei einer gegebenen Sequenz von Observationen ein Agent, der an irgendeinem Anfangsort in der Umgebung beginnt, zu irgendeinem Bestimmungsort fahren kann.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Lernen zerlegbarer Fähigkeiten zum Faktorisieren der prädiktiven Verteilung über Handlungen als eine traktablere Abbildung ausgebildet sein: $P \circ M P C \circ G P \circ O A .$
Hier ist $m \sim O A (\cdot | O)$
ein Hinderniswahrnehmungsmodul, das eine Einbettung m bei einer gegebenen Observation erzeugt. ${\hat{S}}_{goal} \sim G P (\cdot | O, m)$
ist ein Zielvorhersagemodul mit Abtastwerten, die divers bezüglich ihrer Abdeckung der Modi in dem wahren zugrundeliegenden Ziel-Prior $p (S_{Ziel} | O)$
sein sollen. Hier ist Ŝ_Ziel (Dach) das vorhergesagte Ziel aus dem $G P - Modul$
und ist S_Ziel das wahre (unbeobachtete) Ziel des Expertenagenten, das seine szenenkonditionierten Navigationsabsicht charakterisiert. Die hier beschriebenen Systeme und Verfahren können zum Verwenden von $G P$
zum Erzeugen mehrerer Abtastwerte ausgebildet sein, wobei jeder Abtastwert als eine unabhängige Hypothese davon betrachtet werden kann, was passiert sein könnte. Gegeben sei die gleiche Beobachtung. ${\hat{S}}_{k + 1 : k + N}, {\hat{a}}_{k + 1 : k + N} = M P C ({\hat{S}}_{k + N})$
ist eine lernbasierte Steuerung, die K Abtastwerte aus der Zielverteilung als Eingabe nimmt und K Navigationstrajektorienkandidaten aufzählt. P ist ein Reduktionsmodul, das die beste Trajektorie bewertet und auswählt, wenn eine Observation
und eine Sammlung von K Trajektorienkandidaten gegeben ist.
Die hier beschriebenen Systeme und Verfahren können zum Modellieren von städtischem Fahren (oder z. B. eines anderen geeigneten Fahrszenarios) als eine Zusammensetzung von Fahrprimitiven ausgebildet sein, wobei durch Zerlegung des herkömmlichen multimodalen Wahrnehmungs-Backbone in hierarchische Einheiten und durch modulares Training die hier beschriebenen Systeme und Verfahren zum Bereitstellen einer niedrigeren Abtastwertkomplexität und Verbessern von Robustheit und Verallgemeinerbarkeit (z. B. im Vergleich zu Ende-zu-Ende-Richtlinien) ausgebildet sind.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Bereitstellen einer modularen Pipeline ausgebildet sein, die die verteilungsbewussten Ziele zur Vorhersage in einer städtischen Fahrumgebung (DGP) modelliert. Die hier beschriebenen Systeme und Verfahren können zum Bereitstellen von vier Komponenten ausgebildet sein: eines Hinderniswahrnehmungsmoduls, eines verteilungsbewussten Zielvorhersagemoduls, eines konformen modellbasierten Planungsmoduls und eines Trajektorienreduktion- und-Handlungsauswahl-Moduls, wie allgemein in 3A und 3B veranschaulicht ist. Die hier beschriebenen Systeme und Verfahren können zum Verwenden der egozentrischen Sequenz von Rot-Grün-Blau(RGB)-Bildern, Weltrahmenwegpunkten und aktuellen Geschwindigkeitsinformationen (z. B. des Fahrzeugs, das mit dem Ego-Agenten assoziiert ist) ausgebildet sein, um hindernisbewusste Aufmerksamkeitskarten und visuelle Draufsichtrepräsentationen zu lernen. Diese Szenencodierungen informieren das Zielvorhersagemodul, das einen Imitations-Prior und eine Ziel-Likelihood-Zielvorgabe kombiniert, um Expertenerfahrung zur Verallgemeinerbarkeit auf neuartige Szenarien auszunutzen. Ein Satz von Kandidatenzielvorhersagen wird als Trajektorien realisiert, die jeweils in das Frenet-Straßenrahmenkoordinatensystem transformiert werden und auf Fahrzeugkinematik basieren, wobei eine differenzierbare MPC(Model Predictive Control - modellprädiktive Steuerung)-Steuerung verwendet wird. Das Reduktionsmodul bewertet und filtert Trajektorien, bevor die besten Trajektorien zur Pfadverfolgung eingespeist werden.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Konditionieren des Lernens der Zielverteilung an einem entscheidenden Szenenkontext von einer projizierten Draufsichtsmerkmalsrepräsentation und einer Hinderniseigenaufmerksamkeit ausgebildet sein. Die Aufgabe des Wahrnehmungsmoduls ist das Transformieren der Vorderansichtsbildobservationen in semantische Objektaufmerksamkeitskarten in einer Vogelperspektive (BEV: Bird's Eye View).
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Verwenden einer Orthografische-Merkmalstransformation(OFT)-Technik ausgebildet sein, die Extrahieren von semantischen Hindernisinformationen durch Vortrainieren eines Variations-Autoencoders zum Rekonstruieren von Pixeln, Geschwindigkeit und Lenksteuerung in dem nächsten Zeitschritt von aktuellen Beobachtungen beinhaltet. Die hier beschriebenen Systeme und Verfahren können zum Fördern davon ausgelegt sein, dass die latenten Variablen ein Hindernis in einer Vorderansicht (z. B. Fahrzeuge, Fußgänger, Ampeln, Bordsteine und dergleichen) beachten, die eine zukünftige Fahrzeugsteuerung beeinflussen. Die Vorderansichtsmerkmalskarte f(u,v) wird durch Kombinieren der gelernten Eigenaufmerksamkeitskarten mit Multiskalenbildmerkmalen eines vortrainierten Front-Ends konstruiert. Die hier beschriebenen Systeme und Verfahren können zum Erzeugen von voxelbasierten Merkmalen g(x,y,z) durch Akkumulieren bildbasierter Merkmale f(u,v) in ein einheitlich beabstandetes 3-dimensionales (3D) Gitter
das an der Bodenebene in einer Entfernung y_p unterhalb der Kamera fixiert ist und Dimensionen W,H,D und eine Voxelauflösung von r aufweist, unter Verwendung einer orthogonalen Transformation ausgebildet sein. Die Draufsichtbildmerkmalrepräsentation h(x,z) wird erzeugt, indem die 3D-Voxelmerkmalskarte entlang der vertikalen Dimension durch eine gelernte 1-dimensionale (1 D) Faltung zusammengefaltet wird. Zusätzlich zu Bildmerkmalen können die hier beschriebenen Systeme und Verfahren zum Interpolieren einer Wegpunktsequenz und Erzeugen einer Draufsichtgitterpräsentation von Wegpunkten mit einer One-Hot-Codierung ausgelegt sein. Die finale Draufsichtmerkmalrepräsentation hat die Dimension [W/r, D/r, C], wobei die für die Anzahl an Kanälen C = C_attn + C_resnet + 1 gilt.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Approximieren der wahren prädiktiven Verteilung über alle möglichen Zielzukünfte des Ego-Agenten $p (S_{Zielgoal} | O, m),$
wenn eine Observation (7 von der Umgebung und ein Einbettungsvektor m von dem Hinderniswahrnehmungsmodul gegeben sind, ausgebildet sein. Um zu berücksichtigen, dass die prädiktive Absicht des Expertenagenten aus den Trainingsdaten nicht beobachtbar ist (z. B. gibt es keine Ground-Truth-Zielorte zu Verwendung als Kennzeichnungen zum direkten Lernen eines szenenkonditionierten imitativen Priors gegenüber Zielen), können die hier beschriebenen Systeme und Verfahren zum Verwenden eines zukünftigen Zustands des Expertenagenten zu einem festen Zeithorizont T als das „Ground-Truth“-Ziel S_Ziel ∈ S_Zukunft ausgebildet sein, mit S_Ziel = S_k0+NΔT des Ego-Agenten, wobei N die Anzahl an Zeitschritten in dem Planungshorizont bezeichnet.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren anstatt zum Lernen einer Abbildung zum direkten Imitieren der abgeleiteten Expertenziele zum Modellieren einer Approximation $q_{θ} (S_{Ziel} | O, m)$
der zugrundeliegenden Zielverteilung durch Nutzung einer bijektiven und differenzierbaren Abbildung zwischen einer gewählten Basisverteilung q₀ und der approximativen Sollzielverteilung q_θ ausgebildet sein (was z. B. als ein Normalisierungsfluss bezeichnet werden kann, der einen allgemeinen Rahmen zum Transformieren einer einfachen Wahrscheinlichkeitsdichte (Basisverteilung) durch eine Reihe von umkehrbaren Abbildungen in eine expressivere bereitstellt). Die hier beschriebenen Systeme und Verfahren können so ausgebildet sein, dass / eine umkehrbare und glatte Funktion sei, mit f : ℝ^d → ℝ^d, x = f(z), z ~ p_z, f^-1 = g und dementsprechend g ∘ f(z) = z für d-dimensionale zufällige Vektoren x und z. Ferner können die hier beschriebenen Systeme und Verfahren dazu ausgebildet sein, f die Eigenschaft eines Diffeomorphismus zuzuschreiben, was sicherstellt, dass q_x wohldefiniert und durch eine Variablensubstitution erhaltbar bleibt, und sicherstellt, dass p_z in derselben Domäne wie der Datenraum einheitlich verteilt ist, insofern sowohl f als auch ihre Umkehrung f^-1 differenzierbar sind, und dass z die gleiche Dimension wie x beibehält: $q_{x} (x) = p_{z} (z) {| det \frac{\partial f}{\partial z} |}^{- 1} = p_{z} (f^{- 1} (x)) | det \frac{\partial f^{- 1}}{\partial z} |$
Die hier beschriebenen Systeme und Verfahren können zum Konstruieren beliebiger komplexer Dichten durch einen Fluss z entlang des Pfades ausgebildet sein, der durch eine Kette von K sukzessiven Normalisierungsverteilungen p_z(z) erzeugt wird, wobei jede sukzessive Verteilung durch eine diffeomorphe Transformation bestimmt wird: $x = z_{K} = f_{K} ° \dots ° f_{2} ° f_{1} (z_{0})$
Dieser Sequenz von Transformationen folgend sind die Hauptschnittstellen mit dem flussbasierten Modell durch entweder Abtastung oder Auswertung ihrer Dichte, wobei bei Ersterem die hier beschriebenen Systeme und Verfahren zum Abtasten von p_z(z) und Berechnen der Vorwärtstransformation f ausgebildet sein können; bei Letzterem können die hier beschriebenen Systeme und Verfahren zum Berechnen der Umkehrtransformation f^-1, ihrer Jacobi-Determinante und der p_z(z)-Dichteauswertung ausgebildet sein.
Die hier beschriebenen Systeme und Verfahren können zum Erweitern von Gleichung (1) zum Erhalten einer konditionalen Normalisierungsflussformulierung ausgebildet sein, um zusätzlichen Kontext (z. B. wird dieser zusätzliche Kontext manchmal als Seiteninformationen bezeichnet) einzubinden und eine feinere Granularität in der Dichteschätzung der Zielverteilung zu erzielen.
Die hier beschriebenen Systeme und Verfahren können dazu ausgebildet sein, um physikalische kinematische Beschränkungen zu berücksichtigen und eine gute Basis für einen Transfer zu anderen Fahrzeugmorphologien und eine Verallgemeinerung auf ungesehene Umgebungen bereitzustellen. Gleichung (3) fasst ein MPC-Problem zusammen. Die Zielsetzung (z. B. Gleichung 5) ist das Minimieren des Verfolgungsfehlers mit Bezug auf eine Referenztrajektorie, in diesem Fall die Mittellinie des befahrbaren Bereichs (z. B. der Straße) bei einer zuvor spezifizierten Referenzgeschwindigkeit, mit einer Regelung von Betätigungen, über einen Planungshorizont von T Zeitschritten. Q und R sind beide Diagonalmatrizen, die Kostengewichtungen zum Verfolgen von Referenzzuständen und Regulierungshandlungen entsprechen. Zur gleichen Zeit berücksichtigt die MPC die Systemdynamik des Fahrzeugs (Gl. 3b) und ermöglicht einen Handlungsbereich (z. B. Gleichung 3). $\begin{array}{l} min_{a_{1 : T}} & \sum_{t = 1}^{T} [{(s_{t} - s_{r e f, i})}^{T} Q {(s_{i} - s_{r e f, i})}^{T} + a_{i}^{T} R a_{i}] \\ s . t . & \begin{array}{l} s_{t + 1} = f (s_{t}, a_{t}), \forall t = 1, \dots, T \\ a \leq a_{t} \leq \bar{a} \\ - \end{array} \end{array}$
Insbesondere können die hier beschriebenen Systeme und Verfahren zum Charakterisieren des Fahrzeugs mit dem kinematischen Bike-Modell ausgebildet sein (z. B. sind die Gleichungen mit Bezug auf die hintere Achse des Fahrzeugs definiert und werden zum Erzeugen von Expertendemonstrationen verwendet, und das kinematische Bike-Modell kann mit Bezug auf das Zentrum des Fahrzeugs definiert sein), das in Gleichung 4 gegeben ist, wobei der Zustand s = [x, y, v, ϕ] ist und die Handlung a = [α, δ] ist. x, y sind der Fahrzeugort in lokalen Ost-Nord-Hoch(ENU: East, North, Up)-Koordinaten, v ist die Fahrzeuggeschwindigkeit und ϕ ist der Gierwinkel (gegen den Uhrzeigersinn von der lokalen Ostachse gemessen), α ist die Beschleunigung und δ ist der Lenkwinkel bei der Vorderachse. $\begin{array}{l} \dot{x} = v cos (ϕ) \\ \dot{y} = v sin (ϕ) \\ \dot{v} = a \\ \dot{ϕ} = v tan δ /L \end{array}$
Die Zielsetzungsfunktion ist gegeben als: $\begin{matrix} min_{a_{1 : T}} & \sum_{t = 1}^{T} [{(s_{t} - s_{r e f, i})}^{T} Q {(s_{i} - s_{r e f, i})}^{T} + a_{i}^{T} R a_{i}] \end{matrix}$
Abgesehen von L, das als die Entfernung zwischen der Vorder- und Hinterachse definiert ist, erwartet das kinematische Bike-Modell Handlungen (z. B. Beschleunigung und Lenken, in physikalischen Einheiten), während die Umgebung Befehle in [-1,1] erwartet. Beispielsweise führt ein Beschleunigungsbefehl = 1 zu einer geringeren Beschleunigung bei höherer Geschwindigkeit. Bei der aktuellen Implementierung können die hier beschriebenen Systeme und Verfahren zum Vornehmen einer vereinfachenden Annahme ausgebildet sein, dass α = k₁ × Beschleunigungsbefehl und δ = k₂ × Lenkbefehl gelten.
Die hier beschriebenen Systeme und Verfahren können zum Verwenden eines iterativen linear-quadratischen Reglers (iLQR: Iterative Linear Quadratic Regulator) ausgebildet sein, der die nichtlineare Dynamik (z. B. Gleichung 2) entlang der aktuellen Schätzung einer Trajektorie iterativ linearisiert, ein linear-quadratisches Reglerproblem basierend auf der linearisierten Dynamik löst und den Prozess bis zur Konvergenz wiederholt.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Versorgen des Ego-Agenten mit einem RGB-Bild, einer Wegpunktsequenz und einer Fahrzeuggeschwindigkeit ausgebildet sein. Der Agent kann eine Lenk-, Drossel- und Bremssteuerung produzieren, um zu einem Bestimmungsort zu navigieren. Die hier beschriebenen Systeme und Verfahren können dazu ausgebildet sein, zuerst den Ago-Agenten an einer bereitgestellten Offline-Expertendemonstration zu trainieren, die unter Verwendung eines regelbasierten Autopilots erzeugt wird. Die hier beschriebenen Systeme und Verfahren können zum Auswerten des Ego-Agenten an verschiedenen OOD-Navigationsaufgaben (wie etwa z. B.: abnormales Abbiegen, verkehrsreiche Stadtumgebung, Hügel und Kreisverkehre und dergleichen) ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Messen der Leistungsfähigkeit des Ego-Agenten gemäß den folgenden Metriken ausgebildet sein: Erfolgsrate (Prozentsatz erfolgreicher Navigationen zu dem Bestimmungsort), Verstöße pro Kilometer (Verhältnis von Bewegungsmissachtungen pro gefahrenem Kilometer) und gesamte zurückgelegte Entfernung.
Bei manchen Ausführungsformen können die hier beschriebenen Systeme und Verfahren zum Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs ausgebildet sein. Das Maschinenlernmodell kann anfangs unter Verwendung von Trainingsdaten trainiert werden, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen (z. B. einschließlich Positionsdaten, Gierdaten, Nickdaten, Rolldaten, Lenkdaten, Bremsdaten, Antriebsdaten, verschiedener Operationsbefehle und/oder beliebiger anderer geeigneter Daten, die mit der Operation eines oder mehrerer Fahrzeuge assoziiert sind). Die hier beschriebenen Systeme und Verfahren können zum Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen ausgebildet sein.
Die hier beschriebenen Systeme und Verfahren können zum Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten ausgebildet sein. Die Sensordaten können ein oder mehrere Bilder, die einer Operationsumgebung des Fahrzeugs entsprechen, und/oder beliebige andere geeignete Sensordaten beinhalten. Der wenigstens eine Sensor kann eine Bilderfassungsvorrichtung, einen Sensor für Lichtdetektion und -entfernungsmessung, eine Vorrichtung für Funkdetektion- und entfernungsmessung, eine Vorrichtung für Schallnavigation und -entfernungsmessung und/oder eine(n) beliebige(n) andere(n) geeignete(n) Sensor oder Vorrichtung beinhalten. Die hier beschriebenen Systeme und Verfahren können zum Erzeugen, in dem ersten Zeitintervall, wenigstens eines Fahrzeugoperationsbefehls zum Steuern wenigstens einer Fahrzeugoperation des Fahrzeugs ausgebildet sein, wobei der wenigstens eine Fahrzeugoperationsbefehl basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Die hier beschriebenen Systeme und Verfahren können zum Aktualisieren historischer Daten (die z. B. mit einer Operation des Fahrzeugs und/oder eines beliebigen anderen geeigneten Fahrzeugs assoziiert sind) unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, des wenigstens einen Fahrzeugoperationsbefehls, anderer geeigneter Daten oder einer Kombination daraus ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Reduzieren der historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage, die erste zukünftige Fahrzeugpositionsvorhersage oder eine Kombination daraus ausgebildet sein. Das Maschinenlernmodell kann anschließend unter Verwendung der historischen Daten trainiert werden.
Die hier beschriebenen Systeme und Verfahren können zum Empfangen, in dem dritten Zeitintervall, anschließender Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und einer anschließenden Sequenz von Wegpunkten ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Erzeugen, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, einer zweiten aktuellen Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Erzeugen, unter Verwendung des Maschinenlernmodells, in einem vierten Zeitintervall vor dem dritten Zeitintervall, einer zweiten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen. Die hier beschriebenen Systeme und Verfahren können zu Folgendem ausgebildet sein: Erzeugen, unter Verwendung des Maschinenlernmodells, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, einer zweiten zukünftigen Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage ausgebildet sein. Die hier beschriebenen Systeme und Verfahren können zum Steuern, in dem dritten Zeitintervall, der wenigstens einen Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten ausgebildet sein.
1 zeigt ein System 100 zum Trainieren eines neuronalen Netzes. Das System 100 kann eine Eingabeschnittstelle zum Zugreifen auf Trainingsdaten 102 für das neuronale Netz umfassen. Zum Beispiel kann, wie in 1 veranschaulicht, die Eingabeschnittstelle durch eine Datenspeicherungsschnittstelle 104 gegeben sein, die auf die Trainingsdaten 102 von einer Datenspeicherung 106 zugreifen kann. Zum Beispiel kann die Datenspeicherungsschnittstelle 104 eine Speicherschnittstelle oder eine persistente Speicherungsschnittstelle, z. B. eine Festplatten- oder eine SSD-Schnittstelle, sein, aber auch eine Personal-, Local- oder Wide-Area-Network-Schnittstelle, wie etwa eine Bluetooth-, Zigbee- oder Wi-Fi-Schnittstelle oder eine Ethernet- oder Faseroptikschnittstelle. Die Datenspeicherung 106 kann eine interne Datenspeicherung des Systems 100, wie etwa eine Festplatte oder SSD, sein, aber auch eine externe Datenspeicherung, z. B. eine netzwerkzugängliche Datenspeicherung.
Bei manchen Ausführungsformen kann die Datenspeicherung 106 ferner eine Datenrepräsentation 108 einer untrainierten Version des neuronalen Netzes umfassen, auf die durch das System 100 aus der Datenspeicherung 106 zugegriffen werden kann. Es versteht sich jedoch, dass auf die Trainingsdaten 102 und die Datenrepräsentation 108 des untrainierten neuronalen Netzes auch jeweils von einer anderen Datenspeicherung zugegriffen werden kann, z. B. über ein anderes Subsystem der Datenspeicherungsschnittstelle 104. Jedes Subsystem kann ein Typ sein, wie er zuvor für die Datenspeicherungsschnittstelle 104 beschrieben ist.
Bei manchen Ausführungsformen kann die Datenrepräsentation 108 des untrainierten neuronalen Netzes intern durch das System 100 basierend auf Gestaltungsparametern für das neuronale Netz erzeugt werden und wird daher möglicherweise nicht explizit in der Datenspeicherung 106 gespeichert. Das System 100 kann ferner ein Prozessorsubsystem 110 umfassen, das zum Bereitstellen, während einer Operation des Systems 100, einer iterativen Funktion als ein Ersatz für einen Stapel von Schichten des zu trainierenden neuronalen Netzes ausgebildet sein. Hier können die jeweiligen Schichten des Stapels von Schichten, der ersetzt wird, jeweils gemeinsam genutzte Gewichte aufweisen und können als eine Eingabe eine Ausgabe einer vorherigen Schicht oder für eine erste Schicht des Stapels von Schichten eine anfängliche Aktivierung und einen Teil der Eingabe des Stapels von Schichten empfangen.
Das Prozessorsubsystem 110 kann ferner zum iterativen Trainieren des neuronalen Netzes unter Verwendung der Trainingsdaten 102 ausgebildet sein. Hier kann eine Iteration des Trainings durch das Prozessorsubsystem 110 einen Vorwärtspropagationsteil und einen Rückwärtspropagationsteil umfassen. Das Prozessorsubsystem 110 kann zum Durchführen des Vorwärtspropagationsteils durch, unter anderen Operationen, die den Vorwärtspropagationsteil definieren, der durchgeführt werden kann, Bestimmen eines Gleichgewichtspunkts der iterativen Funktion, an dem die iterative Funktion zu einem festen Punkt konvergiert, wobei das Bestimmen des Gleichgewichtspunkts Verwenden eines Wurzelfindungsalgorithmus zum Finden einer Wurzellösung für die iterative Funktion minus ihrer Eingabe umfasst, und durch Bereitstellen des Gleichgewichtspunkts als ein Ersatz für eine Ausgabe des Stapels von Schichten in dem neuronalen Netz ausgebildet sein.
Das System 100 kann ferner eine Ausgabeschnittstelle zum Ausgeben einer Datenrepräsentation 112 des trainierten neuronalen Netzes umfassen, wobei diese Daten auch als Trainiertes-Modell-Daten 112 bezeichnet werden können. Zum Beispiel kann, wie auch in 1 veranschaulicht, die Ausgabeschnittstelle durch eine Datenspeicherungsschnittstelle 104 gegeben sein, wobei die Schnittstelle bei diesen Ausführungsformen eine Eingabe/Ausgabe(,EA')-Schnittstelle ist, über die Trainiertes-Modell-Daten 112 in der Datenspeicherung 106 gespeichert werden können. Zum Beispiel kann die Datenrepräsentation 108, die das ,untrainierte` neuronale Netz definiert, während oder nach dem Training wenigstens teilweise durch die Datenrepräsentation 112 des trainierten neuronalen Netzes ersetzt werden, in dem die Parameter des neuronalen Netzes, wie etwa Gewichte, Hyperparameter und anderen Typen von Parametern neuronaler Netze, angepasst sein können, um das Training an den Trainingsdaten 102 widerzuspiegeln. Dies ist auch in 1 durch die Bezugsziffern 108, 112 veranschaulicht, die auf die gleiche Datenaufzeichnung in der Datenspeicherung 106 verweisen. Bei manchen Ausführungsformen kann die Datenrepräsentation 112 separat von der Datenrepräsentation 108 gespeichert werden, die das ,untrainierte` neuronale Netz definiert. Bei manchen Ausführungsformen kann die Ausgabeschnittstelle separat von der Datenspeicherungsschnittstelle 104 sein, aber kann im Allgemeinen von einem wie zuvor für die Datenspeicherungsschnittstelle 104 beschriebenen Typ sein.
2 veranschaulicht allgemein ein Datenannotations-/-erweiterungssystem 200 zum Implementieren eines Systems zur Fahrzeugsteuerung. Das System 200 kann wenigstens ein Rechensystem 202 beinhalten. Das Rechensystem 202 kann wenigstens einen Prozessor 204 beinhalten, der mit einer Speichereinheit 208 operativ verbunden ist. Der Prozessor 204 kann einen oder mehrere integrierte Schaltkreise beinhalten, die die Funktionalität einer Zentralverarbeitungseinheit (CPU) 206 implementieren. Die CPU 206 kann eine kommerziell verfügbare Verarbeitungseinheit sein, die einen Anweisungssatz, wie etwa einen der x86-, ARM-, Power- oder MIPS-Anweisungssatzfamilien, implementiert.
Während der Operation kann die CPU 206 gespeicherte Programmanweisungen ausführen, die aus der Speichereinheit 208 abgerufen werden. Die gespeicherten Programmanweisungen können Software beinhalten, die eine Operation der CPU 206 zum Durchführen der hier beschriebenen Operation steuert. Bei manchen Ausführungsformen kann der Prozessor 204 ein System auf einem Chip (SoC) sein, der eine Funktionalität der CPU 206, der Speichereinheit 208, einer Netzwerkschnittstelle und von Eingabe/Ausgabe-Schnittstellen in eine einzige integrierte Vorrichtung integriert. Das Rechensystem 202 kann ein Betriebssystem zum Verwalten verschiedener Aspekte der Operation implementieren.
Die Speichereinheit 208 kann einen flüchtigen Speicher und nichtflüchtigen Speicher zum Speichern von Anweisungen und Daten beinhalten. Der nichtflüchtige Speicher kann Festkörperspeicher, wie etwa NAND-Flash-Speicher, magnetische und optische Speicherungsmedien oder eine beliebige andere geeignete Datenspeicherungsvorrichtung, beinhalten, die Daten beibehält, wenn das Rechensystem 202 deaktiviert wird oder die elektrische Leistung verliert. Der flüchtige Speicher kann einen statischen und dynamischen Direktzugriffsspeicher (RAM: Random-Access Memory) beinhalten, der Programmanweisungen und Daten speichert. Zum Beispiel kann die Speichereinheit 208 ein(en) Maschinenlernmodell 210 (z. B. in 2 als das ML-Modell 210 repräsentiert) oder -algorithmus, einen Trainingsdatensatz 212 für das Maschinenlernmodell 210, einen Rohquellendatensatz 216 speichern.
Das Rechensystem 202 kann eine Netzwerkschnittstellenvorrichtung 222 beinhalten, die zum Bereitstellen einer Kommunikation mit externen Systemen und Vorrichtungen ausgebildet ist. Zum Beispiel kann die Netzwerkschnittstellenvorrichtung 222 eine drahtgebundene und/oder drahtlose Ethernet-Schnittstelle beinhalten, wie durch die 802.11 -Familie von Standards des Institute of Electrical and Electronics Engineers (IEEE) definiert. Die Netzwerkschnittstellenvorrichtung 222 kann eine zellulare Kommunikationsschnittstelle zum Kommunizieren mit einem zellularen Netzwerk (z. B. 3G, 4G, 5G) beinhalten. Die Netzwerkschnittstellenvorrichtung 222 kann ferner zum Bereitstellen einer Kommunikationsschnittstelle zu einem externen Netzwerk 224 oder einer Cloud ausgebildet sein.
Das externe Netzwerk 224 kann als das World-Wide-Web oder das Internet bezeichnet werden. Das externe Netzwerk 224 kann ein Standardkommunikationsprotokoll zwischen Rechenvorrichtungen einrichten. Das externe Netzwerk 224 kann ermöglichen, dass Informationen und Daten einfach zwischen Rechenvorrichtungen und Netzwerken ausgetauscht werden. Ein oder mehrere Server 230 können sich in Kommunikation mit dem externen Netzwerk 224 befinden.
Das Rechensystem 202 kann eine Eingabe/Ausgabe(E/A)-Schnittstelle 220 beinhalten, die zum Bereitstellen von digitalen und/oder analogen Eingaben und Ausgaben ausgebildet sein kann. Die E/A-Schnittstelle 220 kann zusätzliche serielle Schnittstellen zum Kommunizieren mit externen Vorrichtungen (z. B. eine Universal-Serial-Bus(USB)-Schnittstelle) beinhalten.
Das Rechensystem 202 kann eine Mensch-Maschine-Schnittstelle(HMI: Human-Machine-Interface)-Vorrichtung 218 beinhalten, die eine beliebige Vorrichtung beinhalten kann, die ermöglicht, dass das System 200 eine Steuereingabe empfängt. Beispiele für Eingabevorrichtungen können menschliche Schnittstelleneingabevorrichtungen, wie etwa Tastaturen, Mäuse, Berührungsbildschirme, Spracheingabevorrichtung und andere ähnliche Vorrichtungen, beinhalten. Das Rechensystem 202 kann eine Anzeigevorrichtung 232 beinhalten. Das Rechensystem 202 kann Hardware und Software zum Ausgeben von Grafik- und Textinformationen an die Anzeigevorrichtung 232 beinhalten. Die Anzeigevorrichtung 232 kann einen elektronischen Bildschirm, Projektor, Drucker oder eine andere geeignete Vorrichtung zum Anzeigen von Informationen für einen Benutzer oder Bediener beinhalten. Das Rechensystem 202 kann ferner dazu ausgebildet sein, eine Interaktion mit einer fernen HMI und fernen Anzeigevorrichtungen über die Netzwerkschnittstellenvorrichtung 222 zu ermöglichen.
Das System 200 kann unter Verwendung eines oder mehrerer Rechensysteme implementiert werden. Obwohl das Beispiel ein einziges Rechensystem 202 darstellt, das alle der beschriebenen Merkmale implementiert, ist es beabsichtigt, dass verschiedene Merkmale und Funktionen separiert und durch mehrere Recheneinheiten in Kommunikation miteinander implementiert werden können. Die ausgewählte spezielle Systemarchitektur kann von einer Vielzahl von Faktoren abhängen.
Das System 200 kann einen Maschinenlernalgorithmus 210 (der z. B. hier als das Maschinenlernmodell 210 bezeichnet werden kann) implementieren, der zum Analysieren des Rohquellendatensatzes 216 ausgebildet ist. Der Rohquellendatensatz 216 kann Roh- oder unverarbeitete Sensordaten beinhalten, die repräsentativ für einen Eingabedatensatz für ein Maschinenlernsystem sein können. Der Rohquellendatensatz 216 kann Video, Videosegmente, Bilder, textbasierte Informationen und Roh- oder teilweise verarbeitete Sensordaten (z. B. Radarkarte von Objekten) beinhalten. Bei manchen Ausführungsformen kann der Maschinenlernalgorithmus 210 ein Neuronales-Netz-Algorithmus sein, der zum Durchführen einer vorbestimmten Funktion ausgebildet ist. Zum Beispiel kann der Neuronales-Netz-Algorithmus in Automobilanwendungen zum Identifizieren von Fußgängern in Videobildern ausgebildet sein.
Das Computersystem 200 kann einen Trainingsdatensatz 212 für den Maschinenlernalgorithmus 210 speichern. Der Trainingsdatensatz 212 kann einen Satz von zuvor konstruierten Daten zum Trainieren des Maschinenlernalgorithmus 210 repräsentieren. Der Trainingsdatensatz 212 kann durch den Maschinenlernalgorithmus 210 verwendet werden, um Gewichtungsfaktoren zu lernen, die mit einem Neuronales-Netz-Algorithmus assoziiert sind. Der Trainingsdatensatz 212 kann einen Satz von Quellendaten beinhalten, der entsprechende Resultate oder Ergebnisse aufweist, die der Maschinenlernalgorithmus 210 über den Lernprozess zu duplizieren versucht. Bei diesem Beispiel kann der Trainingsdatensatz 212 Fahrzeugoperationsdaten und/oder beliebige anderen geeignete Daten, wie hier beschrieben, beinhalten.
Der Maschinenlernalgorithmus 210 kann in einem Lernmodus unter Verwendung des Trainingsdatensatzes 212 als Eingabe betrieben werden. Der Maschinenlernalgorithmus 210 kann über eine Anzahl an Iterationen unter Verwendung der Daten von dem Trainingsdatensatz 212 ausgeführt werden. Mit jeder Iteration kann der Maschinenlernalgorithmus 210 interne Gewichtungsfaktoren basierend auf den erzielten Ergebnissen aktualisieren. Zum Beispiel kann der Maschinenlernalgorithmus 210 Ausgabeergebnisse (z. B. Annotationen) mit jenen vergleichen, die in dem Trainingsdatensatz 212 enthalten sind. Da der Trainingsdatensatz 212 die erwarteten Ergebnisse beinhaltet, kann der Maschinenlernalgorithmus 210 bestimmen, wann eine Leistungsfähigkeit akzeptabel ist. Nachdem der Maschinenlernalgorithmus 210 ein vorbestimmtes Leistungsfähigkeitsniveau (z. B. 100 % Übereinstimmung mit den Resultaten, die mit dem Trainingsdatensatz 212 assoziiert sind) erreicht hat, kann der Maschinenlernalgorithmus 210 unter Verwendung von Daten ausgeführt werden, die sich nicht in dem Trainingsdatensatz 212 befinden. Der trainierte Maschinenlernalgorithmus 210 kann auf neue Datensätze angewandt werden, um eine Steuerung einer oder mehrerer Operationen des Fahrzeugs anzuwenden.
Der Maschinenlernalgorithmus 210 kann zum Identifizieren eines bestimmten Merkmals in den Rohquellendaten 216 ausgebildet sein. Die Rohquellendaten 216 können eine Mehrzahl an Instanzen oder einen Eingabedatensatz beinhalten, für die/den Fahrzeugsteuerbefehle gewünscht sind. Der Maschinenlernalgorithmus 210 kann zum Verarbeiten der Rohquellendaten 216 zum Identifizieren der Anwesenheit der bestimmten Merkmale programmiert sein. Der Maschinenlernalgorithmus 210 kann zum Vorhersagen eines oder mehrerer Fahrzeugoperationsbefehle zum Steuern des Fahrzeugs unter Verwendung der Rohquellendaten 216 ausgebildet sein. Die Rohquellendaten 216 können von einer Vielzahl von Quellen abgeleitet werden. Zum Beispiel können die Rohquellendaten 216 tatsächliche Eingabedaten sein, die durch ein Maschinenlernsystem gesammelt werden. Die Rohquellendaten 216 können zum Testen des Systems maschinell erzeugt werden.
Bei dem Beispiel kann der Maschinenlernalgorithmus 210 die Rohquellendaten 216 verarbeiten und eine Fahrzeugsteuervorhersage ausgeben. Der Maschinenlernalgorithmus 210 kann ein Konfidenzniveau (z. B. einen Gewissheitswert) oder einen Faktor für jede erzeugte Ausgabe erzeugen. Zum Beispiel kann ein Konfidenzwert, der eine vorbestimmte Hohe-Konfidenz-Schwelle überschreitet, angeben, dass sich der Maschinenlernalgorithmus 210 sicher ist, dass die Fahrzeugsteuervorhersage zu einer gewünschten Fahrzeugsteuerung führt. Ein Konfidenzwert, der kleiner als eine Niedrige-Konfidenz-Schwelle ist, kann angeben, dass der Maschinenlernalgorithmus 210 eine gewisse Ungewissheit hat, dass die Fahrzeugsteuervorhersage zu der gewünschten Fahrzeugsteuerung führt.
Bei manchen Ausführungsformen kann das System 200, unter Verwendung eines Maschinenlernmodells (z. B. wie etwa des Maschinenlernmodells 210, eines oder mehrerer anderer geeigneter Maschinenlernmodelle oder einer Kombination daraus) und zu einem ersten Zeitintervall, eine erste aktuelle Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs erzeugen. Das Maschinenlernmodell 210 kann anfangs unter Verwendung von Trainingsdaten trainiert werden, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen (z. B. einschließlich Positionsdaten, Gierdaten, Nickdaten, Rolldaten, Lenkdaten, Bremsdaten, Antriebsdaten, verschiedener Operationsbefehle und/oder beliebiger anderer geeigneter Daten, die mit der Operation eines oder mehrerer Fahrzeuge assoziiert sind).
Das System 200 kann, unter Verwendung des Maschinenlernmodells 210, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, eine erste historische Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen erzeugen. Das System 200 kann, unter Verwendung des Maschinenlernmodells 210, in dem einem Zeitintervall anschließend an das erste Zeitintervall, eine erste zukünftige Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage erzeugen. Das System 200 kann, in dem ersten Zeitintervall, Sensordaten von wenigstens einem Sensor des Fahrzeugs und eine Sequenz von Wegpunkten empfangen. Die Sensordaten können ein oder mehrere Bilder, die einer Operationsumgebung des Fahrzeugs entsprechen, und/oder beliebige andere geeignete Sensordaten beinhalten. Der wenigstens eine Sensor kann eine Bilderfassungsvorrichtung, einen Sensor für Lichtdetektion und -entfernungsmessung, eine Vorrichtung für Funkdetektion- und entfernungsmessung, eine Vorrichtung für Schallnavigation und -entfernungsmessung und/oder eine(n) beliebige(n) andere(n) geeignete(n) Sensor oder Vorrichtung beinhalten. Das System 200 kann, in dem ersten Zeitintervall, wenigstens einen Fahrzeugoperationsbefehl zum Steuern wenigstens einer Fahrzeugoperation des Fahrzeugs erzeugen. Der wenigstens eine Fahrzeugoperationsbefehl kann basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten erzeugt werden.
Das System 200 kann historische Daten (die z. B. mit einer Operation des Fahrzeugs und/oder eines beliebigen anderen geeigneten Fahrzeugs assoziiert sind) unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, des wenigstens einen Fahrzeugoperationsbefehls, anderer geeigneter Daten oder einer Kombination aktualisieren. Das System 200 kann die historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage, die erste zukünftige Fahrzeugpositionsvorhersage oder eine Kombination daraus reduzieren. Das Maschinenlernmodell 210 kann anschließend unter Verwendung der historischen Daten trainiert werden.
Das System 200 kann, in dem dritten Zeitintervall, anschließende Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und eine anschließende Sequenz von Wegpunkten empfangen. Das System 200 kann, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, eine zweite aktuelle Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs erzeugen. Das System 200 kann, unter Verwendung des Maschinenlernmodells 210, in einem vierten Zeitintervall vor dem dritten Zeitintervall, eine zweite historische Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen erzeugen. Das System 200 kann, unter Verwendung des Maschinenlernmodells 210, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, eine zweite zukünftige Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage erzeugen. Das System 200 kann, in dem dritten Zeitintervall, die wenigstens eine Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten steuern.
Obwohl die hier beschriebenen Systeme und Verfahren als einen oder mehrere Aspekte einer Fahrzeugoperation steuernd beschrieben sind, versteht es sich, dass die hier beschriebenen Systeme und Verfahren zum Durchführen einer beliebigen geeigneten Funktion ausgebildet sein können, wie etwa jener, die hier mit Bezug auf 6-11 beschrieben sind.
4 ist ein Flussdiagramm, dass ein Autonome-Fahrzeugsteuerung-Verfahren 400 gemäß den Prinzipien der vorliegenden Offenbarung allgemein veranschaulicht. Bei 402 erzeugt das Verfahren 400, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, eine erste aktuelle Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs. Zum Beispiel kann das System 200, unter Verwendung des Maschinenlernmodells 210 und in dem ersten Zeitintervall, die erste aktuelle Fahrzeugpositionsvorhersage basierend auf den aktuellen räumlichen Positionsinformationen und dem ersten Gierwert des Fahrzeugs erzeugen.
Bei 404 erzeugt das Verfahren 400, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, eine erste historische Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen. Zum Beispiel kann das System 200, unter Verwendung des Maschinenlernmodells 210, in dem zweiten Zeitintervall vor dem ersten Zeitintervall, die erste historische Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und den vorherigen räumlichen Informationen erzeugen.
Bei 406 erzeugt das Verfahren 400, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, eine erste zukünftige Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage. Zum Beispiel kann das System 200, unter Verwendung des Maschinenlernmodells 210, in dem dritten Zeitintervall anschließend an das erste Zeitintervall, die erste zukünftige Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage erzeugen.
Bei 408 empfängt das Verfahren 400, in dem ersten Zeitintervall, Sensordaten von wenigstens einem Sensor des Fahrzeugs und eine Sequenz von Wegpunkten. Zum Beispiel kann das System 200, in dem ersten Zeitintervall, die Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und die Sequenz von Wegpunkten empfangen.
Bei 410 steuert das Verfahren 400, in dem ersten Zeitintervall, wenigstens eine Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten. Zum Beispiel kann das System 200, in dem ersten Zeitintervall, die wenigstens eine Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten steuern.
5 stellt ein schematisches Diagramm einer Interaktion zwischen einer computergesteuerten Maschine 500 und dem Steuersystem 502 dar. Die computergesteuerte Maschine 500 beinhaltet einen Aktor 504 und einen Sensor 506. Der Aktor 504 kann einen oder mehrere Aktoren beinhalten und der Sensor 506 kann einen oder mehrere Sensoren beinhalten. Der Sensor 506 ist zum Erfassen einer Bedingung der computergesteuerten Maschine 500 ausgebildet. Der Sensor 506 kann zum Codieren der erfassten Bedingung in Sensorsignale 508 und zum Übertragen von Sensorsignalen 508 an das Steuersystem 502 ausgebildet sein. Nichtbeschränkende Beispiele für den Sensor 506 beinhalten Video-, Radar-, LiDAR-, Ultraschall- und Bewegungssensoren. Bei manchen Ausführungsformen ist der Sensor 506 ein optischer Sensor, der zum Erfassen optischer Bilder einer Umgebung nahe der computergesteuerten Maschine 500 ausgebildet ist.
Das Steuersystem 502 ist zum Empfangen von Sensorsignalen 508 von der computergesteuerten Maschine 500 ausgebildet. Wie nachfolgend dargelegt, kann das Steuersystem 502 ferner zum Berechnen von Aktorsteuerbefehlen 510 in Abhängigkeit von den Sensorsignalen und zum Übertragen von Aktorsteuerbefehlen 510 an den Aktor 504 der computergesteuerten Maschine 500 ausgebildet sein.
Wie in 5 gezeigt, beinhaltet das Steuersystem 502 eine Empfangseinheit 512. Die Empfangseinheit 512 kann zum Empfangen von Sensorsignalen 508 von dem Sensor 506 und zum Transformieren von Sensorsignalen 508 in Eingabesignale x ausgebildet sein. Bei einer alternativen Ausführungsform werden die Sensorsignale 508 direkt als Eingabesignale x ohne die Empfangseinheit 512 empfangen. Jedes Eingabesignal x kann ein Teil jedes Sensorsignals 508 sein. Die Empfangseinheit 512 kann zum Verarbeiten jedes Sensorsignals 508 zum Produzieren jedes Eingabesignals x ausgebildet sein. Das Eingabesignal x kann Daten beinhalten, die einem durch den Sensor 506 aufgezeichneten Bild entsprechen.
Das Steuersystem 502 beinhaltet einen Klassifizierer 514. Der Klassifizierer 514 kann zum Klassifizieren von Eingabesignalen x in eine oder mehrere Kennzeichnungen unter Verwendung eines Maschinenlern(ML)-Algorithmus, wie etwa eines zuvor beschriebenen neuronalen Netzes, ausgebildet sein. Der Klassifizierer 514 ist dazu ausgebildet, durch Parameter, wie etwa jene zuvor beschriebenen (z. B. Parameter θ), parametrisiert zu werden. Die Parameter θ kann in einem nichtflüchtigen Speicher 516 gespeichert und durch diesen bereitgestellt werden. Der Klassifizierer 514 ist zum Bestimmen von Ausgabesignalen y aus Eingabesignalen x ausgebildet. Jedes Ausgabesignal y beinhaltet Informationen, die eine oder mehrere Kennzeichnungen zu jedem Eingabesignal x zuweisen. Der Klassifizierer 514 kann Ausgabesignale y an die Umwandlungseinheit 518 übertragen. Die Umwandlungseinheit 518 ist zum Umwandeln von Ausgabesignalen y in Aktorsteuerbefehle 510 ausgebildet. Das Steuersystem 502 ist zum Übertragen von Aktorsteuerbefehlen 510 an den Aktor 504 ausgebildet, der zum Betätigen der computergesteuerten Maschine 500 als Reaktion auf die Aktorsteuerbefehle 510 ausgebildet ist. Bei manchen Ausführungsformen ist der Aktor 504 zum Betätigen der computergesteuerten Maschine 500 direkt basierend auf Ausgabesignalen y ausgebildet.
Beim Empfang von Aktorsteuerbefehlen 510 durch den Aktor 504 ist der Aktor 504 zum Ausführen einer Handlung ausgebildet, die dem zugehörigen Aktorsteuerbefehl 510 entspricht. Der Aktor 504 kann eine Steuerlogik beinhalten, die zum Transformieren der Aktorsteuerbefehle 510 in einen zweiten Aktorsteuerbefehl ausgebildet ist, der zum Steuern des Aktors 504 genutzt wird. Bei einer oder mehreren Ausführungsformen können die Aktorsteuerbefehle 510 genutzt werden, um eine Anzeige anstelle von oder zusätzlich zu einem Aktor zu steuern.
Bei manchen Ausführungsformen beinhaltet das Steuersystem 502 einen Sensor 506 anstelle von oder zusätzlich zu der computergesteuerten Maschine 500, die den Sensor 506 beinhaltet. Das Steuersystem 502 kann auch den Aktor 504 anstelle von oder zusätzlich zu der computergesteuerten Maschine 500 beinhalten, die den Aktor 504 beinhaltet.
Wie in 5 gezeigt, beinhaltet das Steuersystem 502 auch den Prozessor 520 und den Speicher 522. Der Prozessor 520 kann einen oder mehrere Prozessoren beinhalten. Der Speicher 522 kann eine oder mehrere Speichervorrichtungen beinhalten. Der Klassifizierer 514 (z. B. ML-Algorithmen) einer oder mehrerer Ausführungsformen kann durch das Steuersystem 502 implementiert werden, das die nichtflüchtige Speicherung 516, den Prozessor 520 und den Speicher 522 beinhaltet.
Die nichtflüchtige Speicherung 516 kann eine oder mehrere persistente Datenspeicherungsvorrichtungen, wie etwa ein Festplattenlaufwerk, optisches Laufwerk, Bandlaufwerk, eine nichtflüchtige Festkörpervorrichtung, Cloud-Speicherung oder eine beliebige andere Vorrichtung, die zum persistenten Speichern von Informationen in der Lage ist, beinhalten. Der Prozessor 520 kann eine oder mehrere Vorrichtungen beinhalten, die aus Hochleistungsrechen(HPC: High Performance Computing)-Systemen einschließlich Hochleistungskernen, Mikroprozessoren, Mikrocontrollern, Digitalsignalprozessoren, Mikrocomputern, Zentralverarbeitungseinheiten, feldprogrammierbaren Gatterarrays, programmierbaren Logikvorrichtungen, Zustandsmaschinen, Logikschaltkreisen, Analogschaltkreisen, Digitalschaltkreisen oder beliebigen anderen Vorrichtungen ausgewählt sind, die Signale (analog oder digital) basierend auf computerausführbaren Anweisungen manipulieren, die sich in dem Speicher 522 befinden. Der Speicher 522 kann eine einzige Speichervorrichtung oder eine Reihe von Speichervorrichtungen einschließlich unter anderem Direktzugriffsspeichers (RAM), flüchtigen Speichers, nichtflüchten Speichers, statischen Direktzugriffsspeichers (SRAM), dynamischen Direktzugriffsspeichers (DRAM), Flash-Speichers, Cache-Speichers oder einer beliebigen anderen Vorrichtung, die zum Speichern von Informationen in der Lage ist, beinhalten.
Der Prozessor 520 kann zum Lesen in den Speicher 522 und Ausführen computerausführbarer Anweisungen, die sich in der nichtflüchtigen Speicherung 516 befinden und eine(n) oder mehrere ML-Algorithmen und/oder -Methodologien einer oder mehrerer Ausführungsformen ausgebildet sein. Die nichtflüchtige Speicherung 516 beinhaltet ein oder mehrere Betriebssysteme und Anwendungen. Die nichtflüchtige Speicherung 516 kann kompilierte und/oder interpretierte Computerprogramme speichern, die unter Verwendung einer Vielzahl von Programmiersprachen und/oder -technologien erzeugt werden, einschließlich unter anderem, und entweder allein oder in Kombination, C, C++, C#, Objective C, Fortran, Pascal, Java Script, Python, Perl und PL/SQL.
Bei der Ausführung durch den Prozessor 520 können die computerausführbaren Anweisungen der nichtflüchtigen Speicherung 516 das Steuersystem 502 zum Implementieren eines oder mehrerer der ML-Algorithmen und/oder -Methodologien, wie hier offenbart, veranlassen. Die nichtflüchtige Speicherung 516 kann auch ML-Daten (einschließlich Datenparametern) beinhalten, die die Funktionen, Merkmale und Prozesse der einen oder mehreren Ausführungsformen, die hier beschrieben sind, unterstützen.
Der Programmcode, der die hier beschriebenen Algorithmen und/oder Methodologien umsetzt, ist dazu in der Lage, einzeln oder gemeinsam als ein Programmprodukt in einer Vielzahl verschiedener Formen verteilt zu werden. Der Programcode kann unter Verwendung eines computerlesbaren Speicherungsmediums mit computerlesbaren Programmanweisungen darauf zum Bewirken verteilt werden, dass ein Prozessor Aspekte einer oder mehrerer Ausführungsformen ausführt. Computerlesbare Speicherungsmedien, die inhärent nichttransitorisch sind, können flüchtige und nichtflüchtige und entfernbare und nichtentfernbare greifbare Medien einschließen, die in einem beliebigen Verfahren oder einer beliebigen Technologie zur Speicherung von Informationen implementiert werden, wie etwa computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten. Computerlesbare Speicherungsmedien können ferner RAM, ROM, löschbaren programmierbaren Nurlesespeicher (EPROM), elektrisch löschbaren programmierbaren Nurlesespeicher (EEPROM), Flash-Speicher oder eine andere Festkörperspeichertechnologie, eine portable Compact-Disc-Read-Only-Memory (CD-ROM) oder eine andere optische Speicherung, Magnetkassetten, Magnetband, Magnetplattenspeicherung oder andere Magnetspeicherungsvorrichtungen oder ein beliebiges anderes Medium, das zum Speichern der gewünschten Informationen verwendet werden kann und das durch einen Computer gelesen werden kann, einschließen. Computerlesbare Programmanweisungen können von einem computerlesbaren Speicherungsmedium auf einen Computer, eine andere Art von programmierbarer Datenverarbeitungseinrichtung oder eine andere Vorrichtung oder über ein Netzwerk auf einen externen Computer oder eine externe Speicherungsvorrichtung heruntergeladen werden.
Computerlesbare Programmanweisungen, die in einem computerlesbaren Medium gespeichert sind, können verwendet werden, um einen Computer, andere Arten programmierbarer Datenverarbeitungseinrichtungen oder andere Vorrichtungen zum Arbeiten auf eine bestimmte Weise anweisen, so dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsartikel produzieren, der Anweisungen beinhaltet, die die Funktionen, Handlungen und/oder Operationen implementieren, die in den Flussdiagrammen oder Diagrammen spezifiziert sind. Bei gewissen alternativen Ausführungsformen können die Funktionen, Handlungen und/oder Operationen, die in den Flussdiagrammen und Diagrammen spezifiziert sind, in Übereinstimmung mit einer oder mehreren Ausführungsformen umsortiert, seriell verarbeitet und/oder gleichzeitig verarbeitet werden. Zudem können beliebige der Flussdiagramme und/oder Diagramme mehr oder weniger Knoten oder Blöcke als jene veranschaulichen, die in Übereinstimmung mit einer oder mehreren Ausführungsformen veranschaulicht sind.
Die Prozesse, Verfahren oder Algorithmen können vollständig oder teilweise unter Verwendung geeigneter Hardwarekomponenten, wie etwa anwendungsspezifischer integrierter Schaltkreise (ASICs: Application Specific Integrated Circuits), feldprogrammierbarer Gatterarrays (FPGAs: Field-Programmable Gate Arrays), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination aus Hardware-, Software- und Firmwarekomponenten, ausgeführt werden.
6 stellt ein schematisches Diagramm eines Steuersystems 502 dar, das zum Steuern eines Fahrzeugs 600 ausgebildet ist, das ein wenigstens teilweise autonomes Fahrzeug oder ein wenigstens teilweise autonomer Roboter sein kann. Das Fahrzeug 600 beinhaltet einen Aktor 504 und einen Sensor 506. Der Sensor 506 kann einen oder mehrere Videosensoren, Kameras, Radarsensoren, Ultraschallsensoren, LiDAR-Sensoren und/oder Positionssensoren (z. B. GPS) beinhalten. Einer oder mehrere des einen oder der mehreren speziellen Sensoren können in das Fahrzeug 600 integriert sein. Alternativ oder zusätzlich zu einem oder mehreren speziellen Sensoren, die zuvor identifiziert wurden, kann der Sensor 506 ein Softwaremodul beinhalten, das bei Ausführung zum Bestimmen eines Zustands eines Aktors 504 ausgebildet ist. Ein nichtbeschränkendes Beispiel für ein Softwaremodul beinhaltet ein Wetterinformationssoftwaremodul, das zum Bestimmen eines gegenwärtigen oder zukünftigen Zustands des Wetters nahe dem Fahrzeug 600 oder einem anderen Ort ausgebildet ist.
Der Klassifizierer 514 des Steuersystems 502 des Fahrzeugs 600 kann zum Detektieren von Objekten in der Nähe des Fahrzeugs 600 in Abhängigkeit von Eingabesignalen x ausgebildet sein. Bei einer solchen Ausführungsform kann das Ausgabesignal y Informationen beinhalten, die die Nähe von zu dem Fahrzeug 600 charakterisieren. Der Aktorsteuerbefehl 510 kann gemäß diesen Informationen bestimmt werden. Der Aktorsteuerbefehl 510 kann zum Vermeiden von Kollisionen mit den detektierten Objekten verwendet werden.
Bei manchen Ausführungsformen ist das Fahrzeug 600 ein wenigstens teilweise autonomes Fahrzeug, kann der Aktor 504 in einer Bremse, einem Antriebssystem, einem Motor, einem Antriebsstrang oder einer Lenkung des Fahrzeugs 600 ausgeführt sein. Aktorsteuerbefehle 510 können derart bestimmt werden, dass der Aktor 504 derart gesteuert wird, dass das Fahrzeug 600 Kollisionen mit detektierten Objekten vermeidet. Detektierte Objekte können auch gemäß dem klassifiziert werden, was der Klassifizierer 514 als am Wahrscheinlisten erachtet, wie etwa Fußgänger oder Bäume. Die Aktorsteuerbefehle 510 können in Abhängigkeit von der Klassifizierung bestimmt werden. In einem Szenario, in dem ein feindlicher Angriff stattfinden kann, kann das oben beschriebene System ferner zum besseren Detektieren von Objekten oder Identifizieren einer Änderung von Beleuchtungsbedingungen oder eines Winkels für einen Sensor oder eine Kamera an dem Fahrzeug 600 trainiert werden.
Bei manchen Ausführungsformen, bei denen das Fahrzeug 600 ein wenigstens teilweise autonomer Roboter ist, kann das Fahrzeug 600 ein mobiler Roboter sein, der zum Ausführen einer oder mehrerer Funktionen, wie etwa Fliegen, Schwimmen, Tauchen und Gehen, ausgebildet ist. Der mobile Roboter kann ein wenigstens teilweise autonomer Rasenmäher oder ein wenigstens teilweise autonomer Reinigungsroboter sein. Bei solchen Ausführungsformen kann der Aktorsteuerbefehl 510 derart bestimmt werden, dass eine Antriebseinheit, eine Lenkeinheit und/oder eine Bremseinheit des mobilen Roboters derart gesteuert werden kann, dass der mobile Roboter Kollisionen mit identifizierten Objekten vermeiden kann.
Bei manchen Ausführungsformen ist das Fahrzeug 600 ein wenigstens teilweise autonomer Roboter in der Form eines Gartenarbeitsroboters. Bei einer solchen Ausführungsform kann das Fahrzeug 600 einen optischen Sensor als den Sensor 506 verwenden, um einen Zustand von Pflanzen in einer Umgebung nahe dem Fahrzeug 600 zu bestimmen. Der Aktor 504 kann eine Düse sein, die zum Versprühen von Chemikalien ausgebildet ist. In Abhängigkeit von einer identifizierten Spezies und/oder einem identifizierten Zustand der Pflanzen kann ein Aktorsteuerbefehl 510 bestimmt werden, um den Aktor 504 zum Besprühen der Pflanzen mit einer geeigneten Menge geeigneter Chemikalien zu veranlassen.
Das Fahrzeug 600 kann ein wenigstens teilweise autonomer Roboter in der Form eines Haushaltsgeräts sein. Nichtbeschränkende Beispiele für Haushaltsgeräte beinhalten eine Waschmaschine, einen Herd, einen Backofen, eine Mikrowelle oder eine Geschirrspülmaschine. In einem solchen Fahrzeug 600 kann der Sensor 506 ein optischer Sensor sein, der zum Detektieren eines Zustands eines Objekts ausgebildet ist, das eine Verarbeitung durch das Haushaltsgerät erfahren soll. Zum Beispiel kann in dem Fall, dass das Haushaltsgerät eine Waschmaschine ist, der Sensor 506 einen Zustand der Wäsche innerhalb der Waschmaschine detektieren. Der Aktorsteuerbefehl 510 kann basierend auf dem detektierten Zustand der Wäsche bestimmt werden.
7 stellt ein schematisches Diagramm eines Steuersystems 502 dar, das zum Steuern eines Systems 700 (z. B. einer Herstellungsmaschine), wie etwa eines Stanzwerkzeugs, eines Schneidewerkzeugs oder eines Kanonenbohrers, eines Herstellungssystems 702, wie etwa eines Teils einer Fertigungslinie, ausgebildet ist. Das Steuersystem 502 kann zum Steuern des Aktors 504 ausgebildet sein, der zum Steuern des Systems 700 (z. B. einer Herstellungsmaschine) ausgebildet ist.
Der Sensor 506 des Systems 700 (z. B. einer Herstellungsmaschine) kann ein optischer Sensor sein, der zum Erfassen einer oder mehrerer Eigenschaften eines hergestellten Produkts 704 ausgebildet ist. Der Klassifizierer 514 kann zum Bestimmen eines Zustands des hergestellten Produkts 704 aus einer oder mehreren der erfassten Eigenschaften ausgebildet sein. Der Aktor 504 kann zum Steuern des Systems 700 (z. B. einer Herstellungsmaschine) in Abhängigkeit von dem bestimmten Zustand eines hergestellten Produkts 704 für einen anschließenden Herstellungsschritt des hergestellten Produkts 704 ausgebildet sein. Der Aktor 504 kann zum Steuern von Funktionen des Systems 700 (z. B. einer Herstellungsmaschine) an einem anschließend hergestellten Produkt 706 des Systems 700 (z. B. einer Herstellungsmaschine) in Abhängigkeit von dem bestimmten Zustand des hergestellten Produkts 704 ausgebildet sein.
8 zeigt ein schematisches Diagramm eines Steuersystems 502, das zum Steuern eines Elektrowerkzeugs 800, wie etwa einer/eines elektrischen Bohrmaschine oder Schraubendrehers, ausgebildet ist, das einen wenigstens teilweise autonomen Modus aufweist. Das Steuersystem 502 kann zum Steuern des Aktors 504 ausgebildet sein, der zum Steuern des Elektrowerkzeugs 800 ausgebildet ist.
Ein Sensor 506 des Elektrowerkzeugs 800 kann ein optischer Sensor sein, der zum Erfassen einer oder mehrerer Eigenschaften einer Arbeitsoberfläche 802 und/oder eines Befestigungselements 804, das in die Arbeitsoberfläche 802 getrieben wird, ausgebildet ist. Der Klassifizierer 514 kann zum Bestimmen eines Zustands der Arbeitsoberfläche 802 und/oder des Befestigungsmittels 804 relativ zu der Arbeitsoberfläche 802 aus einer oder mehrerer der erfassten Eigenschaften ausgebildet sein. Der Zustand kann sein, dass das Befestigungsmittel 804 bündig mit der Arbeitsoberfläche 802 ist. Der Zustand kann alternativ dazu eine Härte der Arbeitsoberfläche 802 sein. Der Aktor 504 kann zum Steuern des Elektrowerkzeugs 800 derart, dass die Antriebsfunktion des Elektrowerkzeugs 800 in Abhängigkeit von dem bestimmten Zustand des Befestigungsmittels 804 relativ zu der Arbeitsoberfläche 802 oder einer oder mehreren erfassten Eigenschaften der Arbeitsoberfläche 802 angepasst wird, ausgebildet sein. Zum Beispiel kann der Aktor 504 die Antriebsfunktion einstellen, falls der Zustand des Befestigungsmittels 804 relativ zu der Arbeitsoberfläche 802 bündig ist. Als ein weiteres nichtbeschränkendes Beispiel kann der Aktor 504 zusätzliches oder weniger Drehmoment in Abhängigkeit von der Härte der Arbeitsoberfläche 802 anwenden.
9 stellt ein schematisches Diagramm eines Steuersystems 502 dar, das zum Steuern eines automatisierten persönlichen Assistenten 900 ausgebildet ist. Das Steuersystem 502 kann zum Steuern des Aktors 504 ausgebildet sein, der zum Steuern eines automatisierten persönlichen Assistenten 900 ausgebildet ist. Der automatisierte persönliche Assistent 900 kann zum Steuern eines Haushaltsgeräts, wie etwa einer Waschmaschine, eines Herds, eines Backofens, einer Mikrowelle oder einer Geschirrspülmaschine, ausgebildet sein.
Ein Sensor 506 kann ein optischer Sensor und/oder ein Audiosensor sein. Der optische Sensor kann zum Empfangen von Videobildern von Gesten 904 eines Benutzers 902 ausgebildet sein. Der Audiosensor kann zum Empfangen eines Sprachbefehls eines Benutzers 902 ausgebildet sein.
Das Steuersystem 502 eines automatisierten persönlichen Assistenten 900 kann zum Bestimmen von Aktorsteuerbefehlen 510 ausgebildet sein, die für das Steuersystem 502 ausgebildet sind. Das Steuersystem 502 kann zum Bestimmen von Aktorsteuerbefehlen 510 gemäß Sensorsignalen 508 des Sensors 506 ausgebildet sein. Der automatisierte persönliche Assistent 900 ist zum Übertragen von Sensorsignalen 508 an das Steuersystem 502 ausgebildet. Der Klassifizierer 514 des Steuersystems 502 kann zum Ausführen eines Gestenerkennungsalgorithmus zum Identifizieren einer Geste 904, die durch einen Benutzer 902 vorgenommen wird, um Aktorsteuerbefehle 510 zu bestimmen, und zum Übertragen der Aktorsteuerbefehle 510 an den Aktor 504 ausgebildet sein. Der Klassifizierer 514 kann zum Abrufen von Informationen aus einer nichtflüchtigen Speicherung als Reaktion auf die Geste 904 und zum Ausgeben der abgerufenen Informationen in einer Form ausgebildet sein, die für einen Empfang durch den Benutzer 902 geeignet ist.
10 stellt ein schematisches Diagramm eines Steuersystems 502 dar, das zum Steuern eines Überwachungssystems 1000 ausgebildet ist. Das Überwachungssystem 1000 kann zum physischen Steuern eines Zugangs durch eine Türe 1002 ausgebildet sein. Ein Sensor 506 kann zum Detektieren einer Szene ausgebildet sein, die für eine Entscheidung relevant ist, ob Zugang gewährt wird. Der Sensor 506 kann ein optischer Sensor sein, der zum Erzeugen und Übertragen von Bild- und/oder Videodaten ausgebildet ist. Solche Daten können durch das Steuersystem 502 zum Detektieren des Gesichts einer Person verwendet werden.
Der Klassifizierer 514 des Steuersystems 502 des Überwachungssystems 1000 kann zum Interpretieren der Bild- und/oder Videodaten durch Abgleichen von Identitäten bekannter Personen, die in der nichtflüchtigen Speicherung 516 gespeichert sind, ausgebildet sein, wodurch eine Identität einer Person bestimmt wird. Der Klassifizierer 514 kann zum Erzeugen eines Aktorsteuerbefehls 510 als Reaktion auf die Interpretation der Bild- und/oder Videodaten ausgebildet sein. Das Steuersystem 502 ist zum Übertragen des Aktorsteuerbefehls 510 an den Aktor 504 ausgebildet. Bei dieser Ausführungsform kann der Aktor 504 zum Verriegeln oder Entriegeln einer Tür 1002 als Reaktion auf den Aktorsteuerbefehl 510 ausgebildet sein. Bei manchen Ausführungsformen ist auch eine nichtphysische, logische Zugangssteuerung möglich.
Das Überwachungssystem 1000 kann auch ein Beobachtungssystem sein. Bei einer solchen Ausführungsform kann der Sensor 506 ein optischer Sensor sein, der zum Detektieren einer Szene ausgebildet ist, die unter Beobachtung steht, und das Steuersystem 502 ist zum Steuern einer Anzeige 1004 ausgebildet. Der Klassifizierer 514 ist zum Bestimmen einer Klassifizierung einer Szene ausgebildet, z. B., ob die durch den Sensor 506 detektierte Szene verdächtig ist. Das Steuersystem 502 ist zum Übertragen eines Aktorsteuerbefehls 510 an die Anzeige 1004 als Reaktion auf die Klassifizierung ausgebildet. Die Anzeige 1004 kann zum Anpassen des angezeigten Inhalts als Reaktion auf den Aktorsteuerbefehl 510 ausgebildet sein. Beispielsweise kann die Anzeige 1004 ein Objekt hervorheben, das durch den Klassifizierer 514 als verdächtig erachtet wird. Unter Nutzung einer Ausführungsform des offenbarten Systems kann das Beobachtungssystem vorhersagen, dass Objekte zu gewissen Zeiten in der Zukunft erscheinen.
11 stellt ein schematisches Diagramm eines Steuersystems 502 dar, das zum Steuern eines Bildgebungssystems 1100, zum Beispiel einer MRI-Einrichtung, einer Röntgenbildgebungseinrichtung oder einer Ultraschalleinrichtung, ausgebildet ist. Ein Sensor 506 kann zum Beispiel ein Bildgebungssensor sein. Der Klassifizierer 514 kann zum Bestimmen einer Klassifizierung des gesamten oder eines Teils des erfassten Bildes ausgebildet sein. Der Klassifizierer 514 kann zum Bestimmen oder Auswählen eines Aktorsteuerbefehls 510 als Reaktion auf die Klassifizierung ausgebildet sein, die durch das trainierte neuronale Netz erhalten wird. Zum Beispiel kann der Klassifizierer 514 ein Gebiet eines erfassten Bildes als möglicherweise anomal interpretieren. In diesem Fall kann der Aktorsteuerbefehl 510 dazu bestimmt oder ausgewählt werden, eine Anzeige 1102 zum Anzeigen der Bildgebung und zum Hervorheben des möglicherweise anomalen Gebiets zu veranlassen.
Bei manchen Ausführungsformen beinhaltet ein Verfahren für eine autonome Fahrzeugsteuerung Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs. Das Verfahren beinhaltet auch Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen. Das Verfahren beinhaltet auch Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage. Das Verfahren beinhaltet auch Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten, und Steuern, in dem ersten Zeitintervall, wenigstens einer Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten.
Bei manchen Ausführungsformen wird das Maschinenlernmodell anfänglich unter Verwendung von Trainingsdaten trainiert, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen. Bei manchen Ausführungsformen beinhaltet das Verfahren auch Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage und der ersten zukünftigen Fahrzeugpositionsvorhersage. Bei manchen Ausführungsformen beinhaltet das Verfahren auch Reduzieren der historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage und die erste zukünftige Fahrzeugpositionsvorhersage. Bei manchen Ausführungsformen wird das Maschinenlernmodell anschließend unter Verwendung der historischen Daten trainiert. Bei manchen Ausführungsformen beinhalten die Sensordaten ein oder mehrere Bilder, die einer Betriebsumgebung des Fahrzeugs entsprechen. Bei manchen Ausführungsformen beinhaltet das Verfahren auch Empfangen, in dem dritten Zeitintervall, anschließender Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und einer anschließenden Sequenz von Wegpunkten. Bei manchen Ausführungsformen beinhaltet das Verfahren auch Erzeugen, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, einer zweiten aktuellen Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs, Erzeugen, unter Verwendung des Maschinenlernmodells, in einem vierten Zeitintervall vor dem dritten Zeitintervall, einer zweiten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen, und Erzeugen, unter Verwendung des Maschinenlernmodells, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, einer zweiten zukünftigen Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage. Bei manchen Ausführungsformen beinhaltet das Verfahren auch Steuern, in dem dritten Zeitintervall, der wenigstens einen Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten.
Bei manchen Ausführungsformen beinhaltet ein System für eine autonome Fahrzeugsteuerung einen Prozessor und einen Speicher. Der Speicher beinhaltet Anweisungen, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Fahrzeugoperationsbefehls zum Steuern wenigstens einer Fahrzeugoperation des Fahrzeugs, wobei der wenigstens eine Fahrzeugoperationsbefehl basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Bei manchen Ausführungsformen wird das Maschinenlernmodell anfänglich unter Verwendung von Trainingsdaten trainiert, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen. Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zum Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage und des wenigstens einen Fahrzeugoperationsbefehls. Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zum Reduzieren der historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage und die erste zukünftige Fahrzeugpositionsvorhersage. Bei manchen Ausführungsformen wird das Maschinenlernmodell anschließend unter Verwendung der historischen Daten trainiert. Bei manchen Ausführungsformen beinhalten die Sensordaten ein oder mehrere Bilder, die einer Betriebsumgebung des Fahrzeugs entsprechen. Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zum Empfangen, in dem dritten Zeitintervall, anschließender Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und einer anschließenden Sequenz von Wegpunkten. Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zu Folgendem: Erzeugen, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, einer zweiten aktuellen Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem vierten Zeitintervall vor dem dritten Zeitintervall, einer zweiten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; und Erzeugen, unter Verwendung des Maschinenlernmodells, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, einer zweiten zukünftigen Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage. Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zum Steuern, in dem dritten Zeitintervall, der wenigstens einen Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten.
Bei manchen Ausführungsformen beinhaltet eine Einrichtung zur modularen Maschinenlernentscheidungsfindung einen Prozessor und einen Speicher, der Anweisungen beinhaltet, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Positionsvorhersage einer autonom gesteuerten Maschine basierend auf wenigstens aktuellen räumlichen Positionsinformationen der autonom gesteuerten Maschine; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Trajektorienvorhersage der autonom gesteuerten Maschine basierend auf wenigstens der ersten aktuellen Positionsvorhersage und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Positionsvorhersage der autonom gesteuerten Maschine basierend auf der ersten aktuellen Positionsvorhersage und der ersten historischen Trajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor der autonom gesteuerten Maschine und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Operationsbefehls zum Steuern wenigstens einer Operation der autonom gesteuerten Maschine, wobei der wenigstens eine Operationsbefehl basierend auf der ersten aktuellen Positionsvorhersage, der ersten historischen Trajektorienvorhersage, der ersten zukünftigen Positionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Bei manchen Ausführungsformen veranlassen die Anweisungen ferner den Prozessor zum Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Positionsvorhersage, der ersten historischen Trajektorienvorhersage, der ersten zukünftigen Positionsvorhersage und des wenigstens einen Operationsbefehls.
Die hier offenbarten Prozesse, Verfahren oder Algorithmen können an eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer, die/der eine beliebige existierende programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit beinhalten kann, lieferbar sein oder dadurch implementiert werden. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen, die durch eine Steuerung oder einen Computer ausführbar sind, in vielen Formen gespeichert werden, einschließlich unter anderem Informationen, die permanent auf nichtbeschreibbaren Speicherungsmedien gespeichert sind, wie etwa ROM-Vorrichtungen, und Informationen, die veränderbar auf beschreibbaren Speicherungsmedien gespeichert sind, wie etwa Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen oder optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ dazu können die Prozesse, Verfahren oder Algorithmen vollständig oder teilweise unter Verwendung geeigneter Hardwarekomponenten, wie etwa anwendungsspezifischer integrierter Schaltkreise (ASICs), feldprogrammierbarer Gatterarrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination aus Hardware-, Software- und Firmwarekomponenten, ausgeführt werden.
Obwohl Ausführungsbeispiele zuvor beschrieben wurden, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die durch die Ansprüche eingeschlossen werden. Die in der Schrift verwendeten Worte sind Worte der Beschreibung und nicht der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von der Idee und dem Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die möglicherweise nicht explizit beschrieben oder veranschaulicht sind. Obwohl verschiedene Ausführungsformen möglicherweise als Vorteile bereitstellend oder gegenüber anderen Ausführformen oder Implementierungen des Stands der Technik mit Bezug auf eine oder mehrere gewünschte Charakteristiken bevorzugt beschrieben wurden, wird ein Durchschnittsfachmann erkennen, dass ein oder mehrere Merkmale oder eine oder mehrere Charakteristiken kompromittiert werden können, um gewünschte Gesamtsystemattribute zu erzielen, die von der speziellen Anwendung oder Implementierung abhängen. Diese Attribute können unter anderem Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Einfachheit der Montage usw. beinhalten. Von daher liegen, soweit beliebige Ausführungsformen als weniger wünschenswert als andere Ausführungsformen oder Implementierungen des Stands der Technik mit Bezug auf eine oder mehrere Charakteristiken beschrieben sind, diese Ausführungsformen nicht außerhalb des Schutzumfangs der Offenbarung und können für spezielle Anwendungen wünschenswert sein.

Claims

Verfahren zur autonomen Fahrzeugsteuerung, wobei das Verfahren Folgendes umfasst: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten; und Steuern, in dem ersten Zeitintervall, wenigstens einer Fahrzeugoperation des Fahrzeugs unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, der Sensordaten und der Sequenz von Wegpunkten.
Verfahren nach Anspruch 1, wobei das Maschinenlernmodell anfänglich unter Verwendung von Trainingsdaten trainiert wird, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen.
Verfahren nach Anspruch 1, das ferner Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage und der ersten zukünftigen Fahrzeugpositionsvorhersage umfasst.
Verfahren nach Anspruch 3, das ferner Reduzieren der historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage und die erste zukünftige Fahrzeugpositionsvorhersage umfasst.
Verfahren nach Anspruch 4, wobei das Maschinenlernmodell anschließend unter Verwendung der historischen Daten trainiert wird.
Verfahren nach Anspruch 1, wobei die Sensordaten ein oder mehrere Bilder beinhalten, die einer Betriebsumgebung des Fahrzeugs entsprechen.
Verfahren nach Anspruch 1, das ferner Empfangen, in dem dritten Zeitintervall, anschließender Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und einer anschließenden Sequenz von Wegpunkten umfasst.
Verfahren nach Anspruch 7, das ferner Folgendes umfasst: Erzeugen, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, einer zweiten aktuellen Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem vierten Zeitintervall vor dem dritten Zeitintervall, einer zweiten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; und Erzeugen, unter Verwendung des Maschinenlernmodells, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, einer zweiten zukünftigen Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage.
Verfahren nach Anspruch 8, das ferner Steuern, in dem dritten Zeitintervall, der wenigstens einen Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten umfasst.
System zur autonomen Fahrzeugsteuerung, wobei das System Folgendes umfasst: einen Prozessor; und einen Speicher, der Anweisungen beinhaltet, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Fahrzeugpositionsvorhersage basierend auf aktuellen räumlichen Positionsinformationen und einem ersten Gierwert eines Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der ersten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Fahrzeugpositionsvorhersage basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage und der ersten historischen Fahrzeugtrajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor des Fahrzeugs und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Fahrzeugoperationsbefehls zum Steuern wenigstens einer Fahrzeugoperation des Fahrzeugs, wobei der wenigstens eine Fahrzeugoperationsbefehl basierend auf der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
System nach Anspruch 10, wobei das Maschinenlernmodell anfänglich unter Verwendung von Trainingsdaten trainiert wird, die Fahrzeugoperationsdaten beinhalten, die einer Operation eines oder mehrerer Fahrzeuge entsprechen.
System nach Anspruch 10, wobei die Anweisungen ferner den Prozessor zum Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Fahrzeugpositionsvorhersage, der ersten historischen Fahrzeugtrajektorienvorhersage, der ersten zukünftigen Fahrzeugpositionsvorhersage und des wenigstens einen Fahrzeugoperationsbefehls veranlassen.
System nach Anspruch 12, wobei die Anweisungen ferner den Prozessor zum Reduzieren der historischen Daten basierend auf einer Rückmeldung reagierend auf die erste aktuelle Fahrzeugpositionsvorhersage, die erste historische Fahrzeugtrajektorienvorhersage und die erste zukünftige Fahrzeugpositionsvorhersage veranlassen.
System nach Anspruch 13, wobei das Maschinenlernmodell anschließend unter Verwendung der historischen Daten trainiert wird.
System nach Anspruch 10, wobei die Sensordaten ein oder mehrere Bilder beinhalten, die einer Betriebsumgebung des Fahrzeugs entsprechen.
System nach Anspruch 10, wobei die Anweisungen ferner den Prozessor zum Empfangen, in dem dritten Zeitintervall, anschließender Sensordaten von dem wenigstens einen Sensor des Fahrzeugs und einer anschließenden Sequenz von Wegpunkten veranlassen.
System nach Anspruch 16, wobei die Anweisungen ferner den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung des Maschinenlernmodells und in dem dritten Zeitintervall, einer zweiten aktuellen Fahrzeugpositionsvorhersage basierend auf anschließenden räumlichen Positionsinformationen und einem zweiten Gierwert des Fahrzeugs; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem vierten Zeitintervall vor dem dritten Zeitintervall, einer zweiten historischen Fahrzeugtrajektorienvorhersage basierend auf wenigstens der zweiten aktuellen Fahrzeugpositionsvorhersage des Fahrzeugs und vorherigen räumlichen Informationen; und Erzeugen, unter Verwendung des Maschinenlernmodells, in einem fünften Zeitintervall anschließend an das dritte Zeitintervall, einer zweiten zukünftigen Fahrzeugpositionsvorhersage basierend auf der zweiten aktuellen Fahrzeugpositionsvorhersage und der zweiten historischen Fahrzeugtrajektorienvorhersage.
System nach Anspruch 17, wobei die Anweisungen ferner den Prozessor zum Steuern, in dem dritten Zeitintervall, der wenigstens einen Fahrzeugoperation des Fahrzeugs unter Verwendung der zweiten aktuellen Fahrzeugpositionsvorhersage, der zweiten historischen Fahrzeugtrajektorienvorhersage, der zweiten zukünftigen Fahrzeugpositionsvorhersage, der anschließenden Sensordaten und der Sequenz von Wegpunkten veranlassen.
Einrichtung zur modularen Maschinenlernentscheidungsfindung, wobei die Einrichtung Folgendes umfasst: einen Prozessor; und einen Speicher, der Anweisungen beinhaltet, die bei Ausführung durch den Prozessor den Prozessor zu Folgendem veranlassen: Erzeugen, unter Verwendung eines Maschinenlernmodells und in einem ersten Zeitintervall, einer ersten aktuellen Positionsvorhersage einer autonom gesteuerten Maschine basierend auf wenigstens aktuellen räumlichen Positionsinformationen der autonom gesteuerten Maschine; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem zweiten Zeitintervall vor dem ersten Zeitintervall, einer ersten historischen Trajektorienvorhersage der autonom gesteuerten Maschine basierend auf wenigstens der ersten aktuellen Positionsvorhersage und vorherigen räumlichen Informationen; Erzeugen, unter Verwendung des Maschinenlernmodells, in einem dritten Zeitintervall anschließend an das erste Zeitintervall, einer ersten zukünftigen Positionsvorhersage der autonom gesteuerten Maschine basierend auf der ersten aktuellen Positionsvorhersage und der ersten historischen Trajektorienvorhersage; Empfangen, in dem ersten Zeitintervall, von Sensordaten von wenigstens einem Sensor der autonom gesteuerten Maschine und einer Sequenz von Wegpunkten; und Erzeugen, in dem ersten Zeitintervall, wenigstens eines Operationsbefehls zum Steuern wenigstens einer Operation der autonom gesteuerten Maschine, wobei der wenigstens eine Operationsbefehl basierend auf der ersten aktuellen Positionsvorhersage, der ersten historischen Trajektorienvorhersage, der ersten zukünftigen Positionsvorhersage, den Sensordaten und der Sequenz von Wegpunkten erzeugt wird.
Einrichtung nach Anspruch 19, wobei die Anweisungen ferner den Prozessor zum Aktualisieren historischer Daten unter Verwendung der ersten aktuellen Positionsvorhersage, der ersten historischen Trajektorienvorhersage, der ersten zukünftigen Positionsvorhersage und des wenigstens einen Operationsbefehls veranlassen.