DE102018119467B4

DE102018119467B4 - Verfahren zum durchführen eines autonomen betriebs eines fahrzeugs durch tiefes räumlich-zeitliches lernen

Info

Publication number: DE102018119467B4
Application number: DE102018119467.6A
Authority: DE
Inventors: Praveen Palanisamy; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-08-14
Filing date: 2018-08-09
Publication date: 2023-08-03
Anticipated expiration: 2038-08-10
Also published as: CN109388135A; US20190049963A1; DE102018119467A1; US10520940B2

Abstract

Verfahren zum Durchführen eines autonomen Betriebs eines Fahrzeugs, das Verfahren umfassend:Erhalten eines oder mehrerer Einzelbilder für eine Zeitinstanz t von einem oder mehreren Sensoren;Verarbeiten des einen oder mehrerer Einzelbilder, wobei das Verarbeiten die Durchführung einer Faltungsverarbeitung beinhaltet, um eine mehrdimensionale Matrix xtzu erhalten;Betreiben auf der mehrdimensionalen Matrix xt, um die Ausgabe ht zu erhalten, wobei das Betreiben die Verwendung einer Ausgabe ht-1des Betreibens für eine vorherige Zeitinstanz t-1 beinhaltet; undNachbearbeitung der Ausgabe ht, um ein oder mehrere Steuersignale zu erhalten, die den Betrieb des Fahrzeugs beeinträchtigen.

Description

EINLEITUNG
Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen eines autonomen Betriebs eines Fahrzeugs durch tiefes räumlich-zeitliches Lernen.
Zur Hintergrundinformation sei an dieser Stelle vorab auf die DE 195 27 323 A1 verwiesen.
Autonome Fahrzeugsysteme können Fahraufgaben wie Bremsen, Lenken, Einparken oder sogar durchgängiges Fahren ergänzen oder automatisieren. Viele dieser autonomen Fahrzeugsysteme basieren auf einer geschichteten Architektur, die das Erhalten von Sensordaten, das Verschmelzen von Sensordaten von verschiedenen Sensoren, das Bestimmen von Umgebungsbedingungen, die Planung und schließlich die Ausgabe von Befehlen zum Ausführen der geplanten Aktionen beinhaltet. Neuronale Netze wurden verwendet, um Befehle direkt basierend auf dem Sensoreingang auszugeben. Diese neuronalen Netze sind typischerweise tiefe neuronale Netze mit verborgenen Schichten, um beispielsweise eine Reihe von Bildern zu verarbeiten. Diese neuronalen Netze arbeiten auf einer Frame-by-Frame-Basis, sodass Befehle unter Berücksichtigung der räumlichen, aber nicht der zeitlichen Verarbeitung ausgegeben werden. Dementsprechend ist es wünschenswert, einen autonomen Betrieb durch tiefes räumlich-zeitliches Lernen vorzusehen.
KURZDARSTELLUNG
In einer exemplarischen Ausführungsform beinhaltet ein Verfahren zum Ausführen eines autonomen Betriebs eines Fahrzeugs das Erhalten eines oder mehrerer Einzelbilder für eine Zeitinstanz t von einem oder mehreren Sensoren und das Verarbeiten des einen oder der mehreren Einzelbilder, wobei das Verarbeiten das Ausführen einer Faltungsverarbeitung beinhaltet, um eine mehrdimensionale Matrix x_t zu erhalten. Das Verfahren beinhaltet auch das Betreiben der mehrdimensionalen Matrix x_t, um die Ausgabe ht zu erhalten, wobei das Betreiben die Verwendung einer Ausgabe h_t-1 des Betriebs für eine vorherige Zeitinstanz t-1 und die Nachbearbeitung der Ausgabe ht beinhaltet, um ein oder mehrere Steuersignale zum Beeinflussen des Betriebs des Fahrzeugs zu erhalten.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet die Verarbeitung des einen oder der mehreren Einzelbilder die Normalisierung jedes einzelnen Einzelbildes vor dem Ausführen der Faltungsverarbeitung.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet das Ausführen der Faltungsverarbeitung das Ausführen von N aufeinanderfolgenden Faltungen mit N Kernelmatrizen, wobei die Kernelmatrizen zunächst einen Zufallswert und eine vordefinierte Größe und Abmessung aufweisen.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet das Betreiben der mehrdimensionalen Matrix x_t unter Verwendung der Ausgabe h_t-1 des Betriebs für die vorherige Zeitinstanz t-1 das Ausführen von Berechnungen nichtlinearer Funktionen unter Verwendung von Gewichtungen.
Neben einer oder mehreren der hierin beschriebenen Funktionen werden das eine oder die mehreren Steuersignale während eines Trainingsmodus mit einem oder mehreren tatsächlichen Steuersignalen verglichen.
Neben einer oder mehreren der hierin beschriebenen Funktionen werden die Gewichtungen basierend auf dem Vergleich optimiert.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet die Nachbearbeitung der Ausgabe ht, um das eine oder die mehreren Steuersignale zu erhalten, das Umwandeln der Ausgabe ht in einen eindimensionalen Vektor und das Abbilden des eindimensionalen Vektors auf das eine oder die mehreren Steuersignale.
Neben einer oder mehreren der hierin beschriebenen Funktionen werden das eine oder die mehreren Steuersignale einem Fahrzeugsteuerungssystem des Fahrzeugs zur Verfügung gestellt.
Neben einer oder mehreren der hierin beschriebenen Funktionen werden das eine oder die mehreren Steuersignale einem autonomen Lenksystem des Fahrzeugs zur Verfügung gestellt.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet das Bereitstellen eines oder mehrerer Steuersignale das Bereitstellen eines oder mehrerer Lenkungs-, Gashebel- oder Bremssignale.
In einer weiteren exemplarischen Ausführungsform beinhaltet ein System zum autonomen Betrieb eines Fahrzeugs einen oder mehrere Sensoren, um einen oder mehrere Einzelbilder für eine Zeitinstanz t zu erhalten. Das System beinhaltet auch eine Steuerung zum Verarbeiten des einen oder der mehreren Einzelbilder, einschließlich dem Ausführen einer Faltungsbearbeitung, um eine mehrdimensionale Matrix x_t zu erhalten, um auf der mehrdimensionalen Matrix x_t zu arbeiten, um die Ausgabe ht zu erhalten. Eine Ausgabe h_t-1 des Betriebs wird für eine vorherige Zeitinstanz t-1 verwendet, und die Ausgabe ht wird nachbearbeitet, um ein oder mehrere Steuersignale zu erhalten, die den Betrieb des Fahrzeugs beeinträchtigen.
Neben einer oder mehreren der hierin beschriebenen Funktionen verarbeitet die Steuerung das eine oder die mehreren Einzelbilder, indem sie jedes der Einzelbilder vor dem Ausführen der Faltungsverarbeitung normalisiert.
Neben einer oder mehreren der hierin beschriebenen Funktionen beinhaltet die Steuerung, welche die Faltungsverarbeitung ausführt, das Ausführen von N aufeinanderfolgenden Faltungen mit N Kernelmatrizen. Die Kernelmatrizen weisen zunächst einen Zufallswert und eine feste Größe und Abmessung auf.
Neben einer oder mehreren der hierin beschriebenen Funktionen arbeitet die Steuerung auf der mehrdimensionalen Matrix x_t unter Verwendung der Ausgabe h_t-1 der Operation für die vorhergehende Zeitinstanz t-1, indem sie Berechnungen nichtlinearer Funktionen mit Gewichtungen durchführt.
Neben einer oder mehreren der hierin beschriebenen Funktionen vergleicht die Steuerung ein oder mehrere Steuersignale jeweils mit einem oder mehreren tatsächlichen Steuersignalen während eines Trainingsmodus.
Neben einer oder mehreren der hierin beschriebenen Funktionen optimiert die Steuerung die Gewichtungen basierend auf dem Vergleich.
Neben einer oder mehreren der hierin beschriebenen Funktionen die Steuerung eine Nachbearbeitung der Ausgabe ht durch, um das eine oder die mehreren Steuersignale zu erhalten, indem sie die Ausgabe ht in einen eindimensionalen Vektor umwandelt und den eindimensionalen Vektor auf ein oder mehrere Steuersignale abbildet.
Neben einer oder mehreren der hierin beschriebenen Funktionen liefert die Steuerung ein oder mehrere Steuersignale an ein Fahrzeugsteuerungssystem des Fahrzeugs.
Neben einer oder mehreren der hierin beschriebenen Funktionen ist das Fahrzeugsteuerungssystem ein autonomes Lenksystem des Fahrzeugs.
Neben einer oder mehreren der hierin beschriebenen Funktionen ist das eine oder die mehreren Steuersignale eines oder mehrere von einem Lenkungs-, Gashebel- oder Bremssignal.
Die oben genannten Eigenschaften und Vorteile sowie anderen Eigenschaften und Funktionen der vorliegenden Erfindung gehen aus der folgenden ausführlichen Beschreibung in Verbindung mit den zugehörigen Zeichnungen ohne weiteres hervor.
Figurenliste
Andere Merkmale, Vorteile und Details erscheinen nur exemplarisch in der folgenden ausführlichen Beschreibung der Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, wobei gilt:

1 ist ein Blockdiagramm eines autonomen Fahrzeugsystems mit einer autonomen Fahrarchitektur unter Verwendung eines tiefen räumlich-zeitlichen Lernens gemäß einer oder mehrerer Ausführungsformen;
2 ist ein Blockflussdiagramm der neuronalen Netzwerkarchitektur gemäß einer oder mehrerer Ausführungsformen;
3 ist ein Blockdiagramm der Funktionalität der räumlich-zeitlichen Einheit, die Teil der neuronalen Netzwerkarchitektur gemäß einer oder mehreren Ausführungsformen ist; und
4 ist ein Prozessablauf des Trainings und der Nutzung der neuronalen Netzwerkarchitektur gemäß einer oder mehrerer Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich exemplarischer Natur.
Wie bereits erwähnt, können neuronale Netze Sensoreingänge empfangen und Befehle zum Steuern von Aspekten des autonomen Fahrens bereitstellen. In autonomen Antriebssystemen können beispielsweise Bremse, Gashebel, Lenkung oder Getriebe oder eine beliebige Kombination derselben basierend auf den vom neuronalen Netz erzeugten Steuersignalen gesteuert werden. Wenn die Verarbeitung des neuronalen Netzes auf Frame-by-Frame-Basis erfolgt, können die daraus resultierenden autonomen Fahrbefehle eher eine raue Fahrt als einen reibungslosen Betrieb erzeugen. Die hierin beschriebenen Systeme und Verfahren beziehen sich auf ein neuronales Netz zum Übersetzen von Bildpunkten in Steuersignale. Die Architektur des neuronalen Netzes implementiert tiefes räumlich-zeitliches Lernen basierend auf einem Speicherelement, das eine Rückkopplung von vorherigen Einzelbildern ermöglicht. Diese Berücksichtigung des zeitlichen und räumlichen Einsatzes beim Erzeugen des autonomen Fahrbefehls zu jeder Zeitinstanz führt zu einem Satz ausgegebener Befehle, die einen reibungsloseren Übergang des Systems ermöglichen. Während die Lenkungssteuerung speziell zu Erläuterungszwecken behandelt wird, kann die eine oder die Ausführungsformen der hierin aufgeführten Architektur auch auf andere autonome Antriebssysteme wie Gas-, Getriebe- und Bremssteuerung angewendet werden.
Gemäß einer exemplarischen Ausführungsform stellt 1 ein Blockdiagramm eines autonomen Fahrzeugsystems mit autonomer Fahrarchitektur unter Verwendung eines tiefen räumlich-zeitlichen Lernens dar. Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101. Eine Steuerung 110 stellt autonome Betriebsbefehle (basierend auf den Steuersignalen 290, 2) an ein Lenksystem 130 oder andere Fahrzeugsysteme 140 zur Verfügung. Die Steuerung 110 verwendet Bilder von einem oder mehreren Sensoren 150a, 150b, 150c (allgemein als 150 bezeichnet), um die Befehle zu bestimmen. Der Sensor 150 kann beispielsweise eine Stand- oder Videokamera, ein Bildgebungsradar oder ein Lichtdetektions- und Entfernungssystem (Lidar) sein, das eine Punktwolke als Bild erhält. Ein Bildrahmen wird von jedem Sensor 150 zu jedem Zeitpunkt für zwei oder mehr Zeitpunkte erhalten. Während 1 drei Sensoren 150 in der exemplarischen Ausführungsform darstellt, können beliebig viele Sensoren 150 an verschiedenen Stellen des Fahrzeugs 100 eingesetzt werden. Das Lenksystem 130 und andere Fahrzeugsysteme 140 stellen die verschiedenen Komponenten dar, die sich auf die Steuerung des vorgegebenen Systems beziehen. Wie bereits erwähnt, können die autonomen Betriebsbefehle der Steuerung 110 beispielsweise Steuersignale 290 (2) beinhalten, die neben der Steuerung der Lenkung selbst auch die Steuerung von Brems-, Getriebe- und Gaspedalniveau ermöglichen. Alle Komponenten, aus denen sich die Lenksteuerung zusammensetzt, werden durch das in 1 dargestellte Lenksystem 130 repräsentiert.
Die Steuerung 110 beinhaltet die neuronale Netzwerkarchitektur gemäß einer oder mehrerer Ausführungsformen. Die Steuerung 110 beinhaltet eine Verarbeitungsschaltung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor 115 (gemeinsam genutzte oder dedizierte oder Gruppe) und einen Speicher 120 beinhalten kann, der ein oder mehrere Software- oder Firmwareprogramme, wie in 1 dargestellt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bereitstellen. Die durch die Steuerung 110 implementierte neuronale Netzwerkarchitektur wird unter Bezugnahme auf 2 skizziert.
2 ist ein Blockflussdiagramm der durch die Steuerung 110 implementierten neuronalen Netzwerkarchitektur gemäß einer oder mehrerer Ausführungsformen. Wie mit Bezug auf 1 erwähnt, ist die in 2 dargestellte neuronale Netzwerkarchitektur Teil der Steuerung 110, die ein autonomes Fahrzeugsystem mit einer autonomen Lenkungsarchitektur ermöglicht, die gemäß dem zur Erläuterung behandelten exemplarischen Fall ein tiefes, wiederkehrendes Lernen ermöglicht. Die Verarbeitungsblöcke werden für drei Zeitinstanzen (t0, t0+1, t0+k) aus k+1 Zeitinstanzen dargestellt, für die die Verarbeitung durchgeführt wird. Zu jedem Zeitpunkt werden die Einzelbilder 205 (ein Einzelbild 205 von jedem Sensor 150) bei Block 210 erhalten. Bei Block 220 werden die bei Block 210 erhaltenen Einzelbilder 205 normalisiert. Bei diesem bekannten Verfahren wird die Intensität (z. B. 0-255 Graustufen-Intensitätsbereich) der mit jedem Einzelbild assoziierten Pixelmatrix auf einen normierten Wert (z. B. 0-1) normiert oder abgebildet, um eine normierte Pixelmatrix 215 für jedes Einzelbild zu erzeugen.
Bei Block 230 wird ein Faltungsprozess der normierten Pixelmatrix 215 mit einer Kernelmatrix (Kernel1) durchgeführt. Das Ergebnis der Faltung conv1 225 ist eine Eingabe in die Faltung bei Block 240. Eine Faltung der Matrix conv1 225, die sich aus der Faltung bei Block 230 mit einer anderen Kernelmatrix (Kernel2) ergibt, führt zu conv2 235. Dies wiederum ist der Eingang zu einer weiteren Faltung bei Block 250. Eine Faltung der Matrix conv2 235, die sich aus der Faltung bei Block 240 mit einer anderen Kernelmatrix (Kernel3) ergibt, führt zu conv3 245.
Auf diese Weise ist die Faltung bei Block 260 die N^th Faltung unter Verwendung der Kernelmatrix (Kernel) und ergibt convN 255 (bezeichnet als Eingang x_t). Der Wert von N (d. h. die Anzahl der Faltungsprozesse) ist einer oder mehrere und ist, einmal bestimmt, bei der Verarbeitung von Einzelbildern 205 in jeder Zeitinstanz gleich. Die Größe, Dimension und Werte der einzelnen Kernelmatrizen (kernel1 bis kernelN) sind anpassbar. Zunächst sind die Werte der einzelnen Kernelmatrizen zufällig, während die Größe und Dimension festgelegt sind (vordefiniert). Die feste Größe und Dimension kann mit einem bekannten pyramidalen Ansatz, wie beispielsweise den Gaußschen Pyramiden, bestimmt werden. Das Ergebnis jedes Faltungsprozesses (conv1 225 bis convN 255) ist eine mehrdimensionale Matrix, die eine LxL-Matrix ist (z. B. 256 x 256). Somit ist x_t eine LxL-Matrix.
Die N-Faltungsprozesse stellen die räumliche Dimension der Verarbeitung neuronaler Netze dar. Die mehrfachen Zeitinstanzen (t₀, t₀+1,..., t₀+k) stellen die zeitliche Dimension der Verarbeitung des neuronalen Netzes dar. Eine Speichereinheit (MU) 270 verarbeitet die Ausgabe (x_t) des letzten (N-ten) Faltungsprozesses und das Ergebnis (h_t-1) aus der MU 270 in einem vorherigen Zeitschritt (außer t=t₀) bei Block 260 wie in 3 ausgeführt. Die Verwendung des Ergebnisses aus dem vorherigen Zeitschritt stellt den wiederkehrenden (zeitlichen) Aspekt des Lernens dar. Zu einem gegebenen Zeitpunkt t werden die historischen Daten für jeden vorherigen Zeitschritt, der mit t=t₀ beginnt, in h_t-1 kodiert. Eine exemplarische MU 270 ist eine geschlossene wiederkehrende Einheit (GRU). Bei Block 280 durchläuft der Ausgabe ht der MU 270 bekannte Abflachungs- und Abbildungsprozesse zum Erzeugen des Steuersignals 290. Die Abflachung bezieht sich auf die Umwandlung der mehrdimensionalen Matrix ht, die von der MU 270 ausgegeben wird, in einen eindimensionalen Vektor. Die Abbildung beinhaltet eine nichtlineare Abbildungsfunktion zum Umwandeln des aus der Abflachung resultierenden eindimensionalen Vektors in das Steuersignal 290, das letztlich einem Fahrzeugsystem 140 zur Verfügung gestellt wird.
3 ist ein Blockdiagramm der Funktionalität der MU 270, die Teil der neuronalen Netzwerkarchitektur gemäß einer oder mehreren Ausführungsformen ist. Jede MU 270 fungiert als Neuron des neuronalen Netzes. Zu einer gegebenen Zeitinstanz t erhält die MU 270 die Ausgabe (x_t) des letzten (N-ten) Faltungsprozesses. Wenn der Zeitschritt t ein anderer Zeitschritt als der erste Zeitschritt ist (d. h. wenn t≠t₀) ist, erhält die MU 270 auch die Ausgabe oder das MU 270-Ergebnis (h_t-1) aus dem vorherigen Zeitschritt. Wenn mehrere Steuersignale 290 zur Verfügung stehen, kann in jedem Zeitschritt eine einzige MU 270 verwendet werden, wie für die exemplarische Ausführungsform von 2 dargestellt, wobei die Abbildung (bei Block 280) mehrere Steuersignale 290 (z. B. Lenkung, Gaspedalstellung, Bremsen, Getriebe) statt eines einzelnen Steuersignals 290 aus dem eindimensionalen Vektor ausgibt. Gemäß alternativen Ausführungsformen kann ein separates MU 270 jedes Steuersignal 290 erzeugen.
Die innerhalb der MU 270 durchgeführten Operationen beinhalten das Berechnen von r_t, z_t und o_t, wie nachstehend aufgeführt. $z_{t} = ϕ_{1} (W_{z} \cdot [h_{t - 1}, x_{t}])$
$r_{t} = ϕ_{2} (W_{r} \cdot [h_{t - 1}, x_{t}])$
$o_{t} = ϕ_{3} (W_{o} \cdot [r_{r} * h_{t - 1}, x_{t}])$
In GL. 1-3, sind W_z, W_r, und W_o Gewichtungen, die bei jedem Zeitschritt, wie unter Bezugnahme auf 4 ausgeführt, bestimmt werden. Das Symbol ϕ stellt eine nichtlineare Funktion dar, und ϕ₁, ϕ₂ und ϕ₃ können eine der folgenden exemplarischen nichtlinearen Funktionen sein: $ϕ (v) = tanh (v)$
In GL. 4 ist tanh der hyperbolische Tangens, und v bezieht sich auf den Wert, auf den die Funktion ϕ wirkt. $ϕ (v) = \frac{1}{(1 + e^{- v})}$
$ϕ (v) = e^{\frac{{‖ v - c ‖}^{p}}{2 σ^{p}}}$
In GL. 6 ist c eine Konstante, σ eine Varianz und p eine Potenz (z. B. p=2). Die Konstante c, die Varianz σ und die Leistung p sind abstimmbare Parameter, die durch Experimente bestimmt werden können. Unter Verwendung der in den GL. 1-3 dargestellten Berechnungen, wird die Ausgabe der MU 270 (ht) errechnet als: $h_{t} = (1 - z_{t}) * h_{t - 1} + z_{t} * o_{t}$
Bei der Angabe in 3 ist die Ausgabe ht der MU 270 für die Abflachung und Abbildung, bei Block 280, vorgesehen und wird auch der MU 270 für die nächste Zeitinstanz zur Verfügung gestellt. Diese Verwendung der MU 270-Ausgabe ht in der nachfolgenden Zeitinstanz stellt den zeitlichen Aspekt der autonomen Betriebsarchitektur gemäß der einen oder der mehreren Ausführungsformen dar.
4 ist ein Prozessablauf des Trainings und der Nutzung der neuronalen Netzwerkarchitektur gemäß einer oder mehrerer Ausführungsformen. Wie mit Bezug auf 2 behandelt, beinhaltet das Erhalten von Einzelbildern 205, bei Block 210, das Erhalten von Einzelbildern 205 der M-Sensoren 150, die an verschiedenen Stellen des Fahrzeugs 100 zu einer Zeitinstanz t angeordnet sind. Die Anzahl der Sensoren 150, M, beträgt einer oder mehrere. Bei Block 410 beinhaltet das Verarbeiten der M-Einzelbilder 205 die Normalisierung, wie bei Block 220 dargestellt, und die N-Faltungsprozesse, wie sie bei den Blöcken 220 bis 260 in 2 dargestellt sind. Die Durchführung der MU 270-Funktionalität und der Nachbearbeitung bei Block 420, beinhaltet die Durchführung der unter Bezugnahme auf 3 (bei Block 270) behandelten Funktionalität, um die Ausgabe ht zu erhalten, sowie die Durchführung der Abflachung und Abbildung (bei Block 280), um ein oder mehrere Steuersignale 290 zu erhalten. Bei Block 430 wird geprüft, ob das eine oder die mehreren bei Block 420 erzeugten Steuersignale 290 in einem Trainingsmodus erzeugt werden. Wenn das eine oder die mehreren Steuersignale 290 nicht für Trainingszwecke erzeugt werden, bezieht sich das Bereitstellen des einen oder der mehreren Steuersignale 290 bei Block 440 auf das Bereitstellen an die Fahrzeugsysteme 140 zum Steuern des Betriebs des Fahrzeugs 100.
Bei Block 450 bezieht sich das Erhalten der tatsächlichen Steuersignale auf den Betrieb des Fahrzeugs 100 oder die Simulation des Betriebs des Fahrzeugs 100, um die gleiche Art von Steuersignalen (z. B. Lenkung, Gaspedalstellung, Bremsen, Getriebe) zu erhalten, die von der Steuerung 110 erzeugt werden, welche die neuronale Netzwerkarchitektur gemäß der einen oder mehreren hierin ausgeführten Ausführungsformen beinhaltet. Wenn das eine oder die mehreren Steuersignale 290 zu Trainingszwecken erzeugt werden (gemäß der Prüfung bei Block 430), dann bezieht sich das Berechnen eines Verlustes bei Block 460 auf den Vergleich des einen oder der mehreren Steuersignale 290, die von der Steuerung 110 erzeugt werden, mit den gleichen Steuersignalen, die bei Block 450 erhalten werden.
Die Optimierungsparameter bei Block 470 basieren auf der Berechnung bei Block 460. Diese Optimierung beinhaltet das Modifizieren der Werte von kernel1 bis kernelN, die in den N-Faltungsprozessen verwendet werden. Die Optimierung beinhaltet auch das Modifizieren der Gewichtungen W_z, W_r und W_o nach Bedarf. Die Optimierung wirkt sich auf die Faltungsprozesse oder MU 270 oder beides in der nächsten Zeitinstanz (t+1) aus. Die Anfangswerte der Gewichtungen W_z, W_r und W_o können auf verschiedene Weise bestimmt werden. So können die Werte beispielsweise als Konstanten initialisiert werden. Sie können stattdessen aus einer Gaußschen Verteilung, Gleichverteilung oder Normalverteilung entnommen oder als orthogonale oder spärliche Matrix initialisiert werden.

Claims

Verfahren zum Durchführen eines autonomen Betriebs eines Fahrzeugs, das Verfahren umfassend: Erhalten eines oder mehrerer Einzelbilder für eine Zeitinstanz t von einem oder mehreren Sensoren; Verarbeiten des einen oder mehrerer Einzelbilder, wobei das Verarbeiten die Durchführung einer Faltungsverarbeitung beinhaltet, um eine mehrdimensionale Matrix x_t zu erhalten; Betreiben auf der mehrdimensionalen Matrix x_t, um die Ausgabe ht zu erhalten, wobei das Betreiben die Verwendung einer Ausgabe h_t-1 des Betreibens für eine vorherige Zeitinstanz t-1 beinhaltet; und Nachbearbeitung der Ausgabe ht, um ein oder mehrere Steuersignale zu erhalten, die den Betrieb des Fahrzeugs beeinträchtigen.
Verfahren nach Anspruch 1, wobei das Verarbeiten des einen oder der mehreren Einzelbilder das Normalisieren jedes der einen oder der mehreren Einzelbilder vor dem Durchführen der Faltungsverarbeitung und das Durchführen der Faltungsverarbeitung das Durchführen von N aufeinanderfolgenden Faltungen mit N Kernelmatrizen beinhaltet, wobei die Kernelmatrizen zunächst einen Zufallswert und eine vordefinierte Größe und Dimension aufweisen.
Verfahren nach Anspruch 1, wobei das Arbeiten auf der mehrdimensionalen Matrix x_t unter Verwendung der Ausgabe h_t-1 des Betriebs für die vorhergehende Zeitinstanz t-1 das Durchführen von Berechnungen nichtlinearer Funktionen unter Verwendung von Gewichtungen beinhaltet, wobei das eine oder die mehreren Steuersignale jeweils mit einem oder mehreren tatsächlichen Steuersignalen während eines Trainingsmodus verglichen werden und die Gewichtungen basierend auf dem Vergleich optimiert werden.
Verfahren nach Anspruch 1, wobei die Nachbearbeitung der Ausgabe ht, um das eine oder die mehreren Steuersignale zu erhalten, das Umwandeln der Ausgabe ht in einen eindimensionalen Vektor und das Abbilden des eindimensionalen Vektors auf das eine oder die mehreren Steuersignale beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend das Bereitstellen des einen oder der mehreren Steuersignale an ein Fahrzeugsteuerungssystem des Fahrzeugs, wobei das eine oder die mehreren Steuersignale an ein autonomes Lenksystem des Fahrzeugs als Lenk-, Gaspedal-, Getriebe- oder Bremssignal geliefert werden.
System zum Durchführen eines autonomen Betriebs eines Fahrzeugs, das System umfassend: einen oder mehrere Sensoren, die konfiguriert sind, um einen oder mehrere Einzelbilder für eine Zeitinstanz t zu erhalten; eine Steuerung, die konfiguriert ist, um das eine oder mehrere Einzelbilder zu verarbeiten, einschließlich der Durchführung einer Faltungsverarbeitung, um eine mehrdimensionale Matrix x_t zu erhalten, um auf der mehrdimensionalen Matrix x_t zu arbeiten, um eine Ausgabe ht zu erhalten, wobei das Arbeiten das Verwenden einer Ausgabe h_t-1 des Betriebs für eine vorherige Zeitinstanz t-1 und das Nachverarbeiten der Ausgabe ht, um ein oder mehrere Steuersignale zu erhalten, um den Betrieb des Fahrzeugs zu beinträchtigen.
System nach Anspruch 6, wobei die Steuerung ferner konfiguriert ist, um das eine oder die mehreren Einzelbilder durch Normalisieren jedes der einen oder der mehreren Einzelbilder vor dem Durchführen der Faltungsverarbeitung zu verarbeiten, und die Steuerung, welche die Faltungsverarbeitung durchführt, N aufeinanderfolgende Faltungen mit N Kernelmatrizen beinhaltet, wobei die Kernelmatrizen zunächst einen Zufallswert und eine feste Größe und Dimension aufweisen.
System nach Anspruch 6, wobei die Steuerung ferner konfiguriert ist, um auf der mehrdimensionalen Matrix x_t unter Verwendung der Ausgabe h_t-1 des Betriebs für die vorhergehende Zeitinstanz t-1 durch Ausführen von Berechnungen nichtlinearer Funktionen unter Verwendung von Gewichtungen zu arbeiten, wobei die Steuerung ferner konfiguriert ist, um das eine oder die mehreren Steuersignale jeweils mit einem oder mehreren tatsächlichen Steuersignalen während eines Trainingsmodus zu vergleichen, und wobei die Steuerung ferner konfiguriert ist, um die Gewichtungen basierend auf dem Vergleich zu optimieren.
System nach Anspruch 6, wobei die Steuerung ferner konfiguriert ist, die Ausgabe ht zum Erhalten des einen oder der mehreren Steuersignale nachzubearbeiten, indem die Ausgabe ht in einen eindimensionalen Vektor umgewandelt und der eindimensionale Vektor auf das eine oder die mehreren Steuersignale abgebildet wird.
System nach Anspruch 6, wobei die Steuerung ferner konfiguriert ist, um das eine oder die mehreren Steuersignale an ein Fahrzeugsteuerungssystem des Fahrzeugs bereitzustellen, wobei das Fahrzeugsteuerungssystem ein autonomes Lenksystem des Fahrzeugs ist und das eine oder die mehreren Steuersignale ein oder mehrere von einem Lenk-, Gaspedal-, Brems- oder Getriebesteuersignal sind.