DE102018101125A1

DE102018101125A1 - Rekurrentes tiefes neuronales Faltungsnetzwerk zur Detektion von Objekten

Info

Publication number: DE102018101125A1
Application number: DE102018101125.3A
Authority: DE
Inventors: Guy Hotson; Vidya Nariyambut murali
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-01-20
Filing date: 2018-01-18
Publication date: 2018-07-26
Also published as: GB2560620A; RU2018101859A; CN108334081A; GB201800836D0; US20180211403A1; MX2018000673A

Abstract

Gemäß einer Ausführungsform beinhaltet ein System eine Sensorkomponente und eine Detektionskomponente. Die Sensorkomponente ist zum Erlangen einer Vielzahl von Sensoraufnahmen konfiguriert, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen umfasst, die im Verlauf der Zeit aufgenommen wurde. Die Detektionskomponente ist zum Detektieren von Objekten oder Merkmalen innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks konfiguriert. Das neuronale Netzwerk umfasst eine rekurrente Verbindung, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde, in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Verfahren, Systeme und Vorrichtungen zum Detektieren von Objekten oder visuellen Merkmalen und betrifft insbesondere Verfahren, Systeme und Vorrichtungen zur Detektion von Objekten unter Verwendung eines rekurrenten tiefen neuronalen Faltungsnetzwerks.
ALLGEMEINER STAND DER TECHNIK
Automobile stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Autonome Fahrzeuge und Fahrassistenzsysteme werden gegenwärtig entwickelt und eingesetzt, um Sicherheit bereitzustellen, eine Menge von erforderlichen Benutzereingabe zu verringern oder eine Benutzerbeteiligung sogar gänzlich zu eliminieren. Zum Beispiel können einige Fahrassistenzsystem, wie beispielsweise Unfallvermeidungssysteme, die Fahrt, Positionen und eine Geschwindigkeit des Fahrzeugs und anderer Objekte überwachen, während ein Mensch fährt. Wenn das System erkennt, dass ein Unfall oder Zusammenstoß unmittelbar bevorsteht, kann das Unfallvermeidungssystem eingreifen und eine Bremse betätigen, das Fahrzeug lenken oder andere Ausweich- oder Sicherheitsmanöver durchführen. Als ein anderes Beispiel können autonome Fahrzeuge ein Fahrzeug mit wenig oder keiner Benutzereingabe fahren und navigieren. Die Detektion von Objekten auf der Grundlage von Sensordaten ist häufig notwendig, um automatisierten Fahrsystemen oder Fahrassistenzsystemen das sichere Identifizieren und Umfahren von Hindernissen oder das sichere Fahren zu ermöglichen.
Figurenliste
Nicht einschränkende und nicht erschöpfende Umsetzungen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den verschiedenen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, sofern nicht anderweitig angegeben. Vorteile der vorliegenden Offenbarung können unter Bezugnahme auf die folgende Beschreibung und beigefügten Zeichnungen besser nachvollzogen werden, in welchen Folgendes gilt:

1 ist ein schematisches Blockdiagramm, das eine Umsetzung eines Fahrzeugsteuersystems veranschaulicht, welches ein automatisiertes Fahr-/Assistenzsystem beinhaltet;
2 ist ein schematisches Blockdiagramm, das ein neuronales Netzwerk mit rekurrenten Verbindungen gemäß einer Ausführung veranschaulicht;
3 veranschaulicht eine perspektivische Ansicht einer Fahrbahn, wie sie durch eine Fahrzeugkamera aufgenommen wird, gemäß einer Ausführung;
4 ist ein schematisches Blockdiagramm, das die Integration von zeitlichen Informationen zwischen Sensordatenaufnahmen während der Detektion von Objekten gemäß einer Ausführung veranschaulicht;
5 ist eine schematische Darstellung eines Ablaufdiagramms, welches ein Verfahren zur Detektion von Objekten gemäß einer Ausführung veranschaulicht; und
6 ist ein schematisches Blockdiagramm, das ein Rechensystem gemäß einer Umsetzung veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Aus Sicherheitsgründen kann ein intelligentes oder autonomes Fahrzeug in der Lage sein müssen, Objekte in dynamischen Umgebungen zu klassifizieren. Tiefe neuronalen Faltungsnetzwerke weisen große Erfolge im Bereich der Objekterkennung auf, die unter einigen Bedingungen sogar die Leistung von Menschen übersteigen. Tiefe neuronalen Faltungsnetzwerke können beim Extrahieren von Zuordnungen, bei welchen Merkmale auf hoher Ebene in Bildern gefunden werden, hochgradig kompetent sein. Die Merkmalzuordnungen können aus Faltungen auf einem statischen Bild extrahiert werden und dann zur Bild oder Objekterkennung verwendet werden.
Objekterkennung auf dem Stand der Technik in Bildern/Videos hat sich auf das Extrahieren von Merkmalzuordnungen aus statischen Bildern und die anschließende Vorwärtsleitung in Klassifizierungs- und Regressionsmodelle zur Objektdetektion/-klassifizierung bzw. - lokalisierung fokussiert. Während tiefe neuronalen Faltungsnetzwerke große Erfolge im Bereich der Objekterkennung aufweisen, bringt die Detektion einer unbekannten Anzahl an Objekten innerhalb einer Szene eine viel größere Herausforderung hervor. Während jüngste Innovationen beeindruckende Ergebnisse beim Detektieren von Objekten innerhalb von statischen Bildern erreicht haben, haben die Anmelder erkannt, dass bestehenden Modellen die Fähigkeit fehlt, zeitliche Informationen für die Objektdetektion in Videos oder anderen Reihen oder Folgen von Sensordaten zu nutzen. Dies kann zu unsicherer Objektlokalisierung führen, und zwar insbesondere dann, wenn Objekte vorübergehend verdeckt werden.
In der vorliegenden Offenbarung offenbaren die Anmelder die Verwendung rekurrenter Verbindungen in Klassifizierungs- und Regressionsmodellen (wie zum Beispiel einem neuronalen Netzwerk) beim Extrahieren von Merkmalzuordnungen aus Videosequenzen. Gemäß einer Ausführungsform beinhaltet ein System eine Sensorkomponente und eine Detektionskomponente. Die Sensorkomponente ist zum Erlangen einer Vielzahl von Sensoraufnahmen konfiguriert, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen umfasst, die im Verlauf der Zeit aufgenommen wurde. Die Detektionskomponente ist zum Detektieren von Objekten innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks konfiguriert, wobei das neuronale Netzwerk eine rekurrente Verbindung umfasst, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde (z. B. Merkmalzuordnungen oder Objektvorhersagen aus der vorhergehenden Aufnahme), in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.
Gemäß einer weiteren beispielhaften Ausführungsform beinhaltet ein Verfahren zur Detektion von Objekten in Videos (oder anderen Reihen von Sensoraufnahmen) Bestimmen, unter Verwendung eines oder mehrerer neuronaler Netzwerke, einer Ausgabe für eine erste Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt. Das Verfahren beinhaltet Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme als eine Eingabe zur Verarbeitung einer zweiten Sensoraufnahme. Das Verfahren beinhaltet ebenfalls Bestimmen einer Ausgabe für die zweite Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt, auf der Grundlage der Ausgabe für die erste Sensoraufnahme.
In einer Ausführungsform handelt es sich bei rekurrenten Verbindungen um Verbindungen, die einem neuronalen Netzwerk die Verwendung von Ausgaben vom vorhergehenden Einzelbild als Eingaben für das aktuelle Einzelbild ermöglichen. Die hier offenbarten rekurrenten Verbindungen können neuronalen Netzwerken das Aufrechterhalten von Statusinformationen effektiv gestatten. Wenn zum Beispiel ein neuronales Netzwerk ein Auto im aktuellen Einzelbild detektiert, könnte dies den aktuellen Status des Netzwerks beeinflussen und es wahrscheinlicher machen, ein Auto bei dieser Position oder einer nahegelegenen Position in der nächsten Aufnahme zu detektieren. Rekurrente Schichten können zum Befassen mit dynamischen Objektpositionen vor den finalen Objektklassifizierungs- und lokalisierungsschichten verwendet werden. Sie könnten ebenfalls während der finalen Objektklassifizierungsstufe verwendet werden. Diese rekurrenten Schichten können Eingaben von Merkmalzuordnungen empfangen, die aus einer oder mehreren Schichten des Faltungsnetzwerks extrahiert wurden.
Während Merkmalextraktionstechniken variierende Ausmaße zeitlicher Informationen enthalten haben können, haben sich Regressions- und Klassifizierungsmodelle, die zum Befassen mit/Klassifizieren von Objekten verwendet werden, auf statische Bilder fokussiert und wertvolle zeitliche Informationen ignoriert. Die vorgeschlagene Lösung zum Nutzen rekurrenter Verbindungen in Regressions- und Klassifizierungsmodellen wird Objektdetektionseinrichtungen die Integration von Schätzungen der Objektpositionen/-typen aus den vorhergehenden Zeitrahmen ermöglichen, wodurch die Vorhersagen verbessert werden. Die rekurrenten Verbindungen können Vorteile der Objektverfolgung auf einer niedrigen Stufe und mit Vertrauensmetriken bereitstellen, die durch die neuronalen Modelle implizit erlernt werden. In einer Ausführungsform können die hier offenbarten Techniken für Ende-zu-Ende-Obj ektdetektionsalgorithmen verwendet werden, die auf derartige Aufgaben wie Auto-, Fahrrad- und Fußgängerdetektion angewendet werden sollen.
Weitere Ausführungsformen und Beispiele werden in Bezug auf die nachstehenden Figuren erörtert.
Nun wird auf die Figuren Bezug genommen, wobei 1 ein beispielhaftes Fahrzeugsteuersystem 100 veranschaulicht, das zur automatischen Detektion, Klassifizierung und/oder Lokalisierung von Objekten verwendet werden kann. Das automatisierte Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel eines oder mehrere von der Bremsung, der Lenkung, der Beschleunigung, den Lichtern, den Warnmeldungen, den Fahrerbenachrichtigungen, dem Radio oder beliebigen weiteren Hilfssystemen des Fahrzeugs steuern. In einem anderen Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer dabei zu unterstützen, sicher zu fahren. Das automatisierte Fahr-/Assistenzsystem 102 kann ein neuronales Netzwerk oder ein anderes Modell oder einen anderen Algorithmus zum Detektieren oder Lokalisieren von Objekten auf der Grundlage von Wahrnehmungsdaten verwenden, die durch einen oder mehrere Sensoren gesammelt wurden.
Das Fahrzeugsteuersystem 100 beinhaltet ebenfalls ein/e oder mehrere Sensorsysteme/- vorrichtungen zum Detektieren einer Gegenwart von Objekten in der Nähe oder innerhalb eines Sensorbereichs eines Stammfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Das Fahrzeugsteuersystem 100 kann zum Beispiel ein oder mehrere Radarsysteme 106, ein oder mehrere LIDAR-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (global positioning system - GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das Fahrzeugsteuerungssystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit beinhalten, wie beispielsweise Fahrverlauf, Kartendaten oder andere Daten. Das Fahrzeugsteuersystem 100 kann zudem einen Sender-Empfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten. Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktuatoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie beispielsweise Elektromotoren, Schalter oder andere Aktuatoren, um die Bremsung, Beschleunigung, Lenkung oder dergleichen zu steuern. Das Fahrzeugsteuerungssystem 100 kann ebenfalls einen oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 112 kann eine Frontanzeige, eine Anzeige oder eine Angabe am Armaturenbrett, einen Bildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder einem Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrerbenachrichtigung vorgesehenen Lautsprecher beinhalten.
Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Umfang der Offenbarung abzuweichen. Zusätzlich können veranschaulichte Komponenten ohne Beschränkung kombiniert oder in anderen Komponenten enthalten sein. In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu konfiguriert, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 die Fahrzeugsteueraktoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort entlangzufahren. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 einen Weg auf der Grundlage von durch eine beliebige der Komponenten 106-118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Die Sensorsysteme/- vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeit-Sensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug führen kann. Das automatisierte Fahr/-Assistenzsystem 102 kann einen Algorithmus umsetzen oder ein Modell verwenden, wie zum Beispiel ein tiefes neuronales Netzwerk, um die Sensordaten zum Detektieren, Identifizieren und/oder Lokalisieren eines oder mehrerer Objekte verarbeiten. Um ein Modell oder einen Algorithmus zu trainieren oder zu testen, werden möglicherweise große Mengen an Sensordaten und Annotationen der Sensordaten benötigt werden.
Das automatisierte Fahr-/Assistenzsystem 102 kann eine Detektionskomponente 104 zum Detektieren von Objekten, Bildmerkmalen oder anderen Merkmalen von Objekten in Sensordaten beinhalten. In einer Ausführungsform kann die Detektionskomponente 104 rekurrente Verbindungen in einem Klassifizierungs- oder Regressionsmodell zum Detektieren von Objektmerkmalen oder Objekten verwenden. Zum Beispiel kann die Detektionskomponente 104 ein tiefes neuronales Faltungsnetzwerk beinhalten oder nutzen, das über eine Klassifizierungsschicht eine Angabe dafür ausgibt, ob ein Objekt oder Merkmal vorhanden ist. Diese Ausgabe kann dann zu einem anschließenden Bild oder einer anschließenden Sensoraufnahme vorwärtsgeleitet werden. Das Leiten der Ausgabe einer Sensoraufnahme zu der nächsten kann Vorteile erlauben, die der Objektverfolgung ähnlich sind, jedoch auf einer viel niedrigeren Ebene, welche einem System das Profitieren von der Leistung neuronaler Netzwerke gestattet, wie zum Beispiel Trainieren und maschinelles Lernen.
2 ist eine schematische Darstellung, welche die Konfiguration eines tiefen neuronalen Netzwerks 200 mit einer rekurrenten Verbindung veranschaulicht. Tiefe neuronale Netzwerke gewannen in den letzten Jahren an Beachtung, da sie traditionelle Ansätze des maschinellen Lernens bei herausfordernden Aufgaben wie Bildklassifizierung und Spracherkennung übertrafen. Tiefe neuronale Netzwerke sind vorwärtsgekoppelte Computerdiagramme mit einem Eingabeknoten (wie zum Beispiel den Eingabeknoten 202), einer oder mehreren verborgenen Schichten (wie zum Beispiel den verborgenen Schichten 204, 206 und 208) und Ausgabeknoten (wie zum Beispiel den Ausgabeknoten 210). Zur Klassifizierung von Inhalten oder Informationen über ein Bild werden den Eingabeknoten Pixelwerte des Eingabebilds zugewiesen und dann durch die verborgenen Schichten 204, 206, 208 des Netzwerks geleitet, wobei sie eine Reihe von nicht linearen Transformationen durchlaufen. Am Ende der Berechnung ergeben die Ausgabeknoten 210 Werte, der einer Klasse entsprechen, die vom neuronalen Netzwerk abgeleitet wurde. Ein ähnlicher Vorgang kann zur Klassifizierung oder Merkmaldetektion von Pixel-Cloud-Daten oder Tiefenkarten verwendet werden, wie zum Beispiel Daten, die von Bereichssensoren wie LIDAR-, Radar-, Ultraschall- oder anderen Sensoren empfangen werden. Die Anzahl an Eingabeknoten 202, verborgenen Schichten 204-208 und Ausgabeknoten 210 ist nur veranschaulichend. Zum Beispiel können größere Netzwerke einen Eingabeknoten 202 für jedes Pixel eines Bilds beinhalten und können damit hunderte, tausende oder eine andere Anzahl an Eingabeknoten aufweisen.
Gemäß einer Ausführungsform kann ein tiefes neuronales Netzwerk 200 aus 2 zum Klassifizieren des/der Inhalts/Inhalte eines Bilds in vier unterschiedliche Klassen verwendet werden: eine erste Klasse, eine zweite Klasse, eine dritte Klasse und eine vierte Klasse. Gemäß der vorliegenden Offenbarung kann ein ähnliches oder unterschiedlich großes neuronales Netzwerk in der Lage sein, einen Wert auszugeben, der angibt, ob ein spezifischer Objekttyp in dem Bild (oder einem Teilbereich des Bilds, das in das Netzwerk 200 geleitet wurde) vorhanden ist. Zum Beispiel kann die erste Klasse dem entsprechen, ob ein Fahrzeug vorhanden ist, die zweite Klasse kann dem entsprechen, ob ein Fahrrad vorhanden ist, die dritte Klasse kann dem entsprechen, ob ein Fußgänger vorhanden ist, und die vierte Klasse kann dem entsprechen, ob ein Bordstein oder eine Barriere vorhanden ist. Eine einer Klasse entsprechende Ausgabe hoch (z. B. 0,5 oder mehr) sein, wenn ein wenn in der entsprechenden Klasse ein Objekt detektiert wird, und niedrig (z. B. weniger als 0,5) sein, wenn kein Objekt der Klasse detektiert wird. Dies ist nur veranschaulichend, da ein neuronales Netzwerk zum Klassifizieren von Objekten in einem Bild Eingaben beinhalten kann, um hunderte oder tausende von Pixeln unterzubringen, und möglicherweise eine größere Anzahl an unterschiedlichen Objekttypen detektieren muss. Somit kann ein neuronales Netzwerk zum Klassifizieren von Objekten in einem Kamerabild oder einer anderen Sensoraufnahme hunderte oder tausende Knoten bei einer Eingabeschicht und/oder mehr (oder weniger als) vier Ausgabeknoten erfordern.
Zum Beispiel kann das Leiten einer rohen Sensoraufnahme (z. B. ein Bild, eine LIDAR-Aufnahme, Radaraufnahme oder dergleichen, aufgenommen durch einen Sensor eines Fahrzeugsteuersystems 100) in das Netzwerk 200 die Gegenwart eines Fußgängers in diesem Abschnitt angeben. Daher kann das neuronale Netzwerk 100 ein Rechensystem zum automatischen Ableiten befähigen, dass ein Fußgänger bei einer spezifischen Position innerhalb eines Bilds oder einer Sensoraufnahme und in Bezug auf das Fahrzeug vorhanden ist. Ähnliche Techniken oder Prinzipien können zum Ableiten von Informationen über oder zum Detektieren von Fahrzeugen, Verkehrszeichen, Fahrrädern, Barrieren und/oder dergleichen verwendet werden.
Das neuronale Netzwerk 200 beinhaltet ebenfalls eine Vielzahl von rekurrenten Verbindungen zwischen den Ausgabeknoten 210 und den Eingabeknoten 202. Werte bei den Ausgabeknoten 210 können rückwärts durch Verzögerungen 212 zu einem oder mehreren Eingabeknoten geleitet werden. Die Verzögerungen 212 kann die Ausgabewerte zur Eingabe während einer späteren Sensoraufnahme verzögern/speichern. Zum Beispiel kann eine Teilmenge der Eingabeknoten 202 die Ausgabe von einer vorhergehenden Sensoraufnahme (wie zum Beispiel einem Einzelbild) empfangen, während die verbleibenden Eingabeknoten 202 Pixel- oder Punktwerte für eine aktuelle Sensoraufnahme empfangen können. Somit kann die Ausgabe der vorhergehenden Aufnahme beeinflussen, ob ein spezifisches Objekt erneut detektiert wird. Wenn zum Beispiel ein Fußgänger in dem Bild detektiert wird, kann die Ausgabe, welche die Gegenwart des Fußgängers angibt, in einen Eingabeknoten 202 geleitet werden, sodass es wahrscheinlicher ist, dass das Netzwerk den Fußgänger in der folgenden Aufnahme detektiert. Dies kann in einem Video nützlich sein, bei welchem eine Reihe von Bilder aufgenommen wird, und ein Fahrzeug Hindernisse detektieren und umgehen muss. Außerdem kann ein beliebiger Sensor, der eine Reihe von Sensoraufnahmen bereitstellt (wie zum Beispiel LIDAR oder RADAR), ebenfalls von der rekurrenten Verbindung profitieren.
Obwohl das neuronale Netzwerk 200 die rekurrente Verbindung der Darstellung nach zwischen den Ausgabeknoten 210 und den Eingabeknoten 202 aufweist, kann die rekurrente Verbindung in unterschiedlichen Ausführungsformen zwischen einem beliebigen Knoten oder einer beliebigen Schicht auftreten. Zum Beispiel kann eine rekurrente Verbindung die Werte der Ausgabeknoten 210 in Knoten einer verborgenen Schicht (z. B. 204, 206 und 208) als Eingabe in die Ausgabeknoten 210 leiten. Die rekurrenten Verbindungen können die Detektion von Objekten oder Merkmalen aus einer vorhergehenden Sensoraufnahme gestatten, um die Detektion von Objekten oder Merkmalen für eine spätere Sensoraufnahme zu beeinflussen.
Damit ein tiefes neuronales Netzwerk in der Lage ist, zwischen beliebigen gewünschten Klassen zu unterscheiden, muss das neuronale Netzwerk auf der Grundlage von Beispielen trainiert werden. Sobald die Bilder mit Markierungen (Trainingsdaten) erlangt wurden, kann das Netzwerk trainiert werden. Ein beispielhafter Algorithmus zum Trainieren beinhaltet den Rückpropagierungsalgorithmus, der markierte Sensoraufnahmen zum Trainieren eines neuronalen Netzwerks verwenden kann. Sobald das neuronale Netzwerk 200 trainiert wurde, kann es zur Verwendung in einer Betriebsumgebung bereit sein.
3 veranschaulicht ein Bild 300 einer perspektivischen Ansicht, die durch eine Kamera eines Fahrzeugs in einer Fahrumgebung aufgenommen worden sein kann. Zum Beispiel veranschaulicht das Bild 300 eine Szene einer Straße vor einem Fahrzeug, die aufgenommen worden sein kann, während sich ein Fahrzeug die Straße entlang bewegt. Das Bild 300 beinhaltet eine Vielzahl von relevanten Objekten auf oder in der Nähe der Fahrbahn. In einer Ausführungsform ist das Bild 300 zu groß um bei voller Auflösung durch ein verfügbares neuronales Netzwerk verarbeitet zu werden. Somit kann jeweils ein Teilbereich des Bilds verarbeitet werden. Zum Beispiel stellt das Fenster 302 einen Abschnitt des Bilds 302 dar, der zur Objekt- oder Merkmaldetektion zu einem neuronalen Netzwerk geleitet werden kann. Das Fenster 302 kann zu unterschiedlichen Positionen geschoben werden, um das gesamte Bild 302 effektiv zu verarbeiten. Zum Beispiel kann das Fenster 302 in einer Ecke beginnen und dann anschließend von Punkt zu Punkt bewegt werden, um Merkmale zu detektieren.
In einer Ausführungsform können unterschiedliche Größen von gleitenden Fenstern verwendet werden, um Merkmale oder Objekte bei unterschiedlichen Auflösungen aufzunehmen. Zum Beispiel können Merkmale oder Objekte, die sich näher bei einer Kamera befinden, unter Verwendung eines größeren Fensters akkurater detektiert werden, während Merkmale oder Objekte, die weiter von der Kamera entfernt sind, unter Verwendung eines kleineren Fensters akkurater detektiert werden können. Die Auflösung größerer Fenster kann reduziert werden, um zu der Anzahl an Eingabeknoten eines neuronalen Netzwerks zu passen.
In einer Ausführungsform können Ausgaben eines neuronalen Netzwerks für jede Position des Fensters 302 für dieselbe oder eine nahegelegene Position des Fensters 302 auf einem nachfolgenden Bild vorwärtsgeleitet werden. Wenn zum Beispiel ein Fußgänger durch ein neuronales Netzwerk bei einer Position in einem ersten Bild detektiert wird, kann eine Angabe, dass ein Fußgänger bei dieser Position detektiert wurde, während der Fußgängerdetektion bei dieser Position für ein zweites, späteres Bild unter Verwendung des neuronalen Netzwerks vorwärtsgeleitet werden. Somit können Objekte oder Merkmale in einer Reihe von Bildern bei der Schicht des neuronalen Netzwerks oder des Modells konsistent detektiert oder verfolgt werden.
In einer Ausführungsform kann nach der Verarbeitung unter Verwendung eines gleitenden Fensters eine Merkmalzuordnung erzeugt werden, die angibt, welche Merkmale oder Objekte bei welchen Positionen lokalisiert worden sind. Die Merkmalzuordnung kann Angaben von Merkmalen eines Bilds einer niedrigen Ebene (oder einer anderen Sensoraufnahme) beinhalten, die beim Detektieren von Objekten oder beim Klassifizieren von Objekten relevant sein können. Die Merkmale können zum Beispiel Barrieren, Kurven, Ecken oder andere Merkmale beinhalten, die den Objekttyp bei einer Position angeben können (wie zum Beispiel ein Fahrzeug, ein Gesicht eines Fußgängers oder dergleichen). Die Merkmalzuordnungen können dann zur Objektdetektion oder -klassifizierung verwendet werden. Zum Beispiel kann eine Merkmalzuordnung erzeugt werden und die Merkmalzuordnung und/oder der Bereich des Bilds kann dann verarbeitet werden, um einen Objekttyp zu identifizieren und/oder eine Position des Objekts zwischen Aufnahmen von Sensordaten zu verfolgen. Die Merkmalzuordnung kann angeben, wo in dem Bild 300 bestimmte Merkmaltypen detektiert werden. In einer Ausführungsform kann eine Vielzahl von unterschiedlichen rekurrenten neuronalen Netzwerken zum Erzeugen j eder Merkmalzuordnung verwendet werden. Zum Beispiel kann eine Merkmalzurordnung zur Fußgängerdetektion unter Verwendung eines neuronalen Netzwerks, welches für die Fußgängerdetektion trainiert ist, erzeugt werden, während eine Merkmalzuordnung zur Fahrzeugdetektion unter Verwendung eines neuronalen Netzwerks erzeugt werden kann, welches für die Fahrzeugdetektion trainiert ist. Somit kann eine Vielzahl von unterschiedlichen Merkmalzuordnungen für das in 3 gezeigte einzelne Bild 300 erzeugt werden. Wie vorstehend beschrieben, können die detektierten Merkmale zwischen Aufnahmen für dieselben Teilbereiche vorwärtsgeleitet werden, um die Merkmalverfolgung und/oder Objektdetektion zu verbessern.
4 ist ein schematisches Blockdiagramm, das die Integration von zeitlichen Informationen zwischen Aufnahmen von Sensordaten während der Detektion von Objekten veranschaulicht. Eine Vielzahl von Verarbeitungsstufen, einschließlich einer ersten Stufe 402, einer zweiten Stufe 404 und einer dritten Stufe 406, zum Verarbeiten unterschiedlicher Bilder, einschließlich Bild 0, Bild 1 und Bild 2, sind gezeigt. Die erste Stufe 402 zeigt die Eingabe von Bild 0 für die Erzeugung einer oder mehrerer Merkmalzuordnungen 408. Die Merkmalzuordnungen können unter Verwendung eines oder mehrerer neuronaler Netzwerke erzeugt werden. Für jeden Teilbereich 410 (wie zum Beispiel eine Position des Fensters 302 aus 3) wird eine Objektvorhersage erzeugt. Sowohl die Erzeugung der Merkmalzuordnung als auch die Objektvorhersage können unter Verwendung eines oder mehrerer neuronaler Netzwerke durchgeführt werden.
Die Objektvorhersagen können einen Objekttyp und/oder eine Objektposition angeben. Zum Beispiel kann ein Wert von „0“ für die Objektvorhersage angeben, dass kein Objekt vorhanden ist, eine „1“ kann angeben, dass das Objekt ein Auto ist, eine „2“ kann angeben, dass das Objekt ein Fußgänger ist, und so weiter. Ein Positionswert kann ebenfalls bereitgestellt werden, der angibt, wo in dem Teilbereich 410 das Objekt angeordnet ist. Zum Beispiel kann in dem Status eine zweite Zahl enthalten sein, die eine Position in der Mitte, rechts des, über oder unter dem Teilbereich 410 angibt. Der Status des rekurrenten neuronalen Netzwerks (RNN) von 0-0 ist die resultierende Vorhersage für Objekt 0 bei dem Teilbereich 410, der RNN-Status von 0-1 ist die resultierende Vorhersage für Objekt 1 bei dem Teilbereich 410 und der RNN-Status von 0-2 ist die resultierende Vorhersage für Objekt 2 bei dem Teilbereich 410. Somit kann eine Vielzahl von Objekten und/oder Objektvorhersagen für jeden Teilbereich 410 detektiert oder erzeugt werden.
Die Statusinformationen, einschließlich RNN-Status 0-0, RNN-Status 0-1 und RNN-Status 0-2 von Stufe 402, werden unter Verwendung einer rekurrenten Verbindung 420 zur Verwendung während der Verarbeitung des nächsten Bilds, Bild 1, während Stufe 404 vorwärtsgeleitet. Zum Beispiel die Objektvorhersagen und die assoziierten Werte entlang einer rekurrenten Verbindung 420 als Eingabe für einen oder mehrere Knoten desselben oder mehrerer neuronaler Netzwerke während der Verarbeitung von Bild 1 und/oder dessen Merkmalzuordnung 412 in ein neuronales Netzwerk geleitet werden. Während Stufe 404 werden Objektvorhersagen nicht nur auf der Grundlage von Bild 1 und den Merkmalzuordnungen 412, sondern auch auf der Grundlage des RNN-Status 0-0, RNN-Status 0-1 und RNN-Status 0-2 erzeugt. Das Ergebnis der Vorhersage führt zum RNN-Status 1-0, RNN-Status 1-1 und RNN-Status 1-2 für den Teilbereich 414. Die rekurrente Verbindung 420 kann Statusinformationen für denselben Teilbereich 410 vorwärtsleiten. Somit können nur Statusinformationen für denselben Teilbereich aus dem vorhergehenden Bild zum Bestimmen einer Objektvorhersage für ein aktuelles Bild verwendet werden. In einer Ausführungsform werden in den Merkmalzuordnungen 408 detektierte Merkmale ebenfalls entlang der rekurrenten Verbindung 420 vorwärtsgeleitet. Somit können neuronale Netzwerke zum Erzeugen von Merkmalzuordnungen sowie Objektvorhersagen verwendet werden.
Während Stufe 406 werden Objektvorhersagen nicht nur auf der Grundlage von Bild 2 und den Merkmalzuordnungen 416, sondern auch auf der Grundlage der Statusinformationen, einschließlich des RNN-Status 1-0, RNN-Status 1-1 und RNN-Status 1-2, erzeugt, die unter Verwendung einer rekurrenten Verbindung 422 zur Verwendung während der Verarbeitung von Bild 2 für den Teilbereich 418 vorwärtsgeleitet werden. Objektvorhersagen für den RNN-Status 2-0, RNN-Status 2-1 und RNN-Status 2-2 werden auf der Grundlage von Bild 2 sowie den Statusinformationen, einschließlich RNN-Status 1-0, RNN-Status 1-1 und RNN-Status 1-2 aus Bild 1, bestimmt. Außerdem können die Merkmalzuordnungen 416 auf der Grundlage von Merkmalzuordnungen (oder Positionen von detektierten Merkmalen) für die vorhergehende, zweite Stufe 404 erzeugt werden.
In einer Ausführungsform läuft die Verarbeitung, die in jeder Stufe 402, 404, 406 abläuft, in Echtzeit auf einer Folge von ankommenden Sensordaten ab. Bei der Verarbeitung eines Videos kann zum Beispiel jede Aufnahme des Videos verarbeitet werden und die entsprechenden Objektvorhersagen, Merkmaldetektionen und/oder Merkmalzuordnungen können gespeichert/in die Modelle oder neuronalen Netzwerke eingegeben werden, wenn die nächste Aufnahme des Videos empfangen wird. Die rekurrenten Verbindungen 420, 422 gestatten das Übertragen der Objektvorhersagen von einer früheren Aufnahme zu einer späteren Aufnahme. Somit können zeitliche Informationen auf der Ebene des Modells oder des neuronalen Netzwerks integriert werden, welche das Trainieren des neuronalen Netzwerks in Bezug auf und das Verarbeiten von Informationen, welche nicht nur für eine aktuelle Sensoraufnahme, sondern auch vorhergehende Sensoraufnahmen vorhanden sind, gestatten. Dies unterscheidet sich von Ausführungsformen, bei welchen Merkmale für jede Aufnahme neu extrahiert und dann verworfen werden. In einer Ausführungsform wird ein einzelnes neuronales Netzwerk oder ein Satz von neuronalen Netzwerken während jeder Stufe verwendet, derart, dass die rekurrenten Verbindungen 420, 422 Ausgaben von den vorhergehenden Aufnahmen als Eingaben in eine aktuelle Aufnahme einfach rückführen. 5 ist eine schematische Darstellung eines Ablaufdiagramms, das ein Verfahren 500 zur Detektion von Objekten veranschaulicht. Das Verfahren 500 kann durch eine Detektionskomponente oder ein Fahrzeugsteuersystem, wie zum Beispiel die Detektionskomponente 104 oder das Fahrzeugsteuersystem 100 aus 1 durchgeführt werden.
Das Verfahren 500 beginnt und eine Detektionskomponente 102 verfolgt/bestimmt 502 unter Verwendung eines oder mehrerer neuronaler Netzwerke eine Ausgabe für eine erste Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt. Zum Beispiel kann die Detektionskomponente 102 eine/n beliebige/n der Objektvorhersage oder der Status (wie zum Beispiel RNN-Status 0-0, RNN-Status 0-1, RNN-Status 0-2, RNN-Status 1-0, RNN-Status 1-1 oder RNN-Status 1-2) aus 4 bestimmen 502. Die Detektionskomponente 102 kann die Status auf der Grundlage von Daten in einer Sensoraufnahme in einer Reihe von Sensoraufnahmen bestimmen 502. Eine Sensorkomponente (die ein Radar-System 106, LIDAR-System 108, ein Kamerasystem 110 oder einen anderen Sensor beinhalten kann) kann Sensoraufnahmen aufnehmen oder erlangen, die Bilddaten, LIDAR-Daten, Radar-Daten oder Infrarotbildaten enthalten. Eine Detektionskomponente 104 leitet die Ausgabe für die erste Sensoraufnahme als eine Eingabe zur Verarbeitung einer zweiten Sensoraufnahme vorwärts 504. Zum Beispiel kann die Detektionskomponente 104 eine rekurrente Verbindung in einem neuronalen Netzwerk beinhalten oder verwenden. Die Detektionskomponente 104 bestimmt 506 eine Ausgabe für die zweite Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt, auf der Grundlage der Ausgabe für die erste Sensoraufnahme. Zum Beispiel kann die Detektionskomponente 104 eine/n beliebige/n der Objektvorhersage oder der Status (wie zum Beispiel RNN-Status 1-0, RNN-Status 1-1, RNN-Status 1-2, RNN-Status 2-0, RNN-Status 2-1 oder RNN-Status 2-2) aus 4 auf der Grundlage der Status oder einer vorhergehenden Stufe bestimmen.
Das Verfahren 500 kann das Bereitstellen einer Ausgabe oder von Vorhersagen an ein anderes System zum Treffen einer Entscheidung beinhalten. Zum Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 aus 1 ein Fahrmanöver auf der Grundlage eines detektierten Objekts oder Merkmals bestimmen. Beispielhafte Manöver beinhalten Zusammenstoßvermeidungsmanöver oder andere Fahrmanöver zum sicheren Führen des Fahrzeugs. Das Verfahren 500 kann ebenfalls das Trainieren des einen oder der mehreren neuronalen Netzwerke beinhalten, um eine Ausgabe auf der Grundlage von Daten für ein späteres Sensorbild unter Verwendung einer Ausgabe einer früheren Aufnahme zu erzeugen. Das Verfahren 500 kann effizientere und akkuratere Objektdetektion und -verfolgung in einer Reihe von Sensoraufnahmen, wie zum Beispiel in einem Video, gestatten. Die verbesserte Objektdetektion und -verfolgung kann die Fahr- und Fahrgastsicherheit und -genauigkeit verbessern.
Nun wird unter Bezugnahme auf 6 ein Blockdiagramm einer beispielhaften Rechenvorrichtung 600 veranschaulicht. Die Rechenvorrichtung 600 kann dazu verwendet werden, verschiedene Vorgänge auszuführen, wie etwa die hierin erörterten. In einer Ausführungsform kann die Rechenvorrichtung 600 als eine Detektionskomponente 104, ein automatisiertes Fahr-/Assistenzsystem 102, Fahrzeugsteuersystem 100 oder dergleichen dienen. Die Rechenvorrichtung 600 kann verschiedene Überwachungsfunktionen, wie hier beschrieben, durchführen und kann eine oder mehrere Anwendungsprogramme, wie beispielsweise die hier beschriebenen Anwendungsprogramme oder Funktionalitäten, ausführen. Die Rechenvorrichtung 600 kann eine beliebige aus einer Reihe von Rechenvorrichtungen, wie beispielsweise ein Desktop-Computer, ein eingebauter Computer, ein Fahrzeugsteuersystem, ein Notebook-Computer, ein Server-Computer, ein tragbarer Computer, Tablet-Computer und dergleichen, sein.
Die Rechenvorrichtung 600 beinhaltet einen oder mehrere Prozessor(en) 602, eine oder mehrere Speichervorrichtung(en) 604, eine oder mehrere Schnittstelle(n) 606, eine oder mehrere Massenspeichervorrichtung(en) 608, eine oder mehrere Ein-/Ausgabe(E/A)-Vorrichtung(en) 610 und eine Anzeigevorrichtung 630, die alle an einen Bus 612 gekoppelt sind. Der/Die Prozessor(en) 602 beinhaltet/beinhalten einen oder mehrere Prozessoren oder Steuerungen, der/die in der/den Speichervorrichtung(en) 604 und/oder der/den Massenspeichervorrichtung(en) 608 gespeicherte Anweisungen ausführen. Der/Die Prozessor(en) 602 kann/können zudem verschiedene Arten von computerlesbaren Medien beinhalten, wie etwa Cache-Speicher.
Die Speichervorrichtung(en) 604 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie etwa flüchtigen Speicher (z. B. Direktzugriffsspeicher (random access memory - RAM) 614) und/oder nichtflüchtigen Speicher (z. B. Festwertspeicher (read-only memory - ROM) 616). Die Speichervorrichtung(en) 604 kann/können zudem wiederbeschreibbaren ROM beinhalten, wie etwa Flash-Speicher.
Die Massenspeichervorrichtung(en) 608 beinhaltet/beinhalten verschiedene computerlesbare Medien, wie etwa Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B.
Flash-Speicher) und so weiter. Wie in 6 gezeigt, ist eine besondere Massenspeichervorrichtung ein Festplattenlaufwerk 624. Zudem können verschiedene Laufwerke in der/den Massenspeichervorrichtung(en) 608 enthalten sein, um ein Auslesen aus und/oder Schreiben auf die verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 608 beinhaltet/beinhalten entfernbare Medien 626 und/oder nichtentfernbare Medien.
Die E/A-Vorrichtung(en) 610 beinhaltet/beinhalten verschiedene Vorrichtungen, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 600 eingegeben oder daraus abgerufen werden. (Eine) Beispielhafte E/A-Vorrichtung(en) 610 beinhaltet/beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzschnittstellenkarten, Modems und dergleichen.
Die Anzeigevorrichtung 630 beinhaltet eine beliebige Art von Vorrichtung, die dazu in der Lage ist, einem oder mehreren Benutzern der Rechenvorrichtung 600 Informationen anzuzeigen. Zu Beispielen für eine Anzeigevorrichtung 630 gehören ein Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
Die Schnittstelle(n) 606 beinhaltet/beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 600 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. (Eine) Beispielhafte Schnittstelle(n) 606 kann/können eine beliebige Anzahl von unterschiedlichen Netzwerkschnittstellen 620, wie beispielsweise Schnittstellen zu lokalen Netzen (LANs), Großraumnetzen (WANs), drahtlosen Netzen und dem Internet, beinhalten. Zu (einer) andere(n) Schnittstelle(n) gehören eine Benutzerschnittstelle 618 und eine Peripherievorrichtungsschnittstelle 622. Die Schnittstelle(n) 606 kann/können ebenfalls eine oder mehrere Benutzerschnittstellenelemente 618 beinhalten. Die Schnittstelle(n) 606 können ebenfalls eine oder mehrere periphere Schnittstellen, wie beispielsweise Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Trackpad oder eine beliebige geeignete Benutzerschnittstelle, die dem Durchschnittsfachmann jetzt bekannt ist oder später entdeckt wird), Tastaturen und dergleichen, beinhalten.
Der Bus 612 ermöglicht es dem/den Prozessor(en) 602, der/den Speichervorrichtung(en) 604, der/den Schnittstelle(n) 606, der/den Massenspeichervorrichtung(en) 608 und der/den E/A-Vorrichtung(en) 610 miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 612 gekoppelt sind, zu kommunizieren. Der Bus 612 stellt eine oder mehrere von verschiedenen Arten von Busstrukturen dar, wie beispielsweise einen Systembus, PCI-Bus, IEEE-Bus, USB-Bus und so weiter.
Zum Zwecke der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hier als diskrete Blöcke gezeigt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeitpunkten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 600 befinden können, und werden durch den/die Prozessor(en) 602 ausgeführt. Alternativ können die hier beschriebenen Systeme und Vorgänge in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware umgesetzt sein. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (application specific integrated circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge ausführen.
Beispiele
Die folgenden Beispiele betreffen weitere Ausführungsformen.
Beispiel 1 ist ein Verfahren, welches Bestimmen, unter Verwendung eines oder mehrerer neuronaler Netzwerke, einer Ausgabe für eine erste Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt, beinhaltet. Das Verfahren beinhaltet Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme als eine Eingabe zur Verarbeitung einer zweiten Sensoraufnahme. Das Verfahren beinhaltet Bestimmen einer Ausgabe für die zweite Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt, auf der Grundlage der Ausgabe für die erste Sensoraufnahme.
In Beispiel 2 beinhaltet das Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme, wie in Beispiel 1, Vorwärtsleiten unter Verwendung einer rekurrenten Verbindung zwischen einer Ausgabeschicht und einer oder mehreren Schichten des einen oder der mehreren neuronalen Netzwerke.
In Beispiel 3, beinhalten das eine oder die mehreren neuronalen Netzwerke, wie in einem der Beispiele 1-2, ein neuronales Netzwerk, das eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht beinhaltet. Das Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme beinhalten Leiten einer Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme.
In Beispiel 4 beinhaltet das Bestimmen der Ausgabe für die erste Sensoraufnahme und die zweite Sensoraufnahme, wie in einem der Beispiele 1-3, Bestimmen einer Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme, wobei die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme als Eingabe zum Bestimmen der Ausgabe der Vielzahl von Teilbereichen der zweiten Sensoraufnahme vorwärtsgeleitet wird.
In Beispiel 5 beinhaltet das Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme, wie in einem der Beispiele 1-4, Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren.
In Beispiel 6 beinhaltet die Ausgabe für die Ausgabe der ersten Sensoraufnahme und der zweiten Sensoraufnahme, wie in einem der Beispiele 1-5, jeweils eins oder mehrere einer Angabe eines Typs des detektierten Objekts oder Merkmals oder eine Angabe einer Position des Objekts oder Merkmals.
In Beispiel 7 beinhaltet das Verfahren, wie in einem der Beispiele 1-6, ferner Bestimmen eines Fahrmanövers auf der Grundlage eines detektierten Objekts oder Merkmals.
In Beispiel 8 beinhaltet das Verfahren, wie in einem der Beispiele 1-7, ferner Trainieren des einen oder der mehreren neuronalen Netzwerke, um eine Ausgabe auf der Grundlage von Daten für eine spätere Sensoraufnahme unter Verwendung einer Ausgabe einer früheren Aufnahme zu erzeugen.
Beispiel 9 ist ein System, welches eine Sensorkomponente, die zum Erlangen einer Vielzahl von Sensoraufnahmen konfiguriert ist, beinhaltet, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen beinhaltet, die im Verlauf der Zeit aufgenommen wurde. Das System beinhaltet eine Detektionskomponente, die zum Detektieren von Objekten oder Merkmalen innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks konfiguriert ist. Das neuronale Netzwerk beinhaltet eine rekurrente Verbindung, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde, in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.
In Beispiel 10 beinhaltet das neuronale Netzwerk aus Beispiel 9 eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht, wobei die rekurrente Verbindung eine Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme vorwärtsleitet.
In Beispiel 11 bestimmt die Detektionskomponente, wie in einem der Beispiele 9-10 eine Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme unter Verwendung des neuronalen Netzwerks. Die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme wird unter Verwendung einer Vielzahl von rekurrenten Verbindungen vorwärtsgeleitet, beinhaltend die rekurrente Verbindung als Eingabe zum Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der zweiten Sensoraufnahme.
In Beispiel 12 bestimmt die Detektionskomponente, wie in Beispiel 11, die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme durch Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren.
In Beispiel 13 bestimmt die Detektionskomponente, wie in einem der Beispiele 9-12, unter Verwendung des neuronalen Netzwerks eine Angabe eines Typs des detektierten Objekts oder Merkmals oder eine Angabe einer Position des Objekts oder Merkmals.
Bei Beispiel 14 handelt es sich um computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eine Vielzahl von Sensoraufnahmen zu erlangen, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen beinhaltet, die im Verlauf der Zeit aufgenommen wurde. Die Anweisungen veranlassen den einen oder die mehreren Prozessoren zum Detektieren von Objekten oder Merkmalen innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks. Das neuronale Netzwerk beinhaltet eine rekurrente Verbindung, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde, in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.
In Beispiel 15 beinhaltet das neuronale Netzwerk aus Beispiel 14 eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht. Die rekurrente Verbindung leitet eine Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme.
In Beispiel 16 veranlassen die Anweisungen, wie in einem der Beispiele 14-15, den einen oder die mehreren Prozessoren, eine Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme unter Verwendung des neuronalen Netzwerks zu bestimmen. Die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme wird unter Verwendung einer Vielzahl von rekurrenten Verbindungen vorwärtsgeleitet, beinhaltend die rekurrente Verbindung als Eingabe zum Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der zweiten Sensoraufnahme.
In Beispiel 17 veranlassen die Anweisungen, wie in Beispiel 16, den einen oder die mehreren Prozessoren, die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme durch Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren, zu bestimmen.
In Beispiel 18 veranlassen die Anweisungen, wie in einem der Beispiele 14-17, den einen oder die mehreren Prozessoren, eins oder mehrere einer Angabe eines Typs des detektierten Objekts oder Merkmals oder einer Angabe einer Position des Objekts oder Merkmals auszugeben.
In Beispiel 19 veranlassen die Anweisungen, wie in einem der Beispiele 14-18, den einen oder die mehreren Prozessoren, ein Fahrmanöver auf der Grundlage eines detektierten Objekts oder Merkmals zu bestimmen.
In Beispiel 20 beinhalten die erste Sensoraufnahme und die zweite Sensoraufnahme, wie in einem der Beispiele 14-19, eins oder mehrere von Bilddaten, LIDAR-Daten, Radardaten und Infrarotbilddaten.
Beispiel 21 ist ein System oder eine Vorrichtung, das/die Mittel zum Umsetzen eines Verfahrens oder Realisieren eines Systems oder einer Vorrichtung nach einem der Beispiele 1-20 beinhaltet.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen zur Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die Offenbarung ausgeführt sein kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein/e bestimmte/s Merkmal, Struktur oder Eigenschaft beinhalten kann, doch es muss nicht notwendigerweise jede Ausführungsform diese/s bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen zu bewirken, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hier offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie etwa zum Beispiel einen oder mehrere Prozessoren und einen oder mehrere Systemspeicher, wie hier erörtert. Umsetzungen innerhalb des Schutzumfangs der vorliegenden Offenbarung können außerdem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert werden, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien. Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - SSDs) (z. B. basierend auf RAM), Flash-Speicher, Phasenänderungsspeicher (phase-change memory - PCM), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das verwendet werden kann, um die gewünschten Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der hier offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung einem Computer bereitgestellt oder auf diesen übertragen werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um gewünschte Programmcodemittel in der Form von computerausführbaren Anweisungen oder Datenstrukturen zu übertragen und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien beinhaltet sein. Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Der Fachmann kann nachvollziehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen angewendet werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in Fernspeichervorrichtungen befinden.
Ferner können die hier beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden ausgeführt werden: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (application specific integrated circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der hier beschriebenen Systeme und Vorgänge ausführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Die Begriffe „Module“ und „Komponenten“ werden in den Bezeichnungen von bestimmten Komponenten verwendet, um ihre Umsetzungsunabhängigkeit in Software, Hardware, Schaltungen, Sensoren und dergleichen wiederzugeben. Für den Fachmann versteht es sich, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen auszuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind hier zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Mindestens einige Ausführungsformen der Offenbarung wurden Computerprogrammprodukten zugeführt, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie hier beschrieben zu arbeiten.
Während vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele dienen und nicht als Einschränkung. Für den einschlägigen Fachmann wird ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung durch keines der vorstehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich in Übereinstimmung mit den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung wurde zum Zwecke der Veranschaulichung und Beschreibung dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.
Ferner soll die Offenbarung, auch wenn spezifische Umsetzungen der Offenbarung beschrieben und dargestellt wurden, nicht auf die somit beschriebenen und dargestellten spezifischen Formen oder Anordnungen der Teile beschränkt werden. Der Umfang der Offenbarung ist durch die hieran beigefügten Patentansprüche, jegliche zukünftigen hier beantragten Patentansprüche und in verschiedenen Anwendungen und deren Äquivalenten zu definieren.

Claims

Verfahren, umfassend: Bestimmen, unter Verwendung eines oder mehrerer neuronaler Netzwerke, einer Ausgabe für eine erste Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt; Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme als eine Eingabe zur Verarbeitung einer zweiten Sensoraufnahme; und Bestimmen einer Ausgabe für die zweite Sensoraufnahme, die eine Gegenwart eines Objekts oder Merkmals angibt, auf der Grundlage der Ausgabe für die erste Sensoraufnahme.
Verfahren nach Anspruch 1, wobei das Verfahren eins oder mehrere des Folgenden umfasst: wobei Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme Vorwärtsleiten unter Verwendung einer rekurrenten Verbindung zwischen einer Ausgabeschicht und einer oder mehreren Schichten des einen oder der mehreren neuronalen Netzwerke umfasst; wobei das eine oder die mehreren neuronalen Netzwerke ein neuronales Netzwerk umfassen, das eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht umfasst, wobei Vorwärtsleiten der Ausgabe für die erste Sensoraufnahme Leiten einer Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme umfasst; wobei Bestimmen der Ausgabe für die erste Sensoraufnahme und die zweite Sensoraufnahme Bestimmen einer Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme umfasst, wobei die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme als Eingabe zum Bestimmen der Ausgabe der Vielzahl von Teilbereichen der zweiten Sensoraufnahme vorwärtsgeleitet wird; und wobei Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren, umfasst.
Verfahren nach Anspruch 1, wobei die Ausgabe für die Ausgabe der ersten Sensoraufnahme und der zweiten Sensoraufnahme jeweils eins oder mehrere des Folgenden umfassen: eine Angabe eines Typs des detektierten Objekts oder Merkmals; oder eine Angabe einer Position des Objekts oder Merkmals.
Verfahren nach Anspruch 1, ferner umfassend ein Bestimmen eines Fahrmanövers auf der Grundlage eines detektierten Objekts oder Merkmals.
Verfahren nach Anspruch 1, ferner umfassend Trainieren des einen oder der mehreren neuronalen Netzwerke, um eine Ausgabe auf der Grundlage von Daten für eine spätere Sensoraufnahme unter Verwendung einer Ausgabe einer früheren Aufnahme zu erzeugen.
System, umfassend: Sensorkomponente, die zum Erlangen einer Vielzahl von Sensoraufnahmen konfiguriert ist, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen umfasst, die im Verlauf der Zeit aufgenommen wurde; und eine Detektionskomponente, die zum Detektieren von Objekten innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks konfiguriert ist, wobei das neuronale Netzwerk eine rekurrente Verbindung umfasst, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde, in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.
System nach Anspruch 6, wobei das neuronale Netzwerk eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht umfasst, wobei die rekurrente Verbindung eine Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme vorwärtsleitet.
System nach Anspruch 6, wobei die Detektionskomponente eins oder mehrere des Folgenden bestimmt: eine Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme unter Verwendung des neuronalen Netzwerks, wobei die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme unter Verwendung einer Vielzahl von rekurrenten Verbindungen vorwärtsgeleitet wird, umfassend die rekurrente Verbindung als Eingabe zum Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der zweiten Sensoraufnahme; und die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme durch Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren.
System nach Anspruch 6, wobei die Detektionskomponente unter Verwendung des neuronalen Netzwerks eins oder mehrere des Folgenden bestimmt: eine Angabe eines Typs des detektierten Objekts oder Merkmals; oder eine Angabe einer Position des Objekts oder Merkmals.
Computerlesbare Speichermedien, auf welchen Anweisungen gespeichert sind, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zu Folgendem veranlassen: Erlangen einer Vielzahl von Sensoraufnahmen, wobei die Vielzahl von Sensoraufnahmen eine Reihe von Sensoraufnahmen umfasst, die im Verlauf der Zeit aufgenommen wurde; und Detektieren von Objekten innerhalb einer Sensoraufnahme unter Verwendung eines neuronalen Netzwerks, wobei das neuronale Netzwerk eine rekurrente Verbindung umfasst, welche eine Angabe eines Objekts, das in einer ersten Sensoraufnahme detektiert wurde, in eine oder mehrere Schichten des neuronalen Netzwerks für eine zweite, spätere Sensoraufnahme vorwärtsleitet.
Computerlesbare Speichermedien nach Anspruch 10, wobei das neuronale Netzwerk eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Klassifizierungsschicht umfasst, wobei die rekurrente Verbindung eine Ausgabe der Klassifizierungsschicht in eine oder mehrere der Eingabeschicht oder einer verborgenen Schicht der einen oder der mehreren verborgenen Schichten während des Verarbeitens der zweiten Sensoraufnahme vorwärtsleitet.
Computerlesbare Speichermedien nach Anspruch 10, wobei die Anweisungen den einen oder die mehreren Prozessoren veranlassen, eine Ausgabe für eine Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme unter Verwendung des neuronalen Netzwerks zu bestimmen, wobei die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme unter Verwendung einer Vielzahl von rekurrenten Verbindungen vorwärtsgeleitet wird, umfassend die rekurrente Verbindung als Eingabe zum Bestimmen der Ausgabe für die Vielzahl von Teilbereichen der zweiten Sensoraufnahme.
Computerlesbare Speichermedien nach Anspruch 12, wobei die Anweisungen den einen oder die mehreren Prozessoren veranlassen, die Ausgabe für die Vielzahl von Teilbereichen der ersten Sensoraufnahme und der zweiten Sensoraufnahme durch Bestimmen von Ausgaben für Teilbereiche mit variierender Größe der Sensoraufnahmen, um unterschiedlich große Merkmale oder Objekte zu detektieren, zu bestimmen.
Computerlesbare Speichermedien nach Anspruch 10, wobei die Anweisungen den einen oder die mehreren Prozessoren ferner zum Ausgeben von einem oder mehreren des Folgenden veranlassen: eine Angabe eines Typs des detektierten Objekts oder Merkmals; oder eine Angabe einer Position des Objekts oder Merkmals.
Computerlesbare Speichermedien nach Anspruch 10, wobei die Anweisungen den einen oder die mehreren Prozessoren ferner veranlassen, ein Fahrmanöver auf der Grundlage eines detektierten Objekts oder Merkmals zu bestimmen; oder alternativ wobei die erste Sensoraufnahme und die zweite, spätere Sensoraufnahme eins oder mehrere von Bilddaten, LIDAR-Daten, Radardaten und Infrarotbilddaten umfassen.