-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Erkennen einer Umgebung eines Fahrzeugs und ein Verfahren zum Trainieren eines Fusionsalgorithmus für ein Fahrzeugsystem. Des Weiteren betrifft die Erfindung eine Auswerteeinheit, ein Computerprogramm und ein computerlesbares Medium zum Ausführen der Verfahren sowie ein entsprechendes Fahrzeugsystem.
-
Stand der Technik
-
Ein Fahrzeug kann mit einer Vielzahl von Umfeldsensoren zur Erfassung einer Umgebung des Fahrzeugs ausgestattet sein. Die jeweiligen Sensordaten der Umfeldsensoren können mit einem geeigneten Algorithmus, etwa einem künstlichen neuronalen Netz, miteinander fusioniert werden, um die Umgebung des Fahrzeugs möglichst sicher und genau zu erkennen. In der Regel muss ein solcher Algorithmus erst in geeigneter Weise trainiert werden, d. h. in einem Lernverfahren dazu gebracht werden, bestimmten Eingabemustern bestimmte Ausgabemuster zuzuordnen, bevor er im Fahrzeug zum Einsatz kommen kann. Je nach Umfang und Komplexität der miteinander zu fusionierenden Sensordaten, d. h. je nach Anzahl und Art der verwendeten Umfeldsensoren, kann ein solches Training sehr aufwendig sein.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz Verfahren, eine Auswerteeinheit, ein Computerprogramm, ein computerlesbares Medium und ein Fahrzeugsystem gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung ermöglichen es in vorteilhafter Weise, den Aufwand beim Trainieren eines Algorithmus zur Fusion von Sensordaten zu verringern. Dies wird durch eine Verknüpfung mehrerer getrennt voneinander trainierter Algorithmen erreicht. Dabei wird unterschieden zwischen vortrainierten Algorithmen zur Extraktion von Merkmalen aus den jeweiligen Rohdaten einzelner Sensoreinheiten einer Sensorik und einem nachgeschalteten Fusionsalgorithmus zur Fusion der extrahierten Merkmale. Ändert sich die Zusammensetzung der Sensorik, d. h. eine Anzahl oder Art der Sensoreinheiten, so braucht lediglich der Fusionsalgorithmus neu trainiert zu werden.
-
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen einer Umgebung eines Fahrzeugs, wobei das Fahrzeug eine Sensorik mit mindestens einer ersten Sensoreinheit und einer zweiten Sensoreinheit zum Erfassen der Umgebung des Fahrzeugs und eine Auswerteeinheit zum Auswerten von Sensordaten der Sensorik aufweist. Das Verfahren umfasst die folgenden Schritte: Empfangen von durch die erste Sensoreinheit erzeugten ersten Sensordaten und durch die zweite Sensoreinheit erzeugten zweiten Sensordaten in der Auswerteeinheit; Eingeben der ersten Sensordaten in einen ersten Erkennungsalgorithmus, der darauf trainiert wurde, erste Merkmale basierend auf den ersten Sensordaten zu bestimmen; Eingeben der zweiten Sensordaten in einen zweiten Erkennungsalgorithmus, der darauf trainiert wurde, zweite Merkmale basierend auf den zweiten Sensordaten zu bestimmen; Ausgeben der ersten Merkmale durch den ersten Erkennungsalgorithmus; Ausgeben der zweiten Merkmale durch den zweiten Erkennungsalgorithmus; Eingeben der ersten Merkmale und der zweiten Merkmale in einen Fusionsalgorithmus, der basierend auf Ausgaben des ersten Erkennungsalgorithmus und Ausgaben des zweiten Erkennungsalgorithmus darauf trainiert wurde, Objekte in der Umgebung des Fahrzeugs durch Fusionieren der ersten Merkmale mit den zweiten Merkmalen zu bestimmen; und Ausgeben der Objekte oder einer Objektbeschreibung durch den Fusionsalgorithmus.
-
Unter einem Fahrzeug kann im Allgemeinen eine sich teil- oder vollautomatisiert bewegende Maschine verstanden werden. Beispielsweise kann das Fahrzeug ein Pkw, Lkw, Bus oder ein Motorrad sein. Als Fahrzeug kann jedoch auch ein Roboter, etwa ein autonomer Roboter, aufgefasst werden.
-
Bei den ersten Merkmalen und den zweiten Merkmalen kann es sich beispielsweise jeweils um Farbwerte, Intensitäten, Entfernungen, (Doppler-)Geschwindigkeiten, Frequenzen, Positionen, Orientierungen, aus Bildern extrahierte Merkmale wie etwa Kanten oder Ecken oder um Objektkategorien, die Objekte in der Umgebung des Fahrzeugs beschreiben, handeln.
-
Eine Sensoreinheit kann beispielsweise ein Radar-, Lidar-, Ultraschallsensor oder eine Kamera sein. Bei der ersten Sensoreinheit und der zweiten Sensoreinheit kann es sich um gleichartige (beispielsweise redundante) oder verschiedenartige (beispielsweise komplementäre) Sensoreinheiten handeln. Denkbar ist beispielsweise eine Kombination eines Radarsensors mit einer Kamera oder eine Kombination mehrerer Radarsensoren mit unterschiedlichen Erfassungsrichtungen.
-
Unter einer Fusion von Sensordaten kann ein Vorgang verstanden werden, bei dem Informationen unterschiedlicher Sensorinstanzen genutzt werden, um Objekte in der Umgebung des Fahrzeugs zu detektieren und zu klassifizieren (auch Objekterkennung genannt) und jeweilige Zustände der Objekte, etwa deren jeweilige Position oder Geschwindigkeit, zu schätzen (auch Tracking genannt). Als Objekt kann in diesem Zusammenhang ein Modell eines realen, in der Umgebung des Fahrzeugs befindlichen Gegenstands, etwa ein beobachtetes Fahrzeug oder Ähnliches, oder eine einzelne Zustandsvariable eines solchen Modells oder des Fahrzeugs aufgefasst werden.
-
Beispielsweise können Rohdaten der einzelnen Sensoreinheiten mit Verfahren der Mustererkennung in eine symbolische Umgebungsbeschreibung übersetzt werden. Basierend auf einer durch den Fusionsalgorithmus verbesserten Umgebungsbeschreibung kann das Fahrzeug mittels eines oder mehrerer weiterer Algorithmen entsprechende Aktionen ausführen. Die weiteren Algorithmen können zur Realisierung von (teil)automatisierten Fahrfunktionen oder Fahrerassistenzsystemen wie etwa einem Notbremsassistenten dienen. Die Beschreibung der Umgebung kann beispielsweise verschiedene Attribute von in der Umgebung befindlichen Objekten umfassen, wie etwa deren Lage im Raum oder deren Kategorie oder Klasse. Ziel der Sensordatenfusion ist es, Schwächen der beteiligten Sensoreinheiten auszugleichen. So ist beispielsweise ein Lidarsensor für die Erkennung bei Dunkelheit besser geeignet als eine Kamera. Auch kann die Robustheit des Gesamtsystems erhöht werden, indem bei einem Sensorausfall auf redundante Informationen von anderen Sensoreinheiten zurückgegriffen wird. Möglich ist auch, dass (gleichartige) Sensoreinheiten mit verschiedenen, sich teilweise überlappenden Sichtbereichen miteinander kombiniert werden.
-
Unter einem Erkennungsalgorithmus bzw. Fusionsalgorithmus kann im Allgemeinen ein Machine-Learning-Algorithmus verstanden werden, der für eine gegebene Menge von Eingaben ein statistisches Modell zur Beschreibung der Eingaben und erkannter Kategorien und Zusammenhänge erzeugt und entsprechende Vorhersagen ausgibt. Insbesondere kann ein Erkennungsalgorithmus bzw. Fusionsalgorithmus ein künstliches neuronales Netz mit einer oder mehreren trainierbaren Gewichtsschichten sein, etwa ein mehrschichtiges Perzeptron, ein rekurrentes neuronales Netz, ein neuronales Netz mit Long short-term memory oder ein Convolutional Neural Network. Es kann sich dabei jedoch auch um einen Bayes-Klassifikator, eine Support Vector Machine, einen k-Nearest-Neighbor-Algorithmus, einen Entscheidungsbaum, einen Random Forest oder um eine Kombination aus mindestens zwei der genannten Beispiele handeln.
-
Der Ansatz, wie er oben und im Folgenden beschrieben wird, bietet den Vorteil einer hohen Wiederverwendbarkeit für verschiedene Sensorkonfigurationen. Wie bereits erwähnt, können in einem Fahrzeug ähnliche Sensoren in unterschiedlichen Kombinationen und Anzahlen verwendet werden. Anstelle eines sogenannten End-to-End-Trainings, bei dem das System als Ganzes trainiert wird und das eine Wiederverwendung dementsprechend erschwert, ist hier jeder Sensoreinheit, genauer jeder Sensorinstanz oder Sensormodalität, ein eigener Erkennungsalgorithmus zugeordnet, beispielsweise ein vortrainiertes Deep Neural Network (DNN) mit einer Vielzahl trainierbarer Gewichtsschichten, das bereits die gewünschten Merkmale liefert. Die Fusion kann auf einer Late-Fusion-Architektur beruhen, d. h., die Fusion kann erst nach Verarbeitung der Sensordaten in dem jeweiligen Erkennungsalgorithmus erfolgen. Somit kann das Training der Fusion getrennt vom Training der Erkennungsalgorithmen stattfinden. Sollen beispielsweise Fusionsalgorithmen für Fahrzeuge mit unterschiedlichen Sensorkonfigurationen bereitgestellt werden, ist jeweils nur der Fusionsalgorithmus zu trainieren. Da ein solcher Fusionsalgorithmus in der Regel deutlich geringere Datenmengen verarbeitet als ein Algorithmus, der (rohe) Sensordaten auf gewünschte Attribute abbildet, kann auch die Menge der für das Training des Fusionsalgorithmus erforderlichen Trainingsdaten entsprechend reduziert werden.
-
Ein zweiter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Trainieren eines Fusionsalgorithmus für ein Fahrzeugsystem, wobei das Fahrzeugsystem eine Sensorik mit mindestens einer ersten Sensoreinheit und einer zweiten Sensoreinheit zum Erfassen einer Umgebung eines Fahrzeugs und eine Auswerteeinheit zum Auswerten von Sensordaten der Sensorik mittels des Fusionsalgorithmus aufweist. Das Verfahren umfasst die folgenden Schritte: Eingeben von Trainingsdaten in den Fusionsalgorithmus, wobei die Trainingsdaten Ausgaben eines ersten Erkennungsalgorithmus und Ausgaben eines zweiten Erkennungsalgorithmus als Eingabevektor und einen dem Eingabevektor zugeordneten Soll-Ausgabevektor umfassen, wobei der erste Erkennungsalgorithmus darauf trainiert wurde, erste Merkmale basierend auf durch die erste Sensoreinheit erzeugten ersten Sensordaten zu bestimmen und auszugeben, und der zweite Erkennungsalgorithmus darauf trainiert wurde, zweite Merkmale basierend auf durch die zweite Sensoreinheit erzeugten zweiten Sensordaten zu bestimmen und auszugeben, wobei der Fusionsalgorithmus konfiguriert ist, um einen Ist-Ausgabevektor basierend auf dem Eingabevektor zu bestimmen; Ausgeben des Ist-Ausgabevektors durch den Fusionsalgorithmus; und Eingeben des Ist-Ausgabevektors in einen Lernalgorithmus, der konfiguriert ist, um den Fusionsalgorithmus basierend auf dem Ist-Ausgabevektor und dem Soll-Ausgabevektor so anzupassen, dass ein Fehler des Fusionsalgorithmus minimiert wird.
-
Bei einem derartigen Lernverfahren können Eingabevektoren, auch Trainingsmuster genannt, zusammen mit je einem der Eingabevektoren zugeordneten gewünschten Soll-Ausgabevektoren, auch Teaching Input genannt, beispielsweise in eine Eingabeschicht eines neuronalen Netzes eingegeben werden. Die Komponenten des Soll-Ausgabevektors können jeweils einem Ausgabeneuron in einer Ausgabeschicht des neuronalen Netzes zugeordnet sein.
-
Für jeden der Eingabevektoren kann nun ein Fehlervektor bestimmt werden, der eine Abweichung zwischen einem durch die Ausgabeneuronen ausgegebenen tatsächlichen Ist-Ausgabevektor und dem jeweiligen Soll-Ausgabevektor beschreibt.
-
Der Ist-Ausgabevektor kann an den Soll-Ausgabevektor angenähert werden, indem eine Fehlerfunktion, die einen Gesamtfehler des neuronalen Netzes in Abhängigkeit von dessen trainierbaren Gewichten beschreibt, unter Verwendung des Fehlervektors minimiert wird. Dabei können die Gewichte durch den Lernalgorithmus so lange geändert werden, bis die Fehlerfunktion einen hinreichend kleinen Wert annimmt.
-
Der Lernalgorithmus kann konfiguriert sein, um den Fehler in einem gradientenbasierten Optimierungsverfahren zu minimieren, im Fall eines mehrschichtigen neuronalen Netzes beispielsweise mittels Backpropagation of Error.
-
Ein dritter Aspekt der Erfindung betrifft eine Auswerteeinheit, die konfiguriert ist, um mindestens eines der Verfahren, wie sie oben und im Folgenden beschrieben werden, auszuführen. Merkmale dieser Verfahren können auch Merkmale der Auswerteeinheit sein und umgekehrt.
-
Ein vierter Aspekt der Erfindung betrifft ein Fahrzeugsystem, das konfiguriert ist, um mindestens eines der Verfahren, wie sie oben und im Folgenden beschrieben werden, auszuführen. Merkmale dieser Verfahren können auch Merkmale des Fahrzeugsystems sein und umgekehrt.
-
Weitere Aspekte der Erfindung betreffen Computerprogramme, die, wenn sie durch einen Computer, beispielsweise der weiter oben genannten Auswerteeinheit, ausgeführt werden, die Verfahren, wie sie oben und im Folgenden beschrieben werden, ausführen, sowie ein computerlesbares Medium, auf dem diese Computerprogramme gespeichert sind.
-
Das computerlesbare Medium kann ein flüchtiger oder nicht flüchtiger Datenspeicher sein. Beispielsweise kann es sich bei dem computerlesbaren Medium um eine Festplatte, ein USB-Speichergerät, einen RAM, ROM, EPROM oder Flash-Speicher handeln. Das computerlesbare Medium kann auch ein einen Download eines Programmcodes ermöglichendes Datenkommunikationsnetzwerk wie etwa das Internet oder eine Datenwolke (Cloud) sein.
-
Merkmale der Verfahren, wie sie oben und im Folgenden beschrieben werden, können auch Merkmale der Computerprogramme und/oder des computerlesbaren Mediums sein und umgekehrt.
-
Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
-
Gemäß einer Ausführungsform wurde der Fusionsalgorithmus mit Trainingsdaten trainiert, die als Trainingsmuster ausschließlich die Ausgaben des ersten Erkennungsalgorithmus und die Ausgaben des zweiten Erkennungsalgorithmus enthielten. Dadurch kann der Aufwand beim Trainieren der Sensordatenfusion deutlich reduziert werden.
-
Die jeweiligen Ausgaben können jeweils mit einer gewünschten Ausgabe als Teaching Input verknüpft, d. h. annotiert sein.
-
Bei den jeweiligen Ausgaben kann es sich um die ersten bzw. zweiten Merkmale handeln.
-
Zusätzlich ist es möglich, dass der erste Erkennungsalgorithmus mit Trainingsdaten trainiert wurde, die als Trainingsmuster ausschließlich Sensordaten der ersten Sensoreinheit enthielten.
-
Ebenso kann auch der zweite Erkennungsalgorithmus mit Trainingsdaten trainiert worden sein, die als Trainingsmuster ausschließlich Sensordaten der zweiten Sensoreinheit enthielten.
-
Die beiden Erkennungsalgorithmen können in diesem Sinn getrennt voneinander trainiert worden sein.
-
Gemäß einer Ausführungsform wurden der erste Erkennungsalgorithmus und der zweite Erkennungsalgorithmus unabhängig voneinander trainiert. Anders ausgedrückt kann für jede Sensormodalität ein separates Training durchgeführt werden, in dem der jeweilige Erkennungsalgorithmus mit sensorspezifischen Trainingsdaten trainiert wird. Das Training kann beispielsweise in einem überwachten Lernverfahren mit annotierten Stichproben erfolgen.
-
Der Fusionsalgorithmus kann beispielsweise mit einer annotierten multimodalen Stichprobe entsprechend der verwendeten Sensorkombination trainiert worden sein.
-
Gemäß einer Ausführungsform kann mindestens einer der beiden Erkennungsalgorithmen ein künstliches neuronales Netz umfassen. Zusätzlich oder alternativ kann der Fusionsalgorithmus ein künstliches neuronales Netz umfassen. Das künstliche neuronale Netz kann eine Eingabeschicht, eine Ausgabeschicht und mindestens eine dazwischenliegende Zwischenschicht mit variierbaren Verbindungen, d. h. mindestens eine trainierbare Gewichtsschicht, umfassen. Beispielsweise kann das neuronale Netz ein einlagiges Perzeptron oder ein mehrlagiges Perzeptron mit mindestens zwei Gewichtsschichten, auch Multilayer-Perzeptron genannt, sein.
-
Der erste Erkennungsalgorithmus, der zweite Erkennungsalgorithmus bzw. der Fusionsalgorithmus kann beispielsweise in einem überwachten Lernverfahren trainiert worden sein.
-
Gemäß einer Ausführungsform kann das künstliche neuronale Netz mindestens eine trainierbare Gewichtsschicht umfassen. Beispielsweise kann es sich dabei um ein Deep Convolutional Neural Network mit einer, zwei oder auch mehr als zwei trainierbaren Gewichtsschichten handeln. Damit können besonders hohe Erkennungsraten und Genauigkeiten erzielt werden.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 zeigt ein Fahrzeug mit einem Fahrzeugsystem gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt eine Konfiguration eines Fahrzeugsystems mit drei Sensormodalitäten gemäß einem Ausführungsbeispiel der Erfindung.
- 3 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen einer Umgebung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung.
- 4 zeigt ein Ablaufdiagramm eines Verfahrens zum Trainieren eines Fusionsalgorithmus gemäß einem Ausführungsbeispiel der Erfindung.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Fahrzeug 100 mit einem Fahrzeugsystem 102, das eine Sensorik 104 mit einer ersten Sensoreinheit 106, etwa einer Kamera, und einer zweiten Sensoreinheit 108, etwa einem Radarsensor, und eine Auswerteeinheit 110, etwa ein Steuergerät des Fahrzeugs 100, zum Auswerten erster Sensordaten 112, die durch die erste Sensoreinheit 106 erzeugt wurden, und zweiter Sensordaten 114, die durch die zweite Sensoreinheit 108 erzeugt wurden, aufweist. Die Sensorik 104 dient zum Erfassen einer Umgebung des Fahrzeugs 100. In 1 erfasst die Sensorik 104 beispielhaft ein vorausfahrendes Fahrzeug 116. Die Auswerteeinheit 110 ist ausgeführt, um basierend auf den Sensordaten 112, 114 ein Modell der Umgebung zu erstellen. Das Modell kann beispielsweise objektbasiert sein und eine Liste von Objekten umfassen, die in diesem Beispiel unter anderem das vorausfahrende Fahrzeug 116 modellieren. Eine jeweilige Position und Orientierung der Objekte relativ zum Fahrzeug 100 kann basierend auf den Sensordaten 112, 114 fortlaufend aktualisiert werden.
-
Jeder der Sensoreinheiten 106, 108 ist ein eigener Erkennungsalgorithmus zugeordnet, der konfiguriert ist, um basierend auf den jeweiligen Sensordaten 112 bzw. 114 bestimmte Merkmale zu erkennen. Diese Merkmale dienen wiederum als Eingaben für einen Fusionsalgorithmus, der konfiguriert ist, um die Merkmale miteinander zu fusionieren, beispielsweise um ein Objekt wie das vorausfahrende Fahrzeug 116 zu erkennen oder ein mittels der ersten Sensoreinheit 106 erkanntes erstes Merkmal, etwa eine aus mehreren Einzelbildern der Kamera berechnete Geschwindigkeit des vorausfahrenden Fahrzeugs 116, durch ein mittels der zweiten Sensoreinheit 108 erkanntes Merkmal, etwa eine durch den Radarsensor gemessene Geschwindigkeit des vorausfahrenden Fahrzeugs 116, zu plausibilisieren.
-
2 zeigt eine Konfiguration des Fahrzeugsystems 102 mit drei unterschiedlichen Sensormodalitäten S1, S2, S3. Jede der Sensormodalitäten S1, S2, S3 kann eine oder mehrere Sensoreinheiten ein und desselben Typs umfassen. Beispielsweise kann die erste Sensormodalität S1 die erste Sensoreinheit 106, die zweite Sensormodalität S2 die zweite Sensoreinheit 108 und die dritte Sensormodalität S3 eine dritte Sensoreinheit der Sensorik 104 umfassen. Die dritte Sensoreinheit erzeugt analog zu den beiden Sensoreinheiten 106, 108 dritte Sensordaten 200. Beispielsweise kann es sich dabei um Daten eines Lidar-Sensors handeln.
-
Die Sensordaten 112, 114, 200 gehen jeweils in einen eigenen Erkennungsalgorithmus DNN1, DNN2, DNN3 ein, hier beispielhaft jeweils in ein künstliches neuronales Netzwerk mit einer Vielzahl von Zwischenschichten, auch Deep Neural Network oder kurz DNN genannt. Dabei ist der erste Erkennungsalgorithmus DNN1 der ersten Sensormodalität S1, der zweite Erkennungsalgorithmus DNN2 der zweiten Sensormodalität S2 und der dritte Erkennungsalgorithmus DNN3 der dritten Sensormodalität S3 zugeordnet.
-
Die Erkennungsalgorithmen DNN1, DNN2, DNN3 können getrennt voneinander mit entsprechenden Trainingsdaten vortrainiert worden sein.
-
Sensoreinheiten ein und desselben Sensortyps können jeweils mit dem gleichen Erkennungsalgorithmus gepaart sein.
-
Jeder der Erkennungsalgorithmen DNN1, DNN2, DNN3 wurde darauf trainiert, basierend auf den jeweiligen Sensordaten 112, 114 bzw. 200 ein bestimmtes Merkmal zu bestimmen. So erkennt der Erkennungsalgorithmus DNN1 ein erstes Merkmal M1, der zweite Erkennungsalgorithmus DNN2 ein zweites Merkmal M2 und der dritte Erkennungsalgorithmus DNN3 ein drittes Merkmal M3.
-
Die Merkmale M1, M2, M3 gehen jeweils in einen Fusionsalgorithmus DNN4 ein, der beispielsweise ebenfalls ein Deep Neural Network sein kann. Der Fusionsalgorithmus DNN4 ist konfiguriert, um die Merkmale M1, M2, M3 miteinander zu fusionieren. Beispielsweise kann der Fusionsalgorithmus DNN4 durch eine solche Merkmalsfusion das vorausfahrende Fahrzeug 116 mit hoher Zuverlässigkeit und Genauigkeit als Objekt erkennen und das Modell der Umgebung des Fahrzeugs 100 entsprechend aktualisieren.
-
Der Fusionsalgorithmus DNN4 kann mit Trainingsdaten trainiert worden sein, die als Trainingsmuster ausschließlich Ausgaben der drei Erkennungsalgorithmen DNN1, DNN2, DNN3 enthält, also die Merkmale M1, M2, M3. Dies hat den Vorteil, dass der Fusionsalgorithmus DNN4 bei einer sich ändernden Sensorkonfiguration lediglich mit den jeweiligen Ausgaben der in der Sensorkonfiguration enthaltenen Erkennungsalgorithmen ohne zusätzliche Einbeziehung der jeweiligen Sensordaten neu trainiert werden muss. Damit kann der Trainingsaufwand relativ gering gehalten werden.
-
3 zeigt beispielhaft ein Ablaufdiagramm eines Verfahrens 300, wie es von dem Fahrzeugsystem 102 aus 1 bzw. 2 ausgeführt werden kann.
-
In einem Schritt 310 werden zunächst die Sensordaten 112, 114, 200 in der Auswerteeinheit 112 empfangen.
-
In einem Schritt 320 werden die empfangenen Sensordaten 112, 114, 200 in den entsprechenden Erkennungsalgorithmus DNN1, DNN2 bzw. DNN3 eingegeben.
-
In einem Schritt 330 geben die Erkennungsalgorithmen DNN1, DNN2, DNN3 die entsprechenden Merkmale M1, M2 bzw. M3 aus.
-
Diese werden in einem Schritt 340 in den Fusionsalgorithmus DNN4 eingegeben, um die Merkmale M1, M2, M3 miteinander zu fusionieren.
-
Als Ergebnis dieser Fusion gibt der Fusionsalgorithmus DNN4 in einem Schritt 350 schließlich ein erkanntes Objekt aus, das hier das vorausfahrende Fahrzeug 116 abbildet.
-
Das Verfahren 300 kann während eines Betriebs des Fahrzeugs 100, insbesondere beispielsweise während eines vollautomatisierten Betriebs des Fahrzeugs 100, fortlaufend ausgeführt werden.
-
4 zeigt beispielhaft ein Ablaufdiagramm eines Verfahrens 400 zum Trainieren des Fusionsalgorithmus DNN4, wie er in dem Fahrzeugsystem 102 aus 1 zum Einsatz kommt. Der Fusionsalgorithmus DNN4 ist, wie bereits erwähnt, als Deep Neural Network realisiert.
-
In einem Schritt 410 werden Trainingsdaten in den Fusionsalgorithmus DNN4 eingegeben, die einerseits die durch den ersten Erkennungsalgorithmus DNN1 ausgegebenen ersten Merkmale M1 und die durch den zweiten Erkennungsalgorithmus DNN2 ausgegebenen zweiten Merkmale M2 als Eingabevektor und andererseits einen Soll-Ausgabevektor, auch Teaching Input genannt, enthalten. Der Soll-Ausgabevektor beschreibt ein dem Eingabevektor zugeordnetes korrektes Ergebnis, d. h. ein bestimmtes anhand der Merkmale M1, M2 zu erkennendes Objekt. Basierend auf den Trainingsdaten berechnet der Fusionsalgorithmus DNN4 einen entsprechenden Ist-Ausgabevektor, der mehr oder weniger stark vom Soll-Ausgabevektor abweichen kann.
-
In einem Schritt 420 wird der Ist-Ausgabevektor durch die Ausgabeneuronen des neuronalen Netzes, das den Fusionsalgorithmus DNN4 konstituiert, ausgegeben.
-
In einem Schritt 430 wird der Ist-Ausgabevektor in einen Lernalgorithmus eingegeben. Der Lernalgorithmus kann basierend auf dem Ist-Ausgabevektor und dem Soll-Ausgabevektor einen Fehlervektor berechnen, etwa durch Subtrahieren des Ist-Ausgabevektors vom Soll-Ausgabevektor. Abhängig vom Fehlervektor kann der Lernalgorithmus bestimmte Gewichte des neuronalen Netzes ändern, beispielsweise durch Backpropagation of Error, sodass ein Gesamtfehler des neuronalen Netzes möglichst klein wird.
-
In einem Schritt 440 wird das Verfahren 400 beendet. Beendet werden kann das Verfahren 400 etwa dann, wenn der Gesamtfehler einen akzeptablen, d. h. hinreichend kleinen Wert erreicht.
-
Abschließend wird darauf hingewiesen, dass Begriffe wie „aufweisend“, „umfassend“ etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
