-
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Ermittlung eines trainierten Entscheidungsnetzwerks gemäß den Hauptansprüchen.
-
In Fahrzeugsystemen werden oftmals Komponenten zu Auswertung von Sensorsignalen verwendet, die speziell auf den Typ des Sensors ausgelegte Auswertungsalgorithmen enthalten. Hierbei sind dann jedoch für die Auswertung von Sensorsignalen von Sensoren unterschiedlicher Sensortechnologien mehrere bzw. eine Vielzahl von separaten Auswertungsalgorithmen vorzuhalten, die eine numerische und/oder schaltungstechnische Komplexität der Signalverarbeitung der Sensorsignale teilweise drastisch erhöht.
-
Vor diesem Hintergrund schafft die vorliegende Erfindung ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Ermittlung eines trainierten Entscheidungsnetzwerks sowie ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung von zumindest einem Objekt aus Daten zumindest eines ersten Sensorsignalvektors und/oder eines zweiten Sensorsignalvektors gemäß den Hauptansprüchen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
-
Der hier vorgestellte Ansatz schafft ein Verfahren zur Ermittlung eines trainierten Entscheidungsnetzwerks, wobei das Verfahren die folgenden Schritte aufweist:
- - Einlesen eines ersten Sensorsignalvektors und eines zweiten Sensorsignalvektors, wobei der erste Sensorsignalvektor zumindest einen Messwert eines ersten Sensors einer ersten Sensortechnologie und der zweite Sensorsignalvektor zumindest einen Messwert eines zweiten Sensors einer von der ersten Sensortechnologie unterschiedlichen zweiten Sensortechnologie aufweist, wobei der erste Sensorsignalvektor ein Objekt aus einem Blickwinkel des ersten Sensors repräsentiert und der zweite Sensorsignalvektor das Objekt aus einem Blickwinkel des zweiten Sensors repräsentiert; und
- - Adaptieren eines ersten Netzwerks mit dem ersten Sensorsignalvektor als Eingangsvektor und dem zweiten Sensorsignalvektor als Referenzvektor und Adaptieren eines zweiten Netzwerks mit dem zweiten Sensorsignalvektor als Eingangsvektor und dem ersten Sensorsignalvektor als Referenzvektor; und
- - Trainieren von Parametern eines Entscheidungsnetzwerks unter Verwendung des ersten und zweiten Netzwerks, um das trainierte Entscheidungsnetzwerk zu erhalten.
-
Unter einem Sensorsignalvektor kann ein ein- oder mehrdimensionales Sensorsignal verstanden werden. Unter einer Sensortechnologie kann ein physikalisches Messprinzip verstanden werden, durch welches der Sensor Messwerte physikalischer Größen erfassen kann. Beispielsweise kann eine Sensortechnologie eines Radarsensors auf dem Messprinzip basieren, einen an einem Objekt reflektierte Radarstrahl auszuwerten, um eine dreidimensionale Position und/oder Bewegung des Objektes in Bezug zu dem Radarsensor zu erhalten. Eine Sensortechnologie eines Lidar-Sensors kann beispielsweise auf dem Messprinzip basieren, einen an einem Objekt reflektierten Laserstrahl auszuwerten, um eine dreidimensionale Position und/oder Bewegung des Objektes in Bezug zu dem Lidarsensor zu erfassen. Hierbei kann beispielsweise die mit dem Lidarsensor dreidimensionale erfasste Position n einem kartesischen Koordinaten abgebildet werden, wogegen die mit dem Radarsensor dreidimensional erfasste Position in Kugelkoordinaten abgebildet wird. Ferner sollten sowohl der erste Sensor als auch der zweite Sensor je einem Sensorsignalvektor ausgeben, der ein gleiches Objekt abbildet, jedoch aus dem jeweiligen Blickwinkel des betreffenden Sensors. Denkbar ist jedoch auch, dass der Sensor als ein Bildsensor, beispielsweise eine Kamera oder ein Ultraschallsensor ausgebildet ist und entsprechende Daten als Sensorsignalvektoren liefert. Unter einem Netzwerk wie dem ersten Netzwerk und/oder dem zweiten Netzwerk kann beispielsweise ein trainierbarer Deskriptor verstanden werden, der eine Reduktion der Komplexität und Redundanz des Sensorsignalvektors ermöglicht, jedoch noch eine Extraktion von Merkmalen zulässt, die einen Rückschluss auf das Vorliegen des Objekts eröffnet. Ein solches Netzwerk kann beispielsweise ein Merkmal-lernendes Netzwerk sein. Beispielsweise lässt sich ein solches Netzwerk als ein neuronales Netzwerk, ein künstliches normales Netzwerk oder speziell ein AutoEncoder implementieren. Unter einem Adaptieren kann die Veränderung von zumindest einem Parameter wie beispielsweise einem Gewicht eines Knotens des Netzwerks, verstanden werden. Hierzu kann beispielsweise einer der Sensorsignalvektoren als Eingangssignal bzw. Eingangsvektors verwendet werden, wogegen der andere Sensorsignalvektor als Referenzvektor verwendet wird, sodass das Netzwerk bzw. die Parameter des Netzwerks zu adaptiert oder angepasst werden, dass der erste Sensorsignalvektor auf den zweiten Sensorsignalvektor abgebildet wird und umgekehrt. Unter einem Entscheidungsnetzwerk kann beispielsweise ein verbindendes Netzwerk wie beispielsweise ein erzeugendes generisches Netzwerk (GAN = Generative Adversarial Network) verstanden werden. Ein solches Netzwerk als Entscheidungsnetzwerk kann ebenfalls als ein neuronales Netzwerk oder als eine alternative Struktur aus dem Bereich der künstlichen Intelligenz implementiert sein. Denkbar ist ferner auch, dass das Entscheidungsnetzwerk in Struktur oder Parametern zumindest teilweise identisch oder ähnlich zu einer Struktur oder Parametern den vorstehend genannten Netzwerken ist, oder ein Verbund oder eine Kombination des vorstehend genannten ersten und zweiten Netzwerks enthält.
-
Der hier vorgeschlagene Ansatz basiert auf der Erkenntnis, dass durch das Trainieren der Parameter des Entscheidungsnetzwerks eine deutlich kompaktere und einfachere Form zur Auswertung von Daten von Sensoren unterschiedliche Sensortechnologien möglich wird. Durch die Verknüpfung der Adaption des ersten Netzwerks mit den zwei Sensorsignalvektoren als Eingangsvektor bzw. Referenzvektor und des zweiten Netzwerks mit den zwei Sensorsignalvektoren in umgekehrter Konstellation sowie dem anschließenden Trainieren des Entscheidungsnetzwerks lässt sich somit als Entscheidungsnetzwerk ein sehr allgemeines Modell ermitteln, um bei einer nachfolgenden Anwendung dieses Entscheidungsnetzwerks ein oder mehrere Objekte aus den Sensorsignalvektoren erkennen zu können. Auf diese Weise kann vorteilhaft auf eine Vielzahl von unterschiedlichen Detektionsalgorithmen zur Auswertung der Daten von Sensoren mit unterschiedlichen Sensortechnologien verzichtet werden. Hierdurch lässt sich nicht nur eine Verbesserung bzw. Reduktion des numerischen oder schaltungstechnischen Aufwandes für die Objektdetektion erreichen, sondern auch eine effizientere Ausnutzung des zur Verfügung stehenden Speichers.
-
Gemäß einer Ausführungsform des hier vorgeschlagenen Ansatzes können im Schritt des Trainierens die Parameter des Entscheidungsnetzwerks unter Verwendung von Störgrößen adaptiert werden, die Zustandswerten des ersten Netzwerks und/oder Zustandswerten des zweiten Netzwerks hinzugefügt werden. Eine solche Ausführungsform bietet den Vorteil, eine besonders schnelle und sichere Ermittlung bzw. ein entsprechendes Training der Parameter des Entscheidungsnetzwerks zu ermöglichen, sodass bei einer späteren Benutzung des Entscheidungsnetzwerks Objekte schnell und sicher erkannt werden können, die durch Merkmale in den Sensorsignalvektoren abgebildet sind.
-
Besonders günstig ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Trainierens die Parameter des Entscheidungsnetzwerkes durch eine GAN-Struktur unter Verwendung des ersten und zweiten Netzwerks trainiert werden. Unter einer solchen GAN-Struktur kann die vorstehend genannte Struktur eines erzeugendes generisches Netzwerk (GAN = Generative Adversarial Network) als verbindendes Netzwerk verstanden werden. Ein solches erzeugendes generisches Netzwerk kann als Algorithmus zum nicht-überwachten Lernen verstanden werden. Hierbei umfasst ein solches Netzwerk gemäß der Online-Enzyklopädie Wikipedia beispielsweise zwei künstliche neuronale Netze, die ein Null-Summen-Spiel durchführen, wobei ein erstes Netzwerk als Generator Netzwerkkandidaten erstellt und das zweite Netzwerk als Diskriminator die Kandidaten bewertet. Ziel des Generatornetzwerks ist es hierbei, zu lernen, Ergebnisse nach einer bestimmten Verteilung zu erzeugen. Der Diskriminator wird hingegen darauf trainiert, die Ergebnisse des Generators von den Daten aus der echten, vorgegebenen Verteilung zu unterscheiden. Das Ziel des Generatornetzwerks besteht darin, Ergebnisse zu erzeugen, die der Diskriminator nicht unterscheiden kann. Dadurch soll sich die erzeugte Verteilung nach und nach der echten Verteilung angleichen. Eine derartige Ausführungsform des hier vorgeschlagenen Ansatzes bietet den Vorteil, ein Entscheidungsnetzwerk zu schaffen, um aus den Merkmalen der Sensorsignalvektoren möglichst schnell und eindeutig Informationen über das Vorliegen und/oder die Position und/oder die Geschwindigkeit des Objektes in den Sensordaten extrahieren zu können.
-
Gemäß einer weiteren Ausführungsform können im Schritt des Trainierens die Parameter des Entscheidungsnetzwerks derart adaptiert werden, dass das erste Netzwerk zur Ermittlung von Eingangswerten des Entscheidungsnetzwerks und das zweite Netzwerk zur Bereitstellung von Referenzvariablen des Entscheidungsnetzwerkes verwendet wird. Alternativ oder zusätzlich können im Schritt des Adaptierens die Parameter des Entscheidungsnetzwerks derart adaptiert werden, dass das zweite Netzwerk zur Ermittlung von Eingangswerten des Entscheidungsnetzwerks und das erste Netzwerk zur Bereitstellung von Referenzvariablen des Entscheidungsnetzwerkes verwendet wird. Eine solche Ausführungsform des hier vorgestellten Ansatzes bietet den Vorteil, das Entscheidungsnetzwerk schnell und präzise zu trainieren, um in einem nachfolgenden Einsatz zuverlässig Objekte oder Merkmale aus den Sensorsignalvektoren extrahieren zu können.
-
Besonders günstig ist eine Ausführungsform des hier vorgeschlagenen Ansatzes, bei der im Schritt des Trainierens die Parameter des Entscheidungsnetzwerkes zunächst unter Verwendung des ersten Netzwerks zur Ermittlung von Eingangswerten des Entscheidungsnetzwerks und des zweiten Netzwerks zur Bereitstellung von Referenzvariablen des Entscheidungsnetzwerkes verwendet werden und hieran anschließend unter Verwendung des zweiten Netzwerks zur Ermittlung von Eingangswerten des Entscheidungsnetzwerks und des ersten Netzwerks zur Bereitstellung von Referenzvariablen des Entscheidungsnetzwerkes verwendet werden. Durch eine solche Kaskade von Trainingsschritten lässt sich das Training des Entscheidungsnetzwerks weiter hinsichtlich der Präzision bei der Extraktion von Merkmalen bzw. Objekten für den späteren Einsatz verbessern.
-
Um möglichst schnell das trainierte Entscheidungsnetzwerk zu ermitteln, kann gemäß einer weiteren Ausführungsform im Schritt des Adaptierens das erste und zweite Netzwerk zeitgleich und/oder parallel trainiert werden.
-
Günstig ist weiterhin einer Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Adaptierens das zu adaptierende erste und/oder zweite Netzwerk als neuronales Netzwerk, insbesondere als künstliches neuronales Netzwerk und/oder als Autoencoder ausgestaltet ist. Eine solche Ausführungsform bietet den Vorteil, ausgereifte Algorithmen oder Strukturen für das erste und/oder zweite Netzwerk verwenden zu können, die mit hoher Präzision Eingangswerte bzw. Referenzwerte liefern können, mit denen nachfolgend das Entscheidungsnetzwerk trainiert wird.
-
Besonders vorteilhaft lässt sich der hier vorgestellte Ansatz im Bereich der Auswertung von Signalen von Fahrzeugsensoren einsetzen, um auch eine Reduktion von Datenraten zu erreichen, die beispielsweise für mobile Anwendungen wie der Lokalisierung eines Fahrzeugs unter Verwendung einer in einem zentralen Rechner gespeicherten Referenzkarte erforderlich sind. Hierzu können gemäß einer weiteren Ausführungsform des hier vorgestellten Ansatzes im Schritt des Einlesens als erster Sensorsignalvektor Messwerte des ersten Sensors eines Fahrzeugs eingelesen werden und als zweiter Sensorsignalvektor Messwerte des zweiten Sensors eines Fahrzeugs eingelesen werden, insbesondere wobei der erste Sensor als ein Radarsensor ausgebildet ist und der zweite Sensor als ein Lidarsensor ausgebildet ist oder wobei der erste Sensor als ein Lidarsensor ausgebildet ist und der zweite Sensor als ein Radarsensor ausgebildet ist.
-
Besonders günstig und einfach umsetzbar ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der im Schritt des Einlesens als Messwert eines als Radarsensor ausgebildeten Sensors ein eine in Bezug auf das Objekt erfasste Distanz, einen Azimutwinkel, einen Höhenwinkel, einen Dopplerfrequenz-Verschiebungswert zwischen einem ausgesendeten und einem vom Objekt empfangenen Radarstrahl oder ein einen Radar-Querschnitt repräsentierender Wert eingelesen wird. Alternativ oder zusätzlich kann im Schritt des Einlesens als Messwert eines als Lidarsensor ausgebildeten Sensor ein einen Intensitätswert eines von Objekt reflektieren Laserstrahls, einen SNR-Wert, einen x-Wert, einen y-Wert einen z-Wert eines vom Objekt reflektierten Laserstrahls in Bezug auf ein Sensorkoordinatensystem repräsentierender Wert eingelesen werden.
-
Gemäß einer weiteren Ausführungsform lassen sich die Vorteile des hier vorgestellten Ansatzes als Verfahren zur Erkennung von zumindest einem Objekt aus Daten zumindest eines ersten Sensorsignalvektors und/oder eines zweiten Sensorsignalvektors implementieren. Dabei umfasst das Verfahren die folgenden Schritte: Einlesen des ersten Sensorsignalvektors und des zweiten Sensorsignalvektors, wobei der erste Sensorsignalvektor zumindest einen Messwert eines ersten Sensors einer ersten Sensortechnologie und der zweite Sensorsignalvektor zumindest einen Messwert eines zweiten Sensors einer von der ersten Sensortechnologie unterschiedlichen zweiten Sensortechnologie aufweist, wobei der erste Sensorsignalvektor ein Objekt aus einem Blickwinkel des ersten Sensors repräsentiert und der zweite Signalvektor das Objekt aus einem Blickwinkel des zweiten Sensors repräsentiert, wobei im Schritt des Einlesens ferner ein gemäß einer hier vorgestellten Variante trainiertes Entscheidungsnetzwerk eingelesen wird; und Detektieren des Objektes aus dem ersten und/oder dem zweiten Sensorsignalvektor als Eingangsvektor des trainierten Entscheidungsnetzwerkes.
-
Durch eine solche Ausführungsform lässt sich das zuvor trainierte Entscheidungsnetzwerk sehr effizient einsetzen, sodass beispielsweise die vorstehend genannte Reduktion der Datenrate bei der Übertragung von Merkmalen oder erkannten Objekten sehr einfach realisiert werden kann.
-
Besonders effizient ist eine Ausführungsform des hier vorgestellten Ansatzes, bei der ein Schritt des Markierens des detektierten Objektes in einer eine Umgebung des ersten und/oder zweiten Sensors repräsentierenden Karte vorgesehen ist. Auf diese Weise lassen sich die erkannten Objekte beispielsweise für eine spätere Auswertung oder Übertragung der Karte in diese integrieren, sodass beispielsweise weitere Fahrzeuge deren Betrieb oder Funktion auf die erkannten Objekt in der Umgebung des Fahrzeugs abstimmen können.
-
Hierzu kann beispielsweise gemäß einer weiteren Ausführungsform im Schritt des Einlesens der erste und/oder zweite Sensorsignalvektor eingelesen werden, der von einem entsprechenden ersten und zweiten Sensor eines Fahrzeugs bereitgestellt wurden. Auf diese Weise kann sichergestellt werden, dass beispielsweise unterschiedliche Merkmale des gleichen Objektes, die mittels unterschiedlichen Sensortechnologien in unterschiedlichen Umgebungsszenarien auch unterschiedlichen deutlich abgebildet werden können, zu einer präzisen Erkennung des Objektes führen, unabhängig von dem tatsächlichen aktuellen Umgebungsszenario um das Fahrzeug.
-
Auch kann der hier vorgestellte Ansatz als Vorrichtung umgesetzt sein, die eingerichtet ist, um die Schritte einer Variante des Verfahrens zur Ermittlung eines trainierten Entscheidungsnetzwerks und/oder die Schritte einer Variante des Verfahrens zur Erkennung von zumindest einem Objekt aus Daten zumindest eines ersten Sensorsignalvektors und/oder eines zweiten Sensorsignalvektors in entsprechenden Einheiten auszuführen und/oder anzusteuern.
-
Eine Vorrichtung kann ein elektrisches Gerät sein, das elektrische Signale, beispielsweise Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine oder mehrere geeignete Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein können. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil einer integrierten Schaltung sein, in der Funktionen der Vorrichtung umgesetzt sind. Die Schnittstellen können auch eigene, integrierte Schaltkreise sein oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel zur Erkennung von zumindest einem Objekt;
- 2 ein Blockschaltbild eines beispielhaften AutoEncoders als Ausführungsbeispiel eines Teils einer für das erste und/oder zweite Netzwerk verwendbaren Netzwerk-Architektur;
- 3 eine schematische Darstellung der Vorgehensweise gemäß einem Ausführungsbeispiel für einen ersten Schritt des hier vorgeschlagenen Verfahrens bzw. Ansatzes;
- 4 eine schematische Darstellung einer Vorgehensweise gemäß einem Ausführungsbeispiel für einen zweiten Schritt des hier vorgeschlagenen Verfahrens bzw. Ansatzes;
- 5 eine schematische Darstellung einer Struktur oder Arbeitsweise des Verknüpfungsnetzwerkes;
- 6 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Ermittlung eines trainierten Entscheidungsnetzwerks; und
- 7 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur Erkennung von zumindest einem Objekt.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 105 zur Erkennung von zumindest einem Objekt 110 aus Daten zumindest eines ersten Sensorsignalvektors ST1 und/oder eines zweiten Sensorsignalvektors ST2. Bei dem Objekt 110 kann es sich beispielsweise um ein weiteres Fahrzeug handeln, welches durch den ersten Sensor 115 und/oder den zweiten Sensor 120 zu erkennen und beispielsweise in einem autonomen Fahrbetrieb des Fahrzeugs 100 zu berücksichtigen ist. Der erste Sensorsignalvektor ST1 wird von einem ersten Sensor 115 bereitgestellt, der vorliegend beispielsweise als Radarsensors ausgebildet ist. Der zweite Sensorsignalvektor ST2 wird von einem zweiten Sensor 120 bereitgestellt, der vorliegend beispielsweise als LIDAR-Sensor ausgebildet ist. Der erste Sensor 115 und der zweite Sensor 120 sind somit in jeweils unterschiedlichen Sensortechnologien ausgebildet, sodass beispielsweise eine Position und Geschwindigkeit des Objekts 110 in Bezug zum ersten Sensor 115 und/oder dem zweiten Sensor 120 durch unterschiedliche physikalische Messverfahren erfasst wird, sodass beispielsweise auch bei Störungen der Messung von Parametern zu dem Objekt 110 bei der Messung durch einen Sensor eine solche Störung möglicherweise durch die Messung der Parameter zu Objekt 110 durch den zweiten Sensor reduziert oder kompensiert werden kann. Beispielsweise könnte durch ein Auftreten von Nebel eine Messung mit dem als LIDAR-Sensor ausgebildeten zweiten Sensor 120 störungsbehaftet sein, wogegen eine Messung mit dem als Radarsensors ausgebildeten ersten Sensor 115 aufgrund des unterschiedlichen Messverfahrens nicht störungsbehaftet ist.
-
Der erste Sensorsignalvektor ST1 wird nun einem ersten Netzwerk 125 zugeführt, in welchem eine Reduktion der Komplexität des ersten Sensorsignalvektors ST1 ausgeführt wird, um aus einem Zustandswerten eines ersten Deskriptors 126 entsprechenden ersten Ausgangssignal 127 des ersten Netzwerks 125 einen Rückschluss auf Merkmale oder Parameter des Objekts 110 in Bezug zum ersten Sensor 115 (beispielsweise einen Abstand oder Positionen des Objekts 100 in Bezug zum ersten Sensor 115) schließen zu können Der zweite Sensorsignalvektor ST2 wird nun einem zweiten Netzwerk 130 zugeführt, in welchem eine Reduktion der Komplexität des zweiten Sensorsignalvektors ST2 ausgeführt wird, um aus einem Zustandswerten eines zweiten Deskriptors 131 entsprechenden zweiten Ausgangssignal 132 des zweiten Netzwerks 130 einen Rückschluss auf Merkmale oder Parameter des Objekts 110 in Bezug zum zweiten Sensor 120 (beispielsweise einen Abstand oder Positionen des Objekts 100 in Bezug zum zweiten Sensor 120) schließen zu können. Hierbei kann das erste Netzwerk 125 und das zweite Netzwerk 130 so trainiert sein, dass aus dem ersten Ausgangssignal 127 kein Rückschluss mehr auf die Sensortechnologie des ersten Sensors 115 möglich ist und/oder zweiten Ausgangssignal 132 kein Rückschluss auf die Sensortechnologie des zweiten Sensors 120 möglich ist. Auf diese Weise lässt sich eine allgemeine Darstellung des Objekts 110 bzw. der Parameter des Objekts 110 in Bezug auf den ersten Sensor 115 bzw. zweiten Sensor 120 erreichen, die in einer nachfolgenden Einheit 135 zum Detektieren ausgenutzt werden kann, sodass das Objekt 110 aus dem ersten Sensorsignalvektor ST1 und/oder der zweiten Sensorsignalvektor ST2 detektiert werden kann. Das erste Netzwerk 125 und das zweite Netzwerk 130 können hierbei Teil des trainierten Entscheidungsnetzwerks 140 sein. In der Einheit 135 zum Detektieren kann in einer ersten Teileinheit 145 ein Merkmalsextraktor realisiert sein, der beispielsweise aus dem ersten Ausgangssignal 127 und/oder dem zweiten Ausgangssignal 132 Merkmale des Objekts 110 in Bezug zum ersten Sensor 115 und/oder dem zweiten Sensor 120 extrahieren kann, wie beispielsweise einen Abstand, eine Position, eine Größe oder eine Bewegung dieses Objekts 110 in Bezug zu dem entsprechenden Sensor. In einer Kartenmanagementeinheit 150 als einer weiteren Teileinheit der Einheit 135 zum Detektieren können dann die vom Merkmalsextraktor 150 extrahierten Merkmale eingelesen und beispielsweise in einer entsprechenden digitalen Karte 155 abgelegt werden, sodass beispielsweise für einen weiteren Betrieb des Fahrzeugs 100 eine Information vorliegt, an welcher Position sich das Objekt 110 befindet. Denkbar ist auch, dass von der Einheit 135 zum Detektieren ein entsprechendes Merkmalssignal 160 ausgegeben wird, welches beispielsweise ein von dem Merkmalsextraktor 150 extrahiertes Merkmal direkt an andere oder weitere Komponenten des Fahrzeugs 100 weiterleitet.
-
Um nun eine besonders einfache Merkmalserkennung zu ermöglichen, wird vorteilhafterweise ein ein trainiertes Entscheidungsnetzwerk 140 verwendet, in dem ein Sensortechnologie-unabhängiger Deskriptor als der erste Deskriptor 126 und zweite Deskriptor 131 verwendet wird, um beispielsweise ein Kartenmatching unter Verwendung zumindest eines Merkmalerkenners auszuführen und die entsprechenden Informationen in der Karte 155 zu hinterlegen. Hierdurch kann dann beispielsweise auch aus lediglich einem der Sensorsignalvektoren ST1 bzw. ST2 der jeweiligen Sensoren 115 bzw. 120 die auf das Objekt 110 hinweisenden Merkmale extrahiert werden, sodass einerseits vermieden werden kann, für jeden Sensor ein sensorspezifisches Netzwerk oder einen entsprechenden Deskriptor vorhalten zu müssen als auch zusätzlich Hinweise zu erhalten, die bei einer Störung eines der Sensoren 115 bzw. 120 nicht erhalten würden. Um einen solchen generalisierten Deskriptor zu erhalten, wird für jede Sensortechnologie ein Merkmal-Extraktionsnetzwerk (d. h. die erste Hälfte des Merkmal-lernenden Netzwerks 125 bzw. 130) verwendet, um die Merkmale zu extrahieren, die für die Merkmalserkennung aus dem Radar-/LIDAR-/et cetera Eingangssignal als Sensorsignalvektor ST1 bzw. ST2 verwendet wurden. Der Vorteil des hier vorgeschlagenen Ansatzes/Verfahrens gegenüber einer individuellen Merkmalsextraktion/Merkmalsrepräsentation ist eine deutlich kompaktere Karte bzw. Algorithmus, da nur die eine Merkmalsdarstellung bzw. der entsprechende Deskriptor abgespeichert werden braucht, die/der die mit beiden Sensorsignal-Deskriptoren übereinstimmt. Eine andere Anwendung ist die Assoziierung von Merkmalen zwischen Sensorsignalvektoren für Fusionsapplikationen. In bisheringen Applikationen wird dagegen für jede Sensortechnologie eine individuelle Lokalisierungsschicht mit ihren Merkmalen in einer Karte gespeichert. Der hier vorgeschlagene Ansatz bzw. das hier vorgestellte Verfahren reduziert die Menge von Daten durch Verwendung eines generischen Merkmalsdeskriptors, der sensortechnologie-unabhängig ist und aus Sensordaten wie LIDAR-/Radar-/et cetera Sensordaten extrahiert werden kann.
-
Um nun das Entscheidungsnetzwerk 140 bzw. das erste Netzwerk 125 und/oder das zweite Netzwerk 130 derart auszulegen, dass das entsprechende erste Ausgangssignal 127 und/oder das zweite Ausgangssignal 132 aus einem sensortechnologieunabhängigen Deskriptor ermittelt werden können, ist in einem vorangegangenen Stadium ein Training der entsprechenden bzw. betreffenden Komponenten auszuführen. Dieses Training kann beispielsweise in einer Laborumgebung in einer separaten Vorrichtung außerhalb des Fahrzeugs 100 aus 1 ausgeführt weden, jedoch beispielsweise unter Verwendung von exemplarischen Signalwerten von zwei Sensoren, deren Sensortechnologie unterschiedlich ist und die bei einer Fahrt eines Fahrzeugs beispielsweise aufgezeichnet wurden. Zur Verbesserung des Verständnisses des hier vorgeschlagenen Ansatzes wird daher zunächst allgemein auf die Funktionen eines Merkmal-lernenden Netzwerks eingegangen, welches als erstes Netzwerk 125 oder als zweites Netzwerk 130 aus der 1 eingesetzt werden kann.
-
Der hier vorgestellte Ansatz nutzt eine Architektur eines sogenannten „Merkmal-lernenden Netzwerks“. Ein Beispiel für eine solche Architektur könnte ein AutoEncoder sein, wie er nachfolgend näher beschrieben ist.
-
2 zeigt ein Blockschaltbild eines beispielhaften AutoEncoders 200 als Ausführungsbeispiel eines Teils einer für das erste und/oder zweite Netzwerk verwendbaren Netzwerk-Architektur mit einem Encoder 210, einem Flaschenhals 215 und einem Decoder 220. Der Encoder 210 leistet eine Reduktion einer Dimension des Eingangsraums, also des Signalraums der Eingangsgröße x durch die Verwendung von convolution layers, wie sie beispielsweise neuronalen Netzen Einsatz finden. Der nächste Teil dieser Architektur ist der „Flaschenhals“ 215, welcher die höchste Reduktion der Dimension des Eingangs x darstellt. Diese Darstellung der Eingangsgröße x in einer niedrigen Dimension wird auch oft „Merkmalsvektor“ oder „Deskriptor“ genannt. In einem Trainingsschritt des Netzwerks lernt das Netzwerk, hier der AutoEncoder 200, wie das aktuelle Eingangssignal x nur unter Verwendung eines Merkmalsvektor/Deskriptors mit niedriger Dimension repräsentiert oder rekonstruiert wird. Der nächste Teil der Netzwerkarchitektur ist der „Decoder“ 220, der den Dimensionsraum Schritt-für-Schritt vergrößert, um ein rekonstruiertes Eingangssignal x' zu erhalten, das günstigerweise die gleiche Dimension wie das Eingangssignal x erreicht. Im Idealfall ist das resultierende Ergebnis des Decoder x' identisch mit dem Eingang x, wie es in der 2 dargestellt ist. Für den hier vorgestellten Ansatz werden nun das erste Netzwerk 125 und das zweite Netzwerk 130 verwendet, die den Komponenten des Encoders 210 und des Flaschenhalses 215 entsprechen, in dem die komplexitätsreduzierte Varianten des Eingangssignals x enthalten ist. Beispielsweise kann der Inhalt des Flaschenhalses 215 dann dem ersten Ausgangssignal 127 oder dem zweiten Ausgangssignal 132 entsprechend, wenn das erste Netzwerk 125 und/oder das zweite Netzwerk 130 entsprechend einer Konfiguration eines in der 2 dargestellten Netzwerks 230 entsprechen.
-
3 zeigt eine schematische Darstellung einer Vorgehensweise gemäß einem Ausführungsbeispiel für einen ersten Schritt des hier vorgeschlagenen Verfahrens bzw. Ansatzes, in welchem zumindest zwei Merkmal-lernende Netzwerke wie das erste Netzwerk 125 und das zweite Netzwerk 130 aus der 1 zu trainieren bzw. adaptieren sind. Dem ersten Merkmal-lernenden Netzwerk 125 wird als Eingangsgröße der Sensorsignalvektor ST1 zugeführt, wobei dann das erste Netzwerk 125 gegen die Daten/Messwerte des zweiten Sensorsignalvektor ST2 trainiert wird; es wird somit der zweite Sensorsignalvektor ST2 als Referenzvektor und der erste Sensorsignalvektor ST1 als Eingangsvektor für das erste Netzwerk 125 verwendet. Dem zweiten Merkmal-lernenden Netzwerk 130 wird als Eingangsgröße der Sensorsignalvektor ST2 zugefügt, wobei dann das zweite Netzwerk 130 gegen die Daten/Messwerte aus dem ersten Sensorsignalvektor ST1 trainiert werden. Das Ziel eines solchen Netzwerk-Trainings ist es, dass die erlernten Deskriptoren/Merkmalsvektoren 300a bzw. 300b in der Lage sind, die entsprechende Information des anderen Sensorsignalvektors in der ursprünglichen Dimension und Auflösung vollständig repräsentieren/rekonstruieren zu können. Es soll somit durch das erste Netzwerk 125 der erste Sensorsignalvektor ST1 auf einen ersten Deskriptor 300a reduziert werden, sodass aus diesem ersten Deskriptor 300a der zweite Sensorsignalvektor ST2 generiert werden kann. Alternativ oder zusätzlich soll durch das zweite Netzwerk 130 der zweite Sensorsignalvektor ST2 auf einen zweiten Deskriptor 300b reduziert werden, sodass aus diesem zweiten Deskriptor 300b der erste Sensorsignalvektor ST1 generiert werden kann.
-
Die typischen Eingangssignale bzw. Messwerte eines ersten Sensorsignalvektors ST1 als Radarsensor sind die Parameter r, Az, El, r', RCS (r= Distanz, Abstand, Az = Azimut, El = Höhenwinkel, r' = Doppler-Verschiebungswert, RCS = Radar-Querschnittswert) pro Erkennung/Ziel bzw. Objekt. Aktuelle Hochleistungsradarsensoren erkennen hierbei ferner etwa 6000 Ziele pro Erkennung in jedem Messzyklus.
-
Die typischen Eingangssignale bzw. Messwerte eines zweiten Sensorsignalvektors ST2 als LIDAR-Sensors sind X, Y, Z, I, SNR (X = X-Position, Y = Y-Position, Z = Z-Position bezogen auf ein kartesisches Koordinatensystem des betreffenden Sensors, I = Intensität des reflektierten Laserstrahls, SNR = Signal-zu-Rauschverhältnis) pro Erkennung/Ziel bzw. Objekt. Aktuelle Hochleistungslidarsensoren erkennen etwa 100.000 Ziele pro Detektion in jedem Messzyklus.
-
4 zeigt eine schematische Darstellung einer Vorgehensweise gemäß einem Ausführungsbeispiel für einen zweiten Schritt des hier vorgeschlagenen Verfahrens bzw. Ansatzes, in welchem mehrere Deskriptoren wie die Deskriptoren 300a und 300b zu einer gemeinsamen Darstellung als Deskriptor 400 generalisiert werden, welcher dann Eingangswerte eines Objekts 100 von einem beliebigen Sensor wie den Sensoren 115 und 120 aufnehmen kann und auf die gleiche Weise für die betreffenden Sensorsignalvektoren ST1 und ST2 beschreibt. Dieser generalisierte Deskriptor 400 kann dann als erster Deskriptor 126 oder zweiter Deskriptor 131 in dem trainierten Entscheidungsnetzwerk 140 aus der 1 verwendet werden. Um eine solche generalisierte Darstellung der Deskriptoren 300a bzw. 300b zu erreichen, wird ein ein Association Network (= Verknüpfungsnetzwerk) 410 verwendet, um aus Ausgangswerten der beiden Merkmal-lernenden Netzwerke 125 und 120 von Eingangswerten, als den Sensorsignalvektoren ST1 und ST2 Merkmale für das gleiche Objekt unterscheiden zu können. Dieser Merkmale werden dann in dem generalisierten Deskriptor 400 abgelegt bzw. entsprechend in den Netzwerken 115 und 120 verknüpft, um eine entsprechende Komplexitätsreduktion aus den Sensorsignalvektoren ST1 und ST2 auf den generalisierten Deskriptor 400 zu erhalten, der dann für die Auswertung sowohl des Sensorsignalvektors ST1 als auch des Sensorsignalvektors ST2 verwendet werden kann.
-
5 zeigt eine schematische Darstellung einer Struktur oder Arbeitsweise des Verknüpfungsnetzwerkes 410, welches beispielsweise einer GAN-Struktur (GAN = engl. Generative Adversarial Networks = erzeugendes generisches Netzwerk) entsprechen kann. In dem nochmaligen Training der Deskriptoren 300a bzw. 300b durch die GAN-Struktur 410 kann dann beispielsweise der erste Deskriptor 300a als Trainingssatz und der zweite Deskriptor 300b als Referenzsatz verwendet werden, auf welchen hin der Trainingssatz zu optimieren ist. Allerdings wird dem Referenzsatz eine Störungen simulierende Verlustfunktion 500 hinzugefügt. Auf dieser Weise wird ein Diskriminator 510 derart angelernt, sodass die in dem zweiten Deskriptor 300b abgebildeten Objekte des entsprechenden Merkmal-lernenden Netzwerks, die einen zu großen Fehler enthalten, durch den Diskriminator 510 erkannt und verworfen. Hierdurch lässt sich die Güte der Merkmalserkennung durch das hier verwendete Diskriminatornetzwerks erhöhen, um die die Ähnlichkeit der Deskriptoren 300a und 300b zu maximieren und hieraus den generalisierten Deskriptor 400 zu erhalten. Die Merkmal-lernenden Netzwerke 125 und 130 können in dem Verknüpfungsnetzwerk 410 seriell oder parallel trainiert werden, d. h. es kann zunächst der erste Deskriptor 300a als Trainingssatz und der zweite Deskriptor 300b als Referenzsatz verwendet werden und parallel oder anschließend auch noch der der zweite Deskriptor 300b als Trainingssatz und der erste Deskriptor 300a als Referenzsatz verwendet werden. In anderen Worten wird beispielsweise das erste Merkmal-lernende Netzwerk 125 nochmals trainiert, während das zweite Merkmal-lernende Netzwerk 130 als Referenz verwendet wird und umgekehrt.
-
Weiterhin können Daten von anderen Sensoren wie beispielsweise Kameras oder Ultraschall ebenfalls verwendet werden. Andere Methoden/Verfahren für Merkmal-lernende Netzwerke und Verknüpfungsnetzwerk können ebenfalls angewendet werden.
-
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 600 zur Ermittlung eines trainierten Entscheidungsnetzwerks. Das Verfahren umfast einen Schritt 610 des Einlesens eines ersten Sensorsignalvektors und eines zweiten Sensorsignalvektors, wobei der erste Sensorsignalvektor zumindest einen Messwert eines ersten Sensors einer ersten Sensortechnologie und der zweite Sensorsignalvektor zumindest einen Messwert eines zweiten Sensors einer von der ersten Sensortechnologie unterschiedlichen zweiten Sensortechnologie aufweist, wobei der erste Sensorsignalvektor ein Objekt aus einem Blickwinkel des ersten Sensors repräsentiert und der zweite Sensorsignalvektor das Objekt aus einem Blickwinkel des zweiten Sensors repräsentiert. Ferner umfasst das Verfahren 600 einen Schritt 620 des Adaptierens eines ersten Netzwerks mit dem ersten Sensorsignalvektor als Eingangsvektor und dem zweiten Sensorsignalvektor als Referenzvektor und Adaptieren eines zweiten Netzwerks mit dem zweiten Sensorsignalvektor als Eingangsvektor und dem ersten Sensorsignalvektor als Referenzvektor. Schließlich umfasst das Verfahren 600 einen Schritt 630 des Trainierens von Parametern eines Entscheidungsnetzwerks unter Verwendung des ersten und zweiten Netzwerks, um das trainierte Entscheidungsnetzwerk zu erhalten.
-
7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 700 zur Erkennung von zumindest einem Objekt aus Daten zumindest eines ersten Sensorsignalvektors und/oder eines zweiten Sensorsignalvektors. Das Verfahren 700 umfasst einen Schritt 710 des Einlesens des ersten Sensorsignalvektors und des zweiten Sensorsignalvektors, wobei der erste Sensorsignalvektor zumindest einen Messwert eines ersten Sensors einer ersten Sensortechnologie und der zweite Sensorsignalvektor zumindest einen Messwert eines zweiten Sensors einer von der ersten Sensortechnologie unterschiedlichen zweiten Sensortechnologie aufweist, wobei der erste Sensorsignalvektor ein Objekt aus einem Blickwinkel des ersten Sensors repräsentiert und der zweite Signalvektor das Objekt aus einem Blickwinkel des zweiten Sensors repräsentiert, wobei im Schritt des Einlesens ferner ein gemäß einer hier beschriebenen Variante trainiertes Entscheidungsnetzwerk eingelesen wird. Weiterhin umfasst das Verfahren 700 einen Schritt 720 des Detektierens des Objektes aus dem ersten und/oder dem zweiten Sensorsignalvektor als Eingangsvektoren des trainierten Entscheidungsnetzwerkes. Ferner kann ein Schritt 730 des Markierens des detektierten Objektes in einer eine Umgebung des ersten und/oder zweiten Sensors repräsentierenden Karte vorgesehen sein.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“ Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
Bezugszeichenliste
-
- 100
- Fahrzeug
- 105
- Vorrichtung zur Erkennung von zumindest einem Objekt
- 110
- Objekt
- 115
- erster Sensor
- ST1
- erster Sensorsignalvektor
- 120
- zweiter Sensor
- 125
- erstes Netzwerk
- 126
- erster Deskriptor
- 127
- erstes Ausgangssignal
- ST2
- zweiter Sensorsignalvektor
- 130
- zweites Netzwerk
- 131
- zweiter Deskriptor
- 132
- zweites Ausgangssignal
- 135
- Einheit zur Detektion
- 140
- Entscheidungsnetzwerk
- 145
- Merkmalsextraktor
- 150
- Kartenmanagementeinheit
- 155
- digitale Karte
- 160
- Merkmalssignal
- 200
- AutoEncoder
- 210
- Encoder
- 215
- Flaschenhals
- 220
- Decoder
- 230
- Netzwerk
- 300a
- erster Deskriptor
- 300b
- zweiter Deskriptor
- 400
- generalisierter Deskriptor
- 410
- Verknüpfungsnetzwerk
- 500
- Verlustfunktion
- 510
- Diskriminator
- 600
- Verfahren zur Ermittlung eines trainierten Entscheidungsnetzwerks
- 610
- Schritt des Einlesens
- 620
- Schritt des Adaptierens
- 630
- Schritt des Trainierens
- 700
- Verfahren zur Erkennung von zumindest einem Objekt
- 710
- Schritt des Einlesens
- 720
- Schritt des Detektierens
