-
Die Erfindung betrifft die synthetische Erzeugung von Messdaten, insbesondere von Daten, die Radar, LIDAR, Ultraschall und ähnlichen physikalischen Messmodalitäten entsprechen.
-
Hintergrund
-
Um ein Fahrzeug durch Straßenverkehr auf eine wenigstens teilweise automatisierte Weise zu steuern, ist es notwendig, physikalische Messdaten aus der Umgebung des Fahrzeugs zu erfassen und diese Daten bezüglich anderer Verkehrsteilnehmer, Fahrstreifengrenzen oder einer beliebigen anderen Art von Objekt, dessen Anwesenheit eine Veränderung der Trajektorie des Fahrzeugs erforderlich machen könnte, auszuwerten.
-
Das Erfassen von Objekten durch Radar ist unabhängig von Beleuchtungsbedingungen möglich. Außerdem liefern Radardaten den Abstand zu Objekten und die Geschwindigkeit von Objekten unmittelbar. Dies sind unverzichtbare Informationen zum Ermitteln, ob ein Fahrzeug mit einem detektierten Objekt kollidieren könnte.
-
Wenn ein Maschinenlernmodul dazu trainiert werden soll, Objekte basierend auf Radarmessungen zu erkennen, sind die Trainingsdaten für das notwendige Training eine knappe Ressource. Wie in der deutschen Patentanmeldung
DE 10 2018 204 494 B3 ausführlich beschrieben ist, ist, wenn Trainingsdaten von Menschen bezeichnet werden müssen, um ein überwachtes Lernen durchzuführen, diese Aufgabe schwieriger als für Bilder, weil es viel weniger intuitiv ist, Objekte aus Radarsignalen zu erkennen. Weil es viele Faktoren gibt, die die Propagation von Radarwellen beeinflussen, erfordert eine Objekterkennung basierend auf Radardaten außerdem tendenziell mehr Trainingsdaten als eine Objekterkennung basierend auf optischen Bildern. Das Patent
DE 10 2018 204 494 B3 schlägt daher vor, synthetische Radardaten unter Verwendung eines erzeugenden gegnerischen Netzwerks, GAN (Generative Adversarial Network), zu erzeugen.
-
Offenbarung der Erfindung
-
Die Erfinder haben ein Verfahren zum Erzeugen realistischer synthetischer Messdaten für eine erste physikalische Bildgebungsmodalität entwickelt. Ein beispielhafter Zweck des Erzeugens solcher realistischer synthetischer Messdaten ist das Verwenden von ihnen anstelle tatsächlicher Messdaten, wenn künstliche neuronale Netze oder andere Maschinenlernmodule trainiert werden. Dies impliziert, dass, wenn eine Aufzeichnung realistischer synthetischer Messdaten beobachtet wird, es üblicherweise schwierig ist, diese von einer Aufzeichnung tatsächlich erfasster Messdaten der gleichen physikalischen Bildgebungsmodalität zu unterscheiden.
-
Diese physikalische Bildgebungsmodalität basiert auf dem Emittieren einer abfragenden Welle zu einem Objekt hin und dem Aufzeichnen einer reflektierten Welle, die von dem Objekt kommt, auf eine Weise, die eine Bestimmung der Laufzeit zwischen der Emission des abfragenden Strahls und der Ankunft der reflektierten Welle ermöglicht. Die abfragende Welle und die reflektierte Welle können in der Form eines direktionalen Strahls transmittiert bzw. empfangen werden.
-
Insbesondere kann die abfragende Welle eine Radarwelle, eine LIDAR-Welle oder eine Ultraschallwelle sein. Insbesondere können die Messdaten der ersten physikalischen Messmodalität Folgendes umfassen:
- • Kombinationen von Winkeln und Abständen zu Stellen auf dem Objekt, die zu der Emission der reflektierten Welle beitragen; und/oder
- • eine Punktwolke der Stellen auf dem Objekt.
-
Diese Messmodalitäten haben gemein, dass die Rohdaten von Menschen viel schwieriger zu interpretieren sind als Bilddaten. Wenn ein Maschinenlernmodell dazu trainiert wird, Objekte, die durch die Messdaten angegeben werden, zu klassifizieren oder Regressionsquantitäten, wie etwa die Geschwindigkeit von Objekten, zu erhalten, ist es daher teurer und zeitaufwendig, Aufzeichnungen von Trainingsdaten mit der „Ground Truth“ (Bodenwirklichkeit) zu bezeichnen, die für die vorliegende Aufgabe relevant ist. Die Möglichkeit, realistische synthetische Messdaten zu erhalten, ermöglicht es, mehr Trainingsdaten für das Training des Maschinenlernmoduls verfügbar zu machen, ohne einen übermäßigen menschlichen Aufwand zum Bezeichnen dieser Daten zu erfordern.
-
Die Messdaten können in einer beliebigen Form vorliegen, die für die beabsichtige Verwendung angemessen ist. Zum Beispiel können die Messdaten Zeitreihendaten oder Transformationen dieser Zeitreihendaten in einen Frequenzraum, wie etwa schnelle Fourier-Transformationen, umfassen.
-
Das Verfahren beginnt mit dem Erhalten einer ersten komprimierten Repräsentation der synthetischen Messdaten in einem ersten latenten Raum. Der erste latente Raum ist mit einem ersten Decodierer assoziiert, der dazu trainiert ist, jedes Element des ersten latenten Raums auf eine Aufzeichnung synthetischer Messdaten abzubilden, die hinsichtlich Aufzeichnungen tatsächlicher Messdaten der ersten physikalischen Messmodalität realistisch sind. Zum Beispiel kann ein Tandem aus einem Codierer und einem Decodierer so trainiert werden, dass, wenn eine Aufzeichnung von tatsächlichen Messdaten durch den Codierer in die erste komprimierte Repräsentation in einem latenten Raum transformiert wird und dann von diesem latenten Raum zurück zu einer Aufzeichnung synthetischer Messdaten transformiert wird, diese Aufzeichnung synthetischer Messdaten die ursprüngliche Aufzeichnung tatsächlicher Messdaten rekonstruiert (oder reproduziert). Selbst wenn ein solches Training in dem Tandem stattfindet, wird nur der erste Decodierer in seinem Trainingszustand zum Durchführen des Verfahrens benötigt sein.
-
Der trainierte erste Decodierer wird auf die erste komprimierte Repräsentation angewandt. Dies ergibt die gesuchten realistischen synthetischen Messdaten.
-
Die Erfinder haben herausgefunden, dass die eher komplexe Aufgabe des Erhaltens realistischer synthetischer Messdaten auf diese Weise auf die viel einfachere Aufgabe des Findens einer angemessenen komprimierten Repräsentation reduziert werden kann. Insbesondere falls die Kompression eine verlustbehaftete ist, kann die komprimierte Repräsentation bezüglich des Volumens der enthaltenen Daten 100-mal oder mehr kleiner als die Aufzeichnung der Messdaten sein. Es ist viel einfacher, etwas in einem Raum zu finden, der eine 100-mal geringere Dimensionalität aufweist. Die durch Radar-, LIDAR- und Ultraschallsensoren erzeugten Rohdaten sind spärlich, d. h. enthalten viel weniger Informationen als durch die jeweiligen Signale repräsentiert werden könnten. Dies ermöglicht eine verlustbehaftete Kompression der Daten ohne irgendwelche wesentlichen Informationen über die abgetastete Szene zu verlieren.
-
Dieser Effekt ist besonders ausgeprägt, falls die erste komprimierte Repräsentation einen Vektor oder Tensor diskreter Variablen umfasst und die Anzahl dieser Variablen geringer als die Anzahl an Variablen in einer Aufzeichnung von Messdaten der ersten physikalischen Messmodalität ist. Zum Beispiel kann die erste komprimierte Repräsentation eine quantisierte Vektorrepräsentation sein, d. h. ein Vektor oder Tensor mit quantisierten Komponenten. Dies engt den Raum, in dem die erste komprimierte Repräsentation zu suchen ist, weiter ein: Da es eine endliche Anzahl an Dimensionen und eine endliche Anzahl an möglichen diskreten Werten entlang jeder Dimension gibt, gibt es eine endliche Anzahl an möglichen komprimierten Repräsentationen.
-
Die erste komprimierte Repräsentation kann unter Verwendung einer beliebigen geeigneten Technik in dem eingeengten Raum gesucht werden. Zum Beispiel können die Variablen in der komprimierten Repräsentation unter Verwendung einer Parameteroptimierungstechnik optimiert werden, um eine Repräsentation zu finden, die auf eine geeignete Aufzeichnung realistischer synthetischer Messdaten abbildet (d. h. eine Aufzeichnung, die, wenn sie beobachtet wird, schwer von tatsächlichen Messdaten zu unterscheiden ist). In dem quantisierten Vektorfall kann sogar eine Brute-Force-Suche des ersten latenten Raums durchführbar sein, falls ausreichend schnell getestet werden kann, ob eine komprimierte Kandidatenrepräsentation auf eine geeignete Aufzeichnung realistischer synthetischer Messdaten abbildet.
-
Nachfolgend sind zwei beispielhafte Verfahren zum Erhalten der ersten komprimierten Repräsentation offenbart. Diese beispielhaften Verfahren berücksichtigen auch, dass der erste latente Raum üblicherweise ein Unterraum des vollständigen Vektorraums ist, der durch sämtliche Variablen aufgespannt wird, die der Decodierer als Eingaben nutzt. Falls zum Beispiel ein Codierer-Decodierer-Tandem trainiert wird und die produzierten komprimierten Repräsentationen durch den Codierer Vektoren mit 100 Komponenten sind, werden nicht alle Vektoren aus diesem 100-dimensionalen Vektorraum in ein sinnvolles Ergebnis decodiert. Aber die Fähigkeit, Vektoren zu finden, die auf geeignete Aufzeichnungen realistischer synthetischer Messdaten abbilden, kann unter Verwendung von weiterem Maschinenlernen trainiert werden.
-
Bei einer ersten beispielhaften Ausführungsform wird eine Probe aus einem Eingaberaum einer Vor-Transformation entnommen, die dazu trainiert ist, jedes Element dieses Eingaberaums auf ein Element des ersten latenten Raums abzubilden. Die Vor-Transformation wird dann auf diese Probe angewandt und dies ergibt die gesuchte erste komprimierte Repräsentation. Die erste komprimierte Repräsentation wird dann auf eine geeignete Aufzeichnung realistischer synthetischer Messdaten abbilden. Auf diese Weise wird die Gesamtaufgabe des Erhaltens realistischer synthetischer Messdaten in zwei Aufgaben aufgeteilt, die der Reihe nach durchgeführt werden können: Trainieren des Codierer-Decodierer-Tandems, um den ersten latenten Raum zu bilden, und dann Trainieren der Vor-Transformation, um Proben (z. B. zufällige Proben) von einem Eingaberaum in Proben umzuwandeln, die Elemente des ersten latenten Raums sind.
-
Zum Beispiel kann die Vor-Transformation speziell wenigstens ein trainiertes autoregressives neuronales Netz umfassen. Dieses neuronale Netz kann zum Beispiel ein faltendes neuronales Netz sein. Ein Beispiel für eine Vor-Transformation, die beliebige Eingabedaten in Elemente eines latenten Raums umwandeln kann, der durch ein Codierer-Decodierer-Tandem erzeugt wird, ist in der Technik als „PixeICNN“ bekannt.
-
Bevorzugt kann die Vor-Transformation mehrere Teile umfassen, so dass unterschiedliche Teile der Vor-Transformation Elemente ihrer jeweiligen Eingaberäume auf entsprechende Ausgaben abbilden, die dann überlagert werden, um die erste komprimierte Repräsentation zu bilden. Zum Beispiel können die unterschiedlichen Teile der Vor-Transformation ihre jeweiligen Eingaben auf unterschiedliche Teile der ersten komprimierten Repräsentation abbilden und sämtliche Teile zusammen bilden die vollständige erste komprimierte Repräsentation. Dies ist insbesondere vorteilhaft, falls die erste komprimierte Repräsentation in eine hierarchische Struktur mit mehreren Ebenen organisiert ist. Die unterschiedlichen Teile der Vor-Transformation können dann trainiert werden, um unterschiedliche Ebenen der ersten komprimierten Repräsentation zu produzieren.
-
Der Vorteil des Aufteilens der Vor-Transformation auf diese Weise ist doppelt.
-
Zuerst gibt es eine größere Flexibilität beim Anhängen von Bedingungen an die gesuchten realistischen synthetischen Messdaten. Zum Beispiel kann die vorliegende Aufgabe nicht das Finden eines beliebigen synthetischen Radarbildes sein, sondern eines, das die Anwesenheit gewisser Objekte angibt. Eine solche Anwesenheit gewisser Objekte kann die „Klassenbezeichnung“ in einer Klassifizierungsaufgabe bilden. Bei einem Beispiel, bei dem die erste komprimierte Repräsentation drei Ebenen (die als eine obere, eine mittlere und eine untere Ebene bezeichnet werden) umfasst, kann ein erstes autoregressives neuronales Netz (z. B. PixelCNN) dazu trainiert werden, jede Ebene der komprimierten Repräsentation herauszufinden. Das Erhalten der oberen Ebene kann auf die Klassenbezeichnung konditioniert werden; das Erhalten der unteren Ebenen kann sowohl auf die Klassenbezeichnung als auch die Ergebnisse der vorhergehenden Ebenen konditioniert werden.
-
Zweitens kann dieses Training parallelisiert werden, weil die Teile der Vor-Transformation getrennt trainiert werden können. Auf diese Weise können die gesamte verfügbare Rechenleistung und der gesamte verfügbare Speicher auf Hardwarebeschleunigern genutzt werden.
-
Bei einer zweiten beispielhaften Ausführungsform ist das Verfahren speziell für einen Domänentransfer von Messdaten konfiguriert. D. h., es werden beginnend von tatsächlichen Messdaten einer zweiten physikalischen Messmodalität synthetische Messdaten der ersten physikalischen Messmodalität gesucht, die eine Szene mit einem im Wesentlichen ähnlichen Inhalt repräsentieren.
-
Zum Beispiel kann diese zweite physikalische Messmodalität insbesondere Aufzeichnen einer räumlich aufgelösten Verteilung der Intensität und/oder der Wellenlänge von Lichtwellen, die auf einen Sensor einfallen, umfassen. Ein solcher Sensor ergibt Bilder, die einfach von Menschen zu interpretieren sind. Es ist daher eine sehr übliche Praxis, Bezeichnungen zu erhalten, die die Typen von Objekten, die in Bildern enthalten sind, repräsentieren, indem die Aufgabe an eine große Arbeiterschaft von Menschen vergeben wird, die die Objekte markieren, die sie in den Bildern erkennen. Es gibt auch viele vorbestehende Sammlungen von bezeichneten Bildern dieser Art. Falls ein solches bezeichnetes Bild zu einer realistischen synthetischen Aufzeichnung von Radardaten domänentransferiert wird, dann ist es von Anfang an bekannt, welche Objekte die Radardaten repräsentieren werden. Mit anderen Worten können beliebige „Ground-Truth“-Bezeichnungen, die an dem Bild angehängt sind, für die Radardaten wiederverwendet werden. Dies ist viel einfacher zu erreichen als eine Bezeichnung der Radardaten durch einen Menschen von Null an. Eine solche menschliche Bezeichnung von Radardaten erfordert mehr Expertise und mehr Zeit als eine menschliche Bezeichnung von Bildern.
-
Um den Domänentransfer zu erzielen, wird ein zweiter trainierter Codierer auf eine Aufzeichnung tatsächlicher Messdaten der zweiten physikalischen Messmodalität angewandt, die von der ersten physikalischen Messmodalität verschieden ist. Zum Beispiel kann diese Aufzeichnung ein Bild umfassen.
-
Das Anwenden des zweiten trainierten Codierers ergibt eine zweite komprimierte Repräsentation der zweiten tatsächlichen Messdaten (z. B. eines Bildes) in einem zweiten latenten Raum. In Analogie zu dem ersten latenten Raum ist dieser zweite latente Raum mit einem zweiten Decodierer assoziiert, der dazu trainiert ist, jedes Element des zweiten latenten Raums auf eine Aufzeichnung synthetischer Messdaten der zweiten Messmodalität abzubilden, die hinsichtlich Aufzeichnungen tatsächlicher Messdaten dieser zweiten physikalischen Messmodalität realistisch sind. Zum Beispiel können der zweite Codierer und der zweite Decodierer in einem Codierer-Decodierer-Tandem trainiert werden, so dass eine Eingabeaufzeichnung von tatsächlichen Messdaten der zweiten Modalität (z. B. eines Bildes) rekonstruiert (oder reproduziert) wird, wenn sie in eine komprimierte Repräsentation in einem latenten Raum durch den Codierer codiert wird und anschließend aus diesem latenten Raum durch den Decodierer decodiert wird. Selbst wenn der zweite Codierer und der zweite Decodierer auf diese Weise in einem Tandem trainiert werden, wird im Verlauf des Verfahrens nur der zweite Codierer in seinem trainierten Zustand benötigt.
-
Eine Domänentransformation wird auf die zweite komprimierte Repräsentation angewandt. Diese Domänentransformation wird dazu trainiert, jedes Element des zweiten latenten Raums auf ein Element des ersten latenten Raums abzubilden. Auf diese Weise wird die gesuchte erste komprimierte Repräsentation erhalten. Der erste Decodierer kann dann auf die erste komprimierte Repräsentation angewandt werden, um das abschließende Ergebnis zu erhalten, nämlich die gesuchten realistischen synthetischen Messdaten der ersten physikalischen Messmodalität.
-
Ähnlich der ersten Ausführungsform wird die Aufgabe des Domänentransfers in die Erzeugung der zweiten komprimierten Repräsentation einerseits und dem tatsächlichen Transfer dieser zweiten komprimierten Repräsentation in den ersten latenten Raum andererseits aufgeteilt. Das Trainieren beider Aufgaben kann wieder der Reihe nach durchgeführt werden und es ist dementsprechend einfacher zu erzielen als ein einziges Training für eine monolithische Abbildung, die direkt von der Aufzeichnung tatsächlicher Messdaten der zweiten Modalität zu der ersten komprimierten Repräsentation in dem ersten latenten Raum führt. Eine Analogie der realen Welt ist hier, dass es viel einfacher ist, vom Boden aus 1 m hoch zu einer ersten Stufe und von dort 1 m höher zu einer nächsten Stufe zu springen, als es ist, auf einmal 2 m hoch zu springen.
-
Unabhängig davon, ob die Aufgabe das Erhalten der realistischen synthetischen Messdaten „von Null an“ (z. B. basierend auf einer willkürlichen Probe, die zufällig aus einem Eingaberaum entnommen wird) oder durch Domänentransfer von einer anderen Messmodalität ist, kann bei einer weiteren besonders vorteilhaften Ausführungsform der erste latente Raum, aus dem die erste komprimierte Repräsentation zu erhalten ist, so gewählt werden, dass die synthetischen Messdaten, auf die der erste Decodierer Elemente des ersten latenten Raums abbildet, konsistent mit wenigstens einer vorbestimmten Bedingung sind. Wie zuvor besprochen, kann diese vorbestimmte Bedingung irgendeine Art von Klassenbezeichnung umfassen, so dass realistische synthetische Messdaten erhalten werden können, die zu speziellen Klassen einer Klassifizierung gehören. Zum Beispiel können Radardaten, die zwei Fahrzeuge auf einem Kollisionskurs und ein Stoppschild zeigen, speziell angefordert werden.
-
Bevorzugt umfasst die vorbestimmte Bedingung insbesondere eine Interaktion der abfragenden Welle mit einem oder mehreren speziellen Objekten und/oder eine oder mehrere Umgebungsbedingungen, die die Propagation der abfragenden Welle und/oder der reflektierten Welle beeinflussen. Zum Beispiel können sich, weil die zur Radarbildgebung verwendete Mikrowellenstrahlung teilweise durch Wasser absorbiert wird, Radardaten ein und derselben Szene ändern, wenn schwerer Regen einsetzt. Ein Objektdetektionssystem für ein Fahrzeug soll in allen Arten von Umgebungsbedingungen zuverlässig arbeiten, sodass Trainingsdaten mit einer gewissen Variabilität bezüglich dieser Umgebungsbedingungen notwendig sind.
-
Durch angemessenes Einstellen der vorbestimmten Bedingung kann das Verfahren verwendet werden, um Trainingsdaten zu erhalten, die alle Arten von Bedingungen und Kombinationen repräsentieren, obwohl nicht alle solche Kombinationen Teil des Trainings bei beliebigen verwendeten Codierern, Decodierern, Vor-Transformationen und Domänen-Transformationen waren. Zum Beispiel kann ein solches Training auf Radardaten verschiedener Typen von Fahrzeugen und verschiedener Typen von Wetterbedingungen basiert worden sein, aber es gibt möglicherweise keine Daten für einen Lamborghini in schwerem Schneefall, weil kein vernünftiger Besitzer eines solch teuren Autos einen Unfall in ungünstigen Winterfahrbedingungen riskieren wird. Mit dem oben beschriebenen Verfahren können diese Radardaten synthetisch erzeugt werden, wobei der Daten-Pool erweitert wird, der für das Training eines Maschinenlernmoduls zur Objektorientierung verwendet werden kann.
-
Dementsprechend kann das Verfahren bei einer weiteren besonders vorteilhaften Ausführungsform ferner Trainieren wenigstens eines Maschinenlernmoduls unter Verwendung der erzeugten realistischen synthetischen Messdaten der ersten physikalischen Messmodalität umfassen. Dieses Maschinenlernmodul soll tatsächliche Messdaten, die von einem Fahrzeug erfasst werden, auf wenigstens einen Klassifizierungs- und/oder Regressionswert abbilden. Dieser Klassifizierungs- und/oder Regressionswert ist zum Betreiben des Fahrzeugs im Straßenverkehr auf eine wenigstens teilweise automatisierte Weise relevant. Insbesondere können die erzeugten realistischen synthetischen Messdaten verwendet werden, um einen bereits existierenden Satz tatsächlicher Messdaten der ersten physikalischen Messmodalität zu erweitern, so dass der finale Datensatz, der für das Training verwendet wird, die gewünschte Variabilität mit Bezug auf unterschiedliche Situationen und Bedingungen aufweist.
-
Wie zuvor besprochen, können Klassen einer Klassifizierung Typen von Objekten betreffen. Insbesondere können die von dem Fahrzeug erlangten Messdaten in Beitrage von unterschiedlichen Objekten „semantisch segmentiert“ werden. Regressionswerte können zum Beispiel Geschwindigkeiten und Richtungen von Objekten, Reibungskoeffizienten zwischen Reifen und der Straße oder den maximalen Bereich im Voraus des Fahrzeugs in der Fahrtrichtung, der durch die Sensoren des Fahrzeugs unter den vorliegenden Bedingungen überwacht werden kann, umfassen.
-
Nachdem es auf diese Weise trainiert wurde, kann das Maschinenlernmodul in einem Fahrzeug eingesetzt werden. Daher kann das Verfahren bei einer weiteren besonders vorteilhaften Ausführungsform ferner Folgendes umfassen:
- • Erlangen von tatsächlichen Messdaten unter Verwendung der ersten physikalischen Messmodalität von einem Fahrzeug;
- • Verarbeiten der erlangten tatsächlichen Messdaten durch das trainierte Maschinenlernmodul, um wenigstens einen Klassifizierungs- und/oder Regressionswert zu erhalten;
- • Berechnen wenigstens eines Betätigungssignals für wenigstens ein System des Fahrzeugs aus dem Klassifizierungs- und/oder Regressionswert; und
- • Betätigen des Systems mit dem Betätigungssignal.
-
Zum Beispiel kann ein Lenksystem und/oder ein Bremssystem bei einer Bestimmung, dass die vorliegend erwartete Trajektorie des Fahrzeugs in Raum und Zeit die Trajektorie eines anderen Fahrzeugs schneidet, das sich im Weg befindet, betätigt werden, um das Fahrzeug zu einem Stopp zu verlangsamen, bevor das andere Fahrzeug erreicht wird, oder um sich auf einen Pfad um das andere Fahrzeug herum zu begeben. In dem Zusammenhang dieser und anderer sicherheitskritischer Anwendungen ermöglicht die Möglichkeit des Erzeugens realistischer synthetischer Messdaten es, die für das Training des Maschinenlernmoduls verwendeten Trainingsdaten zu erweitern, wobei die Variabilität dieser Trainingsdaten verbessert wird. Dies verbessert das Ergebnis des Trainings und dementsprechend auch die Wahrscheinlichkeit, dass das Maschinenlernmodul das Fahrzeug zum Durchführen der korrekten Handlung in einer gegebenen speziellen Verkehrssituation veranlassen wird.
-
Wie zuvor besprochen, kann der erste Decodierer in seinem trainierten Zustand basierend auf tatsächlichen Messdaten ohne Bezeichnung unter Verwendung eines Trainings in dem Stil eines Variationsautocodierers erhalten werden. Die Erfindung betrifft daher auch ein Verfahren zum Trainieren eines ersten Codierers und Decodierers. Das Verfahren umfasst die folgenden Schritte:
- • Erhalten eines Satzes von Aufzeichnungen tatsächlicher Messdaten durch die erste physikalische Messmodalität;
- • Abbilden jeder Aufzeichnung der tatsächlichen Messdaten auf eine erste komprimierte Repräsentation mittels eines ersten trainierbaren Codierers;
- • Abbilden der ersten komprimierten Repräsentation auf eine Aufzeichnung synthetischer Messdaten der ersten physikalischen Messmodalität mittels eines ersten trainierbaren Decodierers; und
- • Optimieren von Parametern, die das Verhalten des ersten Codierers und des Decodierers charakterisieren, mit dem Ziel des Minimierens eines Unterschieds zwischen Aufzeichnungen synthetischer Messdaten und entsprechender Aufzeichnungen tatsächlicher Messdaten.
-
Wie zuvor besprochen, basiert hier diese erste physikalische Messmodalität auf dem Emittieren einer abfragenden Welle zu einem Objekt hin und dem Aufzeichnen einer reflektierten Welle, die von dem Objekt kommt, auf eine Weise, die eine Bestimmung der Laufzeit zwischen der Emission des abfragenden Strahls und der Ankunft der reflektierten Welle ermöglicht. Die abfragende Welle ist eine Radarwelle, eine LIDAR-Welle oder eine Ultraschallwelle.
-
Wie zuvor besprochen, ist das Training des ersten Decodierers unabhängig von dem Training beliebiger weiterer Mittel, wie etwa einer Vor-Transformation oder einer Domänentransformation, das zum Erhalten einer ersten komprimierten Repräsentation verwendet wird. Dies bedeutet, dass, falls die Vor-Transformation zu einer geändert werden soll, die zwischen einem neuen gewünschten Eingaberaum und dem ersten latenten Raum abbildet, das Training des ersten Decodierers immer noch gültig bleibt und nicht wiederholt werden muss. Falls es gewünscht wird, einen Domänentransfer von einer neuen physikalischen Messmodalität zu der ersten physikalischen Messmodalität durchzuführen, wird gleichermaßen eine neue Domänentransformation trainiert werden müssen, aber wird keine Änderung des ersten Decodierers notwendig sein.
-
Die Erfindung stellt auch ein Verfahren zum Trainieren einer Domänentransformation bereit, die verwendet werden kann, um zweite komprimierte Repräsentationen tatsächlicher Messdaten der zweiten physikalischen Messmodalität auf den ersten latenten Raum abzubilden.
-
Im Verlauf dieses Verfahrens wird ein Satz von Aufzeichnungen tatsächlicher Messdaten durch die zweite physikalische Messmodalität erhalten. Jede Aufzeichnung dieser tatsächlichen Messdaten wird mittels eines zweiten trainierten Codierers, der, wie zuvor besprochen, im Tandem mit einem zweiten Decodierer in dem Stil eines Variationsautocodierers trainiert werden kann, auf eine zweite komprimierte Repräsentation abgebildet.
-
Die zweite komprimierte Repräsentation wird durch die trainierbare Domänentransformation auf eine erste komprimierte Repräsentation abgebildet. Die erste komprimierte Repräsentation wird mittels des ersten trainierten Decodierers auf eine Aufzeichnung synthetischer Messdaten abgebildet. Parameter, die das Verhalten der Domänentransformation charakterisieren, werden mit dem Ziel optimiert, Aufzeichnungen synthetischer Messdaten hinsichtlich Aufzeichnungen realistisch zu machen, die aus dem Verarbeiten tatsächlicher Messdaten der ersten physikalischen Messmodalität in eine komprimierte Repräsentation unter Verwendung des ersten trainierten Codierers und dem Weitergeben dieser komprimierten Repräsentation an den ersten trainierten Decodierer resultieren.
-
Mit anderen Worten misst das Optimalitätskriterium für die Optimierung der Parameter, die das Verhalten der Domänentransformation charakterisierten, wie gut sich die abschließend erhaltene Aufzeichnung realistischer synthetischer Messdaten unter Aufzeichnungen „integriert“, die aus bekannten Elementen des ersten latenten Raums erzeugt wurden, nämlich ersten komprimierten Repräsentationen, die mittels des ersten Codierers, der dem ersten Decodierer entspricht, aus tatsächlichen Messdaten der ersten physikalischen Messmodalität erzeugt wurden.
-
Bei jedem Trainingsverfahren können die Parameter zum Beispiel Gewichtungen umfassen, mit denen die Eingaben in ein Neuron oder eine andere Verarbeitungseinheit in einem neuronalen Netz aggregiert werden, um eine Aktivierung dieses Neurons oder einer anderen Verarbeitungseinheit zu bilden. Eine Optimierung der Parameter kann gemäß einem beliebigen geeigneten Verfahren fortfahren. Zum Beispiel kann ein Gradientenabstiegsverfahren verwendet werden.
-
Sämtliche oben beschriebenen Verfahren können wenigstens teilweise computerimplementiert sein. Die Erfindung betrifft daher auch ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie durch einen oder mehrere Computer ausgeführt werden, bewirken, dass der eine oder die mehreren Computer wenigstens eines der oben beschriebenen Verfahren durchführen. In dieser Hinsicht sollen elektronische Steuereinheiten für Fahrzeuge oder Subsysteme von Fahrzeugen und andere eingebettete Systeme, die technische Vorrichtungen basierend auf programmierbaren Anweisungen steuern, in der Bedeutung des Ausdrucks „Computer“ enthalten sein.
-
Das Computerprogramm kann in einem nichtflüchtigen maschinenlesbaren Speicherungsmedium und/oder in einem Download-Produkt eingebettet sein. Ein Download-Produkt ist ein digital lieferbares, das online gehandelt und gekauft werden kann, so dass es unmittelbar an einen Computer geliefert werden kann, ohne dass ein nichtflüchtiges Speichermedium versandt werden muss.
-
Alternativ dazu oder in Kombination kann das Speicherungsmedium und/oder das Download-Produkt realistische synthetische Messdaten enthalten, die durch das wie oben beschriebene Verfahren produziert werden. Wie oben besprochen, kann jeder, der diese realistischen synthetischen Messdaten hat, unmittelbar mit dem Erweitern des Trainings eines Maschinenlernmoduls beginnen.
-
Alternativ dazu oder in Kombination können das Speicherungsmedium und/oder das Download-Produkt Parameter enthalten, die das Verhalten eines ersten Codierers und eines Decodierers charakterisieren und die durch das Trainingsverfahren für einen solchen Codierer und Decodierer produziert wurden. Jeder, der diese Parameter hat, kann unmittelbar beginnen, den ersten Codierer und den ersten Decodierer zu verwenden, ohne sie trainieren zu müssen.
-
Alternativ dazu oder in Kombination können das Speicherungsmedium und/oder das Download-Produkt Parameter enthalten, die das Verhalten einer Domänentransformation charakterisieren und die durch das Trainingsverfahren für eine solche Domänentransformation produziert wurden. Jeder, der diese Parameter hat, kann unmittelbar beginnen, die Domänentransformation zu verwenden, ohne sie trainieren zu müssen.
-
Die Erfindung betrifft auch einen Computer, der mit dem Computerprogramm und/oder mit dem maschinenlesbaren Speicherungsmedium und/oder dem Download-Produkt versehen ist.
-
Weitere vorteilhafte Ausführungsformen sind nun unter Verwendung von Figuren ohne irgendeine Absicht, den Schutzumfang der Erfindung zu beschränken, ausführlich beschrieben.
-
Figurenliste
-
Die Figuren zeigen Folgendes:
- 1: ein Ausführungsbeispiel des Verfahrens 100 zum Erzeugen realistischer synthetischer Messdaten 3;
- 2: eine schematische Übersicht der involvierten Räume und Transformationen, die in dem Verlauf des Verfahrens 100 verwendet werden;
- 3: ein Ausführungsbeispiel eines Verfahrens 200 zum Trainieren eines ersten Codierers 1a und eines ersten Decodierers 1c;
- 4: ein Ausführungsbeispiel eines Verfahrens 300 zum Trainieren einer Domänentransformation 6.
-
1 ist ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird eine erste komprimierte Repräsentation 3* der synthetischen Messdaten in einem ersten latenten Raum 1b erhalten. Dieser erste latente Raum 1b ist mit einem ersten Decodierer 1c assoziiert, die im Tandem mit einem ersten Codierer 1a trainiert werden können, wie in 2 und 3 veranschaulicht ist. In Schritt 120 wird der erste Decodierer 1c auf die erste komprimierte Repräsentation 3* angewandt, so dass die gesuchten realistischen synthetischen Messdaten erhalten werden.
-
Innerhalb des Kastens 110 sind zwei beispielhafte Arten zum Erhalten der ersten komprimierten Repräsentation 3* veranschaulicht.
-
Gemäß Block 111 kann eine Probe 5* aus einem Eingaberaum 5a einer Vor-Transformation 5 entnommen werden. Diese Vor-Transformation 5 wird dazu trainiert, jedes Element des Eingaberaums 5a auf ein Element des ersten latenten Raums 1b abzubilden. Wenn diese Abbildung gemäß dem Block 112 durchgeführt wird, resultiert daher daraus die gesuchte erste komprimierte Repräsentation 3*.
-
Bei dem in 1 gezeigten Beispiel umfasst die Vor-Transformation 5 mehrere Teile 51-53. Jeder dieser mehreren Teile 51-53 weist seinen eigenen Eingaberaum 51a-53a auf und gibt einen Beitrag 51b-53b aus. Die Beiträge 51b-53b werden aggregiert, um die komprimierte Repräsentation 3* zu bilden.
-
Gemäß Block 113 kann ein zweiter trainierter Codierer 2a auf eine Aufzeichnung tatsächlicher Messdaten 2 einer zweiten physikalischen Messmodalität angewandt werden. Dies ergibt eine zweite komprimierte Repräsentation 2* dieser tatsächlichen physikalischen Messdaten. Gemäß Block 114 kann eine Domänentransformation 6 auf diese komprimierte Repräsentation 2* angewandt werden, um die erste komprimierte Repräsentation 3* in dem ersten latenten Raum b1 zu erhalten.
-
In 1 sind zusätzlich Verwendungen veranschaulicht, in denen die erhaltenen realistischen synthetischen Messdaten 3 genutzt werden können. In Schritt 130 können diese realistischen synthetischen Messdaten 3 verwendet werden, um das Training eines Maschinenlernmoduls 54 zu erweitern, so dass sein trainierter Zustand 54* erhalten wird. Das trainierte Maschinenlernmodul 54* kann wiederum in Schritt 150 verwendet werden, um tatsächliche physikalische Messdaten 1 zu verarbeiten, die von einem Fahrzeug 50 in Schritt 140 erfasst wurden.
-
Die Verarbeitung in Schritt 150 ergibt wenigstens einen Klassifizierungs- und/oder Regressionswert 8, der für einen Betrieb des Fahrzeugs 50 im Verkehr relevant ist. Aus diesem Klassifizierungs- und/oder Regressionswert 8 wird in Schritt 160 wenigstens ein Betätigungssignal 9 für ein System 55 des Fahrzeugs 50 berechnet. In Schritt 170 wird das System 55 mit diesem Betätigungssignal 9 betätigt.
-
2 veranschaulicht die involvierten Transformationen und Räume. Aus tatsächlichen Messdaten 1 der ersten physikalischen Messmodalität produziert der erste Codierer 1a eine komprimierte Repräsentation 3*, die sich in einem latenten Raum 1b befindet. Ein erster Decodierer 1b wird dazu trainiert, jede komprimierte Repräsentation 3* auf eine Aufzeichnung synthetischer Messdaten 3 der ersten physikalischen Messmodalität abzubilden. Das heißt, die komprimierte Repräsentation 3* ist auch eine Repräsentation der Aufzeichnung synthetischer Messdaten 3. Der erste Codierer 1a und der erste Decodierer 1b können im Tandem trainiert werden, mit dem Optimierungsziel, dass die synthetischen Messdaten 3, die schlussendlich aus einer gegebenen Aufzeichnung tatsächlicher Messdaten 1 erhalten werden, diese ursprünglichen Messdaten 1 rekonstruieren sollen. Dieses Optimierungsziel, das durch eine gestrichelte Linie angegeben ist, macht die synthetischen Messdaten 3 realistisch und dementsprechend schwer von tatsächlichen Messdaten 1 zu unterscheiden.
-
Gleichermaßen gibt es für eine zweite physikalische Messmodalität, die von der ersten verschieden ist, einen zweiten Codierer 2a, der tatsächliche Messdaten 2 dieser zweiten Modalität auf eine komprimierte Repräsentation 2* abbildet, die sich in einem zweiten latenten Raum 2b befindet. Ein zweiter Decodierer 2c bildet die komprimierte Repräsentation 2* auf Aufzeichnungen synthetischer Messdaten 2' der zweiten Messmodalität ab. Der zweite Codierer 2a und der zweite Decodierer 2b können im Tandem trainiert werden, mit dem Optimierungsziel, dass synthetische Messdaten 2', die schlussendlich aus einer gegebenen Aufzeichnung tatsächlicher Messdaten 2 erhalten werden, diese ursprünglichen tatsächlichen Messdaten 2 rekonstruieren (oder reproduzieren) sollen. Dieses Optimierungsziel, das durch eine gestrichelte Linie angegeben ist, macht die synthetischen Messdaten 2 realistisch und dementsprechend schwer von tatsächlichen Messdaten 2 zu unterscheiden.
-
Ein Weg zum Erhalten realistischer synthetischer Messdaten 3 der ersten physikalischen Messmodalität ist das Entnehmen einer Probe 5* von dem Eingaberaum 5a der Vor-Transformation 5 und Anwenden dieser Vor-Transformation 5, um zu einer komprimierten Repräsentation 3* zu gelangen, die dann durch den ersten Decodierer 1c in die gesuchten realistischen synthetischen Messdaten 3 umgewandelt werden können.
-
Ain anderer Weg zum Erhalten realistischer synthetischer Messdaten 3 ist ein Domänentransfer von der zweiten physikalischen Messmodalität. Aus tatsächlichen Messdaten 2 dieser zweiten Modalität produziert der zweite Codierer 2a eine komprimierte Repräsentation 2*. Die trainierte Domänentransformation 6 transformiert diese komprimierte Repräsentation 2* von dem zweiten latenten Raum 2b in eine komprimierte Repräsentation 3* in dem ersten latenten Raum 1b, die durch den ersten Decodierer 1c wiederum in die gesuchten realistischen synthetischen Messdaten 3 umgewandelt werden kann.
-
Der erste latente Raum 1b kann speziell gewählt werden, so dass die realistischen synthetischen Messdaten 3, die durch den ersten Decodierer 1c aus seinen Elementen erhalten werden, eine gewünschte Bedingung 7 erfüllen.
-
3 ist ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren des ersten Codierers 1a und des ersten Decodierers 1c im Tandem. In Schritt 210 werden tatsächliche Messdaten 1 der ersten physikalischen Messmodalität erhalten. In Schritt 220 werden diese Messdaten 1 in eine komprimierte Repräsentation 3* umgewandelt. Aus dieser komprimierten Repräsentation 3* werden in Schritt 230 synthetische Messdaten 3 erhalten. Diese synthetischen Messdaten 3 werden mit den ursprünglichen tatsächlichen Messdaten 1 in Schritt 240 verglichen und Parameter 1a*, 1c*, die das Verhalten des ersten Codierers 1a und des ersten Decodierers 1c charakterisieren, werden für eine beste Übereinstimmung zwischen den synthetischen Daten 3 und den ursprünglichen Daten 1 optimiert.
-
4 ist ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens 300 zum Trainieren der Domänentransformation 6. In Schritt 310 werden tatsächliche Messdaten 2 der zweiten physikalischen Messmodalität erhalten. In Schritt 320 werden diese Daten 2 durch den zweiten Codierer 2a, der sich bereits in seinem trainierten Zustand befindet, in eine zweite komprimierte Repräsentation abgebildet. In Schritt 330 wird die komprimierte Repräsentation 2*, die sich in dem zweiten latenten Raum 2b befindet, durch die zu trainierende Domänentransformation 6 in eine komprimierte Repräsentation 3* transformiert, die sich in dem ersten latenten Raum 1b befindet. In Schritt 340 wird die komprimierte Repräsentation 3* durch den ersten Decodierer 1c, der sich bereits in seinem trainierten Zustand befindet, auf eine Aufzeichnung synthetischer Messdaten 3 abgebildet. In Schritt 350 werden diese synthetischen Messdaten 3 mit dem Ergebnis verglichen, das erhalten wird, wenn tatsächliche physikalische Messdaten 1 der ersten physikalischen Messmodalität durch den ersten Decodierer 1a, der sich bereits in seinem trainierten Zustand befindet, zuerst in eine komprimierte Repräsentation 3* transformiert werden und dann zurück in synthetische Messdaten 3 transformiert werden. Parameter 6*, die das Verhalten der Domänentransformation 6 charakterisieren, werden so optimiert, dass eine optimale Übereinstimmung zwischen den synthetischen Messdaten 3, die über die Domänentransformation 6 aus den tatsächlichen Messdaten 2 der zweiten physikalischen Messmodalität erzeugt werden, und den synthetischen Messdaten 3, die aus den tatsächlichen Messdaten 1 der ersten physikalischen Messmodalität erzeugt werden, resultiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018204494 B3 [0004]
