DE102020001541A1 - Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne - Google Patents

Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne Download PDF

Info

Publication number
DE102020001541A1
DE102020001541A1 DE102020001541.7A DE102020001541A DE102020001541A1 DE 102020001541 A1 DE102020001541 A1 DE 102020001541A1 DE 102020001541 A DE102020001541 A DE 102020001541A DE 102020001541 A1 DE102020001541 A1 DE 102020001541A1
Authority
DE
Germany
Prior art keywords
data
domain
sensor data
data domain
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020001541.7A
Other languages
English (en)
Inventor
Larissa Triess
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102020001541.7A priority Critical patent/DE102020001541A1/de
Publication of DE102020001541A1 publication Critical patent/DE102020001541A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0454Architectures, e.g. interconnection topology using a combination of multiple neural nets
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0472Architectures, e.g. interconnection topology using probabilistic elements, e.g. p-rams, stochastic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods

Abstract

Die Erfindung betrifft ein Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei folgende Verfahrensschritte ausgeführt werden:a) Transformieren von Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei ein trainiertes zyklisch erzeugendes gegnerisches Netzwerk verwendet wird,b) Hochskalieren der Sensordaten der ersten Datendomäne auf die zweite Datendomäne, wobei eine Layeranzahl der Sensordaten der ersten Datendomäne im Vergleich zu den Sensordaten der zweiten Datendomäne erhöht wird,c) Erhalt der Sensordaten der zweiten Datendomäne.

Description

  • Die Erfindung betrifft ein Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne.
  • Damit Perception Algorithmen - manchmal auch als Wahrnehmungsalgorithmen bezeichnet -, welche auf „deep learning“ - manchmal auch als maschinelles Lernen bezeichnet - basieren, korrekt funktionieren können, wird eine entsprechend große Menge an Trainingsdaten benötigt, wobei diese Trainingsdaten mit Kommentierungen - manchmal auch als Annotationen bezeichnet - versehen sein müssen. Die Erhebung solcher Trainingsdaten ist eine zeitaufwendige Aufgabe und erfordert ein einwandfrei funktionierendes Sensorsetup, wobei das Versehen der Daten mit Annotationen die im Vergleich zur Erfassung der Sensordaten deutlich aufwendigere und damit teurere Aufgabe ist.
  • Von Zeit zu Zeit ist es jedoch notwendig, dass die verwendeten Sensoren, von welchen die für den Perception Algorithmus benötigten Sensordaten erfasst werden, durch eine neuere und/oder aktualisierte Version des Sensors ersetzt werden müssen. Nach dem Austausch des Sensors ist dann ein Fahrzeug, welches zunächst mit dem alten und nun mit dem neuen Sensor ausgestattet ist, nicht fahrtüchtig, da die Perception Algorithmen noch nicht mittels entsprechender Trainingsdaten für den neuen Sensor - welche es bisher noch nicht gibt - trainiert werden konnten.
  • Aus dem Stand der Technik ist es bisher bekannt „generativ adversarial networks“ - kurz GANs - dafür einzusetzen, Bilder aus einer Domäne in eine andere Domäne zu transformieren.
  • Der US-amerikanischen Offenlegungsschrift US 2018307947 A1 ist ein System für die unbeaufsichtigte domänenübergreifende Bilderzeugung zu entnehmen, welche relativ zu einer ersten und zweiten Bilddomäne bereitgestellt wird, die jeweils reale Bilder enthalten. Ein erster Generator erzeugt synthetische Bilder, die den realen Bildern in der zweiten Domäne ähnlich sind, während er einen semantischen Inhalt der realen Bilder in der ersten Domäne einbezieht. Ein zweiter Generator erzeugt synthetische Bilder, die den realen Bildern in der ersten Domäne ähnlich sind, während er einen semantischen Inhalt von realen Bildern in der zweiten Domäne einschließt. Ein erster Diskriminator unterscheidet reale Bilder in der ersten Domäne von synthetischen Bildern, die vom zweiten Generator erzeugt werden. Ein zweiter Diskriminator unterscheidet reale Bilder in der zweiten Domäne von synthetischen Bildern, die vom ersten Generator erzeugt wurden. Die Diskriminatoren und Generatoren sind „deep neural networks“ und bilden jeweils ein generatives Netzwerk und ein diskriminierendes Netzwerk in einem zyklischen GAN-Rahmen, die so konfiguriert sind, dass sie eine Fehlerrate des diskriminierenden Netzwerks erhöhen, um die synthetische Bildqualität zu verbessern.
  • Es besteht jedoch weiterhin ein Bedarf darin, ein Verfahren bereitzustellen, mit welchem Sensordaten einer ersten Datendomäne - beispielsweise alter Sensor - in Sensordaten einer zweiten Datendomäne - beispielsweise neuer Sensor - transformiert werden können.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne zu schaffen, wobei die genannten Nachteile nicht auftreten.
  • Die Aufgabe wird gelöst, indem die vorliegenden technische Lehre bereitgestellt wird, insbesondere die Lehre des unabhängigen Anspruchs sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten bevorzugten Ausführungsformen.
  • Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Transformation erfasster Sensordaten, wie beispielsweise Bilder und/oder Punktewolken, aus einer ersten Datendomäne in eine zweite Datendomäne geschaffen wird, wobei folgende Verfahrensschritte ausgeführt werden:
  1. a) Transformieren von, vorzugsweise erfasster und/oder erstellter, Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei ein trainiertes zyklisch erzeugendes gegnerisches Netzwerk - manchmal auch als cyclegenerative adversarial network, kurz cycle-GAN oder zyklengenerierendes kontradiktorisches Netzwerk - verwendet wird,
  2. b) Hochskalieren - manchmal auch als Hochsampling und/oder up-sampling bezeichnet - der Sensordaten der ersten Datendomäne auf die zweite Datendomäne, wobei eine Layeranzahl der Sensordaten der ersten Datendomäne im Vergleich zu den Sensordaten der zweiten Datendomäne erhöht wird,
  3. c) Erhalt der Sensordaten der zweiten Datendomäne.
  • Durch das Verfahren ist es nunmehr möglich bereits vorhandene Sensordaten, beispielsweise des alten Sensors, in eine neue Datendomäne des neuen Sensors zu transformieren und somit lässt sich der Vorteil erzielen, dass eine große Menge an Trainingsdaten des alten Sensors auch für den neuen Sensor zur Verfügung stehen, wodurch sich eine sehr gute Trainingsperformance für den Perception Algorithmus erzielen lässt. Mit anderen Worten können mit Hilfe des genannten Verfahrens zunächst nicht mehr einsetzbare Fahrzeuge, da sie einen neuen Sensor eingebaut bekommen haben, schnell, einfach und kostengünstig wieder einsetzbar gemacht werden.
  • Zudem wird mit dem Verfahren der Vorteil erzielt, dass die Sensordaten aus der ersten Datendomäne, welche meist nur eine geringe Anzahl an Layern aufweise, auf eine höhere Anzahl an Layern, wie sie der neue Sensor aufweist, hochgerechnet und/oder hochgesampelt werden können. In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „Layern“ in Bezug auf Sensordaten insbesondere eine vertikale Auflösung der Sensordaten verstanden werden.
  • Die mittels des Verfahrens erhaltenen transformierten Sensordaten können nun zusätzlich zu realen Sensordaten, welche mittels des neuen Sensors erfasst wurden, nach einer Hinzufügung von Annotation zu den realen Sensordaten, zum Training verwendet werden. Aufgrund der deutlich vergrößerten Datenmenge kann bei insgesamt guter Performance eine starke Überanpassung - manchmal auch als Over Fitting bezeichnet - vermieden werden.
  • Insgesamt ist es somit mit dem Verfahren möglich, trotz eines erst kürzlich zur Verfügung stehenden neuen Sensors, durch die Verwendung von alten Sensordaten, ein umfassendes Training auszuführen, und somit im Ergebnis den Perception Algorithmus schnell in Funktion zu setzen. Mit anderen Worten kann eine schnelle Integration des neuen Sensors erzielt werden, wobei die Sensordaten des alten Sensors, welche teuer erstellt werden mussten, wieder verwendet werden können.
  • In Zusammenhang mit der vorliegenden Erfindung soll das Wort „kontradiktorisch“, in Zusammenhang mit einem trainierten zyklisch erzeugenden gegnerischen Netzwerk (cycle-GAN), synonym zu dem Wort „gegnerisch“ verwendet werden.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass beim Hochskalieren gemäß Verfahrensschritt b) eine Anzahl der Layer der ersten Datendomäne um ein Faktor 2, bevorzugt 4, besonders bevorzugt 8, erhöht wird. Hierdurch wird insbesondere dem Umstand Rechnung getragen, dass im Vergleich zum alten Sensor, der neue Sensor meist die doppelte oder vierfache Anzahl an Layern aufweist.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Sensordaten der ersten Datendomäne, welche für die Transformierung gemäß Verfahrensschritt a) verwendet werden, zusätzliche Kommentierungen - manchmal auch als Annotationen und/oder Annotierungen bezeichnet - aufweisen, und vor Verfahrensschritt c) in einem Verfahrensschritt c0) eine Übertragung der Kommentierungen der Sensordaten aus der ersten Datendomäne auf die transformierten Sensordaten in der zweiten Datendomäne durchgeführt wird. Mit den Annotationen sind insbesondere semantische Label für eine semantische Segmentierung der Sensordaten, insbesondere der Punktewolke, gemeint. Zudem kann davon ausgegangen werden, dass eine Annotierung, welche sich in den Daten als „object bounding box“ darstellt, gleich ausgestaltet ist, da sich bei der Transformierung lediglich die Anzahl der Punkte innerhalb der Box ändert. Um dies insgesamt zu gewährleisten wird insbesondere im Anschluss darauf geachtet, dass eine Zyklenkonsistenz gegeben ist. Mit anderen Worten werden die aus den Sensordaten der ersten Datendomäne transformierten Sensordaten der zweite Datendomäne wieder zurück in die erste Datendomäne - manchmal auch als Quelldomäne bezeichnet - transformiert und ein Konsistenzverlust - mittels eines Vergleichs der ursprünglichen Sensordaten der ersten Datendomäne mit den aus der zweiten Datendomäne transformierten Sensordaten der ersten Datendomäne verglichen - berechnet.
  • Bei semantischen Kommentierungen übernimmt das trainierte Netzwerk vorzugsweise die Vorhersage als zusätzliche Aufgabe, wobei bei Objekterkennungs-Bounding-Boxen angenommen wird, dass die Boxen in beiden Datendomänen gleich sind, da sich nur die Anzahl der Punkte innerhalb der Box ändert.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für den Verfahrensschritt b) und/oder für den Verfahrensschritt c0) das trainierte zyklisch erzeugende gegnerische Netzwerk, welches in Verfahrensschritt a) verwendet wird, angewendet wird. Hierdurch ist es möglich die genannten Verfahrensschritte b) und/oder c) auf einfache Art und Weise auszuführen.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass mindestens zwei Verfahrensschritte, welche ausgewählt sind aus einer Gruppe bestehend aus a), b) und c0), gleichzeitig ausgeführt werden. Dies hat insbesondere den Vorteil, dass besonders einfach und schnell die genannten Verfahrensschritte, da die Verfahrensschritte vorzugsweise parallelisierbar sind, ausgeführt werden können.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk ein Diskriminator aufweist, wobei der Diskriminator die folgende Funktion L D = [ D ( x 2 ;   θ D ) ] [ D ( G 12 ( x 1 ;   θ G 12 ) ;   θ D ) ]                        + λ [ ( | D ( α x 2 ( 1 α G 12 ( x 1 ;   θ G 12 ) ) ;   θ D ) | 1 ) 2 ]
    Figure DE102020001541A1_0001
    minimiert, wobei die Sensordaten in einer 2D-Zylinderprojektion repräsentiert sein müssen oder sind. Hierbei ist insbesondere vorgesehen, dass x, ab hier als Input bezeichnet, aus verschiedenen Kanälen, wie beispielsweise Distanz (distance), Intensität (intensity) und Label besteht. x1 bezeichnet vorliegend Sensordaten aus der ersten Datendomäne (also der Quelldomäne) und x2 Sensordaten der zweiten Datendomäne (also der Zieldomäne). Mit der Variablen D wird der Diskriminator bezeichnet, mit den trainierten Variablen θD und G12. Diese Variablen sind vorzugsweise dafür vorgesehen, dass im Verlauf des Trainings der Verlust (loss) L D
    Figure DE102020001541A1_0002
    minimiert wird. G12(x1; θG 12 ) entspricht hierbei den Sensordaten aus der ersten Datendomäne, die in Sensordaten der zweiten Datendomäne transformiert worden sind. D(...) entspricht dabei der Einschätzung des Diskriminators, ob eine gegebene Eingabe (Input) aus der Verteilung der Datendomäne 1 oder
  • Datendomäne 2 kommt oder nicht. Der hintere Term ist ein Regularisierungsausdruck, damit die Funktion lipschitzstetig ist und somit die Gradienten nicht größer als 1 werden können. Dieser Teil der Formel könnte vorzugsweise auch verkürzt/vereinfacht dargestellt werden, da die genaue Ausgestaltung dieses Formelteils nicht so wichtig für das gesamte Verfahren ist.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk einen Generator aufweist, wobei der Generator L G 12 = [ D ( G 12 ) ]
    Figure DE102020001541A1_0003
    L G 21 = L 1 ( x 1, d i s t a n c e , x 1, d i s t a n c e ' ) + L c r o s s e n t r o p y ( x 1, l a b e l , x 1, l a b e l ' )
    Figure DE102020001541A1_0004
    minimiert, wobei die Sensordaten in einer 2D-Zylinderprojektion repräsentiert sein müssen oder sind. Mit der ersten der beiden oben stehenden Formel wird erreicht, dass die vom Generator 1->2 (G12) erstellten Sensordaten für den Diskriminator realistisch aussehen.
  • Die zweite Formel ist diejenige Formel, welcher der Generator 2->1 (G21) minimiert, und wobei vorzugsweise gilt, x 1 ' = G 21 ( G 12 ( x 1 ; θ G 21 ) ; θ G 21 ) .
    Figure DE102020001541A1_0005
    Mit anderen Worten ausgedrückt, werden Sensordaten aus der ersten Datendomäne in die zweiten Datendomäne und dann wieder zurück in die erste Datendomäne transformiert, wobei vorzugsweise im Idealfall gilt: x 1 = x 1 ' .
    Figure DE102020001541A1_0006
    Hierfür wird die angegebene Formel minimiert, wobei unterschiedliche Verluste (losses) für die verschiedenen Kanäle (channel) verwendet werden. Für die Distanz wird ein durchschnittlicher absoluter Fehler (Mean Absolute Error,
    Figure DE102020001541A1_0007
    - Verlust (
    Figure DE102020001541A1_0008
    -loss)) und für die Labels wird ein klassischer Cross-Entropie-Verlust (Cross-Entropy Loss) berechnet. Dies gewährleistet, dass die transformierten Sensordaten die gleiche semantische Information enthalten
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk ein Diskriminator sowie ein Generator aufweist, wobei der Diskriminator fünf Male und der Generator einmal aktualisiert wird, wobei vorzugsweise ein Adam Optimierer verwendet wird. Dies hat insbesondere den Vorteil, dass auf einfache Art und Weise das erfindungsgemäße Verfahren ausgeführt werden kann. Der Diskriminator wird N mal aktualisiert während die Generatoren M mal aktualisiert werden. Hierbei wird vorzugsweise N in der Art gewählt, dass N >= M und M = 1 ist. Die genaue Anzahl an Aktualisierungen (Updates) ist aber frei wählbar, jedoch ist es von Vorteil den Diskriminator öfter zu aktualisieren (updaten) als den Generator, um zu gewährleisten, dass dem Generator eine gute Rückmeldung (Feedback) zu dem Realismus seiner Sensordaten bekommt. Außerdem muss sich der Diskriminator meist schneller an die sich ändernden Sensordaten des Generators anpassen.
  • Der Adam Optimierer (Adam Optimizer) ist ein Optimierer, welcher allgemein dem Fachmann bekannt ist, weswegen auf eine genauere Beschreibung verzichtet wird. Es können jedoch auch andere Optimierer für das Verfahren verwendet werden, wie zum Beispiel Stochastic Gradient Descent (SGD). Der Wahl des Optimierers kommt jedoch in Bezug auf das vorliegende Verfahren nur eine untergeordnete Rolle zu.
  • Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass nach Erhalt der Sensordaten aus der zweiten Datendomäne gemäß Verfahrensschritt a) die Sensordaten in die erste Datendomäne - vorzugsweise zurück - transformiert werden, vorzugsweise erneut mit dem trainierten zyklisch erzeugenden gegnerischen Netzwerk, und es werden diese transformierten Sensordaten der ersten Datendomäne, das heißt diejenigen Sensordaten, welche durch Transformation der Sensordaten aus der zweiten Datendomäne erhalten wurden, mit den ursprünglichen Sensordaten aus der ersten Datendomäne - in Bezug auf Konsistenz hin - verglichen, insbesondere auf Konsistenz hin geprüft.
  • Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
  • Dabei zeigt:
    • 1 eine schematische Darstellung eines Ablaufplans einer Ausführungsform des Verfahrens zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne,
    • 2 eine schematische Darstellung einer Ausführungsform des Verfahrens zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne.
  • Der 1 ist eine schematische Darstellung eines Ablaufplans einer Ausführungsform des Verfahrens zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne zu entnehmen, wobei folgende Verfahrensschritte ausgeführt werden:
    1. a) Transformieren von Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei ein trainiertes zyklisch erzeugendes gegnerisches Netzwerk verwendet wird,
    2. b) Hochskalieren der Sensordaten der ersten Datendomäne auf die zweite Datendomäne, wobei eine Layer-Anzahl der Sensordaten der ersten Datendomäne im Vergleich zu den Sensordaten der zweiten Datendomäne erhöht wird,
    3. c) Erhalt der Sensordaten der zweiten Datendomäne.
  • Ferner ist bevorzugt vorgesehen, dass beim Hochskalieren gemäß Verfahrensschritt b) eine Anzahl der Layer der ersten Datendomäne um einen Faktor 2, bevorzugt 4, besonders bevorzugt 8, erhöht wird.
  • Des Weiteren ist bevorzugt vorgesehen, dass die Sensordaten der ersten Datendomäne, welche durch die Transformierung gemäß Verfahrensschritt a) verwendet werden, zusätzlich Kommentierungen aufweisen, und vor Verfahrensschritt c0) eine Übertragung der Kommentierungen der Sensordaten aus der ersten Datendomäne auf die transformierten Sensordaten in der zweiten Datendomäne durchgeführt wird.
  • Darüber hinaus ist bevorzugt vorgesehen, dass für den Verfahrensschritt b) und/oder für den Verfahrensschritt c0) das trainierte zyklisch erzeugende gegnerische Netzwerk, welches in Verfahrensschritt a) verwendet wird, angewendet wird.
  • Darüber hinaus ist bevorzugt vorgesehen, dass mindestens zwei Verfahrensschritte, welche ausgewählt sind aus einer Gruppe bestehend aus a), b) und c0), gleichzeitig ausgeführt werden.
  • Ferner ist bevorzugt vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk ein Diskriminator aufweist, wobei der Diskriminator die folgende Funktion L D = [ D ( x 2 ;   θ D ) ] [ D ( G 12 ( x 1 ;   θ G 12 ) ;   θ D ) ]                        + λ [ ( | D ( α x 2 ( 1 α G 12 ( x 1 ;   θ G 12 ) ) ;   θ D ) | 1 ) 2 ]
    Figure DE102020001541A1_0009
    minimiert, wobei diese Sensordaten in einer 2D-Zylinderprojektion repräsentiert sein müssen oder sind.
  • Darüber hinaus wird bevorzugt vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk einen Generator aufweist, wobei der Generator L D 12 = [ D ( G 12 ) ] L G 21 = L 1 ( x 1, d i s t a n c e , x 1, d i s t a n c e ' ) + L c r o s s e n t r o p y ( x 1, l a b e l , x 1, l a b e l ' )
    Figure DE102020001541A1_0010
    minimiert, wobei die Sensordaten in einer 2D-Zylinderprojektion repräsentiert sein müssen oder sind und wobei vorzugsweise gilt: x 1 ' = G 21 ( G 12 ( x 1 ;   θ G 12 ) ;   θ G 21 ) .
    Figure DE102020001541A1_0011
  • Im Übrigen ist bevorzugt vorgesehen, dass das zyklisch erzeugende gegnerische Netzwerk ein Diskriminator sowie einen Generator aufweist, wobei der Diskriminator fünf male und der Generator ein Mal aktualisiert wird, wobei vorzugsweise ein Adam Optimierer verwendet wird.
  • Des Weiteren ist bevorzugt vorgesehen, dass nach Erhalt der Sensordaten aus der zweiten Datendomäne gemäß Verfahrensschritt a) die Sensordaten in die erste Datendomäne transformiert werden, vorzugsweise erneut mit dem trainierten zyklisch erzeugenden gegnerischen Netzwerk, und es werden diese transformierten Sensordaten der ersten Datendomäne, das heißt diejenigen Sensordaten, welche durch Transformation der Sensordaten aus der zweiten Datendomäne erhalten wurden, mit den ursprünglichen Sensordaten aus der ersten Datendomäne - in Bezug auf Konsistenz hin - verglichen, insbesondere auf Konsistenz hin geprüft.
  • Der 2 ist in einer schematischen Darstellung eine Übersicht über die im Verfahren ausgeführten Schritte zu entnehmen. Schritt a) und b) passieren beide gleichzeitig im Netzwerk G12 was der Vorteil dieses Netzwerkes ist. Der Output aus G12 entspricht hierbei Schritt c). Alle zusätzlichen Komponenten sind nur während des Trainings von Nöten um zum einen zu gewährleisten, dass die transformierten Daten realistisch sind (Diskriminator D mit dem kontradiktorischen Verlust (adversarial loss)) und zum anderen, dass die transformierten Daten die ursprüngliche semantische Information enthalten (Generator G21 mit dem Zyklus-Konsistenzverlust (cycle consisency loss)). In der direkten Anwendung, das heißt bei der Transformation von der ersten Datendomäne x1 in die zweite Datendomäne von x2, wird nur der trainierte Generator G12 verwendet.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2018307947 A1 [0005]

    Claims (9)

    1. Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei folgende Verfahrensschritte ausgeführt werden: a) Transformieren von Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne, wobei ein trainiertes zyklisch erzeugendes gegnerisches Netzwerk verwendet wird, b) Hochskalieren der Sensordaten der ersten Datendomäne auf die zweite Datendomäne, wobei eine Layeranzahl der Sensordaten der ersten Datendomäne im Vergleich zu den Sensordaten der zweiten Datendomäne erhöht wird, c) Erhalt der Sensordaten der zweiten Datendomäne.
    2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Hochskalieren gemäß Verfahrensschritt b) eine Anzahl der Layer der ersten Datendomäne um einen Faktor 2, bevorzugt 4, besonders bevorzugt 8, erhöht wird.
    3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Sensordaten der ersten Datendomäne, welche für die Transformierung gemäß Verfahrensschritt a) verwendet werden, zusätzlich Kommentierungen aufweisen, und vor Verfahrensschritt c) in einem Verfahrensschritt c0) eine Übertragung der Kommentierungen der Sensordaten aus der ersten Datendomäne auf die transformierten Sensordaten in der zweiten Datendomäne durchgeführt wird.
    4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für den Verfahrensschritt b) und/oder für den Verfahrensschritt c0) das trainierte zyklisch erzeugende gegnerische Netzwerk, welches in Verfahrensschritt a) verwendet wird, angewendet wird.
    5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens zwei Verfahrensschritte, welche ausgewählt sind aus einer Gruppe bestehend aus a), b) und c0), gleichzeitig ausgeführt werden.
    6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zyklisch erzeugende gegnerische Netzwerk einen Diskriminator aufweist, wobei der Diskriminator die folgende Funktion L D = [ D ( x 2 ; θ D ) ] [ D ( G 12 ( x 1 ; θ G 12 ) ; θ D ) ] + λ [ ( | D ( α x 2 ( 1 α G 12 ( x 1 ; θ G 12 ) ) ; θ D ) | 1 ) 2 ]
      Figure DE102020001541A1_0012
      minimiert, wobei die Sensordaten in einer 2D Zylinderprojektion repräsentiert sein müssen oder sind.
    7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zyklisch erzeugende gegnerische Netzwerk einen Generator aufweist, wobei der Generator L G 12 = [ D ( G 12 ) ] L G 21 = L 1 ( x 1, d i s t a n c e , x , 1 ' d i s t a n c e ) + L c r o s s e n t r o p y ( x 1, l a b e l , x , 1 ' l a b e l )
      Figure DE102020001541A1_0013
      minimiert, wobei die Sensordaten in einer 2D Zylinderprojektion repräsentiert sein müssen oder sind und wobei vorzugsweise gilt: x = 1 ' G 21 ( G 12 ( x 1 ; θ G 12 ) ; θ G 21 ) .
      Figure DE102020001541A1_0014
    8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zyklisch erzeugende gegnerische Netzwerk einen Diskriminator sowie einen Generator aufweist, wobei der Diskriminator fünf Male und der Generator ein Mal aktualisiert wird, wobei vorzugsweise eine Adam Optimierer verwendet wird.
    9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach Erhalt der Sensordaten aus der zweiten Datendomäne gemäß Verfahrensschritt a) die Sensordaten in die ersten Datendomäne transformiert werden, vorzugsweise erneut mit dem trainierten zyklisch erzeugenden gegnerischen Netzwerk, und es werden diese transformierten Sensordaten der ersten Datendomäne, das heißt diejenigen Sensordaten, welche durch Transformation der Sensordaten aus der zweiten Datendomäne erhalten wurden, mit den ursprünglichen Sensordaten aus der ersten Datendomäne in Bezug auf Konsistenz hin verglichen, insbesondere auf Konsistenz hin geprüft.
    DE102020001541.7A 2020-03-09 2020-03-09 Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne Pending DE102020001541A1 (de)

    Priority Applications (1)

    Application Number Priority Date Filing Date Title
    DE102020001541.7A DE102020001541A1 (de) 2020-03-09 2020-03-09 Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne

    Applications Claiming Priority (1)

    Application Number Priority Date Filing Date Title
    DE102020001541.7A DE102020001541A1 (de) 2020-03-09 2020-03-09 Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne

    Publications (1)

    Publication Number Publication Date
    DE102020001541A1 true DE102020001541A1 (de) 2020-10-01

    Family

    ID=72612458

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    DE102020001541.7A Pending DE102020001541A1 (de) 2020-03-09 2020-03-09 Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne

    Country Status (1)

    Country Link
    DE (1) DE102020001541A1 (de)

    Similar Documents

    Publication Publication Date Title
    DE112016001796T5 (de) Feinkörnige bildklassifizierung durch erforschen von etiketten von einem bipartiten graphen
    DE60202847T2 (de) Abfragesystem in natürlicher sprache für den zugriff auf ein informationssystem
    DE60010302T2 (de) Drucksystem zur herstellung von zeichenfolgen
    DE69714462T3 (de) Produktion von integrierten dokumenten einer mehrzahl von gesellschaften
    DE112018004797T5 (de) Ansichtspunktinvariante objekterkennung durch synthetisierung und domänenanpassung
    DE60310881T2 (de) Methode und Benutzerschnittstelle für das Bilden einer Darstellung von Daten mit Meta-morphing
    DE3420576C2 (de) Anordnung zum Reprojizieren von Bildern aus mehreren eindimensionalen Projektionen in der Computer-Tomographie
    Henricsson Analysis of image structures using color attributes and similarity relations
    DE69919464T2 (de) Elektronische Vorrichtung zur Bildausrichtung
    Kolonko Stochastische Simulation
    DE19919891B4 (de) Vorrichtung zur Erzeugung von Signalen für Windgeräusch
    Kirchherr et al. Future Skills: Welche Kompetenzen in Deutschland fehlen
    DE19829640A1 (de) System und Verfahren zur Durchführung einer Bild-basierten Diagnose
    DE4241688C2 (de) Verfahren zum Erzeugen eines Wortteilmodelles für Spracherkennung
    DE112013006770B4 (de) Spracherkennungsvorrichtung und Spracherkennungsverfahren
    EP3336800B1 (de) Bestimmen einer trainingsfunktion zum generieren von annotierten trainingsbildern
    EP1665103A1 (de) Bestimmung eines modells einer geometrie einer blech-umformstufe
    DE3911465A1 (de) Verfahren zur konfiguration technischer systeme aus komponenten
    DE112007002225T5 (de) Erstellen und Codieren von Glyphen
    EP1145192B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
    DE10150428A1 (de) Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts
    EP1623287A1 (de) Auslegung von werkzeugen und prozessen f r die umformtechnik
    DE102007040070B4 (de) Bilddichteumwandlungsverfahren, Bildverbesserungsverarbeitungseinrichtung und dafür geeignetes Programm
    DE3711348A1 (de) Verfahren zum erkennen kontinuierlich gesprochener woerter
    DE102005050577A1 (de) Verfahren zum automatischen Überprüfen eines neuronalen Netzes für eine Steuerungsvorrichtung

    Legal Events

    Date Code Title Description
    R230 Request for early publication
    R081 Change of applicant/patentee

    Owner name: DAIMLER AG, DE

    Free format text: FORMER OWNER: DAIMLER AG, 70372 STUTTGART, DE