DE102020212366A1

DE102020212366A1 - Transformieren von Messdaten zwischen verschiedenen Konfigurationen von Messsystemen

Info

Publication number: DE102020212366A1
Application number: DE102020212366.7A
Authority: DE
Inventors: Thilo Strauss; Andrej Junginger
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-09-30
Filing date: 2020-09-30
Publication date: 2022-03-31
Also published as: US20220099799A1; CN114332595A

Abstract

Verfahren (100) zum Ermitteln einer Transformation (6), die Quell-Messdaten F, welche mit einer Quell-Konfiguration (2a) eines Messsystems (2) an einer Szenerie (1) aufgenommen wurden, in Ziel-Messdaten F' umwandelt, die eine Ziel-Konfiguration (2b) des Messsystems (2) an der gleichen Szenerie (1) aufnehmen würde, mit den Schritten:• es werden Lern-Quell-Messdaten F̃, die mit der Quell-Konfiguration (2a) des Messsystems (2) an Lern-Szenerien (1a) aufgenommen wurden, bereitgestellt (110);• es wird ein Ansatz (3) vorgegeben (120), gemäß dem sich die Ziel-Messdaten F' durch Anwenden mindestens einer vorgegebenen Filteroperation Δ auf die Quell-Messdaten F aus den Quell-Messdaten F ergeben, wobei diese vorgegebene Filteroperation Δ wiederum über ein trainierbares Modell (4) von den Quell-Messdaten F, auf die sie angewendet werden soll, abhängt, Δ=Δ(F);• die Lern-Quell-Messdaten F̃ werden jeweils durch Anwenden der Filteroperation Δ(F̃) auf Ziel-Messdaten F' abgebildet (130);• das trainierbare Modell (4) wird trainiert (140) mit dem Ziel, die daraus resultierende Filteroperation Δ, und/oder die hiermit generierten Ziel-Messdaten F', in Einklang mit einer vorgegebenen Zusatzinformation und/oder Bedingung (5) zu bringen;• der um das trainierte Modell (4*) vervollständigte Ansatz (3) wird als die gesuchte Transformation (6) bereitgestellt (150).

Description

Die vorliegende Erfindung betrifft die Umwandlung von Messdaten einer Szenerie in Messdaten, die eine andere Konfiguration des verwendeten Messsystems an der gleichen Szenerie aufnehmen würde.
Stand der Technik
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig. Um das Umfeld in Form von Messdaten zu erfassen, können beispielsweise Kameras oder Radarsensoren verwendet werden.
Trainierte Machine Learning-Modelle, wie etwa neuronale Netzwerke, können hier insbesondere für die Objekterkennung einen wesentlichen Beitrag leisten. Zum Trainieren dieser Modelle werden Trainingsdaten benötigt, die häufig auf Testfahrten aufgezeichnet und anschließend mit den in der jeweils beobachteten Szenerie tatsächlich enthaltenen Objekten annotiert („gelabelt“) werden. Das Labeln erfordert viel manuelle Arbeit und ist dementsprechend teuer. Die Labels sind an die verwendete Konfiguration des Messsystems gebunden.
Die DE 10 2018 204 494 B3 offenbart einen Generator, mit dem sich ein gegebener Vorrat an Trainingsdaten um synthetische Radardaten erweitern lässt.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum Ermitteln einer Transformation entwickelt, die Quell-Messdaten F, welche mit einer Quell-Konfiguration eines Messsystems an einer Szenerie aufgenommen wurden, in Ziel-Messdaten F' umwandelt, die eine Ziel-Konfiguration des Messsystems an der gleichen Szenerie aufnehmen würde.
Die Messdaten können insbesondere beispielsweise in Form von Bilddaten vorliegen. Bilddaten ordnen allgemein jedem Ort in einem zwei- oder mehrdimensionalen Raster einen oder mehrere Messwerte (wie beispielsweise eine Intensität) zu. Dabei definiert das Raster auch eine Nachbarschaft zwischen Orten. Die Messdaten können aber auch beispielsweise als Punktwolken vorliegen. Eine Punktwolke ordnet ebenfalls Orten in einem zwei- oder mehrdimensionalen Raum einen oder mehrere Messwerte zu. Jedoch sind diese Orte nicht in einem Raster angeordnet. Eine Punktwolke ist daher eine ungeordnete Liste von Orten im Raum, die jeweils mit Messwerten versehen sind.
Insbesondere Radardaten und Lidar-Daten können häufig wahlweise als Bilddaten oder als Punktwolken ausgedrückt werden.
Die Messdaten können insbesondere beispielsweise Kamerabilder, Videobilder, Radardaten, Lidar-Daten und/oder Ultraschallbilder sein. Dabei können die Messdaten durch eine beliebige Vorverarbeitung aus den von den jeweiligen Sensoren gelieferten Rohdaten hervorgegangen sein. So können beispielsweise Radardaten, die räumlich und zeitlich fluktuieren, in eine räumlich diskrete Verteilung von Wahrscheinlichkeiten umgewandelt werden, dass von bestimmten Orten Radarstrahlung reflektiert wurde. Diese Verteilung kann dann auch beispielsweise mit weiteren ortsabhängigen Verteilungen etwa von Signalstärken, Abständen zu Objekten, Geschwindigkeiten von Objekten sowie Reflexionswinkeln zu einem Daten-Tensor zusammengefasst werden.
Die Messdaten können jeweils durch einen physikalischen Messprozess, aber auch beispielsweise durch eine Simulation eines physikalischen Messprozesses erhalten werden. Weiterhin kann beispielsweise ein Generator eines Generative Adversarial Network, GAN, anhand von durch physikalische Messung mit einer Konfiguration eines Messsystems erhaltenen Messdaten darauf trainiert werden, realistische Messdaten aus der gleichen Domäne zu erzeugen.
Die Quell-Konfiguration und die Ziel-Konfiguration des Messsystems können sich beispielsweise in den Positionen unterscheiden, an denen ein Sensor für die Beobachtung der Szenerie angebracht ist. Bei verdeckt angebrachten Radarsensoren kann sich beispielsweise auch die Konfiguration von zwischen dem Sensor und der Szenerie angebrachten abschirmenden Materialien verändern. Auch der Sensor selbst kann beispielsweise gegen einen Sensor eines neuen Typs ausgetauscht werden.
Das Verfahren ist datenbasiert. Das heißt, es werden Lern-Quell-Messdaten F̃, die mit der Quell-Konfiguration des Messsystems an Lern-Szenerien aufgenommen wurden, bereitgestellt.
Es wird ein Ansatz vorgegeben, gemäß dem sich die Ziel-Messdaten F' durch Anwenden mindestens einer vorgegebenen Filteroperation Δ auf die Quell-Messdaten F aus den Quell-Messdaten F ergeben. Diese vorgegebene Filteroperation Δ hängt wiederum über ein trainierbares Modell von den Quell-Messdaten F, auf die sie angewendet werden soll, ab.
Hierhinter steckt die Überlegung, dass die Ziel-Messdaten F' noch die gleiche Szenerie repräsentieren wie die Quell-Messdaten F. Daraus folgt, dass die Ziel-Messdaten F' sinnvollerweise eine Abwandlung der Quell-Messdaten F sein sollten, in der die wesentlichen Inhalte der Quell-Messdaten F noch zu erkennen sind. Wenn beispielsweise in den Quell-Messdaten F ein Objekt identifiziert wird, sollte dies auch in den Ziel-Messdaten F' noch repräsentiert sein. Wenn beispielsweise die Quell-Messdaten F auch die Geschwindigkeit eines identifizierten Objekts kodiert ist, sollte sich diese Geschwindigkeit beim Übergang zur neuen Konfiguration des Messsystems ebenfalls nicht zu stark ändern, denn die Beobachtung des Objekts mit dem geänderten Messsystem hat physikalisch keinen Einfluss auf dessen Kinematik.
Gesucht sind also von vornherein Ziel-Messdaten F', deren Änderung gegenüber den Quell-Messdaten F „klein“ sind. Analog einer Reihenentwicklung einer Funktion in einer Umgebung einer Stelle lassen sich die Ziel-Messdaten F' also schreiben als $F' = F + Φ = F \times (1 + Φ / F) = F \times φ$
mit φ = 1 + Φ/F. Die Änderung kann also wahlweise als additive Korrektur Φ oder als multiplikative Korrektur φ ausgedrückt werden. Dies lässt sich noch weiter verallgemeinern zu $F' = F \otimes Δ (F),$
worin Δ(F) die von den Quell-Messdaten F abhängige Filterfunktion ist und ⊗ die Anwendung dieser Filterfunktion Δ(F) auf F. Unter einer Filterfunktion kann insbesondere beispielsweise eine Funktion verstanden werden, die Orten in einem vieldimensionalen Raum, auf den sich die Ziel-Messdaten F beziehen, auf der Basis von Quell-Messdaten F an einem oder mehreren Orten einen tensoriellen Funktionswert zuordnet.
Um die Filteroperation Δ(F) datenbasiert zu lernen, werden die Lern-Quell-Messdaten F̃ jeweils durch Anwenden der Filteroperation Δ(F̃) auf Ziel-Messdaten F' abgebildet. Das trainierbare Modell wird trainiert mit dem Ziel, die daraus resultierende Filteroperation Δ, und/oder die hiermit generierten Ziel-Messdaten F', in Einklang mit einer vorgegebenen Zusatzinformation und/oder Bedingung zu bringen. Nach diesem Training wird der um das trainierte Modell vervollständigte Ansatz wird als die gesuchte Transformation bereitgestellt.
Die Filteroperation Δ(F) kann im weitesten Sinne beispielsweise als ein „Feld“ verstanden werden, das jeder Position in den Quell-Messdaten F einen eindeutigen Wert zuordnet, nach Maßgabe dessen die Quell-Messdaten F bei der Transformation auf die Ziel-Messdaten F' zu transformieren sind.
Es wurde erkannt, dass die gezielte Suche nach einem trainierbaren Modell, welches letztendlich nur eine vergleichsweise kleine Änderung der Quell-Messdaten F bewirkt, wesentlich effizienter ist als eine völlig vorbehaltlose und offene Suche nach einer Transformation, die auf die Ziel-Messdaten F' führt. So hat beispielsweise jede Implementierung einer Machine Learning-Methode in einem neuronalen Netzwerk eine bestimmte Mächtigkeit in Form von Komplexität und Anzahl der optimierbaren Parameter, die beispielsweise durch die in der konkreten Anwendung zur Verfügung stehenden Hardwareressourcen (insbesondere GPU-Speicher) festgelegt sein kann. Bei der offenen Suche nach der Transformation, die auf eine vollständige Neugenerierung der Ziel-Messdaten F' hinausläuft, muss bereits viel von dieser Mächtigkeit darauf verwendet werden, die Grundeigenschaften, die aus den Quell-Messdaten F bereits bekannt sind, nachzubilden. Das bedeutet, dass eine bereits vorhandene Information nicht verwendet, sondern umständlich neu berechnet wird. Wird hingegen gezielt nach einer kleinen Korrektur gesucht, kann die gesamte Mächtigkeit des neuronalen Netzwerks auf die Suche nach dieser Korrektur verwendet werden. Weiterhin konvergiert das Training besser, da die zu erlernenden Eigenschaften per Konstruktion „klein“ sind.
Die Nutzanwendung der hier beschriebenen Umwandlung von Quell-Messdaten F in Ziel-Messdaten F' liegt insbesondere beispielsweise darin, dass vorhandene Lern-Bilder für Systeme, die die Messdaten weiter auswerten, nach dem Wechsel von der Quell-Konfiguration auf die Ziel-Konfiguration des Messsystems weiter genutzt werden können. Beispielsweise wird ein Bildklassifikator oder ein System für die semantische Segmentierung von Bildern in der Regel „überwacht“ trainiert. Das heißt, es werden Lern-Bilder verarbeitet, für die Labels dahingehend verfügbar sind, welche Objekte die Bilder zeigen bzw. welche Bildpixel zu welchem Objekttyp gehören, und anhand dieser Labels wird der Lernprozess kontrolliert. Wie eingangs erwähnt, sind diese Labels an die Konfiguration des Messsystems, mit der die Lern-Bilder erfasst wurden, gebunden. Um nach einer Änderung der Konfiguration die nachgeschaltete Auswertung erneut zu trainieren oder nachzutrainieren, sind neue gelabelte Lern-Bilder erforderlich. Das Aufnehmen völlig neuer Lern-Bilder mit der geänderten Konfiguration und erst recht das Labeln dieser neuen Lern-Bilder erfordert einen erheblichen Aufwand, der im Extremfall sogar dazu führen kann, dass eine beabsichtigte Änderung der Konfiguration nicht wirtschaftlich durchführbar ist. Wenn nun aber bereits gelabelte Quell-Bilddaten F in Ziel-Bilddaten F' transformiert werden können, entfällt nicht nur der Aufwand für das Erfassen neuer Lern-Bilder, sondern es können auch die bereits vorhandenen Labels zumindest zu einem großen Teil weitergenutzt werden. Damit ist die bisherige Bindung von Labels an eine konkrete Konfiguration des Messsystems kein Hemmschuh mehr für eine Fortentwicklung dieser Konfiguration.
Das trainierbare Modell kann insbesondere beispielsweise als neuronales Netzwerk implementiert sein. Ein solches neuronales Netzwerk kann insbesondere beispielsweise mehrere Faltungsschichten umfassen, die jeweils einen oder mehrere Filterkerne auf ihre jeweiligen Eingaben anwenden. Beispielsweise kann das neuronale Netzwerk eine Encoder-Decoder-Struktur aufweisen, in der ein Encoder eine komprimierte Repräsentation der Eingabe erzeugt und der Decoder hieraus die Ausgabe erzeugt. Dabei können auch Direktverbindungen zwischen Faltungsschichten des Encoders und Faltungsschichten des Decoders vorgesehen sein, wodurch die Encoder-Decoder-Struktur zu einem sogenannten „U-Net“ wird.
Die beschriebene Näherung, dass die Änderung der Ziel-Messdaten F' „klein“ gegenüber den Quell-Messdaten F ist, ist insbesondere für kleinere Abwandlungen der Konfiguration gültig. Ein Beispiel für eine solche kleinere Abwandlung ist ein laterales Versetzen eines Sensors an einem Fahrzeug, so dass er die Szenerie aus einem leicht veränderten Blickwinkel erfasst. Ein weiteres Beispiel für eine kleinere Abwandlung ist das verdeckte Anbringen eines Radarsensors hinter einem Herstelleremblem, das aus ästhetischen Gründen und aus Platzgründen praktiziert wird. Embleme verschiedener Hersteller haben unterschiedliche Dicken und Materialzusammensetzungen, so dass die vom Radarsensor ausgesandten und empfangenen Signale in unterschiedlichem Maße geschwächt werden. Auch kann beispielsweise nach einem Austausch eines Sensors gegen einen anderen Sensor die Winkelabhängigkeit der Detektionsempfindlichkeit eine andere sein.
Gerade bei der Entwicklung von Messsystemen für die Erfassung des Umfelds von Fahrzeugen besteht häufig der Wunsch, zur Optimierung der Erfassung auf einen bestimmten Aspekt einen Sensor lateral zu versetzen oder gegen einen Sensor auszutauschen. Weiterhin kann ein und dasselbe Messsystem beispielsweise an unterschiedliche Fahrzeughersteller verkauft werden und dort mit unterschiedlichen Herstelleremblemen kombiniert werden.
Die Näherung einer „kleinen“ Abwandlung ist insbesondere beispielsweise in einer vorteilhaften Ausgestaltung erfüllt, in der die Quell-Messdaten F sowie die Ziel-Messdaten F' Tensoren sind und in der die Filteroperation Δ die die Elemente der Ziel-Messdaten F' im Vergleich zu den Quell-Messdaten F betragsmäßig um höchstens 10 % abändert.
Die Filteroperation Δ kann insbesondere beispielsweise als parametrisierte Funktion vorgegeben werden, und die Parameter dieser Funktion können aus dem trainierbaren Modell bezogen werden. Auf diese Weise lässt sich die Ausgabe des trainierbaren Modells, die insbesondere bei einer Implementierung in einem neuronalen Netzwerk üblicherweise in Form von Zahlen vorliegt, in Aktionen übersetzen, mit denen die Quell-Messdaten F abgeändert werden sollen.
Vielfältige Zusatzinformationen oder Bedingungen können einzeln oder in Kombination verwendet werden, um eine Rückkopplung für das Training des trainierbaren Modells zu erhalten.
So kann beispielsweise das trainierbare Modell mit dem Ziel trainiert werden, dass die Filteroperation Δ(F) mindestens für bestimmte Stützstellen F₁,...,F̃_n vorgegebenen Filteroperationen Δ_T(F₁,...,F_n) entspricht. Dies kann etwa dann sinnvoll sein, wenn aus einer beliebigen Quelle, etwa aus Messungen mit einer anderen Messmethode, die Filteroperation Δ_T(F₁-F_n) schon bekannt ist. Weiterhin kann beispielsweise eine vorgegebene Filteroperation Δ zumindest qualitativ in einer Weise festgelegt sein, dass ihre Anwendung ⊗ auf die Quell-Messdaten F invertierbar ist. Für beliebige Quell-Messdaten F lässt sich dann Δ_T(F) berechnen durch $Δ_{r} (F) = F' \otimes^{- 1} F,$
worin ⊗^-1 die inverse Filteranwendung ist. Die Übereinstimmung von Δ(F₁,...,F_n) mit Δ_T(F₁,...,F_n) kann beispielsweise über einen Beitrag $L = ‖ Δ (F) - Δ_{T} (F) ‖$
zur Kostenfunktion (Loss-Funktion) des Trainings gemessen werden. Hierin ist || || eine geeignete Norm oder andere differenzierbare Funktion.
Alternativ oder auch in Kombination hierzu kann das trainierbare Modell beispielsweise mit dem Ziel trainiert werden, dass die Abhängigkeit der Ziel-Messdaten F' von den Quell-Messdaten F möglichst gut dem vorgegebenen Ansatz entspricht. Auch wenn die Filteroperation Δ nicht invertierbar ist, kann auf diese Weise selbstkonsistent überwacht werden, inwieweit das trainierbare Modell den richtigen Zusammenhang zwischen F' und F lernt. Dies kann beispielsweise über einen Beitrag $L = ‖ F' - F \otimes Δ (F) ‖$
zur Kostenfunktion des Trainings gemessen werden.
Alternativ oder auch in Kombination hierzu kann das trainierbare Modell beispielsweise mit dem Ziel trainiert werden, dass die Ziel-Messdaten F' möglichst gut zu vorgegebenen Lern-Ziel-Messdaten F̃' korrespondieren. Wenn also beispielsweise aus weiteren Messungen „Ground truth“ dahingehend verfügbar ist, wie die Ziel-Messdaten F' aussehen sollten, kann diese Information ebenfalls zur Überwachung des Lernprozesses herangezogen werden. Wenn beispielsweise ein weiterer Sensor die Szenerie aus der gleichen Perspektive beobachtet wie das Messsystem dies in der Ziel-Konfiguration tut, sollte dieser weitere Sensor etwa Objekte näherungsweise an den gleichen Positionen erkennen wie das Messsystem. Somit werden vorteilhaft Lern-Ziel-Messdaten F̃' gewählt, die mit der Ziel-Konfiguration des Messsystems jeweils an den gleichen Lern-Szenerien aufgenommen wurden wie die Lern-Quell-Messdaten F̃.
In einer besonders vorteilhaften Ausgestaltung wird eine Filteroperation Δ gewählt, die Ziel-Messdaten F' mit der gleichen Zusammenstellung von Objekten erzeugt, die in den Quell-Messdaten F enthalten ist. Hierin spiegelt sich wider, dass mit beiden Konfigurationen des Messsystems letztendlich die gleiche physikalische Szenerie beobachtet wird. Weiterhin ist die Ziel-Konfiguration des Messsystems nicht so drastisch gegenüber der Quell-Konfiguration abgewandelt, dass bestimmte Objekte in einer der Konfigurationen gar keinen Kontrast zeigen sollten. Vielmehr ist die Transformation hauptsächlich für kleinere Abwandlungen gedacht, für die auch die eingangs erwähnte Näherung einer „kleinen“ Änderung der Ziel-Messdaten F' gegenüber den Quell-Messdaten F gültig ist.
Nach dem zuvor Beschriebenen werden vorteilhaft insbesondere Quell-Messdaten F gewählt, die mit mindestens einem Radarsensor aufgenommen wurden und mindestens Orte und Geschwindigkeiten von Objekten, die Radarstrahlung zum Radarsensor reflektiert haben, angeben. Hier kann sich beispielsweise durch eine ggfs. auch winkelabhängig veränderte Empfindlichkeit des Sensors oder auch durch Abschwächung der gesendeten und/oder empfangenen Radarsignale die registrierte Signalstärke deutlich ändern, obwohl nach wie vor die gleichen Objekte erfasst werden.
Die Filteroperation Δ lässt sich in dieser Ausgestaltung beispielsweise dahingehend noch weiter eingrenzen, dass sie die Geschwindigkeiten von Objekten betragsmäßig unverändert lässt. Die Richtungen dieser Geschwindigkeiten können sich hingegen beispielsweise auf Grund einer in der Ziel-Konfiguration veränderten räumlichen Perspektive ändern.
Nach dem zuvor Beschriebenen bezieht sich die Erfindung auch auf ein Verfahren zur Übersetzung von Quell-Messdaten F, welche mit einer Quell-Konfiguration eines Messsystems an einer Szenerie aufgenommen wurden, in Ziel-Messdaten F', die eine Ziel-Konfiguration des Messsystems an der gleichen Szenerie aufnehmen würde. Bei diesem Verfahren wird mit dem zuvor beschriebenen Verfahren eine Transformation von mit der Quell-Konfiguration aufgenommenen Quell-Messdaten F auf mit der Ziel-Konfiguration aufgenommene Ziel-Messdaten F' ermittelt. Die Quell-Messdaten F werden dieser Transformation zugeführt, so dass die Ziel-Messdaten F' erhalten werden.
Hierbei können insbesondere beispielsweise die Datensätze der Quell-Messdaten F jeweils mit Labels versehen sein, auf die ein trainierbarer Klassifikator, wie etwa ein Bildklassifikator, oder ein System zur semantischen Segmentierung diese Quell-Messdaten F jeweils abbilden soll. Es kann dann jeder Datensatz der Ziel-Messdaten F' jeweils mit einem oder mehreren Labels L desjenigen Datensatzes der Quell-Messdaten F assoziiert werden, aus dem er erzeugt wurde. Ein Klassifikator oder ein System zur semantischen Segmentierung kann dann mit den Ziel-Messdaten F' und den hierzu assoziierten Labels L überwacht trainiert werden.
Die Erfindung kann beispielsweise in einer Software verkörpert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Ausführungsbeispiele
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Ermitteln einer Transformation 6 von Quell-Messdaten F auf Ziel-Messdaten F';
2 Ausführungsbeispiel des Verfahrens 200 zur Übersetzung von Quell-Messdaten F zu Ziel-Messdaten F';
3 Beispielhaftes Anwendung des Verfahrens 200 an Radardaten.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. Mit dem Verfahren 100 wird eine Transformation 6 ermittelt. Diese Transformation 6 kann dann wiederum verwendet werden, um Quell-Messdaten F, welche mit einer Quell-Konfiguration 2a eines Messsystems 2 an einer Szenerie 1 aufgenommen wurden, in Ziel-Messdaten F' umzuwandeln, die eine Ziel-Konfiguration 2b des Messsystems 2 an der gleichen Szenerie 1 aufnehmen würde.
In Schritt 110 werden Lern-Quell-Messdaten F̃, die mit der Quell-Konfiguration 2a des Messsystems 2 an Lern-Szenerien 1a aufgenommen wurden, bereitgestellt.
In Schritt 120 wird ein Ansatz 3 vorgegeben, gemäß dem sich die Ziel-Messdaten F' durch Anwenden mindestens einer vorgegebenen Filteroperation Δ auf die Quell-Messdaten F aus den Quell-Messdaten F ergeben. Diese vorgegebene Filteroperation Δ hängt wiederum über ein trainierbares Modell 4 von den Quell-Messdaten F, auf die sie angewendet werden soll, ab. Somit lässt sich die Filteroperation Δ als Δ(F) schreiben.
Gemäß Block 121 kann die Filteroperation Δ beispielsweise als parametrisierte Funktion vorgegeben werden. Gemäß Block 122 können die Parameter dieser Funktion dann aus dem trainierbaren Modell 4 bezogen werden.
Gemäß Block 123 kann beispielsweise eine Filteroperation Δ gewählt werden, die Ziel-Messdaten F' mit der gleichen Zusammenstellung von Objekten erzeugt, die in den Quell-Messdaten F enthalten ist.
Gemäß Block 124 können die Quell-Messdaten F sowie die Ziel-Messdaten F' beispielsweise Tensoren sein. Es kann dann beispielsweise eine Filteroperation Δ gewählt werden, die die Elemente der Ziel-Messdaten F' im Vergleich zu den Quell-Messdaten F betragsmäßig um höchstens 10 % abändert.
Gemäß Block 105 können Quell-Messdaten F gewählt werden, die mit mindestens einem Radarsensor aufgenommen wurden. Gemäß Block 125 kann dann beispielsweise eine Filteroperation Δ gewählt werden, die Geschwindigkeiten von Objekten betragsmäßig unverändert lässt.
In Schritt 130 werden die Lern-Quell-Messdaten F̃ jeweils durch Anwenden der Filteroperation Δ(F̃) auf Ziel-Messdaten F' abgebildet. Diese Ziel-Messdaten F' geben jeweils an, wie die Ziel-Konfiguration 2b des Messsystems 2 die jeweilige Lern-Szenerie 1a gesehen hätte, an der mit der Quell-Konfiguration 2a des Messsystems 2 die Quell-Messdaten F aufgenommen wurden.
In Schritt 140 wird das trainierbare Modell 4 trainiert mit dem Ziel, die daraus resultierende Filteroperation Δ, und/oder die hiermit generierten Ziel-Messdaten F', in Einklang mit einer vorgegebenen Zusatzinformation und/oder Bedingung 5 zu bringen. Der fertig trainierte Zustand des trainierbaren Modells 4 ist mit dem Bezugszeichen 4* bezeichnet.
Verschiedene Beispiele für Zusatzinformationen und/oder Bedingungen 5 sind innerhalb des Kastens 140 angegeben.
Gemäß Block 141 kann das trainierbare Modell 4 beispielsweise mit dem Ziel trainiert werden, dass die Filteroperation Δ(F) mindestens für bestimmte Stützstellen F₁,...,F̃_n vorgegebenen Filteroperationen Δ_T(F₁,...,F_n) entspricht.
Gemäß Block 142 kann das trainierbare Modell 4 beispielsweise mit dem Ziel trainiert werden, dass die Abhängigkeit der Ziel-Messdaten F' von den Quell-Messdaten F möglichst gut dem vorgegebenen Ansatz 3 entspricht.
Gemäß Block 143 kann das trainierbare Modell 4 beispielsweise mit dem Ziel trainiert werden, dass die Ziel-Messdaten F' möglichst gut zu vorgegebenen Lern-Ziel-Messdaten F̃' korrespondieren. Insbesondere können beispielsweise gemäß Block 143a Lern-Ziel-Messdaten F̃' gewählt werden, die mit der Ziel-Konfiguration 2b des Messsystems 2 jeweils an den gleichen Lern-Szenerien 1a aufgenommen wurden wie die Lern-Quell-Messdaten F̃.
In Schritt 150 wird der Ansatz 3, der um das fertig trainierte Modell 4* vervollständigt ist, als die gesuchte Transformation 6 bereitgestellt.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Übersetzung von Quell-Messdaten F zu Ziel-Messdaten F'. In Schritt 210 wird mit dem zuvor beschriebenen Verfahren 100 eine Transformation 6 von mit der Quell-Konfiguration 2a aufgenommenen Quell-Messdaten F auf mit der Ziel-Konfiguration 2b aufgenommene Ziel-Messdaten F' ermittelt. In Schritt 220 werden die Quell-Messdaten F dieser Transformation 6 zugeführt, so dass die Ziel-Messdaten F' erhalten werden.
Hierbei können die Datensätze der Quell-Messdaten F, also beispielsweise einzelne Bilder oder Bildtensoren, jeweils mit Labels L versehen sein, auf die ein trainierbarer Bildklassifikator oder ein System zur semantischen Segmentierung diese Quell-Messdaten F jeweils abbilden soll. Gemäß Block 221 kann dann beispielsweise jeder Datensatz der Ziel-Messdaten F' jeweils mit einem oder mehreren Labels L desjenigen Datensatzes der Quell-Messdaten F assoziiert werden, aus dem er erzeugt wurde. Es kann dann in Schritt 230 ein Bildklassifikator oder ein System zur semantischen Segmentierung mit den Ziel-Messdaten F' und den hierzu assoziierten Labels L überwacht trainiert werden.
3 zeigt eine beispielhafte Anwendung des Verfahrens 200 auf Radardaten als Quell-Messdaten F. Zur Veranschaulichung wurden die Radardaten in 3 zu einer Verteilung der Häufigkeiten P bestimmter Werte des Radarquerschnitts (Radar Cross Section, RCS) zusammengefasst.
Die Quell-Messdaten F wurden mit einem ersten Radarsensor aufgenommen. Diese Quell-Messdaten F wurden mit dem Verfahren 200 auf Ziel-Messdaten F' transformiert, die ein zweiter Radarsensor an der gleichen Szenerie erfasst hätte. Bei dem in 3 dargestellten Versuch stand dieser zweite Radarsensor tatsächlich zur Verfügung und wurde genutzt, um Soll-Ziel-Messdaten F̃' aufzunehmen, auf die das Verfahren 200 die Quell-Messdaten F hätte abbilden sollen. Es ergibt sich in weiten Teilen eine gute Übereinstimmung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018204494 B3 [0004]

Claims

Verfahren (100) zum Ermitteln einer Transformation (6), die Quell-Messdaten F, welche mit einer Quell-Konfiguration (2a) eines Messsystems (2) an einer Szenerie (1) aufgenommen wurden, in Ziel-Messdaten F' umwandelt, die eine Ziel-Konfiguration (2b) des Messsystems (2) an der gleichen Szenerie (1) aufnehmen würde, mit den Schritten: • es werden Lern-Quell-Messdaten F̃, die mit der Quell-Konfiguration (2a) des Messsystems (2) an Lern-Szenerien (1a) aufgenommen wurden, bereitgestellt (110); • es wird ein Ansatz (3) vorgegeben (120), gemäß dem sich die Ziel-Messdaten F' durch Anwenden mindestens einer vorgegebenen Filteroperation Δ auf die Quell-Messdaten F aus den Quell-Messdaten F ergeben, wobei diese vorgegebene Filteroperation Δ wiederum über ein trainierbares Modell (4) von den Quell-Messdaten F, auf die sie angewendet werden soll, abhängt, Δ=Δ(F); • die Lern-Quell-Messdaten F̃ werden jeweils durch Anwenden der Filteroperation Δ(F̃) auf Ziel-Messdaten F' abgebildet (130); • das trainierbare Modell (4) wird trainiert (140) mit dem Ziel, die daraus resultierende Filteroperation Δ, und/oder die hiermit generierten Ziel-Messdaten F', in Einklang mit einer vorgegebenen Zusatzinformation und/oder Bedingung (5) zu bringen; • der um das trainierte Modell (4*) vervollständigte Ansatz (3) wird als die gesuchte Transformation (6) bereitgestellt (150).
Verfahren (100) nach Anspruch 1, wobei die Filteroperation Δ als parametrisierte Funktion vorgegeben wird (121) und wobei die Parameter dieser Funktion aus dem trainierbaren Modell (4) bezogen werden (122).
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei ein neuronales Netzwerk als trainierbares Modell (4) für die Abhängigkeit Δ(F) der Filteroperation Δ von den Quell-Messdaten F gewählt wird.
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei das trainierbare Modell (4) mit dem Ziel trainiert wird (141), dass die Filteroperation Δ(F) mindestens für bestimmte Stützstellen F₁,...,F̃_n vorgegebenen Filteroperationen Δ_T(F₁,..., F_n) entspricht.
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei das trainierbare Modell (4) mit dem Ziel trainiert wird (142), dass die Abhängigkeit der Ziel-Messdaten F' von den Quell-Messdaten F möglichst gut dem vorgegebenen Ansatz (3) entspricht.
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei das trainierbare Modell (4) mit dem Ziel trainiert wird (143), dass die Ziel-Messdaten F' möglichst gut zu vorgegebenen Lern-Ziel-Messdaten F̃' korrespondieren.
Verfahren (100) nach Anspruch 6, wobei Lern-Ziel-Messdaten F̃' gewählt werden (143a), die mit der Ziel-Konfiguration (2b) des Messsystems (2) jeweils an den gleichen Lern-Szenerien (1a) aufgenommen wurden wie die Lern-Quell-Messdaten F̃.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei eine Filteroperation Δ gewählt wird (123), die Ziel-Messdaten F' mit der gleichen Zusammenstellung von Objekten erzeugt, die in den Quell-Messdaten F enthalten ist.
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei Quell-Messdaten F gewählt werden (105), die mit mindestens einem Radarsensor aufgenommen wurden, und wobei diese Quell-Messdaten F mindestens Orte und Geschwindigkeiten von Objekten, die Radarstrahlung zum Radarsensor reflektiert haben, angeben.
Verfahren (100) nach Anspruch 9, wobei eine Filteroperation Δ gewählt wird (125), die Geschwindigkeiten von Objekten betragsmäßig unverändert lässt.
Verfahren (100) nach einem der Ansprüche 1 bis 10, wobei die Quell-Messdaten F sowie die Ziel-Messdaten F' Tensoren sind und wobei eine Filteroperation Δ gewählt wird (124), die die Elemente der Ziel-Messdaten F' im Vergleich zu den Quell-Messdaten F betragsmäßig um höchstens 10 % abändert.
Verfahren (200) zur Übersetzung von Quell-Messdaten F, welche mit einer Quell-Konfiguration (2a) eines Messsystems (2) an einer Szenerie (1) aufgenommen wurden, in Ziel-Messdaten F', die eine Ziel-Konfiguration (2b) des Messsystems (2) an der gleichen Szenerie aufnehmen würde, mit den Schritten: • mit dem Verfahren (100) wird eine Transformation (6) von mit der Quell-Konfiguration (2a) aufgenommenen Quell-Messdaten F auf mit der Ziel-Konfiguration (2b) aufgenommene Ziel-Messdaten F' ermittelt (210); • die Quell-Messdaten F werden dieser Transformation (6) zugeführt (220), so dass die Ziel-Messdaten F' erhalten werden.
Verfahren (200) nach Anspruch 12, wobei • Datensätze der Quell-Messdaten F jeweils mit Labels L versehen sind, auf die ein trainierbarer Klassifikator oder ein System zur semantischen Segmentierung diese Quell-Messdaten F jeweils abbilden soll; • jeder Datensatz der Ziel-Messdaten F' jeweils mit einem oder mehreren Labels L desjenigen Datensatzes der Quell-Messdaten F assoziiert wird (221), aus dem er erzeugt wurde; und • ein Klassifikator oder ein System zur semantischen Segmentierung mit den Ziel-Messdaten F' und den hierzu assoziierten Labels L überwacht trainiert wird (230).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 13 auszuführen.
Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem Computerprogramm nach Anspruch 13.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 14, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 15.