DE102021207094A1

DE102021207094A1 - Computerimplementiertes Verfahren, Computerprogramm und Vorrichtung zum Erzeugen einer daten-basierten Modellkopie in einem Sensor

Info

Publication number: DE102021207094A1
Application number: DE102021207094.9A
Authority: DE
Inventors: Gor Hakobyan; Christian Weiss; Stefan Leidich; Armin Runge
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-07-06
Filing date: 2021-07-06
Publication date: 2023-01-12
Also published as: WO2023280531A1; CN117642778A

Abstract

Vorrichtung, Computerprogramm, computerimplementiertes Verfahren zum Erzeugen einer daten-basierten Modellkopie und einem ersten Sensor, dadurch gekennzeichnet, dass das Verfahren folgende Schritte umfasst: Transformieren (202) vorgegebener Rohdaten (204) von einem ersten Sensor in Daten (206), die Rohdaten eines zweiten Sensors repräsentieren, Bestimmen (208) eines ersten Ergebnisses (210) mit den vorgegebenen Rohdaten und mit einem ersten Modell, das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom ersten Sensor ausgebildet ist, Bestimmen (212) eines zweiten Ergebnisses (214) mit den Daten (206), die die Rohdaten des zweiten Sensors repräsentieren und mit einem vorgegebenen zweiten Modell, das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom zweiten Sensor ausgebildet ist, Bestimmen (216), ob das erste Ergebnis (210) vom zweiten Ergebnis (214) abweicht oder nicht, wobei das Verfahren dann, wenn das erste Ergebnis vom zweiten Ergebnis abweicht, folgende Schritte umfasst: Bestimmen (218) eines Trainingsdatenpunkts, der die vorgegebenen Rohdaten (204) und das zweite Ergebnis (214) umfasst, Trainieren (220) des ersten Modells mit Trainingsdaten, die den Trainingsdatenpunkt umfassen

Description

Stand der Technik
Die Erfindung betrifft ein computerimplementiertes Verfahren, ein Computerprogramm und eine Vorrichtung zum Erzeugen einer daten-basierten Modellkopie in einem Sensor.
Modelle werden in Sensoren insbesondere zur Verarbeitung von Sensordaten eingesetzt. Ein Training daten-basierter Modelle ist sehr aufwändig und erfordert eine große Menge an Trainingsdaten und Trainingsiterationen. Einmal für einen bestimmten Sensors trainierte Modelle lassen sich nicht unbedingt in einem anderen Sensor einsetzen.
Offenbarung der Erfindung
Eine automatisierte Erzeugung einer daten-basierten Modellkopie eines Modells aus einem Sensor zur Verwendung in einem anderen Sensor, für den bereits ein trainiertes Modell existiert, ist daher wünschenswert.
Das computerimplementierte Verfahren, das Computerprogramm und die Vorrichtung gemäß der unabhängigen Ansprüche ermöglichen dies.
Das computerimplementierte Verfahren zum Erzeugen der daten-basierten Modellkopie umfasst folgende Schritte: Transformieren vorgegebener Rohdaten von einem ersten Sensor in Daten, die Rohdaten eines zweiten Sensors repräsentieren, Bestimmen eines ersten Ergebnisses mit den vorgegebenen Rohdaten und mit einem ersten Modell, das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom ersten Sensor ausgebildet ist, Bestimmen eines zweiten Ergebnisses mit den Daten, die die Rohdaten des zweiten Sensors repräsentieren und mit einem vorgegebenen zweiten Modell, das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom zweiten Sensor ausgebildet ist, Bestimmen, ob das erste Ergebnis vom zweiten Ergebnis abweicht oder nicht, wobei das Verfahren dann, wenn das erste Ergebnis vom zweiten Ergebnis abweicht, folgende Schritte umfasst: Bestimmen eines Trainingsdatenpunkts, der die vorgegebenen Rohdaten und das zweite Ergebnis umfasst, Trainieren des ersten Modells mit Trainingsdaten, die den Trainingsdatenpunkt umfassen. Anhand einer Diskrepanz der Ergebnisse zwischen dem ersten, neuen Modell und dem alten, zweiten Modell ist es im Verfahren möglich, relevante Daten im Betrieb selbst zu erkennen und diese in der daten-basierten Modellkopie_zu verwenden.
Die Rohdaten repräsentieren vorzugsweise wenigstens ein Zeitbereichssignal, wenigstens ein Spektrum, insbesondere eines Radar-, LiDAR-, Ultraschall-, Infrarot- oder akustischen Sensors, oder wenigstens eine Position oder gefilterte Daten oder Transformationen davon.
Das erste Ergebnis und/oder das zweite Ergebnis charakterisiert vorzugsweise einen Objekttyp oder eine Schätzung für eine Abmessung eines Objekts, oder gibt angibt, ob ein blinder Sensor, ein Clustering oder ein Objekt erkannt wurde oder nicht.
Es kann vorgesehen sein, dass das Trainieren des ersten Modells in einer Mehrzahl von Iterationen erfolgt, wobei Werte von Parametern, die das erste Modell definieren, vor einer ersten der Iterationen mit Zufallswerten initialisiert werden. Dadurch wird ein Startpunkt für das Trainieren mit geringem Ressourcenaufwand bereitgestellt.
Es kann vorgesehen sein, dass das Trainieren in einer Mehrzahl von Iterationen erfolgt, wobei Werte von Parametern, die das erste Modell definieren, vor einer ersten der Iterationen durch ein Training mit Rohdaten, die mit dem ersten Sensor gemessen wurden, bestimmt werden oder wurden. Dadurch wird ein vortrainiertes erstes Modell bereitgestellt, das durch das Trainieren weiter verfeinert wird.
Es kann vorgesehen sein, dass das Trainieren vorsieht, dass in einer Anzahl von Iterationen eine Vielzahl von Trainingsdatenpunkten bestimmt wird, ohne einen Trainingsschritt auszuführen, wobei anschließend, insbesondere im ersten Sensor oder in einer Recheneinrichtung außerhalb des ersten Sensors, ein Trainingsschritt ausgeführt wird, in dem Parameter, die das erste Modell definieren, mit einem Teil der Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten oder mit den Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten bestimmt werden. Die Trainingsdatenpunkte werden beispielsweise in einem Speicher gesammelt. Das Trainieren skaliert dadurch besonders gut hinsichtlich des verfügbaren Speichers.
Zur Initialisierung kann das Verfahren ein Bestimmen einer Struktur des ersten Modells abhängig von einer vorgegebenen Struktur des zweiten Modells umfasst.
Es kann vorgesehen sein, dass das Bestimmen der Struktur des ersten Modells eine Architektursuche mit einem Maschinenlernsystem umfasst, bei der die Struktur des ersten Modells abhängig von einer vorgegebenen Struktur des zweiten Modells bestimmt wird. Dies ermöglicht es, das erste Modell automatisiert an einen jeweiligen ersten Sensor und/oder zweiten Sensor anzupassen.
Es kann vorgesehen sein, dass das Bestimmen der Struktur des ersten Modells ein Kopieren zumindest eines Teils einer vorgegebenen Struktur des zweiten Modells in die Struktur des ersten Modells umfasst und/oder ein Kopieren von Werten zumindest eines Teils von vorgegebenen Parametern des zweiten Modells auf Werte für Parameter des ersten Modells umfasst. Dadurch wird das erste Modell für den ersten Sensor besonders gut an das zweite Modell für den zweiten Sensor angepasst, wenn diese Sensoren nur geringfügige Unterschiede aufweisen.
Vorzugsweise wird das erste Modell nach wenigstens einem Trainingsschritt in dem Parameter, die das erste Modell definieren, bestimmt werden, in ein Rechenwerk des ersten Sensors übertragen, das ausgebildet ist, für Rohdaten, die mit dem ersten Sensor gemessen werden, mit dem ersten Modell Ergebnisse vorherzusagen. Dadurch wird das erste Modell nach dem Trainieren im ersten Sensor bereitgestellt.
Das Verfahren kann vorsehen, dass das erste Modell, insbesondere zu einem vorgebbaren oder vorgegebenen Zeitpunkt vorzugsweise in regelmäßigen zeitlichen Abständen, aus dem Rechenwerk an eine Recheneinrichtung außerhalb des ersten Sensors übertragen wird, abhängig vom ersten Modell und wenigstens einem anderen Modell ein drittes Modell bestimmt wird, und das erste Modell im ersten Sensor durch das dritte Modell ersetzt wird. Beispielsweise wird das lokale, erste Modell des ersten Sensors mit den lokalen Modellen verschiedener Sensoren auf globaler Ebene fusioniert und verteilt. Vorteil von diesem Ansatz ist der deutlich reduzierte Kommunikationsbedarf, da das jeweilige lokale Modell deutlich kleiner ist, als die Summe der Trainingsdaten.
Es kann vorgesehen sein, dass das Verfahren wenn das erste Ergebnis vom zweiten Ergebnis abweicht, folgende Schritte umfasst: Übertragen des Trainingsdatenpunkts an eine Recheneinrichtung außerhalb des ersten Sensors, Bestimmen eines dritten Ergebnisses für den Trainingsdatenpunkt, insbesondere mit einem anderen Modell, das ausgebildet ist, für den Trainingsdatenpunkt das dritte Ergebnis vorherzugsagen, Bestimmen eines geänderten Trainingsdatenpunkt durch Ersetzen des zweiten Ergebnisses im Trainingsdatenpunkt mit dem dritten Ergebnis, Übertragen des geänderten Trainingsdatenpunkts an den ersten Sensor, Trainieren des ersten Modells mit dem geänderten Trainingsdatenpunkt. Dadurch wird das erste Modell zusätzlich mit einem geänderten Trainingsdatenpunkt trainiert, der außerhalb des ersten Sensors bestimmt wird.
Das Verfahren kann vorsehen, dass überprüft wird, ob das zweite Ergebnis für den Trainingsdatenpunkt korrekt oder fehlerhaft ist, wobei der geänderte Trainingsdatenpunkt bestimmt und für das Trainieren des ersten Modells verwendet wird, wenn das zweite Ergebnis fehlerhaft ist und wobei der geänderte Trainingsdatenpunkt anderenfalls nicht bestimmt und/oder nicht für das Trainieren des ersten Modells verwendet wird. Dadurch wird eine Fehleinschätzung des zweiten Modells erkannt und behoben. Das Training des ersten Modells erfolgt demnach nicht mit dem Ergebnis der Fehleinschätzung sondern mit dem korrekten Ergebnis.
Weitere vorteilhafte Ausführungsformen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt

1 eine schematische Darstellung von Teilen einer Vorrichtung zum Erzeugen einer daten-basierten Modellkopie,
2 Schritte in einem Verfahren zum Erzeugen der daten-basierten Modellkopie,
3 weitere Schritte in dem Verfahren zum Erzeugen der daten-basierten Modellkopie,
4 weitere Schritte in dem Verfahren zum Erzeugen der daten-basierten Modellkopie.

In 1 ist eine Vorrichtung 100 zum Erzeugen einer daten-basierten Modellkopie schematisch dargestellt. Die Vorrichtung 100 umfasst wenigstens einen Prozessor 102 und wenigstens einen Speicher 104. Diese werden im Folgenden als Rechenwerk bezeichnet.
In 1 ist ein erster Sensor 106 dargestellt. Der erste Sensor 106 umfasst im Beispiel das Rechenwerk.
Im wenigstens einen Speicher 104 ist ein erstes Modell 108 und ein vorgegebenes zweites Modell 110 gespeichert. Das erste Modell 108 ist zur Vorhersage von Ergebnissen basierend auf Rohdaten vom ersten Sensor 106 ausgebildet. Das zweite Modell 110 ist zur Vorhersage von Ergebnissen basierend auf Rohdaten von einem zweiten Sensor ausgebildet. Das zweite Modell 110 ist im Beispiel bereits bekannt und für diesen Zweck ausgebildet, insbesondere durch ein Vortraining. Das zweite Modell 110 ist im Beispiel für den zweiten Sensor angepasst. Das zweite Modell 110 ist im Beispiel ungeeignet, Rohdaten des ersten Sensors 106 direkt, d.h. insbesondere ohne eine Transformation in einen geeigneten Datentyp oder in ein geeignetes Format, zu verarbeiten. Das erste Modell 108 ist im Beispiel noch nicht trainiert oder noch nicht vollständig trainiert. Das erste Modell 108 ist ausgebildet die Rohdaten des ersten Sensors 106 zu verarbeiten.
Das erste Modell 108 umfasst im Beispiel einen ersten Klassifikator. Das zweite Modell 110 umfasst im Beispiel einen zweiten Klassifikator. Der ersten Klassifikator ist im Beispiel ein convolutional neural network, CNN. Der zweite Klassifikator ist im Beispiel ein convolutional neural network, CNN. Es kann statt eines CNN ein künstliches neuronales Netzwerk mit einer anderen Struktur vorgesehen sein. Es kann auch ein Klassifikator vorgesehen sein, der ein reguläres Klassifikationsproblem auf andere Art und Weise löst.
Das Rechenwerk ist im Beispiel ausgebildet, für Rohdaten, die mit dem ersten Sensor 106 gemessen werden, mit dem ersten Modell 108 Ergebnisse vorherzusagen und für Rohdaten, die denen des zweiten Sensors insbesondere im Datentyp oder Format entsprechen, mit dem zweiten Modell 110 Ergebnisse vorherzusagen.
Optional umfasst der erste Sensor 106 eine Schnittstelle 112 zu einer Recheneinrichtung 114, die außerhalb des Sensors 106 angeordnet ist. Die Recheneinrichtung 114 kann ein zentrales Steuergerät eines Fahrzeugs oder ein oder mehrere Server in einer Internetinfrastruktur sein.
Im Rechenwerk sind computerlesbare Instruktionen vorgesehen, bei deren Ausführung durch das Rechenwerk Schritte in einem im Folgenden beschriebenes Verfahren ablaufen. Es kann vorgesehen sein, dass das Rechenwerk und die Recheneinrichtung 114 dazu ausgebildet sind, jeweils einen Teil der Schritte auszuführen und dafür erforderliche Daten untereinander über die Schnittstelle 112 auszutauschen.
In 2 sind Schritte im Verfahren zum Erzeugen einer daten-basierten Modellkopie schematisch dargestellt.
Die Definition einer Netzwerkarchitektur des ersten Modells 108 ist eine technische Herausforderung. Unter der Annahme, dass eine Netzwerkarchitektur bekannt ist, besteht die verbleibende Aufgabe darin, das Netz zu trainieren. Für ein Trainieren des ersten Modells 108 mittels eines überwachten Klassifikationsproblems ist eine große Menge von gelabelten Daten erforderlich. Dieser Aufwand ist im Beispiel für die Netzwerkarchitektur und das Trainieren des zweiten Modells 110 betrieben worden. Dieser Aufwand wird im Beispiel für das erste Modell 108 durch die daten-basierten Modellkopie vermieden oder so gering wie möglich gehalten.
Das Verfahren wird beispielsweise für eine Folgegeneration eines Radarsensors eingesetzt, der gegenüber einer Vorgängergeneration des Radarsensors erweiterte technische Fähigkeiten aufweist. Diese können z.B. folgende Eigenschaften betreffen: Erhöhung einer Reichweite, einer Auflösung, eines Öffnungswinkels des Radarsensors. Das Verfahren ist auch für grundsätzliche Änderungen einer Radarmodulation und Signalauswertung anwendbar.
Bei Verwendung eines datenbasierten Modells in der Folgegeneration werden mit dem Verfahren Erkenntnisse übertragen. Es können die Erkenntnisse von klassischen Modellen in datenbasierte Modelle übertragen werden. Es kann ein datenbasiertes Modell der Vorgängergeneration übernommen werden. Im Fall des klassischen Modells liegt die Herausforderung bei der Integration von Domänenwissen in ein datenbasiertes Modell. Im Fall von datenbasierten Modellen entsteht die Problematik dann, wenn die Sensorsignale unterschiedlicher Generationen stark unterschiedlich sind und die Möglichkeiten der Generalisierung des zweiten Modells 110 überschritten wird.
Es kann vorgesehen sein, mit dem Verfahren eine algorithmische Kopie eines bereits bestehenden Algorithmus zu erzeugen, der in einem Radarsensor der Vorgängergeneration auf Basis von Eingangsdaten im anderen Format verwendet wird, als in der Folgegeneration. Dies ermöglicht beispielsweise eine Anwendung des bereits bestehenden Algorithmus im Radarsensor der Folgegeneration, insbesondere zur Erzeugung von Ground-Truth bzw. Identifizierung von relevanten Trainingsdaten für einen neuen Algorithmus anhand des bereits bestehenden Algorithmus. Bei einer Ausführung der Algorithmen werden die Modelle zur Verarbeitung der Sensordaten eingesetzt.
Statt eines Radarsensors kann auch ein anderer Sensor insbesondere ein LiDAR-, Ultraschall-, Infrarot- oder akustischen Sensor verwendet werden.
In einem Schritt 202 werden vorgegebene Rohdaten 204 in Daten 206, die Rohdaten des zweiten Sensors repräsentieren, transformiert. Die Daten 206 werden beispielsweise durch eine Transformationseinheit erzeugt, die Rohdaten 204 in Daten 206 umwandelt.
Die Transformationseinheit kann eine Transformationsvorschrift umfassen oder ein datenbasiertes Modell.
Die Rohdaten 204 des ersten Sensors 106 werden im Beispiel mittels der Transformationsvorschrift in die Daten 206 konvertiert. Die Transformationsvorschrift ist beispielsweise mathematisch beschrieben oder datenbasiert trainiert.
Es kann stattessen vorgesehen sein, die Rohdaten 204 des ersten Sensors 106 mit dem datenbasierten Modell zu konvertieren. Daten für ein überwachtes Training des datenbasierten Modells werden beispielsweis bereitgestellt, indem der erste Sensor 106 und der zweite Sensor in einem Testfahrzeug montiert werden und für einen repräsentativen Testumfang Datenströme von Rohdaten beider Sensoren aufgenommen werden. Das gesuchte datenbasierte Modell überführt die Rohdaten 204 des ersten Sensors 106 in Rohdaten des zweiten Sensors. Beispielsweise wird dies mit einem überwachten Training eines neuronalen Netzwerkes oder eines anderen Modells erreicht. Es kann vorgesehen sein, das datenbasierte Modell beim Trainieren adaptiv zu verbessern, z.B. durch eine automatisierte Architektursuche.
Es kann als Transformation auch eine Abtastung der Rohdaten vorgesehen sein.
Durch die Verwendung dieser Transformation wird eine Kopie basierend auf dem ersten Sensor 106 ermöglicht. Im Beispiel laufen Algorithmen für beide Modelle und die Transformation auf dem ersten Sensor 106, z.B. parallel oder wahlweise. Der zweite Sensor ist nicht erforderlich, um das erste Modell 108 zu trainieren.
Das Verfahren beginnt beispielsweise, wenn die Rohdaten 204 des ersten Sensors 106 vorgegeben werden. Diese können vom ersten Sensor 106 gemessen werden oder aus einem Speicher, z.B. des Rechenwerks gelesen werden.
Die Rohdaten 204 des ersten Sensors 106 und die des zweiten Sensors können ein Zeitbereichssignal charakterisieren.
Die Rohdaten 204 des ersten Sensors 106 und die Daten 206 können ein Spektrum, insbesondere des Radar-, LiDAR-, Ultraschall-, Infrarot- oder akustischen Sensors charakterisieren.
Die Rohdaten 204 des ersten Sensors 106 und die Daten 206 können eine Position charakterisieren.
Die Rohdaten 204 des ersten Sensors 106 und die Daten 206 können gefilterte Daten oder Transformationen von Daten die das Zeitbereichssignal, das Spektrum oder die Position charakterisieren sein.
In einem Schritt 208 wird ein erstes Ergebnis 210 mit den vorgegebenen Rohdaten 204 und mit dem ersten Modell 108 bestimmt.
Die Schritt 202 und 208 werden im Beispiel nacheinander ausgeführt, können jedoch auch zeitlich zumindest teilweise parallel ablaufen.
In einem Schritt 212 wird ein zweites Ergebnis 214 mit den Daten 206, die die Rohdaten des zweiten Sensors repräsentieren und mit dem vorgegebenen zweiten Modell 110 bestimmt. Der Schritt 212 erfolgt im Beispiel an den Schritt 202 anschließend.
Es kann vorgesehen sein, dass das erste Ergebnis 210 und/oder das zweite Ergebnis 214 einen Objekttyp charakterisiert.
Es kann vorgesehen sein, dass das erste Ergebnis 210 und/oder das zweite Ergebnis 214 eine Schätzung für eine Abmessung eines Objekts charakterisiert.
Es kann vorgesehen sein, dass das erste Ergebnis 210 und/oder das zweite Ergebnis 214 angibt, ob ein blinder Sensor, ein Clustering oder ein Objekt erkannt wurde oder nicht.
Anschließend wird ein Schritt 216 ausgeführt.
Im Schritt 216 wird bestimmt, ob das erste Ergebnis 210 vom zweiten Ergebnis 214 abweicht oder nicht.
Wenn das erste Ergebnis 210 vom zweiten Ergebnis 214 abweicht, wird ein Schritt 218 ausgeführt. Anderenfalls werden im Beispiel andere Rohdaten 204 vorgegeben und der Schritt 202 ausgeführt.
Im Schritt 218 wird ein Trainingsdatenpunkt bestimmt, der die vorgegebenen Rohdaten 204 und das zweite Ergebnis 214 umfasst.
Anschließend wird ein Schritt 220 ausgeführt.
Im Schritt 220 wird das erste Modells 108 mit Trainingsdaten, die den Trainingsdatenpunkt umfassen, trainiert.
Es kann vorgesehen sein, dass das Trainieren des ersten Modells 108 in einer Mehrzahl von Iterationen erfolgt.
Es kann vorgesehen sein, dass Werte von Parametern 222, die das erste Modell 108 definieren, vor einer ersten der Iterationen mit Zufallswerten initialisiert werden.
Es kann vorgesehen sein, dass Werte von Parametern 222, die das erste Modell 108 definieren, vor einer ersten der Iterationen durch ein Training mit Rohdaten, die mit dem ersten Sensor 106 gemessen wurden, bestimmt werden oder wurden.
Es kann vorgesehen sein, dass das Trainieren vorsieht, dass in einer Anzahl von Iterationen eine Vielzahl von Trainingsdatenpunkten bestimmt wird, ohne einen Trainingsschritt auszuführen. Es kann vorgesehen sein, dass das anschließend ein Trainingsschritt ausgeführt wird, in dem Parameter 222, die das erste Modell 108 definieren bestimmt werden.
Es kann vorgesehen sein, dass die Parameter 222 mit einem Teil der Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten bestimmt werden.
Es kann vorgesehen sein, dass die Parameter 222 mit den, insbesondere allen, Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten bestimmt werden.
Beispielsweise wird trainiert, wenn der Speicher 104 eine ausreichende Menge Einträge enthält. Dies erfolgt entweder inkrementell mit dem Teil oder im vollen Batch mit allen Trainingsdatenpunkten von Grund auf. Beim inkrementellen Training kann der Speicher 104 deutlich kleiner ausgeführt sein. Die ausreichende Menge neuer Trainingsdatenpunkte kann im Bereich von typischer Weise einem neuen Trainingsdatenpunkt bis zu mehreren 1000 neuen Trainingsdatenpunkten liegen. Je niedriger die Anzahl der Iterationen ohne Trainingsschritt, desto weniger redundante Trainingsdatenpunkte werden zwischen den Trainingsschritten gesammelt mit entsprechenden Vorteilen für den Speicherumfang und Balance des Datensatzes.
Der Schritt 220 wird im Beispiel im ersten Sensor 106 ausgeführt. Es kann vorgesehen sein, dass der Schritt 220 stattdessen in einer Recheneinrichtung 114 außerhalb des ersten Sensors 106 ausgeführt wird.
Wenn das erste Modell 108 in der Recheneinrichtung 114 trainiert wird, wird es nach wenigstens einem Trainingsschritt in das Rechenwerk des ersten Sensors 106 übertragen. Das erste Modell 108 wird beispielsweise via Firmware-Over-The-Air, FOTA, oder via eines drahtgebundenen Firmware-Update in den ersten Sensor 106 übertragen
Das neu trainierte erste Modell 108 wird beispielsweise durch eine Aktualisierung von Koeffizienten im Rechenwerk des ersten Sensors 106 aktualisiert. Die regelmäßigen zeitlichen Abständen können z.B. 1/Tag... 1/Monat sein.
Optional umfasst das Verfahren einen Schritt 224. Im Schritt 224 wird eine Struktur des ersten Modells 108 abhängig von einer vorgegebenen Struktur des zweiten Modells 110 bestimmt. Der Schritt 224 erfolgt vorzugsweise vor der ersten Iteration.
Der Schritt 224 umfasst im Beispiel eine Architektursuche mit einem Maschinenlernsystem, bei der die Struktur des ersten Modells 108 abhängig von einer vorgegebenen Struktur des zweiten Modells 110 bestimmt wird.
Stattdessen kann auch vorgesehen sein, dass der Schritt 224 ein Kopieren zumindest eines Teils einer vorgegebenen Struktur des zweiten Modells 110 in die Struktur des ersten Modells 108 umfasst.
Stattdessen oder zusätzlich dazu kann auch vorgesehen sein, dass der Schritt 224 ein Kopieren von Werten zumindest eines Teils von vorgegebenen Parametern des zweiten Modells 110 auf Werte für Parameter 222 des ersten Modells 108 umfasst.
Ein Modelltyp des ersten Modells 108 kann beispielsweise einem Modelltyp des zweiten Modells 110 mit an den ersten Sensor 106 angepassten Eingang entsprechen. Das erste Modell 108 kann auch eine beliebig gewählte andere Struktur als das zweite Modell 110 aufweisen. Das erste Modell 108 kann auch mit einer neuronalen Architektursuche, z.B. AutoML, an eine jeweilige Datenlage angepasst sein.
Das Verfahren kann zudem folgende, in 3 schematisch dargestellte Schritte vorsehen.
Im Beispiel wird in regelmäßigen zeitlichen Abständen ein Schritt 302 ausgeführt.
Es kann vorgesehen sein, dass ein Zeitpunkt dafür vorgebbar ist, oder dass der Zeitpunkt vorgegeben ist.
In einem Schritt 302 wird das erste Modell 108 aus dem Rechenwerk an den Recheneinrichtung 114 außerhalb des ersten Sensors 106 übertragen.
Anschließend wird ein Schritt 302 ausgeführt.
Im Schritt 304 wird abhängig vom ersten Modell 108 und wenigstens einem anderen Modell ein drittes Modell bestimmt. Dazu können Verfahren wie Federated Learning zum Einsatz kommen.
Anschließend wird ein Schritt 306 ausgeführt.
Im Schritt 306 wird das erste Modell 108 im ersten Sensor 106 durch das dritte Modell ersetzt. Das dritte Modell ist im Beispiel ein globales fusioniertes Modell. Das dritte Modell wird beispielsweise via Firmware-Over-The-Air, FOTA, oder via eines drahtgebundenen Firmware-Update in den ersten Sensor 106 übertragen.
Das Verfahren kann zudem folgende, in 4 schematisch dargestellte Schritte vorsehen.
In einen Schritt 402 wird geprüft, ob das erste Ergebnis 210 vom zweiten Ergebnis 214 abweicht. Wenn das erste Ergebnis 210 vom zweiten Ergebnis abweicht, wird ein Schritt 404 ausgeführt. Anderenfalls wird der Schritt 404 im Beispiel nicht ausgeführt. Der Schritt 402 kann als Teil des Schritts 216 implementiert sein.
Im Schritt 404 wird überprüft, ob das zweite Ergebnis 214 für den Trainingsdatenpunkt 218 korrekt oder fehlerhaft ist.
Wenn das zweite Ergebnis 210 fehlerhaft ist, wird ein Schritt 406 ausgeführt. Anderenfalls wird der Schritt 406 im Beispiel nicht ausgeführt.
Im Schritt 406 wird der Trainingsdatenpunkt 218 an die Recheneinrichtung 114 außerhalb des ersten Sensors 106 übertragen.
Anschließend wird ein Schritt 408 ausgeführt.
Im Schritt 408 wird ein drittes Ergebnis für den Trainingsdatenpunkt 218 bestimmt. Das dritte Ergebnis wird im Beispiel mit einem anderen Modell bestimmt, das ausgebildet ist, für den Trainingsdatenpunkt 218 das dritte Ergebnis vorherzugsagen. Im Beispiel ist das andere Modell ein bereits vortrainiertes Modell.
Anschließend wird ein Schritt 410 ausgeführt.
Im Schritt 410 wird ein geänderter Trainingsdatenpunkt durch Ersetzen des zweiten Ergebnisses im Trainingsdatenpunkt 218 mit dem dritten Ergebnis bestimmt.
Anschließend wird ein Schritt 412 ausgeführt.
Im Schritt 412 wird der geänderte Trainingsdatenpunkt an den ersten Sensor, 106 übertragen.
Anschließend wird ein Schritt 414 ausgeführt.
Im Schritt 414 wird das erste Modell 108 mit dem geänderten Trainingsdatenpunkt trainiert.
Das Verfahren kann angewendet werden, um ein bestehendes Modell für einen Sensor gleicher Generation in unterschiedlicher Einbaulage nutzbar zu machen.
Dazu werden zwei oder mehr Sensoren an einem Testfahrzeug in unterschiedlicher Einbaulage montiert. Für einen repräsentativen Testumfang bei mehreren Sensoren werden entsprechende Datenströme wie beschrieben verarbeitet.

Claims

Computerimplementiertes Verfahren zum Erzeugen einer daten-basierten Modellkopie in einem ersten Sensor (106), dadurch gekennzeichnet, dass das Verfahren folgende Schritte umfasst: Transformieren (202) vorgegebener Rohdaten (204) von einem ersten Sensor (106) in Daten (206), die Rohdaten eines zweiten Sensors repräsentieren, Bestimmen (208) eines ersten Ergebnisses (210) mit den vorgegebenen Rohdaten und mit einem ersten Modell (108), das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom ersten Sensor (106) ausgebildet ist, Bestimmen (212) eines zweiten Ergebnisses (214) mit den Daten (206), die die Rohdaten des zweiten Sensors repräsentieren und mit einem vorgegebenen zweiten Modell (110), das zur Vorhersage von Ergebnissen basierend auf Rohdaten vom zweiten Sensor ausgebildet ist, Bestimmen (216), ob das erste Ergebnis (210) vom zweiten Ergebnis (214) abweicht oder nicht, wobei das Verfahren dann, wenn das erste Ergebnis vom zweiten Ergebnis abweicht, folgende Schritte umfasst: Bestimmen (218) eines Trainingsdatenpunkts, der die vorgegebenen Rohdaten (204) und das zweite Ergebnis (214) umfasst, Trainieren (220) des ersten Modells (108) mit Trainingsdaten, die den Trainingsdatenpunkt umfassen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Rohdaten (204) insbesondere wenigstens ein Zeitbereichssignal, wenigstens ein Spektrum, insbesondere eines Radar-, LiDAR-, Ultraschall-, Infrarot- oder akustischen Sensors, oder wenigstens eine Position oder gefilterte Daten davon oder Transformationen davon repräsentieren.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das erste Ergebnis (210) und/oder das zweite Ergebnis (214) einen Objekttyp oder eine Schätzung für eine Abmessung eines Objekts charakterisiert, oder dass das erste Ergebnis (210) und/oder das zweite Ergebnis (214) angibt, ob ein blinder Sensor, ein Clustering oder ein Objekt erkannt wurde oder nicht.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Trainieren (220) des ersten Modells (108) in einer Mehrzahl von Iterationen erfolgt, wobei Werte von Parametern (222), die das erste Modell (108) definieren, vor einer ersten der Iterationen mit Zufallswerten initialisiert werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Trainieren (220) in einer Mehrzahl von Iterationen erfolgt, wobei Werte von Parametern (222), die das erste Modell (108) definieren, vor einer ersten der Iterationen durch ein Training mit Rohdaten, die mit dem ersten Sensor (106) gemessen wurden, bestimmt werden oder wurden.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Trainieren (220) vorsieht, dass in einer Anzahl von Iterationen eine Vielzahl von Trainingsdatenpunkten bestimmt wird, ohne einen Trainingsschritt auszuführen, wobei anschließend, insbesondere im ersten Sensor (106) oder in einer Recheneinrichtung (114) außerhalb des ersten Sensors (106), ein Trainingsschritt ausgeführt wird, in dem Parameter (222), die das erste Modell (108) definieren, mit einem Teil der Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten oder mit den Trainingsdatenpunkten aus der Vielzahl von Trainingsdatenpunkten bestimmt werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren ein Bestimmen (224) einer Struktur des ersten Modells (108) abhängig von einer vorgegebenen Struktur des zweiten Modells (110) umfasst.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Bestimmen (224) der Struktur des ersten Modells (108) eine Architektursuche mit einem Maschinenlernsystem umfasst, bei der die Struktur des ersten Modells (108) abhängig von einer vorgegebenen Struktur des zweiten Modells (110) bestimmt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Bestimmen (224) der Struktur des ersten Modells (108) ein Kopieren zumindest eines Teils einer vorgegebenen Struktur des zweiten Modells (110) in die Struktur des ersten Modells (108) umfasst und/oder ein Kopieren von Werten zumindest eines Teils von vorgegebenen Parametern des zweiten Modells (110) auf Werte für Parameter (222) des ersten Modells (108) umfasst.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren vorsieht, dass das erste Modell (108) nach wenigstens einem Trainingsschritt in dem Parameter (222), die das erste Modell (108) definieren, bestimmt werden, in ein Rechenwerk (102, 104) des ersten Sensors (106) übertragen wird, das ausgebildet ist, für Rohdaten, die mit dem ersten Sensor (106) gemessen werden, mit dem ersten Modell (108) Ergebnisse vorherzusagen.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren vorsieht, dass das erste Modell (108), insbesondere zu einem vorgebbaren oder vorgegebenen Zeitpunkt vorzugsweise in regelmäßigen zeitlichen Abständen, aus dem Rechenwerk (102, 104) an eine Recheneinrichtung (114) außerhalb des ersten Sensors (106) übertragen wird (302), abhängig vom ersten Modell (108) und wenigstens einem anderen Modell ein drittes Modell bestimmt wird (304), und das erste Modell (108) im ersten Sensor (106) durch das dritte Modell ersetzt wird (306).
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren, wenn das erste Ergebnis (210) vom zweiten Ergebnis (214) abweicht (402), folgende Schritte umfasst: Übertragen (406) des Trainingsdatenpunkts (218) an eine Recheneinrichtung (114) außerhalb des ersten Sensors (106), Bestimmen (408) eines dritten Ergebnisses für den Trainingsdatenpunkt (218), insbesondere mit einem anderen Modell, das ausgebildet ist, für den Trainingsdatenpunkt (218) das dritte Ergebnis vorherzugsagen, Bestimmen (410) eines geänderten Trainingsdatenpunkt durch Ersetzen des zweiten Ergebnisses im Trainingsdatenpunkt (218) mit dem dritten Ergebnis, Übertragen (412) des geänderten Trainingsdatenpunkts an den ersten Sensor, (106) Trainieren (414) des ersten Modells (108) mit dem geänderten Trainingsdatenpunkt.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Verfahren vorsieht, dass überprüft wird (404), ob das zweite Ergebnis (214) für den Trainingsdatenpunkt (218) korrekt oder fehlerhaft ist, wobei der geänderte Trainingsdatenpunkt bestimmt (412) und für das Trainieren (220) des ersten Modells (108) verwendet (414) wird, wenn das zweite Ergebnis (214) fehlerhaft ist und wobei der geänderte Trainingsdatenpunkt anderenfalls nicht bestimmt und/oder nicht für das Trainieren (220) des ersten Modells verwendet wird.
Vorrichtung (100) zum Erzeugen einer daten-basierten Modellkopie in einem ersten Sensor, dadurch gekennzeichnet, dass die Vorrichtung (100) dazu ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.
Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm computerlesbare Instruktionen umfasst, bei deren Ausführung durch einen Computer ein Verfahren nach einem der Ansprüche 1 bis 13 abläuft.