DE102019213547A1

DE102019213547A1 - Vorrichtung und Verfahren zum Trainieren eines Modells sowie Fahrzeug

Info

Publication number: DE102019213547A1
Application number: DE102019213547.1A
Authority: DE
Inventors: Andrej Junginger
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-09-05
Filing date: 2019-09-05
Publication date: 2021-03-11
Also published as: US20210073646A1; US11836892B2; CN112440909A

Abstract

Eine Vorrichtung und ein Verfahren zum Trainieren eines Modells, das Modell ein erstes Teilmodell (304) und ein zweites Teilmodell (314) aufweist, werden offenbart, bei dem digitale Daten (104) herunterskaliert werden, so dass erste Eingangsdaten (302) erzeugt werden; bei dem die digitalen Daten (104) in mehrere Datenbereiche (310) aufgeteilt werden, so dass zweite Eingangsdaten (312) erzeugt werden; bei dem ein erstes Teilmodell (304) erste Teilmodell-Daten (306) erzeugt zu dem ersten Teilmodell (304) zugeführten ersten Eingangsdaten (302); bei dem die ersten Teilmodell-Daten (306) zu ersten Ausgangsdaten (308) hochskaliert werden; bei dem ein zweites Teilmodell (314) für die Datenbereiche (310) entsprechende Ausgangsdatenbereiche (316) zu dem zweiten Teilmodell (314) zugeführten zweiten Eingangsdaten (312); bei dem die Ausgangsdatenbereiche (316) zu zweiten Ausgangsdaten (318) zusammengesetzt werden; bei dem die ersten Ausgangsdaten (308) und die zweiten Ausgangsdaten (318) zu dritten Ausgangsdaten (320) zusammengeführt werden; bei dem das erste Teilmodell (304) durch Vergleich von bereitgestellten Zieldaten (402), welche den digitalen Daten (104) zugeordnet sind, und der ersten Ausgangsdaten (308) auf die digitalen Daten (104) trainiert wird; und bei dem das zweite Teilmodell (314) durch Vergleich der Zieldaten (402) und der dritten Ausgangsdaten (320) auf die digitalen Daten (104) trainiert wird.

Description

Verschiedene Ausführungsbeispiele betreffen allgemein eine Vorrichtung und ein Verfahren zum Trainieren eines Modells.
Bildgebungssensoren, wie beispielsweise Kamera-Sensoren und Video-Sensoren, detektieren digitale Bilddaten mit zunehmend höherer Auflösung. Zum Beispiel beim autonomen Fahren ist es erforderlich, dass diese großen Datenmengen verarbeitet werden können, um die notwendigen Detailinformationen in den verarbeiteten Daten zu bewahren, sodass Objekte, wie beispielsweise Straßenschilder, Fußgänger, Hindernisse usw., erkannt werden können, und um zum Beispiel das Fahrzeug in Abhängigkeit von den erkannten Objekten zu steuern. Zur Objekterkennung werden in diesem Zusammenhang oftmals Modelle wie beispielsweise neuronale Netzwerke verwendet.
Die Verarbeitung der Daten zur Objekterkennung unter Verwendung von Modellen benötigt jedoch während der internen Berechnungen sehr viel Speicher. Daher ist die verarbeitbare Datenmenge für einen Netzwerkdurchlauf begrenzt. Dies führt zu Limitierungen wie beispielsweise der Datenqualität, der Bildgröße, der Zeitskala usw. Daher kann es erforderlich sein, dass ein Modell für die Verarbeitung von Daten weniger Speicher für die internen Berechnungen benötigt.
In Zhu et al., Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv:1703.10593, 2018, ist ein Verfahren zur ungepaarten Bild-zu-Bild Translation unter Verwendung von zwei gekoppelten GAN (generative adversarial network) neuronalen Netzwerkes beschrieben.
In Liu et al., Unsupervised Image-to-Image Translation Networks, arXiv: 1703.00858, 2018, ist ein Verfahren zur ungepaarten Bild-zu-Bild Translation unter Verwendung von zwei gekoppelten GAN beschrieben, wobei die Encoder des ersten GAN und des zweiten GAN in einen gemeinsamen latenten Raum abbilden.
Das Verfahren und die Vorrichtung mit den Merkmalen der unabhängigen Ansprüche 1 (erstes Beispiel) und 8 (sechsunddreißigstes Beispiel) ermöglichen, ein Modell derart zu trainieren, dass das trainierte Modell bei der Verarbeitung von Daten einen verringerten internen Speicherbedarf aufweist.
Ein Modell kann jede Art von Algorithmus basierend auf mathematischer Logik sein, der basierend auf einer Eingabe unter Verwendung des Algorithmus eine Ausgabe bereitstellt. Das Modell kann eine Matrixmultiplikation oder eine Hauptkomponentenanalyse aufweisen. Ein Modell kann ein neuronales Netzwerk aufweisen. Ein neuronales Netzwerk kann jede Art von neuronalem Netzwerk, wie beispielsweise ein Autoencoder-Netzwerk oder ein CNN (convolutional neural network) sein. Das neuronale Netzwerk kann eine Encoder-Funktion und eine Decoder-Funktion aufweisen. Das neuronale Netzwerk kann jede Anzahl an Schichten aufweisen und das Trainieren des neuronalen Netzwerkes, d.h. das Adaptieren der Schichten des neuronalen Netzwerkes, kann auf jede Art von Trainingsprinzip basieren, wie beispielsweise Backpropagation, d.h. einem Backpropagation-Algorithmus.
Die digitalen Daten können sensor-detektierte Daten sein. Das in diesem Absatz beschriebene Merkmal in Kombination mit dem ersten Beispiel bildet ein zweites Beispiel.
Das erste Teilmodell und/oder das zweite Teilmodell können computerimplementiert sein. Die in diesem Absatz beschriebenen Merkmale in Kombination mit dem ersten Beispiel oder dem zweiten Beispiel bilden ein drittes Beispiel.
Das erste Teilmodell kann erste Teilmodell-Daten zu den zugeführten ersten Eingangsdaten erzeugen, welche die gleiche Auflösung wie die ersten Eingangsdaten aufweisen. Das in diesem Abschnitt beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem dritten Beispiel bildet ein viertes Beispiel.
Das erste Teilmodell und/oder das zweite Teilmodell können einen Autoencoder aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem vierten Beispiel bilden ein fünftes Beispiel.
Das erste Teilmodell und/oder das zweite Teilmodell können eine Matrixmultiplikation, eine Hauptkomponentenanalyse oder ein neuronales Netzwerk aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem fünften Beispiel bilden ein sechstes Beispiel.
Berechnungsparameter des ersten Teilmodells und/oder Berechnungsparameter des zweiten Teilmodells können in dem mindestens einen Speicher gespeichert werden. Die Berechnungsparameter des ersten Teilmodells und die Berechnungsparameter des zweiten Teilmodells können Wichtungen und/oder Aktivierungen aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem sechsten Beispiel bilden ein siebtes Beispiel.
Die digitalen Daten können Bildgebungs-Sensordaten, Radar-Sensordaten, LIDAR-Sensordaten, fahrdynamikspezifische Sensordaten oder motorspezifische Sensordaten aufweisen. Die fahrdynamikspezifischen Sensordaten können eine Geschwindigkeit, eine Beschleunigung oder einen Winkel aufweisen. Die motorspezifischen Sensordaten können eine Gaspedalstellung, eine Einspritzmenge, eine Temperatur oder eine Drehzahl aufweisen. Die digitalen Daten können ferner Ultraschall-Sensordaten oder Thermischer-Sensordaten aufweisen oder sein. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem siebten Beispiel bilden ein achtes Beispiel.
Die digitalen Daten können einen der folgenden digitalen Datentypen aufweisen: Bilddaten, Punktwolken oder Zeitreihen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem achten Beispiel bilden ein neuntes Beispiel.
Die ersten Eingangsdaten können globale (großskalige) Informationen der digitalen Daten aufweisen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem neunten Beispiel bildet ein zehntes Beispiel.
Das Herunterskalieren der digitalen Daten kann das Verringern der Skalierung aufweisen. Das Verringern der Skalierung der digitalen Daten kann das Verringern der Skalierung um einen Skalierungsfaktor von 4 bis 8 aufweisen. Das Herunterskalieren der digitalen Daten hat den Effekt, dass das Modell einerseits weniger Speicher für die internen Berechnungen benötigt sowie andererseits, dass ein geringerer rechentechnischer Aufwand zum Verarbeiten der digitalen Daten erforderlich ist. Der Speicherbedarf sinkt proportional zu 1/S^d, wobei S den Skalierungsfaktor und d die Raumdimension angibt, wobei d gleich 1 ist, falls die digitalen Daten Zeitreihen aufweisen, wobei d gleich 2 ist, falls die digitalen Daten Bilddaten aufweisen, und wobei d gleich 3 ist, falls die digitalen Daten dreidimensionale Raumgitter aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem zehnten Beispiel bilden ein elftes Beispiel.
Die zweiten Eingangsdaten können lokale (kleinskalige) Informationen der digitalen Daten aufweisen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem elften Beispiel bildet ein zwölftes Beispiel.
Das zweite Teilmodell kann zweite Teilmodell-Daten zu den zugeführten zweiten Eingangsdaten erzeugen, wobei für jeden Datenbereich der mehreren Datenbereiche ein zugehöriger Ausgangsdatenbereich der mehreren Ausgangsdatenbereiche erzeugt werden kann. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem zwölften Beispiel bilden ein dreizehntes Beispiel.
Das Aufteilen der digitalen Daten in mehrere Datenbereiche kann das Aufteilen der digitalen Daten in mehrere Datenbereiche gemäß einem Aufteilungsschlüssel aufweisen. Das Aufteilen der digitalen Daten in mehrere Datenbereiche kann das Aufteilen der digitalen Daten in 16 bis 64 Datenbereiche aufweisen. Das Aufteilen der digitalen Daten hat den Effekt, dass das Modell einerseits weniger Speicher für die internen Berechnungen benötigt sowie andererseits, dass ein geringerer rechentechnischer Aufwand zum Verarbeiten der digitalen Daten erforderlich ist. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem dreizehnten Beispiel bilden ein vierzehntes Beispiel.
Jeder Datenbereich der mehreren Datenbereiche kann dieselbe Skalierung aufweisen. Die Skalierung eines jeden Datenbereichs der mehreren Datenbereiche kann der Skalierung der ersten Eingangsdaten entsprechen. Anders ausgedrückt können die digitalen Daten basierend auf einem gleichmäßigen Gitter in mehrere Datenbereiche aufgeteilt werden. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem vierzehnten Beispiel bilden ein fünfzehntes Beispiel.
Jedem ersten Ausgangsdatum der ersten Ausgangsdaten kann genau ein digitales Datum der digitalen Daten zugeordnet sein und jedem zweiten Ausgangsdatum der zweiten Ausgangsdaten kann genau ein digitales Datum der digitalen Daten zugeordnet sein. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem fünfzehnten Beispiel bilden ein sechzehntes Beispiel.
Die Skalierung der ersten Teilmodell-Daten kann der Skalierung der ersten Eingangsdaten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem sechzehnten Beispiel bildet ein siebzehntes Beispiel.
Das Hochskalieren der ersten Teilmodell-Daten kann das Vergrößern der Skalierung aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem siebzehnten Beispiel bilden ein achtzehntes Beispiel.
Die Skalierung der ersten Ausgangsdaten kann der Skalierung der Zieldaten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem achtzehnten Beispiel bildet ein neunzehntes Beispiel.
Die Skalierung der Zieldaten kann der Skalierung der digitalen Daten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem neunzehnten Beispiel bildet ein zwanzigstes Beispiel.
Die Ausgangsdatenbereiche können mehrere Ausgangsdatenbereiche aufweisen. Jedem Ausgangsdatenbereich der mehreren Ausgangsdatenbereichen kann genau ein Datenbereich der mehreren Datenbereiche zugeordnet sein. Die Skalierung eines jeden Ausgangsdatenbereichs der mehreren Ausgangsdatenbereiche kann der Skalierung des zugeordneten Datenbereichs der mehreren Datenbereiche entsprechen. Das Zusammensetzen der Ausgangsdatenbereiche zu zweiten Ausgangsdaten kann das Zusammensetzen der mehreren Ausgangsdatenbereiche basierend auf dem Aufteilungsschlüssel aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem zwanzigsten Beispiel bilden ein einundzwanzigstes Beispiel.
Die Skalierung der zweiten Ausgangsdaten kann der Skalierung der ersten Ausgangsdaten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem einundzwanzigsten Beispiel bildet ein zweiundzwanzigstes Beispiel.
Das Zusammenführen von den ersten Ausgangsdaten und den zweiten Ausgangsdaten zu dritten Ausgangsdaten kann das Summieren der ersten Ausgangsdaten und der zweiten Ausgangsdaten aufweisen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem zweiundzwanzigsten Beispiel bildet ein dreiundzwanzigstes Beispiel.
Das Zusammenführen von den ersten Ausgangsdaten und den zweiten Ausgangsdaten zu dritten Ausgangsdaten kann das gewichtete Summieren der ersten Ausgangsdaten und der zweiten Ausgangsdaten aufweisen. Das in diesem Absatz beschriebene Merkmal in Kombination mit dem dreizwanzigsten Beispiel bildet ein vierundzwanzigstes Beispiel.
Das Summieren der ersten Ausgangsdaten und der zweiten Ausgangsdaten kann das Summieren eines jeden ersten Ausgangsdatums der ersten Ausgangsdaten mit dem zugeordneten zweiten Ausgangsdatum der zweiten Ausgangsdaten aufweisen. Das in diesem Absatz beschriebene Merkmal in Kombination mit dem zweiundzwanzigsten Beispiel oder dem vierundzwanzigsten Beispiel bildet ein fünfündzwanzigstes Beispiel.
Die Skalierung der dritten Ausgangsdaten kann der Skalierung der Zieldaten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem fünfundzwanzigsten Beispiel bildet ein sechsundzwanzigstes Beispiel.
Das Trainieren des ersten Teilmodells auf die digitalen Daten kann das Ermitteln eines ersten Verlustwertes durch Vergleichen der ersten Ausgangsdaten mit den Zieldaten und kann das Adaptieren des ersten Teilmodells basierend auf dem ersten Verlustwert aufweisen. Der erste Verlustwert kann unter Verwendung einer ersten Verlustfunktion ermittelt werden. Das Adaptieren des ersten Teilmodells kann das Minimieren des ersten Verlustwertes aufweisen. Das heißt, das erste Teilmodell wird derart trainiert, dass es die Zieldaten möglichst genau repräsentiert. Das hat den Effekt, dass das erste Teilmodell beispielsweise die Repräsentation von großflächigen, insbesondere homogenen Flächen und/oder Hauptfarbzuordnungen lernen kann. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem sechsundzwanzigsten Beispiel bilden ein siebenundzwanzigstes Beispiel.
Das Trainieren des zweiten Teilmodells auf die digitalen Daten kann das Ermitteln eines zweiten Verlustwertes durch Vergleichen der dritten Ausgangsdaten mit den Zieldaten und kann das Adaptieren des zweiten Teilmodells basierend auf dem zweiten Verlustwert aufweisen. Der zweite Verlustwert kann unter Verwendung einer zweiten Verlustfunktion ermittelt werden. Das Adaptieren des zweiten Teilmodells kann das Minimieren des zweiten Verlustwertes aufweisen. Das heißt, dass das zweite Teilmodell eine Differenzmaske zwischen den ersten Ausgangsdaten und den Zieldaten repräsentiert, sodass durch ein Kombinieren der ersten Ausgangsdaten mit den zweiten Ausgangsdaten dritte Ausgangsdaten, die die Zieldaten repräsentieren, erzeugt werden können. Anders ausgedrückt lernt das zweite Teilmodell eine Differenz zwischen den durch das erste Teilmodell erzeugten ersten Ausgangsdaten und den Zieldaten. Das hat den Effekt, dass die dritten Ausgangsdaten im Gegensatz zu den ersten Ausgangsdaten die Details der Zieldaten wiedergeben. Das hat ferner den Effekt, dass das zweite Teilmodell beispielsweise die Repräsentation von Kanten und/oder Mikrostrukturen lernen kann. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem siebenundzwanzigsten Beispiel bilden ein achtundzwanzigstes Beispiel.
Die Zieldaten können den digitalen Daten entsprechen. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des ersten Beispiels bis dem achtundzwanzigsten Beispiel bildet ein neunundzwanzigstes Beispiel.
Das Verfahren kann ferner das Erzeugen von dritten Eingangsdaten aufweisen. Die dritten Eingangsdaten können mehrere zweite Datenbereiche der digitalen Daten aufweisen. Das Verfahren kann das Erzeugen von mehreren zweiten Ausgangsdatenbereichen für die mehreren zweiten Datenbereiche durch ein drittes Teilmodell aufweisen. Das Verfahren kann das Zusammensetzen der mehreren zweiten Ausgangsdatenbereiche zu vierten Ausgangsdaten aufweisen. Das Verfahren kann das Zusammenführen der dritten Ausgangsdaten und der vierten Ausgangsdaten zu fünften Ausgangsdaten aufweisen. Das Verfahren kann das Trainieren des dritten Teilmodells auf die digitalen Daten unter Verwendung von den Zieldaten und den fünften Ausgangsdaten aufweisen. Das dritte Teilmodell kann einen Autoencoder aufweisen. Das dritte Teilmodell kann eine Matrixmultiplikation, eine Hauptkomponentenanalyse oder ein neuronales Netzwerk aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem neunundzwanzigsten Beispiel bilden ein dreißigstes Beispiel. Es ist anzumerken, dass das Verfahren beliebig viele Iterationen (beispielsweise mit einem vierten Teilmodell, einem fünften Teilmodell, einem sechsten Teilmodell, einem siebten Teilmodell, usw.) und entsprechende zusätzliche Teilmodelle aufweisen kann.
Berechnungsparameter des dritten Teilmodells können in dem mindestens einen Speicher gespeichert werden. Die Berechnungsparameter des dritten Teilmodells können Wichtungen und/oder Aktivierungen aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit dem dreißigsten Beispiel bilden ein einunddreißigstes Beispiel.
Die Skalierung der Datenbereiche der mehreren zweiten Datenbereiche kann kleiner sein als die Skalierung der Datenbereiche der mehreren Datenbereiche. Das in diesem Absatz beschriebene Merkmal in Kombination mit dem dreißigsten Beispiel oder dem einunddreißigsten Beispiel bildet ein zweiunddreißigstes Beispiel.
Das dritte Teilmodell kann dritte Teilmodell-Daten zu den zugeführten dritten Eingangsdaten erzeugen, wobei für jeden zweiten Datenbereich der mehreren zweiten Datenbereiche ein zugehöriger zweiter Ausgangsdatenbereich der mehreren zweiten Ausgangsdatenbereiche erzeugt wird. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des dreißigsten Beispiels bis dem zweiunddreißigsten Beispiel bilden ein dreiunddreißigstes Beispiel.
Das Modell kann ein generatives Modell sein. Die digitalen Daten können einer ersten Domäne zugehörig sein und die dritten Ausgangsdaten können einer zweiten Domäne zugehörig sein. Das Verfahren kann ferner das Erzeugen von Trainingsdaten durch das trainierte Modell aufweisen. Das Verfahren kann das Trainieren eines zweiten Modells unter Verwendung der erzeugten Trainingsdaten aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des ersten Beispiels bis dem dreiunddreißigsten Beispiel bilden ein vierunddreißigstes Beispiel.
Das Verfahren kann ferner das Verarbeiten von zweiten digitalen Daten durch das zweite Modell in einem Fahrassistenzsystem aufweisen. Die zweiten digitalen Daten können der zweiten Domäne zugehörig sein. Das Verfahren kann ferner das Steuern eines Fahrzeugs basierend auf den verarbeiteten zweiten digitalen Daten aufweisen. Die in diesem Absatz beschriebenen Merkmale in Kombination mit dem vierunddreißigsten Beispiel bilden ein fünfunddreißigstes Beispiel.
Eine Vorrichtung kann ein Modell aufweisen. Das Modell kann gemäß dem Verfahren nach einem des ersten Beispiels bis dem dreiunddreißigsten Beispiel trainiert worden sein. Das trainierte Modell kann verwendet werden, um digitale Daten (zum Beispiel, Messdaten, zum Beispiel Simulationsdaten) beispielsweise zu Kodieren, zu Transformieren oder in eine andere Domäne zu übersetzen. Das heißt, die digitalen Daten können speichereffizient kodiert, transformiert oder in eine andere Domäne übersetzt werden. Die Vorrichtung mit den in diesem Absatz beschriebenen Merkmalen bildet ein siebenunddreißigstes Beispiel.
Die Vorrichtung kann ferner ein zweites Modell aufweisen. Das zweite Modell kann gemäß dem Verfahren nach dem vierunddreißigsten Beispiel trainiert worden sein. Die in diesem Absatz beschriebenen Merkmale in Kombination mit dem siebenunddreißigsten Beispiel bilden ein achtunddreißigstes Beispiel.
Eine Vorrichtung kann ein Teilmodell des Modells aufweisen, zum Beispiel das erste Teilmodell, das zweite Teilmodell und/oder das dritte Teilmodell, wobei das Modell, das das erste Teilmodell und das zweite Teilmodell und optional das dritte Teilmodell und optional ein oder mehrere zusätzliche Teilmodelle aufweist gemäß dem Verfahren nach einem des ersten Beispiels bis dem zweiunddreißigsten Beispiel trainiert worden sein kann. Die unter Verwendung des trainierten ersten Teilmodells basierend auf digitalen Bilddaten erzeugten ersten Ausgangsdaten können beispielsweise durch ein Segmentierungsnetzwerk verarbeitet werden, wobei das Segmentierungsnetzwerk segmentierte digitale Bilddaten ausgeben kann. Die unter Verwendung des trainierten zweiten Teilmodells und/oder trainierten dritten Teilmodells erzeugten zweiten Ausgangsdaten bzw. dritten Ausgangsdaten können zur Erkennung von Kantenstrukturen und/oder Objektstrukturen verwendet werden. Die Vorrichtung mit den in diesem Absatz beschriebenen Merkmalen bildet ein neununddreißigstes Beispiel.
Das erste Teilmodell, das zweite Teilmodell und/oder das dritte Teilmodell kann ein neuronales Netzwerk sein. Die in diesem Absatz beschriebenen Merkmale in Kombination mit einem des sechsunddreißigsten Beispiels bis dem neununddreißigsten Beispiel bildet ein vierzigstes Beispiel.
Das zweite Modell kann ein neuronales Netzwerk sein. Das in diesem Absatz beschriebene Merkmal in Kombination mit einem des achtunddreißigsten Beispiels bis dem vierzigsten Beispiel bildet ein einundvierzigstes Beispiel.
Ein System kann eine Vorrichtung nach einem des sechsunddreißigsten Beispiels bis dem einundvierzigsten Beispiel aufweisen. Das System kann ferner einen Sensor aufweisen. Der Sensor kann eingerichtet sein, der Vorrichtung die digitalen Daten bereitzustellen. Das System mit den in diesem Absatz beschriebenen Merkmalen bildet ein zweiundvierzigstes Beispiel.
Ein System kann ein GAN (generatives gegnerisches Netzwerk - engl.: generative adversarial network) aufweisen. Das GAN kann mehrere Generatornetzwerke aufweisen. Zumindest ein Generatornetzwerk der mehreren Generatornetzwerke kann nach einem des ersten Beispiels bis dem fünfunddreißigsten Beispiel trainiert worden sein. Das hat den Effekt, dass das trainierte Generatornetzwerk bei gleichbleibender Speicherkapazität digitale Daten mit einem größeren Speicherbedarf, wie beispielsweise einer höheren Datenqualität oder einer größeren Bildgröße, verarbeiten kann und somit digitale Daten mit einer höheren Datenqualität bzw. einer größeren Bildgröße erzeugen kann. Das System mit den in diesem Absatz beschriebenen Merkmalen bildet ein dreiundvierzigstes Beispiel.
Ein Computerprogramm kann Programminstruktionen aufweisen, die eingerichtet sind, wenn sie von einem oder von mehreren Prozessoren ausgeführt werden, das Verfahren nach einem oder mehreren des ersten Beispiels bis dem fiinfunddreißigsten Beispiel auszuführen. Das in diesem Absatz beschriebene Merkmal bildet ein vierundvierzigstes Beispiel.
Das Computerprogramm kann in einem maschinenlesbaren Speichermedium gespeichert sein. Das in diesem Absatz beschriebene Merkmal in Kombination mit dem vierundvierzigsten Beispiel bildet ein fünfundvierzigstes Beispiel.
Ein Fahrzeug kann zumindest einen Sensor aufweisen, der eingerichtet ist, um digitale Daten bereitzustellen. Das Fahrzeug kann ferner ein Fahrassistenzsystem aufweisen. Das Fahrassistenzsystem kann ein nach einem des ersten Beispiels bis dem fiinfunddreißigsten Beispiel trainiertes Modell aufweisen. Das Modell kann eingerichtet sein, um die digitalen Daten zu verarbeiten. Das Fahrassistenzsystem kann eingerichtet ist, um das Fahrzeug basierend auf den verarbeiteten digitalen Daten zu steuern. Das Fahrzeug mit den in diesem Absatz beschriebenen Merkmalen bildet ein sechsundvierzigstes Beispiel.
Ein Fahrzeug kann zumindest einen Sensor aufweisen, der eingerichtet ist, um digitale Daten bereitzustellen. Das Fahrzeug kann ferner ein Fahrassistenzsystem aufweisen. Das Fahrassistenzsystem kann ein nach dem vierunddreißigsten Beispiel trainiertes zweites Modell aufweisen. Das zweite Modell kann eingerichtet sein, um die digitalen Daten zu verarbeiten. Das Fahrassistenzsystem kann eingerichtet ist, um das Fahrzeug basierend auf den verarbeiteten digitalen Daten zu steuern. Das Fahrzeug mit den in diesem Absatz beschriebenen Merkmalen bildet ein siebenundvierzigstes Beispiel.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Es zeigen

1 eine Vorrichtung gemäß verschiedenen Ausführungsformen;
2 eine Bildgebungs-Vorrichtung gemäß verschiedenen Ausführungsformen,
3 ein Verarbeitungssystem gemäß verschiedenen Ausführungsformen;
4 ein Verarbeitungssystem zum Trainieren eines Modells gemäß verschiedenen Ausführungsformen;
5 ein Verfahren zum Trainieren eines Modells gemäß verschiedenen Ausführungsformen,
6A und 6B ein Verarbeitungssystem zum Trainieren eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen;
7 einen Generatorabschnitt eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen;
8A und 8B einen Generatorabschnitt eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen;
9A und 9B einen Generatorabschnitt eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen;
10 ein Fahrzeug gemäß verschiedenen Ausführungsformen.

In einer Ausführungsform kann eine „Schaltung“ als jede Art von Logik-implementierender Entität verstanden werden, welche Hardware, Software, Firmware oder eine Kombination davon sein kann. Daher kann in einer Ausführungsform eine „Schaltung“ eine hartverdrahtete Logikschaltung oder eine programmierbare Logikschaltung, wie beispielsweise ein programmierbarer Prozessor, zum Beispiel ein Mikroprozessor (z.B. ein CISC (Prozessor mit großem Befehlsvorrat) oder ein RISC (Prozessor mit reduziertem Befehlsvorrat)), sein. Eine „Schaltung“ kann auch Software sein, die von einem Prozessor implementiert bzw. ausgeführt wird, zum Beispiel jede Art von Computerprogramm, zum Beispiel ein Computerprogramm das einen virtuellen Maschinencode, wie beispielsweise Java, verwendet. Jede andere Art der Implementierung der jeweiligen Funktionen, die im Folgenden ausführlicher beschrieben werden, kann in Übereinstimmung mit einer alternativen Ausführungsform als eine „Schaltung“ verstanden werden.
Verschiedene Ausführungsbeispiele betreffen eine Vorrichtung und ein Verfahren zum Trainieren eines Modells, sodass das trainierte Modell bei der Verarbeitung von digitalen Daten weniger Speicherbedarf für die internen Berechnungen benötigt. Das heißt, dass das trainierte Modell bei einer gleichbleibenden internen Speicherkapazität digitale Daten mit einer größeren Speicheranforderung, wie beispielsweise einer höheren Datenqualität oder einer größeren Bildgröße, verarbeiten kann.
1 stellt ein System 100 gemäß verschiedenen Ausführungsformen dar. Das System 100 kann einen oder mehrere Sensoren 102 aufweisen. Der Sensor 102 kann eingerichtet sein, um digitale Daten 104 bereitzustellen, d.h. die digitalen Daten 104 können sensor-detektierte Daten aufweisen. Der Sensor 102 kann ein Bildgebungssensor, wie beispielsweise ein Kamera-Sensor oder ein Video-Sensor, oder ein Fernortungssensor, wie beispielsweise ein Radar-Sensor, ein LIDAR-Sensor oder ein Ultraschall-Sensor, oder ein thermischer Sensor sein. Gemäß verschiedenen Ausführungsformen weisen die digitalen Daten 104 digitale Bilddaten auf. Die digitalen Daten 104 können fahrdynamische Sensordaten eines Fahrzeuges aufweisen, wobei der Sensor 102 ein Geschwindigkeitssensor, ein Beschleunigungssensor oder ein Winkelsensor sein kann. Die digitalen Daten 104 können motorspezifische Sensordaten eines Fahrzeuges aufweisen, wobei der Sensor 102 ein Sensor zum Detektieren einer Gaspedalstellung, einer Einspritzmenge, einer Temperatur oder einer Drehzahl sein kann. Gemäß verschiedenen Ausführungsformen weist der Sensor 102 eine andere Art von Sensor auf. Die Sensoren der mehreren Sensoren können die gleiche Art oder verschiedene Arten von Sensoren aufweisen.
Das System 100 kann ferner eine Speichervorrichtung 106 aufweisen. Die Speichervorrichtung 106 kann zumindest einen Speicher aufweisen. Der Speicher kann beispielsweise bei der durch einen Prozessor durchgeführten Verarbeitung verwendet werden. Ein in den Ausführungsformen verwendeter Speicher kann ein flüchtiger Speicher, zum Beispiel ein DRAM (dynamischer Direktzugriffsspeicher), oder ein nichtflüchtiger Speicher, zum Beispiel ein PROM (programmierbarer Festwertspeicher), ein EPROM (löschbarer PROM), ein EEPROM (elektrisch löschbarer PROM) oder ein Flash-Speicher, wie beispielsweise eine Speichereinrichtung mit schwebendem Gate, eine ladungsabfangende Speichereinrichtung, ein MRAM (magnetoresistiver Direktzugriffsspeicher) oder ein PCRAM (Phasenwechsel-Direktzugriffsspeicher), sein.
Die Speichervorrichtung 106 kann eingerichtet sein, um die digitalen Daten 104 zu speichern. Das System 100 kann ferner mindestens einen Prozessor 108 aufweisen. Der Prozessor 108 kann, wie oben beschrieben, jede Art von Schaltung, d.h. jede Art von Logik-implementierender Entität, sein. Der Prozessor 108 kann ein Grafikprozessor (GPU) sein und der Grafikprozessor kann einen zugeordneten Grafikspeicher (Video-RAM) bei der Datenverarbeitung verwenden. In verschiedenen Ausführungsformen ist der Prozessor 108 eingerichtet, die digitalen Daten 104 zu verarbeiten.
Im Folgenden werden die Ausführungsbeispiele anhand von digitalen Bildern als digitale Daten 104 beschrieben. Es ist jedoch darauf hinzuweisen, dass auch (digitale) Daten anderer Datentypen verwendet werden können, beispielsweise Punktwolken oder Zeitreihen.
2 stellt ein Bildgebungssystem 200 gemäß verschiedenen Ausführungsformen dar, bei dem der Sensor 102 als Bildgebungssensor 202 implementiert ist. Der Bildgebungssensor 202 kann ein Kamera-Sensor oder ein Video-Sensor sein. Der Bildgebungssensor 202 kann eingerichtet sein, um digitale Bilddaten 204 bereitzustellen. Die digitalen Bilddaten 204 weisen zumindest ein digitales Bild 206, zum Beispiel mehrere digitale Bilder, auf. Jedes digitale Datum des digitalen Bildes 206 kann einen Bildpunkt von mehreren Bildpunkten aufweisen oder von einem solchen gebildet werden. Gemäß verschiedenen Ausführungsformen weist das Bildgebungssystem 200 mehrere Bildgebungssensoren auf. Das Bildgebungssystem 200 kann ferner die Speichervorrichtung 106 zum Speichern der digitalen Bilddaten 204 aufweisen. Das Bildgebungssystem 200 kann den mindestens einen Prozessor 108 aufweisen, der eingerichtet ist, die digitalen Bilddaten 204 zu verarbeiten.
3 stellt ein Verarbeitungssystem 300 gemäß verschiedenen Ausführungsformen dar. Das Verarbeitungssystem 300 kann die Speichervorrichtung zum Speichern der digitalen Bilddaten 204, wie beispielsweise dem digitalen Bild 206, aufweisen. Das Verarbeitungssystem 300 kann ferner den mindestens einen Prozessor 108 aufweisen. Der Prozessor 108 kann eingerichtet sein, das digitale Bild 206 zu verarbeiten. Der Prozessor 108 kann die Speichervorrichtung 106 bei der Datenverarbeitung verwenden. Der Prozessor 108 kann mindestens einen Speicher der Speichervorrichtung 106 bei der Datenverarbeitung verwenden, wobei der verwendete mindestens eine Speicher von dem für das Speichern des digitalen Bildes 206 verwendeten Speicher verschieden sein kann. Der Prozessor 108 kann eingerichtet sein, um basierend auf dem digitalen Bild 206 erste Eingangsdaten 302 zu erzeugen. Die ersten Eingangsdaten 302 können in der Speichervorrichtung 106 gespeichert werden. Die ersten Eingangsdaten 302 können durch Herunterskalieren des digitalen Bildes 206 erzeugt werden. Das Herunterskalieren des digitalen Bildes 206 kann das Verringern der Auflösung (zum Beispiel von 2048x2048 Bildpunkten auf 512x512 Bildpunkte, zum Beispiel von 1024x1024 Bildpunkten auf 256x256 Bildpunkte) aufweisen. Das Verringern der Skalierung bzw. der Auflösung des digitalen Bildes 206 kann einen Skalierungsfaktor in einem Bereich von 4 bis 8 aufweisen. Gemäß verschiedenen Ausführungsformen werden die Skalierung der Höhe und die Skalierung der Breite unterschiedlich verringert. Anders ausgedrückt wird die Höhe des digitalen Bildes 206 basierend auf einem Höhen-Skalierungsfaktor verringert und die Breite des digitalen Bildes 206 basierend auf einem Breiten-Skalierungsfaktor verringert. Bei dem Herunterskalieren des digitalen Bildes 206 bleiben alle globalen, d.h. großskaligen, Informationen des digitalen Bildes 206 in den ersten Eingangsdaten 302 erhalten; allerdings können Detailinformationen (d.h. lokale, kleinskalige Informationen) verloren gehen.
Der Prozessor 108 implementiert zumindest einen Teil eines Modells 330. Der Prozessor 108 kann zumindest einen Teil eines ersten Teilmodells 304 implementierten. Das erste Teilmodell 304 kann eine Matrixmultiplikation, eine Hauptkomponentenanalyse oder ein neuronales Netzwerk aufweisen. Das erste Teilmodell 304 kann ein Autoencoder-Netzwerk sein. Das erste Teilmodell 304 kann eingerichtet sein, die ersten Eingangsdaten 302, d.h. das herunterskalierte digitale Bild 206, zu verarbeiten. Das erste Teilmodell 304 kann eingerichtet sein, erste Teilmodell-Daten 306 zu dem ersten Teilmodell 304 zugeführten ersten Eingangsdaten 302 zu erzeugen. Die ersten Teilmodell-Daten 306 können in der Speichervorrichtung 106 gespeichert werden. Die Auflösung der ersten Teilmodell-Daten 306 kann der Auflösung der ersten Eingangsdaten 302 entsprechen. Der Prozessor 108 kann eingerichtet sein, die ersten Teilmodell-Daten 306 zu verarbeiten und kann ferner eingerichtet sein, um erste Ausgangsdaten 308 basierend auf den ersten Teilmodell-Daten 306 zu erzeugen. Jedem Bildpunkt von mehreren Bildpunkten der ersten Ausgangsdaten 308 kann genau ein Bildpunkt des digitalen Bildes 206 zugeordnet sein. Die ersten Ausgangsdaten 308 können durch Hochskalieren der ersten Teilmodell-Daten 306 erzeugt werden. Das Hochskalieren der ersten Teilmodell-Daten 306 kann das Vergrößern der Auflösung (zum Beispiel von 512x512 Bildpunkten auf 2048x2048 Bildpunkte, zum Beispiel von 256x256 Bildpunkten auf 1024x1024 Bildpunkte) aufweisen. Das Hochskalieren kann auf jeder Art von Verfahren, das imstande ist eine Auflösung zu vergrößern, basieren. Das Hochskalieren kann eine Interpolation aufweisen. Das Hochskalieren kann ein Maximum-Likelihood-Verfahren, wie beispielsweise eine Superresolution, aufweisen. Ein zusätzliches neuronales Netzwerk bzw. ein zusätzliches neuronales Teilnetzwerk kann eingerichtet sein, Teilmodell-Daten, wie beispielsweise die ersten Teilmodell-Daten 306, hochzuskalieren. Die ersten Ausgangsdaten 308 können in der Speichervorrichtung 106 gespeichert werden. Die Berechnungsparameter des ersten Teilmodells 304 können in dem mindestens einen Speicher der Speichervorrichtung 106 (zum Beispiel der bei der Verarbeitung durch einen Grafikprozessor verwendete Grafikspeicher) gespeichert werden. Die Berechnungsparameter des ersten Teilmodells 304 können Wichtungen und/oder Aktivierungen aufweisen. Gemäß verschiedenen Ausführungsformen weist das erste Teilmodell 304 ein erstes neuronales Teilnetzwerk auf, wobei die Wichtungen und die Aktivierungen der jeweiligen Schichten des ersten neuronalen Teilnetzwerkes in dem mindestens einen Speicher der Speichervorrichtung 106 gespeichert werden.
Der Prozessor 108 kann ferner eingerichtet sein, um basierend auf dem digitalen Bild 206 zweite Eingangsdaten 312 zu erzeugen. Der Prozessor 108 kann eingerichtet sein, das digitale Bild 206 in mehrere Datenbereiche 310, wie beispielsweise eine mehrere Bildbereiche 310a, 310b, 310c, 310d, aufzuteilen. Die Bildbereiche der mehreren Bildbereiche 310a, 310b, 310c, 310d können sich überlappen, d.h. ein Bildpunkt der mehreren Bildpunkte des digitalen Bildes 206 kann mehr als einem Bildbereich zugeordnet werden. Die mehreren Bildbereiche 310a, 310b, 310c, 310d können alle Bildpunkte der mehreren Bildpunkte des digitalen Bildes 206 aufweisen. Die Bildbereiche können basierend auf einem Aufteilungsschlüssel erzeugt werden. Das heißt, das digitale Bild 206 kann basierend auf dem Aufteilungsschlüssel in mehrere Bildbereiche 310a, 310b, 310c, 310d aufgeteilt werden. Das digitale Bild 206 kann zum Beispiel in 16 bis 64 Bildbereiche aufgeteilt werden. Jeder Bildbereich der mehreren Bildbereiche 310a, 310b, 310c, 310d kann dieselbe Auflösung aufweisen. Die Auflösung eines jeden Bildbereichs der mehreren Bildbereiche 310a, 310b, 310c, 310d kann der Auflösung der ersten Eingangsdaten 302 entsprechen. Wie oben beschrieben, bleiben bei dem Herunterskalieren des digitalen Bildes 206 alle globalen, d.h. großskaligen, Informationen des digitalen Bildes 206 in den ersten Eingangsdaten 302 erhalten. Bei dem Aufteilen des digitalen Bildes 206 in Bildbereiche bleiben die Detailinformationen, d.h. lokale, kleinskalige Informationen des digitalen Bildes 206 in den ersten Eingangsdaten 302 erhalten; allerdings können die globalen, großskaligen, Informationen verloren gehen. Der Prozessor 108 kann eingerichtet sein, die zweiten Eingangsdaten 312 basierend auf den mehreren Bildbereichen 310a, 310b, 310c, 310d zu erzeugen, wobei die zweiten Eingangsdaten 312 einen Stapel an Bildbereichen aufweisen können. Der Aufteilungsschlüssel kann die Reihenfolge der Bildbereiche in dem Stapel an Bildbereichen festlegen. Die zweiten Eingangsdaten 312 können in der Speichervorrichtung 106 gespeichert werden.
Der Prozessor 108 kann zumindest einen Teil eines zweiten Teilmodells 314 implementierten. Das zweite Teilmodell 314 kann eine Matrixmultiplikation, eine Hauptkomponentenanalyse oder ein neuronales Netzwerk aufweisen. Das zweite Teilmodell 314 kann ein Autoencoder-Netzwerk sein. Das zweite Teilmodell 314 kann eingerichtet sein, die zweiten Eingangsdaten 312 zu verarbeiten. Das zweite Teilmodell 314 kann eingerichtet sein, für die Datenbereiche des dem zweiten Teilmodell 314 zugeführten zweiten Eingangsdaten 312 entsprechende Ausgangsdatenbereiche zu erzeugen. Die Ausgangsdatenbereiche können in der Speichervorrichtung 106 gespeichert werden. Das zweite Teilmodell 314 kann eingerichtet sein, jeden Bildbereich der mehreren Bildbereiche 310a, 310b, 310c, 310d der zweiten Eingangsdaten 312 zu verarbeiten und um basierend auf dem Bildbereich einen Ausgangsdatenbereich von mehreren Ausgangsdatenbereichen zu erzeugen. Das heißt, jeder Ausgangsdatenbereich kann genau einem Bildbereich zugeordnet sein. Die Bildbereiche der mehreren Bildbereiche 310a, 310b, 310c, 310d können in der durch den Stapel an Bildbereichen festgelegten Reihenfolge verarbeitet werden. Die Auflösung eines jeden Ausgangsdatenbereichs der mehreren Ausgangsdatenbereiche kann der Auflösung des zugeordneten Bildbereichs der mehreren Bildbereiche 310a, 310b, 310c, 310d entsprechen. Das zweite Teilmodell 314 kann eingerichtet sein, zweite Teilmodell-Daten 316 zu den zugeführten zweiten Eingangsdaten 312 zu erzeugen, wobei für jeden Datenbereich der mehreren Datenbereiche ein zugehöriger Ausgangsdatenbereich der mehreren Ausgangsdatenbereiche erzeugt wird. Anders ausgedrückt, können die zweiten Eingangsdaten 312 jeden Datenbereich des digitalen Bildes 206 aufweisen und das zweite Teilmodell 314 kann für jeden Datenbereich einen zugehörigen Ausgangsdatenbereich erzeugen. Im Folgenden werden die Ausführungsbeispiele anhand der zweiten Teilmodell-Daten 316, d.h. für die Verarbeitung von jedem Datenbereich der mehreren Datenbereiche (zum Beispiel der mehreren Bildbereiche) beschrieben. Es ist jedoch darauf hinzuweisen, dass auch nur ein Teil der Datenbereiche des digitalen Bildes 206 verarbeitet werden kann. Die Berechnungsparameter des zweiten Teilmodells 314 können in dem mindestens einen Speicher der Speichervorrichtung 106 (zum Beispiel der bei der Verarbeitung durch einen Grafikprozessor verwendete Grafikspeicher) gespeichert werden. Die Berechnungsparameter des zweiten Teilmodells 314 können Wichtungen und/oder Aktivierungen aufweisen. Gemäß verschiedenen Ausführungsformen weist das zweite Teilmodell 314 ein zweites neuronales Teilnetzwerk auf, wobei die Wichtungen und die Aktivierungen der jeweiligen Schichten des zweiten neuronalen Teilnetzwerkes in dem mindestens einen Speicher der Speichervorrichtung 106 gespeichert werden.
Der Prozessor 108 kann ferner eingerichtet sein, die Ausgangsdatenbereiche, wie beispielsweise die Ausgangsdatenbereiche der zweiten Teilmodell-Daten 316, zu zweiten Ausgangsdaten 318 zusammenzusetzen. Die mehreren Ausgangsdatenbereiche können basierend auf dem Aufteilungsschlüssel zusammengesetzt werden. Die mehreren Ausgangsdatenbereiche können basierend auf der durch den Stapel an Bildbereichen festgelegten Reihenfolge und dem Aufteilungsschlüssel zusammengesetzt werden. Die Auflösung der zweiten Ausgangsdaten 318 kann der Auflösung der ersten Ausgangsdaten 308 entsprechen. Jedem Bildpunkt von mehreren Bildpunkten der zweiten Ausgangsdaten 318 kann genau ein Bildpunkt des digitalen Bildes 206 zugeordnet sein. Die zweiten Ausgangsdaten 318 können in der Speichervorrichtung 106 gespeichert werden.
Der Prozessor 108 kann eingerichtet sein, um die ersten Ausgangsdaten 308 und die zweiten Ausgangsdaten 318 zu dritten Ausgangsdaten 320 zusammenzuführen. Die dritten Ausgangsdaten 320 können durch Summieren, zum Beispiel durch ein gewichtetes Summieren, der ersten Ausgangsdaten 308 und der zweiten Ausgangsdaten 318 erzeugt werden. Die dritten Ausgangsdaten 320 können erzeugt werden, indem jeder Bildpunkt der mehreren Bildpunkte der ersten Ausgangsdaten mit dem zugeordneten Bildpunkt der mehreren Bildpunkte der zweiten Ausgangsdaten addiert (zum Beispiel gewichtet addiert) wird. Das heißt, dass die dritten Ausgangsdaten sowie die in den ersten Ausgangsdaten 308 enthaltenen großskaligen Informationen als auch die in den zweiten Ausgangsdaten 318 enthaltenen kleinskaligen Informationen aufweisen. Werden Radar-Sensordaten anstatt von Bildgebungs-Sensordaten verwendet, so hat dies den Effekt, dass sowohl Reflexionsdaten, die kleinskalige Informationen aufweisen, als auch das entfernungsabhängige Rauschverhalten eines Radar-Sensors, das großskalige Informationen aufweist, von dem Modell verarbeitet werden können und dass die dritten Ausgangsdaten diese Informationen aufweisen.
4 stellt ein Verarbeitungssystem 400 zum Trainieren eines Modells gemäß verschiedenen Ausführungsformen dar. Das Verarbeitungssystem 400 kann im Wesentlichen dem Verarbeitungssystem 300 entsprechen, wobei der Prozessor 108 ferner eingerichtet ist, das erste Teilmodell 304 und das zweite Teilmodell 314 zu trainieren, d.h. zu adaptieren. Der Prozessor 108 kann eingerichtet sein, das erste Teilmodell 304 auf die digitalen Daten, wie beispielsweise das digitale Bild 206, unter Verwendung von bereitgestellten Zieldaten 402, welche den digitalen Daten zugeordnet sein können, und den ersten Ausgangsdaten 308 zu trainieren. Der Prozessor 108 kann eingerichtet sein, das erste Teilmodell 304 durch Vergleichen der ersten Ausgangsdaten 308 mit den Zieldaten 402 zu adaptieren. Die Auflösung der ersten Ausgangsdaten 308 kann der Auflösung der Zieldaten 402 entsprechen. Die Auflösung der Zieldaten 402 kann der Auflösung des digitalen Bildes 206 entsprechen. Der Prozessor 108 kann eingerichtet sein, einen ersten Verlustwert 404 durch Vergleichen der ersten Ausgangsdaten 308 mit den Zieldaten 402 zu ermitteln. Der erste Verlustwert 404 kann basierend auf einer Verlustfunktion ermittelt werden. Die Verlustfunktion kann jede Art von Verlustfunktion, wie beispielsweise bildpunktweise (pixelweise) Verlustfunktion (zum Beispiel basierend auf einer Differenz an Farbwerten) sein. Die Verlustfunktion kann mehrere verschiedene Verlustfunktionen aufweisen bzw. um diese erweitert werden. Die Verlustfunktion kann eine Kuhlback-Leibler-Divergenz aufweisen. Der Prozessor 108 kann eingerichtet sein, das erste Teilmodell 304 basierend auf dem ersten Verlustwert 404 zu adaptieren. Der Prozessor 108 kann eingerichtet sein, das erste Teilmodell 304 derart zu adaptieren, dass der erste Verlustwert 404 minimiert wird.
Der Prozessor 108 kann ferner eingerichtet sein, das zweite Teilmodell 314 auf die digitalen Daten, wie beispielsweise das digitale Bild 206, unter Verwendung von den Zieldaten 402 und den dritten Ausgangsdaten 320 zu trainieren. Der Prozessor 108 kann eingerichtet sein, das zweite Teilmodell 314 durch Vergleichen der dritten Ausgangsdaten 320 mit den Zieldaten 402 zu adaptieren. Die Auflösung der dritten Ausgangsdaten 320 kann der Auflösung der Zieldaten 402 entsprechen. Der Prozessor 108 kann eingerichtet sein, einen zweiten Verlustwert 406 durch Vergleichen der dritten Ausgangsdaten 320 mit den Zieldaten 402 zu ermitteln. Der zweite Verlustwert 406 kann basierend auf einer Verlustfunktion ermittelt werden. Die Verlustfunktion kann jede Art von Verlustfunktion, wie beispielsweise bildpunktweise (pixelweise) Verlustfunktion (zum Beispiel basierend auf einer Differenz an Farbwerten) sein. Die Verlustfunktion kann mehrere verschiedene Verlustfunktionen aufweisen bzw. um diese erweitert werden. Die Verlustfunktion kann eine Kuhlback-Leibler-Divergenz aufweisen. Der Prozessor 108 kann eingerichtet sein, das zweite Teilmodell 314 basierend auf dem zweiten Verlustwert 406 zu adaptieren. Der Prozessor 108 kann eingerichtet sein, das zweite Teilmodell 314 derart zu adaptieren, dass der zweite Verlustwert 406 minimiert wird. Die Zieldaten 402 können dem digitalen Bild 206 entsprechen.
Gemäß verschiedenen Ausführungsformen implementiert der Prozessor 108 ferner zumindest einen Teil eines dritten Teilmodells. Der Prozessor 108 kann eingerichtet sein, das digitale Bild 206 in eine mehrere zweite Bildbereiche aufzuteilen, wobei die mehreren zweiten Bildbereiche von den mehreren Bildbereichen 310a, 310b, 310c, 310d verschieden sein können. Die Auflösung der mehreren zweiten Bildbereiche kann kleiner sein als die Auflösung der mehreren Bildbereiche 310a, 310b, 310c, 310d. Die Verarbeitung der mehreren zweiten Bildbereiche kann im Wesentlichen der Verarbeitung der mehreren Bildbereiche 310a, 310b, 310c, 310d entsprechen. Der Prozessor kann eingerichtet sein, um basierend auf den mehreren zweiten Bildbereichen dritte Eingangsdaten zu erzeugen. Das dritte Teilmodell kann eingerichtet sein, die dritten Eingangsdaten zu verarbeiten und dritte Teilmodell-Daten zu den zugeführten dritten Eingangsdaten zu erzeugen, wobei die dritten Teilmodell-Daten einen zweiten Ausgangsdatenbereich von mehreren zweiten Ausgangsdatenbereichen für jeden zweiten Bildbereich der mehreren zweiten Bildbereiche aufweisen kann. Der Prozessor 108 kann eingerichtet sein, um die mehreren zweiten Ausgangsdatenbereiche zu vierten Ausgangsdaten zusammenzusetzen. Der Prozessor 108 kann eingerichtet sein, um fünfte Ausgangsdaten durch Zusammenführen von den dritten Ausgangsdaten 320 und den vierten Ausgangsdaten erzeugen. Der Prozessor 108 kann eingerichtet sein, das dritte Teilmodell auf die digitalen Daten (zum Beispiel das digitale Bild 206) unter Verwendung von den Zieldaten und den fünften Ausgangsdaten zu trainieren. Das Verarbeitungssystem 400 kann, wie oben schon dargelegt, eine beliebige Anzahl zusätzlicher Teilmodelle aufweisen, wobei jedes Teilmodell der zusätzlichen Teilmodelle mehrere Bildbereiche verarbeiten kann, wobei die Auflösung der mehreren Bildbereiche eines jeden Teilmodells kleiner ist als die Auflösung der mehreren Bildbereiche des jeweils vorherigen Teilmodells. Anders ausgedrückt verarbeitet jedes zusätzliche Teilmodell Bildbereiche von mehreren Bildbereichen, die eine geringere Auflösung aufweisen.
5 stellt ein Verfahren 500 zum Trainieren eines Modells gemäß verschiedenen Ausführungsformen dar. Das Verfahren 500 kann das Herunterskalieren von digitalen Daten aufweisen, so dass erste Eingangsdaten 302 erzeugt werden (in 502). Das Verfahren 500 kann das Aufteilen der digitalen Daten in mehrere Datenbereiche aufweisen, so dass zweite Eingangsdaten 312 erzeugt werden (in 504). Die mehreren Datenbereiche 310 der digitalen Daten können beispielsweise mehrere Bildbereiche 310a, 310b, 310c, 310d des digitalen Bildes 206 sein. Das Verfahren 500 kann ferner das Erzeugen von ersten Teilmodell-Daten 306 durch das erste Teilmodell 304 zu den dem ersten Teilmodell 304 zugeführten ersten Eingangsdaten 302 aufweisen (in 506). Das Verfahren 500 kann das Hochskalieren der ersten Teilmodell-Daten 306 zu ersten Ausgangsdaten 308 aufweisen (in 508). Bei dem Verfahren 500 kann ein zweites Teilmodell 314 für die Datenbereiche entsprechende Ausgangsdatenbereiche erzeugen für die dem zweiten Teilmodell 314 zugeführten zweiten Eingangsdaten 312 (in 510). Das Verfahren 500 kann das Zusammensetzen der Ausgangsdatenbereiche zu zweiten Ausgangsdaten 318 aufweisen (in 512). Das Verfahren 500 kann das Erzeugen von dritten Ausgangsdaten 320 aufweisen (in 514). Die ersten Ausgangsdaten 308 und die zweiten Ausgangsdaten 318 können zu den dritten Ausgangsdaten 320 zusammengeführt werden Das Verfahren 500 kann ferner das Trainieren des ersten Teilmodells 304 aufweisen (in 516). Das erste Teilmodell 304 kann durch Vergleich von bereitgestellten Zieldaten 402, welche den digitalen Daten zugeordnet sein können, und der ersten Ausgangsdaten 308 auf die digitalen Daten trainiert werden. Das Verfahren 500 kann das Trainieren des zweiten Teilmodells 314 aufweisen (in 518). Das zweite Teilmodell 314 kann durch Vergleich der Zieldaten 402 und der dritten Ausgangsdaten 320 auf die digitalen Daten trainiert werden.
6A und 6B stellen ein Verarbeitungssystem 600 zum Trainieren eines GAN (generative adversarial network) gemäß verschiedenen Ausführungsformen. Wie in 6A dargestellt, kann das Verarbeitungssystem 600 die Speichervorrichtung 106 zum Speichern des digitalen Bildes 206 aufweisen. Das Verarbeitungssystem 600 kann den mindestens einen Prozessor 108 aufweisen. Der Prozessor 108 kann ein GAN 602 implementieren. Das GAN 602 kann einen Generatorabschnitt 604 aufweisen. Der Generatorabschnitt 604 kann einen ersten Generatorabschnitt 606 und einen zweiten Generatorabschnitt 608 aufweisen. Der erste Generatorabschnitt 606 kann eingerichtet sein, um digitale Daten 104 einer ersten Domäne zu verarbeiten und um digitale Daten 104 einer zweiten Domäne zu erzeugen. Der erste Generatorabschnitt 606 kann eingerichtet sein, das digitale Bild 206 zu verarbeiten, wobei das digitale Bild 206 der ersten Domäne zugehörig sein kann. Die erste Domäne kann von der zweiten Domäne verschieden sein. Digitale Bilder, die einer gemeinsamen Domäne (zum Beispiel der ersten Domäne) zugeordnet sind, weisen ein gemeinsames (zum Beispiel fachliches) Gebiet, eine gemeinsame Kategorie bzw. ein gemeinsames Merkmal auf. Anders ausgedrückt, können die digitalen Bilder, die einer gemeinsamen Domäne zugeordnet sind, einem gemeinsamen Problemfeld zugeordnet werden. Zum Beispiel kann sich die Domäne bezüglich des Wetters unterscheiden, wobei die erste Domäne beispielsweise eine Szene bei Sonnenschein darstellt und die zweite Domäne beispielsweise dieselbe Szene bei Regen darstellt. Zum Beispiel kann sich die Domäne bezüglich der Jahreszeit unterscheiden, wobei die erste Domäne beispielsweise eine Szene bei im Sommer darstellt und die zweite Domäne beispielsweise dieselbe Szene im Winter darstellt.
Der erste Generatorabschnitt 606 kann eingerichtet sein, ein zweites digitales Bild 610 basierend auf dem digitalen Bild 206 zu erzeugen, wobei das zweite digitale Bild 610 der zweiten Domäne zugehörig sein kann. Der zweite Generatorabschnitt 608 kann eingerichtet sein, um digitale Daten 104 einer zweiten Domäne zu verarbeiten und um digitale Daten 104 einer ersten Domäne zu erzeugen. Der zweite Generatorabschnitt 608 kann eingerichtet sein, das zweite digitale Bild 610 zu verarbeiten und ein drittes digitales Bild 612 basierend auf dem zweiten digitalen Bild 610 zu erzeugen. Das GAN 602 kann ferner einen ersten Diskriminator 614 und einen zweiten Diskriminator 618 aufweisen. Der erste Diskriminator 614 kann eingerichtet sein, das GAN 602 basierend auf dem digitalen Bild 206 und dem dritten digitalen Bild 612 zu adaptieren. Wie in 6B dargestellt, kann die Speichervorrichtung 106 ferner ein viertes digitales Bild 620 speichern, wobei das vierte digitale Bild 620 der zweiten Domäne zugehörig sein kann. Der zweite Generatorabschnitt 608 kann basierend auf dem vierten digitalen Bild 620 ein fünftes digitales Bild 622 erzeugen, wobei das fünfte digitale Bild 622 der ersten Domäne zugehörig sein kann. Der erste Generatorabschnitt 606 kann basierend auf dem fünften digitalen Bild 622 ein sechstes digitales Bild 624 erzeugen, wobei das sechste digitale Bild 624 der zweiten Domäne zugehörig sein kann. Der zweite Diskriminator 618 kann eingerichtet sein, das GAN 602 basierend auf dem vierten digitalen Bild 620 und dem sechsten digitalen Bild 624 zu adaptieren.
7 stellt Generatorabschnitt 700 eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen dar. Der Generatorabschnitt 700 kann im Wesentlichen dem Generatorabschnitt 604 des Verarbeitungssystems 600 entsprechen, wobei der erste Generatorabschnitt 606 das erste Teilmodell 304 und das zweite Teilmodell 314 aufweist.
Im Folgenden werden die Ausführungsbeispiele anhand eines neuronalen Netzwerkes als Modell 330 beschrieben. Es ist jedoch darauf hinzuweisen, dass auch andere Modelle verwendet werden können, beispielsweise Modelle, die eine Matrixmultiplikation oder eine Hauptkomponentenanalyse aufweisen.
Das erste Teilmodell 304 kann ein erstes neuronales Teilnetzwerk sein und kann einen ersten Encoderabschnitt 704 und einen ersten Decoderabschnitt 708 aufweisen. Der erste Encoderabschnitt 704 kann eingerichtet sein, eine herunterskalierte Version von digitalen Daten einer ersten Domäne 740 zu verarbeiten und einen Code in einem ersten latenten Raum 706 auszugeben. Der erste Decoderabschnitt 708 kann eingerichtet sein, den von dem ersten Encoderabschnitt 704 erzeugten, in dem ersten latenten Raum 706 vorliegenden Code zu verarbeiten und basierend auf dem Code erste Teilmodell-Daten 306 zu erzeugen. Das zweite Teilmodell 314 kann ein zweites neuronales Teilnetzwerk sein und kann einen zweiten Encoderabschnitt 710 und einen zweiten Decoderabschnitt 714 aufweisen. Der zweite Encoderabschnitt 710 kann eingerichtet sein, Datenbereiche von digitalen Daten einer ersten Domäne 740 zu verarbeiten und einen Code in einem zweiten latenten Raum 712 auszugeben. Der zweite Decoderabschnitt 714 kann eingerichtet sein, den von dem zweiten Encoderabschnitt 710 erzeugten, in dem zweiten latenten Raum 712 vorliegenden Code zu verarbeiten und basierend auf dem Code zweite Teilmodell-Daten 316 zu erzeugen. Der Prozessor 108 kann eingerichtet sein, dritte Ausgangsdaten 320 basierend auf den ersten Teilmodell-Daten 306 und den zweiten Teilmodell-Daten 316 zu erzeugen, wie in Zusammenhang mit dem Verarbeitungssystem 300 beschrieben. Die dritten Ausgangsdaten 320 können digitale Daten einer zweiten Domäne 750 sein.
Der zweite Generatorabschnitt 608 kann ein drittes neuronales Teilnetzwerk 720 und ein viertes neuronales Teilnetzwerk 722 aufweisen. Das dritte neuronale Teilnetzwerk 720 kann im Wesentlichen dem ersten neuronalen Teilnetzwerk, d.h. dem ersten Teilmodell 304, entsprechen, wobei ein dritter Encoderabschnitt 724 eingerichtet sein kann, eine herunterskalierte Version von digitalen Daten einer zweiten Domäne 750 zu verarbeiten und einen Code in einem dritten latenten Raum 726 auszugeben. Der dritte Decoderabschnitt 728 kann eingerichtet sein, den von dem dritten Encoderabschnitt 724 erzeugten, in dem dritten latenten Raum 726 vorliegenden Code zu verarbeiten und basierend auf dem Code dritte Teilmodell-Daten zu erzeugen. Das vierte neuronale Teilnetzwerk 314 kann im Wesentlichen dem zweiten neuronalen Teilnetzwerk, d.h. dem zweiten Teilmodell 314, entsprechen, wobei ein vierter Encoderabschnitt 730 eingerichtet sein kann, Datenbereiche von digitalen Daten einer zweiten Domäne 750 zu verarbeiten und einen Code in einem vierten latenten Raum 732 auszugeben. Der vierte Decoderabschnitt 734 kann eingerichtet sein, den von dem vierten Encoderabschnitt 730 erzeugten, in dem vierten latenten Raum 732 vorliegenden Code zu verarbeiten und basierend auf dem Code vierte Teilmodell-Daten zu erzeugen. Der Prozessor 108 kann eingerichtet sein, digitale Daten einer ersten Domäne 740 basierend auf den dritten Teilmodell-Daten und den vierten Teilmodell-Daten zu erzeugen.
8A und 8B stellen einen Generatorabschnitt 800 eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen dar. Der Generatorabschnitt 800 kann im Wesentlichen dem Generatorabschnitt 700 entsprechen, wobei der erste Encoderabschnitt 704 und der dritte Encoderabschnitt 724 in einen ersten geteilten latenten Raum 802 abbilden. Anders ausgedrückt geben der erste Encoderabschnitt 704 und der dritte Encoderabschnitt 724 einen Code in einem ersten geteilten latenten Raum 802 aus. Die in 8A dargestellte Verarbeitung von digitalen Daten einer ersten Domäne 740 kann im Wesentlichen der in 7 dargestellten und in diesem Zusammenhang beschriebenen Verarbeitung von digitalen Daten einer ersten Domäne 740 entsprechen, wobei der erste Encoderabschnitt 704 einen Code in dem ersten geteilten latenten Raum 802 ausgibt und wobei der erste Decoderabschnitt 708 den in dem ersten geteilten latenten Raum vorliegenden Code verarbeitet. Die in 8B dargestellte Verarbeitung von digitalen Daten einer zweiten Domäne 750 kann im Wesentlichen der in 7 dargestellten und in diesem Zusammenhang beschriebenen Verarbeitung von digitalen Daten einer zweiten Domäne 750 entsprechen, wobei der dritte Encoderabschnitt 724 einen Code in dem ersten geteilten latenten Raum 802 ausgibt und wobei der dritte Decoderabschnitt 728 den in dem ersten geteilten latenten Raum vorliegenden Code verarbeitet.
9A und 9B stellen einen Generatorabschnitt 900 eines GAN-Netzwerkes gemäß verschiedenen Ausführungsformen dar. Der Generatorabschnitt 900 kann im Wesentlichen dem Generatorabschnitt 800 entsprechen, wobei der zweite Encoderabschnitt 710 und der vierte Encoderabschnitt 730 in einen zweiten geteilten latenten Raum 902 abbilden. Anders ausgedrückt geben der zweite Encoderabschnitt 710 und der vierte Encoderabschnitt 730 einen Code in einem zweiten geteilten latenten Raum 902 aus. Das heißt, der erste Encoderabschnitt 704 und der dritte Encoderabschnitt 724 bilden in den ersten geteilten latenten Raum 802 ab und der zweite Encoderabschnitt 710 und der vierte Encoderabschnitt 730 bilden in den zweiten geteilten latenten Raum 902 ab. Die in 9A dargestellte Verarbeitung von digitalen Daten einer ersten Domäne 740 kann im Wesentlichen der in 8A dargestellten und in diesem Zusammenhang beschriebenen Verarbeitung von digitalen Daten einer ersten Domäne 740 entsprechen, wobei der zweite Encoderabschnitt 710 einen Code in dem zweiten geteilten latenten Raum 902 ausgibt und wobei der zweite Decoderabschnitt 714 den in dem zweiten geteilten latenten Raum vorliegenden Code verarbeitet. Die in 9B dargestellte Verarbeitung von digitalen Daten einer zweiten Domäne 750 kann im Wesentlichen der in 8B dargestellten und in diesem Zusammenhang beschriebenen Verarbeitung von digitalen Daten einer zweiten Domäne 750 entsprechen, wobei der vierte Encoderabschnitt 730 einen Code in dem zweiten geteilten latenten Raum 902 ausgibt und wobei der vierte Decoderabschnitt 734 den in dem zweiten geteilten latenten Raum vorliegenden Code verarbeitet.
10 stellt ein Fahrzeug 1000 gemäß einer Ausführungsform dar. Das Fahrzeug 1000 kann ein Fahrzeug mit Verbrennungsmotor, ein Elektrofahrzeug, ein Hybridfahrzeug oder eine Kombination davon sein. Ferner kann das Fahrzeug 1000 ein Auto, ein LKW, ein Schiff, eine Drohne, ein Flugzeug und dergleichen sein. Das Fahrzeug 1000 kann zumindest einen Sensor 1002, wie beispielsweise einen Bildgebungssensor, einen Geschwindigkeitssensor, einen Winkelsensor, einen Temperatursensor oder einen Sensor zum Detektieren einer Gaspedalstellung, einer Einspritzmenge oder einer Drehzahl, aufweisen (beispielsweise den Sensor 102). Das Fahrzeug 1000 kann ein Fahrassistenzsystem 1004 aufweisen. Das Fahrassistenzsystem 1004 kann die Speichervorrichtung 106 aufweisen. Das Fahrassistenzsystem 1004 kann den Prozessor 108 aufweisen. Der Prozessor 108 kann das Modell 330, das beispielsweise als neuronales Netzwerk ausgeführt ist, implementieren. Das Fahrassistenzsystem 1004 kann ein Verarbeitungssystem (300, 400, 600) aufweisen, wobei das Verarbeitungssystem (300, 400, 600) digitale Daten 104 verarbeiten kann und wobei das Verarbeitungssystem (300, 400, 600) dritte Ausgangsdaten 320 bereitstellen kann.
Gemäß verschiedenen Ausführungsformen wurde das Modell 330 nach dem Verfahren 500 zum Trainieren eines Modells trainiert, so dass das trainierte Modell für die internen Berechnungen im Zuge der Verarbeitung von digitalen Daten weniger Speicherbedarf benötigt. Das heißt, dass das trainierte Modell 330 ferner imstande ist, digitale Daten mit einer größeren Speicheranforderung, wie beispielsweise einer höheren Datenqualität oder einer größeren Bildgröße, zu verarbeiten. Folglich ist es ein Aspekt, ein Fahrzeug bereitzustellen, dass die Verarbeitung von digitalen Daten mit einer größeren Speicheranforderung ermöglicht. Das Fahrassistenzsystem 1004 kann eingerichtet sein, um das Fahrzeug 1000 basierend auf den verarbeiteten digitalen Daten zu steuern.
Anders ausgedrückt kann das Fahrassistenzsystem 1004 eingerichtet sein, um die digitalen Daten 104 zu verarbeiten und um basierend auf den dritten Ausgangsdaten 320 zumindest einen Steuerbefehl an einen oder mehrere Aktoren des Fahrzeugs 1000 ausgeben zu können. Das heißt, das Fahrassistenzsystem 1004 kann basierend auf verarbeiteten digitalen Daten das derzeitige Fahrverhalten beeinflussen, zum Beispiel kann das derzeitige Fahrverhalten beibehalten werden oder geändert werden. Das Ändern des Fahrverhaltens kann zum Beispiel Eingriff in das Fahrverhalten aus Sicherheitsgründen sein, wie beispielsweise eine Notbremsung.
Gemäß verschiedenen Ausführungsformen weisen die digitalen Daten digitale Bilddaten auf, die von einem Bildgebungssensor, wie beispielsweise einem Kamera-Sensor oder einem Video-Sensor, bereitgestellt werden. Das Fahrassistenzsystem 1004 kann ein Segmentierungsnetzwerk aufweisen. Das Segmentierungsnetzwerk kann eingerichtet sein, um die von dem Verarbeitungssystem (300, 400, 600) basierend auf den digitalen Bilddaten ausgegebenen digitalen Bilddaten zu verarbeiten und um segmentierte Bilddaten zu erzeugen. Die digitalen Bilddaten können zumindest ein Objekt aufweisen und die segmentierten Bilddaten können eine Segmentierung des zumindest einen Objektes aufweisen. Das Fahrassistenzsystem 1004 kann eingerichtet sein, um das derzeitige Fahrverhalten basierend auf den segmentierten Bilddaten zu beeinflussen. Beispielsweise kann ein Bildgebungssensor ein Bild mit hoher Auflösung bereitstellen, das einen Fußgänger bei Nacht vor dem Fahrzeug 1000 darstellt. Das das Modell 330 aufweisende Verarbeitungssystem (300, 400, 600) kann eingerichtet sein, das Bild mit der hohen Auflösung zu verarbeiten, das Segmentierungsnetzwerk kann das von dem Verarbeitungssystem (300, 400, 600) erzeugte Bild segmentieren, und das Fahrassistenzsystem 1004 kann eingerichtet sein, das Fahrzeug basierend auf dem segmentierten Bild steuern.
Gemäß verschiedenen Ausführungsformen kann das Modell 330 als Generatorabschnitt (700, 800, 900) eines GAN implementiert sein. Das GAN kann eingerichtet sein, die von dem Bildgebungssensor bereitgestellten digitalen Bilddaten zu verarbeiten, wobei die digitalen Bilddaten einer ersten Domäne zugehörig sind, beispielsweise einer Straßenszene bei Sonnenschein. Das GAN kann ferner eingerichtet sein, um digitale Bilddaten zu erzeugen, die einer zweiten Domäne zugehörig sind, wie beispielsweise der Straßenszene bei Regen. Das Fahrassistenzsystem 1004 kann ein zusätzliches Modell aufweisen. Das zusätzliche Modell kann unter Verwendung der durch das GAN erzeugten digitalen Bilddaten trainiert werden. Anders ausgedrückt kann das zusätzliche Modell unter Verwendung der digitalen Bilddaten trainiert werden, die der zweiten Domäne zugehörig sind. Das trainierte zusätzliche Modell kann eingerichtet sein, um digitale Bilddaten auszugeben und das Fahrassistenzsystem 1004 kann eingerichtet sein, das Fahrzeug basierend auf den von dem trainierten zusätzlichen Modell ausgegebenen digitalen Bilddaten zu steuern.

Claims

Verfahren zum computerimplementierten Trainieren eines Modells, das ein erstes Teilmodell (304) und ein zweites Teilmodell (314) aufweist: • bei dem digitale Daten (104) herunterskaliert werden, so dass erste Eingangsdaten (302) erzeugt werden • bei dem die digitalen Daten (104) in mehrere Datenbereiche (310) aufgeteilt werden, so dass zweite Eingangsdaten (312) erzeugt werden; • bei dem das erste Teilmodell (304) erste Teilmodell-Daten (306) erzeugt zu dem ersten Teilmodell (304) zugeführten ersten Eingangsdaten (302); • bei dem die ersten Teilmodell-Daten (306) zu ersten Ausgangsdaten (308) hochskaliert werden; • bei dem das zweite Teilmodell (314) für die Datenbereiche (310) entsprechende Ausgangsdatenbereiche (316) erzeugt zu dem zweiten Teilmodell (314) zugeführten zweiten Eingangsdaten (312); • bei dem die Ausgangsdatenbereiche (316) zu zweiten Ausgangsdaten (318) zusammengesetzt werden; • bei dem die ersten Ausgangsdaten (308) und die zweiten Ausgangsdaten (318) zu dritten Ausgangsdaten (320) zusammengeführt werden; • bei dem das erste Teilmodell (304) durch Vergleich von bereitgestellten Zieldaten (402), welche den digitalen Daten (104) zugeordnet sind, und der ersten Ausgangsdaten (308) trainiert wird; und • bei dem das zweite Teilmodell (314) durch Vergleich der Zieldaten (402) und der dritten Ausgangsdaten (320) trainiert wird.
Verfahren nach Anspruch 1, wobei das erste Teilmodell (304) erste Teilmodell-Daten (306) zu den zugeführten ersten Eingangsdaten (302) erzeugt, welche die gleiche Auflösung wie die ersten Eingangsdaten (302) aufweisen.
Verfahren nach Anspruch 1 oder 2, wobei das erste Teilmodell (304) einen ersten Autoencoder aufweist.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das zweite Teilmodell (314) zweite Teilmodell-Daten zu den zugeführten zweiten Eingangsdaten (312) erzeugt, wobei für jeden Datenbereich der mehreren Datenbereiche (310) ein zugehöriger Ausgangsdatenbereich der mehreren Ausgangsdatenbereiche (316) erzeugt wird.
Verfahren nach einem der Ansprüche 1 bis 4, wobei das zweite Teilmodell (314) einen zweiten Autoencoder aufweist.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das Modell ein generatives Modell ist, wobei die digitalen Daten (104) einer ersten Domäne zugehörig sind und wobei die dritten Ausgangsdaten (320) einer zweiten Domäne zugehörig sind, das Verfahren ferner aufweisend: • Erzeugen von Trainingsdaten durch das trainierte Modell; • Trainieren eines zweiten Modells unter Verwendung der erzeugten Trainingsdaten.
Verfahren nach Anspruch 6, ferner aufweisend: • Verarbeiten von zweiten digitalen Daten, die der zweiten Domäne zugehörig sind, durch das zweite Modell in einem Fahrassistenzsystem; und • Steuern eines Fahrzeugs basierend auf den verarbeiteten zweiten digitalen Daten.
Trainingsvorrichtung, die eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.
Fahrzeug, aufweisend: zumindest einen Sensor, der eingerichtet ist, um digitale Daten (104) bereitzustellen, und ein Fahrassistenzsystem, das ein nach einem der Ansprüche 1 bis 5 trainiertes Modell aufweist, wobei das Modell eingerichtet ist, um die digitalen Daten (104) zu verarbeiten und wobei das Fahrassistenzsystem eingerichtet ist, um das Fahrzeug basierend auf den verarbeiteten digitalen Daten zu steuern.
Fahrzeug, aufweisend: zumindest einen Sensor, der eingerichtet ist, um zweite digitale Daten bereitzustellen, wobei die zweiten digitalen Daten einer zweiten Domäne zugehörig sind, und ein Fahrassistenzsystem, das ein nach Anspruch 6 trainiertes zweites Modell aufweist, wobei das zweite Modell eingerichtet ist, um die zweiten digitalen Daten zu verarbeiten und wobei das Fahrassistenzsystem eingerichtet ist, um das Fahrzeug basierend auf den verarbeiteten zweiten digitalen Daten zu steuern.