-
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein künstliches neuronales Netz zur Validierung von maschinellen Lernverfahren auf Basis von synthetischen Bilddaten.
-
Ein bevorzugtes Anwendungsgebiet der vorliegenden Erfindung liegt im Bereich des automatisierten Fahrens.
-
Stand der Technik
-
In kamera-basierten Funktionen für das automatisierte Fahren werden zunehmend mehr Verfahren des maschinellen Lernens (ML-Verfahren) eingesetzt. Diese bedingen eine große Menge an annotierten (gelabelten) Bilddaten, auf denen sie trainiert werden können. Mittels der Annotierung wird den ML-Verfahren in ihrer Trainingsphase Wissen übermittelt, dass die Verfahren auf nicht annotierte Bilddaten anwenden können. Doch nicht nur für das Training werden annotierten Bilddaten benötigt, auch zur späteren Validierung der Systeme, in denen ML-Verfahren zur Anwendung kommen, wird eine entsprechende Datengrundlage benötigt.
-
Derzeitige Schätzungen besagen, dass zur Validierung von ML-Verfahren, die im Bereich des automatisierten Fahrens eingesetzt werden, reine Black Box Tests nicht fehlerfreies Verhalten auf einer Gesamtstrecke von mindestens 109 km nachweisen müssen. Es ist nicht wirtschaftlich diese Menge an Daten einzufahren, d.h. diese mit einem Fahrzeug, das mit entsprechenden Sensormitteln, wie bspw. Kameras udgl., ausgestattet ist, abzufahren. Zudem wären die so eingefahrenen Daten mit der erforderlichen Meta-Information, d.h. mit Annotierungen (Labels) zu versehen, sodass ein ML-Verfahren auf Basis dieser Daten validiert werden kann.
-
Aus Stephan R. Richter et al. „Playing for Data: Ground Truth from Computer Games". In: European Conference on Computer Vision (ECCV). Ed. by Bastian Leibe et al. Vol. 9906. LNCS. Springer International Publishing, 2016, pp. 102-118. und Shital Shah et al. „AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles“. In: Field and Service Robotics. 2017. sind Verfahren zum Training von Verfahren des maschinellen Lernens auf Basis von synthetischen Bilddaten, die einem Computerspiel entnommen sind, bekannt.
-
Eine wirtschaftliche Alternative zur Black Box Absicherung, d.h. zur Validierung von Verfahren des maschinellen Lernens, wird in Fabian Schuldt, Till Menzel, and Markus Maurer. „Eine Methode für die Zuordnung von Testfällen für automatisierte Fahrfunktionen auf X-in-the-Loop Verfahren im modularen virtuellen Testbaukasten“. In: 10. Workshop Fahrerassistenzsysteme (2015), pp. 171-182. beschrieben und basiert auf der Verwendung von Simulationen. Zum Zwecke der Absicherung von bildbasierten Verfahren des maschinellen Lernens können hierbei synthetische Bilddaten aus simulierten Szenarien erstellt werden, mit denen das entsprechende Verfahren dann getestet und abgesichert werden kann.
-
Ein Nachteil dieses Vorgehens ist, dass die synthetischen Bilddaten trotz aufwändiger Verfahren aus Sicht eines Verfahrens des maschinellen Lernens immer noch erheblich von Bilddaten abweichen, die von einer Kamera gewonnen werden. Wurde ein Verfahren des maschinellen Lernens auf realen Bilddaten, lässt eine Validierung mittels synthetisch erzeugter Bilddaten keine aussagekräftigen Schlüsse zu.
-
Aus Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge. A Neural Algorithm of Artistic Style. 2015. und Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual Losses for Real-Time Style Transfer and Super-Resolution. 2016. sind Verfahren zum Style Transfer bekannt.
-
Aus Phillip Isola et al. Image-to-Image Translation with Conditional Adversarial Networks. 2017. ist ein Verfahren zur Image-to-Image Transformation bekannt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund betrifft die vorliegende Erfindung ein Verfahren zum Validieren eines ML-Verfahrens unter einem Szenario mit den Schritten:
- Bestimmen einer Wertemenge aus einem Wertebereich für einen Szenarioparameter des Szenarios, wobei die Bestimmung mittels eines Zufallsverfahrens erfolgt;
- Erstellen von synthetischen Bilddaten durch Simulation des Szenarios basierend auf der bestimmten Wertemenge für den Szenarioparameter;
- Transformieren der erstellten Bilddaten in photorealistische Bilder unter Verwendung eines ML-Verfahrens zur Transformation von synthetischen Bilddaten in photorealistische Bilder;
- Bewerten des ML-Verfahrens zur Validierung mittels der transformierten photorealistische Bilder.
-
Unter einem Szenario kann vorliegend der generelle Kontext verstanden werden, unter dem das ML-Verfahren validiert werden soll. Bspw. unter einem Autobahnszenario. D.h. das ML-Verfahren soll im generellen Kontext einer Fahrt auf einer Autobahn, d.h. einer kreuzungsfreien Straße mit getrennten Richtungsfahrbahnen, typischerweise mit jeweils mehreren Fahrstreifen, validiert werden.
-
Unter einem Szenarioparameter kann vorliegend ein Parameter verstanden werden, der dazu dient eine Ausprägung eines Szenarios, mithin eine Szenariospezifikation zu beschreiben. So kann über einen Szenarioparameter spezifiziert werden, dass das Szenario keine Tunnel oder keine Brücken enthalten soll. Ferner könnte über einen Szenarioparameter die Verkehrsdichte oder die mittlere Geschwindigkeit der Fahrzeuge in dem Szenario spezifiziert werden.
-
Szenarioparameter können auch Wertebereiche umfassen.
-
Mittels eines Simulators kann ein ausgewähltes Szenario basierend auf spezifizierten Szenarioparameter simuliert werden.
-
Unter synthetischen Bilddaten können vorliegend Bilddaten verstanden werden, die synthetisch, d.h. künstlich erzeugt wurden. D.h., dass die Bilddaten nicht die Abbildung der Wirklichkeit repräsentieren.
-
Unter photorealistischen Bildern können vorliegend Bilder verstanden werden, die zwar künstlich erzeugt wurden oder auf künstlich erzeugten Daten basieren, die aber für einen Betrachter oder allgemein für eine verarbeitende Einheit einen realistischen Eindruck vermitteln und für eine detailgetreue Abbildung der Wirklichkeit gehalten werden können.
-
Unter der Validierung eines ML-Verfahrens kann vorliegend verstanden, dass das ML-Verfahren getestet wird und die Performance, d.h. die spezifischen Parameter des ML-Verfahrens, mit einer vorgegebenen Performance verglichen werden. Liegt das Testergebnis des Validierungsvorgangs innerhalb eines vorgegebenen Rahmens, so ist das ML-Verfahren positiv validiert worden. Liegt es außerhalb dieses Rahmens ist es negativ validiert werden. Ein Perfomanceparameter könnte die sog. False-Positive- bzw. False-Negative-Rate sein. D.h. die Anzahl der fehlerhaften Auslösung bzw. der fehlerhaften Nichtauslösung im Verhältnis zu der Anzahl der Auslösungen.
-
Unter einem ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder kann vorliegend ein Verfahren des maschinellen Lernens (ML-Verfahren) verstanden werden, dass dazu eingerichtet ist nach einer Trainingsphase beliebige synthetische Billdaten in photorealistische Bilder umzuwandeln. In einer Trainingsphase lernt das Verfahren zunächst wie eine Umwandlung von Bildern eines ersten Datensatzes in Bilder eines zweiten Datensatzes erfolgen würde. In dem ersten Datensatz könnten bspw. Bilder einer Winterlandschaft vorliegen. In dem zweiten Datensatz könnten bspw. Bilder einer Sommerlandschaft vorliegen. Nach dem Training ist das so angelernte Verfahren in der Lage (beliebige) Sommerbilder in entsprechende Winterbilder zu transformieren und umgekehrt.
-
Das Verfahren der vorliegenden Erfindung weist den Vorteil auf, dass die Validierung eines ML-Verfahrens auf einfache und zuverlässige Art und Weise durchgeführt werden kann, da die für eine zuverlässige Validierung erforderliche Menge an Bilddaten (bspw. einer Fahrstrecke einer Länge von 109 km) in einem angemessenen Zeitraum erzeugt werden kann.
-
In einer Ausführungsform des Verfahrens der Erfindung umfasst das ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder ein künstliches neuronales Netz.
-
Unter einem künstlichen neuronalen Netz kann vorliegend eine Datenverarbeitungsstruktur verstanden werden, die auf der Nachbildung natürlicher Neuronen basiert und nach ihrer Konstruktion in einer Trainingsphase mittels Trainingsdaten zur gewünschten Verarbeitung von Eingabedaten angelernt wird.
-
In einer Ausführungsform des Verfahrens der Erfindung umfasst das ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder Generative Adversial Network (GAN).
-
Unter einem Generative Adversial Network (GAN) kann vorliegend eine Gruppe von Algorithmen zum unüberwachten Lernen verstanden werden, die aus zwei künstlichen neuronalen Netzen bestehen, die ein Nullsummenspiel gemäß der Spieltheorie durchführen. Eines der künstlichen neuronalen Netze agiert als Generator und erstellt Kandidaten, die von dem zweiten künstlichen neuronalen Netz, dem Diskriminator, bewertet werden. Ziel des Generators ist Kandidaten zu erzeugen, die der Diskriminator nicht mehr von dem Vorgegebenen unterscheiden kann.
-
Diese Ausführungsform weist den Vorteil auf, dass ein Generative Adversial Network (GAN) ein einfaches Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder darstellt.
-
In einer Ausführungsform des Verfahrens der Erfindung umfasst das ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder ein Verfahren zum Style-Transfer oder zur Image-to-Image-Transformation.
-
Unter einem Verfahren zum Style-Transfer kann vorliegend ein Verfahren zur Transformation von Eingabedaten bspw. synthetischen Bilddaten mittels bzw. in einen vorgegebenen Stil (Style), bspw. photorealistische Bilder verstanden werden.
-
Unter einem Verfahren zur Image-to-Image-Transformation kann vorliegend ein Verfahren verstanden werden, dass dazu eingerichtet ist eine Abbildung von einem Eingabebild auf ein Ausgabebild durchzuführen, bei dem eine entsprechende Verlustfunktion gelernt wird. Dadurch ist es möglich Bilder einer Domäne (bspw. synthetische Bilddaten) in eine andere Domäne (bspw. photorealistische Bilder) zu übertragen.
-
Diese Ausführungsformen stellen Alternativen zur Verwendung eines Generative Adversial Network als Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder dar.
-
In einer Ausführungsform des Verfahrens der vorliegenden Erfindung werden die Schritte des Bestimmens, des Erstellens, des Transformierens und des Validierens solange wiederholt bis eine Validierungsbedingung eintritt.
-
Diese Ausführungsform weist den Vorteil auf, dass die Validierung des ML-Verfahrens auf einem kleinen Szenario durchgeführt werden kann, das bei jedem Durchgang mit neuen Parametern simuliert werden kann. Dadurch ist es möglich das ML-Verfahren auf einer ausreichenden Menge an Daten zu validieren und dafür ein vergleichsweise einfaches Szenario verwenden zu können.
-
In einer Ausführungsform des Verfahrens der vorliegenden Erfindung ist die Validierungsbedingung abhängig von einer Vereinigung der bestimmten Wertemengen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, das derart eingerichtet ist, dass es die Schritte einer Ausführungsform des vorliegenden Verfahrens ausführt.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein elektronischer Datenträger, auf dem ein Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein künstliches neuronales Netz, das dazu eingerichtet ist, eine Ausführungsform des Verfahrens der vorliegenden Erfindung auszuführen.
-
Nachstehend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen erläutert.
-
Es zeigen:
- 1 ein Ablaufdiagramm des Verfahrens gemäß der vorliegenden Erfindung;
- 2 ein Ablaufdiagramm einer Ausführungsform des Validierungsverfahrens gemäß der vorliegenden Erfindung.
- 1 zeigt ein Ablaufdiagramm des Verfahrens gemäß der vorliegenden Erfindung.
-
In Schritt 101 erfolgt die Bestimmung einer Wertemenge aus einem Wertebereich für einen Szenarioparameter des Szenarios. Die Bestimmung erfolgt dabei vorteilhafterweise mittels eines Zufallsverfahrens. Ein Szenario legt den generellen Kontext fest, in dem die Validierung des zu bewertenden ML-Verfahrens erfolgen soll. Dabei ist zu berücksichtigen, dass ein Szenario im Allgemeinen mehr als ein Szenarioparameter aufweist. Davon können nach Ausführungsformen des Verfahrens mehrere Szenarioparameter mittels eines Zufallsverfahrens bestimmt werden. Denkbar ist zudem, dass einige Szenarioparameter unter anderen Gesichtspunkten fest definiert werden oder gemäß einer nicht-zufälligen Reihenfolge bestimmt werden. Für die vorliegende Erfindung ist wesentlich, dass für mindestens ein Szenarioparameter eine Wertemenge aus dem Szenario zugeordneten Wertebereich mittels eines Zufallsverfahrens bestimmt wird.
-
In Schritt 102 erfolgt das Erstellen von synthetischen Bilddaten durch Simulation des Szenarios basierend auf der bestimmten Wertemenge für den Szenarioparameter. Die Erstellung der synthetischen Bilddaten kann bspw. durch die Umsetzung des festgelegten Szenarios basierend auf dem bestimmten Szenarioparameter durch ein Simulationsverfahren, insbesondere durch ein Simulationsprogramm, erfolgen. Als Simulationsprogramm kann dabei ein Programm dienen, das die Szenen des Szenarios mit den bestimmten Szenarioparametern simuliert und dabei synthetische Bilddaten erzeugt. Denkbar wäre auch die Heranziehung einer sog. 3D-Engine wie sie für 3D Computerspiele eingesetzt wird. Ein Simulator kann im Rahmen der Simulation des Szenarios mit Erzeugung der Elemente einer Szene Annotationen zu den Elementen erzeugen und den Elementen in den erzeugten Bilddaten zuordnen.
-
In Schritt 103 erfolgt das Transformieren der erstellten Bilddaten in photorealistische Bilder unter Verwendung eines ML-Verfahrens zur Transformation von synthetischen Bilddaten in photorealistische Bilder. ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder sind in der Lage Bilder zu erzeugen, die einem real aufgenommenen Bild einer Szene nahezu entsprechen. Vorteilhaft an der Umwandlung von synthetisch erzeugten Bilddaten in photorealistische Bilddaten im Vergleich zum Aufnehmen von realen Bilddaten ist zum einen, dass die Zeit für die reale Aufnahme, d.h. insbesondere der Transport der Aufnahmevorrichtungen an die aufnehmende Szene entfällt und zum anderen, der Aufwand eines nachgelagerten annotierten der aufgenommenen Szene entfällt, da im Prozess des synthetischen Erzeugens automatisch Annotierungen an die erzeugten synthetischen Bilddaten angebracht werden können, die sich durch die Transformation in photorealistische Bilder nicht ändern und demnach übernommen werden können. Ein als Fahrzeug, Gebäude oder Fußgänger annotiertes Element in den synthetischen Bilddaten behält typischerweise diese Annotation in den photorealistischen Bildern.
-
Als Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder haben der Einsatz von künstlichen neuronalen Netzen als im besonderen Maße geeignet erwiesen. Herausstechende Ergebnisse konnte beim Einsatz von Generative Adversial Networks erzielt werden.
-
Alternative eignen sich Verfahrens zum Style Transfer oder zur Image-to-Image-Transformation
-
In Schritt 104 erfolgt die Bewertung des ML-Verfahrens zur Validierung mittels der photorealistischen Bilder. Das zu bewertende ML-Verfahren dient typischerweise einem bestimmten Zweck. Bspw. der Erkennung von anderen Fahrzeugen, Gebäude oder Fußgängern in den verarbeiteten Bildern bzw. Bilddaten. Denkbar sind noch weitere Zwecke, insbesondere im Zusammenhang mit Aufgaben im Rahmen des automatisierten Fahrens.
-
Im Schritt des Bewertens 104 kann die Leistungsfähigkeit des zu bewertenden ML-Verfahrens gemessen werden. Eine Metrik für die Leistungsfähigkeit können False-Positive-Raten oder False-Negative-Raten sein. Denkbar sind weitere Metriken, die dazu geeigneten sind die Leistungsfähigkeit des zu bewertenden ML-Verfahrens zu bestimmen.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das eine Ausführungsform des Verfahrens 100 gemäß der vorliegenden Erfindung ist.
-
Gemäß der dargestellten Ausführungsform handelt es sich bei dem Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder um eine zu trainierendes ML-Verfahren. Die Darstellung zeigt eine Trainingsphase A, in der das ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder trainiert wird.
-
Dazu werden zwei Datensätze 201 und 202 bereitgestellt. Der erste Datensatz 201 enthält Bilddaten aus einer ersten Domäne. Vorliegend Bilddaten, die den zu erwartenden synthetisch erzeugten Bilddaten entsprechen. Der zweite Datensatz 202 enthält real aufgenommene Bilddaten.
-
Während des Trainings in Schritt 210 wird das ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder basierend auf den bereitgestellten Bildern derart trainiert, dass das ML-Verfahren dazu in die Lage versetzt wird aus synthetisch erzeugten Bilddaten photorealistische Bilder zu erzeugen. Das kann bspw. ein sog. Generative Adversial Network (GAN) genutzt werden. Alternativ ist denkbar dazu Verfahren zum Style-Transfer oder zur Image-to-Image-Transformation einzusetzen.
-
Das Ergebnis des Trainingschrittes 210 ist ein trainiertes Modell 203 bzw. ein trainiertes ML-Verfahren zur Transformation von synthetischen Bilddaten in photorealistische Bilder.
-
Dieses Modell bzw. dieses ML-Verfahren wird der Validierungsphase B des dargestellten Verfahrens bereitgestellt.
-
In der Validierungsphase B erfolgt in Schritt 220 die Bestimmung des zu validierenden ML-Verfahrens und die Bestimmung des Szenarios, unter welchem das ML-Verfahren zu validieren ist.
-
Mit diesen gegebenen Eingangsgrößen kann eine Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung, wie in 1 beschrieben, gestartet werden. Die Schritte 101 bis 104 sind dementsprechend auf Schritt 220 folgend dargestellt.
-
In dem Schritt des Transformierens 103 wird das in der Trainingsphase A trainierte ML-Verfahren eingesetzt, um die synthetisch erzeugten Bilddaten in photorealistische Bilder zu transformieren.
-
Nach dem Schritt des Bewertens 104 steht eine Bewertung des ML-Verfahrens unter dem spezifizierten Szenario und dem zufällig bestimmten Szenarioparameter, bzw. den Szenarioparametern fest.
-
In dem Entscheidungsschritt 221 erfolgt die Prüfung auf Basis einer Vereinigung einer Auswahl der verwendeten Szenarioparameter. Bei der Prüfung wird bestimmt, ob eine ausreichende Parametervariation erfolgt ist. Diese Prüfung kann bspw. durch die Vorgabe eines Schwellenwerts und dem Vergleich der Vereinigung der Szenarioparameter mit dem bzw. den Schwellenwerten erfolgen. Denkbar wäre in diesem Zusammenhang ein Szenarioparameter, bzw. eine Kumulation des Szenarioparameter Streckenlänge zu einer Gesamtstrecke, auf der das ML-Verfahren bewertet wurde. Überschreitet die geprüfte Gesamtstrecke einen vorgegebenen Wert, bspw. 109 km. So kann die Validierung mit dem Schritt 222 beendet werden.
-
Andernfalls erfolgt ein erneuter Durchlauf der Validierungsschritte beginnend mit dem Schritt 101, d.h. mit der zufälligen Bestimmung von Szenarioparametern für das in Schritt 220 vorgegebene Szenario für das zu prüfende ML-Verfahren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Stephan R. Richter et al. „Playing for Data: Ground Truth from Computer Games“. In: European Conference on Computer Vision (ECCV). Ed. by Bastian Leibe et al. Vol. 9906. LNCS. Springer International Publishing, 2016, pp. 102-118 [0005]
