-
Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten, insbesondere einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion. Die Erfindung betrifft weiterhin ein Testsystem für eine auf einem neuronalen Netz basierende Wahrnehmungsfunktion, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.
-
Maschinelles Lernen hat großes Potential für moderne Fahrerassistenzsysteme und automatisiertes Fahren. Auf tiefen neuronalen Netzen basierende Funktionen verarbeiten Sensorrohdaten, z.B. von Kamera, Radar oder Lidar, um daraus relevante Informationen abzuleiten. Dies sind z.B. Art und Position von Objekten im Fahrzeugumfeld, deren Verhalten, oder Fahrbahngeometrien und -topologien. Unter den tiefen neuronalen Netzen haben sich insbesondere Faltungsnetze (CNN: Convolutional Neural Network) als besonders geeignet für die Bildverarbeitung hervorgetan.
-
Ein wesentlicher Aspekt bei der Entwicklung von tiefen neuronalen Netzen, genauer beim Trainingsprozess, liegt im rein datengetriebenen Parameterfitting ohne Experteneingriff: Dabei wird die Abweichung des Outputs für eine gegebene Parametrierung eines neuronalen Netzes von einer Grundwahrheit gemessen, der sogenannten Ground Truth. Diese Abweichung wird als Loss bezeichnet. Die dabei verwendete Loss-Funktion wird in einer Weise gewählt, dass die Parameter differenzierbar von ihr abhängen. Im Rahmen des Gradientenabstiegs werden in jedem Trainingsschritt die Parameter des Netzes in Abhängigkeit der Ableitung der auf mehreren Beispielen ermittelten Abweichung angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich der Loss nicht mehr verringert.
-
Bei diesem üblichen Vorgehen werden die Modellparameter ohne eine Experteneinschätzung oder eine semantisch motivierte Modellierung ermittelt. Dies hat wesentliche Folgen für die Eigenschaften des neuronalen Netzes. Tiefe neuronale Netze sind für den Menschen weitgehend intransparent und ihre Berechnungen nicht interpretierbar. Dies stellt eine massive Einschränkung für ein systematisches Testen oder eine formale Verifikation dar. Des Weiteren sind tiefe neuronale Netze sind anfällig für schädliche Störeinflüsse, sogenannte Adversarial Perturbations. Kleine, für den Menschen kaum wahrnehmbare oder die Situationseinschätzung nicht verändernde Manipulationen an den Eingangsdaten können zu komplett anderen Ausgangsdaten führen. Solche Manipulationen können sowohl mutwillig herbeigeführte Veränderungen der Daten sein, sogenanntes Neural Hacking, als auch zufällig auftretende Bildveränderungen, z.B. durch Sensorrauschen, Witterungseinflüsse, bestimmte Farben oder Kontraste. Zudem ist unklar, auf welche Eingangsmerkmale ein Algorithmus sensibilisiert. Dies sorgt dafür, dass synthetische Daten bisher kaum erfolgreich für das Training von neuronalen Netzen verwendet werden können. In Simulationen oder auf anderweitig synthetischen Daten trainierte neuronale Netze weisen eine erstaunlich schwache Performanz auf realen Sensordaten auf. Auch eine Ausführung von neuronalen Netzen in einer anderen Domäne reduziert die funktionale Güte teilweise dramatisch. Dies kann z.B. der Fall sein bei einem Training im Sommer und einer Ausführung im Winter, beim Vorhandensein von Augmentierungen, etc.
-
Für den Einsatz von neuronalen Netzen in Systemen für das automatische Fahren ist daher eine hohe Testabdeckung notwendig. Die Ansprüche an diese Tests zum Zwecke der Absicherung sind hoch spezifisch. Insbesondere potentiell gefährliche Situationen müssen zuverlässig getestet werden. Für einen akzeptablen Sicherheitsnachweis ist zudem eine hohe Testabdeckung des Einsatzkontexts notwendig. Dies gilt für Tests des Gesamtsystems genauso wie für Tests seiner Komponenten. Die notwendigen Daten müssen zudem von den Trainings- und Entwicklungsdaten verschieden sein, um eine Überanpassung (engl. „overfitting“) zu verhindern.
-
Dies hat zur Folge, dass der Ansatz vom Testen und Freigeben von neuronalen Netzen in Simulation sehr attraktiv erscheint, da das teure Bereitstellen von Labels und aufwendige Realtests entfallen. Angesichts der oben genannten Eigenschaften neuronaler Netze ist dies allerdings nicht oder nur schwer möglich. Derzeit existieren keinerlei Metriken und Methoden, die die Aussagekraft von simulationsbasierten Tests auf das Verhalten in der realen Welt messen. Daher werden lediglich Realdatentests als akzeptierter Indikator der Performanz für die Absicherung von Wahrnehmungsfunktionen des automatischen Fahrens herangezogen.
-
Verschiedene Ansätze versuchen, die oben beschriebenen Herausforderungen zu lösen. Bei einem ersten Ansatz erfolgt ein Training mit möglichst diversen Datensätzen. Hierbei wird bei der Vorbereitung des Trainings darauf geachtet, dass ein möglichst breites Spektrum an Daten verwendet wird, z.B. verschiedenste Kontexte, verschiedene Quellen wie Simulation und Realdaten verschiedener Sensoren oder augmentierte Daten. Man erhofft sich davon ein Funktionieren des Algorithmus in verschiedensten Domänen.
-
Ein zweiter Ansatz beruht auf Transfer Learning und Domain Adaptation. Hierbei handelt es sich um spezielle Algorithmen, die im Allgemeinen durch weiteres Training und spezielle Wahl von Loss-Funktionen eine nicht weiter kontrollierte Anpassung des Algorithmus an neue Domänen erlauben. Dies geschieht entweder durch den Versuch, die neuronalen Netze unsensibel gegenüber den Unterschieden zwischen den Domänen zu machen, oder durch ein fokussiertes Nachtraining mit wenigen Trainingsbeispielen aus der Zieldomäne.
-
Beim sogenannten Adversarial Training werden die Trainingsdaten vor einer Trainingsiteration derart verändert, dass sie maximal täuschend auf das aktuell zur Verfügung stehende Netz wirken, d.h. es werden adversariale Pertubationen auf das aktuelle Trainingsdatum angewandt. Erst dann werden die Daten zum Trainieren des neuronalen Netzes verwendet.
-
Ein weiterer Ansatz besteht im Nachbearbeiten des neuronalen Netzes für die Sicherstellung von Stabilitäts- und Robustheitseigenschaften. Das Nachbearbeiten kann beispielsweise durch zusätzliche Software erfolgen, z.B. für eine Augmentierung der Inferenzdaten, eine Plausibilisierung der Netzausgabe, eine Zuhilfenahme von Heatmaps oder eine automatische Sensordatenvorverarbeitung. Ebenso besteht die Möglichkeit eines nachträglichen Veränderns des Netzes nach dem Training, z.B. mittels Pruning oder Quantisierung, bzw. einer veränderten Inferenz der Netze nach der Bereitstellung. In diesem Zusammenhang seien multiple Inferenz und Ensembling genannt.
-
Die bisher bekannten Lösungsansätze generalisieren allerdings nicht auf alle adversarialen Störungen, d.h. selbst für mittels Adversarial Training verbesserte Netze lassen sich wiederum adversariale Beispiele finden, und sie verbessern nicht die Verständlichkeit der Informationsverarbeitung durch ein neuronales Netz. Zudem bieten sie nur eine leichte Verbesserung der Robustheit und funktionieren nicht gut bei schwierigen Klassifikationsaufgaben, wie z.B. der Objektdetektion oder der semantischen Segmentierung auf Basis von Bilddaten. Ein zusätzlicher Testaufwand, um Nicht-Robustheiten gegen adversariale Störungen abzufangen, vergrößert den schon vorher großen Aufwand für das Testen von Wahrnehmungsfunktion für die funktionale Validierung zudem immens. Dies ist wirtschaftlich eine zentrale Herausforderung. Schließlich sind die bestehenden Ansätze zur Robustfifizierung im Allgemeinen sehr rechenaufwendig, was vor dem Ziel kontinuierlicher und inkrementeller Entwicklung sowie der Ausführung der automatischen Fahrfunktion auf eingebetteten Rechnern schwierig erscheint.
-
Es ist eine Aufgabe der Erfindung, Lösungen zum Bewerten einer Qualität eines simulationsbasierten Tests bereitzustellen.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 8 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion die Schritte:
- - Generieren von Simulationsdaten;
- - Ermitteln von Inferenzen der Wahrnehmungsfunktion auf Basis der Simulationsdaten und auf Basis von Vergleichsdaten; und
- - Bestimmen eines Bewertungsmaßes auf Basis eines Vergleichs der Inferenzen.
-
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion veranlassen:
- - Generieren von Simulationsdaten;
- - Ermitteln von Inferenzen der Wahrnehmungsfunktion auf Basis der Simulationsdaten und auf Basis von Vergleichsdaten; und
- - Bestimmen eines Bewertungsmaßes auf Basis eines Vergleichs der Inferenzen.
-
Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, eingebettete Systeme, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.
-
Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.
-
Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion auf:
- - ein Simulationsmodul zum Generieren von Simulationsdaten;
- - ein Inferenzmodul zum Ermitteln von Inferenzen der Wahrnehmungsfunktion auf Basis der Simulationsdaten und auf Basis von Vergleichsdaten; und
- - ein Bewertungsmodul zum Bestimmen eines Bewertungsmaßes auf Basis eines Vergleichs der Inferenzen.
-
Die erfindungsgemäße Lösung ermöglicht es, Testergebnisse für Simulationsdatensätze mit Testergebnissen für Vergleichsdatensätze vergleichbar zu machen und damit eine Bewertung der Verwendbarkeit von bestimmten Simulationsdaten für den Einsatz in der Absicherung von Wahrnehmungsfunktionen vorzunehmen. Für die erfindungsgemäße Lösung werden verschiedene Module benötigt, die bevorzugt serverbasiert sind, welche verschiedene Datensätze prozessieren und Ergebnisse vergleichen. Ein Simulationsmodul erzeugt simulierte Datensätze. Die Datensätze werden z.B. aus 3D-Welten und Simulations-Assetts erzeugt. Für das Vergleichen wird ein Inferenzmodul verwendet. Auf diesem Inferenzmodul wird die Inferenz des neuronalen Netzes berechnet, d.h. das vom trainierten neuronalen Netz hergeleitete Ergebnis, das aus einer Anwendung des neuronalen Netzes auf die Eingangsdaten resultiert. Durch die erfindungsgemäße Lösung wird ein Framework für die Zertifizierung von Simulationsumgebungen für das Testen von auf neuronalen Netzen basierenden Wahrnehmungsfunktionen hinsichtlich der Übertragbarkeit der Testergebnisse bereitgestellt.
-
Gemäß einem Aspekt der Erfindung sind die Vergleichsdaten Realdaten und die Simulationsdaten werden unter Verwendung eines aus den Realdaten abgeleiteten Kontexts generiert. Aus den zur Verfügung stehenden Realdaten wird ein Kontext abgeleitet, z.B. eine semantische Beschreibung der Realsituation. Dieser wird als Eingangsgröße für das Generieren von Simulationsdaten verwendet. Auf diese Weise werden die Realdaten maximal ähnlich simuliert. Durch den Vergleich der Inferenzen der Wahrnehmungsfunktion auf Realdaten und dazugehörigen Simulationsdaten kann bewertet werden, inwiefern anstelle bzw. in Ergänzung von Realdaten auch Simulationsdaten für den Absicherungsprozess der Wahrnehmung verwendbar sind.
-
Gemäß einem Aspekt der Erfindung sind die Simulationsdaten und die Vergleichsdaten mit Augmentierungen versehene Realdaten oder Simulationsdaten. Bei diesem Vergleich werden verschiedene Realdaten augmentiert. Gleichermaßen können diese Augmentierungen auch auf simulierte Daten aufgetragen werden, entweder durch Applikation des gleichen Augmentierungsverfahrens oder in der Simulation selbst. Dies hat den Vorteil, dass viele Charakteristika der Realdaten erhalten bleiben und gleichzeitig verschiedenste Szenen erstellbar sind. Damit ist es möglich, die Sensitivität der Wahrnehmungsfunktion bezüglich bestimmter Kontextveränderungen, datenseitig umgesetzt durch die Augmentierungen, parallel in Simulation und in Realdaten zu bewerten.
-
Gemäß einem Aspekt der Erfindung wird ein aus den Realdaten oder den Simulationsdaten abgeleiteter Kontext beim Bestimmen des Bewertungsmaßes berücksichtigt. Dies erlaubt es, bestimmte Kontexte im Falle einer hinreichend geringen Abweichung als ähnlich und vergleichbar zu definieren. Die entsprechenden Kontexte und Tests können dann für eine Absicherung in der Simulation freigegeben werden.
-
Gemäß einem Aspekt der Erfindung werden beim Bestimmen des Bewertungsmaßes Abweichungsmaße zwischen den Inferenzen betrachtet. Dazu können sowohl Inferenzergebnisse als auch Aktivierungsmuster im neuronalen Netz betrachtet werden. Diese können als statistische Größen behandelt werden, d.h. es werden Erwartungswert und Varianz bestimmt. Als Abweichungsmaße kommen eine Vielzahl von absoluten oder relativen Abstandsmaßen in Betracht, die sowohl individuell oder auch in Kombination ausgewertet werden können.
-
Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Testsystem für eine auf einem neuronalen Netz basierende Wahrnehmungsfunktion verwendet. Ein solches Testsystem ist in der Lage, Simulationsumgebungen für das Testen von auf neuronalen Netzen basierenden Wahrnehmungsfunktionen in Hinblick auf die Verwendung in Absicherungsprozessen zu zertifizieren.
-
Gemäß einem Aspekt der Erfindung, ist die Wahrnehmungsfunktion eine datengetriebene Wahrnehmungsfunktion. Bei datengetriebenen Wahrnehmungsfunktionen werden die Modellparameter im Training ohne eine Experteneinschätzung oder eine semantisch motivierte Modellierung ermittelt. Dies hat als Folge, dass die resultierenden neuronalen Netze für den Menschen weitgehend intransparent und ihre Berechnungen nicht interpretierbar sind. Dies stellt eine massive Einschränkung für ein systematisches Testen oder eine formale Verifikation dar. Durch die Verwendung der erfindungsgemäßen Lösung wird insbesondere auch für solche Wahrnehmungsfunktionen eine Absicherung ermöglicht.
-
Gemäß einem Aspekt der Erfindung ist die Wahrnehmungsfunktion eine Wahrnehmungsfunktion des automatischen Fahrens, der Robotik oder der Überwachung. Beispielsweise kann die Wahrnehmungsfunktion in Bezug auf automatisch bzw. autonome Verkehrsträger für Fahrassistenzfunktionen oder die Fahrzeuginnenraumüberwachung verwendet werden. Bei dem Verkehrsträger kann es sich insbesondere um ein Kraftfahrzeug handeln, z.B. einen Personenkraftwagen oder ein Nutzfahrzeug, aber auch um ein Schiff, ein Schienenfahrzeug, ein Fluggerät, z.B. einen Volocopter, etc. In Bezug auf Anwendungen in der Robotik kommen insbesondere Wahrnehmungsfunktionen in Betracht, die für die Medizin- oder Produktionsrobotik verwendet werden. Hier müssen besonders hohe Anforderungen an die funktionale Sicherheit erfüllt werden.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.
- 1 zeigt schematisch ein Verfahren zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion;
- 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion;
- 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion;
- 4 stellt schematisch ein Fortbewegungsmittel dar, in dem eine auf einem neuronalen Netz basierende Wahrnehmungsfunktion verwendet wird;
- 5 zeigt schematisch ein Testsystem, das eine erfindungsgemäßen Lösung verwendet;
- 6 veranschaulicht eine Bewertung unter Verwendung maximal ähnlicher Realdaten und Simulationsdaten; und
- 7 veranschaulicht eine Bewertung unter Verwendung augmentierter Real- oder Simulationsdaten.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.
-
1 zeigt schematisch ein Verfahren zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion. Bei der Wahrnehmungsfunktion kann es sich insbesondere um eine datengetriebene Wahrnehmungsfunktion handeln, z.B. des automatischen Fahrens, der Robotik oder der Überwachung. In einem ersten Schritt werden Simulationsdaten generiert 10. Anschließend werden Inferenzen der Wahrnehmungsfunktion auf Basis der Simulationsdaten und auf Basis von Vergleichsdaten ermittelt 11. Beispielsweise können die Vergleichsdaten Realdaten sein. Die Simulationsdaten können dann unter Verwendung eines aus den Realdaten abgeleiteten Kontexts generiert werden 10. Alternativ können die Simulationsdaten und die Vergleichsdaten mit Augmentierungen versehene Realdaten oder Simulationsdaten sein. Auf Basis eines Vergleichs 12 der Inferenzen, der z.B. Abweichungsmaße zwischen den Inferenzen betrachtet, wird dann ein Bewertungsmaß bestimmt 13. Dabei wird vorzugsweise ein aus den Realdaten oder den Simulationsdaten abgeleiteter Kontext berücksichtigt.
-
2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion. Bei der Wahrnehmungsfunktion kann es sich insbesondere um eine datengetriebene Wahrnehmungsfunktion handeln, z.B. des automatischen Fahrens, der Robotik oder der Überwachung. Die Vorrichtung 20 hat einen Eingang 21, über den beispielsweise Realdaten RD oder Simulationsmodelle empfangen werden können. Ein Simulationsmodul 22 ist dazu eingerichtet, Simulationsdaten zu generieren. Ein Inferenzmodul 23 ist dazu eingerichtet, Inferenzen der Wahrnehmungsfunktion auf Basis der Simulationsdaten und auf Basis von Vergleichsdaten zu ermitteln. Beispielsweise können die Vergleichsdaten Realdaten RD sein. Die Simulationsdaten können dann unter Verwendung eines aus den Realdaten RD abgeleiteten Kontexts generiert werden. Alternativ können die Simulationsdaten und die Vergleichsdaten mit Augmentierungen versehene Realdaten RD oder Simulationsdaten sein. Ein Vergleichsmodul 24 ist dazu eingerichtet, die ermittelten Inferenzen zu vergleichen.
-
Dabei werden beispielsweise Abweichungsmaße zwischen den Inferenzen betrachtet. Ein Bewertungsmodul 25 ist dazu eingerichtet, auf Basis des Vergleichs ein Bewertungsmaß B zu bestimmen. Dabei wird vorzugsweise ein aus den Realdaten RD oder den Simulationsdaten abgeleiteter Kontext berücksichtigt. Das bestimmte Bewertungsmaß B kann über einen Ausgang 28 der Vorrichtung zur weiteren Verwendung ausgegeben werden.
-
Das Simulationsmodul 22, das Inferenzmodul 23, das Vergleichsmodul 24 und das Bewertungsmodul 25 können von einem Kontrollmodul 26 gesteuert werden. Über eine Benutzerschnittstelle 29 können gegebenenfalls Einstellungen des Simulationsmoduls 22, des Inferenzmoduls 23, des Vergleichsmoduls 24, des Bewertungsmoduls 25 oder des Kontrollmoduls 26 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 27 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Das Simulationsmodul 22, das Inferenzmodul 23, das Vergleichsmodul 24, das Bewertungsmodul 25 sowie das Kontrollmodul 25 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 21 und der Ausgang 28 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein.
-
3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Bewerten einer Verwendbarkeit von Simulationsdaten für einen Test einer auf einem neuronalen Netz basierenden Wahrnehmungsfunktion. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Realdaten oder Simulationsmodellen. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.
-
Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.
-
Die Speicher 27, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.
-
4 stellt schematisch ein Fortbewegungsmittel 40 dar, in dem eine auf einem neuronalen Netz basierende Wahrnehmungsfunktion verwendet wird. Bei dem Fortbewegungsmittel 40 handelt es sich in diesem Beispiel um ein Kraftfahrzeug. Das Kraftfahrzeug weist zumindest ein Assistenzsystem 41 auf, z.B. ein Assistenzsystem 41 für eine automatische Fahrfunktion.
-
Das Assistenzsystem 41 nutzt eine auf einem neuronalen Netz basierende Wahrnehmungsfunktion F. Diese verarbeitet Sensordaten, die von einer Sensorik 42 des Kraftfahrzeugs bereitgestellt werden. Die Sensorik 42 kann sowohl Sensoren zum Erfassen von Fahrzeugzuständen umfassen, wie Beschleunigungssensoren, Raddrehzahlsensoren oder Gyroskope, als auch Sensoren zum Erfassen von Umgebungsinformationen, wie Kameras, Radarsensoren, Lidarsensoren oder Ultraschallsensoren. Auch Informationen einer Innenraumkamera können genutzt werden. Weitere Komponenten des Kraftfahrzeugs sind ein Navigationssystem 43 sowie eine Datenübertragungseinheit 44. Vom Navigationssystem 43 können bei Bedarf GPS-Daten bereitgestellt werden. Mittels der Datenübertragungseinheit 44 kann beispielsweise eine Verbindung zu Dienstanbietern aufgebaut werden, z.B. zum Abrufen aktualisierter Software. Zur Speicherung von Daten ist ein Speicher 45 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs erfolgt über ein Netzwerk 46.
-
Nachfolgend sollen weitere Details der Erfindung anhand von 5 bis 7 erläutert werden.
-
5 zeigt schematisch ein Testsystem 50, das eine erfindungsgemäßen Lösung verwendet. Das Testsystem 50 umfasst im Wesentlichen drei funktionale Blöcke. Ein erster funktionaler Block umfasst die Datenquellen 51, ein zweiter funktionaler Block betrifft die Vergleichsvorbereitung 52, ein dritter funktionaler Block den Vergleich und die Zertifizierung 53. Das Testsystem 50 ermöglicht es, Testergebnisse auf Simulationsdatensätzen SD und mit realen Datensätzen RD vergleichbar zu machen und damit eine Bewertung der Verwendbarkeit von bestimmten Simulationsdaten SD für den Einsatz in der Absicherung von Wahrnehmungsfunktionen F vorzunehmen. Im gezeigten Beispiel beruhen die Wahrnehmungsfunktionen F auf tiefen neuronalen Netzen (DNN: Deep Neural Network). Für die Realisierung des Testsystems 50 werden in 5 serverbasierte Steuergeräte verwendet. Weiterhin werden Realdatensätze RD für den Vergleich benötigt, die in einem Speicher 60 abgelegt sind. Ein Simulationssteuergerät 61 erzeugt simulierte Datensätze SD. Die Datensätze werden aus 3D-Welten und Simulations-Assetts mit maximaler Ähnlichkeit zu den Realdaten RD erzeugt. Ein Augmentierungssteuergerät 62 erzeugt augmentierte Daten AD, z.B. augmentierte Realdaten. Dabei werden die realen Daten RD um einzelne simulierte Daten ergänzt. Ein Steuergerät 63 zur Kontextmodellierung dient dazu, einen Kontext K zu modellieren, z.B. indem es aus den zur Verfügung stehenden Realdaten RD semantische Beschreibungen der Realsituation ableitet oder in der Szene befindliche Objekte in Ihren Eigenschaften, wie z.B. Größe, Position, Farbe etc., verändert. Für das Vergleichsverfahren wird ein Inferenzsteuergerät 64 verwendet. Auf diesem Inferenzsteuergerät 64 wird die Inferenz I von verschiedenen tiefen neuronalen Netzen berechnet. Ein Vergleichssteuergerät 65 vergleicht die Inferenzen I. In Abhängigkeit von einem Ergebnis des Vergleichs kann ein Zertifizierungssteuergerät 66 schließlich entsprechende Zertifikate Z für die Simulationsdaten SD vergeben. Zur Analyse können verschiedene Debug-Schnittstellen eingerichtet werden. Das Testsystem 50 ermöglicht verschiedene Stufen von Vergleichen der Realdaten RD mit den Simulationsdaten SD.
-
6 veranschaulicht eine Bewertung unter Verwendung maximal ähnlicher Realdaten RD und Simulationsdaten SD, d.h. es wird eine gepaarte Inferenz I des tiefen neuronalen Netzes direkt auf Basis der Realdaten RD und maximal ähnlichen Simulationsdaten SD berechnet. Damit besteht die Möglichkeit, die beiden Datensätze RD, SD auf Unterschiede zu analysieren und deren Auswirkungen auf die Inferenz I des tiefen neuronalen Netzes zu untersuchen. Im Einzelnen werden hierfür aus den zur Verfügung stehenden Realdaten RD semantische Beschreibungen der Realsituation durch das Steuergerät 63 zur Kontextmodellierung abgeleitet und als Eingangsgröße für das Simulationssteuergerät 61 verwendet. Auf diese Weise werden die Realdaten RD maximal ähnlich simuliert. Durch den Vergleich der Inferenzen I des tiefen neuronalen Netzes auf Realdaten RD und dazugehörigen Simulationsdaten SD kann bewertet werden, inwiefern anstelle von Realdaten RD auch Simulationsdaten SD für den Absicherungsprozess der Wahrnehmung verwendbar sind. Als Bewertungsmaß kann dazu die Abweichung der Inferenzen I herangezogen werden. Dazu können beispielsweise die weiter unten angeführten Abweichungsmaße für die Ermittlung von Inferenzabweichungen bestimmt werden.
-
7 veranschaulicht eine Bewertung unter Verwendung augmentierter Real- oder Simulationsdaten, d.h. es wird eine gepaarte Inferenz I des tiefen neuronalen Netzes unter Augmentierungen von Realdaten RD mit Simulationsdaten betrachtet. Bei diesem Vergleich werden verschiedene Realdaten RD augmentiert. Gleichermaßen können diese Augmentierungen auch auf simulierte Daten SD aufgetragen werden, entweder durch Applikation des gleichen Augmentierungsverfahrens oder in der Simulation selbst. Dies hat den Vorteil, dass viele Charakteristika der Realdaten RD erhalten bleiben und gleichzeitig wie durch die Simulationsdaten verschiedenste Szenen erstellbar sind. Damit ist es möglich, die Sensitivität von tiefen neuronalen Netzen in Hinsicht auf bestimmte Kontextveränderungen, imitiert durch die Augmentierungen, in Simulation wie in Realdaten RD zu bewerten. Da hierfür die erwarteten Veränderungen der Inferenzen I der tiefen neuronalen Netze unter Kontextveränderungen in einer Datendomäne, d.h. real-augmentiert oder simuliert-augmentiert, gemessen und später als Eigenschaften der Domänen verglichen werden, sind Messungen auch unter geringeren Ähnlichkeitsanforderungen an die semantischen Szenen in Simulation und Realdaten RD möglich. Beim Vergleichen der Inferenzen I können beispielsweise die weiter unten angeführten Abweichungsmaße für die Ermittlung von Inferenzabweichungen bestimmt werden.
-
Zur Bewertung der Ergebnisse findet vorzugsweise eine parallele Messung und Speicherung von Inferenzergebnissen und Aktivierungsmustern im neuronalen Netz statt. Diese können als statistische Größen behandelt werden, d.h. es werden Erwartungswert und Varianz bestimmt. Abweichungsmaße zwischen konkreten Inferenzen des tiefen neuronalen Netzes können beispielsweise Abstandsmaße wie SSIM (SSIM: Structural Similarity Index Measure; Index struktureller Ähnlichkeit) sein, z.B. für Segmentierungsmasken. Ebenso können Abstandsmaße auf vektorisierten Ausgangsgrößen des neuronalen Netzes genutzt werden, wie z.B. der euklidische Abstand, etc., beispielsweise für Objektlisten, vektorisierte Segmentierungsmasken, Klassifikationsvektoren, etc. Eine weitere Möglichkeit besteht in der Verwendung relativer Distanzen zur Dateneingangsähnlichkeit, z.B. der Quotient aus einem Abstandsmaß am Ausgang und dem Abstandsmaß zwischen den Realdaten und den Simulationsdaten am Eingang. Des Weiteren können Abstandsmaße oder relative Abstandsmaße in den Aktivierungsmustern auf verarbeitenden Netzschichten betrachtet werden.
-
Die Ergebnisse werden hinsichtlich der Korrelationen zwischen (erwarteten) Abstandsmaßen und dem Kontext (Objekte in der Szene, Beleuchtung, Wetter, Tageszeit, ...), bzw. der Kontextveränderung bewertet.
-
Bei einer hinreichend geringen erwarteten Abweichung werden die entsprechenden Kontexte als ähnlich und vergleichbar definiert. Vorzugsweise werden dazu anpassbare Schwellwerte für die Erwartungswerte und Varianzen festgelegt. In diesem Fall werden die entsprechenden Kontexte und Tests für eine Absicherung in der Simulation freigegeben.
-
Weiterhin kann bei einer hinreichend starken Korrelation die Simulation als Indikator für das Auffinden von funktionalen Unzulänglichkeiten zertifiziert werden.
-
Bezugszeichenliste
-
- 10
- Generieren von Simulationsdaten
- 11
- Ermitteln von Inferenzen für Simulationsdaten und Vergleichsdaten
- 12
- Vergleichen der Inferenzen
- 13
- Bestimmen eines Bewertungsmaßes
- 20
- Vorrichtung
- 21
- Eingang
- 22
- Simulationsmodul
- 23
- Inferenzmodul
- 24
- Vergleichsmodul
- 25
- Bewertungsmodul
- 26
- Kontrollmodul
- 27
- Speicher
- 28
- Ausgang
- 29
- Benutzerschnittstelle
- 30
- Vorrichtung
- 31
- Speicher
- 32
- Prozessor
- 33
- Eingang
- 34
- Ausgang
- 40
- Fortbewegungsmittel
- 41
- Assistenzsystem
- 42
- Sensorik
- 43
- Navigationssystem
- 44
- Datenübertragungseinheit
- 45
- Speicher
- 46
- Netzwerk
- 50
- Testsystem
- 51
- Datenquellen
- 52
- Vergleichsvorbereitung
- 53
- Vergleich und die Zertifizierung
- 60
- Speicher
- 61
- Simulationssteuergerät
- 62
- Augmentierungssteuergerät
- 63
- Steuergerät zur Kontextmodellierung
- 64
- Inferenzsteuergerät
- 65
- Vergleichssteuergerät
- 66
- Zertifizierungssteuergerät
- AD
- Augmentierte Daten
- B
- Bewertungsmaß
- F
- Wahrnehmungsfunktion
- I
- Inferenz
- K
- Kontext
- NN
- Neuronales Netz
- RD
- Realdaten
- SD
- Simulationsdaten
- Z
- Zertifikat
