-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems.
-
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Fahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
-
Ein wesentliches Merkmal bei der Entwicklung von KI-basierten Informationsverarbeitungssystemen (dem Training) liegt im rein datengetriebenen Parameterfitting ohne Experteneingriff. Beispielsweise bei tiefen Neuronalen Netzen wird hierbei eine Abweichung einer Ausgabe (für eine gegebene Parametrierung) des Neuronalen Netzes von einer Grundwahrheit (engl. ground truth) bestimmt (der sogenannte Loss). Die hierbei verwendete Lossfunktion wird in einer Weise gewählt, dass die Parameter des Neuronalen Netzes differenzierbar von dieser abhängen. Im Rahmen des Gradientenabstiegsverfahrens werden in jedem Trainingsschritt die Parameter des Neuronalen Netzes in Abhängigkeit der Ableitung der (auf mehreren Beispielen ermittelten) Abweichung angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich der Loss nicht mehr verringert.
-
Bei diesem Vorgehen werden die Parameter eines Kl-basierten Informationsverarbeitungssystems, insbesondere eines Neuronalen Netzes, ohne eine Experteneinschätzung oder eine semantisch motivierte Modellierung ermittelt. Dies kann wesentliche Folgen für die Eigenschaften des Kl-basierten Informationsverarbeitungssystems, insbesondere des Neuronalen Netzes, nach sich ziehen.
-
Insbesondere sind tiefe Neuronale Netze für den Menschen weitgehend intransparent und ihre Berechnungen nur schwer interpretierbar. Dies stellt eine massive Einschränkung für ein systematisches Testen oder eine formale Überprüfung dar.
-
Ferner sind insbesondere tiefe Neuronale Netze anfällig für schädliche Störeinflüsse, sogenannte adversariale Störungen (engl. adversarial perturbations): kleine, für den Menschen kaum wahrnehmbare oder einen semantischen Inhalt nicht verändernde Manipulationen an den Eingangsdaten können zu komplett anderen Ausgangsdaten führen. Solche Störeinflüsse können sowohl mutwillig herbeigeführte Veränderungen der Daten („Neural Hacking“) als auch zufällig auftretende Bildveränderungen (Sensorrauschen, Witterungseinflüsse, bestimmte Farben oder Kontraste) sein.
-
Ferner ist insbesondere unklar, auf welche Eingangsmerkmale ein Neuronales Netz sensibilisiert. Dies sorgt dafür, dass synthetisch, beispielsweise durch Simulation, erzeugte Daten bisher kaum erfolgreich für das Training von Neuronalen Netzen verwendet werden können: in Simulation oder auf anderweitig synthetischen Daten trainierte Neuronale Netze weisen eine erstaunlich schwache Performanz auf reellen Sensordaten auf. Auch eine Ausführung von Neuronalen Netzen in einer anderen Datendomäne (Training im Sommer, Ausführung im Winter etc.) reduziert die funktionale Güte teilweise drastisch. Dies hat u.a. zur Folge, dass die vom Kostenstandpunkt aus sehr attraktiv klingende Möglichkeit der Entwicklung und Freigabe von Neuronalen Netzen in Simulation (Entfall teuren Labellings und aufwendiger Realtests) nicht realistisch scheint.
-
Insbesondere der zweite Punkt hat starke Bedeutung für eventuelle Einschränkungen potenter Neuronaler Netze im Bereich funktionaler Sicherheit. Um letztere zu messen ist es unabdingbar, eine Einschätzung der Robustheit der Netzausführung gegenüber geringfügigen Veränderungen (Augmentierungen) der Eingangsdaten zu messen. Da solche Änderungen mannigfaltig sein können (Sensorrauschen, Witterungseinflüsse, Bildmanipulationen, semantisch nicht bedeutungsvolle Inhaltsveränderungen, z.B. der Wandfarbe von Hintergrundgebäuden), gibt es kein eindeutiges und akzeptiertes Maß für die Robustheit. Vielmehr müssen viele Robustheitswerte gegen Störungen (d.h. Augmentierungen) verschiedener Art und Intensität gemessen werden. Weiter ist die Robustheit Neuronaler Netze keine absolute Größe, sondern vielmehr von aktuellen Eingangsdaten abhängig.
-
Daher ist eine nachhaltige und reproduzierbare Messbarkeit der Robustheit von KI-basierten Informationsverarbeitungssystemen, insbesondere von Neuronalen Netzen, wünschenswert.
-
Insbesondere ist hierbei wünschenswert, auf möglichst rechen-, speicher- und dateneffiziente Art und Weise eine flexible und modulare Messung des Einflusses von Datenstörungen (Augmentierungen) auf die Vorhersagequalität von KI-basierten Informationsverarbeitungssystemen, insbesondere von Neuronaler Netzen, bereitzustellen.
-
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems bereitzustellen.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 11 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems zur Verfügung gestellt, wobei als Eingangsparameter mindestens ein KI-basiertes Informationsverarbeitungssystem, mindestens ein Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen werden, wobei basierend auf den Eingangsparametern eine multidimensionale Datenstruktur erzeugt wird, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem jeweils für Daten des mindestens einen Datensatzes und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann.
-
Ferner wird insbesondere eine Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems geschaffen, umfassend eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, als Eingangsparameter mindestens ein Kl-basierten Informationsverarbeitungssystem, mindestens einen Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition zu empfangen, und basierend auf den Eingangsparametern eine multidimensionale Datenstruktur zu erzeugen, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem Kl-basierten Informationsverarbeitungssystem jeweils für Daten des mindestens einen Datensatzes und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten durch Inferenz erzeugt wurden, und die erzeugte multidimensionale Datenstruktur bereitzustellen, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann.
-
Das Verfahren und die Vorrichtung ermöglichen es, eine Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems bereitzustellen. Hierzu wird eine multidimensionale Datenstruktur erzeugt, in der als Datenpunkte jeweils Differenzwerte hinterlegt werden. Die Dimensionen der multidimensionalen Datenstruktur, die insbesondere auch als Hypercube bezeichnet werden kann, umfassen zumindest die Dimensionen: Klbasiertes Informationsverarbeitungssystem, Datensatz, Datenaugmentierung und Differenzmaß. Daher werden zum Erzeugen der multidimensionalen Datenstruktur mindestens ein KI-basiertes Informationsverarbeitungssystem, mindestens ein Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen. Für jede Kombination dieser Dimensionen, das heißt für jede mögliche Ausprägung innerhalb der Dimensionen, wird mittels des jeweiligen Differenzmaßes ein Differenzwert berechnet und für den zugehörigen Datenpunkt hinterlegt. Der über die jeweilige Differenzmaßdefinition definierte Differenzwert wird hierbei aus den Ausgangsdaten bestimmt, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem jeweils für (nicht augmentierte) Daten des Datensatzes und für augmentierte Daten erzeugt werden. Die augmentierten Daten werden mittels des für den Datenpunkt über die Datenaugmentierungsdefinition definierte Datenaugmentierung erzeugt. Anders ausgedrückt ergibt sich für jeden Datenpunkt innerhalb der multidimensionalen Datenstruktur eine Kombination zumindest aus den Dimensionen Klbasiertes Informationsverarbeitungssystem, Datensatz, Datenaugmentierungsdefinition und Differenzmaßdefinition, das heißt für jeden Datenpunkt sind ein KI-basiertes Informationsverarbeitungssystem, ein Datensatz, eine Datenaugmentierung (bzw. ein Datenaugmentierungsverfahren) und ein Differenzmaß definiert. Ausgehend hiervon werden für den Datenpunkt Daten des Datensatzes mittels der Datenaugmentierung augmentiert (z.B. gestört) und mittels des Differenzmaßes ein Differenzwert zwischen den nicht augmentierten Daten und den augmentierten Daten des Datensatzes durch Anwendung des Kl-basierten Informationsverarbeitungssystems auf die Daten bestimmt. Der bestimmte Differenzwert wird in dem Datenpunkt hinterlegt. Dieses Vorgehen wird für alle Datenpunkte durchgeführt, bis für jeden der Datenpunkte innerhalb der multidimensionalen Datenstruktur ein Differenzwert bestimmt und hinterlegt wurde. Die Differenzwerte können später jederzeit aus der Datenstruktur gezielt, das heißt durch Vorgabe der Kombination aus zumindest dem Kl-basierten Informationsverarbeitungssystem (bzw. eine Verknüpfung hiermit), dem Datensatz, der Datenaugmentierungsdefinition und der Differenzmaßdefinition wieder abgerufen werden, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann. Dies ermöglicht es, jederzeit, das heißt auch im Nachhinein, eine Robustheit zu bestimmen und hierzu beispielweise nur eine Teilmenge der multidimensionalen Datenstruktur zu betrachten. Hierdurch kann das Bestimmen und Bewerten der Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems, insbesondere im Hinblick auf eine Flexibilität, verbessert werden.
-
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass ein Messen und Bewerten der Robustheit eines Kl-basierten Informationsverarbeitungssystems auch ohne das KI-basierte Informationsverarbeitungssystem, das heißt ohne eine Modellbeschreibung (Struktur, Parameter, Aktivierungsfunktionen etc.), und ohne den mindestens einen Datensatz erfolgen kann. Dies ist insbesondere von Vorteil, wenn das KI-basierte Informationsverarbeitungssystem und/oder gegebenenfalls sensible Daten selbst nicht veröffentlicht oder bereitgestellt werden sollen. Beispielsweise ermöglicht das Verfahren ein Zertifizieren eines Kl-basierten Informationsverarbeitungssystems, ohne dass das KI-basierte Informationsverarbeitungssystem selbst Teil des Zertifizierungsverfahrens sein muss. Hierzu muss lediglich die multidimensionale Datenstruktur bereitgestellt werden.
-
Insbesondere erlauben das Verfahren und die Vorrichtung es, basierend auf der multidimensionalen Datenstruktur flexibel aussagekräftige Robustheitsmetriken zu generieren. Insbesondere können das Verfahren und die Vorrichtung einen Metrikgenerator zur Beurteilung einer Robustheit des Kl-basierten Informationsverarbeitungssystems bereitstellen.
-
Ein KI-basiertes Informationsverarbeitungssystem ist insbesondere ein Informationsverarbeitungssystem, das auf einem Verfahren der Künstlichen Intelligenz (KI) basiert. Beispielsweise kann das KI-basierte Informationsverarbeitungssystem als tiefes Neuronales Netz ausgestaltet sein. Prinzipiell kann das in dieser Offenbarung beschriebene Verfahren jedoch auch bei anderen KI-basierten Informationsverarbeitungssystemen eingesetzt werden, beispielsweise bei regelbasierten Informationsverarbeitungssystemen. Das Empfangen des mindestens einen Kl-basierten Informationsverarbeitungssystems soll insbesondere bedeuten, dass eine Verknüpfung bzw. ein Verweis empfangen wird, der das mindestens eine KI-basierte Informationsverarbeitungssystem eindeutig bezeichnet (z.B. einen Namen, eine Versionsnummer etc.). Alternativ oder zusätzlich kann das Empfangen des Kl-basierten Informationsverarbeitungssystems auch das Empfangen von einer Strukturbeschreibung und/oder von Parametern des mindestens einen Kl-basierten Informationsverarbeitungssystems umfassen, sodass das mindestens eine KI-basierte Informationsverarbeitungssystem anschließend direkt ausgeführt bzw. im Rahmen des Verfahrens angewendet werden kann. Das mindestens eine KI-basierte Informationsverarbeitungssystem ist insbesondere trainiert und/oder abschließend parametriert. Beispielsweise kann das KI-basierte Informationsverarbeitungssystem ein trainiertes Neuronales Netz sein. Das mindestens eine Klbasierte Informationsverarbeitungssystem wird dann insbesondere mittels der Datenverarbeitungseinrichtung auf den Daten und den augmentierten Daten ausgeführt und liefert jeweils Ergebnisse. Prinzipiell ist insbesondere auch das Ausführen des mindestens einen Kl-basierten Informationsverarbeitungssystems auf einer anderen Einrichtung, beispielsweise einem Steuergerät oder einer externen Datenverarbeitungseinrichtung, möglich, wobei die andere Einrichtung dann die Ergebnisse für die Daten und die augmentierten Daten bereitstellt.
-
Ein trainiertes Neuronales Netz umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Filterparameter, Gewichtungen, Aktivierungsfunktionen etc.) des Neuronalen Netzes. Beim Empfangen werden insbesondere die Strukturbeschreibung und die Parameter empfangen. Das trainierte Neuronale Netz wird dann mittels der Datenverarbeitungseinrichtung auf den Daten und den augmentierten Daten ausgeführt.
-
Ein Datensatz umfasst insbesondere Daten, insbesondere (erfasste) Sensordaten. Die Daten können insbesondere eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Daten Bilder einer Kamera oder eines Lidarsensors sein. Prinzipiell können jedoch beliebige Sensordaten verwendet werden.
-
Eine Datenaugmentierungsdefinition definiert insbesondere eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren. Die Datenaugmentierungsdefinition gibt an, wie Daten des Datensatzes verändert werden sollen. Es kann hierbei eine Vielzahl von Veränderungen vorgesehen sein. Beispielhaft genannt seien: Hinzufügen von Rauschen, Hinzufügen einer oder mehrerer adversarialer Störungen, Änderung eines Kontrastes, Änderung einer Helligkeit, Änderung von Farben, Änderung einer Witterungsbedingung (z.B. Hinzufügen von Schnee oder Regen in einem Kamerabild, das im Sommer erfasst wurde). Eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren wird insbesondere in Abhängigkeit von physikalischen Sensoreigenschaften (Störungen etc.) und/oder möglichen physikalischen und/oder technischen Störungen der Sensorik und/oder möglichen adversarialen Störungen ausgestaltet bzw. definiert.
-
Eine Differenzmaßdefinition definiert insbesondere ein Differenzmaß. Das Differenzmaß gibt insbesondere an, wie Ausgangsdaten des mindestens einen Kl-basierten Informationsverarbeitungssystems, die für (nicht augmentierte) Daten des Datensatzes erzeugt wurden, mit Ausgangsdaten des mindestens einen Kl-basierten Informationsverarbeitungssystems, die für augmentierte Daten erzeugt wurden, verglichen werden sollen. Gibt das KI-basierte Informationsverarbeitungssystem beispielsweise einen Vektor als Ausgangsdaten aus, so kann ein Differenzmaß den Vergleich der Vektoren umfassen, beispielsweise indem ein Unterschied zwischen den Vektoren bestimmt wird. Ein einfaches Beispiel für ein weiteres Differenzmaß ist das folgende: Gibt das KI-basierte Informationsverarbeitungssystem beispielsweise als Ausgangsdaten aus, wie viele Fußgänger in einem erfassten Kamerabild vorhanden sind, so kann die jeweils für die Daten und die augmentierten Daten ausgegebene Anzahl miteinander verglichen werden (z.B. 3 Fußgänger gegenüber 5 Fußgängern, sodass der Differenzwert gleich 2 Fußgänger ist).
-
Sind in einem Datensatz zeitlich sequentielle Daten hinterlegt, so kann ein Differenzmaß sich auch auf zeitlich sequentielle, das heißt zeitlich benachbarte, Daten beziehen. Hierdurch kann eine Datenbasis zur Robustheitsbeurteilung bei der Verarbeitung von Videosequenzen (oder anderen zeitlich sequentiellen Daten) durch ein KI-basiertes Informationsverarbeitungssystem erzeugt und bereitgestellt werden. Beispielsweise kann im Rahmen der Robustheitsbeurteilung überprüft werden, ob ein Fußgänger in einer Videosequenz über mehrere Videoeinzelbilder hinweg von dem Kl-basierten Informationsverarbeitungssystem zuverlässig als Fußgänger erkannt wird oder nicht.
-
Vor dem Bereitstellen der multidimensionalen Datenstruktur werden insbesondere auch sämtliche Artefakte als Metadaten und/oder Header in der multidimensionalen Datenstruktur hinterlegt. Diese Artefakte umfassen beispielsweise: Verweise auf einen verwendeten Softwarecode, Verweise auf das mindestens eine KI-basierte Informationsverarbeitungssystem (beispielsweise auf ein trainiertes Neuronales Netz) sowie zum Trainieren verwendete Hyperparameter, Verweise auf einen oder mehrere verwendete Datensätze (ggf. inkl. von Beschreibungsdaten) und/oder verwendete Anfangswerte für verwendete Zufallsgeneratoren („Random Seeds“). Die Artefakte umfassen insbesondere weder den verwendeten mindestens einen Datensatz, noch das KI-basierte Informationsverarbeitungssystem. In der multidimensionalen Datenstruktur werden daher insbesondere kein Datensatz und kein Klbasiertes Informationsverarbeitungssystem gespeichert.
-
Teile der Datenverarbeitungseinrichtung können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
-
Es kann vorgesehen sein, dass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems ausgehend von der bereitgestellten multidimensionalen Datenstruktur bewertet wird. Hierzu werden die Differenzwerte der einzelnen Datenpunkte ausgewertet und eine Robustheit bestimmt. Beispielsweise können die Differenzwerte mit mindestens einer Robustheitsanforderung verglichen werden. Eine solche Robustheitsanforderung kann beispielsweise ein in Abhängigkeit des jeweiligen Augmentierungsverfahrens vorgegebener Schwellenwert sein, der beispielsweise durch (gemittelte) Differenzwerte nicht überschritten werden darf.
-
Es kann beispielsweise auch basierend auf den in der multidimensionalen Datenstruktur hinterlegten Differenzwerten unter Vorgabe von mindestens einer Robustheitsmetrik ein Bericht zur Beurteilung der Robustheit des Kl-basierten Informationsverarbeitungssystems, beispielsweise eines trainierten Neuronalen Netzes, erstellt und ausgegeben werden. Es kann mittels des Verfahrens und der Vorrichtung insbesondere ein Metrikgenerator zur Beurteilung einer Robustheit des Kl-basierten Informationsverarbeitungssystems, beispielsweise des trainierten Neuronalen Netzes, bereitgestellt werden.
-
Weiterbildend kann vorgesehen sein, dass das mindestens eine KI-basierte Informationsverarbeitungssystem ausgehend von der Bewertung verworfen, das Verfahren mit geänderten Eingangsparametern wiederholt oder das KI-basierte Informationsverarbeitungssystem als robust zertifiziert wird. Es kann ferner auch vorgesehen sein, dass Ausgangsdaten eines als robust zertifizierten KI-basierten Informationsverarbeitungssystems, beispielsweise eines trainierten Neuronalen Netzes, ebenfalls als robust zertifiziert und/oder markiert werden.
-
Es kann hierbei vorgesehen sein, dass das KI-basierte Informationsverarbeitungssystem, beispielsweise das trainierte Neuronale Netz, nach einer Zertifizierung in einen Speicher von mindestens einem Steuergerät geladen wird. Dort kann das mindestens eine KI-basierte Informationsverarbeitungssystem, beispielsweise das trainierte Neuronale Netz, dann verwendet werden, um Sensordaten zu verarbeiten, beispielsweise bei der Umfelderfassung in einem Kraftfahrzeug.
-
In einer Ausführungsform ist vorgesehen, dass das mindestens eine KI-basierte Informationsverarbeitungssystem ein Neuronales Netz ist und/oder mindestens ein Neuronales Netz umfasst. Das Neuronale Netz kann insbesondere ein tiefes Neuronales Netz sein, beispielsweise ein Faltungsnetz. Ein Neuronales Netz umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Filterparameter, Gewichtungen, Aktivierungsfunktionen etc.) des Neuronalen Netzes. Das Neuronale Netz ist insbesondere ein trainiertes Neuronales Netz.
-
In einer Ausführungsform ist vorgesehen, dass das Bereitstellen ein Bereitstellen einer Schnittstelle zum gezielten Abrufen von Datenpunkten der multidimensionalen Datenstruktur umfasst. Eine solche Schnittstelle ermöglicht insbesondere ein Abrufen bzw. Abfragen von einzelnen Datenpunkten oder Bereichen bzw. Mengen von Datenpunkten in Abhängigkeit von Kombinationen aus zumindest einem Kl-basierten Informationsverarbeitungssystem, beispielsweise einem trainierten Neuronalen Netz, einem Datensatz, einer Datenaugmentierungsdefinition und einer Differenzmaßdefinition. Hierdurch können flexibel Robustheiten (insbesondere Robustheitswerte) bestimmt und beispielsweise über mehrere Datenpunkte oder mehrere Datenaugmentierungen bzw. Datenaugmentierungsverfahren gemittelt werden. Die Schnittstelle kann auch eine Fernschnittstelle sein, beispielsweise bereitgestellt mittels eines zentralen Servers, auf dem multidimensionale Datenstrukturen hinterlegt sind, und von dem Datenpunkte über die Fernschnittstelle abgerufen werden können.
-
Es kann hierbei weiter vorgesehen sein, dass die Schnittstelle dazu eingerichtet ist, dass eine Abfrage gezielt durch weitere Parameter eingeschränkt werden kann. Mögliche Abfragen unter Vorgabe der entsprechenden Parameter können hierbei beispielsweise die folgenden sein:
- - Abfragen von konkreten Einträgen (Differenzwerten) der multidimensionalen Datenstruktur,
- - Abfragen von Maximal-, Minimal- oder Durchschnittswerten über Ausschnitte der multidimensionalen Datenstruktur,
- - Abfragen von Varianzen, Bandbreiten etc. der Differenzwerte in Ausschnitten der multidimensionalen Datenstruktur,
- - Abfragen von gewichteten Summen (Integralen) über Ausschnitte der multidimensionalen Datenstruktur,
- - Abfragen von Histogrammen über die Differenzwerte und/oder die vorgenannten Werte,
- - Abfragen über funktionale Verläufe der Differenzwerte und/oder der vorgenannten Werte unter Variation von Ausschnittparametern,
- - Abfragen von Heatmaps oder anderen Datenvisualisierunsverfahren über die Differenzwerte und/oder die vorgenannten Werte oder Verläufe,
- - Abfragen von zeitlichen Verläufen der Differenzwerte und/oder der vorgenannten Werte im Falle eines zeitlich sequentiellen Datensatzes.
-
In einer Ausführungsform ist vorgesehen, dass das Bereitstellen ein Übermitteln der multidimensionalen Datenstruktur an einen Zertifizierungsdienstleister und/oder einen Verwender des Kl-basierten Informationsverarbeitungssystems und/oder ein Einladen der multidimensionalen Datenstruktur in einen Speicher von mindestens einem Steuergerät umfasst. Hierdurch kann auch im Nachhinein, das heißt nach einer Auslieferung und Verwendung bzw. während der gesamten Nutzungsdauer des mindestens einen Kl-basierten Informationsverarbeitungssystems im Feld weiterhin bzw. erneut eine Robustheit, beispielsweise mittels neuer oder geänderter Robustheitsmaße, bestimmt werden, ohne dass hierfür erneut die Differenzwerte bestimmt werden müssen. Es kann hierbei vorgesehen sein, dass zum Betreiben des Kl-basierten Informationsverarbeitungssystems eine zugehörige multidimensionale Datenstruktur in dem Speicher hinterlegt sein muss. Beispielsweise kann vorgesehen sein, dass vor einem Betreiben des Kl-basierten Informationsverarbeitungssystems mittels des Steuergeräts überprüft wird, ob eine zugehörige multidimensionale Datenstruktur im Speicher hinterlegt ist oder nicht, wobei das KI-basierte Informationsverarbeitungssystem nur betrieben bzw. angewendet werden darf, wenn eine solche multidimensionale Datenstruktur hinterlegt ist. Zusätzlich kann auch noch eine Robustheit des Kl-basierten Informationsverarbeitungssystems, insbesondere in Abhängigkeit der in der multidimensionalen Datenstruktur hinterlegten Differenzwerte, mittels des Steuergeräts überprüft werden.
-
Ferner ist es möglich, dass multidimensionale Datenstrukturen in einem zentralen Archiv hinterlegt werden, beispielsweise in einem Speicher eines zentralen Servers, um jederzeit eine Robustheit von im Feld eingesetzten Kl-basierten Informationsverarbeitungssystemen über- und/oder nachprüfen zu können.
-
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Menge an Unterparametern für die mindestens eine Datenaugmentierungsdefinition empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur und/oder das Augmentieren der Daten unter Berücksichtigung der empfangenen Menge an Unterparametern erfolgt. Hierdurch kann die Datenaugementierung bzw. das oder die Datenaugmentierungsverfahren weiter spezifiziert bzw. parametriert werden. Im Falle einer Helligkeitsvariation in Kamerabildern kann beispielsweise eine Bandbreite an Helligkeitswerten vorgegeben werden, innerhalb derer die Kamerabilder jeweils augmentiert, das heißt in ihrer Helligkeit variiert, werden sollen. Für jeden der Unterparameter, die berücksichtigt werden sollen, erweitert sich die multidimensionale Datenstruktur entsprechend. Bei einer Helligkeitsvariation mit drei Unterparametern (z.B. -20 %, 0 und +20 %) gibt es in der Dimension Datenaugmentierungsdefinition dann für die Helligkeitsvariation entsprechend drei Ausprägungen. Ein weiteres Beispiel ist das Angeben von verschiedenen Rauschparametern (z.B. Zielwert für ein Signal-zu-Rauschverhältnis etc.).
-
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Menge an Filterkriterien für einzelne der Eingangsparameter empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Menge an Filterkriterien erfolgt. Hierdurch kann gezielt eine multidimensionale Datenstruktur geschaffen werden, die die Filterkriterien berücksichtigt. Hierdurch lassen sich insbesondere bestimmte Testszenarien abbilden bzw. vorbereiten. Filterkriterien können beispielsweise Tags an den Daten sein, die ein Binning und/oder Auflösen einer bestimmten Robustheit an den Kriterien zulassen. Zum Beispiel können dies Kontextwerte (z.B. für die Kontexte Stadt, Land, Corner Case, Festtag, großes Event in der Nähe, Wetter,...) oder Dateneigenschaften (z.B. eine Verschmutzung, Motion Blurr, Blinding...) sein.
-
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Auswahl an statistischen Verteilungsfunktionen für Parameterverteilungen für die mindestens eine Datenaugmentierungsdefinition empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der Auswahl an statistischen Verteilungsfunktionen für Parameterverteilungen erfolgt. Hierdurch können statistische Verteilungen bei der Augmentierung (z.B. Störung) der Daten des Datensatzes berücksichtigt werden. Beispielsweise kann für eine Datenaugmentierung, die eine Helligkeitsvariation in Bildern beinhaltet, eine Verteilungsfunktion übergeben werden, aus der beim Erzeugen der multidimensionalen Datenstruktur statistisch gesampelt wird (z.B. 10 Samples aus folgender Verteilung: [-30 % bis -10 %] mit p=0.3, [-10 % bis +10 %] mit p=0.5 und [+10 % bis +30 %] mit p=0.2).
-
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter zusätzlich eine Auswahl an Verteilungen für Kombinationen von Parametern von Datenaugmentierungsdefinitionen und Daten des Datensatzes empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Menge an Verteilungen für die Kombinationen der Parameter erfolgt. Hierdurch können Verteilungen für die Kombinationen berücksichtigt werden. Eine Verteilung kann beispielsweise eine ,Exposure' zu den einzelnen Eingangsdatenströmen oder Tags sein, die es erlaubt, „gegen“ die Verteilung zu aggregieren (d.h. es wird über (die Einzeldaten)x(Exposure) summiert). Auf diese Weise kann ein „realistisch erwartbares Robustheitsrisiko“ errechnet werden.
-
In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter eine Auswahl für eine Relevanz einzelner Datenpunkte empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur unter Berücksichtigung der empfangenen Relevanz erfolgt. Hierdurch können besonders relevante Datenpunkte, das heißt besonders relevante Kombinationen der Eingangsparameter, gekennzeichnet werden, sodass für diese Kombinationen Datenpunkte und Differenzwerte erzeugt bzw. bestimmt werden. Dies ist insbesondere von Vorteil, wenn eine Prüfung der Robustheit für bestimmte Kombinationen der Eingangsparameter beispielsweise gesetzlich vorgeschrieben sind oder sich bei der Beurteilung der Robustheit bewährt haben.
-
In einer Ausführungsform ist vorgesehen, dass zusätzlich für jeden Datenpunkt die jeweils von dem mindestens einen Kl-basierten Informationsverarbeitungssystem erhaltenen Ergebnisse in der multidimensionalen Datenstruktur hinterlegt werden. Hierdurch können auch die für die Daten und die augmentierten Daten erzeugten Ergebnisse nachträglich noch verwendet werden. Insbesondere müssen bei einer Erweiterung der multidimensionalen Datenstruktur um weitere Datenaugmentierungen nicht ein weiteres Mal Ergebnisse für die nicht augmentierten Daten erzeugt werden, sondern es kann direkt auf die bereits in der multidimensionalen Datenstruktur hinterlegten Ergebnisse zurückgegriffen werden. Hierdurch können Rechenleistung und Rechenzeit eingespart werden.
-
In einer Ausführungsform ist vorgesehen, dass die multidimensionale Datenstruktur nach dem Bereitstellen durch Einfügen von mindestens einer weiteren Dimension und/oder durch Erweitern eines Wertebereiches mindestens einer Dimension erweitert wird, wobei die erweiterte multidimensionale Datenstruktur bereitgestellt wird. Hierdurch können auch nachträglich weitere oder neue Datenaugmentierungsverfahren, weitere oder neue Datensätze und/oder weitere oder neue Differenzmaße berücksichtigt werden. Insbesondere können die bereits vorhandenen Datenpunkte weiterverwendet werden und müssen nicht erneut berechnet werden, da eine Erweiterung der multidimensionalen Datenstruktur ohne Weiteres möglich ist.
-
In einer Ausführungsform ist vorgesehen, dass das mindestens eine KI-basierte Informationsverarbeitungssystem, beispielsweise das mindestens eine trainierte Neuronale Netz, eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt. Insbesondere ist vorgesehen, dass ein KI-basiertes Informationsverarbeitungssystem, beispielsweise ein trainiertes Neuronales Netz, in den Speicher von mindestens einem Steuergeräts geladen wird und dort ausgeführt bzw. angewendet wird, um mittels einer Sensorik erfasste Sensordaten auszuwerten und zu verarbeiten und beispielsweise Steuersignale, beispielsweise für eine Aktorik, zu erzeugen und bereitzustellen. Zusätzlich kann auch die erzeugte mindestens eine multidimensionale Datenstruktur in dem Speicher des mindestens einen Steuergeräts hinterlegt werden oder hinterlegt sein. Hierdurch kann jederzeit eine Robustheit überprüft und/oder nachgeprüft werden.
-
Es kann prinzipiell jedoch auch vorgesehen sein, dass das Verfahren und die Vorrichtung bei anderen Anwendungen eingesetzt werden. Dies können beispielsweise eine automatisierte Flottensteuerung, eine Innenraumüberwachung, eine Fahrerbeobachtung, eine Produktionssteuerung, eine Videoüberwachung, Robotikanwendungen, ein automatisiertes Fliegen, automatisierte Schienenfahrzeuge oder Anwendungen in der Raumfahrt sein. Auch bei diesen Anwendungen ist vorgesehen, dass ein KI-basiertes Informationsverarbeitungssystem in den Speicher mindestens eines Steuergeräts geladen wird, wobei mittels der Steuergeräts das KI-basierte Informationsverarbeitungssystem ausgeführt wird, beispielsweise zum Auswerten von erfassten Sensordaten und zum Erzeugen und Bereitstellen von Steuersignalen, beispielsweise für einen Produktionsablauf und/oder für mindestens eine Aktorik. Zusätzlich kann auch die erzeugte mindestens eine multidimensionale Datenstruktur in dem Speicher des Steuergeräts hinterlegt werden oder hinterlegt sein.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Es wird ferner auch ein Steuergerät geschaffen, umfassend einen Speicher, wobei in dem Speicher eine multidimensionale Datenstruktur gespeichert ist, die als Datenbasis geeignet ist, um eine Robustheitsbeurteilung für mindestens ein KI-basiertes Informationsverarbeitungssystem zu ermöglichen. Die multidimensionale Datenstruktur ist insbesondere mittels des in dieser Offenbarung beschriebenen Verfahrens bzw. mittels der in dieser Offenbarung beschriebenen Vorrichtung erstellt worden.
-
Sodann wird eine Verwendung des voranstehend beschriebenen Steuergeräts zum Bewerten und Zertifizieren von mindestens einem Kl-basierten Informationsverarbeitungssystem vorgeschlagen. Hierdurch kann die multidimensionale Datenstruktur auf technisch einfach umsetzbare Weise bereitgestellt werden. Es kann hierbei vorgesehen sein, dass das Steuergerät auch das KI-basierte Informationsverarbeitungssystem bereitstellt. Wird beides von dem Steuergerät bereitgestellt, so kann jederzeit, insbesondere nach einer Auslieferung des Steuergeräts an einen Zertifizierer und/oder einen Endkunden, eine Robustheit des Kl-basierten Informationsverarbeitungssystems überprüft und/oder nachgeprüft werden.
-
Weiter wird auch ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der beschriebenen Ausführungsformen auszuführen.
-
Darüber hinaus wird auch ein Datenträgersignal geschaffen, das ein solches Computerprogramm überträgt.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems;
- 2 ein schematisches Flussdiagramm zur Verdeutlichung einer Ausführungsform des Verfahrens zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems 10 gezeigt, das beispielsweise als trainiertes Neuronales Netz ausgebildet ist. Prinzipiell kann die Vorrichtung 1 jedoch auch für andere KI-basierte Informationsverarbeitungssysteme 10 verwendet werden. Die Vorrichtung 1 umfasst eine Datenverarbeitungseinrichtung 2. Die Datenverarbeitungseinrichtung 2 umfasst eine Recheneinrichtung 3 und einen Speicher 4. Die Vorrichtung 1 ist insbesondere dazu eingerichtet, das in dieser Offenbarung beschriebene Verfahren auszuführen.
-
Der Datenverarbeitungseinrichtung 2 werden als Eingangsparameter 9 mindestens ein Klbasiertes Informationsverarbeitungssystem 10 (d.h. im Beispiel mindestens ein Neuronales Netz), mindestens ein Datensatz 11, mindestens eine Datenaugmentierungsdefinition 12 und mindestens eine Differenzmaßdefinition 13 zugeführt, diese werden von der Datenverarbeitungseinrichtung 2 empfangen.
-
Ein KI-basiertes Informationsverarbeitungssystem 10 umfasst insbesondere eine Strukturbeschreibung sowie Parameter (z.B. Gewichtungen, Aktivierungsfunktionen, Filterparameter etc.) des Kl-basierten Informationsverarbeitungssystems 10. Der Datensatz 11 umfasst Daten, beispielsweise zweidimensionale Kamerabilder und/oder andere ein- oder mehrdimensionale Sensordaten von mindestens einem Sensor (Kamera, Lidar, Radar, Ultraschall etc.). Die mindestens eine Datenaugmentierungsdefinition 12 umfasst insbesondere eine Beschreibung mindestens eines Datenaugmentierungsverfahrens, das heißt eine Beschreibung darüber, wie Daten im Rahmen des in dieser Offenbarung beschriebenen Verfahrens augmentiert (z.B. gestört) werden sollen. Die mindestens eine Differenzmaßdefinition umfasst insbesondere eine Beschreibung von mindestens einem Differenzmaß, das heißt eine Beschreibung darüber, wie die nicht augmentierten Daten mit den augmentierten Daten im Rahmen des in dieser Offenbarung beschriebenen Verfahrens verglichen werden sollen bzw. auf welche Weise ein Differenzwert 22 bestimmt werden soll.
-
Basierend auf den Eingangsparametern 9 wird mittels der Datenverarbeitungseinrichtung 2, insbesondere mittels der Recheneinrichtung 3, eine multidimensionale Datenstruktur 20 erzeugt und im Speicher 4 ablegt, welche in der 1 schematisch als Würfel dargestellt ist. Die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur 20 werden bzw. sind durch die empfangenen Eingangsparameter 10, 11, 12, 13 festgelegt (im beschriebenen Beispiel umfasst die multidimensionale Datenstruktur 20 insbesondere vier Dimensionen). Zum Erzeugen der multidimensionalen Datenstruktur 20 wird für jede Kombination der Eingangsparameter 10, 11, 12, 13 jeweils ein Datenpunkt 21 erzeugt bzw. bestimmt. Jeder Datenpunkt 21 der multidimensionalen Datenstruktur 20 umfasst hierbei einen mittels des über die mindestens eine Differenzmaßdefinition 13 definierten Differenzmaßes bestimmten Differenzwert 22. Der Differenzwert 22 wird mittels der Datenverarbeitungseinrichtung 2, insbesondere mittels der Recheneinrichtung 3, bestimmt, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen KI-basierten Informationsverarbeitungssystem 10 jeweils für Daten des mindestens einen Datensatzes 11 und für dieselben mittels der über die mindestens eine Datenaugmentierungsdefinition 12 definierten Datenaugmentierung augmentierten Daten durch erzeugt wurden. Hierzu führt die Datenverarbeitungseinrichtung 2, insbesondere die Recheneinrichtung 3, das KI-basierte Informationsverarbeitungssystem 10 jeweils auf den Daten und auf den augmentierten Daten aus. In einem einfachen Beispiel, bei dem das Klbasierte Informationsverarbeitungssystem 10 beispielsweise eine Zahl als Ausgangsdatum liefert, kann ein Differenzmaß beispielsweise eine Differenz zwischen den gelieferten Zahlen sein. Werden Vektoren ausgegeben, so können Differenzen zwischen den Vektoren gebildet werden, beispielsweise unter Verwendung eines Skalarprodukts.
-
Sind die Differenzwerte 22 für alle Datenpunkte 21 der multidimensionalen Datenstruktur 20 bestimmt, so wird die erzeugte multidimensionale Datenstruktur 20 bereitgestellt. Insbesondere wird die multidimensionale Datenstruktur 20 ausgegeben. Mit Hilfe der bereitgestellten multidimensionalen Datenstruktur 20 kann eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 basierend auf den von der multidimensionalen Datenstruktur 20 umfassten Differenzwerten 22 beurteilt werden.
-
Mit Hilfe der Vorrichtung und des Verfahrens können für verschiedene Datensätze, verschiedene Datenaugmentierungsverfahren und verschiedene Differenzmaße jeweils Differenzwerte 22 bestimmt werden. Ferner ist es möglich, auch verschiedene KI-basierte Informationsverarbeitungssysteme 10 (z.B. verschiedene trainierte Neuronale Netze) miteinander zu vergleichen. Jede mögliche Kombination der Eingangsparameter 9 korrespondiert hierbei mit einem Datenpunkt 21, für den ein Differenzwert 22 bestimmt wird. Die Vorrichtung 1 und das Verfahren erlauben daher das Bereitstellen einer umfangreichen und flexibel erweiterbaren Datenbasis zur Robustheitsbeurteilung von mindestens einem Kl-basierten Informationsverarbeitungssystem 10.
-
Es kann insbesondere vorgesehen sein, dass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 ausgehend von der bereitgestellten multidimensionalen Datenstruktur 20 bewertet wird. Hierzu werden die Differenzwerte 22 der einzelnen Datenpunkte 21 ausgewertet und hieraus eine Robustheit bestimmt. Beispielsweise können die Differenzwerte 22 mit mindestens einer Robustheitsanforderung verglichen werden. Eine solche Robustheitsanforderung kann beispielsweise ein in Abhängigkeit des jeweiligen Datenaugmentierungsverfahrens vorgegebener Schwellenwert sein, der beispielsweise durch (gemittelte) Differenzwerte 22 nicht überschritten werden darf.
-
Weiterbildend kann vorgesehen sein, dass das mindestens eine KI-basierte Informationsverarbeitungssystem 10 ausgehend von der Bewertung verworfen, das Verfahren mit geänderten Eingangsparametern 10, 11, 12, 13 wiederholt oder das KI-basierte Informationsverarbeitungssystem 10 als robust zertifiziert wird.
-
Es kann hierbei vorgesehen sein, dass das KI-basierte Informationsverarbeitungssystem 10 nach einer Zertifizierung in einen Speicher von mindestens einem Steuergerät 30 geladen wird.
-
Es kann vorgesehen sein, dass das Bereitstellen ein Bereitstellen einer Schnittstelle 5 zum gezielten Abrufen von Datenpunkten 21 der multidimensionalen Datenstruktur 20 umfasst. Die Schnittstelle 5 kann als Hardware und/oder als Software ausgebildet sein.
-
Es kann vorgesehen sein, dass das Bereitstellen ein Übermitteln der multidimensionalen Datenstruktur 20 an einen Zertifizierungsdienstleister und/oder einen Verwender des Kl-basierten Informationsverarbeitungssystems 10 und/oder ein Einladen der multidimensionalen Datenstruktur 20 in einen Speicher von mindestens einem Steuergerät 30 umfasst.
-
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Menge an Unterparametern 14 für die mindestens eine Datenaugmentierungsdefinition 12 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 und/oder das Augmentieren der Daten unter Berücksichtigung der empfangenen Menge an Unterparametern 14 erfolgt. Die Unterparameter 14 umfassen beispielsweise Wertebereiche als Eingangsparameter 9 für eine Datenaugmentierungsfunktion.
-
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Menge an Filterkriterien 15 für einzelne der Eingangsparameter 9 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Menge an Filterkriterien 15 erfolgt.
-
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Auswahl an statistischen Verteilungsfunktionen 16 für Parameterverteilungen für die mindestens eine Datenaugmentierungsdefinition 12 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der Auswahl an statistischen Verteilungsfunktionen 16 für Parameterverteilungen erfolgt.
-
Es kann vorgesehen sein, dass als Eingangsparameter 9 zusätzlich eine Auswahl an Verteilungen 17 für Kombinationen von Parametern von Datenaugmentierungsdefinitionen 12 und Daten des Datensatzes 11 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Menge an Verteilungen 17 für die Kombinationen der Parameter erfolgt.
-
Es kann vorgesehen sein, dass als Eingangsparameter 9 eine Auswahl für eine Relevanz 18 einzelner Datenpunkte 21 empfangen wird, wobei das Erzeugen der multidimensionalen Datenstruktur 20 unter Berücksichtigung der empfangenen Relevanz 18 erfolgt.
-
Es kann vorgesehen sein, dass zusätzlich für jeden Datenpunkt 21 die jeweils von dem mindestens einen KI-basierten Informationsverarbeitungssystem 10 erzeugten Ergebnisse 23 in der multidimensionalen Datenstruktur 20 hinterlegt werden.
-
Es kann vorgesehen sein, dass die multidimensionale Datenstruktur 20 nach dem Bereitstellen durch Einfügen von mindestens einer weiteren Dimension und/oder durch Erweitern eines Wertebereiches mindestens einer Dimension erweitert wird, wobei die erweiterte multidimensionale Datenstruktur 20+ bereitgestellt wird.
-
Es ist insbesondere vorgesehen, dass das mindestens eine KI-basierte Informationsverarbeitungssystem 10 eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
-
In 2 ist ein schematisches Flussdiagramm zur Verdeutlichung einer Ausführungsform des Verfahrens zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems 10 gezeigt.
-
Als Eingangsparameter 9 werden mindestens ein KI-basiertes Informationsverarbeitungssystem 10 (z.B. ein trainiertes Neuronales Netz), mindestens ein Datensatz 11, mindestens eine Datenaugmentierungsdefinition 12 und mindestens eine Differenzmaßdefinition 13 vorgegeben. Ausgehend hiervon sind mindestens ein KI-basiertes Informationsverarbeitungssystem 10, Daten 11a von mindestens einem Datensatz 11, mindestens ein Datenaugmentierungsverfahren 12a und mindestens ein Differenzmaß 13a vorgegeben.
-
In einem Verfahrensschritt 100 werden die Daten 11a mittels des mindestens einen Datenaugmentierungsverfahrens 12a augmentiert, z.B. werden die Daten 11a durch Hinzufügen von Rauschen oder mindestens einer adversarialen Störung gestört. Es kann hierbei vorgesehen sein, dass in einem voranstehenden Verfahrensschritt 90 Parameter für die Datenaugmentierung zufällig gewählt werden.
-
In einem Verfahrensschritt 101 wird das mindestens eine KI-basierte Informationsverarbeitungssystem 10 auf die nicht augmentierten Daten 11a und die jeweils zugehörigen augmentierten Daten angewandt. Die jeweils erhaltenen Ergebnisse werden in einem Verfahrensschritt 102 Datumsweise miteinander verglichen und mittels des mindestens einen Differenzmaßes 13a für jedes Datum ein Differenzwert bestimmt. Bei mehreren Kl-basierten Informationsverarbeitungssystemen 10, mehreren Datensätzen 11, mehreren Datenaugmentierungsverfahren 12a und/oder mehreren Differenzmaßen 13a wird dies für jede mögliche Kombination durchgeführt, sodass für jede Kombination ein Differenzwert bestimmt wird. Aus den Differenzwerten wird eine multidimensionale Datenstruktur 20 erzeugt, wobei die Differenzwerte jeweils einzelnen Datenpunkten zugeordnet werden, die jeweils einer möglichen Kombination der Eingangsparameter 9 zugeordnet sind.
-
Die auf diese Weise erzeugte multidimensionale Datenstruktur 20 wird bereitgestellt, beispielsweise in Form einer Schnittstelle 5, mittels derer die Differenzwerte für jede beliebige Kombination der Eingangsparameter 9 abgefragt bzw. abgerufen werden können, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 basierend auf den von der multidimensionalen Datenstruktur 20 umfassten Differenzwerten beurteilt werden kann.
-
Das Bestimmen der Robustheit ist schematisch in den Verfahrensschritten 200 bis 202 dargestellt. Hierbei werden in einem Verfahrensschritt 200 Differenzwerte nach verschiedenen Filterkriterien abgerufen, wobei die Filterkriterien sich aus einem vorgegebenen Robustheitsmaß ergeben. Die abgerufenen Differenzwerte werden in einem Verfahrensschritt 201 aggregiert, beispielsweise indem die abgerufenen Differenzwerte statistisch oder auf andere Weise ausgewertet werden, sodass (statistische) Kennzahlen (z.B. in Form von Key Performance Indikatoren 40, beispielsweise in Form von aggregierten Differenzmaßen, z.B. „durchschnittlicher Fehler“ = 0,5 oder 0,4 etc.) berechnet und bereitgestellt werden können (Verteilungsparameter etc.). Das Aggregieren erfolgt hierbei beispielsweise hinweg über eine oder mehrere Dimensionsachse(n) der multidimensionalen Datenstruktur 20, z.B. über einen kompletten Datensatz 11 und/oder über alle Datenaugmentierungsverfahren 12a und/oder alle Differenzmaße 13a. Es können dann beispielsweise Maximalwerte und/oder ungewichtete oder gewichtete Durchschnittswerte gebildet und bereitgestellt werden.
-
In einem Verfahrensschritt 202 können die derart erzeugten Kennzahlen und/oder aggregierten Werte visualisiert werden, beispielsweise indem die Ergebnisse als Graph 41 dargestellt werden, Histogramme 43 gebildet werden, die skalaren Werte 44 dargestellt werden, Heatmaps 45 erzeugt werden und/oder ein Kuchengraphik 46 dargestellt wird. Hierdurch lässt sich eine Robustheit 25 des mindestens einen Kl-basierten Informationsverarbeitungssystems 10 verbessert bewerten und zertifizieren. Ferner kann ein Bericht 42 erstellt und ausgeben werden, der die Ergebnisse einer Robustheitsbewertung und/oder -zertifizierung beinhaltet.
-
Es ist insbesondere möglich, dass das Bereitstellen der multidimensionalen Datenstruktur 20 ein Bereitstellen einer Schnittstelle 5 zum gezielten Abrufen von Datenpunkten der multidimensionalen Datenstruktur 20 umfasst. Hierbei kann eine Abfrage insbesondere die folgenden Parameter umfassen: gewünschte Filterkriterien 50, gewünschte Achsen- bzw. Dimensionsauswahl 51, gewünschte(s) Aggregationsverfahren 52, gewünschtes Visualisierungsverfahren 53.
-
Auf diese Weise kann insbesondere ein Metrikgenerator 300 geschaffen werden, mit dem Klbasierte Informationsverarbeitungssysteme 10 (z.B. trainierte Neuronale Netze) vergleichbar und wiederholbar hinsichtlich einer Robustheit 25 bewertet und zertifiziert werden können.
-
Das Bereitstellen der multidimensionalen Datenstruktur 20 erlaubt es insbesondere, eine Robustheit 25 eines Kl-basierten Informationsverarbeitungssystems 10 auch ohne die Daten 11a und ohne das KI-basierte Informationsverarbeitungssystem 10 selbst beurteilen zu können. Dies ist insbesondere bei sensiblen Daten von Vorteil.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Datenverarbeitungseinrichtung
- 3
- Recheneinrichtung
- 4
- Speicher
- 5
- Schnittstelle
- 9
- Eingangsparameter
- 10
- KI-basiertes Informationsverarbeitungssystem
- 11
- Datensatz
- 11a
- Daten
- 12
- Datenaugmentierungsdefinition
- 12a
- Datenaugmentierungsverfahren
- 13
- Differenzmaßdefinition
- 13a
- Differenzmaß
- 14
- Unterparameter
- 15
- Filterkriterien
- 16
- Verteilungsfunktion
- 17
- Verteilungen
- 18
- Relevanz
- 20
- multidimensionale Datenstruktur
- 20+
- erweiterte multidimensionale Datenstruktur
- 21
- Datenpunkt
- 22
- Differenzwert
- 23
- inferiertes Ergebnis
- 25
- Robustheit
- 30
- Steuergerät
- 40
- Key Performance Indikator
- 41
- Graph
- 42
- Bericht
- 43
- Histogramm
- 44
- skalarer Wert
- 45
- Heatmap
- 46
- Kuchengraphik
- 50
- gewünschtes Filterkriterium
- 51
- gewünschte Achsen- bzw. Dimensionsauswahl
- 52
- gewünschtes Aggregationsverfahren
- 53
- gewünschtes Visualisierungsverfahren
- 90
- Verfahrensschritt
- 100-102
- Verfahrensschritte
- 200-202
- Verfahrensschritte
- 300
- Metrikgenerator
