-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs.
-
Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Fahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
-
Ein wesentliches Merkmal bei der Entwicklung von KI-basierten Informationsverarbeitungssystemen (dem Training) liegt im rein datengetriebenen Parameterfitting ohne Experteneingriff. Beispielsweise bei tiefen Neuronalen Netzen wird hierbei eine Abweichung einer Ausgabe (für eine gegebene Parametrierung) des Neuronalen Netzes von einer Grundwahrheit (engl. ground truth) bestimmt (der sogenannte Loss). Die hierbei verwendete Lossfunktion wird in einer Weise gewählt, dass die Parameter des Neuronalen Netzes differenzierbar von dieser abhängen. Im Rahmen des Gradientenabstiegsverfahrens werden in jedem Trainingsschritt die Parameter des Neuronalen Netzes in Abhängigkeit der Ableitung der (auf mehreren Beispielen ermittelten) Abweichung angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich der Loss nicht mehr verringert.
-
Bei diesem Vorgehen werden die Parameter eines Kl-basierten Informationsverarbeitungssystems, insbesondere eines Neuronalen Netzes, ohne eine Experteneinschätzung oder eine semantisch motivierte Modellierung ermittelt. Dies kann wesentliche Folgen für die Eigenschaften des Kl-basierten Informationsverarbeitungssystems, insbesondere des Neuronalen Netzes, nach sich ziehen.
-
Insbesondere sind tiefe Neuronale Netze für den Menschen weitgehend intransparent und ihre Berechnungen nicht interpretierbar. Dies stellt eine massive Einschränkung für ein systematisches Testen oder eine formale Überprüfung dar.
-
Ferner sind insbesondere tiefe Neuronale Netze anfällig für schädliche Störeinflüsse, sogenannte adversariale Störungen (engl. adversarial perturbations): kleine, für den Menschen kaum wahrnehmbare oder einen semantischen Inhalt nicht verändernde Manipulationen an den Eingangsdaten können zu komplett anderen Ausgangsdaten führen. Solche Manipulationen können sowohl mutwillig herbeigeführte Veränderungen der Daten („Neural Hacking“) als auch zufällig auftretende Bildveränderungen (Sensorrauschen, Witterungseinflüsse, bestimmte Farben oder Kontraste) sein.
-
Ferner ist insbesondere unklar, auf welche Eingangsmerkmale ein Neuronales Netz sensibilisiert. Dies sorgt dafür, dass synthetisch, beispielsweise durch Simulation, erzeugte Daten bisher kaum erfolgreich für das Training von Neuronalen Netzen verwendet werden können: in Simulation oder auf anderweitig synthetischen Daten trainierte Neuronale Netze weisen eine erstaunlich schwache Performanz auf reellen Sensordaten auf. Auch eine Ausführung von Neuronalen Netzen in einer anderen Datendomäne (Training im Sommer, Ausführung im Winter etc.) reduziert die funktionale Güte teilweise drastisch. Dies hat u.a. zur Folge, dass die vom Kostenstandpunkt aus sehr attraktiv klingende Möglichkeit der Entwicklung und Freigabe von Neuronalen Netzen in Simulation (Entfall teuren Labellings und aufwendiger Realtests) nicht realistisch scheint.
-
Insbesondere der zweite Punkt hat starke Bedeutung für eventuelle Einschränkungen potenter Neuronaler Netze im Bereich funktionaler Sicherheit. Um letztere zu messen ist es wünschenswert, eine Einschätzung der Robustheit der Netzausführung gegenüber geringfügigen Veränderungen (z.B. Augmentierungen) der Eingangsdaten zu messen. Da solche Änderungen mannigfaltig sein können (Sensorrauschen, Witterungseinflüsse, Bildmanipulationen, semantisch nicht bedeutungsvolle Inhaltsveränderungen, z.B. der Wandfarbe von Hintergrundgebäuden), gibt es kein eindeutiges und akzeptiertes Maß für die Robustheit. Vielmehr können viele Robustheitswerte gegen Störungen (z.B. Augmentierungen) verschiedener Art und Intensität gemessen werden. Weiter ist die Robustheit Neuronaler Netze keine absolute Größe, sondern vielmehr von aktuellen Eingangsdaten abhängig.
-
Darüber hinaus gestaltet es sich als schwierig, KI-basierte Informationsverarbeitungssysteme zu erzeugen, die gegenüber allen erforderlichen Störungen robust sind. Zusätzlich ist ein Raum möglicher Störungen unendlich, sodass während eines Betriebs eines Fahrzeugs neuartige Störungen auftreten können.
-
Aus der
DE 10 2018 218 586 A1 ist ein Verfahren zum Erzeugen robuster automatisch lernender Systeme und Testen trainierter automatisch lernender Systeme bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs zu schaffen, bei denen eine Auswertung von erfassten Sensordaten robust erfolgen kann.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Insbesondere wird ein Verfahren zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs zur Verfügung gestellt, wobei mindestens ein Sensor des Fahrzeugs Sensordaten zur Umfelderfassung bereitstellt, wobei mittels eines in einem ersten Steuergerät des Fahrzeugs angeordneten KI-basierten Informationsverarbeitungssystems die erfassten Sensordaten ausgewertet werden und ausgehend von den ausgewerteten Sensordaten mindestens eine Ausgabe zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt und einer Steuereinheit des Fahrzeugs bereitgestellt wird, wobei mittels einer in einem zweiten Steuergerät des Fahrzeugs angeordneten Analyseeinrichtung Eigenschaften der Sensordaten und/oder ein aktueller Kontext, in dem die Sensordaten erfasst werden, bestimmt werden, wobei mittels einer in dem zweiten Steuergerät angeordneten Auswahleinrichtung das KI-basierte Informationsverarbeitungssystem aus einer Mehrzahl von zur Verfügung stehenden KI-basierten Informationsverarbeitungssystemen ausgewählt wird, wobei das Auswählen unter Verwendung einer multidimensionalen Datenstruktur erfolgt, in der zu der Mehrzahl der KI-basierten Informationsverarbeitungssysteme jeweils Testergebnisse für jeweils mindestens ein Testverfahren in Abhängigkeit von Eigenschaften von Sensordaten und/oder in Abhängigkeit von einem Kontext hinterlegt sind und die in einer im Fahrzeug angeordneten Datenbank gespeichert ist, wobei ausgehend von der multidimensionalen Datenstruktur jeweils eine Robustheit der Mehrzahl der KI-basierten Informationsverarbeitungssysteme unter der Bedingung, dass die bestimmten Eigenschaften und/oder der bestimmte Kontext vorliegen, bestimmt und bewertet wird, und wobei das robusteste KI-basierte Informationsverarbeitungssystem ausgewählt und zur Auswertung der erfassten Sensordaten in dem ersten Steuergerät verwendet wird.
-
Ferner wird insbesondere eine Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs geschaffen, mit zumindest einem Sensor, der Sensordaten zur Umfelderfassung einer Umgebung des Fahrzeugs bereitstellt, einem in einem ersten Steuergerät des Fahrzeugs angeordneten KI-basierten Informationsverarbeitungssystem, welches dazu eingerichtet ist, die erfassten Sensordaten auszuwerten und ausgehend von den ausgewerteten Sensordaten mindestens eine Ausgabe zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs zu erzeugen und bereitzustellen, einer Steuereinheit, die dazu eingerichtet ist, die bereitgestellte Ausgabe als Steuerparameter zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs zu verwenden, und einer in einem zweiten Steuergerät des Fahrzeugs angeordneten Analyseeinrichtung, wobei die Analyseeinrichtung dazu eingerichtet ist, Eigenschaften der Sensordaten und/oder einen aktuellen Kontext, in dem die Sensordaten erfasst werden, zu bestimmen, und einer in dem zweiten Steuergerät des Fahrzeugs angeordneten Auswahleinrichtung, wobei die Auswahleinrichtung dazu eingerichtet ist, das KI-basierte Informationsverarbeitungssystem aus einer Mehrzahl von zur Verfügung stehenden KI-basierten Informationsverarbeitungssystemen auszuwählen, wobei das Auswählen unter Verwendung einer multidimensionalen Datenstruktur erfolgt, in der zu der Mehrzahl der KI-basierten Informationsverarbeitungssysteme jeweils Testergebnisse für jeweils mindestens ein Testverfahren in Abhängigkeit von Eigenschaften von Sensordaten und/oder in Abhängigkeit von einem Kontext hinterlegt sind und die in einer im Fahrzeug angeordneten Datenbank gespeichert ist, und ausgehend von der multidimensionalen Datenstruktur jeweils eine Robustheit der Mehrzahl der KI-basierten Informationsverarbeitungssysteme unter der Bedingung, dass die bestimmten Eigenschaften und/oder der bestimmte Kontext vorliegen, zu bestimmen und zu bewerten, und das robusteste KI-basierte Informationsverarbeitungssystem auszuwählen und zur Auswertung der erfassten Sensordaten in dem ersten Steuergerät bereitzustellen.
-
Das Verfahren und die Vorrichtung ermöglichen es, beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs in Abhängigkeit von Eigenschaften erfasster Sensordaten und/oder in Abhängigkeit von einem aktuellen Kontext ein robustes KI-basiertes Informationsverarbeitungssystem auszuwählen und zum Auswerten der erfassten Sensordaten bereitzustellen. Dies erfolgt mit Hilfe einer in einer Datenbank gespeicherten multidimensionalen Datenstruktur, in der zu den zur Verfügung stehenden KI-basierten Informationsverarbeitungssystemen jeweils Testergebnisse für jeweils mindestens ein Testverfahren in Abhängigkeit von Eigenschaften von Sensordaten und/oder in Abhängigkeit von einem Kontext hinterlegt sind. Durch Rückgriff auf die bereits vorhandenen Testergebnisse wird insbesondere jeweils ein Robustheitswert für die zur Verfügung stehenden KI-basierten Informationsverarbeitungssysteme bestimmt. Über die bestimmten Robustheitswerte können die einzelnen KI-basierten Informationsverarbeitungssysteme miteinander verglichen werden und das unter den gegebenen Bedingungen (insbesondere den bestimmten Eigenschaften der erfassten Sensordaten und/oder dem bestimmten aktuellen Kontext) robusteste KI-basierte Informationsverarbeitungssystem kann auf Grundlage eines Vergleichsergebnisses ausgewählt und zum Auswerten der erfassten Sensordaten bereitgestellt werden.
-
Ein Vorteil des Verfahrens und der Vorrichtung ist, dass für gegebene aktuelle Bedingungen, in denen Sensordaten ausgewertet werden sollen, wie beispielsweise Eigenschaften der erfassten Sensordaten und/oder ein Kontext, in dem die Sensordaten erfasst wurden, das jeweils robusteste, das heißt das für eine Sensordatenauswertung am besten geeignetste, KI-basierte Informationsverarbeitungssystem ausgewählt und bereitgestellt werden kann. Hierdurch können eine Qualität und eine Zuverlässigkeit der Ausgaben sowie eine Sicherheit bei der Sensordatenauswertung und beim Steuern des Fahrzeugs verbessert werden.
-
Ein KI-basiertes Informationsverarbeitungssystem ist insbesondere ein Informationsverarbeitungssystem, das auf einem Verfahren der Künstlichen Intelligenz (KI) basiert. Beispielsweise kann das KI-basierte Informationsverarbeitungssystem als tiefes Neuronales Netz ausgestaltet sein oder mindestens ein solches umfassen. Prinzipiell kann das in dieser Offenbarung beschriebene Verfahren jedoch auch bei anderen KI-basierten Informationsverarbeitungssystemen eingesetzt werden, beispielsweise bei regelbasierten Informationsverarbeitungssystemen. Das mindestens eine KI-basierte Informationsverarbeitungssystem ist insbesondere trainiert und/oder abschließend parametriert. Beispielsweise kann das KI-basierte Informationsverarbeitungssystem ein trainiertes Neuronales Netz sein. Ein KI-basiertes Informationsverarbeitungssystem umfasst insbesondere eine Strukturbeschreibung und Parameter und/oder ist durch eine Strukturbeschreibung und Parameter definiert.
-
Ein Sensor ist insbesondere eine Kamera, ein Lidarsensor, ein Radarsensor oder ein Ultraschallsensor. Die Sensordaten können ein oder mehrdimensional, insbesondere zwei- oder dreidimensional sein. Ist der Sensor als Kamera ausgebildet, so umfassen die Sensordaten insbesondere zweidimensionale Kamerabilder.
-
Teile der Vorrichtung, insbesondere die Steuergeräte, die Steuereinheit sowie die Analyseeinrichtung und die Auswahleinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
-
Es kann insbesondere vorgesehen sein, dass die multidimensionale Datenstruktur aus einer zentralen Datenbank auf einem zentralen Server an die Vorrichtung übermittelt wird.
-
Eigenschaften der Sensordaten können beispielsweise eine oder mehrere der folgenden umfassen: eine Störung in den Sensordaten, wie beispielsweise Rauschen; ferner photometrische Eigenschaften wie eine Helligkeit, ein Kontrast, eine Farbsättigung, ein Farbton etc. Die Eigenschaften der Sensordaten können beispielsweise mittels Verfahren der Computer Vision oder mittels trainierter Maschinenlernverfahren, wie beispielsweise Autoencoder oder Generative Adversarial Networks (GANs), bestimmt werden. Die Eigenschaften werden mittels der Analyseeinrichtung bestimmt.
-
Ein Kontext beschreibt insbesondere ein Umfeld und/oder Umstände, in dem bzw. unter denen die Sensordaten erfasst wurden, beispielsweise Wetterbedingungen (Nebel, Schnee, Sonnenschein etc.), eine Zeit (Tageszeit, Wochentag, ein Monat, eine Jahreszeit etc.) und/oder einen Ort (Autobahn, Spielstraße, Stadt, Land etc.).
-
Das Auswählen des robustesten KI-basierten Informationsverarbeitungssystems kann beispielsweise wie folgt ausgeführt werden: Die multidimensionale Datenstruktur wird von einem zentralen Server empfangen und in der (dezentralen) Datenbank im Fahrzeug gespeichert. In der mindestens einen multidimensionalen Datenstruktur sind jeweils zumindest mittels mindestens eines Differenzmaßes bestimmte Differenzwerte zwischen Ausgangsdaten des Kl-basierten Informationsverarbeitungssystems in Abhängigkeit zumindest der Dimensionen Datensatz, Datenaugmentierungsdefinition(en) und Differenzmaßdefinition(en) hinterlegt, wobei die Differenzwerte für Daten und augmentierte Daten erhalten wurden. Anders ausgedrückt enthält jeder Datenpunkt der multidimensionalen Datenstruktur einen Differenzwert, der angibt, wie groß eine mittels eines vorgegebenen Differenzmaßes bestimmte Differenz eines Ergebnisses eines Kl-basierten Informationsverarbeitungssystems für Daten (des Datensatzes) und für mittels eines Datenaugmentierungsverfahrens augmentierte Daten (des Datensatzes) ist. Das Datenaugmentierungsverfahren kann den Daten hierbei beispielsweise eine adversariale Störung oder Rauschen hinzugefügt haben. Alternativ können auch Testverfahren verwendet werden, die unüberwacht sind, das heißt bei denen zu einer Ausgabe eines Kl-basierten Informationsverarbeitungssystems keine Grundwahrheit bekannt ist. Testergebnisse von unüberwachten Testverfahren können ebenfalls in einzelnen Datenpunkten der multidimensionalen Datenstruktur hinterlegt sein. Aus zumindest einer Auswahl, das heißt einer Teilmenge, der in der multidimensionalen Datenstruktur enthaltenen Differenzwerte und/oder Testergebnisse der unüberwachten Testverfahren wird mindestens eine Robustheit bzw. ein Robustheitswert der zur Verfügung stehenden KI-basierten Informationsverarbeitungssysteme unter den gegebenen Bedingungen bestimmt. Durch Vergleichen der Robustheiten bzw. der Robustheitswerte der einzelnen KI-basierten Informationsverarbeitungssysteme miteinander kann das unter den gegebenen Bedingungen robusteste KI-basierte Informationsverarbeitungssystem identifiziert, ausgewählt und zum Auswerten der erfassten Sensordaten in dem ersten Steuergerät bereitgestellt werden. Zusätzlich können die bestimmten Robustheiten bzw. Robustheitswerte auch mit mindestens einem Schwellenwert für die Mindestrobustheit verglichen werden.
-
Insbesondere ist vorgesehen, dass das Bereitstellen ein Einladen des ausgewählten Kl-basierten Informationsverarbeitungssystems in einen Speicher des ersten Steuergeräts und/oder ein Aktivieren des ausgewählten KI-basierten Informationsverarbeitungssystems in dem erstem Steuergerät umfasst. Hierdurch kann das ausgewählte KI-basierte Informationsverarbeitungssystem direkt nach dem Auswählen zum Auswerten der erfassten Sensordaten verwendet werden. Insbesondere kann hierdurch bei sich ändernden Eigenschaften der Sensordaten und/oder bei einem sich ändernden Kontext, in dem die Sensordaten erfasst wurden, automatisiert ein robusteres KI-basiertes Informationsverarbeitungssystem ausgewählt und zum Anwenden aktiviert werden.
-
Eine Robustheit wird insbesondere ausgehend von mindestens einer Robustheitsmetrik bestimmt. Die Robustheitsmetrik gibt insbesondere an, wie in der multidimensionalen Datenstruktur hinterlegte Testergebnisse (insbesondere Differenzwerte und Testergebnisse von unüberwachten Testverfahren) zu einem oder mehreren Robustheitswerten zusammengefasst werden sollen. Der oder die für die einzelnen KI-basierten Informationsverarbeitungssysteme erhaltenen Robustheitswerte können anschließend miteinander und/oder mit einem Schwellenwert verglichen werden.
-
Eine multidimensionale Datenstruktur kann beispielsweise durch die Dimensionen KI-basiertes Informationsverarbeitungssystem, Datensatz, Datenaugmentierungsdefinition und Differenzmaßdefinition definiert sein. Alternativ oder zusätzlich können für unüberwachte Testverfahren, welche beispielsweise an aktuell erfassten Sensordaten durchgeführt werden, die Testdimensionen KI-basiertes Informationsverarbeitungssystem, Testverfahren und gegebenenfalls Eigenschaften der Sensordaten und/oder Kontext, in dem die Sensordaten erfasst wurden, vorgesehen sein. Eine multidimensionale Datenstruktur kann insbesondere auch als Hypercube bezeichnet werden. Die Dimension KI-basiertes Informationsverarbeitungssystem umfasst als Wertebereich insbesondere alle vorgesehenen KI-basierten Informationsverarbeitungssysteme (sofern mehr als ein KI-basiertes Informationsverarbeitungssystem vorhanden ist bzw. angewendet und/oder überprüft werden soll). Wenn nur ein KI-basierten Informationsverarbeitungssystem vorhanden ist bzw. angewendet und/oder überprüft werden soll, kann die Dimension KI-basiertes Informationsverarbeitungssystem auch entfallen. Die Dimension Datensatz umfasst insbesondere als Wertebereich alle vorgesehenen Datensätze, mit denen die KI-basierten Informationsverarbeitungssysteme, die in der an die Vorrichtung übermittelten multidimensionalen Datenstruktur referenziert sind, bereits überprüft wurden. Die Dimension Datenaugmentierungsdefinition umfasst als Wertebereich insbesondere alle Datenaugmentierungsverfahren, mit denen die in der multidimensionalen Datenstruktur referenzierten KI-basierten Informationsverarbeitungssysteme zum Überprüfen bereits augmentiert wurden. Die Dimension Differenzmaßdefinition umfasst als Wertebereich insbesondere alle zum Überprüfen bereits verwendeten Differenzmaße. Jeder Kombination von Werten innerhalb dieser Dimensionen ist ein Datenpunkt zugeordnet, der zumindest einen Differenzwert oder ein mittels eines unüberwachten Verfahrens erzeugtes Testergebnis umfasst. Hierbei kann vorgesehen sein, dass nicht alle in der multidimensionalen Datenstruktur enthaltenen Dimensionen berücksichtigt werden.
-
Ein Datensatz umfasst insbesondere Daten. Die Daten können insbesondere eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Daten Bilder einer Kamera oder eines Lidarsensors sein. Grundsätzlich können jedoch beliebige Sensordaten verwendet werden.
-
Eine Datenaugmentierungsdefinition definiert insbesondere eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren. Die Datenaugmentierungsdefinition gibt an, wie Daten des Datensatzes verändert werden sollen. Es kann hierbei eine Vielzahl von Veränderungen vorgesehen sein. Beispielhaft genannt seien: Hinzufügen von Rauschen, Hinzufügen einer oder mehrerer adversarialer Störungen und/oder Sensorstörungen, Änderung eines Kontrastes, Änderung einer Helligkeit, Änderung von Farben, Änderung einer Witterungsbedingung (z.B. Hinzufügen von Schnee oder Regen in einem Kamerabild, das im Sommer bei Sonnenschein erfasst wurde). Eine Datenaugmentierung bzw. ein Datenaugmentierungsverfahren wird insbesondere in Abhängigkeit von physikalischen Sensoreigenschaften (Störungen etc.) und/oder möglichen physikalischen und/oder technischen Störungen der Sensorik und/oder möglichen adversarialen Störungen ausgestaltet bzw. definiert.
-
Eine Differenzmaßdefinition definiert insbesondere ein Differenzmaß. Das Differenzmaß gibt insbesondere an, wie Ausgangsdaten eines Kl-basierten Informationsverarbeitungssystems, die für (nicht augmentierte) Daten des Datensatzes erzeugt wurden, mit Ausgangsdaten des Kl-basierten Informationsverarbeitungssystems, die für augmentierte Daten erzeugt wurden, verglichen werden sollen. Gibt das KI-basierte Informationsverarbeitungssystem beispielsweise einen Vektor als Ausgangsdaten aus, so kann ein Differenzmaß den Vergleich der Vektoren umfassen, beispielsweise indem ein Unterschied zwischen den Vektoren bestimmt wird. Ein einfaches Beispiel für ein weiteres Differenzmaß ist das folgende: Gibt das KI-basierte Informationsverarbeitungssystem beispielsweise als Ausgangsdaten aus, wie viele Fußgänger in einem erfassten Kamerabild vorhanden sind, so kann die jeweils für die Daten und die augmentierten Daten ausgegebene Anzahl miteinander verglichen werden (z.B. 3 Fußgänger gegenüber 5 Fußgängern, sodass der Differenzwert gleich 2 Fußgänger ist).
-
Sind in einem Datensatz zeitlich sequentielle Daten hinterlegt, so kann ein Differenzmaß sich auch auf zeitlich sequentielle, das heißt zeitlich benachbarte, Daten beziehen. Hierdurch kann eine Datenbasis zur Robustheitsbeurteilung bei der Verarbeitung von Videosequenzen (oder anderen zeitlich sequentiellen Daten) durch ein KI-basiertes Informationsverarbeitungssystem erzeugt und/oder bereitgestellt werden. Beispielsweise kann im Rahmen der Robustheitsbeurteilung überprüft werden, ob ein Fußgänger in einer Videosequenz über mehrere Videoeinzelbilder hinweg von dem Kl-basierten Informationsverarbeitungssystem zuverlässig als Fußgänger erkannt wird oder nicht.
-
In der multidimensionalen Datenstruktur können insbesondere auch sämtliche beim Erzeugen der multidimensionalen Datenstruktur maßgeblichen Artefakte als Metadaten und/oder Header in der multidimensionalen Datenstruktur hinterlegt sein. Diese Artefakte umfassen beispielsweise: Verweise auf einen verwendeten Softwarecode, Verweise auf das mindestens eine KI-basierte Informationsverarbeitungssystem sowie zum Trainieren verwendete Hyperparameter, Verweise auf einen oder mehrere verwendete Datensätze (ggf. inkl. von Beschreibungsdaten) und/oder verwendete Anfangswerte für verwendete Zufallsgeneratoren („Random Seeds“).
-
Die multidimensionale Datenstruktur bildet insbesondere eine Art Testdatenbank, mit der Testergebnisse, die auf einem zentralen Server unter verschiedenen Bedingungen für verschiedene KI-basierte Informationsverarbeitungssysteme gewonnen wurden, um Testergebnisse, die im laufenden Betrieb während des Anwendens eines Kl-basierten Informationsverarbeitungssystems mittels eines unüberwachten Verfahrens gewonnen wurden, erweitert werden können. Mit Hilfe der Testergebnisse in der multidimensionalen Datenstruktur können die KI-basierten Informationsverarbeitungssysteme hinsichtlich einer Robustheit verbessert beurteilt und bewertet werden. Insbesondere erlaubt die bereitgestellte multidimensionale Datenstruktur, unter gegebenen Randbedingungen (Eigenschaften der Sensordaten, Kontext etc.) ein robustes KI-basiertes Informationsverarbeitungssystem zur Anwendung auszuwählen und bereitzustellen.
-
Die multidimensionale Datenstruktur kann vor Durchführen des in dieser Offenbarung beschriebenen Verfahrens insbesondere auf einem zentralen Server beispielsweise durch ein Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems erzeugt werden, wobei als Eingangsparameter mindestens ein KI-basiertes Informationsverarbeitungssystem, mindestens ein Datensatz, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen werden, wobei basierend auf den Eingangsparametern eine multidimensionale Datenstruktur erzeugt wird, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen Kl-basierten Informationsverarbeitungssystem jeweils für Daten des mindestens einen Datensatzes und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur umfassten Differenzwerten beurteilt werden kann. Anschließend wird die multidimensionale Datenstruktur an die Vorrichtung im Fahrzeug übermittelt, um dort als Teil des in dieser Offenbarung beschriebenen Verfahrens zum Auswählen eines robusten KI-basierten Informationsverarbeitungssystems eingesetzt zu werden und/oder um weitere Testergebnisse erweitert und/oder aktualisiert werden zu können. Die (zentrale) multidimensionale Datenstruktur ist auf dem zentralen Server insbesondere in einer zentralen Datenbank gespeichert.
-
Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Ein Fahrzeug kann jedoch grundsätzlich auch ein anderes Land-, Schienen-, Wasser-, Luft oder Raumfahrzeug sein. Ein Luftfahrzeug ist beispielsweise eine Drohne oder ein teilautomatisiertes oder automatisiertes Flugtaxi. Das Verfahren kann ferner auch im Produktions- oder Logistikbereich eingesetzt werden, z.B. beim Überwachen oder in der Robotik.
-
In einer Ausführungsform ist vorgesehen, dass es sich bei der Ausgabe um mindestens ein aus den Sensordaten durch das KI-basierte Informationsverarbeitungssystem klassifiziertes Objekt handelt und/oder um eine steuernde Ausgabe, wie ein Lenkwinkel, eine Geschwindigkeit oder eine Trajektorie, handelt.
-
In einer Ausführungsform ist vorgesehen, dass das Bestimmen der Eigenschaften der Sensordaten ein Erkennen von adversarialen Störungen in den Sensordaten umfasst. Hierdurch können spezifisch in den aktuell erfassten Sensordaten enthaltene adversariale Störungen erkannt und insbesondere für das Auswählen eines gegenüber diesen adversarialen Störungen robusten oder am robustesten KI-basierten Informationsverarbeitungssystems verwendet werden. Die adversarialen Störungen können beispielsweise mittels hierfür eingerichteter Verfahren erkannt werden. Beispielsweise können hierbei Maschinenlernverfahren, wie z.B. ein Generative Adversarial Network (GAN), eingesetzt werden, das auf das Erzeugen und/oder Erkennen einer adversarialen Störung trainiert wurde. Die adversarialen Störungen können beispielsweise mittels einer Störungserkennungseinrichtung der Vorrichtung erkannt werden, welche auch als Teil der Analyseeinrichtung ausgebildet sein kann.
-
In einer Ausführungsform ist vorgesehen, dass die multidimensionale Datenstruktur aus einer zentralen Datenbank auf einem zentralen Server abgefragt und/oder empfangen wird und/oder mit einer zentralen multidimensionalen Datenstruktur, die in einer zentralen Datenbank auf einem zentralen Server gespeichert ist und/oder mit einer dezentralen multidimensionalen Datenstruktur, die in einer dezentralen Datenbank gespeichert ist, synchronisiert wird. Hierdurch können das Verfahren und die Vorrichtung in ein System eingebunden werden, in dem die multidimensionale Datenstruktur als zentrale Testdatenbank verwendet wird, die zentral und/oder dezentral fortlaufend gepflegt, das heißt erweitert und/oder aktualisiert, werden kann und dezentral, insbesondere in jeweils anderen Fahrzeugen, zum Auswählen eines robusten bzw. des robustesten KI-basierten Informationsverarbeitungssystems verwendet werden kann.
-
In einer Ausführungsform ist vorgesehen, dass die multidimensionale Datenstruktur eine ausgewählte Untermenge aus einer größeren multidimensionalen Datenstruktur ist, die in einer zentralen Datenbank auf einem zentralen Server hinterlegt ist. Hierdurch kann ein Datenvolumen beim Übermitteln und/oder Synchronisieren der multidimensionalen Datenstruktur reduziert werden. Beispielsweise kann vorgesehen sein, vor dem Übertragen die Untermenge auf Grundlage der Eigenschaften der erfassten Sensordaten und/oder des Kontextes, in dem die Sensordaten erfasst wurden, festzulegen und die entsprechende Untermenge bei einem zentralen Server abzufragen. Der zentrale Server übermittelt dann die abgefragte Untermenge an die anfragende Vorrichtung. In einem weiteren Beispiel wurden am Ort der Vorrichtung Testergebnisse mittels eines unüberwachten Testverfahrens erzeugt. Eine zugehörige Untermenge der multidimensionalen Datenstruktur kann dann zum Übermitteln der Testergebnisse an den zentralen Server und/oder an andere Vorrichtungen festgelegt und übermittelt werden. Auf dem zentralen Server und/oder den anderen Vorrichtungen kann die übermittelte Untermenge mit den neuen Testergebnissen dann in die dortige multidimensionale Datenstruktur eingefügt werden, sodass diese erweitert und/oder aktualisiert wird.
-
In einer Ausführungsform ist vorgesehen, dass eine Meldung an einen zentralen Server übermittelt wird, wenn für die bestimmten Eigenschaften und/oder den bestimmten Kontext kein robustes KI-basiertes Informationsverarbeitungssystem zur Sensordatenauswertung bereitgestellt werden kann. Hierdurch kann ein Mangel bzw. ein Bedarf an den zentralen Server signalisiert werden, sodass für die bestimmten Eigenschaften und/oder den bestimmten Kontext ein robustes KI-basiertes Informationsverarbeitungssystem erzeugt und bereitgestellt werden kann, beispielsweise indem ein KI-basiertes Informationsverarbeitungssystem entsprechend trainiert und an die Vorrichtung übermittelt wird. Die Meldung wird beispielsweise erzeugt, wenn aus Testergebnissen in der multidimensionalen Datenstruktur abgeleitete Robustheitswerte sämtlicher zur Verfügung stehender KI-basierter Informationsverarbeitungssysteme einen vorgegebenen Schwellenwert für eine (Mindest-)Robustheit nicht erreichen.
-
In einer Ausführungsform ist vorgesehen, dass das KI-basierte Informationsverarbeitungssystem eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
-
In einer Ausführungsform ist vorgesehen, dass das KI-basierte Informationsverarbeitungssystem ein Neuronales Netz ist und/oder mindestens ein Neuronales Netz umfasst. Das Neuronale Netz ist insbesondere ein tiefes Neuronales Netz, insbesondere ein Faltungsnetz.
-
Weitere Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Ferner wird auch ein System zum Bereitstellen von robusten KI-basierten Informationsverarbeitungssystemen zum teilautomatisierten oder vollautomatisierten Steuern mindestens eines Fahrzeugs geschaffen, umfassend mindestens eine, insbesondere dezentrale, Vorrichtung nach einer der beschriebenen Ausführungsformen, und einen zentralen Server, wobei in einer zentralen Datenbank auf dem zentralen Server mindestens eine multidimensionale Datenstruktur hinterlegt ist, und wobei der zentrale Server dazu eingerichtet ist, die multidimensionale Datenstruktur zu erzeugen und/oder an die mindestens eine dezentrale Vorrichtung zu übermitteln und/oder die mindestens eine multidimensionale Datenstruktur mit einer multidimensionalen Datenstruktur der mindestens einen, insbesondere dezentralen, Vorrichtung zu synchronisieren.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs;
- 2 eine schematische Darstellung zur Verdeutlichung einer Einbettung des Verfahrens in ein System und ein Verfahren zum Bereitstellen von robusten KI-basierten Informationsverarbeitungssystemen zum teilautomatisierten oder vollautomatisierten Steuern mindestens eines Fahrzeugs.
-
In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs (50) gezeigt. Die Vorrichtung 1 ist in einem Fahrzeug 50 angeordnet. Die Vorrichtung 1 weist zumindest einen Sensor 51 auf, die Sensordaten 11 zur Umfelderfassung einer Umgebung des Fahrzeugs 50 erfasst und bereitstellt.
-
In einem ersten Steuergerät 52 ist ein KI-basiertes Informationsverarbeitungssystem 10r angeordnet bzw. das KI-basierte Informationsverarbeitungssystem 10r wird von dem ersten Steuergerät 52 bereitgestellt. Es ist insbesondere vorgesehen, dass das erste Steuergerät 52 Teil der Vorrichtung 1 ist. Das KI-basierte Informationsverarbeitungssystem 10r wertet die erfassten Sensordaten 11 aus und erzeugt ausgehend von den ausgewerteten Sensordaten 11 mindestens eine Ausgabe 30 zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs 50 und stellt die erzeugte Ausgabe 30 bereit.
-
Das KI-basierte Informationsverarbeitungssystem 10r kann beispielsweise ein trainiertes tiefes Neuronales Netz sein, kann jedoch auch grundsätzlich ein anderes Maschinenlernverfahren oder Regelsystem verwenden.
-
Es ist insbesondere vorgesehen, dass das KI-basierte Informationsverarbeitungssystem 10r eine Funktion für das automatisierte Fahren des Fahrzeugs 50 und/oder für eine Fahrerassistenz des Fahrzeugs 50 und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
-
Der Sensor 51 kann beispielsweise eine Kamera sein, mit der als Sensordaten 11 Kamerabilder eines Umfelds des Fahrzeugs 50 erfasst werden. Ausgehend von den erfassten Sensordaten 11 wird mittels des Kl-basierten Informationsverarbeitungssystems 10r durch das Auswerten mindestens eine Ausgabe 30 erzeugt und bereitstellt. Eine solche Ausgabe 30 kann beispielsweise Informationen zu in den Sensordaten 11 erkannten Objekten und/oder Objektklassen umfassen. Es ist insbesondere vorgesehen, dass es sich bei der Ausgabe 30 um mindestens ein aus den Sensordaten 11 durch das KI-basierte Informationsverarbeitungssystem 10r klassifiziertes Objekt handelt und/oder um eine steuernde Ausgabe 30, wie beispielsweise einen Lenkwinkel, eine Geschwindigkeit oder eine Trajektorie, handelt. Die Ausgabe 30 wird einer Steuereinheit 53 des Fahrzeugs 50 zugeführt. Die Steuereinheit 53 verwendet die bereitgestellte Ausgabe 30 als Steuerparameter zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs 50. Die Steuereinheit 53 ist beispielsweise ein Trajektorienplaner oder eine Aktoriksteuerung.
-
Die Vorrichtung 1 umfasst eine in einem zweiten Steuergerät 54 des Fahrzeugs 50 angeordnete Analyseeinrichtung 3 und eine Auswahleinrichtung 4. Das zweite Steuergerät 54 ist insbesondere Teil der Vorrichtung 1. Die Analyseeinrichtung 3 und die Auswahleinrichtung 4 können auch gemeinsam in einer Recheneinrichtung 2 ausgebildet sein oder durch diese bereitgestellt werden, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Die Auswahleinrichtung 4 kann auf eine in einem Speicher 6 hinterlegte (dezentrale) Datenbank 7 zugreifen.
-
Die Vorrichtung 1 ist insbesondere dazu eingerichtet, das in dieser Offenbarung beschriebene Verfahren zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs 50 auszuführen. Hierbei soll insbesondere ein robustes KI-basiertes Informationsverarbeitungssystems 10r ausgewählt und zur Auswertung der Sensordaten 11 bereitgestellt werden.
-
Die Analyseeinrichtung 3 ist dazu eingerichtet, Eigenschaften 15 der Sensordaten 11 und/oder einen aktuellen Kontext 16, in dem die Sensordaten 11 erfasst werden, zu bestimmen. Hierzu werden der Analyseeinrichtung 3 aktuell erfasste Sensordaten 11 zugeführt. Die Eigenschaften 15 können beispielsweise photometrische Eigenschaften umfassen, wie beispielsweise eine Helligkeit, einen Kontrast, eine Farbsättigung etc. Es können ferner auch adversariale Störungen in den Sensordaten 11 erkannt werden. Dies kann insbesondere mittels einer Störungserkennungseinrichtung 17 der Analyseeinrichtung 3 erfolgen, welche beispielsweise mittels des Verfahrens der Generative Adversarial Networks (GAN) adversariale Störungen in den Sensordaten 11 erkennen kann. Ein Kontext 16 bezeichnet insbesondere die Umstände, in denen die Sensordaten 11 erfasst wurden, und kann beispielsweise einen Ort (Stadt, Land, Region, Autobahn, Spielstraße etc.), eine Zeit (Tag, Nacht, Zeitpunkt, Jahreszeit etc.) beschreiben. Die Eigenschaften 15 der Sensordaten 11 und/oder der Kontext 16, in dem die Sensordaten 11 erfasst wurden, können beispielsweise mittels Verfahren der Computer Vision und/oder des Maschinenlernens bestimmt werden.
-
Die bestimmten Eigenschaften 15 und der bestimmte Kontext 16 werden der Auswahleinrichtung 4 zugeführt.
-
Die Auswahleinrichtung 4 ist dazu eingerichtet, das robuste bzw. robusteste KI-basierte Informationsverarbeitungssystem 10r aus einer Mehrzahl von zur Verfügung stehenden Kl-basierten Informationsverarbeitungssystemen 10 auszuwählen. Das Auswählen erfolgt hierbei unter Verwendung einer multidimensionalen Datenstruktur 20, die in der (dezentralen) Datenbank 7 hinterlegt ist. In der multidimensionalen Datenstruktur 20 sind zu der Mehrzahl der KI-basierten Informationsverarbeitungssysteme 10 jeweils Testergebnisse für jeweils mindestens ein Testverfahren in Abhängigkeit von Eigenschaften 15 von Sensordaten 11 und/oder in Abhängigkeit von einem Kontext 16 hinterlegt.
-
Es kann vorgesehen sein, dass die multidimensionale Datenstruktur 20 zusammen mit der Mehrzahl von Kl-basierten Informationsverarbeitungssystemen 10 von einem zentralen Server 40 an das Fahrzeug 50 bzw. die Vorrichtung 1 übermittelt werden und/oder von diesem empfangen werden. Die multidimensionale Datenstruktur 20 ist in einer zentralen Datenbank 41 auf dem Server 40 hinterlegt und wird aus dieser abgerufen bzw. von dem zentralen Server 40 bereitgestellt. Der zentrale Server 40 und die Vorrichtung 1 und gegebenenfalls weitere Vorrichtungen (nicht gezeigt), die beispielsweise in weiteren Fahrzeugen (nicht gezeigt) angeordnet sein können, bilden ein System 80 zum Bereitstellen von robusten KI-basierten Informationsverarbeitungssystemen 10r zum teilautomatisierten oder vollautomatisierten Steuern mindestens eines Fahrzeugs 50 aus.
-
Ausgehend von der multidimensionalen Datenstruktur 20 bestimmt und bewertet die Auswahleinrichtung 4 jeweils eine Robustheit der Mehrzahl der KI-basierten Informationsverarbeitungssysteme 10 unter der Bedingung, dass die bestimmten Eigenschaften 15 und/oder der bestimmte Kontext 16 vorliegen. Beispielsweise kann die Auswahleinrichtung 4 hierzu einen Robustheitswert für jedes der Mehrzahl der KI-basierten Informationsverarbeitungssysteme 10 auf Grundlage der in der multidimensionalen Datenstruktur 20 hinterlegten Testergebnisse bestimmen und die bestimmten Robustheitswerte miteinander vergleichen. Die Auswahleinrichtung 4 wählt das robusteste KI-basierte Informationsverarbeitungssystem 10r aus und stellt dieses zur Auswertung der erfassten Sensordaten 11 bereit. Das robusteste KI-basierte Informationsverarbeitungssystem 10r wird dem Steuergerät 52 zugeführt. Insbesondere wird das robusteste KI-basierte Informationsverarbeitungssystem 10r, insbesondere dessen Struktur und Parameter beschreibende Daten, in einen Speicher (nicht gezeigt) des Steuergeräts 52 eingeladen und/oder dieses in dem Steuergerät 52 zum Anwenden aktiviert.
-
Das Auswählen mit Hilfe der multidimensionalen Datenstruktur 20 kann im Detail beispielsweise wie folgt durchgeführt werden: Die multidimensionale Datenstruktur 20 wird von dem zentralen Server 40 empfangen. In der multidimensionalen Datenstruktur 20 sind jeweils zumindest mittels mindestens eines Differenzmaßes bestimmte Differenzwerte zwischen Ausgangsdaten der KI-basierten Informationsverarbeitungssysteme 10 in Abhängigkeit zumindest der Dimensionen Datensatz, Datenaugmentierungsdefinition(en) und Differenzmaßdefinition(en) hinterlegt, wobei die Differenzwerte für (Sensor-)Daten und augmentierte (Sensor-)Daten erhalten wurden. Anders ausgedrückt enthält jeder Datenpunkt der multidimensionalen Datenstruktur 20 einen Differenzwert, der angibt, wie groß eine mittels eines vorgegebenen Differenzmaßes bestimmte Differenz eines Ergebnisses eines Kl-basierten Informationsverarbeitungssystems 10 für (Sensor-)Daten (des Datensatzes) und für mittels eines Datenaugmentierungsverfahrens augmentierte (Sensor-)Daten (des Datensatzes) ist. Das Datenaugmentierungsverfahren kann den Daten hierbei beispielsweise eine adversariale Störung oder Rauschen hinzugefügt haben. Alternativ können auch Testverfahren verwendet werden, die unüberwacht sind, das heißt bei denen zu einer Ausgabe eines Kl-basierten Informationsverarbeitungssystems 10 keine Grundwahrheit bekannt ist. Diese Testverfahren können beispielsweise während eines laufenden Betriebs der KI-basierten Informationsverarbeitungssysteme 10 erzeugt und der multidimensionalen Datenstruktur 20 hinzugefügt werden. Testergebnisse von unüberwachten Testverfahren können ebenfalls in einzelnen Datenpunkten hinterlegt sein. Aus zumindest einer Auswahl, das heißt einer Untermenge, der in der multidimensionalen Datenstruktur 20 enthaltenen Differenzwerte und/oder Testergebnisse der unüberwachten Testverfahren wird mindestens eine Robustheit bzw. ein Robustheitswert der zur Verfügung stehenden KI-basierten Informationsverarbeitungssysteme 10 unter den gegebenen Bedingungen (z.B. Eigenschaften 15 der Sensordaten 11 und/oder der Kontext 16) bestimmt. Durch Vergleichen der Robustheiten bzw. der Robustheitswerte der einzelnen KI-basierten Informationsverarbeitungssysteme 10 miteinander kann das unter den gegebenen Bedingungen robusteste KI-basierte Informationsverarbeitungssystem 10r identifiziert, ausgewählt und bereitgestellt werden.
-
Es kann vorgesehen sein, dass die multidimensionale Datenstruktur 20 eine ausgewählte Untermenge aus der multidimensionalen Datenstruktur 20 ist, die in der zentralen Datenbank 41 auf dem zentralen Server 40 hinterlegt ist.
-
Es kann vorgesehen sein, dass eine Meldung 60 an den zentralen Server 40 übermittelt wird, wenn für die bestimmten Eigenschaften 15 und/oder den bestimmten Kontext 16 kein robustes KI-basiertes Informationsverarbeitungssystem 10r zur Sensordatenauswertung bereitgestellt werden kann. Die Meldung 60 umfasst insbesondere auch Informationen zu den Eigenschaften 15 der Sensordaten 11 und dem Kontext 16. Die Meldung 60 kann beispielsweise von der Auswahleinrichtung 4 erzeugt werden. Der zentrale Server 40 kann als Reaktion auf die Meldung 60 das Erzeugen eines für die Eigenschaften 15 und den Kontext 16 robusten KI-basierten Informationsverarbeitungssystems 10r veranlassen, beispielsweise indem ein KI-basiertes Informationsverarbeitungssystem 10 entsprechend nachtrainiert und bereitgestellt wird.
-
In 2 ist eine schematische Darstellung zur Verdeutlichung einer Einbettung des Verfahrens in ein System 80 bzw. ein Verfahren zum Bereitstellen von robusten KI-basierten Informationsverarbeitungssystemen 10 zum teilautomatisierten oder vollautomatisierten Steuern mindestens eines Fahrzeugs 50 gezeigt. Die Steuergeräte 52, 54 und die Steuereinheit 53 (1) sind in der 2 nicht gezeigt und werden auch nicht weiter erläutert.
-
Im Rahmen des Verfahrens zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs 50 wird zum Bereitstellen von robusten KI-basierten Informationsverarbeitungssystemen 10 ausgehend von einer Vielzahl von KI-basierten Informationsverarbeitungssystemen 10, von verschiedenen Testverfahren 12-x und verschiedenen Datensätzen 5-x auf einem zentralen Server 40 eine multidimensionale Datenstruktur 20 erzeugt.
-
Dies erfolgt in einer Maßnahme 90, in welcher insbesondere ein Verfahren zum Bereitstellen einer Datenbasis zur Robustheitsbeurteilung mindestens eines Kl-basierten Informationsverarbeitungssystems 10 ausgeführt wird, wobei als Eingangsparameter mindestens ein KI-basiertes Informationsverarbeitungssystem 10, mindestens ein Datensatz 5-x, mindestens eine Datenaugmentierungsdefinition und mindestens eine Differenzmaßdefinition empfangen werden, wobei basierend auf den Eingangsparametern eine multidimensionale Datenstruktur 20 erzeugt wird, wobei die Dimensionen und Wertebereiche der Dimensionen der multidimensionalen Datenstruktur 20 durch die empfangenen Eingangsparameter festgelegt sind, und wobei jeder Datenpunkt der multidimensionalen Datenstruktur einen mittels des mindestens einen definierten Differenzmaßes bestimmten Differenzwert umfasst, der bestimmt wird, indem das mindestens eine definierte Differenzmaß zwischen Ausgangsdaten gebildet wird, die von dem mindestens einen KI-basierten Informationsverarbeitungssystem 10 jeweils für Daten des mindestens einen Datensatzes 5-x und für dieselben mittels der mindestens einen definierten Datenaugmentierung augmentierten Daten erzeugt wurden, und wobei die erzeugte multidimensionale Datenstruktur 20 bereitgestellt wird, sodass eine Robustheit des mindestens einen Kl-basierten Informationsverarbeitungssystems basierend auf den von der multidimensionalen Datenstruktur 20 umfassten Differenzwerten beurteilt werden kann. Die erzeugte multidimensionale Datenstruktur 20 ist in einer zentralen Datenbank (nicht gezeigt) auf dem zentralen Server 40 hinterlegt.
-
Auf Grundlage der multidimensionalen Datenstruktur 20 und darin hinterlegter Testergebnisse (insbesondere der Differenzwerte) und gegebenenfalls weiterer Metainformationen (Kontextinformationen, Eigenschaften der Sensordaten bzw. Datensätze etc.) können für spezifische Randbedingungen robuste KI-basierte Informationsverarbeitungssysteme 10r ermittelt werden, indem die Testergebnisse, insbesondere die hinterlegten Differenzwerte, in der multidimensionalen Datenstruktur 20 entsprechend ausgewertet werden. Hierzu können Testergebnisse, insbesondere die Differenzwerte, beispielsweise zusammengefasst und mit Schwellenwerten für eine Robustheit bzw. eine Zuverlässigkeit verglichen werden. Je nach Vergleichsergebnis wird das KI-basierte Informationsverarbeitungssystem 10 als robust klassifiziert oder nicht.
-
Das Überprüfen und/oder Bewerten der KI-basierten Informationsverarbeitungssysteme 10 auf dem zentralen Server 40 erfolgt in einer Maßnahme 95. In dieser Maßnahme 95 wird insbesondere ein Verfahren zum Bewerten und Zertifizieren einer Robustheit eines Kl-basierten Informationsverarbeitungssystems 10 ausgeführt, wobei zugehörig zu dem KI-basierten Informationsverarbeitungssystem 10 die multidimensionale Datenstruktur 20 empfangen wird, wobei in der multidimensionalen Datenstruktur 20 jeweils zumindest mittels mindestens eines Differenzmaßes bestimmte Differenzwerte zwischen Ausgangsdaten des KI-basierten Informationsverarbeitungssystems 10, die für Daten und augmentierte Daten erhalten wurden, in Abhängigkeit zumindest der Dimensionen Datensatz 5-x, Datenaugmentierungsdefinition(en) und Differenzmaßdefinition(en) hinterlegt sind, wobei aus zumindest einer Auswahl der Differenzwerte mindestens eine Robustheit des Kl-basierten Informationsverarbeitungssystems 10 bestimmt und mit mindestens einer Robustheitsanforderung verglichen wird, und wobei basierend auf einem Vergleichsergebnis das KI-basierte Informationsverarbeitungssystem 10 entweder verworfen, mit einer geänderten multidimensionalen Datenstruktur 20 erneut bewertet oder als robust zertifiziert wird. Dies erfolgt für alle KI-basierten Informationsverarbeitungssysteme 10.
-
Die erzeugte multidimensionale Datenstruktur 20 und die in Maßnahme 95 als robust klassifizierten KI-basierten Informationsverarbeitungssysteme 10 werden insbesondere an mindestens ein Fahrzeug 50 übermittelt und dort in einer (dezentralen) Datenbank (nicht gezeigt) hinterlegt. Ein Fahrzeug 50 kann hierbei ein Testfahrzeug oder ein Serienfahrzeug sein.
-
In einer Maßnahme 100 wird ein Verfahren zum Überprüfen eines aktiven Kl-basierten Informationsverarbeitungssystems 10a während des Anwendens durchgeführt. Hierbei wird eine Ausgabe des aktiven KI-basierten Informationsverarbeitungssystems 10a mittels mindestens eines Testverfahrens 12-x überprüft. Das Testverfahren 12-x ist insbesondere ein unüberwachtes Testverfahren. Beispielsweise können eine zeitliche Konsistenz, eine Konfidenz und/oder eine Plausibilität der Ausgabe bzw. Ausgaben des aktiven Kl-basierten Informationsverarbeitungssystems 10a überprüft werden. Erhaltene Testergebnisse werden in der multidimensionalen Datenstruktur 20 hinterlegt. Insbesondere wird die multidimensionale Datenstruktur 20 mit einer Referenz auf das aktive KI-basierte Informationsverarbeitungssystem 10a und auf das jeweils verwendete Testverfahren 12-x um die Testergebnisse 13-x ergänzt. Die multidimensionale Datenstruktur 20 kann anschließend mit der multidimensionalen Datenstruktur 20 auf dem zentralen Server 40 und/oder mit einer in einer anderen (dezentralen) Datenbank hinterlegten multidimensionalen Datenstruktur 20 eines anderen Fahrzeugs synchronisiert werden. Mittels des in der Maßnahme 100 durchgeführten Verfahrens können die KI-basierten Informationsverarbeitungssysteme 10 während des Anwendens überprüft werden.
-
Es ist ferner in einer Maßnahme 200 gemäß des in dieser Offenbarung beschriebenen Verfahrens vorgesehen, dass zum Auswerten von erfassten Sensordaten 11, beispielsweise mittels einer Kamera erfassten Kamerabildern, aus den KI-basierten Informationsverarbeitungssystem 10r dasjenige KI-basierte Informationsverarbeitungssystem 10r ausgewählt und aktiviert wird, das unter gegebenen Bedingungen (insbesondere Eigenschaften der Sensordaten 11 und/oder ein gegebener Kontext) am robustesten ist. Eigenschaften in den Sensordaten 11 werden mittels der Analyseeinrichtung 3 (1) bestimmt. Die Analyseeinrichtung kann eine Störungserkennungseinrichtung 17 umfassen, welche beispielsweise adversariale Störungen in den Sensordaten 11 erkennt. Das Auswählen erfolgt mittels einer Auswahleinrichtung 4 (1) auf Grundlage der in der multidimensionalen Datenstruktur 20 hinterlegten Testergebnisse 13-x, wobei auf Grundlage der jeweils hinterlegten Testergebnisse 13-x eine Robustheit von zur Auswertung in Frage kommenden KI-basierten Informationsverarbeitungssystemen 10r bestimmt und bewertet wird. Insbesondere kann aus in der multidimensionalen Datenstruktur 20 hinterlegten Differenzwerten und/oder den Testergebnissen von unüberwachten Testverfahren mindestens ein Robustheitsmaß bestimmt werden. Das bestimmte mindestens eine Robustheitsmaß kann mit mindestens einer Robustheitsanforderung verglichen werden. Das robusteste KI-basierte Informationsverarbeitungssystem 10r, insbesondere dasjenige Klbasierte Informationsverarbeitungssystem 10r mit dem höchsten Robustheitswert, wird dann zum Anwenden auf die aktuell erfassten Sensordaten 11 aktiviert und hierzu in einen Speicher eines ersten Steuergeräts 52 (1) des Fahrzeugs 50 geladen oder in dem ersten Steuergerät 52 zum Anwenden aktiviert und stellt dann das zur Sensordatenauswertung aktive KI-basierte Informationsverarbeitungssystem 10a bereit. Existiert für gegebene Eigenschaften der Sensordaten 11 und/oder einen gegebenen Kontext kein robustes KI-basiertes Informationsverarbeitungssystem 10r, so kann eine Meldung (nicht gezeigt) an den zentralen Server 40 übermittelt werden.
-
Das in 2 verdeutlichte System 80 bzw. Verfahren erlaubt das Verwenden des jeweils unter gegebenen Bedingungen (Eigenschaften der Sensordaten 11 und/oder ein Kontext etc.) robustesten KI-basierten Informationsverarbeitungssystems 10r für die Auswertung der erfassten Sensordaten 11 beim teilautomatisierten oder vollautomatisierten Steuern des mindestens einen Fahrzeugs 50. Eine Auswahl wird hierbei insbesondere stets unter Berücksichtigung von aktuellen Bedingungen im jeweiligen Fahrzeug 50 getroffen. Mittels des in dieser Offenbarung beschriebenen Verfahrens und der zugehörigen Vorrichtung kann hierbei ausgehend von den in der multidimensionalen Datenstruktur 20 hinterlegten Testergebnissen eine Auswahl des unter den gegebenen Bedingungen robustesten KI-basierten Informationsverarbeitungssystems 10r getroffen werden. Auf diese Weise kann eine Sensordatenauswertung zuverlässig und sicher ausgestaltet werden. Die Maßnahme 100 erlaubt darüber hinaus ein kontinuierliches Erweitern und/oder Aktualisieren der multidimensionalen Datenstruktur 20.
-
Die multidimensionale Datenstruktur 20 als gemeinsame Testdatenbank erlaubt es hierbei insbesondere, die KI-basierten Informationsverarbeitungssysteme 10r hinsichtlich einer Robustheit zu beurteilen, ohne dass die KI-basierten Informationsverarbeitungssysteme 10r hierzu selbst in der multidimensionalen Datenstruktur 20 vorhanden sein müssen. Insbesondere umfasst die multidimensionale Datenstruktur 20 die KI-basierten Informationsverarbeitungssysteme 10r nicht.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Recheneinrichtung
- 3
- Analyseeinrichtung
- 4
- Auswahleinrichtung
- 5-x
- Datensatz
- 6
- Speicher
- 7
- (dezentrale) Datenbank
- 10
- KI-basiertes Informationsverarbeitungssystem
- 10r
- KI-basiertes Informationsverarbeitungssystem
- 10a
- aktives KI-basiertes Informationsverarbeitungssystem
- 11
- Sensordaten
- 12-x
- Testverfahren
- 15
- Eigenschaften
- 16
- Kontext
- 17
- Störungserkennungseinrichtung
- 20
- multidimensionale Datenstruktur
- 30
- Ausgabe
- 40
- zentraler Server
- 41
- (zentrale) Datenbank
- 50
- Fahrzeug
- 51
- Sensor
- 52
- erstes Steuergerät
- 53
- Steuereinheit
- 54
- zweites Steuergerät
- 60
- Meldung
- 80
- System
- 90
- Maßnahme
- 95
- Maßnahme
- 100
- Maßnahme
- 200
- Maßnahme
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018218586 A1 [0010]
