DE102022112221A1

DE102022112221A1 - Verfahren zum Installieren eines mittels einer Trainingsplattform trainierten Modells des Maschinellen Lernens in eine Prozessorschaltung eines Kraftfahrzeugs sowie computerlesbares Speichermedium, Testplattform und Kraftfahrzeug

Info

Publication number: DE102022112221A1
Application number: DE102022112221.2A
Authority: DE
Inventors: Yevgeniya Filippovska; Andreas Wittmann; Johannes Dumler; Fabian Hüger; Norbert Kroth; Milan Jonah Rohde; Andreas Looft; Manuel Schwonberg; Tillmann Radmer; Peter Schlicht; Kevin Jonczyk; Bennet Seifert; Christian Aust; Ulrich Pech; Dmitry Zarubin; Daniel Graff
Original assignee: Volkswagen AG; Cariad SE
Current assignee: Volkswagen AG; Cariad SE
Priority date: 2022-05-16
Filing date: 2022-05-16
Publication date: 2023-11-16

Abstract

Die Erfindung betrifft ein Verfahren zum Installieren eines trainierten Modells (11) des Maschinellen Lernens in eine Prozessorschaltung (18) eines Kraftfahrzeugs (12). Die Erfindung sieht vor, dass das Modell (11) aus einer Trainingsplattform (13) empfangen wird und über mehrere, in einer Kaskade kaskadierten Teststufen (30), von denen jede in Vergleich zu der ihr in der Kaskade unmittelbar vorangehenden Teststufe eine weitere, in der Trainingsplattform (13) fehlende und in der Prozessorschaltung (18) vorhandenen Betriebskomponente (34) aufweist, getestet wird und nur wenn für das Modell (11) in der jeweiligen Teststufe die jeweilige Fehlerfreiheit bestätigt wird, die nächste Teststufe der Kaskade durchgeführt wird, und nur wenn für alle Teststufen (30) die jeweilige Fehlerfreiheit bestätigt wird, das Modell (11) mit einer automatisierten Fahrfunktion (F) des Kraftfahrzeugs (12) gekoppelt und für eine Umfeldüberwachung betrieben wird.

Description

Die Erfindung betrifft ein Verfahren zum Installieren eines Modells des Maschinellen Lernens in eine Prozessorschaltung eines Kraftfahrzeugs. Als Modell kann beispielsweise ein künstliches neuronales Netzwerk vorgesehen sein. Das Modell ist bereits trainiert, was mittels einer Trainingsplattform des Stands der Technik durchgeführt worden sein kann. Ein solches Modell muss vor seiner Installation auf Konformität mit der Prozessorschaltung geprüft werden. Zu der Erfindung gehören auch ein computerlesbares Speichermedium, um das Verfahren zu implementieren, sowie eine Testplattform zum Testen des Modells des Maschinellen Lernens sowie ein Kraftfahrzeug, in dessen Prozessorschaltung das Modell installiert werden kann.
Die besagte Trainingsplattform zum Trainieren eines Modells des Maschinellen Lernens kann einen Computer oder einen Computerverbund fassen, in welchem in an sich bekannter Weise ein Modell des Maschinellen Lernens, beispielsweise ein künstliches neuronales Netzwerk oder ein Decision-Tree-Modell, auf der Grundlage von Trainingsdaten mittels eines Trainingsalgorithmus trainiert werden kann. Ein solcher Trainingsalgorithmus kann beispielsweise auf dem Backpropagation-Algorithmus beruhen. Als Trainingsdaten können beispielsweise Sensordatensätze des Typs verwendet werden, wie er später auch in einem Kraftfahrzeug vorhanden sein kann, in welchem das Modell des Maschinellen Lernens für eine automatisierte Fahrfunktion genutzt werden können soll. Die Trainingsdaten können in an sich bekannter Weise um so genannte Labels oder Ground-Truth-Informationen ergänzt sein, die ein gewünschtes Verarbeitungsresultat des Modells, also Soll-Erkennungsdaten, angeben. Mittels eines Modells des Maschinellen Lernens kann eine so genannte Computer-Vision-Verarbeitung eintrainiert werden, um anhand der Eingabedaten, also beispielsweise der Trainingsdaten oder anhand von Testdaten oder anhand von Sensordaten, eine Objektdetektion für das Erkennen von Objekten und/oder Klassifizieren von Objekten und/oder eine semantische Segmentierung eines Bildinhalts durchzuführen. Für das Training geben die Ground-Truth-Daten dabei das korrekte oder erwartete Ergebnis der Computer-Vision-Verarbeitung vor.
Die Trainingsplattform kann das Modell des Maschinellen Lernens dabei in einer Programmumgebung oder in einer Laufzeitumgebung trainieren, die eine andere Struktur aufweist, als diejenige im Kraftfahrzeug, wo eine Prozessorschaltung eines Steuergeräts eines ganzen Verbunds aus Steuergeräten das Modell für die Computer-Vision-Verarbeitung später betreiben wird.
Es hat sich dabei herausgestellt, dass bei einem Wechsel von einer Trainingsplattform, durch welche ein Modell des Maschinellen Lernens trainiert wurde, hin zu der Prozessorschaltung eines Kraftfahrzeugs, in welche das Modell für die Computer-Vision-Verarbeitung implementiert wurde, Fehler ergeben können, die aufgrund von anderen Einflüssen als des Trainings selbst verursacht werden können. Allerdings ist es aufgrund der Vielzahl der Unterschiede zwischen der Trainingsplattform einerseits und der Laufzeitumgebung der Prozessorschaltung im Kraftfahrzeug andererseits schwierig, solche Fehler zu identifizieren oder zu lokalisieren.
Aus der DE 10 2018 207 565 A1 ist bekannt, dass beim Testen eines Modells des Maschinellen Lernens auch ein vorangehender Test des Modells in einer Hardware desselben Typs wie der Prozessorschaltung des Kraftfahrzeugs durchgeführt werden kann.
Aus der WO 2021/037957 A1 ist bekannt, mittels eines Diagnosetesters in einem Kraftfahrzeug eine Fehlersuche in unterschiedlichen Detailgraden auszuführen, um entweder das ganze Fahrzeug, einzelne Systeme oder Komponenten von Systemen auf das Vorhandensein eines Fehlers zu überprüfen.
Der Erfindung liegt die Aufgabe zugrunde, ein Modell des Maschinellen Lernens fehlerfrei in einer Prozessorschaltung eines Kraftfahrzeugs für eine automatisierten Fahrfunktion zu installieren.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen oder Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figur.
Als eine Lösung umfasst die Erfindung ein Verfahren zum Installieren eines Modells des Maschinellen Lernens in eine Prozessorschaltung eines Kraftfahrzeugs. Das Verfahren geht davon aus, dass das Modell bereits trainiert ist, das heißt, durch eine Trainingsplattform ein fertig trainiertes Modell bereitgestellt wird. Das Modell kann beispielsweise durch Modelldaten in an sich bekannter Weise definiert oder beschrieben sein. Durch das Installieren wird das Modell mit einer automatisierten Fahrfunktion des Kraftfahrzeugs gekoppelt, damit die automatisierte Fahrfunktion eine Umfeldüberwachung seiner Umgebung oder seines Umfelds durchführen kann. Das Modell kann hierzu dafür trainiert sein, eine Computer-Vision-Verarbeitung von Sensordaten zumindest eines Sensors des Kraftfahrzeugs, beispielsweise einer Kamera, durchzuführen. Durch das Modell des Maschinellen Lernens kann somit eine Objektdetektion (Objekterkennung und/oder semantische Segmentierung) durchgeführt werden, wofür die Trainingsplattform das entsprechende Training in an sich bekannter Weise durchgeführt haben kann. Die automatisierte Fahrfunktion kann beispielsweise eine Fahrerassistenzfunktion sein (beispielsweise Spurhalteassistenz und/oder Einparkhilfe) und/oder eine autonome Fahrfunktion bereitstellen.
Um ausgehend von der Trainingsplattform das Modell in der Prozessorschaltung für den Betrieb mit der automatisierten Fahrfunktion ins das Kraftfahrzeug zu übertragen, sieht das Verfahren als Lösung vor, dass durch eine Testplattform folgende Schritte durchgeführt werden. Die Testplattform kann hierbei beispielsweise einen oder mehrere Mikroprozessoren umfassen, die beispielsweise in einem Backendserver des Kraftfahrzeugs (also einem stationären Computerserver, der mit dem Kraftfahrzeug über das Internet verbunden sein kann) implementiert sein können. Die Testplattform kann auch zumindest einem Mikroprozessor im Kraftfahrzeug selbst bereitstellen oder umfassen. Es ergibt sich dann eine verteilte Testplattform (umfassend den Backendserver und das Kraftfahrzeug).
Als Verfahrensschritte werden durch die Testplattform durchgeführt, dass das Modell aus der Trainingsplattform empfangen wird und das Modell über mehrere, in einer Kaskade kaskadierten Testschichten oder Teststufen mit jeweiligen Testdaten getestet wird. Die Teststufen in der Kaskade sind dabei in spezieller Weise aufeinander abgestimmt, denn jede Teststufe weist nämlich im Vergleich zu der ihr in der Kaskade unmittelbar vorangehenden Teststufe jeweils eine weitere, in der Trainingsplattform fehlende, aber in der Prozessorschaltung des Kraftfahrzeugs vorhandene Betriebskomponente auf. Die Teststufen werden also entlang der Kaskade gesehen der Prozessorschaltung des Kraftfahrzeugs immer ähnlicher. Bevorzugt gibt es mindestens zwei Teststufen, bevorzugt mehr als zwei Teststufen. Mit jeder Teststufe entlang der Kaskade ist dabei beim Ausführen des Modells des Maschinellen Lernens die ausführende Umgebung oder die ausführende Einheit ähnlicher zu der eigentlichen Prozessorschaltung, wie sie schließlich im Kraftfahrzeug für den Betrieb des Modells vorgesehen ist. Als Testdaten können beispielsweise eine Teilmenge oder die gesamten Trainingsdaten und/oder von den Trainingsdaten verschiedene weitere Daten, beispielsweise Sensordaten, verwendet werden. Zu den Testdaten können auch die beschriebenen Labels oder Ground-Truth-Informationen bereitgestellt werden. Den eigentliche Test kann der Fachmann ausgestalten.
Das Modell wird in der Reihenfolge der Kaskade nacheinander in den Teststufen auf eine vorbestimmte Fehlerfreiheit getestet. Die Fehlerfreiheit ergibt sich durch ein entsprechendes Kriterium, das vom Fachmann festgelegt werden kann, wie dies später noch erläutert wird. Nur wenn für das Modell in der jeweiligen Teststufe die jeweilige Fehlerfreiheit bestätigt wird, wird die nächste Teststufe durchgeführt. Das Modell des Maschinellen Lernens wird also nacheinander den unterschiedlichen Teststufen in der Kaskade zugeführt oder diesen unterworfen und kann nur dann entlang der Kaskade zur nächsten Teststufe gelangen, wenn in der vorangegangenen oder aktuellen Teststufe die Fehlerfreiheit bestätigt oder validiert wird. Entsprechend gelangt das Modell nur dann in die Prozessorschaltung für den eigentlichen Betrieb zusammen mit der automatisierten Fahrfunktion, wenn und nur wenn für alle Teststufen die jeweilige Fehlerfreiheit bestätigt worden ist. Dann wird das Modell mit der automatisierten Fahrfunktion gekoppelt und für die Umfeldüberwachung betrieben. Mit anderen Worten wird das Modell nur dann tatsächlich als einziges oder als vorgeschaltetes Modell vor oder für die automatisierte Fahrfunktion betrieben, wenn alle Teststufen erfolgreich, das heißt mit bestätigter Fehlerfreiheit, durchlaufen wurden.
Durch die Erfindung ergibt sich der Vorteil, dass für den Fall, dass sich ein Fehler in einer Teststufe ergibt, also die Fehlerfreiheit nicht bestätigt wird oder fehlt, anhand der dieser Teststufe zugeordneten oder nur in dieser Teststufe in der Kaskade erstmals verwendeten Betriebskomponente erkannt wird, wo der Fehler sich ergibt oder zu suchen ist. Es findet damit eine automatisierte Fehlerlokalisierung statt.
Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
Die Umfeldüberwachung sieht vor, dass mittels des Modells des Maschinellen Lernens in der beschriebenen Weise eine Objektdetektion durchgeführt wird, das heißt, dass Objekte in der Umgebung durch das Modell detektiert und/oder klassifiziert und/oder in einem Kamerabild segmentiert werden und dieses Erkennungsergebnis oder Detektionsergebnis der automatisierten Fahrfunktion bereitgestellt oder signalisiert wird, damit die automatisierte Fahrfunktion in Abhängigkeit von diesem Detektionsergebnis eine Fahrtrajektorie für das Kraftfahrzeug plant.
Eine erste oder initiale Teststufe kann vorsehen, dass das Modell in derselben oder einer gleich-gebauten Testumgebung wie in der Trainingsplattform getestet wird, hierbei aber die Testdaten verwendet werden. Mit anderen Worten kann in einer initialen Teststufe geprüft werden, ob das Training der Trainingsplattform bei unveränderter Laufzeitumgebung erfolgreich war.
Eine weitere oder nächste Teststufe sieht gemäß einer Weiterentwicklung vor, dass das Modell in einer Laufzeitumgebung, RTE (Runtime Environment), betrieben wird, wie sie auch für den Betrieb des Modells im Kraftfahrzeug vorgesehen ist. Die Fehlerfreiheit ist dabei definiert, dass ein störungsfreies Laufzeitverhalten des Modells vorliegt, also innerhalb der Laufzeitumgebung das Modell ausgeführt oder betrieben werden kann, ohne dass es zu einem Laufzeitfehler kommt, beispielsweise einem Fehler beim Allokieren vom Speicher und/oder einem Timeout beim Warten auf eine Ressource und/oder ohne Laufzeitverzögerungen, die eine Echtzeitfähigkeit (Durchgehende Verarbeitung eines Datenstroms aus Sensordaten) stören. Ein Beispiel für eine Laufzeitumgebung, wie sie in einem Kraftfahrzeug vorgesehen sein kann, ist eine so genannte AutoSAR-RTE. Sie fehlt dagegen in der Trainingsplattform. Durch diese Teststufe ist sichergestellt, dass das Modell auch mit der Struktur der Laufzeitumgebung, beispielsweise in Bezug auf das Dateisystem und/oder die Speicherallokierung und/oder den Zugriff auf Systemressourcen, wie beispielsweise ein Datennetzwerk, kompatibel ist.
Gemäß einer Weiterentwicklung umfasst eine der Teststufen, dass das Modell mit einer Kopie der Fahrfunktion gekoppelt betrieben wird (so genanntes SIL - Software in the loop). Die Prüfung auf Fehlerfreiheit umfasst dabei, dass eine Konformität von Ausgabedaten des Modells zu einem von der Fahrfunktion benötigten Eingabeformat bestätigt wird oder erkannt wird. Mit anderen Worten wird sichergestellt, dass die Ausgabedaten des Modells, also das Erkennungsergebnis oder Detektionsergebnis, von der Fahrfunktion verarbeitet oder verstanden werden kann. Somit können beispielsweise Formatfehler bei der Strukturierung der Ausgabedaten detektiert werden. Diese Teststufe kann beispielsweise der beschriebenen Teststufe betreffend die Laufzeitumgebung, in der Kaskade nachgeschaltet sein.
Gemäß einer Weiterbildung umfasst eine der Teststufen, dass das Modell in einem Betriebssystem betrieben wird, wie es die Prozessorschaltung des Kraftfahrzeugs ebenfalls vorsieht. Als Betriebssystem kann beispielsweise ein Android-Betriebssystem oder Linux-Betriebssystem oder ein Echtzeit-Betriebssystem (z.B. RTLinux) vorgesehen sein. Die Fehlerfreiheit ist dann gegeben, falls erkannt wird, dass eine Konformität zu dynamischen Funktionsbibliotheken (so genannte Shared-Objects „.so" oder Dynamic Link Libraries ".dll") und/oder eine Konformität in Bezug auf Einsprungschnittstellen in das Betriebssystem (so genannte Syscalls) gegeben ist. Mit anderen Worten wird in der Teststufe überprüft, ob beim Aufrufen der Funktionsbibliotheken und/oder der Syscalls ein Laufzeitfehler verursacht wird oder nicht. In letzterem Fall ist die Fehlerfreiheit gegeben, ansonsten nicht. Diese Teststufe kann der vorstehend beschriebenen Teststufe betreffend die Kopplung mit der Fahrfunktion in der Kaskade nachgeschaltet sein. Ein Fehler in dieser Teststufe kann z.B. mittels eines Debugger-Programms und/oder anhand von Laufzeitfehlern und/oder Fehler-Log-Einträgen erkannt werden.
Eine Weiterentwicklung umfasst, dass eine der Teststufen umfasst, dass das Modell in einer virtuellen Maschine und/oder in einem Emulator betrieben wird, welcher eine Schaltungshardware der Prozessorschaltung nachbildet, also derjenigen Hardware-Plattform oder Hardware-Umgebung, die auch im Kraftfahrzeug für den Betrieb des Modells vorgesehen ist. Die Fehlerfreiheit umfasst in diesem Fall, dass ein bestimmungsgemäßer Zugriff auf die Schaltungshardware und/oder eine korrekte Interpretation eines Signalformats von Signalen der Schaltungshardware erkannt wird oder bestätigt wird. Muss also das Modell beispielsweise ein Sensorsignal aus einem Sensor der Schaltungshardware empfangen, so kann dies in der virtuellen Maschine und/oder dem Emulator simuliert oder nachgestellt werden und überprüft werden, ob das Modell das Signalformat korrekt interpretiert. Auch ein Zugriff auf die Schaltungshardware, beispielsweise eine Netzwerkkarte, kann dahingehend überprüft werden, ob sich ein Laufzeitfehler ergibt. Diese Teststufe ist bevorzugt der vorgehend beschriebenen Teststufe betreffend das Betriebssystem nachgeschaltet. Hierzu können Testsignale bekannten Inhalts an das Modell übergegeben werden und/oder überprüft werden, ob eine den Testsignalen jeweils zugeordnete Reaktion des Modells eintritt.
Eine Weiterentwicklung sieht vor, dass eine der Teststufen umfasst, dass das Modell in der Prozessorschaltung selbst während eines Betriebs des Kraftfahrzeugs, aber parallel zu einem aktuell mit der Fahrfunktion gekoppelten Modell betrieben wird. Mit anderen Worten wird das neu zu installierende Modell als Schattenmodell oder als zweites Modell parallel oder gleichzeitig mit dem bisher verwendeten und noch mit der Fahrfunktion gekoppelten Modell betrieben. Die Fehlerfreiheit ist dann gegeben, falls erkannt wird, dass ein Unterschied von Modellausgaben der Modelle (also des aktuellen Modells und des neu zu installierenden Modells) kleiner als ein vorbestimmter Schwellenwert ist. Da sich im Fahrbetrieb keine Ground-Truth-Informationen ergeben, sondern als Testdaten die aktuellen Sensordaten des zumindest einen Umfeldsensors des Kraftfahrzeugs verwendet werden, kann für die Teststufe als Referenzdaten zum Erkennen der Fehlerfreiheit die ebenfalls verfügbare Modellausgabe des aktuell installierten Modells verwendet werden. Es kann eine Metrik oder ein Maß zum Vergleichen dieser beiden Modellausgaben definiert werden, wie dies aus dem Stand der Technik an sich bekannt ist. Der Fachmann kann einen Schwellenwert festlegen, der beispielsweise in einem Datenspeicher gespeichert ist und der festlegt, für welche Unterschiedswerte Fehlerfreiheit für das neu zu installierende Modell vorliegt. Diese Stufe ist bevorzugt die letzte Stufe in der Kaskade.
Eine Weiterentwicklung umfasst, dass für den Fall, dass in einer Teststufen anstelle der Fehlerfreiheit des Modells ein Fehler bei einem Betrieb des Modells erkannt wird, die Inkompatibilität des Modells mit derjenigen Betriebskomponente signalisiert wird, die in der Teststufe vorhanden ist, aber in der vorangegangenen Teststufe fehlt. Mit anderen Worten wird identifiziert, durch welche Betriebskomponente sich im Kraftfahrzeug ein Fehler ergeben würde. Dies ergibt eine sehr effiziente Fehlersuche. Als potentielle Betriebskomponenten ergeben sich in der beschriebenen Weise die Testdaten der ersten Teststufe, Laufzeitumgebung, die nachgeschaltete Fahrfunktion, das Betriebssystem, die simulierte Hardware, die Prozessorschaltung des Steuergeräts im Parallelbetrieb. Es können also 6 Teststufen bereitgestellt werden.
Eine Weiterentwicklung umfasst, dass die besagte Umfeldüberwachung die beschriebene Objektdetektion von Objekten in einem Umfeld des Kraftfahrzeugs umfasst. Als Objekte können beispielsweise Verkehrszeichen und/oder Fahrspuren und/oder Verkehrsteilnehmer detektiert werden. Das Modell führt für diese Objektdetektion in der beschriebenen Weise eine Objekterkennung und/oder eine semantische Segmentierung durch. Entsprechend ist das Modell für die Objekterkennung und/oder semantische Segmentierung trainiert. Dies kann in an sich bekannter Weise mittels der Trainingsplattform durchgeführt werden. Insgesamt ergibt sich somit ein Modell für eine Computer-Vision-Verarbeitung von Eingangsdaten, also beispielsweise den Sensordaten zumindest eines Umfeldsensors des Kraftfahrzeugs.
Um eine Teststufe zu implementieren oder zu realisieren, umfasst eine Weiterentwicklung, dass in der jeweiligen Teststufe das Modell betrieben wird und in dem Modell die beschriebenen Testdaten als Eingabedaten oder Eingangsdaten übergeben werden. Das Modell führt dann im Betrieb auf diesen Eingangsdaten die Objektdetektion durch. Die Testdaten können entweder vorbereitete Datensätze sein oder in der beschriebenen letzten Teststufe Sensordaten, die durch zumindest einen Umfeldsensor des Kraftfahrzeugs während des Betriebs des Kraftfahrzeugs zustande kommen oder erzeugt werden. Die Teststufe umfasst also eine simulierte Umfeldüberwachung mit Testdaten. Als Ausgabedaten für das Erkennen der Fehlerfreiheit kann zusätzlich oder alternativ zur beschriebenen Erkennung von Laufzeitfehlern und/oder Zugriffsfehlern ein Vergleich der Ausgabedaten mit vorbestimmten Referenzdaten durchgeführt werden und die Fehlerfreiheit nur dann bestätigt werden, falls ein Unterschied der Ausgabedaten zu den Referenzdaten kleiner als ein vorbestimmter Schwellenwert ist. Der Schwellenwert kann vom Fachmann dahingehend festgelegt werden, welcher Datentyp als Ausgabedaten verwendet wird, hierbei einen Schwellenwert festlegen, der je nach automatisierter Fahrfunktion und/oder Anwendungsumgebung vom Fachmann akzeptiert wird. Als Ausgabedaten und als Referenzdaten können jeweils beispielsweise das eigentliche Erkennungsergebnis oder Detektionsergebnis, also entsprechend Detektionsdaten, und/oder eine Erkennungsquote (beispielsweise welcher Anteil an Objekten in dem Umfeld korrekt erkannt oder überhaupt erkannt wurden) und/oder eine Konfidenz verwendet werden. Die Konfidenz ist im Zusammenhang mit dem Betrieb von Modellen des Maschinellen Lernens bekannt, sie definiert beispielsweise einen Prozentsatz, der angibt, wie sicher oder aussagekräftig das Detektionsergebnis ist. Ein Beispiel für die Konfidenz ist die epistemische Unsicherheit (Epistemic Uncertainty). Der Schwellenwert kann in einem Datenspeicher der Testplattform gespeichert sein.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Eine weitere Lösung der Erfindung umfasst ein computerlesbares Speichermedium, aufweisend Programminstruktionen, die bei Ausführung durch zumindest einen Mikroprozessor den zumindest einen Mikroprozessor veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der zumindest eine Mikroprozessor ist in der beschriebenen Weise Bestandteil der Testplattform. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher realisiert sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
Auch die Testplattform stellt eine durch die Erfindung bereitgestellte Lösung dar. Bevorzugt ist die Testplattform zusammengesetzt aus einem Backendserver für ein Kraftfahrzeug und das Kraftfahrzeug selbst, wobei die Testplattform die besagten Mikroprozessoren aufweist, von denen zumindest einer im Backendserver und zumindest einer im Kraftfahrzeug vorgesehen ist. Beispielsweise kann im Kraftfahrzeug als ein oder zumindest ein Mikroprozessor derjenige der Prozessorschaltung vorgesehen sein, wie dies in der beschriebenen bevorzugten letzten Teststufe vorgesehen ist. Die Testplattform weist bevorzugt das besagte Speichermedium mit den Programminstruktionen auf, um eine Ausführungsform des Verfahrens zu implementieren, und/oder die Testplattform ist allgemein dazu eingerichtet, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.
Die Prozessorschaltung des Kraftfahrzeug und/oder die Testplattform kann jeweils zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung und/oder die Testplattform Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung bzw. die Testplattform die beschriebenen Verfahrensschritte durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung bzw. der Testplattform gespeichert sein.
Die beschriebene bevorzugte letzte Teststufe sieht den parallelen Betrieb des neu zu installierenden Modells und des derzeit aktuell für die Umfeldüberwachung installierten Modells vor. Um diese Teststufe zu realisieren oder ausführen zu können, umfasst die Erfindung auch ein Kraftfahrzeug für die Testplattform, wobei das Kraftfahrzeug die Prozessorschaltung zum Betreiben eines Modells des Maschinellen Lernens umfasst und die Prozessorschaltung dazu eingerichtet ist, dem Modell für eine Umfeldüberwachung Sensordaten zumindest eines Umfeldsensors des Kraftfahrzeugs zuzuführen und eine Modellausgabe des Modells, also Detektionsdaten von zumindest einem Objekt im Umfeld oder der Umgebung des Kraftfahrzeugs, an eine automatisierte Fahrfunktion weiterzuleiten. Bei dem Modell handelt es sich um das aktuell installierte oder verwendete Modell für die Fahrfunktion.
Die Prozessorschaltung ist dabei des Weiteren dazu eingerichtet, ein neu zu installierendes, trainiertes Modell des Maschinellen Lernens aus einem Backendserver der Testplattform zu empfangen und das neu zu installierende Modell in der Prozessorschaltung während eines Betriebs des Kraftfahrzeugs parallel zu dem aktuell mit der Fahrfunktion gekoppelten Modell zu betreiben und eine Fehlerfreiheit des zu installierenden Modells zu überprüfen, die umfasst, dass ein Unterschied von Modellausgaben der Modelle kleiner als der beschriebene Schwellenwert ist. Dieser Parallelbetrieb oder Schattenbetrieb des neu zu installierenden Modells hat sich als besonders zuverlässige Teststufe erwiesen.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Der beschriebene Backendserver kann in der beschriebenen Weise als Computerserver aus einem Computer oder einem Verbund mehrerer Computer realisiert sein, wie er beispielsweise als Internetserver betrieben werden kann. Der Backendserver kann mit der Prozessorschaltung des Kraftfahrzeugs beispielsweise über eine Internetverbindung und/oder eine Funkverbindung, beispielsweise eine Mobilfunkverbindung und/oder eine WLAN-Funkverbindung gekoppelt sein, um Modelldaten des Modells in die Prozessorschaltung zu übertragen.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt die einzige Figur:

Fig. eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Testplattform, die eine Ausführungsform des erfindungsgemäßen Verfahrens durchführen kann.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In der Figur bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
Die Figur zeigt eine Testplattform 10, mittels welcher ein Modell 11 des Maschinellen Lernens, insbesondere ein künstliches neuronales Netzwerk für einen Installationsvorgang zum Installieren in einem Kraftfahrzeug 12 getestet oder verifiziert werden kann. Das Modell 11 kann durch eine Trainingsplattform 13 auf der Grundlage von Trainingsdaten 14 mittels eines Trainingsalgorithmus 15 trainiert worden sein. Im Falle eines künstlichen neuronalen Netzwerks kann als Trainingsalgorithmus 15 beispielsweise ein Backpropagation-Training durchgeführt worden sein. In an sich bekannter Weise kann durch die Trainingsplattform 13 mittels des Trainings eine Computer-Vision-Verarbeitung von Sensordaten zumindest eines Sensors 16 eines Kraftfahrzeugs 12 in das Modell 11 eintrainiert worden sein. Auch die Trainingsdaten 14 können beispielsweise auf solchen Sensordaten 17 beruhen, die bei einer Testfahrt aufgenommen worden sein können.
In dem Kraftfahrzeug 12 kann eine Prozessorschaltung 18 vorgesehen sein, die beispielsweise als Bestandteil eines Steuergeräts des Kraftfahrzeugs 12 ausgestaltet sein kann. Durch die Prozessorschaltung 18 kann mittels eines darin installierten Modells 19 des Maschinellen Lernens mittels der Computer-Vision-Verarbeitung der Sensordaten 17 eine Objektdetektion, beispielsweise eine Objekterkennung und/oder semantische Segmentierung, durchgeführt werden, wodurch sich eine Modellausgabe 20 ergibt, welche ein Detektionsergebnis für die Sensordaten 17 sein kann, also beispielsweise eine Beschreibung der in den Sensordaten 17 erkannten Objekte aus einer Umgebung 21 des Kraftfahrzeugs 12. Der zumindest eine Sensor 16 kann hierzu mit einem Erfassungsbereich in die Umgebung 21 ausgerichtet sein. Der zumindest eine Sensor 16 kann beispielsweise eine Kamera und/oder einen Ultraschallsensor und/oder mehrere solcher Sensoren umfassen.
Die Modellausgabe 20 kann an eine automatisierte Fahrfunktion F ausgegeben oder übergeben werden, welche auf Grundlage der Modellausgabe 20 eine Fahrtrajektorie zum Führen des Kraftfahrzeugs 12 in Bezug auf Längsführung (Beschleunigen und Bremsen) und/oder Querführung (Lenken) berechnen kann, um das Kraftfahrzeug 12 kollisionsfrei durch die Umgebung 21 zu lenken oder zu führen oder zu steuern. Auf Grundlage der ermittelten Trajektorie kann zumindest eine Aktuatorik A des Kraftfahrzeugs 12 durch die Fahrfunktion F gesteuert werden. Die Aktuatorik A kann beispielsweise ein Motorsteuergerät und/oder ein aktives Lenksystem und/oder ein Bremssystem umfassen, um das Kraftfahrzeug 12 gemäß der Trajektorie in Bezug auf Fahrweg und/oder Geschwindigkeitsprofil anzutreiben.
Um das bisher verwendete Modell 19 durch das neu trainierte Modell 11 zu ersetzen, muss zunächst die Tauglichkeit oder fehlerfreie Funktionsfähigkeit des Modells 11 im Zusammenhang mit der Prozessorschaltung 18 geprüft werden.
Bei der Testplattform 10 kann dies durch mehrere Testschichten oder Teststufen 30 durchgeführt werden, die es ermöglichen, das Modell 11 derart systematisch zu testen, dass bei Entstehen oder Erkennen eines Fehlers oder eines Mangels in der Funktionsfähigkeit des Modells 11 auch signalisiert werden kann, wo oder durch welche Betriebskomponente der Fehler entstanden ist. Die Testplattform 10 kann hierzu auch die Prozessorschaltung 18 des Kraftfahrzeugs 12 nutzen. Des Weiteren kann zumindest ein weiterer Mikroprozessor 31, also auch ein Mikroprozessor 31, der von einem Mikroprozessor der Prozessorschaltung 18 verschieden ist, genutzt werden. Beispielsweise kann der zumindest eine Mikroprozessor 31 in einem Backendserver 32 für das Kraftfahrzeug 12 vorgesehen sein.
Die Teststufen 30 können eine erste Teststufe T1 umfassen, in welcher mittels Testdaten 33 das Modell 11 unabhängig von den im Kraftfahrzeug 12 vorhandenen technischen Randbedingungen geprüft werden kann.
In einer Teststufe T2 kann auf Grundlage der Testdaten 33 oder anderer Testdaten als eine Betriebskomponente 34 eine Laufzeitumgebung RTE für den Betrieb des Modells 11 genutzt werden. Die Laufzeitumgebung RTE entspricht dabei einer Laufzeitumgebung, wie sie auch in der Prozessorschaltung 18 für den Betrieb des Modells 19 verwendet wird.
In einer Teststufe T3 kann als eine nachgeschaltete Software SW ein die Fahrfunktion F als weitere Betriebskomponente 34 ergänzt werden. Somit kann die Verträglichkeit der Modellausgabe 36 des Modells 11 für die Fahrfunktion F geprüft werden.
In einer Teststufe T4 kann das Modell 11 in einem Betriebssystem OS (Operating System) ausgeführt werden, wie es auch in der Prozessorschaltung 18 für den Betrieb oder das Ausführen des Modells 11 genutzt wird. Somit kann die Verträglichkeit des Modells 11 in Bezug auf die Betriebssystem-Bibliotheken und/oder Betriebssystem-Systemaufrufe (Syscalls) und damit beispielsweise die genutzten Einsprungadressen in den Speicher des Betriebssystems und/oder die Anordnung von Parametern im Speicher beim Aufrufen eines Systemaufrufs Syscall geprüft werden. Somit kann eine Konformität der Speicherungsstruktur von zu übergebenden Parametern des Modells 11 an das Betriebssystem OS geprüft werden.
In einer Teststufe T5 kann der Einfluss der in dem Kraftfahrzeug 12 genutzten Hardware, beispielsweise des zumindest einen Sensors 16 und/oder der Prozessorschaltung 18 und/oder der Aktuatorik A, überprüft werden. Hierzu kann als eine weitere Betriebskomponente eine virtuelle Nachbildung oder Emulation der Hardware HW beim Betrieb des Modells 11 diesem bei einer Interaktion beim Empfangen von Signalen und/oder beim Ausgeben von Signalen zugrunde gelegt werden.
Die bisher beschriebenen Teststufen T1 bis T5 können die Betriebskomponenten der jeweils vorangehenden Teststufen akkumulieren oder beibehalten, sodass immer mehr Betriebskomponenten berücksichtigt werden, wie dies in der Figur symbolisch dargestellt ist. Alternativ dazu kann jeweils nur eine der zu prüfenden Betriebskomponenten pro Teststufe vorhanden sein.
In einer Teststufe T6 kann das Modell 11 in dem Kraftfahrzeug 12 parallel oder gleichzeitig mit dem Modell 19 übertragen werden und mit den Sensordaten 17 beaufschlagt oder betrieben oder versorgt werden. Hierdurch ergibt sich im Kraftfahrzeug 12 sowohl die Modellausgabe 20 des Modells 19 als auch die Modellausgabe 36 des Modells 11 während des Betriebs des Kraftfahrzeugs 12. Durch eine Vergleichsfunktion 37 kann überprüft werden, ob ein Unterschied zwischen den Modellausgaben 20, 36 kleiner als ein Schwellenwert 38 ist. In diesem Fall kann signalisiert werden, dass das Modell 11 funktionsfähig oder geeignet ist. Daraufhin kann ein Installieren des Modells 11 anstelle des Modells 19 durchgeführt werden und somit ab der Installation das Modell 11 in der Prozessorschaltung 18 für das Erzeugen der Modellausgabe für die Fahrfunktion F genutzt werden und somit im Fahrbetrieb eingesetzt werden.
Die Teststufen T1 bis T5 können beispielsweise auf der Grundlage einer Software für den Mikroprozessor oder die mehreren Mikroprozessoren 31 genutzt werden. Der Betrieb des Modells 11 im Kraftfahrzeug 12 kann durch eine Software für die Prozessorschaltung 18 oder für eine weitere, parallel oder gleichzeitig betriebene Prozessorschaltung vorgesehen sein. Die Vergleichsfunktion 37 kann ebenfalls auf der Grundlage einer Software implementiert sein.
Die Teststufen T1 bis T6 bzw. die Teststufen T2 bis T6 stellen eine Kaskade aus Teststufen T1 bis T6 bzw. T2 bis T6 dar, die von dem Modell 11 durchlaufen wird.
Ergibt sich in einer der Teststufen T1 bis T6 ein Fehler oder liegt ein Unterschied zu einem erwarteten Soll-Ergebnis oder einer Soll-Modellausgabe oberhalb eines Schwellenwerts, so kann signalisiert werden, in welcher Teststufe T1 bis T6 sich diese Erkennung der mangelnden Funktionstüchtigkeit oder Funktionsfähigkeit oder mangelnden Fehlerfreiheit ergeben hat. Für diese Teststufe T1 bis T6 kann dann signalisiert werden, dass das Modell 11 nicht geeignet oder nicht fehlerfrei ist. Da in dieser Teststufe T1 bis T6 eine vorbekannte Betriebskomponente 34 hinzugekommen ist, ist erkennbar oder signalisierbar, mit welcher Betriebskomponente 34 das Modell 11 inkompatibel ist. Somit kann das Modell 11 gezielt für den Betrieb mit dieser Betriebskomponente oder zusammen für diese Betriebskomponente 34 angepasst werden.
Insgesamt zeigen die Beispiele, wie ein gestuftes oder geschichtetes Testen eines Modells des Maschinellen Lernens bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018207565 A1 [0005]
WO 2021/037957 A1 [0006]

Claims

Verfahren zum Installieren eines mittels einer Trainingsplattform (13) trainierten Modells (11) des Maschinellen Lernens in eine Prozessorschaltung (18) eines Kraftfahrzeugs (12), wobei durch das Installieren eine automatisierte Fahrfunktion (F) des Kraftfahrzeugs (12) für eine Umfeldüberwachung mit dem Modell (11) gekoppelt wird, dadurch gekennzeichnet, dass durch eine prozessorbasierte Testplattform: - das Modell (11) aus der Trainingsplattform (13) empfangen wird und - das Modell (11) über mehrere, in einer Kaskade kaskadierten Teststufen (30), von denen jede im Vergleich zu der ihr in der Kaskade unmittelbar vorangehenden Teststufe eine weitere, in der Trainingsplattform (13) fehlende und in der Prozessorschaltung (18) vorhandenen Betriebskomponente (34) aufweist, mit jeweiligen Testdaten (33) getestet wird und - das Modell (11) in der Reihenfolge der Kaskade nacheinander in den Teststufen (30) auf eine vorbestimmte Fehlerfreiheit getestet wird und - nur wenn für das Modell (11) in der jeweiligen Teststufe die jeweilige Fehlerfreiheit bestätigt wird, die nächste Teststufe durchgeführt wird, - und nur wenn für alle Teststufen (30) die jeweilige Fehlerfreiheit bestätigt wird, das Modell (11) mit der automatisierten Fahrfunktion (F) gekoppelt und für die Umfeldüberwachung betrieben wird.
Verfahren nach Anspruch 1, wobei eine Teststufe (T2) der Teststufen (30) umfasst, dass das Modell (11) in einer Laufzeitumgebung (21), RTE, betrieben wird, wie sie auch für den Betrieb des Modells (11) im Kraftfahrzeug (12) vorgesehen ist, und die Fehlerfreiheit ein störungsfreies Laufzeitverhalten des Modells (11) definiert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Teststufe (T3) der Teststufen (30) umfasst, dass das Modell (11) mit einer Kopie der Fahrfunktion (F) gekoppelt betrieben wird und die Fehlerfreiheit eine Konformität von Ausgabendaten des Modells (11) zu einem von der Fahrfunktion (F) benötigten Eingabeformat umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Teststufe (T4) der Teststufen (30) umfasst, dass das Modell (11) in einem Betriebssystem, OS, wie es die Prozessorschaltung (18) des Kraftfahrzeugs (12) vorsieht, betrieben wird und die Fehlerfreiheit eine Konformität zu dynamischen Funktionsbibliotheken und/oder Einsprungschnittstellen in das Betriebssystem umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Teststufe (T5) der Teststufen (30) umfasst, dass das Modell (11) in einer virtuellen Maschine und/oder in einem Emulator, welcher eine Schaltungshardware der Prozessorschaltung (18) nachbildet, betrieben wird und die Fehlerfreiheit einen bestimmungsgemäßen Zugriff auf die Schaltungshardware und/oder eine korrekte Interpretation eines Signalformats von Signalen der Schaltungshardware umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Teststufe (T6) der Teststufen (30) umfasst, dass das Modell (11) in der Prozessorschaltung (18) während eines Betriebs des Kraftfahrzeugs (12) parallel zu einem aktuell mit der Fahrfunktion gekoppelten Modell (19) betrieben wird und die Fehlerfreiheit umfasst, dass ein Unterschied von Modellausgaben (20, 36) der Modelle (11, 19) kleiner als ein vorbestimmter Schwellenwert (38) ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei falls in einer der Teststufen (30) anstelle der Fehlerfreiheit des Modells (11) ein Fehler bei einem Betrieb des Modells (11) erkannt wird, eine Inkompatibilität des Modells (11) mit der in der Teststufe vorhandenen und in der vorangegangenen Teststufe fehlenden Betriebskomponente (34) signalisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umfeldüberwachung eine Objektdetektion von Objekten in einem Umfeld des Kraftfahrzeugs (12), insbesondere eine Verkehrszeichenerkennung und/oder Fahrspurerkennung und/oder Verkehrsteilnehmererkennung, umfasst und das Modell (11) hierzu für eine Objekterkennung und/oder eine semantische Segmentierung trainiert ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in der jeweiligen Teststufe das Modell (11) betrieben wird und dem Modell (11) die Testdaten (33) als Eingangsdaten übergeben werden und - Ausgabedaten des Modells (11) mit vorbestimmten Referenzdaten verglichen werden und nur dann eine Fehlerfreiheit bestätigt wird, falls ein Unterschied der Ausgabedaten zu den Referenzdaten kleiner als ein vorbestimmter Schwellenwert (38) ist, wobei als Ausgabedaten und als Referenzdaten jeweils ein Erkennungsergebnis und/oder ein Erkennungsquote und/oder eine Konfidenz verwendet wird und/oder - nur dann eine Fehlerfreiheit bestätigt wird, falls ein Laufzeitfehler und/oder Zugriffsfehler beim Betrieb des Modells (11) ausbleibt.
Computerlesbares Speichermedium aufweisend Programminstruktionen, die bei Ausführen durch zumindest einen Mikroprozessor (31) den zumindest einen Mikroprozessor (31) zu veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Testplattform umfassend einen Backendserver (32) für ein Kraftfahrzeug (12) und das Kraftfahrzeug (12), wobei die Testplattform Mikroprozessoren (31) aufweist, von denen zumindest einer im Backendserver (32) und zumindest einer im Kraftfahrzeug (12) vorgesehen ist, wobei die Testplattform ein Speichermedium gemäß Anspruch 10 aufweist und/oder dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.
Kraftfahrzeug (12) für eine Testplattform nach Anspruch 11, aufweisend eine Prozessorschaltung (18) zum Betreiben eines Modells (19) des Maschinellen Lernens, wobei die Prozessorschaltung (18) dazu eingerichtet ist, dem Modell (19) für eine Umfeldüberwachung Sensordaten (17) zumindest eines Umfeldsensors (16) des Kraftfahrzeugs (12) zuzuführen und eine Modellausgabe (20) des Modells (19) an eine automatisierte Fahrfunktion (F) weiterzuleiten, dadurch gekennzeichnet, dass die Prozessorschaltung (18) dazu eingerichtet ist, ein neu zu installierendes trainiertes Modell (11) aus einem Backendserver (32) der Testplattform (10) zu empfangen und das neu zu installierende Modell (11) in der Prozessorschaltung (18) während eines Betriebs des Kraftfahrzeugs (12) parallel zu einem aktuell mit der Fahrfunktion gekoppelten Modell (19) zu betreiben und eine Fehlerfreiheit des zu installierenden Modells (11) zu überprüfen, die umfasst, dass ein Unterschied von Modellausgaben (20, 36) der Modelle (11, 19) kleiner als ein vorbestimmter Schwellenwert (38) ist.