DE102022112194A1

DE102022112194A1 - Konvertierungsvorrichtung und Verfahren zum Konvertieren eines vorgegebenen Modells eines Maschinellen Lernens in ein vorgegebenes Ausgabeformat sowie zugehörigen computerlesbares Speichermedium

Info

Publication number: DE102022112194A1
Application number: DE102022112194.1A
Authority: DE
Inventors: Johannes Dumler; Andreas Wittmann; Norbert Kroth; Manuel Schwonberg; Kevin Jonczyk; Christian Aust; Tillmann Radmer; Ulrich Pech; Dmitry Zarubin; Jan Zawadzki; Daniel Graff
Original assignee: Volkswagen AG; Cariad SE
Current assignee: Volkswagen AG; Cariad SE
Priority date: 2022-05-16
Filing date: 2022-05-16
Publication date: 2023-11-16

Abstract

Die Erfindung betrifft eine Konvertierungsvorrichtung (50) zum Konvertieren eines vorgegebenen Modells des Maschinellen Lernens von einem vorhandenen Eingabeformat in ein vorgegebenes Ausgabeformat, wobei eine Prozessorschaltung (11) der Konvertierungsvorrichtung (50) dazu eingerichtet ist, das vorgegebene Modell von dem Eingabeformat durch Betreiben einer Konvertierungsfunktion (51) in das Ausgabeformat umzuwandeln und hierdurch ein umgewandeltes Modell zu erzeugen. Die Erfindung sieht vor, dass die Prozessorschaltung (11) dazu eingerichtet ist, nach dem Ausführen der Konvertierungsfunktion (51) auf der Grundlage von vorgegebenen Testdaten (52) einen Vergleichstest (61) zwischen dem vorgegebenen Model und dem umgewandelten Modell durchzuführen und damit einen Unterschied (62) zwischen dem vorgegebenen Modell und dem umgewandelten Modell zu ermitteln und für das umgewandelte Modell in einem Ergebnissignal (65) zu signalisieren, wie groß der Unterschied (62) zum vorgegebenen Modell ist und/oder ob der Unterschied (62) größer als ein vorbestimmter Schwellenwert ist.

Description

Die Erfindung betrifft eine Konvertierungsvorrichtung zum Konvertieren eines vorgegebenen Modells des Maschinellen Lernens, beispielsweise eines künstlichen neuronalen Netzwerks, von einem ersten Format, nämlich einem vorhandenen Eingabeformat, in welchem Modelldaten des Modells gespeichert sind, in ein zweites Format, nämlich ein vorgegebenes Ausgabeformat, in welchem die Modelldaten des Modells benötigt werden. Die Konvertierung kann dazu führen, dass das Modell sein Betriebsverhalten ändert, weil beispielsweise eine Bit-Genauigkeit (z.B. von 32bit auf 16bit) reduziert wird. Zu der Erfindung gehören auch ein Verfahren und ein Speichermedium zum Implementieren des Verfahrens in einer Prozessorschaltung einer Konvertierungsvorrichtung.
Nachdem ein Modell des Maschinellen Lernens, beispielsweise ein künstliches neuronales Netzwerk, mittels einer Trainingsplattform auf Grundlage eines Training-Algorithmus, beispielsweise einer Back-Propagation, trainiert worden ist, muss das trainierte Modelle an eine Erkennungsplattform oder Inferenzplattform übertragen werden, die beispielsweise in einem Kraftfahrzeug für eine Umgebungsüberwachung betrieben wird, um eine automatisierte Fahrfunktion bereitzustellen. Das Format, in welchem die Modelldaten des trainierten Modells durch die Trainingsplattform bereitgestellt werden, kann sich allerdings von dem Format der Modelldaten unterscheiden, die von der jeweiligen Inferenzplattform für den Betrieb des Modells zum Verarbeiten von Sensordaten benötigt wird, beispielsweise für eine Computer-Vision-Verarbeitung (Objektdetektion und/oder semantische Segmentierung). Daher kann eine Konvertierungsvorrichtung vorgesehen sein, über welche die Trainingsplattform und die jeweilige Inferenzplattform gekoppelt sein können. Die Konvertierungsvorrichtung kann auf der Grundlage einer Software mittels einer Prozessorschaltung das Format der Modelldaten des trainierten Modells von einem Eingabeformat (wie von der Trainingsplattform bereitgestellt) in ein Ausgabeformat (wie von der jeweiligen Inferenzplattform benötigt) umwandeln.
Anschließend muss nach der Implementierung des umgewandelten Modells in der Inferenzplattform noch ein Leistungstest oder ein abschließender Test der Inferenzplattform mit dem implementierten Modell durchgeführt werden, um sicherzustellen, dass die beim Training des Modells erreichten Erkennungsergebnisse oder Erkennungsleistung auch nach dem Implementieren in der Inferenzplattform verfügbar ist oder -anders herum ausgedrückt- keine unvorhergesehene Leistungsschwäche oder Erkennungsschwäche beim Übertragen des Modells entstanden ist.
Aus der US 2020/035 6895 A1 ist bekannt, ein Modell des Maschinellen Lernens nach dem Trainieren und/oder Übertragen in ein anderes System automatisch zu testen. Dies kann es erforderlich machen, zusätzliches Trainingsmaterial bereitzustellen, das in der Inferenzplattform, beispielsweise einem Kraftfahrzeug, verarbeitet werden kann, um diesen abschließenden Test durchzuführen. Hiermit kann ein unerwünschter Aufwand verbunden sein.
Aus der US 2020/0184376 A1 ist bekannt, in einem Workflow intermediäre Daten, die Zwischenergebnisse des Workflows angeben, dauerhaft abzuspeichern, um im Falle von Problemen oder Fehlern im Nachhinein nachvollziehen zu können, an welcher Stelle der Fehler in dem Workflow aufgetreten ist.
Aus der CN 113 4242 07 A1 ist bekannt, Zwischenergebnisse beim Betrieb von Modellen des Maschinellen Lernens abzuspeichern und wieder zu verwenden und damit Rechenzeit zu sparen.
Der Erfindung liegt die Aufgabe zugrunde, eine Veränderung im Verhalten eines Modells des Maschinellen Lernens aufgrund einer Übertragung und/oder Anpassung des Modells in einer Inferenzplattform, beispielsweise einem Steuergerät oder einer Steuerschaltung eines Kraftfahrzeugs, überwachen zu können.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen oder Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren.
Als eine Lösung umfasst die Erfindung eine Konvertierungsvorrichtung zum Konvertieren eines vorgegebenen Modells des Maschinellen Lernens von einem vorhandenen ersten Format (hier als Eingabeformat bezeichnet) in ein vorgegebenes zweites Format (hier als Ausgabeformat bezeichnet). Mit anderen Worten liegen die Modelldaten des Modells in dem ersten Format oder Eingabeformat vor und sollen durch die Konvertierungsvorrichtung in ein zweites Format oder Ausgabeformat umgewandelt werden. Als Modell kann beispielsweise ein künstliches Neuronales Netzwerk vorliegen. Eine Prozessorschaltung der Konvertierungsvorrichtung ist dazu eingerichtet, das vorgegebene Modell von dem Eingabeformat durch Betreiben einer Konvertierungsfunktion in das Ausgabeformat umzuwandeln und hierdurch ein umgewandeltes Modell (also die Modelldaten eines solchen umgewandelten Modells) zu erzeugen. Die Konvertierungsfunktion kann in aus dem Stand der Technik bekannter Weise ausgestaltet sein.
Die Erfindung beruht auf der Erkenntnis, dass bei einer solchen Konvertierung oder Umwandlung eines Modells von einem ersten Format in ein davon verschiedenes zweites Format eine Verhaltensänderung des Modells in Bezug auf die Erkennungsleistung oder Computer-Vision-Verarbeitung erfolgen kann. Unter Computer-Vision-Verarbeitung wird hier insbesondere eine Objektdetektion oder Objekterkennung einerseits und/oder eine semantische Segmentierung andererseits verstanden.
Um mit geringem Aufwand erkennen oder überwachen zu können, in welchem Ausmaß sich eine Veränderung des Verhaltens des Modells durch die Konvertierung ergibt, ist die Prozessorschaltung dazu eingerichtet, nach dem Ausführen der Konvertierungsfunktion auf der Grundlage von vorgegebenen Testdaten einen Vergleichstest zwischen dem vorgegebenen Modell (also dem Modell im Eingabeformat) und dem umgewandelten Modell (also dem Modell im Ausgabeformat) durchzuführen und damit einen Unterschied zwischen dem vorgegebenen Modell und dem umgewandelten Modell zu ermitteln. Entsprechend wird für das umgewandelte Modell durch die Prozessorschaltung der Konvertierungsvorrichtung mittels eines Ergebnissignals signalisiert, wie groß der Unterschied zum vorgegebenen Modell ist und/oder ob der Unterschied größer als ein vorbestimmter Schwellenwert ist. In anderen Worten wird in dem Signal eine quantifizierte Angabe (wie groß) zu dem Unterschied angegeben und/oder es wird ein (qualitatives) Ergebnis eines Schwellenwertvergleichs signalisiert.
Durch die Erfindung ergibt sich der Vorteil, dass ein relativer Vergleich zwischen den beiden Modellen durchgeführt wird. Es braucht lediglich eine Veränderung im Verhalten des Modells aufgrund der Konvertierung erkannt werden, indem das Verhalten des vorgegebenen Modells mit dem Verhalten des umgewandelten Modells verglichen wird. Somit kann auch in einem mehrstufigen Trainingsprozess erkannt werden, ob durch eine darin durchgeführte Konvertierung eine unbeabsichtigte Verhaltensänderung des Modells eingeführt wird. Denn durch die Erfindung ergibt sich der Vorteil, dass die Konvertierungsvorrichtung zu dem umgewandelten Modell mittels des Ergebnissignals signalisiert, um wie viel das Modell nach der Konvertierung in seinem Verhalten oder in seiner Erkennungsleistung oder seinen Ausgabedaten von dem vorgegebenen Modell abweicht. Es kann dann entschieden werden, insbesondere automatisiert entschieden werden, ob das umgewandelte Modell weitergeleitet wird an eine Inferenzplattform, wo das Modell zum Analysieren oder Verarbeiten von Sensordaten betrieben wird, beispielsweise in einer Inferenzplattform eines Kraftfahrzeugs. Unter einer Inferenzplattform ist in der beschriebenen Weise eine Steuerschaltung zu verstehen, die das Modell für eine Computer-Vision-Verarbeitung nutzt, um beispielsweise mittels der durch diese Computer-Vision-Verarbeitung der Sensordaten erzeugten Ergebnisdaten (beispielsweise Angabe von erkannten oder detektierten Objekten und/oder Segmentierung eines Bildinhalts) eine Fahrtrajektorie für ein automatisiertes Fahren des Kraftfahrzeugs zu berechnen.
Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
Gemäß einer Weiterentwicklung umfasst der besagte Vergleichstest zum Vergleichen des vorgegebenen Modells mit dem umgewandelten Modell, dass auf den vorgegebenen Testdaten die besagte Computer-Vision-Verarbeitung und/oder eine Regressions-Verarbeitung mittels des vorgegebenen Modells durchgeführt und hierdurch mittels des vorgegebenen Modells erste Modellausgabedaten erzeugt werden. In derselben Weise werden auf den vorgegebenen Testdaten die Computer-Vision-Verarbeitung und/oder die Regressions-Verarbeitung mittels des umgewandelten Modells durchgeführt und hierdurch mittels des umgewandelten Modells zweite Modellausgabedaten erzeugt. Anhand der Modellausgabedaten wird dann der Unterschied zwischen den ersten Modellausgabedaten und den zweiten Modellausgabedaten berechnet. Indem ein solcher Vergleichstest durchgeführt wird, kann durch Berechnen eines Unterschieds zwischen den ersten und den zweiten Modellausgabedaten der Unterschied quantifiziert werden und damit in vorteilhafter Weise für eine computerbasierte Verarbeitung ausgedrückt oder beschrieben werden. Die Testdaten können beispielsweise Sensordaten, insbesondere Bilddaten sein, die zumindest eine Fahrsituation oder allgemein eine Umgebungssituation beschreiben, in welcher zumindest ein Objekt, beispielsweise ein Kraftfahrzeug oder ein Fußgänger oder ein Radfahrer, in einer Umgebung abgebildet ist. In den Testdaten kann auch beispielsweise zumindest eine Verkehrs-Infrastrukturkomponente, beispielsweise eine Straße und/oder eine Leitplanke und/oder ein Verkehrsschild und/oder eine Fahrbahnmarkierung abgebildet sein. Durch die Computer-Vision-Verarbeitung werden in den Modellausgabedaten beispielsweise ein Erkennungsergebnis oder Detektionsergebnis und/oder eine Segmentierung beschrieben, durch die angegeben ist, welche Objekte welchen Objekttyps und/oder wo in dem jeweiligen Bild sich das jeweilige Objekt befindet. Weiter Beispiele für Modellausgabedaten sind weiter unten beschrieben.
Um anhand solcher Modellausgabedaten einen Vergleich durchführen zu können, muss entsprechend ein KPI (Key Performance Index) oder Bewertungsmaßstab vorgesehen sein. Gemäß einer Weiterentwicklung ist hierzu vorgesehen, dass der Vergleichstest umfasst, dass die jeweiligen Modellausgabedaten das beschriebene Erkennungsergebnis der Objekterkennung und/oder der semantischen Segmentierung und/oder einer Autoencodierung (Textur und/oder Strukturerkennung) umfassen und der Unterschied eine Anzahl der erkannten Objekte und/oder ein Objekttyp der erkannten Objekte und/oder eine Kontur (Umriss) der erkannten Objekte angibt. Im Falle einer Kontur kann durch den Flächenvergleich erkannter Konturen bildpunktweise festgestellt werden, welche Bildpunkte oder Pixel in einem durch die Testdaten gegebenen Bild einem Objekt eines bestimmten Objekttyps zugeordnet ist. Durch den jeweiligen Differenzwert zwischen der Anzahl und/oder dem Pixel einer Kontur ergibt sich dann ein Wert, der für die Berechnung des Unterschied zugrunde gelegt werden kann.
Eine zusätzliche oder alternative Form eines Vergleichstests ergibt sich gemäß einer Weiterentwicklung, indem die jeweiligen Modellausgabedaten Aktivierungswerte von künstlichen Neuronen von zumindest einer Zwischenschicht des jeweiligen Modells enthalten. Ein Aktivierungswert ist ein Eingabewert oder Ausgabewert einer Aktivierungsfunktion, die in einem künstlichen Neuron bereitgestellt ist. Der Unterschied wird dann berechnet, indem jeweilige Differenzwerte korrespondierender Aktivierungswerte (also eines jeweiligen Aktivierungswertes der ersten Modellausgabedaten und ein gleich bedeutender Aktivierungswert der zweiten Modellausgabedaten) und/oder eine Quadratsumme der Differenzwerte berechnet wird. Somit ist für den Vergleichstest auf Grundlage der Aktivierungswerte keine Berechnung eines Erkennungsergebnisses notwendig, sondern es wird ein Zwischenzustand in zumindest einer Zwischenschicht des jeweiligen Modells für den Vergleich ausgewertet.
Der Vergleichstest kann unabhängig von Ground-Truth-Informationen zu den Testdaten lediglich als relativer Vergleich der Modellausgabedaten ausgestaltet sein. Es ist somit nicht notwendig, die beschriebenen Labelingdaten bereitzustellen oder zu erzeugen, um eine Verarbeitung der Testdaten durch das umgewandelte Modell zu überprüfen oder zu bewerten.
In einer Weiterentwicklung ist vorgesehen, dass die Konvertierungsvorrichtung dazu eingerichtet ist, die ersten Ergebnisdaten und die zweiten Ergebnisdaten mittels ein und derselben Abspeicherroutine in einen Datenspeicher zu speichern. Mit anderen Worten wird dieselbe Software oder werden dieselben Programminstruktionen und nur diese dazu verwendet, sowohl die ersten Ergebnisdaten als auch die zweiten Ergebnisdaten abzuspeichern. Hierdurch wird verhindert, dass beim Vorgang oder dem Schritt des Abspeicherns der Ergebnisdaten eine Verfälschung oder Veränderung derselben in unterschiedlicher Weise für das vorgegebene Modell und das umgewandelte Modell erfolgt. Dies würde die Bewertung der Modelle oder deren Vergleich verfälschen, was nun verhindert ist.
Gemäß einer Weiterentwicklung ist vorgesehen, dass in der Konvertierungsvorrichtung beim Einlesen oder Vorbereiten der Testdaten ein und derselbe Vorverarbeitungspfad (Verarbeitungspipeline) für das Einlesen der Testdaten sowohl für das vorbestimmte Modell als auch für das umgewandelte Modell bereitgestellt ist. Mit anderen Worten ist sichergestellt, dass dieselbe Software oder dieselben Programm instruktionen auf die Testdaten angewendet werden, wenn einerseits das vorbestimmte Modell und andererseits das umgewandelte Modell betrieben wird, um die jeweiligen Modellausgabedaten zu erzeugen. Hierdurch ist sichergestellt, dass beide Modelle mit exakt denselben Daten oder Bitmustern beaufschlagt oder konfrontiert werden.
In einer Weiterentwicklung umfasst die besagte Konvertierungsfunktion eine Bitreduktion einer Anzahl Bits pro Datenwert für zumindest einen Parameter des Modells beim Umwandeln des vorgegebenen Modells in das umgewandelte Modell. Mit anderen Worten ist eine Auflösung oder Quantisierung des jeweiligen Datenwerts des zumindest einen Parameters verändert oder reduziert. Hierdurch ergibt sich mit großer Wahrscheinlichkeit eine Veränderung im Verhalten des Modells. Dennoch bedeutet dies nicht, dass bei einem Vergleich der Ergebnisdaten oder Modellausgabedaten das umgewandelte Modell als unzureichend oder unzulässig bewertet wird. Durch Festsetzen des beschriebenen Schwellenwerts beim Überprüfen des Unterschieds zwischen den ersten und den zweiten Modellausgabedaten kann durch den Fachmann festgelegt werden, um welchen Wert die Ergebnisdaten voneinander abweichen dürfen, um dennoch das umgewandelte Modell als geeignet für den Betrieb zu bewerten.
Eine Weiterentwicklung umfasst, dass Daten von Zwischenschritten der Konvertierungsfunktion und/oder des Vergleichstests in einem Datenspeicher dauerhaft abgespeichert werden. Wird dann durch das Ergebnissignal signalisiert, dass das umgewandelte Modell einen zu großen Unterschied aufweist (größer als der Schwellenwert), so kann im Nachhinein nachvollzogen werden, an welcher Stelle sich Unterschiede bei der Verarbeitung ergeben haben.
Die Erfindung umfasst auch ein Verfahren, wie es sich beim Betrieb der Konvertierungsvorrichtung ergibt. Mit anderen Worten umfasst das Verfahren, das die Prozessorschaltung der Konvertierungsvorrichtung ein vorgegebenes Modell des Maschinellen Lernens von einem Eingabeformat durch Betreiben einer Konvertierungsfunktion in das Ausgabeformat umwandelt und hierdurch ein umgewandeltes Modell erzeugt. Als Modell des Maschinellen Lernens kann bei der Erfindung insbesondere ein künstliches neuronales Netzwerk und/oder ein Decision-Tree-Modell konvertiert werden. Nach dem Ausführen der Konvertierungsfunktion in das Ausgabeformat umwandelt und hierdurch ein umgewandeltes Modell erzeugt. Auf der Grundlage von vorgegebenen Testdaten wird ein Vergleichstest zwischen dem vorgegebenen Modell und dem umgewandelten Modell durchgeführt und dadurch ein Unterschied zwischen dem vorgegebenen Modell und dem umgewandelten Modell ermittelt, insbesondere was Modellausgabedaten oder Ergebnisdaten angeht. Für das umgewandelte Modell wird in der beschriebenen Weise mittels eines Ergebnissignals signalisiert, wie groß der Unterschied zum vorgegebenen Modell ist und/oder ob der Unterschied größer als ein vorbestimmter Schwellenwert ist.
Das erfindungsgemäße Verfahren umfasst dabei auch Weiterentwicklungen oder zusätzliche Merkmale, wie sie im Zusammenhang mit den Weiterentwicklungen der Konvertierungsvorrichtung bereits beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des Verfahrens hier nicht noch einmal beschrieben. Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Um das Verfahren in einer Prozessorschaltung einer Konvertierungsvorrichtung zu implementieren, umfasst die Erfindung auch ein computerlesbares Speichermedium aufweisend Programminstruktionen, die bei Ausführen durch die Prozessorschaltung diese veranlassen, eine Ausführungsform des Verfahrens durchzuführen. Die Prozessorschaltung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung darstellen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. ganz oder teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform eines Systems mit einer Konvertierungsvorrichtung; und
2 ein Flussschaudiagramm zur Veranschaulichung eines Verfahrens, wie es durch die Konvertierungsvorrichtung durchgeführt werden kann.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 beschreibt ein System 10 mit einer Prozessorschaltung 11 und zumindest einem Fahrzeug 12. 1 zeigt zwei Fahrzeuge 12 und symbolisiert durch Auslassungspunkte 13, dass die Anzahl der Fahrzeuge 12 auch mehr als zwei sein kann. Die Prozessorschaltung 11 kann im Internet I als Backend für die Fahrzeuge 12 betrieben werden. Das jeweilige Fahrzeug 12 kann dabei ein Kraftwagen, insbesondere ein Personenkraftwagen oder Lastkraftwagen, oder ein Roboter, beispielsweise ein Fertigungsroboter, sein. Das System umfasst bevorzugt mehrere Fahrzeuge 12, von denen jedes in der im Folgenden beschriebenen Weise ausgestaltet sein kann.
In dem jeweiligen Fahrzeug 12 kann für eine automatisierte Fahrfunktion 14 vorgesehen sein, die Steuerdaten 15 für eine Aktuatorik 16 zum Führen des Fahrzeugs 12 erzeugen kann. Die Aktuatorik 16 kann in bekannter Weise in Abhängigkeit von den Steuerdaten 15 eine Längsführung (Beschleunigen und/oder Bremsen) und/oder eine Querführung (Lenken) des Fahrzeugs 12 bewirken oder ausführen. Die Steuerdaten 15 können durch die automatisierte Fahrfunktion 14 automatisiert erzeugt werden, d.h. ohne eine Zutun eines Fahrers, wodurch das Fahrzeug 12 selbsttätig oder automatisiert das Fahrzeug 12 führen kann. Die automatisierte Fahrfunktion 14 kann eine Fahrerassistenzfunktion sein (z.B. eine Einparkhilfe und/oder eine Spurhalteassistenz) und/oder eine autonome Fahrfunktion (Autopilot).
Zum Erzeugen der Steuerdaten 15 kann vorgesehen sein, dass von dem Fahrzeug 12 aus dessen Umgebung 17 überwacht wird, um darin vorhandene Objekte 18, beispielsweise andere Verkehrsteilnehmer und/oder Hindernisse, und zusätzlich oder alternativ dazu einen Fahrweg 19 und/oder Fahrwegsmarkierungen zu erkennen und daraufhin die Steuerdaten 15 für eine kollisionsfreie Fahrt zu planen und zu erzeugen. Die Steuerdaten 15 können eine entsprechende Fahrtrajektorie umsetzen.
Die Umgebung 17 kann mittels zumindest eines Umgebungssensors 20 des Fahrzeugs 12 erfasst werden, der beispielsweise zumindest eine Kamera umfassen kann und dessen Erfassungsbereich 21 in die Umgebung 17 ausgerichtet sein kann. Durch den jeweiligen Umgebungssensor 20 kann die Umgebung 17 jeweils zyklisch oder wiederholt erfasst werden und die Umgebung 17 dabei jeweils durch einen Sensordatensatz 22 abgebildet oder beschrieben sein, z.B. durch ein jeweiliges Kamerabild.
Auf Grundlage des jeweiligen Sensordatensatzes 22 kann durch eine Steuerschaltung 23 des Fahrzeugs 12 mittels eines Modells M des maschinellen Lernens eine Computer-Vision-Verarbeitung 24 des Sensordatensatzes 22 erfolgen, um mittels einer Objekterkennung und/oder semantischen Segmentierung aus dem jeweiligen Sensordatensatz 22 Erkennungsdaten 25 mit einem Erkennungsergebnis zu erzeugen, welches das zumindest eine Objekt 18 und/oder den Fahrweg 19 beschreibt. Dies ist an sich aus dem Stand der Technik bekannt. Die Steuerschaltung 23 kann durch ein Steuergerät (ECU - electronic control unit) oder einen Verbund mehrere Steuergeräte des Fahrzeugs 12 realisiert sein. Die Steuerschaltung stellt eine Inferenzplattform P dar, die das Modell M des Maschinellen Lernens betreibt, um die Computer-Vision-Verarbeitung durchzuführen (Englisch: inference).
Mittels der Erkennungsdaten 25 des Erkennungsergebnisses kann die automatisierte Fahrfunktion 14 in an sich bekannter Weise beispielsweise die besagte Fahrtrajektorie berechnen, aus welcher oder auf deren Grundlage die Steuerdaten 15 für die Aktuatorik 16 erzeugt werden können.
Vor dem Betrieb des Modells M im Fahrzeug 12 kann das Modell M durch die Prozessorschaltung 11 mittels eines an sich bekannten Trainingsalgorithmus einer Trainingsplattform 30 trainiert oder erzeugt worden sein. Dies kann in an sich bekannter Weise auf der Grundlage von Trainingsdatensätzen 31 erfolgt sein, zu denen zusätzlich in an sich bekannter Weise Labeldaten 32 bereitgestellt worden sein können, die Soll-Ergebnisdaten 25' darstellen, um den Trainingsalgorithmus betreiben zu können. Auf Grundlage der Trainingsdatensätze 31 und der Labeldaten 32 kann mittels des Algorithmus der Trainingsplattform 30 das Modell M beispielsweise mittels Back-Propagation trainiert oder erzeugt worden sein. 1 veranschaulicht, wie das Modell M als künstliches neuronales Netzwerk ANN (artificial neural network) mit einem Autoencoder 33 und einem Decoder 34 (FCN - fully connnected network) in an sich bekannter Weise ausgestaltet worden sein kann. Das fertig trainierte Modell M kann über eine Kommunikationsverbindung C zu dem jeweiligen Fahrzeug 12 übertragen werden. Hierzu kann in dem Fahrzeug 12 jeweils eine Kommunikationsschaltung W vorgesehen sein, die beispielsweise ein Mobilfunkmodul und/oder ein WLAN-Funkmodul (WLAN - Wireless local network) umfassen kann. Die Kommunikationsverbindung C kann eine Internetverbindung umfassen.
Durch die Trainingsplattform kann das Modell M in einem ersten Format erzeugt oder bereitgestellt worden sein, das hier als Eingabeformat E bezeichnet ist. Dagegen kann bei der Inferenzplattform P der Steuerschaltung 23 des Fahrzeugs 12 notwendig sein, dass das Modell M in einem zweiten Format vorliegen muss, das hier als Ausgabeformat A bezeichnet ist. Die Trainingsplattform 30 und die Inferenzplattform P können daher über eine Konvertierungsvorrichtung 50 miteinander gekoppelt sein, welche das Modell M im Eingabeformat E empfängt und dieses in das Ausgabeformat A umwandelt oder konvertiert. Hierzu kann die Konvertierungsvorrichtung 50 eine Konvertierungsfunktion 51 aufweisen, die beispielsweise als eine Software oder Computerprogrammmodul ausgestaltet und durch die Prozessorschaltung 11 ausgeführt sein kann. Die Konvertierungsfunktion 51 kann vorsehen, dass in dem Modell M Modellparameter beispielsweise in der Anzahl an Bits reduziert oder verändert werden (beispielsweise Konvertierung 32 Bit auf 16 Bit) und/oder wobei die Interpretation von Bytefolgen anders erfolgt (beispielsweise von RGB - Rot, Grün, Blau - Umwandlung in BGR - Blau, Grün, Rot) und/oder Parameter andere Bezeichnungen aufweisen. Trotz einer Konvertierung in der Konvertierungsvorrichtung 50 mittels der Konvertierungsfunktion 51 kann bei dem System 10 sichergestellt werden, dass die Computer-Vision-Verarbeitung 24 in der Inferenzplattform P zu einem vorgegebenen Unterschiedsmaß oder Unterschied sich im Vergleich zu dem Ergebnis des Trainingsalgorithmus der Trainingsplattform 30 um nicht mehr als ein vorgegebener Schwellenwert verändert oder abweicht.
Hierzu kann die Konvertierungsvorrichtung 50 in der in 2 dargestellten Weise beispielhaft ausgestaltet werden.
Durch die Trainingsplattform 30 kann das Modell M im Eingabeformat E auf einem Datenträger oder in einem Datenspeicher D bereitgestellt werden. Mittels der Konvertierungsfunktion 51 kann das Modell konvertiert oder angepasst werden und auf der in dem Datenspeicher D als Modell M im Ausgabeformat A gespeichert werden. Die Konvertierung an sich kann als ein Vorgang ausgestaltet sein, wie er im Stand der Technik bekannt ist.
Um nun sicherzustellen, dass das Modell M im Ausgabeformat A ein Betriebsverhalten oder eine Erkennungsleistung bereitstellt, die bei der Computer-Vision-Verarbeitung von Sensordaten nur um höchstens einen Unterschied oder vorbestimmten maximalen Unterschied oder Schwellenwert von der Erkennungsleistung oder der Computer-Vision-Verarbeitung des Modells M im Eingabeformat abweicht, sind in der Konvertierungsvorrichtung 50 bevorzugt noch die folgenden Verarbeitungsschritte implementiert.
Es können vorgegebene Testdaten 52 bereitgestellt sein, die in der Weise ausgestaltet sein können wie die Trainingsdatensätze 31 und/oder wie die Sensordatensätze 22, für welche das Modell M eingesetzt werden soll. Mittels eines Vorverarbeitungspfads 53 können die Testdaten 52 vorverarbeitet oder aufbereitet werden, um sie für eine Computer-Vision-Verarbeitung bereitzustellen. Diese kann sowohl für das Modell M im Eingabeformat E als erste Inferenz 54 durchgeführt werden sowie durch das Modell M im Ausgabeformat A als zweite Inferenz 55. Um das entsprechende Modell M in einen Datenspeicher der Konvertierungsvorrichtung 50 zu laden, kann für das Modell M im Eingabeformat E eine erste Ladefunktion 56 und für das Modell M im Ausgabeformat A eine zweite Ladefunktion 57 vorgesehen sein, wobei sich die Ladefunktionen 56 und 57 sich dahingehend unterscheiden, dass sie das jeweilige Format des Modells M berücksichtigen. Durch die erste Inferenz 54 können Ergebnisdaten 58 erzeugt werden, durch die zweite Inferenz Ergebnisdaten 59.
Zum Abspeichern der Ergebnisdaten 58, 59 kann hierbei dieselbe Abspeicherroutine 60 vorgesehen sein, um eine Verfälschung der Ergebnisdaten 58, 59 zu verhindern. Somit liegen im Datenspeicher D das Modell M im Ausgabeformat A sowie Ergebnisdaten 58 des Modells M im Eingabeformat E und Ergebnisdaten 59 des Modells M im Ausgabeformat A bereit. Es kann nun ein Vergleichstest 61 der Ergebnisdaten 58, 59 durchgeführt werden, durch welchen sich Unterschiedsdaten ergeben, die einen Unterschied 62 zwischen den Ergebnisdaten 58, 59 beschreiben. Zusätzlich oder alternativ kann der Unterschied 62 quantifiziert werden. Das Ergebnis des Vergleichs 63 kann als ein Ergebnissignal 65 in den Datenspeicher D abgespeichert werden. Um zu steuern, welcher Unterschied berechnet wird, können entsprechende KPI als Konfigurationsdaten 66 vorgegebenen sein (KPI - Key Performance Index).
Entsprechend signalisiert das Ergebnissignal 65 die ermittelten KPls. Somit steht zu dem umgewandelten Modell M im Ausgabeformat A auch das Ergebnissignal 65 zur Verfügung, anhand welchem entschieden werden kann, ob das umgewandelte Modell M im Ausgabeformat A in der Inferenzplattform P eines Fahrzeugs 12 in dessen Steuerschaltung 23 betrieben werden kann und/oder mit welcher Qualität die Computer-Vision-Verarbeitung 24 mit dem umgewandelten Modell M im Ausgabeformat A zu erwarten ist oder durchgeführt werden kann. Somit ist sichergestellt, dass durch die Konvertierungsfunktion 51 der sich ergebende Unterschied oder die Veränderung im Verhalten bei der Computer-Vision-Verarbeitung des Modells M durch das Ergebnissignal 65 bekanntgegeben oder beschrieben ist und somit eine Überwachung des Konvertierungsvorgangs ermöglicht ist.
System zur Konvertierung eines Maschinenlern-Modells von einem ersten Format in zumindest ein zweites Format, wobei nunmehr während eines Konvertierungsprozesses sämtliche Zwischenergebnisse auf einem Speichermedium gespeichert und automatische Regressionsprüfungen zwischen den Formaten durchgeführt werden, so dass ein rückverfolgbarer bzw. für nachfolgende weitere Konvertierungsprozesse wiedernutzbarer generischer Prozessablauf und eine generische Evaluierung relevanter Leistungskennzahlen (KPls) unter Verzicht auf gekennzeichnete Daten ermöglicht werden können.
Insgesamt zeigen die Beispiele, wie eine generische, überprüfbare Architektur für eine Konvertierung von Modellen des Maschinellen Lernens mit integriertem Vergleichstest bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20200356895 A1 [0004]
US 20200184376 A1 [0005]
CN 113424207 A1 [0006]

Claims

Konvertierungsvorrichtung (50) zum Konvertieren eines vorgegebenen Modells des Maschinellen Lernens von einem vorhandenen Eingabeformat in ein vorgegebenes Ausgabeformat, wobei eine Prozessorschaltung (11) der Konvertierungsvorrichtung (50) dazu eingerichtet ist, das vorgegebene Modell von dem Eingabeformat durch Betreiben einer Konvertierungsfunktion (51) in das Ausgabeformat umzuwandeln und hierdurch ein umgewandeltes Modell zu erzeugen, dadurch gekennzeichnet, dass die Prozessorschaltung (11) dazu eingerichtet ist, nach dem Ausführen der Konvertierungsfunktion (51) auf der Grundlage von vorgegebenen Testdaten (52) einen Vergleichstest (61) zwischen dem vorgegebenen Model und dem umgewandelten Modell durchzuführen und damit einen Unterschied (62) zwischen dem vorgegebenen Modell und dem umgewandelten Modell zu ermitteln und für das umgewandelte Modell in einem Ergebnissignal (65) zu signalisieren, wie groß der Unterschied (62) zum vorgegebenen Modell ist und/oder ob der Unterschied (62) größer als ein vorbestimmter Schwellenwert ist.
Konvertierungsvorrichtung (50) nach Anspruch 1, wobei der Vergleichstest (61) umfasst, dass auf den vorgegebenen Testdaten (52) eine Computer-Vision-Verarbeitung (24) und/oder eine Regressions-Verarbeitung mittels des vorgegebenen Modells durchgeführt wird und hierdurch mittels des vorgegebenen Modells erste Ergebnisdaten (58) erzeugt werden, und auf den vorgegebenen Testdaten (52) die Computer-Vision-Verarbeitung (24) und/oder die Regressions-Verarbeitung mittels des umgewandelten Models durchgeführt wird und hierdurch mittels des umgewandelten Models zweite Ergebnisdaten (58) erzeugt werden und der Unterschied (62) zwischen den ersten Ergebnisdaten (58) und den zweiten Ergebnisdaten (58) berechnet wird.
Konvertierungsvorrichtung (50) nach Anspruch 2, wobei der Vergleichstest (61) umfasst, dass die jeweiligen Ergebnisdaten (58) ein Erkennungsergebnis einer Objekterkennung und/oder einer semantischen Segmentierung und/oder einer Autoencodierung umfassen und der Unterschied (62) eine Anzahl der erkannten Objekte (18) und/oder ein Objekttyp der erkannten Objekte (18) und/oder eine Kontur der erkannten Objekte (18) angibt.
Konvertierungsvorrichtung (50) nach Anspruch 2 oder 3, wobei der Vergleichstest (61) umfasst, dass die jeweiligen Ergebnisdaten (58) Aktivierungswerte von künstlichen Neuronen von zumindest einer Zwischenschicht des jeweiligen Modells enthalten und der Unterschied (62) jeweilige Differenzwerte korrespondierender Aktivierungswerte und/oder eine Quadratsumme der Differenzwerte angibt.
Konvertierungsvorrichtung (50) nach einem der Ansprüche 2 bis 4, wobei der Vergleichstest (61) unabhängig von Ground-Truth-Informationen zu den Testdaten (52) als relativer Vergleich der Ergebnisdaten (58) ausgestaltet ist.
Konvertierungsvorrichtung (50) nach Ansprüche 2 bis 5, wobei die Konvertierungsvorrichtung (50) dazu eingerichtet ist, die ersten Ergebnisdaten (58) und die zweiten Ergebnisdaten (58) mittels ein und derselben Abspeicherroutine (60) in einen Datenspeicher zu speichern.
Konvertierungsvorrichtung (50) nach einem der vorhergehenden Ansprüche, wobei in der Konvertierungsvorrichtung (50) ein und derselbe Vorverarbeitungspfad für das Einlesen der Testdaten (52) sowohl für das vorbestimmte Modell als auch für das umgewandelte Model bereitgestellt ist.
Konvertierungsvorrichtung (50) nach einem der vorhergehenden Ansprüche, wobei die Konvertierungsfunktion (51) eine Bitreduktion einer Anzahl Bits pro Datenwert für zumindest einen Parameter beim Umwandeln des vorgegebenen Modells umfasst.
Konvertierungsvorrichtung (50) nach einem der vorhergehenden Ansprüche, wobei Daten von Zwischenschritten der Konvertierungsfunktion (51) und/oder des Vergleichstest (61) in einem Datenspeicher dauerhaft abgespeichert werden.
Verfahren zum Betreiben einer Konvertierungsvorrichtung (50) nach einem der vorhergehenden Ansprüche, wobei eine Prozessorschaltung (11) der Konvertierungsvorrichtung (50) ein vorgegebenes Modell des Maschinellen Lernens von dem Eingabeformat durch Betreiben einer Konvertierungsfunktion (51) in das Ausgabeformat umwandelt und hierdurch ein umgewandeltes Modell erzeugt, dadurch gekennzeichnet, dass die Prozessorschaltung (11) nach dem Ausführen der Konvertierungsfunktion (51) auf der Grundlage von vorgegebenen Testdaten (52) einen Vergleichstest (61) zwischen dem vorgegebenen Model und dem umgewandelten Modell durchführt und dadurch einen Unterschied (62) zwischen dem vorgegebenen Modell und dem umgewandelten Modell ermittelt und für das umgewandelte Modell in einem Ergebnissignal (65) signalisiert, wie groß der Unterschied (62) zum vorgegebenen Modell ist und/oder ob der Unterschied (62) größer als ein vorbestimmter Schwellenwert ist.
Computerlesbares Speichermedium aufweisend Programminstruktionen, die bei Ausführen durch eine Prozessorschaltung (11) diese Veranlassen, ein Verfahren nach Anspruch 10 durchzuführen.