-
Die Erfindung betrifft eine Konvertierungsvorrichtung, mittels welcher Modelle des Maschinellen Lernens aus einem jeweiligen ersten Format (Eingabeformat) in ein jeweiliges zweites Format (Ausgabeformat) umgewandelt werden können. Beispielsweise kann hierdurch ein Modell, das mittels einer Trainingsplattform erzeugt wurde und im Eingabeformat vorliegt, in ein Ausgabeformat umgewandelt werden, das für den Betrieb des Modells auf einer Inferenzplattform zum Durchführen einer Computer-Vision-Verarbeitung von Sensordaten benötigt wird. Die Erfindung betrifft auch ein System, in welchem Trainingsplattformen über die Konvertierungsvorrichtung mit Inferenzplattformen gekoppelt sind, sowie ein Verfahren und ein Computerprogramm, um die Konvertierungsvorrichtung zu betreiben.
-
Beim Maschinellen Lernen (ML) wird ein Modell des Maschinellen Lernen (ML-Modell) zunächst trainiert und später im Produktionsbetrieb eingesetzt. In der Regel werden in diesen beiden Phasen unterschiedliche Frameworks oder Plattformen eingesetzt, die unterschiedliche Dateiformate oder Binärdateien für das Modell verwenden. Daher ist eine Konvertierung vom Format der Trainingsdatei (Eingabeformat) in das Format der Einsatzdatei/Binärdatei (Ausgabeformat) erforderlich.
-
Außerdem können für verschiedene Modelle unterschiedliche Trainingsframeworks oder Trainingsplattformen wünschenswert sein, so dass m Trainingsplattformen vorhanden sein können. Außerdem können für verschiedene Einsatzhardware verschiedene Einsatz-Frameworks oder Inferenzplattformen wünschenswert sein, so dass n Inferenzplattformen vorhanden sein können. m und n sind jeweils die Anzahl, wobei m und/oder n jeweils insbesondere größer als 2 ist. Um nun jedes Modell auf jeder Hardware einsetzen zu können, benötigt eine Konvertierungsvorrichtung m × n Konvertierungsfunktionen.
-
Wenn eine solche Konvertierungsvorrichtung dahingehend erweitert werden soll, dass sie ein neues Eingabeformat verarbeiten kann oder ein neues Ausgabeformat erzeugen kann, so ist für die Implementierung eines neuen Eingabeformats ein Satz von insgesamt n Konvertierungsfunktionen notwendig, um das neue Eingabeformat in alle n Ausgabeformate umwandeln zu können. Soll ein neues Ausgabeformat implementiert werden, so ist insgesamt ein Satz von m Konvertierungsfunktionen notwendig, um alle m Eingabeformate in das neue Ausgabeformat umwandeln zu können. Dies macht die Implementierung und das Testen der erweiterten Konvertierungsvorrichtung aufwendig.
-
Aus der
US 2019/0244 253 A1 ist ein Informationssammelsystem bekannt, das aus unterschiedlichen Datenquellen Informationen sammelt und diese an eine Informationsverarbeitung weitergibt. Vor der Weitergabe werden die eingesammelten Daten in ein Standardformat umgewandelt, das von der Informationsverarbeitungseinrichtung verarbeitet werden kann.
-
Der Erfindung liegt die Aufgabe zugrunde, bei einer Konvertierungsvorrichtung für Modelle des Maschinellen Lernens eine Funktionsprüfung der Konvertierungsvorrichtung für die einzelnen Eingabeformate und Ausgabeformate sowie insbesondere die Implementierung neuer Eingabeformate oder Ausgabeformate zu vereinfachen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen oder Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
-
Als eine Lösung umfasst die Erfindung eine Konvertierungsvorrichtung, die in der beschriebenen Weise zum Konvertieren von Modellen des Maschinellen Lernens von jeweils einem aus mehreren vorbestimmten Eingabeformaten (erstes Formate) in jeweils eines aus mehreren vorbestimmten Ausgabeformaten (zweite Formate) vorgesehen ist. Es können beispielsweise insgesamt m Eingabeformate durch die Konvertierungsvorrichtung verarbeitet werden vorgesehen sein, wobei m insbesondere gleich 2 oder größer als 2 ist. Durch die Konvertierungsvorrichtung kann ein Modell in ein Ausgabeformat umgewandelt werden, wobei insgesamt n Ausgabeformate angeboten oder vorgesehen sein können, wobei n gleich 2 oder insbesondere größer als 2 ist. Die Konvertierungsvorrichtung kann für das Umwandeln eine Prozessorschaltung aufweisen. Zum Umwandeln des jeweiligen Modells von dem jeweiligen Eingabeformat in das jeweilige Ausgabeformat enthält diese Prozessorschaltung eine Software, die hier als Umwandlungslogik bezeichnet ist. Sie kann auf der Grundlage von Programminstruktionen für die Prozessorschaltung realisiert sein.
-
Um nun für ein gegebenes Eingabeformat oder ein gegebenes Ausgabeformat zu in einfacher Weise überprüfen zu können, ob die Umwandlung der Modelle des Maschinellen Lernens durch die Umwandlungslogik korrekt ist, oder eine vereinfachte Erweiterung um ein neues Eingabeformat oder Ausgabeformat zu ermöglichen, ist folgende Struktur für die Umwandlungslogik vorgesehen.
-
Die Umwandlungslogik ist aus Programmroutinen gebildet, die Empfangsroutinen und Ausgaberoutinen darstellen, das heißt, die jeweilige Umwandlung ist aufgeteilt in eine bestimmte Empfangsroutine und eine bestimmte Ausgaberoutine, die paarweise die Umwandlung bilden. Jede der Empfangsroutinen wandelt jeweils eines der Eingabeformate in ein gemeinsames Zwischenformat um. Jede der Ausgaberoutinen wandelt das Zwischenformat in jeweils eines der Ausgabeformate um. Um also eine Umwandlung von einem gegebenen Eingabeformat in ein gegebenes Ausgabeformat zu erhalten, wird jeweils eine Empfangsroutine (diejenige für das gegebene Eingabeformat) mit jeweils einer Ausgaberoutine (für das gewünschte oder geforderte Ausgabeformat) kombiniert. Die Empfangsroutine und die Ausgaberoutinen tauschen Daten über das Zwischenformat aus, das für alle Empfangsroutinen und Ausgaberoutinen dasselbe ist. Die Konvertierungsvorrichtung ist entsprechend dazu eingerichtet, das jeweilige Modell durch kombiniertes Betreiben der entsprechenden Empfangsroutine für das Eingabeformat des Modells (in welchem das Eingabemodell vor der Umwandlung vorliegt) und der Ausgaberoutine für das Ausgabeformat des Modells (in welches das Modell umgewandelt werden soll) umzuwandeln.
-
Durch die Erfindung ergibt sich der Vorteil, dass zum Überprüfen, ob die Konvertierungsvorrichtung ein vorgegebenes Eingabeformat korrekt verarbeitet, nur die Überprüfung einer einzelnen Empfangsroutine und nicht die Überprüfung von n Konvertierungsfunktionen notwendig ist, da lediglich verifiziert oder überprüft werden muss, ob das Eingabeformat korrekt in das Zwischenformat umgewandelt wird. Entsprechend ergibt sich der Vorteil beim Überprüfen eines Ausgabeformats, da lediglich die Überprüfung einer einzelnen Ausgaberoutine notwendig ist, um zu verifizieren, ob das Zwischenformat korrekt in das Ausgabeformat umgewandelt wird. Auch beim Implementieren eines neuen Eingabeformats oder Ausgabeformats ist jeweils nur das Bereitstellen einer einzelnen Empfangsroutine beziehungsweise Ausgaberoutine notwendig. Somit vereinfacht sich das Überprüfen und Erweitern der Konvertierungsvorrichtung, da jeweils nur eine einzelne Empfangsroute beziehungsweise Ausgaberoutine geprüft beziehungsweise implementiert werden muss.
-
Das jeweilige Format für die Modelldaten eines Modells kann sich z.B. auf eine Anzahl Bits für eine Zahlendarstellung (z.B. 32-bit Integer oder 16-bit Integer) und/oder eine Reihenfolge und/oder Benennung von Parametern des Modells und/oder eine Datenkompression und/oder ein Dateiformat der Modelldaten beziehen, um nur Beispiele zu nennen.
-
Die Erfindung umfasst auch Weiterbildungen oder Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Weiterentwicklung umfasst, dass die Prozessorschaltung dazu eingerichtet ist, zum Steuern der Umwandlung Konfigurationsdaten zu empfangen, die das Eingabeformat des Modells und das Ausgabeformat des Modells ohne Angabe des Zwischenformats angeben. Mit anderen Worten muss mittels der Konfigurationsdaten nicht die konkrete Kombination aus Empfangsroutine und Ausgaberoutine angegeben werden. Es reicht, das vorliegenden Eingabeformat des Modells und das gewünschte Ausgabeformat für das Modell anzugeben. Die Prozessorschaltung ist dazu eingerichtet, selbsttätig die Empfangsroutine und Ausgaberoutine auszuwählen, die gemäß den Konfigurationsdaten benötigt werden, um das angegebene Eingabeformat in das gewünschte Ausgabeformat zu konvertieren. Mit anderen Worten kann die Struktur der Umwandlungslogik mit der Kombination der Empfangsroutinen und Ausgaberoutinen gekapselt oder abstrahiert sein, so dass ein Benutzer der Konvertierungsvorrichtung keine Kenntnis über das Zwischenformat haben muss.
-
Als weitere Lösung umfasst die Erfindung ein Verfahren zum Betreiben einer Ausführungsform der beschriebenen Konvertierungsvorrichtung. Durch den Betrieb werden (nacheinander oder parallel/gleichzeitig) Modelle des Maschinellen Lernens in jeweils zumindest eines aus mehrere Ausgabenformaten umgewandelt. Jedes der Modelle liegt dabei in einem aus mehreren vorbestimmten Eingabeformaten vor. Die vorbestimmten Eingabeformate und die vorbestimmten Ausgabeformate sind all diejenigen, für die jeweils die Umwandlungslogik programmiert oder ausgestaltet ist, das heißt, es liegt für die vorbestimmten Eingabeformate jeweils eine Empfangsroutine und für die vorbestimmten Ausgabeformate jeweils eine Ausgaberoutine vor. Durch die Prozessorschaltung der Konvertierungsvorrichtung werden Modelldaten des jeweiligen umzuwandelnden Modells empfangen. Diese Modelldaten liegen dann entsprechend in dem Eingabeformat vor, das heißt, sie beschreiben das Modell in dem Eingabeformat. Die Modelldaten werden mittels der für das Eingabeformat vorgesehenen Empfangsroutine in Zwischenmodelldaten umgewandelt, die das Modell in dem für alle Empfangsformate vorgesehenen Zwischenformat beschreiben. Das heißt, jedes Modell, das in einem der Eingabeformate empfangen wird oder vorlag, wird in dasselbe Zwischenformat umgewandelt. Mittels der für das Ausgabeformat der Umwandlung des Modells vorgesehenen Ausgaberoutine werden dann diese Zwischenmodelldaten im Zwischenformat in Ausgabemodelldaten umgewandelt, die das Modell in dem für die Umwandlung des Modells vorgegebenen Ausgabeformat beschreiben. Diese Ausgabemodelldaten werden dann durch die Konvertierungsvorrichtung bereitgestellt. Sie können beispielsweise von einer Inferenzplattform empfangen oder entgegen genommen werden, um das Modell für eine Computer-Vision-Verarbeitung von Sensordaten zu betreiben.
-
Eine Weiterentwicklung des Verfahrens sieht vor, dass zum Erweitern der von der Konvertierungsvorrichtung verarbeitbaren Eingabeformate (also die Menge oder Sammlung der verarbeitbaren oder bereitgestellten Eingabeformate), um ein neues Eingabeformat hierzu in der Prozessorschaltung eine neue Empfangsroutine abgespeichert wird, die für das Umwandeln von dem neuen Eingabeformat in das Zwischenformat ausgestaltet ist. Somit muss also lediglich eine einzelne Empfangsroutine bereitgestellt oder programmiert werden, um die Konvertierungsvorrichtung dahingehend zu erweitern, dass ein weiteres zusätzliches neues Eingabeformat verarbeitet oder entsprechende Modelldaten eines Modells entgegen genommen werden können.
-
Entsprechend sieht eine Weiterentwicklung des Verfahrens vor, dass zum Erweitern der von der Konvertierungsvorrichtung erzeugbaren Ausgabeformate um ein neues Ausgabeformat in der Prozessorschaltung eine neue Ausgaberoutine abgespeichert wird, die für das Umwandeln von dem Zwischenformat in das neue Ausgabeformat ausgestaltet ist. Somit ist auch hier nur eine einzige Ausgaberoutine notwendig, um für alle Eingabeformate die Umwandlung in das neue Ausgabeformat zu ermöglichen.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Konvertierungsvorrichtung beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
-
Um eine Prozessorschaltung dahingehend zu ertüchtigen, dass sie eine Ausführungsform des Verfahrens durchführen kann, ist durch die Erfindung auch ein computerlesbares Speichermedium bereitgestellt. Dieses Speichermedium enthält oder umfasst Programminstruktionen, die bei Ausführung durch die Prozessorschaltung diese veranlassen, eine Ausführungsform des Verfahrens durchzuführen. Das Speichermedium kann beispielsweise in der Prozessorschaltung in einem Datenspeicher derselben, beispielsweise einer Festplatte oder einem Flashspeicher gespeichert sein. Das Speichermedium kann in einem Server beispielsweise eines so genannten App-Stores vorgesehen sein, von welchem aus Prozessorschaltungen die Programminstruktionen herunterladen können. Die Programminstruktionen können beispielsweise Binärcode oder Maschinenanweisungen enthalten, die von der Prozessorschaltung ausgeführt werden können. Die Befehle können als Assemblercode und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.
-
Die Konvertierungsschaltung wird insbesondere in einem System vorteilhaft verwendet, in welchem Modelle des Maschinellen Lernens trainiert werden können und anschließend diese trainierten Modelle für eine Computer-Vision-Verarbeitung von Sensordaten betrieben werden können. Das System ist ebenfalls eine durch die Erfindung bereitgestellte Lösung und weist mehrere Trainingsplattformen auf, die zum Trainieren von Modellen des Maschinellen Lernens ausgestaltet sind und die dabei die Modelle in jeweils einem anderen aus mehreren unterschiedlichen Eingabeformaten erzeugen. In dem System können also unterschiedliche Trainingsplattformen betrieben oder bereitgestellt sein, die die trainierten Modelle nicht einheitlich in demselben Format ausgeben können müssen, sondern es können unterschiedliche Formate erzeugt werden, die „Eingabeformate“ bezogen auf eine Konvertierung darstellen. Das System umfasst auch mehrere Inferenzplattformen, die zum Betreiben der trainierten Modelle für eine Computer-Vision-Verarbeitung von Sensordaten ausgestaltet sind. Diese Inferenzplattformen müssen in der Regel das jeweilige Modell in jeweils einem anderen aus mehreren unterschiedlichen Formaten bereitgestellt bekommen, die aus Sicht der Konvertierung Ausgabeformate darstellen.
-
Um die Trainingsplattformen und die Inferenzplattformen aufwandsarm miteinander koppeln zu können und diese Kopplung in Bezug auf korrekte Umwandlung der Modelle zu überprüfen oder überprüfen zu können, ist bei dem System vorgesehen, dass die Trainingsplattformen einerseits und die Inferenzplattformen andererseits über eine Ausführungsform der erfindungsgemäßen Konvertierungsvorrichtung gekoppelt sind. Somit können die von den Trainingsplattformen erzeugten und ausgegebenen trainierten Modelle durch die Konvertierungsvorrichtung hindurch an unterschiedliche Inferenzplattformen übertragen werden, welche die Modelle dann in dem jeweils benötigten Ausgabeformat erhalten oder bereitgestellt bekommen.
-
Die besagte Computer-Vision-Verarbeitung von Sensordaten kann beispielsweise eine Objekterkennung oder Objektdetektion umfassen, um anhand der Sensordaten die durch die Sensordaten abgebildeten Objekte zu detektieren oder zu klassifizieren. Sensordaten können beispielsweise von einem Umgebungssensor erzeugt werden, der eine Umgebung erfasst. Beispielsweise kann es sich bei der Umgebung um eine Verkehrsumgebung oder eine Verkehrsszene handeln. Als Objekte können beispielsweise Verkehrsteilnehmer und/oder Verkehrs-Infrastrukturkomponenten (beispielsweise Ampeln und/oder Leitplanken und/oder Fahrbahnmarkierungen oder Fahrbahnen) erfasst und durch die Sensordaten abgebildet oder beschrieben sein. Anhand solcher Sensordaten, also beispielsweise Bilddaten einer Kamera oder eines Lidars, können dann durch ein Modell in an sich bekannter Weise mittels einer Computer-Vision-Verarbeitung für eine Objektdetektion oder Objekterkennung Erkennungsdaten erzeugt werden, die die erkannten oder detektierten Objekte oder klassifizierten Objekte beschreiben. Ein Modell des Maschinellen Lernens kann hierzu beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks und/oder eines Dicision-Trees gebildet sein. Entsprechende Trainingsplattformen für solche Modelle sind an sich aus dem Stand der Technik bekannt. Die Computer-Vision-Verarbeitung kann auch als semantische Segmentierung ausgestaltet sein, um einzelne Erfassungspunkte oder Bildpixel aus den Sensordaten jeweils einer aus mehreren vorbestimmten Objektklassen zuordnen zu können, also anzugeben, wo beispielsweise in einem Kamerabild welcher Flächenbereich welcher Objektklasse (Verkehrsteilnehmer, Straße, Passant, Himmel, Randbebauung) angeordnet ist.
-
Das System kann insbesondere vorteilsbringend im Bereich von automatisierten Fahrfunktionen in Kraftfahrzeugen eingesetzt werden. Hierzu werden gemäß einer Weiterentwicklung des Systems die Inferenzplattformen jeweils in zumindest einem Kraftfahrzeug betrieben. Dort kann die Inferenzplattform in der beschriebenen Weise eine Objekterkennung/Objektdetektion und/oder semantische Segmentierung, allgemein also eine Computer-Vision-Verarbeitung, von Sensordaten zumindest eines Umgebungssensors des Kraftfahrzeugs durchführen, um mittels der durch das jeweilige Modell erzeugten Ergebnisdaten eine Umgebungserkennung für eine automatisierte Fahrfunktion zu betreiben. Die automatisierte Fahrfunktion kann daraufhin anhand der Erkennungsdaten eine kollisionsfreie Fahrtrajektorie für das Kraftfahrzeug berechnen und automatisiert ausführen. Eine automatisierte Fahrfunktion kann beispielsweise eine autonome Fahrfunktion oder eine Fahrerassistenzfunktion, beispielsweise eine Einparkhilfe und/oder eine Notbremsfunktion und/oder eine Ausweichfunktion und/oder eine Spurhaltefunktion sein, um nur Beispiele zu nennen. Ein erfindungsgemäß vorgesehenes Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
-
Gemäß einer Weiterentwicklung sind bei dem System dabei die Trainingsplattformen nicht Bestandteil der Kraftfahrzeuge, sondern die Trainingsplattformen können gemäß einer Weiterentwicklung in einem Backend der Kraftfahrzeuge betrieben werden, wo die Modelle trainiert werden können, die dann an die Kraftfahrzeuge übertragen werden können. Die Trainingsplattformen können die Modelle beispielsweise auf der Grundlage eines Trainingsalgorithmus auf Basis der an sich bekannten Back Propagation trainieren, um nur ein Beispiel zu nennen.
-
Die Prozessorschaltung der Konvertierungsvorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung darstellen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems;
- 2 eine schematische Darstellung einer Ausführungsform einer Konvertierungsvorrichtung, wie sie in dem System von 1 bereitgestellt sein kann.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
1 beschreibt ein System 10 mit einer Prozessorschaltung 11 und zumindest einem Fahrzeug 12. 1 zeigt zwei Fahrzeuge 12 und symbolisiert durch Auslassungspunkte 13, dass die Anzahl der Fahrzeuge 12 auch mehr als zwei sein kann. Die Prozessorschaltung 11 kann im Internet I als Backend für die Fahrzeuge 12 betrieben werden. Das jeweilige Fahrzeug 12 kann dabei ein Kraftwagen, insbesondere ein Personenkraftwagen oder Lastkraftwagen, oder ein Roboter, beispielsweise ein Fertigungsroboter, sein. Das System umfasst bevorzugt mehrere Fahrzeuge 12, von denen jedes in der im Folgenden beschriebenen Weise ausgestaltet sein kann.
-
In dem jeweiligen Fahrzeug 12 kann für eine automatisierte Fahrfunktion 14 vorgesehen sein, die Steuerdaten 15 für eine Aktuatorik 16 zum Führen des Fahrzeugs 12 erzeugen kann. Die Aktuatorik 16 kann in bekannter Weise in Abhängigkeit von den Steuerdaten 15 eine Längsführung (Beschleunigen und/oder Bremsen) und/oder eine Querführung (Lenken) des Fahrzeugs 12 bewirken oder ausführen. Die Steuerdaten 15 können durch die automatisierte Fahrfunktion 14 automatisiert erzeugt werden, d.h. ohne eine Zutun eines Fahrers, wodurch das Fahrzeug 12 selbsttätig oder automatisiert das Fahrzeug 12 führen kann.
-
Zum Erzeugen der Steuerdaten 15 kann vorgesehen sein, dass von dem Fahrzeug 12 aus dessen Umgebung 17 überwacht wird, um darin vorhandene Objekte 18, beispielsweise andere Verkehrsteilnehmer und/oder Hindernisse, und zusätzlich oder alternativ dazu einen Fahrweg 19 zu erkennen und daraufhin die Steuerdaten 15 für eine kollisionsfreie Fahrt zu planen und zu erzeugen. Die Steuerdaten 15 können eine entsprechende Fahrtrajektorie umsetzen.
-
Die Umgebung 17 kann mittels zumindest eines Umgebungssensors 20 des Fahrzeugs 12 erfasst werden, der beispielsweise eine Kamera umfassen kann und dessen Erfassungsbereich 21 in die Umgebung 17 ausgerichtet sein kann.
-
Durch den jeweiligen Umgebungssensor 20 kann die Umgebung 17 jeweils zyklisch oder wiederholt erfasst werden und die Umgebung 17 dabei jeweils durch einen Sensordatensatz 22 abgebildet oder beschrieben sein.
-
Auf Grundlage des jeweiligen Sensordatensatzes 22 kann durch eine Steuerschaltung 23 des Fahrzeugs 12 mittels eines Modells M des maschinellen Lernens eine Computer-Vision-Verarbeitung 24 des Sensordatensatzes 22 erfolgen, um aus dem jeweiligen Sensordatensatz 22 Erkennungsdaten 25 mit einem Erkennungsergebnis zu erzeugen, welches das zumindest eine Objekt 18 und/oder den Fahrweg 19 beschreibt. Dies ist an sich aus dem Stand der Technik bekannt. Die Steuerschaltung 23 kann durch ein Steuergerät oder einen Verbund mehrere Steuergeräte des Fahrzeugs 12 realisiert sein. Die Steuerschaltung stellt eine Inferenzplattform P dar, die das Modell M des Maschinellen Lernens betreibt, um die Computer-Vision-Verarbeitung durchzuführen.
-
Mittels der Erkennungsdaten 25 des Erkennungsergebnisses kann die automatisierte Fahrfunktion 14 in an sich bekannter Weise beispielsweise die besagte Fahrtrajektorie berechnen, aus welcher oder auf deren Grundlage die Steuerdaten 15 für die Aktuatorik 16 erzeugt werden können.
-
Vor dem Betrieb des Modells M im Fahrzeug 12 kann das Modell M durch die Prozessorschaltung 11 mittels eines an sich bekannten Trainingsalgorithmus einer Trainingsplattform 30 trainiert oder erzeugt worden sein. Dies kann in an sich bekannter Weise auf der Grundlage von Trainingsdatensätzen 31 erfolgt sein, zu denen zusätzlich in an sich bekannter Weise Labeldaten 32 mit Soll-Ergebnisdaten 25' bereitgestellt worden sein können. Auf Grundlage der Trainingsdatensätze 31 und der Labeldaten 32 kann mittels des Algorithmus der Trainingsplattform 30 das Modell M beispielsweise mittels Back-Propagation erzeugt worden sein. 1 veranschaulicht, wie das Modell M als künstliches neuronales Netzwerk ANN (Artificial new network) mit einem Autoencoder 33 und einem Decoder 34 in an sich bekannter Weise ausgestaltet worden sein kann. Das fertig trainierte Modell M kann über eine Kommunikationsverbindung C zu dem jeweiligen Fahrzeug 12 übertragen werden. Hierzu kann in dem Fahrzeug 12 jeweils eine Kommunikationsschaltung W vorgesehen sein, die beispielsweise ein Mobilfunkmodul und/oder ein WLAN-Funkmodul (WLAN - Wireless local network) umfassen kann. Die Kommunikationsverbindung C kann eine Internetverbindung umfassen.
-
1 veranschaulicht, dass für unterschiedliche Fahrzeuge 12 unterschiedliche Modelle M, M' vorgesehen sein können. Die Steuerschaltungen 23 der Fahrzeuge 12 können unterschiedliche Inferenzplattformen P, P' betreiben. Hierdurch kann es sein, dass das jeweilige Modelle M, M' in einem anderen Ausgabeformat A1, A2 bereitgestellt sein muss, damit es durch die jeweilige Inferenzplattform P, P' in den Fahrzeugen 12 gelesen oder gestartet werden kann.
-
Genauso kann in der Prozessorschaltung 11 vorgesehen sein, dass nicht nur eine einzelne Trainingsplattform 30 betrieben wird, sondern mehrere unterschiedliche Trainingsplattformen 30, 30` und auch mögliche weitere Trainingsplattformen, die durch Auslassungspunkte 13` repräsentiert sind. Die von den unterschiedlichen Trainingsplattformen 30, 30` erzeugten Modelle M, M' des Maschinellen Lernens können von den unterschiedlichen Trainingsplattformen 30, 30' in einem jeweiligen unterschiedlichen Format ausgegeben werden, das hier als Eingabeformat E1, E2 bezeichnet ist.
-
Die Eingabeformate E1, E2 können von den Ausgabeformaten A1, A2 verschieden sein. Mögliche Eingabeformate und/oder Ausgabeformate, wie sie beispielsweise aus dem Stand der Technik bekannt sind, können sein: SavedModel, TF.JS, TFLite, ONNIX, um nur Beispiele zu nennen. Die Eingabeformate und die Ausgabeformate können auch ganz oder teilweise gleich sein, wobei dann von einem Eingabeformat zu einem anderen Ausgabeformat zwischen diesen Formaten eine Konvertierung vorgesehen sein kann.
-
Um ein Modell M im Eingabeformat E1 zu dem Modelle M im Ausgabeformat A1 zu konvertieren, und entsprechend da ein Modelle M' im Eingabeformat E2 in ein Modelle M' im Ausgabeformat A2 (E1 verschieden von A1, E2 verschieden von A2) konvertieren zu können, kann eine Konvertierungsvorrichtung 50 vorgesehen sein, über welche die Trainingsplattformen 30, 30' einerseits und die Inferenzplattformen P, P' andererseits gekoppelt sein können, um die trainierten Modelle M, M' von den Trainingsplattform 30, 30' zu den Inferenzplattformen M, M' übertragen zu können.
-
2 veranschaulicht am Beispiel des Modells M, wie diese aus der Trainingsplattform 30 im Eingabeformat E1 durch die Konvertierungsvorrichtung 50 in das Ausgabeformat A1 für eines der Fahrzeuge 12 und dessen Inferenzplattform P gewandelt werden kann. Die Konvertierungsvorrichtung 50 kann hierzu als Bestandteil der Prozessorschaltung 11 beispielsweise als ein Softwaremodul oder Programmmodul realisiert sein, wofür ein entsprechendes computerlesbares Speichermedium in der Prozessorschaltung 11 bereitgestellt sein kann.
-
2 veranschaulicht in einem oberen Teil eine alternative Implementierung, wie sie im Stand der Technik vorgesehen sein würde.
-
Die Konvertierungsvorrichtung 50 kann verschiedene Eingabeformate E1, E2, E3, E4, ... empfangen oder entgegen nehmen und mittels einer jeweiligen Empfangsroutine 51 in ein Zwischenformat Z umwandeln, so dass entsprechende Modelldaten 52 im Eingabeformat E1 dann als Zwischenmodelldaten Z im Zwischenformat 53 vorliegen, die dasselbe Modell M beschreiben. Mittels einer jeweiligen Ausgaberoutine 54 kann das Modell M aus dem Zwischenformat 53, also dessen Zwischenmodelldaten, in ein Ausgabeformat A1 gewandelt werden, so dass das Modell M in Ausgabemodelldaten 55 im Ausgabeformat A1 vorliegt. Für jedes bereitgestellte oder potentielle Ausgabeformat A1, A2, A3, ..., wie es durch die Konvertierungsvorrichtung 50 bereitgestellt werden kann, kann eine entsprechende Ausgaberoutine 54 vorgesehen sein.
-
Beispielsweise können insgesamt m Eingabeformate und n Ausgabeformate vorgesehen sein. Um alle Konvertierungsschritte zu überprüfen, sind dafür nur Einzeltests für die jeweiligen M Eingangsroutinen 51 und n Ausgangsroutinen 54 notwendig, also insgesamt m + n Überprüfungen oder Konvertierungs- oder Umwandlungstests.
-
2 zeigt in der oberen Hälfte dagegen den bisher vorliegenden Fall, dass für jede Konstellation oder jedes Paar aus Eingabeformat E1 ... Em und Ausgabeformat A1 ...An eine eigene Konvertierungsfunktion 56 notwendig wäre. In diesem Fall müssten m × n Überprüfungen oder Tests durchgeführt werden, was einen entsprechenden Aufwand bedeutet.
-
Insgesamt zeigen die Beispiele, wie eine Standardisierung der maschinellen Umwandlung / Konvertierung von Modellen des Maschinellen Lernens in ein Zwischenformat bereitgestellt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2019/0244253 A1 [0005]
