-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zum Trainieren eines Künstlichen-Intelligenz-Moduls
-
Aus dem Stand der Technik sind Lernverfahren für künstliche Intelligenzen bekannt, bei welchen basierend auf von Fahrzeugen erfassten und zentral gespeicherten Umfelddaten ein neuronales Netzwerk trainiert wird.
-
Aus dem Stand der Technik sind zudem Verfahren bekannt, die basierend auf Umfelddaten, beispielsweise Videodaten, eine Fahrzeuggeschwindigkeit ermitteln. Zudem verwenden bekannte Algorithmen zur Geschwindigkeitsschätzung unter anderem die radindividuellen Radgeschwindigkeiten, Beschleunigungen, Drehraten und GPS Informationen. Diese Größen werden mit speziellen Modellen miteinander in Verbindung gesetzt, um auf die Geschwindigkeit in möglichst jeder Fahrsituation zu schätzen.
-
Offenbarung der Erfindung
-
Die Erfindung beschreibt ein Verfahren zum überwachten Trainieren eines Künstlichen-Intelligenz-Moduls, KI-Moduls, zum Ermitteln einer Geschwindigkeit eines Fahrzeugs basierend auf von dem Fahrzeug erfassten ersten Sensorsignalen, mit den Schritten:
- • Erfassen von ersten Sensorsignalen wenigstens zwei unterschiedlicher Sensoren. Bei den Sensoren kann es sich insbesondere um Inertialsensoren, Drucksensoren, Lokalisierungssensoren und/oder Umfeldsensoren des Fahrzeugs handeln;
- • Ermitteln einer Geschwindigkeit des Fahrzeugs anhand von Referenzsignalen von Referenzsensoren;
- • Überwachtes Trainieren des KI-Moduls basierend auf den erfassten ersten Sensorsignalen und der ermittelten Geschwindigkeit des Fahrzeugs.
-
Eine Information über die Geschwindigkeit eines Fahrzeugs über Grund wird in den verschiedensten Anwendungsbereichen benötigt. So wird die Fahrzeuggeschwindigkeit beispielsweise in unterschiedlichen Regelsystemen zur Stabilisierung des Fahrzeugs, zur Lokalisierung des Fahrzeugs oder ganz allgemein im Kontext des automatisierten Fahrens benötigt. Die Fahrzeuggeschwindigkeit muss geschätzt werden, da sie nicht direkt gemessen werden kann. Je genauer die Geschwindigkeit geschätzt werden kann, desto performanter sind auch die darauf angewiesenen Systeme und Algorithmen. Darüber hinaus muss eine Geschwindigkeitsinformation in jedweder Fahrsituation vorhanden sein, in die sich ein Fahrzeug begeben kann. Außerdem ist es besonders beim automatisierten Fahren notwendig, die Verfügbarkeit des Geschwindigkeitssignals auch bei Ausfall eines oder mehrerer Sensoren zu gewährleisten. Das beanspruchte Verfahren trägt dazu bei, die Information über die Geschwindigkeit jederzeit verfügbar zu haben.
-
Befindet sich ein Fahrzeug in einem autonomen Modus, wobei das Fahrzeug in diesem Modus ohne jegliches Zutun eines Fahrers betrieben wird, ist die Ausfallsicherheit in jedem Fall zu gewährleisten. Auch im Falle eines Sensorausfalles müssen die Systeme weiterhin funktionsfähig und selbst über die Dauer eines Not-Stops noch aktiv sein. Das Thema Redundanz spielt bei diesen Systemen eine sehr große Rolle. Dabei besteht einerseits die Möglichkeit jede Hardware-Komponente mehrfach ins Fahrzeug zu verbauen. Alternativ kann das beanspruche Verfahren zum Einsatz kommen, welches Ausfälle eines oder mehrerer Sensoren kompensieren und beispielsweise das Geschwindigkeitssignal weiterhin zur Verfügung stellen kann. Hierdurch können Kosten gespart werden und es wird gleichzeitig die notwendige Redundanz geschaffen.
-
Durch das Verfahren ist es darüber hinaus möglich, die Geschwindigkeit auch dann zu schätzen, wenn sich das Fahrzeug in einem Zustand befindet, in welchem die Gültigkeit physikalischer Modelle nicht gewährleistet ist, bzw. in welchem Näherungslösungen und/oder Berechnungen basierende auf herkömmlichen Messdaten nicht mehr den tatsächlichen Ist-Zustand wiedergeben können. Des Weiteren ist es möglich, dass eine Ortung mittels GPS- oder GNSS-Sensoren nicht zur Verfügung steht und/oder ein Sensor ausfällt.
-
Bei dem Künstlichen-Intelligenz-Moduls (Künstliches-Intelligenz-Modul wird in dieser Anmeldung im Folgenden mit KI-Modul abgekürzt) kann es sich um ein Modul handeln, welches eigenständig Probleme bearbeiten kann. Als KI-Modul kann beispielsweise ein künstliches neuronales Netz, ein rekurrentes neuronales Netz, ein convolutional neural Network oder ein auf Backpropagation basierendes Netzwerk eingesetzt werden. Auch sind die Verwendung eines Autoencoders oder vergleichbarer Strukturen bzw. Algorithmen denkbar. Es sind auch Kombinationen mehrerer Algorithmen oder Netztypen möglich. Generell können auch mehrere Netze miteinander vernetzt sein und Ausgabewerte einzelner Netze als Eingabewerte für weitere Netze verwendet werden.
-
Unter Fahrzeugen werden Land-, Luft- und Raum- und Wasserfahrzeuge, insbesondere PKWs, LKWs, Busse, Shuttle, Zweiräder, Boote, Flugzeuge, Helikopter und Drohnen verstanden. Beispielsweise kann auch ein zentrales KI-Modul zum Ermitteln einer Geschwindigkeit eines Roboters und/oder Gabelstaplers trainiert werden.
-
Das Trainieren des KI-Moduls kann entweder in Fahrzeug selbst stattfinden oder auf einem separaten Server. Der Server kann hierbei die ersten Sensordaten entweder über eine kabelgebundene oder Funkschnittstelle vom Fahrzeug empfangen. Das gleiche gilt für die ermittelte Geschwindigkeit, welche dem Server ggf. auch über eine separate Verbindung übertragen werden kann. Das Trainieren kann hierbei entweder live oder zeitversetzt erfolgen.
-
Zum Trainieren werden dem KI-Modul möglichst viele Sensorsignale des Fahrzeugs und ggf. Signale von externen Sensoren zur Verfügung gestellt. Hierunter fallen beispielsweise Sensorsignalen wie z. B. Radgeschwindigkeiten, Beschleunigungen, Drehraten, GPS Informationen, Radar- und Lidar-Signale. Zudem wird die tatsächlich vom Fahrzeug gefahrene Geschwindigkeit mittels hochpräziser Referenzsensoren erfasst und zum Lernen als erwarteter Ausgangswert verwendet.
-
Bei den Referenzsensoren kann es sich beispielsweise um präzise Raddrehzahlsensoren in zwei oder mehreren Rädern des Fahrzeugs handeln. Zudem oder alternativ kann ein Ultraschallsensor verwendet werden, der die Bewegung über der Straße misst und beispielsweise am Unterboden des Fahrzeugs befestigt ist. Des Weiteren können die Referenzsensoren auch ein System aus Referenzsensoren bilden, wobei die Informationen aus sehr vielen Sensoren miteinander verarbeitet werden. Beispielsweise können hierfür auch GPS oder GNSS Signale verwendet werden. Darüber hinaus auch Kameradaten mit bekannten Umfeldmodellen, sodass beispielweise anhand von mittels der Kamera erfassten Landmarken hochgenaue Geschwindigkeitsermittlungen möglich sind. Zur Ermittlung der Geschwindigkeit können hierbei auch die erfassten Sensorsignale verwendet werden. Beispielsweise kann auch eine Fusion aus Inertialsensorik und GNSS (incl. Korrekturdaten) zur hochgenauen Geschwindigkeitsermittlung zum Einsatz kommen (z. B. ADMA oder iMar). Darüber hinaus sind optische Verfahren denkbar (z. B. Correvit). Prinzipiell sind allerdings alle Referenzsensoren geeignet, die den Fahrzustand präzise messen können. Alternativ können für die Ermittlung lediglich entkoppelte Referenzsensoren verwendet werden.
-
Das KI-Modul kann mittels dieser Daten überwacht Trainiert werden. Die mittels des oder der Referenzsensor/en ermittelte Geschwindigkeit dient als Lernvektor, in dem die erwarteten Geschwindigkeiten bzw. wenigstens eine Geschwindigkeit enthalten sind/ist. Die dem KI-Modul bereitgestellten Sensorsignale der Sensoren dienen als Eingangsgrößen.
-
In einer weiteren Ausführungsform der Erfindung ist hierbei wenigstens aus einem der ersten Sensorsignale isoliert keine Geschwindigkeitsermittlung anhand bekannter physikalischer Modelle möglich.
-
Beispielsweise kann das KI-Modul Beschleunigungswerte in z-Richtung (also senkrecht nach oben bzw. unten zeigend) oder in y-Richtung (quer zur Fahrtrichtung) zum Trainieren verwenden.
-
Diese Ausführungsform bietet den Vorteil, dass das KI-Modul anhand der Kombination mit weiteren Sensorsignalen, wie GPS und/oder Raddrehzahlsensoren, Muster erkennen kann, mit denen anhand der an sich für eine Geschwindigkeitsermittlung unbrauchbaren Sensorsignale eine verbesserte Geschwindigkeitsermittlung bereitgestellt werden kann. Hierdurch ist eine zuverlässigere Geschwindigkeitsermittlung möglich.
-
In einer weiteren Ausführungsform der Erfindung erfolgt das Ermitteln der Geschwindigkeit unabhängig von den erfassten ersten Sensorsignalen.
-
Die Ermittlung erfolgt in dieser Ausführungsform primär oder ausschließlich auf Basis eines Referenzsensors oder mehrerer Referenzsensoren.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass eine vollständig von den erfassten Sensorsignalen entkoppelte Geschwindigkeitsmessung erfolgt. Hierdurch können systematische Fehler im Lernvorgang verhindert werden, wodurch das KI-Modul nach dem Einlernprozess zuverlässiger Geschwindigkeiten ermittelt.
-
In einer weiteren Ausführungsform der Erfindung erfassten die wenigstens zwei unterschiedlichen Sensoren unterschiedliche physikalische Größen.
-
Unter unterschiedlichen physikalischen Größen werden hierbei voneinander unabhängige physikalische Größen verstanden. Beispielsweise ist die Messung einer Raddrehzahl als unabhängig zu einer Beschleunigung in Fahrzeuglängsrichtung zu verstehen. Gleiches gilt für eine Geschwindigkeitsmessung mittels Beschleunigungssignalen und mittels Lidar- und/oder Radar- und/oder Ultraschall- und/oder Kamerasensoren. Insbesondere sind auch Beschleunigungen in zueinander senkrecht stehenden Richtungen als voneinander unabhängig zu betrachten. Beispielweise bilden die Beschleunigungen in Fahrzeuglängs- und Fahrzeugquerrichtung zwei voneinander unabhängige physikalische Größen.
-
In einer speziellen Ausführungsform beruhen die Messungen der Sensoren auf unterschiedlichen Messprinzipien.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass mehrere voneinander unabhängige Messgrößen als Lernwerte dienen und die Wahrscheinlichkeit des Auftretens systematischer Fehler durch die Wahl unabhängiger physikalischer Größen verringert wird.
-
In einer weiteren Ausführungsform der Erfindung wird zum Trainieren wenigstens ein erstes Sensorsignal verwendet, welches zumindest zeitweise aktiv manipuliert oder unterdrückt wird oder wurde.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass das KI-Modul auch dazu in der Lage ist, eine hochgenaue Geschwindigkeit zu ermitteln, wenn einzelne Sensordaten entweder verfälscht werden oder vollständig ausfallen. Hierdurch ist das KI-Modul auch bei einem defekten Sensor in der Lage, weiterhin die Geschwindigkeit des Fahrzeugs zu ermitteln.
-
In einer weiteren Ausführungsform der Erfindung werden den erfassten ersten Sensorsignalen und den ermittelten Geschwindigkeiten Zeitstempel zugeordnet.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass auch bei einer Verzögerung der Ermittlung der Geschwindigkeit durch die Referenzsensoren, eine exakte Zuordnung zwischen erfassten ersten Sensorsignalen und der ermittelten Geschwindigkeit möglich ist. Hierdurch lässt sich das KI-Modul exakter einlernen und daraufhin optimieren, Geschwindigkeiten möglichst ohne Zeitverzögerung zu bestimmen.
-
In einer weiteren Ausführungsform des Verfahrens werden die erfassten ersten Sensorsignale und die ermittelten Geschwindigkeiten zwischengespeichert und das Trainieren des KI-Moduls erfolgt zeitlich verzögert. Das Trainieren findet hierbei insbesondere bei einem Stillstand des Fahrzeugs statt.
-
Diese Ausführungsform der Erfindung bietet den Vorteil, dass während des Fahrens keine Rechenkapazität zum Trainieren des KI-Moduls benötigt wird. Hierdurch kann das Trainieren auch in Serienfahrzeugen durchgeführt werden, auf denen beispielsweise Fahrerassistenzsysteme die volle Rechenleistung während des Betriebs benötigen. Des Weiteren kann das Trainieren auch nur dann erfolgen, wenn das Fahrzeug durch eine externe Energiequelle versorgt wird. Hierdurch lässt sich die volle Rechenleistung nutzen und es wird ein effektives Lernen ermöglicht.
-
In einer weiteren Ausführungsform der Erfindung erfolgt das Ermitteln der Geschwindigkeit des Fahrzeugs basierend auf nicht am und nicht in dem Fahrzeug angebrachten Referenzsensoren.
-
Die Geschwindigkeitsermittlung kann hierbei beispielsweise mittels an einem weiteren Fahrzeug oder an Infrastruktureinrichtungen angebrachter Sensorik erfolgen. Hierdurch wird die Unabhängigkeit der ersten Sensordaten und der Referenzsensordaten gewährleistet.
-
Die Übertragung der ermittelten Geschwindigkeit kann hierbei über eine Kommunikationsschnittstelle erfolgen. Alternativ werden auch in dieser Ausführungsform die Daten aufgezeichnet, mit Zeitstempeln versehen und anschließend zusammengeführt. Das Lernen findet dann zeitversetzt entweder in dem Fahrzeug oder auf einem separierten Rechner statt.
-
In einer weiteren Ausführungsform der Erfindung übersetzt das KI-Modul Eingangssignale basierend auf internen Verarbeitungsparametern in Ausgangssignale, wobei die internen Verarbeitungsparameter beim überwachten Trainieren des KI-Moduls angepasst werden, wobei beim überwachten Trainieren die erfassten ersten Sensorsignale als Eingangstrainingssignale verwendet werden und die ermittelte Geschwindigkeit als zu den Eingangstrainingssignalen zugehöriges Ausgangstrainingssignal verwendet wird.
-
Wird das KI-Modul beispielsweise mittels einer oder mehrerer künstlicher Neuronaler Netzwerke realisiert, können unter den Verarbeitungsparametern einzelne Gewichte verstanden werden, welche die Signalübertragung zwischen Neuronen in einer oder mehreren Schichten bestimmen.
-
In einer weiteren Ausführungsform der Erfindung handelt es sich bei dem Referenzsensor um wenigstens ein Video- und/oder ein Ultraschallsensor und/oder um zwei Radrehzahlsensoren.
-
Mittels dieser Sensoren ist eine hochgenaue Geschwindigkeitsermittlung möglich.
-
Des Weiteren wird ein Künstliches-Intelligenz-Modul, KI-Modul, für ein Fahrzeug beansprucht. Das KI-Modul ermittelt basierend auf von dem Fahrzeug erfassten ersten Sensorsignalen eine Geschwindigkeit des Fahrzeugs. Das KI-Modul kennzeichnet sich dadurch aus, dass es entsprechend eines der dieser Erfindung zugrunde liegenden Verfahren trainiert.
-
Zur Ermittlung der Geschwindigkeit ist dieses KI-Modul nicht zwingend auf fahrdynamische Modelle angewiesen und kann insbesondere eine Ermittlung ohne diese Modelle durchführen. Je nach Ausführungsform können fahrdynamische Modelle miteinbezogen werden oder als redundante Verfahren zur Ermittlung der Fahrzeuggeschwindigkeit parallel betrieben werden.
-
Darüber hinaus wird ein Computerprogramm beansprucht, welche Parameter für ein KI-Modul umfasst, die, wenn sie in ein KI-Modul geladen werden, das KI-Modul zu einem KI-Modul entsprechen der vorliegenden Anmeldung aufwerten.
-
Figurenliste
-
- 1 zeigt ein schematisches Ablaufdiagramm.
- 2 zeigt ein weiteres schematisches Ablaufdiagramm.
- 3 zeigt das KI-Modul beim Training.
- 4 zeigt das trainierte KI-Modul beim Ermitteln einer Geschwindigkeit.
-
Ausführungsbeispiele
-
In einem ersten Ausführungsbeispiel ist das KI-Modul als neuronales Netzwerk mit einer Eingangsschicht, einer Ausgangsschicht und mehreren versteckten Zwischenschichten ausgebildet, welche jeweils künstliche Neuronen aufweisen. Die Signalübertragung zwischen den einzelnen Neuronen wird über Gewichte bestimmt, welche beim Trainieren des KI-Moduls angepasst werden. Das KI-Modul ist in einem Steuergerät eines Fahrzeugs implementiert. Das Fahrzeug weist mehrere Sensoren auf, darunter Video-, Lidar-, Radar-, Ultraschall-, GPS- (und GNSS-Korrekturdaten), Raddrehzahl-, Drehraten- und Beschleunigungssensoren. Diese Sensoren liefern alle ersten Sensorsignale an das Steuergerät. Zusätzlich zu diesen Sensoren weist das Fahrzeug weitere Referenzsensoren auf. Diese umfassen vier hochpräzise Raddrehzahlsensoren, welche auf alle Räder des Fahrzeugs verteilt sind und einen hochgenauen Unterboden-Ultraschallsensor, welcher die Relativbewegung zwischen Fahrzeug und einer vom Fahrzeug befahrenen Straße erfasst. In 3 ist das zu trainierende KI-Modul 301 dargestellt, welches mittels des in 1 skizzierten Verfahrens zum Trainieren eines KI-Moduls trainiert wird. Das Verfahren startet in Schritt 101.
-
In Schritt 102 werden vom Fahrzeug ersten Sensorsignale der verbauten Sensoren empfangen.
-
In Schritt 103 wird anhand von Referenzsensorsignalen der Referenzsensoren eine präzise Geschwindigkeit des Fahrzeugs ermittelt.
-
In Schritt 104 wird das KI-Modul 301 basierend auf den erfassten ersten Sensorsignalen und der ermittelten Geschwindigkeit des Fahrzeugs überwacht trainiert. Die erfassten ersten Sensorsignale bilden hierbei Eingangssignale, welche basierend auf der durch die Gewichte bestimmten Weiterleitung der Signale durch das neuronale Netz in Ausganssignale umgewandelt werden. Die Ausgangssignale sollen in diesem Fall die aktuelle Geschwindigkeit des Fahrzeugs widerspiegeln. Zum Trainieren des Netzwerks, bzw. zum Anpassen der Gewichte werden die Ausgangssignale mit den ermittelten Geschwindigkeiten, welche die Erwartungswerte bilden, verglichen und eine Abweichung von diesen Geschwindigkeiten ermittelt. Durch Backpropagation lassen sich auf diese Weise die Gewichte der einzelnen Schichten derart verändern, dass die Abweichungen verkleinert werden.
-
Das Verfahren endet in Schritt 104.
-
Um das KI-Modul 301 derart einzulernen, dass von dem KI-Modul 301 zuverlässige Geschwindigkeitswerte ermittelt werden, müssen die oben genannten Schritte sehr häufig wiederholt werden.
-
In 3 ist das KI-Modul 301 während des Trainingsprozesses dargestellt. Als Eingangswerte erhält das KI-Modul erste Sensorsignale von Inertialsensoren 302, Umfeldsensoren 303 und GNSS-Sensoren 304. Zudem werden dem KI-Modul 301 die auf Basis der Referenzsensoren ermittelten Geschwindigkeiten 305 bereitgestellt, welche zu Bestimmung der Abweichung und zu Anpassung der Gewichte verwendet wird.
-
In 4 ist das gleiche KI-Modul 301 nach abgeschlossenem Training dargestellt. In diesem Ausführungsbeispiel werden die Eingangsdaten wieder aus ersten Sensorsignalen von Inertialsensoren 402, Umfeldsensoren 403 und GNSS-Sensoren 404 gebildet. Es erfolgt jedoch keine Ermittlung der Geschwindigkeit mehr anhand der Referenzsensoren. Stattdessen dient das KI-Modul 301 dazu, hochgenau und zuverlässig die Geschwindigkeit des Fahrzeugs zu ermitteln und gibt diese in Form eines Geschwindigkeitssignals 405 aus.
-
In 2 ist ein weiteres Ausführungsbeispiel des Verfahrens zum Trainieren eines KI-Moduls skizziert. Das KI-Modul befindet sich in diesem Ausführungsbeispiel auf einem nicht in einem Fahrzeug verbauten Rechner. Über ein Kommunikationsmodul ist der Rechner jedoch in der Lage, Sensordaten und Geschwindigkeitsdaten eines Fahrzeugs zu empfangen. Auf dem Server, welches in Schritt 201 startet.
-
In Schritt 202 werden vom Fahrzeug erfasste erste Sensorsignale der im Fahrzeug verbauten Sensoren empfangen.
-
In Schritt 203 werden anhand von Referenzsensorsignalen von im Fahrzeug verbauten Referenzsensoren ermittelt präzise Geschwindigkeiten des Fahrzeugs empfangen. Sowohl die ersten Sensorsignale als auch die ermittelten Geschwindigkeiten sind hierbei mit einem Zeitstempel versehen, sodass die Mess- und Ermittlungszeitpunkte auch zeitversetzt nachvollzogen werden können.
-
In Schritt 204 werden einzelne erste Sensorsignale vom Server manipuliert. Hierbei werden diese teilweise mit starkem Rauschen überlagert oder stark gedämpft und dadurch verfälscht.
-
In Schritt 205 wird das KI-Modul basierend auf den erfassten ersten Sensorsignalen, welchen teilweise überlagert und/oder gedämpft wurden, und den ermittelten Geschwindigkeiten trainiert. Die von dem KI-Modul ermittelten Geschwindigkeiten werden auch in diesem Ausführungsbeispiel mit den erwarteten, anhand der Referenzsensorsignale ermittelten Geschwindigkeiten verglichen. Die auf diese Weise bestimmbaren Fehler werden anschließend dazu genutzt, Verarbeitungsparameter des KI-Moduls anzupassen, um die Abweichungen zwischen von dem KI-Modul ermittelten Geschwindigkeiten und den erwarteten Geschwindigkeiten zu minimieren. Hierfür kommen in diesem Ausführungsbeispiel bekannte Gradientenverfahren zum Einsatz.
-
Das Verfahren endet in Schritt 206.
