-
Die Erfindung betrifft eine Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs innerhalb eines Umfelds. Die Eigenbewegung wird auf der Grundlage von Sensordaten zumindest eines Umfeldsensors ermittelt. Zu der Erfindung gehören auch ein Kraftfahrzeug mit der erfindungsgemäßen Steuervorrichtung sowie ein Verfahren zum Herstellen der Steuervorrichtung.
-
Eine zentrale Herausforderung für autonom oder vollautomatisch fahrende Kraftfahrzeuge ist die exakte Kenntnis der eigenen Fahrzeugbewegung. Diese wird zum Beispiel benötigt, um sich in digitalen Navigationskarten zu lokalisieren und/oder um ein konsistentes Umfeldmodell aus Sensordaten aufzubauen. Ein solches Umfeldmodell ist Grundlage für viele weitere Fahrfunktionen. Mittels Sensordaten, die das Umfeld des Kraftfahrzeugs beschreiben, lässt sich unter vereinfachenden Annahmen eine Translation und Rotation des Kraftfahrzeugs bezüglich des Umfelds ermitteln. Tatsächlich ist die Fahrzeugbewegung zwischen zwei Zeitpunkten jedoch komplexer. Diese Komplexität entsteht insbesondere durch Effekte wie Schlupf, die kaum messbar sind und daher nur schwer berücksichtigt werden können. Nutzt man beispielsweise einen Drehzahlsensor zum Ermitteln einer Radumdrehung der Räder des Kraftfahrzeugs und gleitet eines dieser Räder auf Glatteis aus oder an einem Bordstein ab, sodass es durchdreht, so wird die hierbei gemessene Drehzahl als Fortbewegung des Kraftfahrzeugs interpretiert, obwohl das Kraftfahrzeug stehen bleibt.
-
Aus der
US 8,989,944 B1 ist ein Verfahren bekannt, um aus zwei Bildern eines Umfelds eines Kraftfahrzeugs eine Bewegung eines Fremdobjekts zu schätzen. Es wird die Bewegungsgeschwindigkeit des Fremdobjekts ermittelt.
-
Aus der
CN 000103077393 A ist ein Verfahren bekannt, mittels welchem in einer Abbildung eines Umfelds eines Kraftfahrzeugs ein Objekt erkannt werden kann. Hierzu wird eine Methode des maschinellen Lernens verwendet.
-
Aus der
CN 000103253263 A ist ein Verfahren zur Nutzung einer Methode des maschinellen Lernens bekannt, um eine Bewegung eines Fremdobjekts anhand von Kameradaten zu ermitteln.
-
Aus der
DE 10 2015 120 831 A1 ist ein Verfahren bekannt, um in einem Umfeld eines Kraftfahrzeugs mittels eines künstlichen neuronalen Netzwerks zu erkennen, wie komplex die sich um das Kraftfahrzeug befindliche Fahrsituation aktuell ist. Um eine Bewegung von Fremdobjekten zu erfassen, werden Sensoren verwendet.
-
Aus der
DE 10 2013 019 264 A1 ist eine Möglichkeit bekannt, Objekte, die in einem Umfeld eines Kraftfahrzeugs anhand von Sensordaten detektiert wurden, zu beschreiben. Diese Beschreibung stellt eine Alternative zu den bereits genannten Punktwolken dar.
-
Der Erfindung liegt die Aufgabe zugrunde, von einem Kraftfahrzeug aus dessen Eigenbewegung bezüglich eines Umfelds zu ermitteln.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
-
Die exakte Bewegung des Kraftfahrzeugs zwischen zwei Zeitpunkten kann eine komplexe Funktion mit mehreren Bewegungsparametern sein, die deshalb nicht-trivial bestimmt und berechnet werden kann. Um dennoch eine exakte Bestimmung der Fahrzeugbewegung zu gewährleisten, wendet die Erfindung zur Bestimmung der Fahrzeugbewegung, die sich zwischen zwei Zeitpunkten ereignet hat, ein künstliches neuronales Netzwerk und zu dessen Training eine Methode des maschinellen Lernens an. Denn in ein künstliches neuronales Netzwerk kann ein Einfluss jedes Bewegungsparameters „eintrainiert“ werden, ohne dass man eine analytische mathematische Beschreibung der Bewegungsgleichung herleiten muss, also ohne dass man selbst die Zusammenhänge genau kennen muss.
-
Zum Ermitteln der Eigenbewegung eines Kraftfahrzeugs bezüglich eines Umfelds stellt die Erfindung eine Steuervorrichtung bereit, wobei die Steuervorrichtung dazu eingerichtet ist, mittels zumindest eines Umfeldsensors des Kraftfahrzeugs das Umfeld beschreibende Sensordaten zu erfassen und anhand der empfangenen Sensordaten die Eigenbewegung zu ermitteln. Das Umfeld stellt hier den an das Kraftfahrzeug angrenzenden Raum dar, also einen Raumbereich, der durch eine maximale Erfassungsreichweite des zumindest einen Umfeldsensors definiert ist. Die maximale Erfassungsreichweite kann ausgehend vom Kraftfahrzeug einem Wert von 5 cm bis 1 km aufweisen. Ein Umfeldsensor kann zumindest ein in dem Umfeld befindliches Objekt erfassen. Mit anderen Worten sind die Sensordaten des Umfeldsensors von dem zumindest einen Objekt abhängig gebildet. Insbesondere wird in dem Umfeld zumindest ein stationäres Objekt erfasst.
-
Um nun auf Grundlage der Sensordaten die Eigenbewegung zu ermitteln, sieht die Erfindung vor, dass die Steuervorrichtung ein künstliches neuronales Netzwerk (ANN - Artificial Neural Network) aufweist, welches dazu trainiert ist, in einem Erkennungsmodus oder Erkennungsbetrieb zwei Abbildungen des Umfelds zu empfangen und zumindest einen Bewegungsparameter auszugeben. Dieser Bewegungsparameter beschreibt eine solche Bewegung, die zum Angleichen der beiden Abbildungen nötig ist. Mit anderen Worten wird diejenige Bewegung ermittelt, mittels welcher die beiden Abbildungen mittels einer sogenannten Bildregistrierung in Deckung gebracht werden können, zumindest bis zu einem vorbestimmten Übereinstimmungsgrad oder Übereinstimmungswert. Die hierzu nötige Verschiebung einer der Abbildungen auf die andere der Abbildungen beschreibt die Bewegung, wie sie das Kraftfahrzeug ausführen müsste, um mittels seines derart verschobenen oder bewegten zumindest einen Umfeldsensors diese beiden Abbildungen erzeugen zu können.
-
Die Eigenbewegung soll für einen vorgegebenen Messzeitpunkt ermittelt werden. Die Steuervorrichtung ist dazu eingerichtet, zu dem vorgegebenen Messzeitpunkt die erste der beiden Abbildungen aus solchen der Sensordaten zu erzeugen, die zeitlich vor dem Messzeitpunkt erfasst worden sind. Es werden also für die erste Abbildung solche Sensordaten verwendet, die in der Vergangenheit (bezüglich des Messzeitpunkts) erfasst worden sind, sodass in den Sensordaten das Umfeld zu einem bezüglich des Messzeitpunkts früheren Zeitpunkt abgebildet ist. Die Steuervorrichtung ist des Weiteren dazu eingerichtet, die zweite der Abbildungen aus solchen Sensordaten zu erzeugen, die zum Messzeitpunkt erfasst werden. In diesen Sensordaten ist also das Umfeld zum aktuellen Messzeitpunkt abgebildet. Die Sensorvorrichtung ist des Weiteren dazu eingerichtet, auf der Grundlage der erzeugten Abbildungen durch Betreiben des neuronalen Netzwerks einen jeweiligen aktuellen Parameterwert des zumindest einen Bewegungsparameters zu erzeugen und anhand des jeweils erzeugten aktuellen Parameterwerts des zumindest einen Bewegungsparameters die Eigenbewegung zu ermitteln oder zu signalisieren. Durch Betreiben des neuronalen Netzwerks wird also zu jedem Bewegungsparameter ein aktueller Parameterwert ermittelt, der zum Angleichen der beiden Abbildungen geeignet ist. Damit beschreibt der so ermittelte zumindest eine Parameterwert diejenige Eigenbewegung, die das Kraftfahrzeug durchführen müsste, damit die beiden Abbildungen aneinander angeglichen sind.
-
Durch die Erfindung ergibt sich der Vorteil, dass ein trainiertes künstliches neuronales Netzwerk anhand der beiden Abbildungen die Eigenbewegung des Kraftfahrzeugs schätzt oder ermittelt. Ein solches künstliches neuronales Netzwerk ist nicht beschränkt auf die Analyse oder das Untersuchen von vorgegebenen Bewegungsparametern, wie zum Beispiel Translation und/oder Rotation. Vielmehr kann mittels eines künstlichen neuronalen Netzes die Überlagerung einer Vielzahl unterschiedlicher Bewegungsparameter trainiert und deren Auswirkung auf eine Abbildung des Umfelds nachgebildet oder nachvollzogen werden.
-
Zu der Erfindung gehören auch Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
-
Insbesondere ist durch den zumindest einen Bewegungsparameter, zu dem das künstliche neuronale Netzwerk den jeweiligen aktuellen Parameterwert erzeugt, zumindest eine der folgenden Bewegungen beschrieben: eine Translation, eine Rotation, ein Nicken (Nickwinkel-Änderung), ein Wanken (Wankwinkel-Änderung), ein Gieren (Gierwinkel-Änderung), eine Bewegungsgeschwindigkeit (unter Berücksichtigung eines zeitlichen Abstands zwischen den in den beiden Abbildungen dargestellten Zuständen des Umfelds), eine Beschleunigung (unter Berücksichtigung zum Beispiel der Masse des Kraftfahrzeugs). Insbesondere können somit also diejenigen kinematischen Parameter der Eigenbewegung, die nicht ausschließlich eine Translation und/oder eine Rotation umfasst, also mehr als die Translation und/oder die Rotation, durch das neuronale Netzwerk erkannt werden.
-
Bevorzugt ist die Steuervorrichtung dazu eingerichtet, in der ersten Abbildung das Umfeld zu einem vor dem Messzeitpunkt liegenden vorangegangenen Zeitpunkt darzustellen. Das Umfeld wird also durch die beiden Abbildungen zu zwei unterschiedlichen Zeitpunkten dargestellt, nämlich dem Messzeitpunkt und dem vorangegangenen Zeitpunkt. Hierdurch kann in vorteilhafter Weise durch eine Veränderung einer jeweiligen Position zumindest eines in den Abbildungen abgebildeten Objekts auf die Eigenbewegung des Kraftfahrzeugs rückgeschlossen werden, falls es sich bei dem zumindest einen Objekt um ein stationäres Objekt handelt.
-
Möglich ist auch, die erste Abbildung dadurch zu erzeugen, dass mittels der vor dem Messzeitpunkt erfassten Sensordaten des zumindest einen Umfeldsensors und mittels eines Umfeldmodells die erste Abbildung den Zustand zum Messzeitpunkt selbst darstellt. Die erste Abbildung wird also erzeugt, indem mittels der vor dem Messzeitpunkt erfassten Sensordaten ein Umfeldmodell konfiguriert wird. Die Steuervorrichtung ist des Weiteren dazu eingerichtet, mittels des Umfeldmodells und mittels zumindest eines vorgegebenen Bewegungsparameters die Eigenbewegung bis zum Messzeitpunkt zu simulieren oder nachzubilden. Der zumindest eine vorgegebene Bewegungsparameter kann z.B. geschätzt sein. Es wird also die Position des Kraftfahrzeugs zum Messzeitpunkt geschätzt, und zwar auf Grundlage des Umfeldmodells. Die erste Abbildung ist also ein geschätztes Abbild des Umfelds zum Messzeitpunkt. Die zweite Abbildung kann dann das wahre oder gemessene Abbild des Umfelds zum Messzeitpunkt sein. Mittels des künstlichen neuronalen Netzwerks kann dann derjenige Anteil der Eigenbewegung des Kraftfahrzeugs ermittelt werden, der durch das Umfeldmodell und den zumindest einen vorgegebenen Bewegungsparameter nicht erfasst oder inkorrekt beschrieben worden ist. Somit können die vorgegebenen Bewegungsparameter auf der Grundlage des ermittelten aktuellen Parameterwerts des zumindest einen vom neuronalen Netzwerk ermittelten Bewegungsparameters korrigiert oder angepasst werden. Die Verwendung des Umfeldmodells weist den Vorteil auf, dass das neuronale Netzwerk ausschließlich auf Schätzfehler trainiert werden muss, die bei einem gegebenen Umfeldmodell für unterschiedliche Fahrsituationen gleich sein können, sodass das neuronale Netzwerk robust trainiert werden kann.
-
Die erste Abbildung und/oder die zweite Abbildung beschreiben das Umfeld bevorzugt als Punktwolke oder auf der Grundlage von Objektparametern zumindest eines in dem Umfeld detektierten oder klassifizierten Objekts. Eine Punktwolke weist den Vorteil auf, dass diese direkt auf der Grundlage von Sensordaten oder durch Kombinieren von Sensordaten unterschiedlicher Umfeldsensoren erzeugt werden kann. Eine Objekterkennung zum Detektieren oder Klassifizieren eines Objekts weist den Vorteil auf, dass weniger Abbildungsdaten nötig sind, um das Umfeld in der ersten Abbildung und/oder der zweiten Abbildung zu beschreiben, als dies für eine Punktwolke nötig ist. Insbesondere wird die in der eingangs beschriebenen
DE 10 2013 019 264 A1 erläuterte Beschreibungsart des Umfelds genutzt. Diese Beschreibungsart ist als Bestandteil der vorliegenden Anmeldung zu sehen.
-
Geeignete Sensordaten zum Erzeugen der beiden Abbildungen ergeben sich insbesondere, indem die Steuervorrichtung dazu eingerichtet ist, die Sensordaten aus einem Radar und/oder einem Laserscanner und/oder einem Ultraschallsensor und/oder einer Kamera zu empfangen.
-
Die Steuervorrichtung kann zum Betreiben des künstlichen neuronalen Netzwerks diese Prozessoreinrichtung aufweisen. Die Prozessoreinrichtung kann zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller umfassen. Des Weiteren kann die Prozessoreinrichtung einem Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung das neuronale Netzwerk in dem Erkennungsbetrieb zu betreiben. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
-
Die Erfindung umfasst auch ein Kraftfahrzeug mit zumindest einem Umfeldsensor, der zum Erzeugen von Sensordaten eines Umfelds des Kraftfahrzeugs eingerichtet ist. Das erfindungsgemäße Kraftfahrzeug ist dadurch gekennzeichnet, dass eine Ausführungsform der erfindungsgemäßen Steuervorrichtung mit dem zumindest einen Umfeldsensor gekoppelt ist. Beispielsweise kann die Steuervorrichtung über einen Kommunikationsbus oder ein Kommunikationsnetzwerk mit dem zumindest einen Umfeldsensor gekoppelt sein. Ein Kommunikationsbus kann beispielsweise auf der Grundlage eines CAN-Bus (CAN - Controller Area Network) bereitgestellt sein. Ein Kommunikationsnetzwerk kann beispielsweise auf der Grundlage eines Ethernet bereitgestellt sein. Die Steuervorrichtung kann beispielsweise als Steuergerät für das Kraftfahrzeug ausgestaltet sein. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.
-
Die Sensoreinrichtung ist bei dem erfindungsgemäßen Kraftfahrzeug bevorzugt mit einer Autopiloteinrichtung gekoppelt, die dazu eingerichtet ist, das Kraftfahrzeug teilautomatisiert oder vollautomatisiert zu führen und hierbei eine Bewegungstrajektorie des Kraftfahrzeugs auf der Grundlage der von der Steuervorrichtung signalisierten Eigenbewegung des Kraftfahrzeugs zu regeln. Beispielsweise kann also die Autopiloteinrichtung eine Solltrajektorie für eine Eigenbewegung des Kraftfahrzeugs planen und mittels der Steuervorrichtung die tatsächliche Bewegungstrajektorie des Kraftfahrzeugs überwachen und einen Regelfehler durch Führen des Kraftfahrzeugs verringern. Mit dem Begriff „teilautomatisiert“ ist hierbei gemeint, dass die Autopiloteinrichtung entweder eine Längsführung (Beschleunigen und Bremsen) oder eine Querführung (Lenken) des Kraftfahrzeugs selbsttätig, ohne ein Zutun des Fahrers durchführt. Die vollautomatisierten Führung schließt die Längsführung und die Querführung ein.
-
Die Erfindung stellt auch Verfahren zum Bereitstellen einer Ausführungsform der erfindungsgemäßen Steuervorrichtung bereit. Es werden Abbildungen eines Trainingsumfelds bereitgestellt und zu jeder Abbildung wird jeweils auf der Grundlage zumindest eines vorgegebenen Bewegungsparameters eine transformierte Abbildung erzeugt. Der Unterschied zwischen der Abbildung und der transformierten Abbildung ist damit aber bekannt, da die transformierte Abbildung mittels der bekannten oder vorgegebenen Bewegungsparameter erzeugt wird. Beispielsweise kann in der Abbildung zum Erzeugen der transformierten Abbildung ein in der Abbildung dargestelltes Fremdobjekt, beispielsweise eine Straße oder eine Brücke, gemäß dem zumindest einen vorgegebenen Bewegungsparameter verschoben und/oder gedreht werden.
-
Es wird dann ein künstliches neuronales Netzwerk in einem Trainingsmodus oder Trainingsbetrieb trainiert. Es wird im Trainingsbetrieb betrieben, indem in einem jeweiligen Trainingsschritt jeweils an einem Eingang des neuronalen Netzwerks eine der Abbildungen und die zugehörige transformierte Abbildung als Eingangsdaten eingegeben werden. Im Trainingsbetrieb erzeugt das neuronale Netzwerk keine Ausgabe, also keinen aktuellen Parameterwert des zumindest einen Bewegungsparameters. Vielmehr erwartet das neuronale Netzwerk an dem Ausgang die Soll-Ausgangswerte, die geschätzt oder erzeugt werden sollen. An dem Ausgang wird entsprechend der zu der transformierten Abbildung gehörende zumindest eine Bewegungsparameter als Soll-Ausgangsdaten vorgegeben. Nachdem das neuronale Netzwerk mit allen Abbildungen und der zugehörigen jeweiligen transformierten Abbildung in einem jeweiligen Trainingsschritt trainiert worden ist, wird das trainierte neuronale Netzwerk in der Steuervorrichtung implementiert. Das trainierte neuronale Netzwerk kann hierbei z.B. durch Daten beschrieben sein, die entsprechend kopiert und in einer Prozessoreinrichtung der Steuervorrichtung gespeichert werden können.
-
Durch den beschriebenen Trainingsbetrieb wird das künstliche neuronale Netzwerk darauf trainiert, als Eingangsparameter zwei Abbildungen von dem Umfeld zu empfangen und als Ausgangsparameter zumindest einen der beschriebenen Bewegungsparameter auszugeben.
-
Bevorzugt wird einigen oder allen der Abbildungen und/oder einigen oder allen der transformierten Abbildungen jeweils vor dem Trainieren des neuronalen Netzwerks ein Rauschen zugefügt. Dieses Rauschen stellt ein künstliches Sensorrauschen dar. Damit ist in dem künstlichen neuronalen Netzwerk bereits der Einfluss eines Sensorrauschens berücksichtigt, sodass dieses das Erzeugen des zumindest einen aktuellen Parameterwerts des zumindest einen Bewegungsparameters nicht beeinträchtigt.
-
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.
-
Das neuronale Netzwerk kann in einem Computer oder Computerverbund trainiert werden.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
- 2 eine schematische Darstellung eines künstlichen neuronalen Netzwerks während eines Trainingsbetriebs; und
- 3 eine Skizze zur Veranschaulichung eines Erkennungsbetriebs des Kraftfahrzeugs von 1.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 10, bei dem es sich zum Beispiel um einen Kraftwagen, insbesondere einen Personenkraftwagen handeln kann. Das Kraftfahrzeug 10 kann eine Sensoreinrichtung 11 mit zumindest einem Umfeldsensor 11', eine Steuervorrichtung 12, die zum Beispiel als Steuergerät ausgestaltet sein kann, und eine Autopiloteinrichtung 13 zum teilautomatisierten oder vollautomatisierten Führen des Kraftfahrzeugs 10 aufweisen. Mittels des zumindest einen Umfeldsensors der Sensoreinrichtung 11 können von einem Umfeld 14 des Kraftfahrzeugs 10 Sensordaten 15 erzeugt werden. Die Steuervorrichtung 12 kann die Sensordaten 15 empfangen und in Abhängigkeit von den Sensordaten 15 für die Autopiloteinrichtung 13 eine Eigenbewegung 16 des Kraftfahrzeugs 10 ermitteln und diese zum Beispiel als jeweiligen Parameterwert zumindest eines Bewegungsparameters 17 beschreiben.
-
Die Steuervorrichtung 12 kann hierzu ein künstliches neuronales Netzwerk 18 aufweisen. In einem Erkennungsbetrieb R kann an einem Eingang 19 des Netzwerks 18 durch die Steuervorrichtung 12 eine erste und eine zweite bereitgestellt sein. Jede , kann jeweils durch Abbildungsdaten beschrieben oder bereitgestellt sein, in welchen jeweils das Umfeld 14, also zum Beispiel ein vor dem Kraftfahrzeug befindlicher Straßenbereich, dargestellt oder abgebildet ist. Die jeweilige , kann auf der Grundlage der Sensordaten 15 den jeweiligen Zustand des Umfelds 14 zu zwei unterschiedlichen Zeitpunkten darstellen. Alternativ dazu kann mittels eines Umfeldmodells 22 und einer in einer Prognose oder Simulation SIM die erste denselben Messzeitpunkt T0 wie die zweite darstellen, wobei die Abbildung 20 künstlich auf der Grundlage von vorgegebenen Bewegungsparametern 23 erzeugt werden kann. Die stellt dann eine simulierte Bewegung des Kraftfahrzeugs 10 bis zum Messzeitpunkt T0 dar, während die die auf Grundlage der Sensordaten 15 ermittelte tatsächliche aktuelle Position des Kraftfahrzeugs 10 darstellt. An einem Ausgang 19' des Netzwerks 18 gibt dieses aufgrund seines Trainings zu den beiden Abbildungen den jeweiligen Parameterwert des zumindest eines Bewegungsparameters 17 aus.
-
Um das künstliche neuronale Netzwerk 18 entsprechend zu trainieren, kann für die Herstellung oder Bereitstellung der Steuervorrichtung 12 das künstliche neuronale Netzwerk 18, d.h. ein entsprechender, das Netzwerk 18 beschreibender Datensatz, erzeugt werden, indem zu von einer Testumgebung oder einem Testumfeld mittels einer Transformation 25 eine jeweils korrespondierende erzeugt wird, also eine transformierte Abbildung. Die Abbildungen 24 können z.B. mittels Testfahrten gewonnen werden. Die Transformation 25 kann durch jeweils zumindest einen bekannten oder vorgegebenen Bewegungsparameter 27 konfiguriert sein, sodass also die sich ergebenden Unterschiede zwischen der und der zugehörigen transformierten bekannt sind. Eine und die dazugehörige transformierte sowie die für deren Erzeugung verwendeten Bewegungsparameter 27 können für einen Trainingsschritt des neuronalen Netzwerks 18 verwendet werden, indem am Eingang 19 die , und am Ausgang 19' als Soll-Ausgangsdaten der zumindest eine bekannte Bewegungsparameter 27 angelegt oder vorgegeben werden. Durch einen Algorithmus des maschinellen Lernens kann dann der Trainingsschritt durchgeführt werden. Das Training des Netzwerks 18 kann zum Beispiel in einem Computer oder in einem Computerverbund durchgeführt werden.
-
Durch Eingeben der , am Eingang 19 erzeugt dann das trainierte Netzwerk 18 am Ausgang 19' die in jeweiligen aktuellen Parameterwert des zumindest einen Bewegungsparameters 17 (siehe 1).
-
3 veranschaulicht ein Beispiel für eine und eine , die durch das neuronale Netzwerk 18 am Eingang 19 empfangen werden können und zu welchen das neuronale Netzwerk im Erkennungsbetrieb R den Bewegungsparameter 17 erzeugt. Zur Veranschaulichung ist ein Koordinatensystem 28 dargestellt. Die stellt in dem veranschaulichten Beispiel einen Ausschnitt 29 dar, der in der in der korrekten relativen Lage dargestellt ist. Ausgehend von einem Ursprung 30 des Koordinatensystems 28 stelle nur der zumindest eine aktuelle Parameterwerts des zumindest einen Bewegungsparameters 17 eine Bewegung oder Verschiebung dar, durch welche die lagerichtig auf die angeglichen wird. Da der jeweilige Verbauort des zumindest einen Umfeldsensors der Sensoreinrichtung 11 bekannt ist, kann auf der Grundlage des bekannten Verbauorts und des Bewegungsparameters 17 auf die Eigenbewegung 16 des Kraftfahrzeugs rückgeschlossen oder diese ermittelt oder berechnet werden.
-
Für die Bestimmung der Eigenbewegung
16 des Kraftfahrzeugs
10 werden also gemessene Sensordaten
15 zumindest eines Umfeldsensors
11' (zum Beispiel Laserscanner, Radar, Ultraschall, Kamera) oder die aus einer Fusion der Sensordaten
15 erzeugten Umfeldmodelle
22 zweier unterschiedlicher Zeitpunkte (Messzeitpunkt T0 und ein vorangegangener Zeitpunkt) verwendet. Möglich sind auch die Daten eines der genannten Umfeldsensoren und ein Umfeldmodell desselben Messzeitpunkts T0. Die hierbei verwendeten Abbildungen
20,
21 können dabei beliebig repräsentiert sein. Punktwolken bestehen aus kartesischen oder polaren Koordinaten beliebiger Dimension und sind ebenso verwendbar wie die in der
DE 10 2013 019 264 A1 beschriebene topologische Darstellung oder eine andere Darstellung. Wie in
1 dargestellt, werden die Repräsentation oder
,
dem neuronalen Netzwerk
18 am Eingang
19 bereitgestellt. Diese stellt dann am Ausgang
19' (Output) (Input) die tatsächliche Bewegung des Kraftfahrzeugs
10 als zumindest einen aktuellen Parameterwert bereit. Der Umfang dieser Bewegungsinformation hängt dabei vom konkreten Anwendungsfall ab: Sie besteht zumindest aus einer Pose (das heißt der Translations- und Rotationsdifferenz zwischen beiden Zeitpunkten), kann jedoch auch Geschwindigkeit, Beschleunigung und/oder eine andere kinematische Eigenschaft beinhalten und/oder sowie eine Information zum Beispiel zum Schlupf. Wichtig ist nur, dass diese Größen festgelegt sein müssen, d.h. bereits vor dem Training, wie es in
2 veranschaulicht ist, feststehen muss, welche kinematischen Größen von Interesse sind, damit die Bewegungsparameter
27 vorgegeben werden können.
-
Damit das neuronale Netzwerk
18 den zumindest eine Parameterwert erzeugen kann, ist ein entsprechendes Training notwendig. Dafür werden Abbildungsdaten einer Abbildung eines Zeitpunktes mit bekannten kinematischen Größen von zumindest einem Bewegungsparameter
27 transformiert. Die transformierte
wird bevorzugt zusätzlich verrauscht, d.h. zufälligen Variationen unterworfen, die aber bevorzugt kleiner als ein vorbestimmter Schwellenwert sind. Im Fall von Punktwolken werden die Positionen und die Anzahl der Punkte, im Fall der Darstellung aus
DE 10 2013 019 264 A1 die Vertices und andere Attribute wie Messunsicherheiten zufällig verändert. Die transformierten und die nicht transformierten Abbildungen sowie die Transformationsparameter (Bewegungsparameter
27) werden, wie in
2 gezeigt, am Eingang
19 bzw. am Ausgang
19' dem neuronalen Netzwerk
18 bereitgestellt und damit das Training gestartet. Nach Beendigung des Trainings steht das Netzwerk
18 für die beschriebene Verwendung zum Ermitteln der Eigenbewegung des Kraftfahrzeugs
10 zur Verfügung.
-
Da das Training sehr aufwendig sein kann, wird es bevorzugt vor dem eigentlichen Einsatz offline von einem Rechner mit entsprechender Leistung durchgeführt. Die Bestimmung der Fahrzeugposition kann dann entweder im Kraftfahrzeug 10 selbst erfolgen oder, bei einer entsprechend schnellen Datenverbindung mit einer entsprechend geringen Latenz, in einem Server des Internets. Das heißt die Steuervorrichtung 12 kann auch außerhalb des Kraftfahrzeugs 10 in einem solchen Server des Internets bereitgestellt sein und über eine Funkverbindung mit der Sensoreinrichtung 11 und/oder der Autopiloteinrichtung 13 gekoppelt sein. Die Sensordaten 15 und/oder Modelldaten des Umfeldmodells 22 können dann in dem Server bereitgestellt werden. Die geschätzten Bewegungsparameter 17 können dann zurück in das Kraftfahrzeug übertragen werden.
-
In vorteilhafter Weise ergibt sich somit eine Bestimmung der Fahrzeugbewegung 16 mittels der Steuervorrichtung 12. Durch Ausstatten des Netzwerks 18 mit entsprechenden Netzwerkschichten oder künstlichen Neuronen ist es skalierbar je nach Anwendungsfall auf verschiedene Genauigkeiten. Auch das Vorgeben oder Auswählen der zu verwendenden kinematischen Bewegungsparameter 17 ist zum Einstellen oder Skalieren der Genauigkeit nutzbar. Somit ergibt sich eine vorgebbare Genauigkeitssteigerung oder Genauigkeit der im Kraftfahrzeug erstellten lokalen Umfeldmodelle 22 und (teil-) autonome Fahraufgaben.
-
Somit wird Maschinenlernen oder maschinelles Lernen und/oder neuronale Netzwerke angewendet, um eine Funktion der Bewegung des Kraftfahrzeugs zwischen zwei Zeitpunkten anhand bereits detektierter/klassifizierter Objekte oder Punktwolken zu bestimmen.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung die Fahrzeugbewegung eines Kraftfahrzeugs mittels einer Methode des maschinellen Lernens ermittelt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 8989944 B1 [0003]
- CN 000103077393 A [0004]
- CN 000103253263 A [0005]
- DE 102015120831 A1 [0006]
- DE 102013019264 A1 [0007, 0019, 0038, 0039]
