DE102017100060A1

DE102017100060A1 - Bestimmung von Bewegungsinformation mit Umgebungssensoren

Info

Publication number: DE102017100060A1
Application number: DE102017100060.7A
Authority: DE
Inventors: Jean-Francois Bariant; Tino Milschewski; Anto Michael; Markus Heimberger; Ahmed Kotb
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2017-01-03
Filing date: 2017-01-03
Publication date: 2018-07-05
Also published as: WO2018127328A1; JP2020504387A; US20200258379A1; EP3566104A1

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem (20), mit einem ersten und einem zweiten Umgebungssensor (22, 24), umfassend die Schritte Bestimmen einer ersten Key Pose (16) eines ersten Umgebungssensors (22) zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines ersten Merkmalssatzes (18) mit dem ersten Umgebungssensor (22) zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose (16), Bestimmen einer zweiten Key Pose (16) eines zweiten Umgebungssensors (24) zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines zweiten Merkmalssatzes (18) mit dem zweiten Umgebungssensor (24) zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose (16), Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes (18) bezogen auf die zweite Key Pose (16), und Schätzen der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem, mit einem ersten und einem zweiten Umgebungssensor.
Die vorliegende Erfindung betrifft außerdem eine Schnittstelle für ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor.
Weiter betrifft die vorliegende Erfindung ein Computerprogrammprodukt zur Durchführung des obigen Verfahrens.
Die vorliegende Erfindung betrifft weiterhin ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über eine Schnittstelle verbunden ist.
Außerdem betrifft die vorliegende Erfindung ein Fahrzeug mit einem obigen Fahrzeugassistenzsystem.
Im Stand der Technik sind verschiedenartige Ansätze bekannt, um Bewegungsinformationen zu gewinnen. So sind beispielsweise Ansätze zur Fusion von Sensordaten im Zusammenhang von Simultaneous Location and Mapping (SLAM) Verfahren im Stand der Technik bekannt. Diese Verfahren basieren darauf, dass Merkmale extrahiert werden, und eine merkmalsbasierte Fusion und Lokalisierung erfolgen.
Für die Bestimmung einer Bewegungsinformation in einer realen Umgebung, d.h. beispielsweise einer Bewegung um eine Distanz in einem Winkel, sind diese Verfahren nur bedingt geeignet oder zu aufwendig. Das Extrahieren von Merkmalen ist ein schwieriges Verfahren.
Aus der US 7,426,449 B2 ist ein Messdatenverarbeitungssystem bekannt, welches Messdaten aus einem Satz von unabhängigen, selbst-validierenden (SEVA) Prozesssensoren, die dieselbe Echtzeit-Messgröße überwachen, fusioniert, um eine kombinierte, beste Schätzung für den Wert, die Unsicherheit und den Messstatus der Messgröße zu erzeugen. Das System bietet auch Konsistenzprüfung zwischen den Messungen. Das Messdatenverarbeitungssystem umfasst einen ersten Prozesssensor und einen zweiten Prozesssensor. Jeder der ersten und zweiten Prozesssensoren erhält ein Messsignal von einem Wandler und erzeugt eine unabhängige Prozessmetrik. Ein Messfusionsblock ist an den ersten und den zweiten Prozesssensor angeschlossen, wobei der Messfusionsblock betreibbar ist, um die unabhängigen Prozessmetriken zu empfangen und einen Messanalyseprozess zur Analyse der unabhängigen Prozessmetriken durchzuführen und die kombinierten, besten Schätzungen der unabhängigen Prozessmetriken zu generieren.
Weiter sind aus der US 8,417,490 B1 ein System und ein Verfahren zur Bereitstellung integrierter Verfahren für eine integrierte Software-Entwicklungsumgebung für das Design, die Überprüfung und die Validierung von fortschrittlichen Automobilsicherheitssystemen bekannt. Das System ermöglicht, dass eine automotive Software, die auf einem Host-Computer entwickelt wird, eine Sammlung von Computerprogrammen gleichzeitig als Prozesse verwendet und durch einen zentralen Prozess synchronisiert wird. Die Software verwendet separate, synchronisierte Prozesse, die es ermöglicht, dass Signale von verschiedenen Quellen durch eine auf dem Hostrechner laufende Simulation oder durch tatsächliche Sensoren und Datenbussignalen, die von tatsächlicher Fahrzeug-Hardware, die an ihre Bus-Gegenstücke angeschlossen ist, in dem Host-Computer auf einer Echtzeit-Basis erzeugt werden.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem, mit einer Mehrzahl Umgebungssensoren, eine Schnittstelle für ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor, ein Computerprogrammprodukt zur Durchführung des obigen Verfahrens, ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über die obige Schnittstelle verbunden ist, sowie ein Fahrzeug mit einem obigen Fahrzeugassistenzsystem anzugeben, die eine einfache und robuste Bestimmung von Bewegungsinformationen ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Erfindungsgemäß ist somit ein Verfahren zur Bestimmung einer Bewegungsinformation angegeben, insbesondere für ein Fahrzeugassistenzsystem, mit einem ersten und einem zweiten Umgebungssensor, umfassend die Schritte Bestimmen einer ersten Key Pose eines ersten Umgebungssensors zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines ersten Merkmalssatzes mit dem ersten Umgebungssensor zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose, Bestimmen einer zweiten Key Pose eines zweiten Umgebungssensors zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines zweiten Merkmalssatzes mit dem zweiten Umgebungssensor zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose, Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes bezogen auf die erste Key Pose und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes bezogen auf die zweite Key Pose, und Schätzen der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.
Erfindungsgemäß ist außerdem eine Schnittstelle für ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor angegeben, die Schnittstelle aufweisend ein Interface für das Empfangen einer ersten bzw. zweiten Key Pose von dem ersten bzw. zweiten Umgebungssensor, und ein Interface für das Empfangen eines ersten bzw. zweiten Merkmalssatzes relativ zu der ersten bzw. zweiten Key Pose von dem ersten bzw. zweiten Umgebungssensor.
Weiter ist erfindungsgemäß ein Computerprogrammprodukt zur Durchführung des obigen Verfahrens angegeben.
Erfindungsgemäß ist weiterhin angegeben ein Fahrzeugassistenzsystem mit einem ersten und einem zweiten Umgebungssensor und einer Steuerungseinrichtung, die mit dem ersten und zweiten Umgebungssensor über eine Schnittstelle verbunden ist, wobei das Fahrzeugassistenzsystem ausgeführt ist, das oben angegebene Verfahren durchzuführen.
Außerdem ist erfindungsgemäß ein Fahrzeug mit einem obigen Fahrzeugassistenzsystem angegeben.
Grundidee der vorliegenden Erfindung ist es also, über die Definition der Key Poses Bezugsgrößen zu schaffen, die verwendet werden können, um bei darauffolgenden Sensormessungen erzeugte Merkmalssätze mit den Merkmalen der Key Poses zu vergleichen. Dabei können die Merkmale der jeweiligen Key Pose und des entsprechenden Merkmalssatzes aufeinander abgebildet werden, um die Positionsänderung des Umgebungssensors zu bestimmen. Aus der Positionsänderung zusammen mit der dazu gehörenden Zeitdifferenz für die zwei Umgebungssensoren ergeben sich somit zwei Bewegungsinformationen. Dabei ist das Verfahren einfacher ist als eine generelle Merkmalsextraktion wie im Stand der Technik.
Ein Merkmal weist charakteristische Eigenschaften auf, die durch den jeweiligen Umgebungssensor erkannt werden können. Ein Merkmal stellt also ein einfaches geometrischen Primitiv dar, was direkt vom Sensor bzw. von dessen Adhoc-Algorithmus bestimmt wird. Den Merkmalen können reale Objekte, beispielsweise ein Fahrzeug, ein Schild, ein Mast, ein Bordstein, oder andere, zu Grunde liegen.
Ein Merkmalssatz umfasst entsprechend eine Gesamtheit von Merkmalen, die ein Umgebungssensor jeweils erfassen kann. Der Merkmalssatz ist somit ein Ergebnis einer Sensormessung mit einem Umgebungssensor, wobei aus den Sensorinformationen die einzelnen Merkmale extrahiert sind. Dabei ist es wünschenswert, dass die Sensormessungen möglichst ungefiltert durchgeführt werden, d.h. ohne eine vorherige Bildbearbeitung, beispielsweise basierend auf einer Historie.
Entsprechend unterscheiden sich eine Key Pose und der entsprechende Merkmalssatz nicht prinzipiell, sondern nur in Ihrer Funktion, wobei eine Key Pose jeweils als Referenz für weitere Merkmalssätze verwendet wird, die mit dem entsprechenden Umgebungssensor bestimmt worden sind.
Prinzipiell kann das Verfahren auch auf eine Vielzahl Umgebungssensoren ausgeweitet werden, wobei die Verarbeitung entsprechend wie für die zwei Umgebungssensoren beschrieben erfolgt. Dabei können prinzipiell beliebige Arten von Umgebungssensoren verwendet und kombiniert werden.
Bei dem Verfahren ist es unerheblich, wie der erste bzw. zweite Referenzzeitpunkt sowie die erste bzw. zweite Zeitdifferenz gewählt sind. Referenzzeitpunkte sowie Zeitdifferenz können bei verschiedenen Umgebungssensoren unterschiedliche Werte aufweisen. Die Bestimmung der jeweiligen Key Poses und Merkmalssätze können prinzipiell vollständig asynchron erfolgen.
Auch ist es für das Verfahren prinzipiell unerheblich, in welcher Reihenfolge einzelne Schritte durchgeführt werden. So können Positionsänderungen für jeden Umgebungssensor unabhängig voneinander bestimmt werden. Die Schätzung der Bewegungsinformation kann dabei prinzipiell beliebig basierend auf jeweils aktuell vorliegenden Positionsänderungen erfolgen.
Beim Schätzen der Bewegungsinformation basierend auf den ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors ist es erforderlich, dass die jeweiligen Referenzzeitpunkte einer gemeinsamen Zeitskala zugeordnet werden können. Dabei kann ein vorzugsweise kontinuierliches Fortschreiben der Fahrzeugbewegung erfolgen. Damit kann die Bewegungsinformation auch geschätzt werden, wenn beispielsweise der erste oder zweite Umgebungssensor keinen aktuellen Merkmalssatz bereitgestellt hat.
Ein Bestimmen weiterer erster bzw. zweiter Merkmalssätze erfolgt wie zuvor beschrieben, wobei sich lediglich der Wert für die entsprechende Zeitdifferenz ändert. Eine Schätzung der Bewegungsinformation kann ohne weiteres durchgeführt werden.
Zusätzlich können Key Poses auf eine Karte übertragen werden. Dies kann beispielsweise durchgeführt werden, um eine Trajektorie über Key Poses zu definieren. Entsprechend können die Key Poses ausgehend von Ihrer Position auf der Karte als Referenzen für die Trajektorie verwendet werden. Dabei ist es verbreitet, dass die Fahrzeugposition über die Hinterachse definiert wird, beispielsweise den Mittelpunkt der Hinterachse.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Empfangens von einer externen Bewegungsinformation, und der Schritt des Schätzens der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Durch die Berücksichtigung weiterer Informationen in Bezug auf die Bewegung kann die Schätzung der Bewegungsinformation weiter verbessert werden. Darüber hinaus kann durch die externen Bewegungsinformationen eine Initialisierung einzelner Verfahrensschritte erfolgen, wodurch die Durchführung des Verfahrens beschleunigt und/oder verbessert werden kann. Insbesondere können beim Schätzen der Bewegungsinformationen die externen Bewegungsinformationen als Initialwert übernommen werden, die durch die ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors basierend auf dem ersten und zweiten Referenzzeitpunkt zusammen mit der ersten und zweiten Zeitdifferenz korrigiert werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst der Schritt des Schätzens der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das Gewichten der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Dadurch kann eine erste Schätzung der Bewegungsinformation korrigiert werden, beispielsweise in Abhängigkeit einer verfügbaren Bewegungsinformation basierend auf ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors, des ersten und zweiten Referenzzeitpunkts und der ersten und zweiten Zeitdifferenz. Vorzugsweise wird die Gewichtung während des Betriebs dynamisch angepasst. Insbesondere kann die Gewichtung abhängig von einer Bewertung der Zuverlässigkeit der externen Bewegungsinformationen und/oder der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz erfolgen. So kann beispielsweise die Gewichtung der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz erhöht werden abhängig von einer Anzahl erkannter Merkmale bezogen auf die jeweilige Key Pose.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Überprüfens einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes bezogen auf die erste bzw. zweite Key Pose, und für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes bezogen auf die erste bzw. zweite Key Pose erkannt werden, umfasst das Verfahren den zusätzlichen Schritt des Bestimmens einer weiteren ersten bzw. zweiten Key Pose des ersten bzw. zweiten Umgebungssensors. Entsprechend wird überprüft, ob die erste oder zweite Key Pose noch geeignet für das Schätzen der Bewegungsinformationen ist. Dies ist der Fall, so lange eine ausreichende Anzahl Merkmale der jeweiligen Key Pose in dem entsprechenden ersten bzw. zweiten Merkmalssatz enthalten ist, um eine Positionsänderung dieser Merkmale bestimmen zu können. Sobald ein Umgebungssensor einen bisher unbekannten Teil erfasst, wird also eine neue Key Pose erzeugt und ggf. zu der Karte hinzugefügt. Sobald eine Key Pose nicht mehr geeignet ist für das Schätzen der Bewegungsinformationen, wird für den entsprechenden Sensor eine neue Key Pose erzeugt. Dabei wird prinzipiell für jeden Sensor unabhängig über die Erzeugung von Key Poses entschieden. Da die verschiedenen Sensoren mitunter mit verschiedenen Blickwinkeln und Blickreichweiten angeordnet sein können, ist die Erkennung von Merkmalen der einzelnen Umgebungssensoren prinzipiell unabhängig. Auch kann ein Umgebungssensor beispielsweise temporär keine Positionsänderungen liefern. In dem Fall kann basierend auf dem anderen Umgebungssensor weiterhin eine Bewegungsinformation geschätzt werden. Die weiteren Merkmalssätze des entsprechenden Umgebungssensors werden im Anschluss unter Bezug auf die weitere Key Pose verarbeitet.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren den Schritt des Übertragens der ersten Key Pose, der zweiten Key Pose, des ersten Merkmalssatzes und des zweiten Merkmalssatzes von dem ersten bzw. zweiten Umgebungssensor an eine Steuerungseinrichtung. Entsprechend kann das Verfahren dezentral durchgeführt werden, indem ein Teil der Datenverarbeitung von den Umgebungssensoren durchgeführt wird, und ein Teil der Datenverarbeitung in der Steuerungseinrichtung durchgeführt wird. Durch eine Schnittstelle zwischen den Umgebungssensoren und der Steuerungseinrichtung wird sichergestellt, dass alle Merkmale korrekt übertragen werden können. Weiterhin können in der Steuerungseinrichtung Key Poses gespeichert und basierend auf den aktuellen Merkmalssätzen des entsprechenden Umgebungssensors aktualisiert werden. Hier kann eine Fusion der Key Poses mit den aktuellen Merkmalssätzen erfolgen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen des ersten Merkmalssatzes und des zweiten Merkmalssatzes von dem ersten bzw. zweiten Umgebungssensor an eine Steuerungseinrichtung das Übertragen von einer mit dem ersten bzw. zweiten Umgebungssensor erfassten ersten bzw. zweiten Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes basierend auf dem ersten bzw. zweiten Umgebungssensor. Die Unsicherheit kann prinzipiell von dem Umgebungssensor selber abhängen, d.h. ein Umgebungssensor kann eine höhere Genauigkeit aufweise als ein anderer. Die Unsicherheit kann dabei einerseits eine Genauigkeit und andererseits eine bestimmte Art einer Unsicherheit aufweisen, beispielsweise eine mögliche Richtungsinformation einer Unsicherheit.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes basierend auf dem ersten bzw. zweiten Umgebungssensor das Übertragen einer Kovarianzmatrix. Basierend auf der Kovarianzmatrix und der relativen Positionsänderungen kann somit die Bewegungsinformation geschätzt werden. Die Kovarianzmatrix ermöglicht es, Unsicherheiten bei der Bestimmung der jeweiligen Positionsänderung zu erfassen. Dazu kann die Unsicherheit einer Positionsänderung beispielsweise als in Form eines dreidimensionalen Ellipsoiden dargestellt werden.
In vorteilhafter Ausgestaltung der Erfindung umfassen die Schritte des Bestimmens eines ersten bzw. zweiten Merkmalssatzes relativ zu der ersten bzw. zweiten Key Pose die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose durchzuführen.
In vorteilhafter Ausgestaltung der Erfindung umfasst der Schritt des Bestimmens von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes bezogen auf die erste Key Pose und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes bezogen auf die zweite Key Pose das Durchführen einer Kalman Filterung, Partikelfilterung, eines Informationsfilters oder einer Graphenoptimierung. Derartige Filter sind als solche im Stand der Technik prinzipiell bekannt und können verwendet werden, um nachfolgend die Informationen der verschiedenen Umgebungssensoren zu der geschätzten Bewegungsinformation verarbeiten zu können.
In vorteilhafter Ausgestaltung der Erfindung der erste und der zweite Umgebungssensor unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt. Sensorinformationen der unterschiedlichen Sensoren können ohne prinzipielle Einschränkungen kombiniert verarbeitet werden, da jeder Umgebungssensor auf seine Art seine Key Pose bestimmt und eine Sensormessung durchführt. Auch die Erkennung von Merkmalen in den Sensormessungen kann prinzipiell auf unterschiedliche Art erfolgen. Beim Schätzen der Bewegungsinformation können dabei prinzipiell beliebige Arten von Sensoren in beliebigen Positionen kombiniert werden. Dabei sind auch die Merkmale jeweils für jeden Umgebungssensor individuell.
In vorteilhafter Ausgestaltung der Erfindung weist das Fahrzeugassistenzsystem eine oben angegebene Schnittstelle auf, die zwischen der Steuerungseinheit und dem ersten und dem zweiten Umgebungssensor ausgebildet ist.
Es zeigt

1 eine schematische Ansicht eines Fahrzeugs mit einem Fahrzeugassistenzsystem gemäß einer ersten, bevorzugten Ausführungsform auf einer gefahrenen Trajektorie, und
2 ein Ablaufdiagram eines Verfahrens zur Bestimmung einer Bewegungsinformation für das Fahrzeugassistenzsystem in Übereinstimmung mit der ersten Ausführungsform.

Die 1 zeigt eine schematische Ansicht eines Fahrzeugs 10, das sich entlang einer Trajektorie 12 in diesem Ausführungsbeispiel zu einem Zielpunkt, der hier durch eine Garage 14 repräsentiert ist.
Das Fahrzeug 10 ist gemäß der ersten, bevorzugten Ausführungsform mit einem Fahrzeugassistenzsystem 20 ausgeführt. Das Fahrzeugassistenzsystem 20 umfasst einen ersten und einen zweiten Umgebungssensor 22, 24, die über eine Schnittstelle 26 mit einer Steuerungseinrichtung 28 verbunden sind. Der erste und der zweite Umgebungssensor 22, 24 sind unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt.
Ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Bestimmung einer Bewegungsinformation für das Fahrzeugassistenzsystem 20 in dem Fahrzeug 10 gemäß der ersten Ausführungsform ist in 2 dargestellt. Für das Verfahren gelten die folgenden, allgemeinen Definitionen.
Ein Merkmal weist charakteristische Eigenschaften auf, die durch den jeweiligen Umgebungssensor erkannt werden können. Ein Merkmal stellt also ein einfaches geometrischen Primitiv dar, was direkt vom Sensor bzw. von dessen Adhoc-Algorithmus bestimmt wird. Den Merkmalen können reale Objekte, beispielsweise ein Fahrzeug, ein Schild, ein Mast, ein Bordstein, oder andere, zu Grunde liegen.
Beim Bewegen entlang der Trajektorie 12 werden von jedem Umgebungssensor 22, 24 unabhängig Key Poses 16 gebildet als Referenz für die Bestimmung von Bewegungsinformationen. Außerdem werden von jedem Umgebungssensor 22, 24 unabhängig Merkmalssätze 18 gebildet, für welche eine Positionsänderung bezogen auf die jeweilige Key Pose 16 bestimmt wird. Entsprechend wird in 1 beispielhaft die Trajektorie 12 mit Key Poses 16 und Merkmalssätzen 18 dargestellt, die beispielhaft sowohl erste Key Poses 16 und erste Merkmalssätze 18 oder zweite Key Poses 16 und zweite Merkmalssätze 18 sein können. Die Key Poses 16 und Merkmalssätze 18 sind hier beispielhaft als Punkte entlang der Trajektorie 12 dargestellt, wobei die Punkte jeweils eine Position angeben, die mit der entsprechenden Key Pose 16 bzw. dem Merkmalssatz 18 korrespondiert.
Ein Merkmalssatz 18 ist ein Ergebnis einer Sensormessung mit einem Umgebungssensor 22, 24 und umfasst eine Gesamtheit von Merkmalen, die ein Umgebungssensor 22, 24 jeweils erfasst, wobei aus den Sensorinformationen die einzelnen Merkmale extrahiert sind. Die Sensormessungen werden ungefiltert durchgeführt.
Prinzipiell kann das Verfahren auch auf eine Vielzahl Umgebungssensoren 22, 24 ausgeweitet werden, wobei die Verarbeitung entsprechend wie für die zwei Umgebungssensoren 22, 24 beschrieben erfolgt.
Das Verfahren beginnt mit Schritt S100, der das Bestimmen einer ersten Key Pose 16 eines ersten Umgebungssensors 22 zu einem ersten Referenzzeitpunkt betrifft. Die erste Key Pose 16 liefert einen Merkmalssatz einer Umgebung einer Position.
Nachfolgen wird in Schritt S110 ein erster Merkmalssatz 18 mit dem ersten Umgebungssensor 22 zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose 16 bestimmt.
Entsprechend mit den Schritten S100 und S110 wird in Schritt S120 eine zweite Key Pose 16 eines zweiten Umgebungssensors 24 zu einem zweiten Referenzzeitpunkt bestimmt, wobei die zweite Key Pose 16 einen Merkmalssatz einer Umgebung einer Position liefert, und in Schritt S130 wird ein zweiter Merkmalssatz 18 mit dem zweiten Umgebungssensor 24 zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose 16 bestimmt.
Dabei werden in den Schritten S100 und S120 zusätzlich die beiden bestimmten Key Poses 16 auf eine Karte übertragen, wie beispielhaft in 1 dargestellt ist. Dabei wird eine Fahrzeugposition über einen Mittelpunkt der Hinterachse des Fahrzeugs 10 definiert.
Das Bestimmen des ersten bzw. zweiten Merkmalssatzes 18 relativ zu der ersten bzw. zweiten Key Pose 16 in den Schritten S110 und S130 umfasst jeweils die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose 16 durchzuführen.
Dabei erfolgt in den Schritten S110 und S130 jeweils eine Überprüfung einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes 18 bezogen auf die erste bzw. zweite Key Pose 16. Für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes 18 bezogen auf die erste bzw. zweite Key Pose 16 erkannt werden, werden eine weitere erste bzw. zweite Key Pose 16 des ersten bzw. zweiten Umgebungssensors 22, 24 in den Schritten S100 bzw. S120 bestimmt. Dies erfolgt für jeden Umgebungssensor 22, 24 unabhängig.
In Schritt S140 erfolgt ein Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes 18 bezogen auf die erste Key Pose 16 und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes 18 bezogen auf die zweite Key Pose 16. Die abschließende Fusion umfasst das Durchführen einer Kalman Filterung, Partikelfilterung, eines Informationsfilters oder einer Graphenoptimierung, um die Informationen der verschiedenen Umgebungssensoren 22, 24 zu der geschätzten Bewegungsinformation zu verarbeiten.
Außerdem werden die erste Key Pose 16, die zweite Key Pose 16 sowie eine mit dem ersten bzw. zweiten Umgebungssensor 22, 24 erfassten ersten bzw. zweiten Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung übertragen. Das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes 18 basierend auf dem ersten bzw. zweiten Umgebungssensor 22, 24 umfasst das Übertragen einer Kovarianzmatrix. Für das Übertragen weist die Schnittstelle 26 jeweils ein entsprechendes Interface auf.
In Schritt S150 wird eine externe Bewegungsinformation des Fahrzeugs 10 basierend auf Odometrieinformationen des Fahrzeugs 10 an die Steuerungseinrichtung 28 übertragen.
In Schritt S160 erfolgt das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der der geschätzten Bewegungsinformation gemäß Schritt S140, in dem die erste und zweite Positionsänderung des ersten und des zweiten Umgebungssensors 22, 24 zu der zu der geschätzten Bewegungsinformation verarbeitet wurden. Beim Schätzen der Bewegungsinformation erfolgt ggf. ein Fortschreiben der Fahrzeugbewegung.
Außerdem werden die externe Bewegungsinformation und die ersten und zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 gewichtet. Die Gewichtung wird während des Betriebs dynamisch angepasst, abhängig von einer Bewertung der Zuverlässigkeit der externen Bewegungsinformation und/oder der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz. Zusätzlich wird die Gewichtung der ersten und den zweiten Positionsänderungen des ersten und des zweiten Umgebungssensors 22, 24 zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz gegenüber der externen Bewegungsinformation erhöht abhängig von einer Anzahl erkannter Merkmale bezogen auf die jeweilige Key Pose 16.
Ein Bestimmen weiterer erster bzw. zweiter Merkmalssätze 18 erfolgt wie zuvor beschrieben in den Schritten S110 bzw. S130, wobei sich lediglich der Wert für die entsprechende Zeitdifferenz ändert. Das Verfahren springt also jeweils unabhängig wieder auf die genannten Schritte zurück.
Bezugszeichenliste

Fahrzeug	10
Trajektorie	12
Garage, Zielpunkt	14
Key Pose	16
Merkmalssatz	18
Fahrzeugassistenzsystem	20
erster Umgebungssensor	22
zweiter Umgebungssensor	24
Schnittstelle	26
Steuerungseinrichtung	28

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7426449 B2 [0008]
US 8417490 B1 [0009]

Claims

Verfahren zur Bestimmung einer Bewegungsinformation, insbesondere für ein Fahrzeugassistenzsystem (20), mit einem ersten und einem zweiten Umgebungssensor (22, 24), umfassend die Schritte Bestimmen einer ersten Key Pose (16) eines ersten Umgebungssensors (22) zu einem ersten Referenzzeitpunkt, wobei die erste Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines ersten Merkmalssatzes (18) mit dem ersten Umgebungssensor (22) zu einem ersten Referenzzeitpunkt plus einer ersten Zeitdifferenz relativ zu der ersten Key Pose (16), Bestimmen einer zweiten Key Pose (16) eines zweiten Umgebungssensors (24) zu einem zweiten Referenzzeitpunkt, wobei die zweite Key Pose (16) einen Merkmalssatz einer Umgebung einer Position liefert, Bestimmen eines zweiten Merkmalssatzes (18) mit dem zweiten Umgebungssensor (24) zu einem zweiten Referenzzeitpunkt plus einer zweiten Zeitdifferenz relativ zu der zweiten Key Pose (16), Bestimmen von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes (18) bezogen auf die zweite Key Pose (16), und Schätzen der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren den Schritt des Empfangens von einer externen Bewegungsinformation umfasst, und der Schritt des Schätzens der Bewegungsinformation basierend auf der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das Schätzen der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt des Schätzens der Bewegungsinformation basierend auf der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz das Gewichten der externen Bewegungsinformation und der ersten und zweiten Positionsänderung des ersten und des zweiten Umgebungssensors (22, 24) zusammen mit dem ersten und zweiten Referenzzeitpunkt und der ersten und zweiten Zeitdifferenz umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den Schritt des Überprüfens einer Erkennung einer Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes (18) bezogen auf die erste bzw. zweite Key Pose (16) umfasst, und für den Fall, dass weniger als die Mindestanzahl von Merkmalen des ersten bzw. zweiten Merkmalssatzes (18) bezogen auf die erste bzw. zweite Key Pose (16) erkannt werden, das Verfahren den zusätzlichen Schritt des Bestimmens einer weiteren ersten bzw. zweiten Key Pose (16) des ersten bzw. zweiten Umgebungssensors (22, 24) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren den Schritt des Übertragens der ersten Key Pose (16), der zweiten Key Pose (16), des ersten Merkmalssatzes (18) und des zweiten Merkmalssatzes (18) von dem ersten bzw. zweiten Umgebungssensor (22, 24) an eine Steuerungseinrichtung (28) umfasst.
Verfahren nach dem vorhergehenden Anspruch 5, dadurch gekennzeichnet, dass das Übertragen des ersten Merkmalssatzes (18) und des zweiten Merkmalssatzes (18) von dem ersten bzw. zweiten Umgebungssensor (22, 24) an eine Steuerungseinrichtung (28) das Übertragen von einer mit dem ersten bzw. zweiten Umgebungssensor (22, 24) erfassten ersten bzw. zweiten Positionsänderung sowie einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes (18) basierend auf dem ersten bzw. zweiten Umgebungssensor (22, 24) umfasst.
Verfahren nach dem vorhergehenden Anspruch 6, dadurch gekennzeichnet, dass das Übertragen einer Beschreibung von einer Unsicherheit der ersten bzw. zweiten Positionsänderung des ersten bzw. zweiten Merkmalssatzes (18) basierend auf dem ersten bzw. zweiten Umgebungssensor (22, 24) das Übertragen einer Kovarianzmatrix umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte des Bestimmens eines ersten bzw. zweiten Merkmalssatzes (18) relativ zu der ersten bzw. zweiten Key Pose (16) die Verarbeitung von Rohdaten mit einem AdHoc-Algorithmus umfassen, um die Bestimmung von Positionen von Merkmalen bezogen auf die erste bzw. zweite Key Pose (16) durchzuführen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bestimmens von einer ersten relativen Positionsänderung aus den Merkmalen des ersten Merkmalssatzes (18) bezogen auf die erste Key Pose (16) und einer zweiten relativen Positionsänderung aus den Merkmalen des zweiten Merkmalssatzes (18) bezogen auf die zweite Key Pose (16) das Durchführen einer Kalman Filterung, Partikelfilterung, eines Informationsfilters oder einer Graphenoptimierung umfasst.
Schnittstelle (26) für ein Fahrzeugassistenzsystem (20) mit einem ersten und einem zweiten Umgebungssensor (22, 24), die Schnittstelle (26) aufweisend ein Interface für das Empfangen einer ersten bzw. zweiten Key Pose (16) von dem ersten bzw. zweiten Umgebungssensor (22, 24), und ein Interface für das Empfangen eines ersten bzw. zweiten Merkmalssatzes (18) relativ zu der ersten bzw. zweiten Key Pose (16) von dem ersten bzw. zweiten Umgebungssensor (22, 24).
Computerprogrammprodukt zur Durchführung des Verfahrens nach einem der vorherigen Ansprüche.
Fahrzeugassistenzsystem (20) mit einem ersten und einem zweiten Umgebungssensor (22, 24) und einer Steuerungseinrichtung (28), die mit dem ersten und zweiten Umgebungssensor (22, 24) über eine Schnittstelle (26) verbunden ist, wobei das Fahrzeugassistenzsystem (20) ausgeführt ist, das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 10 durchzuführen.
Fahrzeugassistenzsystem (20) nach dem vorhergehenden Anspruch 12, dadurch gekennzeichnet, dass der erste und der zweite Umgebungssensor (22, 24) unabhängig voneinander als Laserscanner, Radar, Ultraschallsensor oder Kamera ausgeführt sind.
Fahrzeugassistenzsystem (10) nach einem der vorhergehenden Ansprüche 12 oder 13, dadurch gekennzeichnet, dass das Fahrzeugassistenzsystem (20) eine Schnittstelle (26) nach dem vorhergehenden Anspruch 10 aufweist, die zwischen der Steuerungseinheit (28) und dem ersten und dem zweiten Umgebungssensor (22, 24) ausgebildet ist.
Fahrzeug (10) mit einem Fahrzeugassistenzsystem (20) nach einem der vorhergehenden Ansprüche 12 bis 14.