DE102021214210A1

DE102021214210A1 - Monokulare visuell-inertiale Wegstreckenmessung eines Bodenfahrzeugs mittels lokal flacher Beschränkungen

Info

Publication number: DE102021214210A1
Application number: DE102021214210.9A
Authority: DE
Inventors: Eduardo Jose Ramirez Llandos; Dhiren Verma; Xin Yu
Original assignee: Continental Automotive Systems Inc
Current assignee: Continental Autonomous Mobility Us NDG Us LLC
Priority date: 2020-12-28
Filing date: 2021-12-13
Publication date: 2022-06-30
Also published as: US20220205788A1

Abstract

Offenbart wird ein Verfahren zur visuell-inertialen Wegstreckenmessung für ein Bodenfahrzeug, das das Erhalten eines anfänglichen Satzes an Bildern mit einer bordseitigen Fahrzeugkamera, das Identifizieren von Merkmalen innerhalb des anfänglichen Satzes an Bildern, das Bestimmen einer dreidimensionalen Pose unter Verwendung der visuellen Merkmale im anfänglichen Satz an Bildern, das Erhalten von Daten, die auf eine Fahrzeugbewegung hindeuten, mittels einer Inertialmesseinheit, das Erhalten von Daten, die auf eine Fahrzeugbewegung hindeuten, mittels Raddrehzahlsensoren und eines Lenkradwinkelsensors, das Zusammenfügen der identifizierten Merkmale innerhalb der Bilder, der Fahrzeugbewegung von der Inertialmesseinheit und den Fahrzeugsensoren innerhalb einer zweidimensionalen Ebene sowie das Bestimmen einer Fahrzeugposition bezogen auf einen anfänglichen Ausgangsstandort auf Grundlage der visuellen Merkmale in den Bildern und der Fahrzeugbewegungsdaten von Inertialmesseinheit, Raddrehzahlsensoren und Lenkradwinkel einschließt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft ein autonomes Fahrsystem und insbesondere Verbesserungen visuell-inertialer Wegstrecken-Messsysteme.
HINTERGRUND
Autonom betriebene Fahrzeuge erfassen und aktualisieren kontinuierlich Daten, um eine Position und Ausrichtung des Fahrzeugs über die Zeit zu bestimmen. Die visuell-inertiale Wegstreckenmessung für Bodenfahrzeuge nutzt Bilder, die von Fahrzeugkameras aufgenommen wurden, um Position und Ausrichtung des Fahrzeugs zu bestimmen. Die visuell-inertiale Wegstreckenmessung kann Bewegung jeweils zweidimensional oder dreidimensional mit drei bzw. sechs Freiheitsgraden modellieren. Jedes der Verfahren weist spezifische Vorteile auf. Beide Verfahren können jedoch erhebliche Prozessorleistungen erfordern.
Die hierin vorgelegte Beschreibung des Stands der Technik dient dem Zweck, einen allgemeinen Kontext der Offenbarung bereitzustellen. Arbeiten der namentlich genannten Erfinder, wie im Abschnitt zum Stand der Technik aufgeführt, sowie Aspekte der Beschreibung, die zum Zeitpunkt des Einreichens nicht anderweitig als Stand der Technik anzusehen sind, werden gegenüber der vorliegenden Offenbarung weder ausdrücklich noch implizit als Stand der Technik anerkannt.
KURZDARSTELLUNG
Ein Verfahren der visuell-inertialen Wegstreckenmessung eines Bodenfahrzeugs nach einer beispielhaften Ausführungsform dieser Offenbarung schließt, neben anderen möglichen Dingen, das Erhalten eines anfänglichen Satzes an Bildern mit einer bordseitigen Fahrzeugkamera, das Identifizieren von Merkmalen innerhalb des anfänglichen Satzes an Bildern, das Bestimmen einer dreidimensionalen Pose unter Verwendung der visuellen Merkmale im anfänglichen Satz an Bildern, das Erhalten von Daten, die auf eine Fahrzeugbewegung schließen lassen, mittels einer Inertialmesseinheit, das Erhalten von Daten, die auf eine Fahrzeugbewegung schließen lassen, mittels Raddrehzahlsensoren und einem Lenkradwinkelsensor, das Zusammenfügen der identifizierten Merkmale innerhalb der Bilder, der Fahrzeugbewegung von der Inertialmesseinheit und der Fahrzeugsensoren innerhalb einer zweidimensionalen Ebene sowie das Bestimmen einer Fahrzeugposition bezogen auf einen anfänglichen Ausgangsstandort auf Grundlage der visuellen Merkmale in den Bildern und der Fahrzeugbewegungsdaten von Inertialmesseinheit, Raddrehzahlsensoren und Lenkradwinkel ein.
Bei einer weiteren beispielhaften Ausführungsform des vorstehenden Verfahrens zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen ist die Ausrichtung von Bildposen auf die zweidimensionale Ebene beschränkt.
Eine weitere beispielhafte Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen schließt ferner das Zusammenfügen von Fahrzeugdrehzahldaten von Raddrehzahlsensoren mit den visuellen Merkmalen aus den Kamerabildern ein.
Eine weitere beispielhafte Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen schließt ferner das Zusammenfügen eines Lenkradwinkels von einem Winkelsensor mit den visuellen Merkmalen aus den Kamerabildern ein.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen erfolgt das Zusammenfügen der Posen, die aus den identifizierten Merkmalen stammen, innerhalb einer gemeinsamen Ebene von zwei oder mehr aufeinanderfolgenden Bildern.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen werden Fahrzeugbeschleunigungs- und -ausrichtungsdaten, die von der Inertialmesseinheit erhalten werden, mit einer Geschwindigkeit erfasst, die höher als die Geschwindigkeit ist, mit der die Kamera Bilder aufnimmt.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen werden die Kamerabilder nach einer Gleitfenster-basierten Optimierung optimiert.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen ist die Gleitfenster-basierte Optimierung zwischen zwei beliebigen Bildern als lokal flache Bewegung beschränkt.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen werden die Posen transformiert, um einem Inertialmesseinheit-Referenzrahmen zu entsprechen.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen wird eine Bewegung zwischen Bildern beschränkt, um eine optimale Passgenauigkeit mehrerer Messpunkte von Inertialmesseinheit und Raddrehzahlsensoren und Lenkradwinkelsensor bereitzustellen.
Eine visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen für ein Bodenfahrzeug nach einer weiteren beispielhaften Ausführungsform dieser Offenbarung schließt, neben weiteren möglichen Dingen, wenigstens eine bordseitige Fahrzeugkamera, die Bilder von Objekten in der Nähe des Fahrzeugs erhält, eine Inertialmesseinheit, die Daten generiert, die auf eine Fahrzeugbewegung schließen lassen, einen Raddrehzahlsensor, der Daten generiert, die auf eine Raddrehzahl schließen lassen und eine Steuerung, die ausgelegt ist, um einen anfänglichen Satz an Bildern mit einer bordseitigen Fahrzeugkamera zu erhalten; visuelle Merkmale innerhalb des anfänglichen Satzes an Bildern zu identifizieren, Daten, die auf eine Fahrzeugbewegung schließen lassen, mittels einer Inertialmesseinheit zu erhalten, Daten, die auf eine Fahrzeugbewegung schließen lassen, mittels der Raddrehzahlsensoren und des Lenkradwinkelsensors des Fahrzeugs zu erhalten, eine zweidimensionale Ebene zwischen den visuellen Merkmalen in einem Gleitfenster und für mehrere Messpunkte von Inertialmesseinheit, Raddrehzahlsensoren und Lenkradwinkel zu bestimmen; die identifizierten Merkmale innerhalb der Bilder mit der Fahrzeugbewegung von Inertialmesseinheit und Fahrzeugsensoren innerhalb der zweidimensionalen Ebene zusammenzufügen und eine Fahrzeugposition bezogen auf einen anfänglichen Ausgangsstandort auf Grundlage der visuellen Merkmale in den Bildern und der Fahrzeugbewegungsdaten von Inertialmesseinheit und Fahrzeugsensoren zu bestimmen, ein.
Bei einer weiteren beispielhaften Ausführungsform des vorstehenden visuell-inertialen Wegstreckenmesssystems bei Fahrzeugen ist die Steuerung ferner ausgelegt, um die Posen, die aus den visuellen Merkmalen in der zweidimensionalen Ebene stammen, zueinander auszurichten.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden visuell-inertialen Wegstreckenmesssysteme bei Fahrzeugen erhält ein Raddrehzahlsensor Daten, die auf eine Fahrzeugdrehzahl hindeuten, und die Steuerung ist ferner ausgelegt, um die Fahrzeugdrehzahldaten vom Raddrehzahlsensor mit den Daten, die aus den Kamerabildern stammen, zusammenzufügen.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden visuell-inertialen Wegstreckenmesssysteme stellt ein Lenkwinkelsensor einen Lenkwinkel bereit, und die Steuerung ist ausgelegt, um den Lenkwinkel mit den Daten, die aus den Kamerabildern stammen, zusammenzufügen.
Bei einer weiteren beispielhaften Ausführungsform eines beliebigen der vorstehenden visuell-inertialen Wegstreckenmesssysteme ist die Steuerung ausgelegt, um die Lösung des Wegstreckenmesssystems durch Identifizierung einer gemeinsamen Ebene der visuellen Merkmale, Inertialmesseinheit und Fahrzeugdaten zwischen zwei aufeinander folgenden Bildern zu beschränken.
Auch wenn die verschiedenen Beispiele in den Darstellungen gezeigte, konkrete Komponenten aufweisen, sind Ausführungsformen dieser Offenbarung nicht auf diese bestimmten Kombinationen beschränkt. Es ist möglich, einige der Komponenten oder Merkmale aus einem der Beispiele in Kombination mit Merkmalen oder Komponenten aus einem anderen der Beispiele zu verwenden.
Diese und weitere hierin offenbarten Merkmale werden durch die nachstehende Beschreibung und beigefügten Figuren, die nachstehend kurz beschrieben sind, verständlich.
Figurenliste

1 ist eine schematische Darstellung eines Fahrzeugs mit einem visuell-inertialen Wegstreckenmesssystem.
2 ist eine schematische Darstellung eines ersten Bildes, das von einer bordseitigen Fahrzeugkamera zu einem ersten Zeitpunkt aufgenommen wurde.
3 ist eine schematische Darstellung eines zweiten Bildes, das von der bordseitigen Fahrzeugkamera zu einem zweiten Zeitpunkt aufgenommen wurde.
4 ist eine schematische Darstellung einer Ebene, die auf Grundlage von Punkten, die aus den Bildern, die von der bordseitigen Fahrzeugkamera aufgenommen wurden, nach einer beispielhaften Ausführungsform erhalten wurden, bestimmt wird.
5 ist ein Ablaufdiagramm eines beispielhaft offenbarten visuell-inertialen Wegstrecken-Messverfahrens.

AUSFÜHRLICHE BESCHREIBUNG
Bezugnehmend auf 1 schließt ein Fahrzeug 20 Kameras 24 ein, die an Seitenspiegeln 22 und einer Front des Fahrzeugs angeordnet sind und die Bilder für ein visuell-inertiales Wegstrecken-Messsystem 25 aufnehmen. Das visuell-inertiale Wegstrecken-Messsystem 25 nutzt Bilder in Kombination mit anderen Fahrzeugsensorsystemen, um das Fahrzeug innerhalb eines lokalen Koordinatensystems zu orten. Das Fahrzeug 20 schließt eine Inertialmesseinheit 26, Raddrehzahlsensoren 28 und einen Lenkwinkelsensor 30 ein, die Informationen generieren, die mit den Bildern, die von den Kameras 24 aufgenommen wurden, zusammengefügt werden. Das Fahrzeug schließt ferner eine Steuerung 32 ein, die eine Verarbeitungsvorrichtung 34 und eine Speichervorrichtung 36 einschließt, die ausgelegt sind, um die Wegstreckenmessung des Fahrzeugs 20 auf Grundlage eines offenbarten Beispielalgorithmus zu erhalten.
Das offenbarte visuell-inertiale Wegstrecken-Messsystem 25 funktioniert nach einem beispielhaften offenbarten Algorithmus, der visuelle Merkmale aus einer Gruppe von Bildern aufnimmt und die Merkmale mit Beschleunigungs- und Ausrichtungsdaten von der Inertialmesseinheit 26, den Raddrehzahlsensoren 28 und dem Lenkwinkelsensor 30 zusammenfügt. Durch das Zusammenfügen dieser Daten wird ein eng gekoppelter Optimierungsrahmen bereitgestellt, um die Wegstreckenmessung des Fahrzeugs 20 auszugeben.
Bezugnehmend auf die 2 und 3 und nach wie vor bezugnehmend auf 1 nimmt das System 25 Bilder aus einer Gruppe von Bildern auf und identifiziert Merkmale in jeder der Darstellungen. Die Merkmale werden über die verschiedenen Bilder hinweg nachverfolgt, um einen relativen Standort des Fahrzeugs zu bestimmen. Beispielsweise werden in einem ersten Bild 40 (2) Merkmale 44 und 46 durch Kanten oder Eckpunkte identifiziert. In diesem Beispiel wird das Fahrzeug 46 als Merkmal durch Kanten 48 identifiziert. Eine Stellplatzmarkierung wird durch eine Kante 44 identifiziert. Dieselben Merkmale werden in einem zweiten Bild 42 (3), das zu einem Zeitpunkt nach dem ersten Bild aufgenommen wird, identifiziert. Der Unterschied im Standort von jedem der Merkmale 46, 44 wird genutzt, um eine Bewegung des Fahrzeugs 20 innerhalb der Zeitspanne zwischen den Bildern 40, 42 zu bestimmen. Es versteht sich, dass obwohl beispielhaft zwei Bilder genutzt werden, viele Bilder und viele Merkmale innerhalb dieser Bilder nachverfolgt werden können, um eine größere Genauigkeit und Zuverlässigkeit bereitzustellen.
Das beispielhafte System verfolgt die Merkmale innerhalb der Bilder 40, 42, wobei es eine beispielhafte Gleitfenster-basierte Optimierung nutzt, die durch die nachstehende Gleichung beschrieben ist: $\underset{X}{m i n} (b_{p r i o r} - Λ_{p r i o r} X) + \sum_{k \in D} {‖ r_{D} ({\hat{z}}_{k + 1}^{k}, X) ‖}_{P_{k + 1}^{k}}^{2} + \sum_{(l, j) \in C} ρ ({‖ r_{C} ({\hat{z}}_{l}^{j}, X) ‖}_{P_{j}^{l}}^{2}) : = ƒ (X)$
Eine Gleitfenster-basierte Optimierung fügt Daten von der Inertialmesseinheit mit den visuellen Merkmalen in den Bildern zusammen. In Gleichung 1 wird davon ausgegangen, dass alle Sensoren auf ein gemeinsames Koordinatensystem referenziert sind. In Gleichung 1 ist $X = [x_{0}, x_{1}, \dots, x_{n}, x_{c}^{b}, λ_{0}, λ_{1}, \dots, λ_{m}], x_{k} = [p_{k}, v_{k}, q_{k}], k \in [0, n]$
der Kamerazustand zum Zeitpunkt kth, der aus Pose und Geschwindigkeit bezogen auf die erste Kamerapose oder das erste Bild (oder das Weltkoordinaten-Referenzsystem, gekennzeichnet als (·)^w) besteht;
n die Gesamtanzahl an Merkmalen innerhalb des Gleitfensters;
m die Gesamtanzahl an Merkmalen innerhalb des Gleitfensters;
[b_prior,∧_prior]die Vorinformation aus Marginalisation;
$x_{c}^{b} = [p_{c}^{b}, q_{c}^{b}]$
die Extrinsik von Inertialmesseinheit-Frame zu Kamera-Frame;
λ₁ die Entfernung des Punktmerkmals l th zu seiner ersten Beobachtung;
${\hat{z}}_{k + 1}^{k}$
die vorintegrierten Messungen von der Inertialmesseinheit zwischen den Bildern k und k + 1;
$r_{D} ({\hat{z}}_{k + 1}^{k}, X)$
die Verlustfunktion der Inertialmesseinheit;
D der Satz an Indizes des Satzes an Inertialmesseinheit-Frames innerhalb des Gleitfensters;
$P_{k + 1}^{k}$
die Messungskovarianzmatrix der Inertialmesseinheit;
p: R → R der Huber-Verlust;
${\hat{z}}_{l}^{j}$
die visuelle Messung;
$r_{C} ({\hat{z}}_{l}^{j}, X)$
die Verlustfunktion für die visuellen Merkmale;
$P_{j}^{l}$
die Messungskovarianzmatrix der visuellen Merkmale; und
c die Indizes des Satzes an Bildmerkmalen des Gleitfensters, so dass (l,j) ∈ C das Merkmal ith des Bildes jth kennzeichnet.
Die durch vorstehende Gleichung 1 beschriebene Gleitfenster-basierte Optimierung verwendet ausschließlich Daten von der Inertialmesseinheit 26 und visuelle Merkmale, die aus den Bildern aufgenommen wurden, um die Wegstreckenmessung des Bodenfahrzeugs 20 zu erhalten. Der beispielhaft offenbarte Algorithmus integriert ferner weitere Fahrzeugsensordaten, indem er das in Gleichung 2 beschriebene Optimierungsproblem löst: $\begin{array}{l} \underset{X}{m i n} ƒ (X) + ƒ_{O} (X) \\ s . t . g_{k} (X) = 0, \forall k \in [0, n], \end{array}$
In Gleichung 2 ist ƒ₀(X)die Verlustfunktion aufgrund des Fahrzeugmodells und g_k(X) beschränkt die Lösung auf eine lokal flache Bewegung zwischen 2 Kamerabildern. Alle Messungen im Fahrzeug werden in zwei aufeinanderfolgende Bild-Frames, k und k + 1, vorintegriert. Alle Messungen werden ferner dem Inertialmesseinheit-Frame entsprechend umgewandelt. Die Definitionen sind ${\hat{λ}}_{k + 1}^{k}$
für die Vorintegration der Position, ${\hat{β}}_{k + 1}^{k}$
für die Vorintegration der Drehzahl und ${\hat{γ}}_{k + 1}^{k}$
für die Vorintegration des Gierwinkels in den Inertialmesseinheit-Frame. Die drei letzten Variablen werden innerhalb des Gleitfensters nach einem vordefinierten Fahrzeugmodell, beispielsweise einem Zweiradmodell, vorintegriert.
Der Beispielalgorithmus nutzt die nachstehende erweiterte Verlustfunktion f_o, die die Fahrzeugdaten wie in den nachstehenden Gleichungen 3 und 4 gezeigt in die Verlustfunktion integriert. $ƒ_{O} (X) = {\sum_{k \in O} ‖ r_{O} ({\hat{z}}_{k + 1}^{k}, X) ‖}_{{\bar{P}}_{k + 1}^{k}}^{2},$
$r_{O} ({\hat{z}}_{k + 1}^{k}, X) = [\begin{matrix} R_{w}^{b_{k}} (p_{b_{k + 1}}^{w} - p_{b_{k}}^{w} - v_{b_{k}}^{w} Δ_{t_{k}}) - {\hat{λ}}_{k + 1}^{k} \\ R_{w}^{b_{k}} (v_{b_{k + 1}}^{w} - v_{b_{k}}^{w}) - {\hat{β}}_{k + 1}^{k} \\ 2 {[ζ_{b_{k}}^{w - 1} \otimes ζ_{b_{k + 1}}^{w} \otimes {\hat{γ}}_{k + 1}^{k}]}_{xyz} \end{matrix}],$
In Gleichung 4 0 alle Indizes des Satzes an Fahrzeugdaten-Frames innerhalb des Gleitfensters, ist $r_{O} ({\hat{z}}_{k + 1}^{k}, X)$
die Verlustfunktion des Fahrzeugmodells, sind ${\hat{z}}_{k + 1}^{k}$
die vorintegrierten Messungen der Fahrzeugmessungen, ist ${\bar{P}}_{k + 1}^{k}$
die Kovarianzmatrix nach der ausgewählten Fahrzeugdynamik, ist $R_{w}^{b_{k}}$
die inkrementelle Rotationsmatrix des Weltkoordinaten-Referenzsystems zum Zeitpunkt k-th zum Inertialmesseinheit-Körperframe, ist Δ_tk das Zeitintervall zwischen den zwei Bild-Frames k und k + 1, bezeichnet die Notation ${(\cdot)}_{b_{k}}^{w}$
die Variable innerhalb des Inertialmesseinheit-Körperframes zum Zeitpunkt k bezogen auf das Weltkoordinaten-Referenzsystem, ist ζ die Quaternion, die den Gierwinkel von Körper zu Welt beschreibt (Rollen und Nicken sind Null, da anzunehmen ist, dass das Fahrzeug eine lokal flache Bewegung auf der Ebene durchführt), ist ⊗ die Multiplikationsoperation zwischen Quaternionen und extrahiert [·]_xyz den Vektorabschnitt der Quaternionoperation.
Wie erwähnt beschränkt die Funktion g_k das Optimierungsproblem auf eine lokal flache Bewegung innerhalb des Gleitfensters. Die Funktion g_k nimmt die Form einer linearen Beschränkung A^Tp_Dk ein, wobei A für den Vektor der Koeffizienten für die Ebene und $p_{D_{k}} = {[{(p_{b_{k}}^{w})}^{T},1]}^{T}$
für k ∈ [0, n] steht. Es ist anzumerken, dass komplexere Funktionen von g_k definiert werden können, im vorliegenden Fall der Fokus jedoch auf der linearen liegt. Um den Wert von A,zu bestimmen, werden an der Inertialmesseinheit-Vorintegrationsposition ${\hat{λ}}_{k + 1}^{k}$
mindestens drei Messpunkte erhoben. Dann zeigt als die „beste“ Ebene, die sich an die Messpunkte anpassen lässt, beispielsweise RANSAC-Algorithmus (Random Sample Consensus), SVM (Support Vector Machines), Methode der kleinsten Quadrate (Least Squares) usw., 4 eine Ebene 50, die aus den Messpunkten ${\hat{λ}}_{k + 1}^{k},$
gekennzeichnet als 52, gebildet wird. Die Messpunkte 52 können kollinear sein. Wenn die Messpunkte kollinear sind, wird die Bewegung zwischen Frames durch eine Linie beschränkt. Diese Beschränkung ist nach wie vor gültig, da sie eine gültige Bewegung beschreibt. Wird die Gleichung der Ebene gefunden, erhält man die Normale der Ebene $\vec{n} ≜ {[\begin{matrix} a & b & c \end{matrix}]}^{T}$
und deren Bias-Term d. Anschließend den Vektor A = [a b c d]^T. Ausreißer in der Formulierung der Ebene 50 werden durch Aufheben der Beschränkungen g_k verworfen, so dass sich für das Optimierungsproblem Folgendes ergibt: $\underset{X}{m i n} ƒ (X) + ƒ_{O} (X) + μ \sum_{k \in O} {‖ g_{k} (X) ‖}_{{\bar{P}}_{k + 1}^{k}}^{2}$
Dabei ist µ ein (konstanter) Penalty-Parameter.
Bezugnehmend auf 5 ist ein Ablaufdiagramm dargestellt, das ein beispielhaft offenbartes Verfahren visueller Inertial-Wegstreckenmessung umreißt. Beginnend mit einem als 54 markierten Initialisierungsschritt werden anfängliche Bildframes, Inertialmessung und Fahrzeugmessungen erfasst, um einen ersten Satz an Posen (d. h. Satz an Positionen und Ausrichtungen des Fahrzeugs) zu erhalten. Eine Pose ist eine Position und Ausrichtung eines Fahrzeugs in einem definierten (gemeinsamen) Koordinatensystem. Die Initialisierung stellt eine Pose für jeden Sensortyp bereit, d. h. die Initialisierung stellt eine unabhängige Pose unter Verwendung von anfänglichen Bildframes, Inertialmessung und Fahrzeugmessungen bereit. Durch Verwendung der Pose, die aus den Fahrzeugdaten und den Inertialmessungen stammt, wird die Größenordnung der visuellen (monokularen) Pose ermittelt (es ist anzumerken, dass eine ausschließlich monokulare Wegstreckenmessung maßstäblich ist).
Sobald die Initialisierung abgeschlossen ist, wird eine visuelle Inertialausrichtung des Fahrzeugs wie als 56 gekennzeichnet vorgenommen. Die visuelle Inertialausrichtung des Fahrzeugs richtet die ungekoppelten Bewegungspfade, die aus den anfänglichen Posen stammen, zueinander aus. Unter Verwendung dieser Ausrichtung wird jedes lokale Koordinatensystem zu einem Weltkoordinatensystem ausgerichtet. Der Gravitationsvektor ist die durch Schwerkraft bedingte Beschleunigung, die von der Inertialmesseinheit 26 gemessen wird. Die extrinsischen Parameter für jeden Sensor sind seine Position und Ausrichtung bezogen auf einen gemeinsamen Ausgangspunkt innerhalb des Fahrzeugs.
Eine lokal flache Beschränkung wird dann bestimmt, um die Fahrzeugbewegung mit sechs Freiheitsgraden an eine Bewegung mit drei Freiheitsgraden (Bewegung auf einer Ebene), die durch die lokal flachen Beschränkungen gekennzeichnet ist, anzupassen.
Die Lösung wird auf Grundlage der aktualisierten visuellen Merkmale, Inertialmessungen und Fahrzeugdaten kontinuierlich aktualisiert, wie als 60 gekennzeichnet ist. Die optimierte Lösung wird dann wie als 62 gekennzeichnet zurückgeleitet, um die Ebene zu finden und anzupassen, wie als 58 gekennzeichnet ist.
Dementsprechend erweitert das beabsichtigte Verfahren eine Wegstreckenmessung-Optimierung mit visuell-inertialer Optimierung durch Einbeziehen von Fahrzeugdaten (wie Raddrehzahlsensoren und Lenkradwinkel) und Beschränken der Lösung auf eine gemeinsame beste Ebene zum Bereitstellen einer zweidimensionalen Lösung. Durch Beschränken der Lösung auf zwei Dimensionen können erhebliche Hardware- und Verarbeitungsanforderungen vermieden werden, zudem führt das Einbeziehen von Fahrzeugdaten zu einer größeren Robustheit des Wegstreckenmesssystems und macht es genauer.
Auch wenn die verschiedenen nicht-einschränkenden Beispiele mit konkrete Komponenten oder Schritten dargestellt sind, sind die Ausführungsformen dieser Offenbarung nicht auf diese bestimmten Kombinationen beschränkt. Es ist möglich, einige der Komponenten oder Merkmale aus einem beliebigen der nicht-einschränkenden Beispiele in Kombination mit Merkmalen oder Komponenten aus einem beliebigen anderen der Beispiele zu verwenden.
Es versteht sich, dass identische Bezugszeichen in allen der Zeichnungen entsprechende oder ähnliche Elemente kennzeichnen. Es versteht sich zudem, dass obwohl eine spezifische Komponentenanordnung offenbart und in diesen beispielhaften Ausführungsformen dargestellt ist, weitere Anordnungen ebenfalls von den Lehren dieser Offenbarung profitieren können.
Die vorstehende Beschreibung ist als veranschaulichend und in keiner Weise beschränkend anzusehen. Ein Fachmann wird erkennen, dass im Umfang der Ansprüche bestimmte Abwandlungen denkbar sind. Zur Bestimmung des tatsächlichen Schutzumfangs und Gegenstands dieser Offenbarung sind daher die nachfolgenden Ansprüche heranzuziehen.

Claims

Verfahren zur visuell-inertialen Wegstreckenmessung für ein Bodenfahrzeug, das Folgendes umfasst: Erhalten eines anfänglichen Satzes an Bildern mit einer bordseitigen Fahrzeugkamera; Identifizieren von Merkmalen innerhalb des anfänglichen Satzes an Bildern; Bestimmen einer dreidimensionalen Pose unter Verwendung der visuellen Merkmale im anfänglichen Satz an Bildern; Erhalten von Daten, die auf eine Fahrzeugbewegung hindeuten, mittels einer Inertialmesseinheit; Erhalten von Daten, die auf eine Fahrzeugbewegung hindeuten, mittels Raddrehzahlsensoren und eines Lenkradwinkelsensors; Zusammenfügen der identifizierten Merkmale innerhalb der Bilder, der Fahrzeugbewegung von Inertialmesseinheit und Fahrzeugsensoren innerhalb einer zweidimensionalen Ebene; und Bestimmen einer Fahrzeugposition bezogen auf einen anfänglichen Ausgangsstandort auf Grundlage der visuellen Merkmale in den Bildern und der Fahrzeugbewegungsdaten von Inertialmesseinheit, Raddrehzahlsensoren und Lenkradwinkel.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 1, wobei die Ausrichtung von Bildposen auf die zweidimensionale Ebene beschränkt ist.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 2, das ferner das Zusammenfügen von Fahrzeugdrehzahldaten von Raddrehzahlsensoren mit den visuellen Merkmalen aus den Kamerabildern einschließt.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 3, das ferner das Zusammenfügen eines Lenkradwinkels von einem Winkelsensor mit den visuellen Merkmalen aus den Kamerabildern einschließt.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 4, wobei das Zusammenfügen der Posen, die aus den identifizierten Merkmalen stammen, innerhalb einer gemeinsamen Ebene von zwei oder mehr aufeinanderfolgenden Bildern erfolgt.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 5, wobei Fahrzeugbeschleunigungs- und -ausrichtungsdaten, die von der Inertialmesseinheit erhalten werden, mit einer höheren Geschwindigkeit als die Geschwindigkeit, mit der die Kamera Bilder aufnimmt, erfasst werden.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 6, wobei die Bilder der Kamera nach einer Gleitfenster-basierten Optimierung optimiert werden.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 7, wobei die Gleitfenster-basierte Optimierung zwischen zwei beliebigen Bildern als lokal flache Bewegung beschränkt ist.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 8, wobei die Posen transformiert werden, um einem Inertialmesseinheit-Referenzrahmen zu entsprechen.
Verfahren zur visuell-inertialen Wegstreckenmessung bei Fahrzeugen nach Anspruch 8, wobei eine Bewegung zwischen den Bildern beschränkt ist, um eine optimale Passgenauigkeit mehrerer Messpunkte von Inertialmesseinheit und Raddrehzahlsensoren und Lenkradwinkelsensor bereitzustellen.
Visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen für ein Bodenfahrzeug, das Folgendes umfasst: wenigstens eine bordseitige Fahrzeugkamera, die Bilder von Objekten in der Nähe des Fahrzeugs aufnimmt; eine Inertialmesseinheit, die Daten generiert, die auf eine Bewegung des Fahrzeugs hindeuten; einen Raddrehzahlsensor, der Daten generiert, die auf eine Raddrehzahl hindeuten; und eine Steuerung, die ausgelegt ist, um einen anfänglichen Satz an Bildern mit einer Kamera an Bord eines Fahrzeugs zu erhalten; visuelle Merkmale innerhalb des anfänglichen Satzes an Bildern zu identifizieren, Daten, die auf eine Fahrzeugbewegung hindeuten, mittels einer Inertialmesseinheit zu erhalten, Daten, die auf eine Fahrzeugbewegung hindeuten, mittels der Raddrehzahlsensoren und des Lenkradwinkelsensors des Fahrzeugs zu erhalten, eine zweidimensionale Ebene zwischen den visuellen Merkmalen innerhalb eines Gleitfensters und für mehrere Messpunkte von Inertialmesseinheit, Raddrehzahlsensoren und Lenkradwinkel zu bestimmen; die identifizierten Merkmale innerhalb der Bilder und die Fahrzeugbewegung von Inertialmesseinheit und Fahrzeugsensoren innerhalb der zweidimensionalen Ebene zusammenzufügen und eine Fahrzeugposition bezogen auf einen anfänglichen Ausgangsstandort auf Grundlage der visuellen Merkmale in den Bildern und der Fahrzeugbewegungsdaten von Inertialmesseinheit und Fahrzeugsensoren zu bestimmen.
Visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen nach Anspruch 11, wobei die Steuerung ferner ausgelegt ist, um die Posen, die von den visuellen Merkmalen stammen, in der zweidimensionalen Ebene auszurichten.
Visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen nach Anspruch 12, das ferner einen Raddrehzahlsensor einschließt, der Daten, die auf eine Fahrzeugdrehzahl hindeuten, erhält, und wobei die Steuerung ferner ausgelegt ist, um die Fahrzeugdrehzahldaten vom Raddrehzahlsensor mit den Daten, die von den Kamerabildern stammen, zusammenzufügen.
Visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen nach Anspruch 13, das ferner einen Lenkwinkelsensor einschließt, der einen Lenkwinkel bereitstellt und wobei die Steuerung ferner ausgelegt ist, um den Lenkwinkel mit den Daten, die von den Kamerabildern stammen, zusammenzufügen.
Visuell-inertiales Wegstreckenmesssystem bei Fahrzeugen nach Anspruch 14, wobei die Steuerung ausgelegt ist, um die Lösung des Wegstreckenmesssystems durch Identifizierung einer gemeinsamen Ebene von visuellen Merkmalen, Inertialmesseinheit und Fahrzeugdaten zwischen zwei aufeinanderfolgenden Bildern zu beschränken.