DE112016002995T5

DE112016002995T5 - Verfahren zum Bestimmen einer Bewegung zwischen einem ersten Koordinatensystem und einem zweiten Koordinatensystem

Info

Publication number: DE112016002995T5
Application number: DE112016002995.0T
Authority: DE
Inventors: Srikumar Ramalingam; Gim Hee Lee
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-06-30
Filing date: 2016-06-10
Publication date: 2018-03-15
Also published as: CN107735797B; JP2017528833A; CN107735797A; US9558424B2; WO2017002637A1; JP6261811B2; US20170004379A1

Abstract

Ein Verfahren bestimmt Bewegung zwischen ersten und zweiten Koordinatensystemen durch zuerst Extrahieren von ersten und zweiten Sätzen von Schlüsselpunkten von von einer Szene durch eine auf einem bewegten Objekt angeordneten Kamera erlangten ersten und zweiten Bildern. Erste und zweite Stellungen werden von ersten und zweiten Sätzen von Schlüsselpunkten bestimmt. Ein Score wird für jede mögliche Bewegung zwischen den ersten und zweiten Stellungen unter Verwendung einer Scoring-Funktion und eines aus Trainingsdaten konstruierten Stellungs-Übergangs-Graphs bestimmt, wo jeder Knoten in dem Post-Übergangs-Graph eine relative Stellung darstellt und jede Kante eine Bewegung zwischen zwei aufeinanderfolgenden relativen Stellungen darstellt. Dann wird auf der Grundlage des Scores eine beste Bewegung als die Bewegung zwischen den ersten und zweiten Koordinatensystemen ausgewählt.

Description

Technisches Gebiet
Die Erfindung betrifft im Allgemeinen Computervision und im Besonderen das Bestimmen von Bewegung zwischen zwei Koordinatensystemen von Straßenfahrzeugen unter Verwendung von Entsprechungen von charakteristischen Punkten, wo jedes Koordinatensystem einem Kamerakoordinatensystem einer Kamera, z.B. einer monokularen oder Stereokamera, entspricht.
Stand der Technik
Visuelle Odometrie bezieht sich auf das Problem des Bestimmens einer Bewegung eines bewegten Objektes, z.B. eines Fahrzeugs oder Roboters, von einer Position zu einer anderen unter Verwendung von Merkmalen von z.B. durch eine oder mehrere auf dem Objekt montierte Kamera erlangten Bildern. Zahlreiche Verfahren zum Schätzen der Bewegung unter Verwendung von geometrischen Primitiven, wie beispielsweise Punkten, sind bekannt. Man kann zum Beispiel die Bewegung unter Verwendung von Entsprechungen zwischen 2D-Punkten in einem Koordinatensystem zu einem anderen Koordinatensystem unter Verwendung von 5 oder mehr Punkt-Entsprechungen bestimmen, siehe Nister, „An efficient solution tot he five-point relative pose problem“, PAMI, 2004.
Es gibt auch 2D zu 3D Stellungs-Schätzverfahren, die verwendet werden, um die Position eines bewegten Objektes auf der Grundlage einer teilweisen 3D-Punkt-Wolke, die durch die vorherigen Stereo-Bilder rekonstruiert wird, zu schätzen, Kitt et al., „Visual odometry based on stereo image sequences with ransac-based outlier rejection scheme“, IV, 2010.
Ein Verfahren verwendet 3D zu 3D Punkt-Entsprechungen in einem iterativen nächsten Punkt (ICP) Verfahren zum Bestimmen einer Bewegung zwischen Stereo-Kameras, Milella et al., „Stereo-based ego-motion estimation using pixel tracking and interative closest point“, ICCVS, 2006.
Wahlstrategien sind für die Berechnung von visueller Odometrie verwendet worden, U.S. 20120308114 , „Voting strategy for visual ego-motion from stereo“, und Verfahren des maschinellen Lernens sind zur Schätzung der Kamerastellung verwendet worden WO 2014 130404 , „Method and device for calculating a camera object pose“.
Zusammenfassung der Erfindung
Die Ausführungsbeispiele der vorliegenden Erfindung stellen ein Verfahren zum Bestimmen einer Bewegung zwischen einem ersten Koordinatensystem und einem zweiten Koordinatensystem bereit. Das Verfahren konstruiert einen kompakten Stellungs-Übergangs-Graph aus Trainingsdaten. Der Graph kann verwendet werden, um visuelle Odometrie zu erhalten, ohne eine explizite Bewegungs- oder Stellungsbestimmung durchzuführen.
Typischerweise geht mit Bewegungs- oder Stellungsbestimmung die Lösung von einem polynomialen System von Gleichungen einher. Das Verfahren erfordert nicht irgendein algebraisches System von Gleichungen, um die Stellung zu erhalten. Stattdessen sucht das Verfahren einfach den Stellungs-Übergangs-Graph für eine beste Bewegung. In dem Stellungs-Übergangs-Graph stellt jeder Knoten eine mögliche relative Stellung zwischen zwei aufeinanderfolgenden Kamerapositionen dar. Eine Kante zwischen zwei relativen Stellungen stellt die Möglichkeit des Aufweisens der zwei relativen Stellungen in aufeinanderfolgenden Rahmen dar, während die visuelle Odometrie durchgeführt wird.
Das Verfahren unterscheidet sich von anderen Verfahren zur visuellen Odometrie, die Bewegungsschätzvorgänge verwenden, wie beispielsweise 3- oder 5-Punkt-Stellungs-Schätzung.
Das Verfahren verwendet eine Scoring-Funktion, die eine Abstandsmetrik auf der Grundlage von Punktentsprechungen bestimmt, die die richtige Bewegung von dem Stellungs-Übergangs-Graph effizient identifizieren.
Kurze Beschreibung der Zeichnungen
1 ist ein Flussdiagramm eines Verfahrens zum Bestimmen einer Bewegung zwischen dem ersten und zweiten Koordinatensystem, das in unserem visuellen Odometrieverfahren gemäß den Ausführungsbeispielen der Erfindung verwendet wird;
2 ist ein Schema von drei aufeinanderfolgenden Bildern und zwei aufeinanderfolgenden relativen Stellungen gemäß den Ausführungsbeispielen der Erfindung; und
3 zeigt einen Post-Übergangs-Graph für mögliche relative Stellungen zwischen zwei aufeinanderfolgenden Rahmen gemäß den Ausführungsbeispielen der Erfindung.
Beschreibung der Ausführungsbeispiele
Wie in 1 gezeigt stellen die Ausführungsbeispiele der Erfindung ein Verfahren zum Bestimmen einer Bewegung zwischen einem ersten Koordinatensystem und einem zweiten Koordinatensystem bereit. Das Verfahren kann zum Beispiel für visuelle Odometrie-Anwendungen verwendet werden, wo das Verfahren eine Bewegung eines bewegten Objektes 110, z.B. ein Fahrzeug oder ein Roboter, von einer Position zu einer anderen bestimmt, unter Verwendung von Merkmalen von Bildern einer Szene 130, die z.B. durch eine oder mehrere auf dem Objekt montierte Kameras 120 erlangt werden.
Das Verfahren verwendet einen kompakten Stellungs-Übergangs-Graph 300, der aus Trainingsdaten 110 konstruiert wird, siehe 3. Dieser Graph kann dann verwendet werden, um visuelle Odometrie zu erhalten, ohne eine explizite Bewegungs- oder Stellungsbestimmung durchzuführen.
Die meisten Stand der Technik visuellen Odometrieverfahren verwenden explizit Bewegungs- oder Stellungsbestimmung durch Lösen polynomialer Gleichungen in einem Zufallssample-Konsensverfahren (RANSAC, engl.: Random Sample Consensus method).
Wir verwenden keine explizite Bewegungsbestimmung, und wir verwenden kein RANSAC. Unser Ansatz „sucht“ unter Verwendung des Stellungs-Übergangs-Graphs und der Punkt-Entsprechungen nach relativen Stellungen, anstatt die Entsprechungen direkt zu bestimmen.
Die Eingabe an unser Verfahren ist eine durch die Kamera, die kalibriert ist, erlangte Sequenz von Bildern 101. Aus der Sequenz von Bildern extrahieren 103 wir Schlüsselpunkte, Deskriptoren der Schlüsselpunkte, um übereinstimmende Schlüsselpunkte zu bestimmen.
Während des Trainings konstruieren 102 wir den Stellungs-Übergangs-Graph 300 aus den Trainingsdaten 110. Der Stellungs-Übergangs-Graph 300 stellt mögliche Bewegungshypothesen dar. In diesem Graph stellt jeder Knoten einen Kandidaten für relative Stellungen zwischen zwei aufeinanderfolgenden Bildern in dem von der Szene 130 z.B. durch die auf dem Fahrzeug 110 angeordnete Kamera 120 erlangten Video dar. Jede zwei Knoten verbindende Kante stellt die mögliche Bewegung zwischen zwei aufeinanderfolgenden relativen Stellungen dar.
Um dies zu tun, verwenden wir tausende von Bodendaten mit relativen Stellungen, die durch eine auf dem bewegten 125, z.B. Fahrzeug 110 auf der Straße 130, montierte Kamera erlangt werden. Diese relativen Stellungen sind geclustert und werden durch Entfernen redundanter Stellungen komprimiert. Unter Verwendung des komprimierten Satzes von Stellungen konstruieren wir einen kompakten Graph, der den Zustandsübergang von einer relativen Stellung zu einer anderen kodiert.
Für jedes Bild in dem Video detektieren wir unter Verwendung von herkömmlichen Schlüsselpunkt-Detektoren, wie beispielsweise SURF (engl.: Speeded Up Robust Features), Schlüsselpunkte. Wir extrahieren auch SURF Deskriptoren, und gleichen alle aufeinanderfolgenden Paare von Bildern in Schritt 103 ab.
Für jede relative Stellung in dem Stellungs-Übergangs-Graph, identifizieren 104 wir eine Anzahl von Einlieger-Gegenstücken, die wie in Schritt 105 gezeigt konsistent sind.
Wir verwenden auf den Einliegern eine Scoring-Funktion, um eine Abstandsmetrik zu bestimmen, die einen Score ergibt. Die Abstandsmetrik identifiziert eine beste Bewegung 106, die ausgegeben werden kann.
Das Verfahren kann in einem Prozessor durchgeführt werden, der mit einem Speicher und durch aus dem Stand der Technik bekannte Busse mit Eingabe-/Ausgabe-Schnittstellen verbunden ist.
Wie in 2 gezeigt, zeigen wir jeweils drei aufeinanderfolgende Bilder F(t-2) 201, F(t-1) 203 und F(t) 205. Die relativen Stellungen zwischen Bildern F(t-2) und F(t-1) ist durch Pi 202 gegeben. Gleichfalls ist die relative Stellung zwischen Bildern F(t-1) und F(t) durch Pj 204 gegeben.
Wie in 3 gezeigt, beschreiben wir die grundlegende Idee, die bei der Konstruktion des Post-Übergangs-Graphs 300 während des Trainings verwendet wird. In diesem Graph stellt jeder Knoten einen Kandidaten für relative Stellungen zwischen zwei aufeinanderfolgenden Bildern in dem von der Szene 130 durch z.B. eine auf dem Fahrzeug 110 angeordnete Kamera 120 erlangten Video dar. Jede zwei Knoten verbindende Kante stellt die mögliche Bewegung zwischen zwei aufeinanderfolgenden relativen Stellungen dar.
In 3 zum Beispiel stellt die Kante 302 die mögliche Bewegung dar, die dem Aufweisen einer relativen Stellung Pr nach der relativen Stellung Pm entspricht. Mit anderen Worten gibt es, wie in 2 gezeigt, drei Bilder F(t-2) 201, F(t-1) 203 und F(t) 125, so dass die relative Stellung zwischen F(t-2) und F(t-1) Pm ist, und die relative Stellung zwischen F(t-1) und F(t) Pr ist. Die Schleife 303 auf dem Knoten Pk 304 zeigt an, dass es da zwei aufeinanderfolgende relative Stellungen geben könnte, die beide gleich der relativen Stellung Pk sind.
Der Post-Übergangs-Graph wird unter Verwendung der Trainingsvideosequenzen, d.h. der Trainingsdaten 110, konstruiert. Wir verwenden einen analytische Bewegungsschätzvorgang und eine Bündelausgleich-Maschinerie, um die relativen Stellungen zwischen aufeinanderfolgenden Rahmen zu erhalten. Mit anderen Worten verwenden wir herkömmliche analytische relative und absolute Stellungsschätzvorgänge zum Generieren der Bodendaten.
Wir können auch die relative Stellungsinformation zum Trainieren von Daten unter Verwendung eines Globalen Posisitionsbestimmungssystems (GPS) und oder einer Inertialen Messeinheit (IMU) erhalten. Sei Qi, wo i = {1, 2, ..., m}, die relative Stellung von allen Paaren von aufeinanderfolgenden Bildern der Trainingsdaten. Dann clustern wir diese Stellungen, so dass alle relativen Stellungen, die ähnlich sind, zu einem Cluster gehören, und verwenden eine repräsentative relative Stellung von jedem Cluster. Dadurch erhalten wir eine kleinere Menge von relativen Stellungen Pi, wo i = {1, 2, ..., n} wo n << m.
Unter Verwendung dieser kleineren Menge von relativen Stellungen konstruieren wir den in 2 gezeigten Übergangs-Graph auf die folgende Weise:

1. Initialisiere n Knoten, wo jeder Knoten einer relativen Stellung in der Menge Pi, i = {1, 2, ..., n} entspricht.
2. Für alle aufeinanderfolgenden relativen Stellungen Qi und Qj: a. Wenn die nächsten relativen Stellungen in der komprimierten Menge Pi und Pj sind, dann fügen wir eine Kante von Pi zu Pj hinzu. b. Wenn die nächsten relativen Stellungen in der komprimierten Menge beide Pk sind, dann fügen wir eine Selbst-Schleife zu dem Knoten Pk hinzu.

Seien F(t-2), F(t-1) und F(t) drei aufeinanderfolgende Bilder. Seien die relativen Stellungen zwischen F(t-2) und F(t-1) durch Pi gegeben. Um die aktuelle relative Stellung Pj zwischen F(t-1) und F(t) zu bestimmen, verwenden wir die folgende Scoring-Funktion Score (Pj) = Einlieger (Pj) + S·w(Pi, Pj), wo S der Skalierungsparameter ist, der die relative Wichtigkeit der Einlieger und w anpasst. Der Parameter S kann entweder gelernt werden oder manuell fixiert werden. Die Einlieger (Pj) werden unter Verwendung der relativen Stellung Pj erhalten. Das dem Zustandsübergang von Pi zu Pj entsprechende Gewicht ist w(Pi, Pj).
Das Verfahren kann in einer Anzahl von Anwendungen verwendet werden, einschließlich aber nicht beschränkt auf Autos in Autonomen-Fahr-Anwendungen, wie beispielsweise präzise Ortsbestimmung und visuelle Odometrie für mobile Roboter, tragbaren Geräten und Drohnen.

Claims

Verfahren zum Bestimmen einer Bewegung zwischen einem ersten Koordinatensystem und einem zweiten Koordinatensystem, aufweisend Schritte des: Extrahierens eines ersten Satzes von Schlüsselpunkten von einem ersten Bild, das von einer Szene durch eine auf einem bewegten Objekt angeordneten Kamera erlangt wurde; Extrahieren eines zweiten Satzes von Schlüsselpunkten von einem zweiten Bild, das von der Szene durch die Kamera erlangt wurde; Bestimmen von ersten und zweiten Stellungen jeweils von den ersten und zweiten Sätzen von Schlüsselpunkten; Bestimmen eines Scores für jede mögliche Bewegung zwischen den ersten und den zweiten Stellungen, unter Verwendung einer Scoring-Funktion und eines Stellungs-Übergangs-Graphs, der aus Trainingsdaten konstruiert wird, wo jeder Knoten in dem Post-Übergangs-Graph eine relative Stellung darstellt und jede Kante eine Bewegung zwischen zwei aufeinanderfolgenden relativen Stellungen darstellt; und Auswählen, auf der Grundlage des Scores, einer besten Bewegung als die Bewegung zwischen den ersten und zweiten Koordinatensystemen, wobei die Schritte in einem Prozessor durchgeführt werden.
Verfahren nach Anspruch 1, wobei die Schlüsselpunkte unter Verwendung von SURF (Speeded Up Robust Features, beschleunigte robuste Merkmale) erhalten werden.
Verfahren nach Anspruch 1, wobei der Stellungs-Übergangs-Graph unter Verwendung von Trainingsdaten konstruiert wird, die von einer Videosequenz erhalten werden, die durch die Kamera erlangt wird.
Verfahren nach Anspruch 1, wobei die in dem Stellungs-Übergangs-Graph dargestellten Stellungen unter Verwendung eines analytischen Bewegungsschätzvorgangs bestimmt werden.
Verfahren nach Anspruch 1, wobei die Stellungen unter Verwendung eines Geographischen Positionsbestimmungssystems (GPS) bestimmt werden.
Verfahren nach Anspruch 1, wobei die Stellungen unter Verwendung einer Inertialen Messeinheit (IMU) bestimmt werden.
Verfahren nach Anspruch 1, wobei die Stellungen geclustert werden, um ähnliche Bewegungen zu entfernen, um einen kompakten Stellungs-Übergangs-Graph zu konstruieren.
Verfahren nach Anspruch 4, wobei die relativen Bewegungen unter Verwendung analytischer Bewegungsschätzung und eines 5-Punkt 2D zu 2D Bewegungsschätzvorgang erhalten werden.
Verfahren nach Anspruch 4, wobei die relativen Bewegungen unter Verwendung analytischer Bewegungsschätzung und 3-Punkt 2D zu 3D Bewegungsschätzvorgang erhalten werden.
Verfahren nach Anspruch 1, wobei die Scoring-Funktion von einer Anzahl von Einliegern abhängt, die durch Abgleich des ersten Satzes von Schlüsselpunkten und des zweiten Satzes von Schlüsselpunkten erhalten werden.
Verfahren nach Anspruch 1, wobei die Bewegung für die Aufgabe visueller Odometrie verwendet wird.
Verfahren nach Anspruch 1, wobei die Bewegung für die Aufgabe des Lokalisierens unter Verwendung eines 3D-Modells der Szene verwendet wird.
Verfahren nach Anspruch 1, wobei das bewegte Objekt ein Fahrzeug ist.
Verfahren nach Anspruch 1, wobei das bewegte Objekt ein Roboter ist.