DE10326943B4

DE10326943B4 - Autonomes Fahrzeug sowie zugehörige Verfahren und Vorrichtungen zur Bewegungsbestimmung, Bewegungssteuerung und Objekterkennung

Info

Publication number: DE10326943B4
Application number: DE10326943.6A
Authority: DE
Inventors: Kyoung-sig Roh; Young Son; Joo-Young Kwak
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-11-21
Filing date: 2003-06-05
Publication date: 2019-09-12
Anticipated expiration: 2023-06-06
Also published as: KR100446636B1; KR20040044621A; US7440585B2; FR2847699B1; FR2847699A1; US20040101161A1; DE10326943A1

Abstract

Vorrichtung zur Steuerung und/oder Bestimmung der Bewegung eines autonomen Fahrzeugs und/oder zur Detektion dreidimensionaler (3D)-Information eines Objektes vor einem autonomen Fahrzeug, mit- einer Punktdetektionseinheit (141) zur Detektion sich entsprechender Punkte aus wenigstens zwei aufeinanderfolgend durch eine Kamera (110) aufgenommenen Bildern,- einer Orientierungsmesseinheit (130) zur Berechnung von Orientierungsinformation für das autonome Fahrzeug, wobei die Orientierungsmesseinheit einen Beschleunigungssensor (131) zur Messung der Schwerkraft und einen Magnetflusssensor (132) zur Messung des terrestrischen Magnetismus umfasst und die Orientierungsinformation des autonomen Fahrzeugs bezüglich eines festen Erdkoordinatensystems unter Verwendung der Absolutwerte der durch den Beschleunigungssensor und den Magnetflusssensor erhaltenen Messwerte berechnet wird,- einer Epipolar-Recheneinheit (142) zur Berechnung epipolarer Geometrieinformation basierend auf der von der Orientierungsmesseinheit berechneten Orientierungsinformation und der Information über wenigstens zwei sich entsprechende Punkte und- einer Bewegungsanalyseeinheit (143) zur Analysierung der Bewegung des autonomen Fahrzeugs basierend auf der berechneten epipolaren Geometrieinformation und/oder eine Einheit (144) zur Analyse von 3D-Information über ein jeweiliges Objekt vor dem autonomen Fahrzeug basierend auf der berechneten epipolaren Geometrieinformation,- wobei die epipolare Geometrieinformation anhand der nachfolgenden Beziehung berechnet wird, wenn eine die Orientierung des autonomen Fahrzeugs bezüglich irgendwelcher zweier aufeinanderfolgender Bilder ausdrückende Matrix gemessen werden kann:wobei f eine Brennweite der Kamera, Tund TTranslationsvektorelemente, welche Translationsinformation zwischen den zwei aufeinanderfolgenden Bildern repräsentieren, uund vx- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuerst aufgenommenen Bildes und uund vx- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuletzt aufgenommenen Bildes bezeichnen.

Description

Die Erfindung bezieht sich auf ein autonomes Fahrzeug sowie auf Vorrichtungen und Verfahren zur Steuerung und/oder Bestimmung der Bewegung eines autonomen Fahrzeugs und/oder zur Detektion dreidimensionaler Information eines Objektes vor einem autonomen Fahrzeug. Bei dem autonomen Fahrzeug kann es sich insbesondere um einen mobilen Roboter handeln.
Da heutzutage das Interesse an Robotern ständig zunimmt, sind bereits verschiedene Arten von Robotern vorgeschlagen und aktiv entwickelt worden. Roboter werden für zahlreiche Anwendungen hergestellt, wobei für jegliche Roboteranwendung eine Bewegungssteuerung benötigt wird. Insbesondere wird zur exakten Steuerung der Bewegung eines autonomen Fahrzeugs, wie eines mobilen Roboters, nicht nur Information über die Bewegung des autonomen Fahrzeugs selbst benötigt, um eine exakte Pfadplanung und Positionierung des autonomen Fahrzeugs zu ermöglichen, sondern auch dreidimensionale (3D-)lnformation über ein Objekt, wie ein Hindernis. Speziell wird Information über den Abstand zwischen dem autonomen Fahrzeug und dem Objekt und Information über die 3D-Gestalt des Objektes etc. benötigt, um das autonome Fahrzeug in die Lage zu versetzen, das vor ihm erscheinende Hindernis zu umgehen.
Es sind bereits mehrere Verfahren zur Ermittlung der Bewegung eines autonomen Fahrzeugs und zur Gewinnung von 3D-Information über ein vor dem sich bewegenden autonomen Fahrzeug erscheinendes Objekt vorgeschlagen worden. Üblicherweise wird diese 3D-Information von einem zweidimensionalen (2D-)Bild extrahiert, das durch eine Kamera erhalten wird. Diese Verfahren, die 3D-Information aus einem 2D-Bild extrahieren, sind jedoch grundlegenden Beschränkungen hinsichtlich der Gewinnung korrekter epipolarer Geometrieinformation unterworfen.
Um die obige Problematik anzugehen, werden z.B. in den Patentschriften US 6 430 304 B2 , US 6 421 961 B1 und US 6 393 144 B2 Verfahren zur genaueren rechnerischen Ermittlung epipolarer Geometrieinformation durch Beseitigen von Rauschen vorgeschlagen. Wenngleich damit genauere epipolare Geometrieinformationen erhalten werden können, sind noch immer zahlreiche Annahmen und Beschränkungen bei der Berechnung der Bewegung eines autonomen Fahrzeugs, wie eines mobilen Roboters, in Betracht zu ziehen, und daher gibt es noch immer zahlreiche Beschränkungen bei der Anwendung dieser herkömmlichen Verfahren.
Verschiedene weitere Verfahren und Vorrichtungen zur Gewinnung von 3D-Information über zu detektierende Objekte anhand von Kamerabildaufnahmen sind in den Patentschriften US 6 038 074 A , US 6 175 648 B1 US 6 175 648 B1 und US 5 644 651 A sowie der Offenlegungsschrift JP H11 - 306 363 A offenbart.
Der Erfindung liegt als technisches Problem die Bereitstellung eines autonomen Fahrzeugs sowie zugehöriger Verfahren und Vorrichtungen zur Bewegungssteuerung, Bewegungsbestimmung und/oder Objekterkennung zugrunde, die gegenüber den herkömmlichen Systemen verbessert sind und bei denen die oben genannten Schwierigkeiten herkömmlicher Systeme wenigstens teilweise behoben sind.
Die Erfindung löst dieses Problem durch die Bereitstellung einer Vorrichtung mit den Merkmalen des Anspruchs 1, eines autonomen Fahrzeugs mit den Merkmalen des Anspruchs 6 und eines Verfahrens mit den Merkmalen des Anspruchs 7.
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
Vorteilhafte Ausführungsformen der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend beschrieben. Hierbei zeigen:

1 ein Blockschaltbild eines autonomen Fahrzeugs mit einem System zur Bewegungsbestimmung und -steuerung desselben und zur Detektion dreidimensionaler Information über Objekte vor dem autonomen Fahrzeug,
2 eine Darstellung epipolarer Geometrieverhältnisse zweier aufeinanderfolgend mittels einer Kamera des Fahrzeugs von 1 gewonnener Bilder,
3 eine schematische Darstellung einer Sensoranordnung, die in einer Orientierungsmesseinheit des Fahrzeugs von 1 enthalten ist, und von zugehörigen Sensorkoordinaten,
4 eine Darstellung der Euler-Winkel für Koordinaten der Kamera von 1,
5 eine Darstellung der Beziehung zwischen ortsfesten Koordinaten und den Koordinaten der Sensoren von 1,
6 ein Flussdiagramm eines Verfahrens zur Bestimmung der Bewegung eines autonomen Fahrzeugs und zur Detektion dreidimensionaler Information von Objekten vor dem autonomen Fahrzeug und
7 fotografische Darstellungen von Punkten und zugehöriger epipolarer Geometrieinformation, wie sie von einem System zur Detektion dreidimensionaler Information über ein vor einem autonomen Fahrzeug befindliches Objekt erhalten werden.

1 zeigt als Blockdiagramm ein autonomes Fahrzeug 100 mit einem System zur Bestimmung der Bewegung des autonomen Fahrzeugs und zur Detektion dreidimensionaler Informationen über ein jeweiliges Objekt vor dem autonomen Fahrzeug. Wie aus 1 zu erkennen, umfasst das autonome Fahrzeug 100 eine Kamera 110, eine Bildverarbeitungseinheit 120, eine Orientierungsmesseinheit 130, eine Hauptsteuereinheit 140 und eine Bewegungssteuereinheit 150.
Die Kamera 100 ist am autonomen Fahrzeug 100 befestigt und liefert kontinuierlich Bilder vom Bereich vor dem autonomen Fahrzeug 100 mit einer vorgebbaren Bildrate. Wenngleich in 1 nicht näher gezeigt, sei angenommen, dass die Kamera 110 und das autonome Fahrzeug 100 die gleichen Koordinaten haben.
Die Bildverarbeitungseinheit 120 ist mit der Kamera 110 verbunden und dient als Bildfangschaltung zum Aufnehmen zugeführter Bilder in einem vorgebbaren Bildformat. Die von der Bildverarbeitungseinheit 120 verarbeiteten Bilder werden der Hauptsteuereinheit 140 zur Analyse der Bewegung des autonomen Fahrzeugs 100 und zur Analyse dreidimensionaler (3D-)lnformation von Objekten vor dem autonomen Fahrzeug 100 zugeführt. Wenngleich in 1 eine einzelne Kamera 110 gezeigt ist, mit der das autonome Fahrzeug 100 in einer einfachen Struktur mit geringen Kosten realisiert werden kann, versteht es sich, dass alternativ eine Stereokamera zur gleichzeitigen Gewinnung von jeweils zwei Bildem oder eine Mehrzahl von Kameras verwendet werden kann.
Die Orientierungsmesseinheit 130 misst die Orientierung des autonomen Fahrzeugs 100. Zu diesem Zweck beinhaltet sie einen Beschleunigungssensor 131 zur Erfassung der Beschleunigung des autonomen Fahrzeugs 100 sowie einen Magnetflusssensor 132. Der Beschleunigungssensor 131 wird auch zur Schwerkraftmessung verwendet, während der Magnetflusssensor 132 zur Messung des terrestrischen Magnetismus benutzt wird. Die Orientierungsmesseinheit 130 berechnet Orientierungsinformationen über das autonome Fahrzeug 100 mit Bezug auf fixierte terrestrische Koordinaten unter Verwendung der Absolutwerte von Messwerten, die durch den Beschleunigungssensor 131 und den Magnetflusssensor 132 erhalten werden.
Die Hauptsteuereinheit 140 steuert den Gesamtbetrieb des autonomen Fahrzeugs 100. Dazu analysiert sie die Bewegung des autonomen Fahrzeugs 100 und die 3D-Informationen über ein jeweiliges Objekt vor dem autonomen Fahrzeug 100, um letzteres effektiv zu steuern. Zu diesem Zweck beinhaltet die Hauptsteuereinheit 140 eine zugehörige Punktdetektionseinheit 141, eine Epipolar-Recheneinheit 142, eine Bewegungsanalyseeinheit 143 und eine 3D-Informationsanalyseeinheit 144.
Die Punktdetektionseinheit 141 detektiert sich entsprechende Punkte, die in einer Umgebung platziert sind, aus zwei aufeinanderfolgenden Bildern, welche durch die Kamera 110 mit einer vorgebbaren Bildrate erhalten werden. Die Epipolar-Recheneinheit 142 berechnet epipolare Geometrieinformation basierend auf Orientierungsinformation des autonomen Fahrzeugs 100, die ihr von der Orientierungsmesseinheit 130 zugeführt wird, und auf der zugehörigen Punktinformation, die ihr von der entsprechenden Punktdetektionseinheit 141 zugeführt wird. Basierend auf der von der Epipolar-Recheneinheit 142 berechneten epipolaren Geometrieinformation analysiert die Bewegungsanalyseeinheit 143 die Bewegung des autonomen Fahrzeugs 100. Des weiteren analysiert die 3D-Informationsanalyseeinheit 144 auf Basis der von der Epipolar-Recheneinheit 142 berechneten epipolaren Geometrieinformation 3D-Information eines vor dem sich bewegenden autonomen Fahrzeug 100 erscheinenden Objektes, wie Informationen über den Abstand zwischen dem autonomen Fahrzeug 100 und dem Objekt, Informationen über die 3D-Gestalt des Objektes etc. Die Bewegungssteuereinheit 150 steuert die Bewegung des autonomen Fahrzeugs 100 in Reaktion auf einen Steuerbefehl von der Hauptsteuereinheit 140.
2 veranschaulicht Epipolargeometrien zweier aufeinanderfolgend durch die Kamera 110 von 1 erhaltener Bilder. Dabei handelt es sich um zwei aufeinanderfolgend durch die Kamera 110 mit einer vorgegebenen Bildrate aufgenommene Bilder, was bedeutet, dass die beiden Bilder an zwei unterschiedlichen Positionen erhalten werden, solange sich das autonome Fahrzeug 100 bewegt.
Wie aus 2 ersichtlich, ist ein Koordinatensystem, das in der Mitte der Linse der Kamera 110 zentriert ist, für die beiden verschiedenen Positionen wie folgt definiert: $C_{1} = (X_{1}, Y 1, Z 1) {und C}_{2} = (X_{2}, Y_{2}, Z_{2}) .$
Bezüglich des so definierten Koordinatensystems sind die projizierten Bildebenen wie folgt definiert: $U_{1} = (u_{1}, v_{1}, f) {und U}_{2} = (u_{2}, v_{2}, f),$
wobei U₁ einen auf ein vorheriges Bild projizierten Bildpunkt bezeichnet, U₂ einen auf ein nachfolgendes Bild projizierten Bildpunkt bezeichnet, u₁ , u₂ und v₁ , v₂ die x- bzw. y-Koordinaten auf der jeweils zugehörigen Bildebene bezeichnen und f die Brennweite der Kamera ist.
Die Beziehung zwischen der einen und der anderen Position der Kamera 100 ist wie folgt definiert: $X_{2} = R_{12} (X_{1} - T_{1}),$
wobei R₁₂ eine Orientierungsinformation zwischen zwei Bildern und T₁ eine Translationsinformation bezüglich des vorhergehenden Bildes repräsentieren.
Die Beziehung zwischen dem Koordinatensystem der Kamera 110 und demjenigen der Bilder bezüglich eines beliebigen Punktes j kann wie folgt dargestellt werden: $U_{1 j} = \frac{f}{Z_{1 j}} X_{1 j} {und U}_{2 j} = \frac{f}{Z_{2 j}} X_{2 j} .$
Um die vorstehende Gleichung (4) zu vereinfachen, wird eine Matrix Q wie folgt definiert: $\begin{array}{l} Q = R S, u n d \\ S = [\begin{matrix} 0 & T_{3} & - T_{2} \\ - T_{3} & 0 & T_{1} \\ T_{2} & - T_{1} & 0 \end{matrix}] \end{array}$
wobei R eine Rotationsmatrix und S ein Translationsvektor in einer Matrixdarstellung sind. Die Matrix Q gibt die Beziehung zwischen dem Koordinatensystem der Kamera 110 und demjenigen der Bilder wieder und ist durch das Produkt der Rotationsmatrix R mit dem Translationsvektor S bestimmt.
Die obige Gleichung (5) kann wie folgt verallgemeinert werden: $S_{λν} = ε_{λνσ} T_{σ} .$
Hierbei ist 3_λν=O, wenn die Werte von (λ, ν, σ) keine Permutation von (1, 2, 3) sind.
Unter Verwendung der obigen Gleichungen kann das Produkt $X_{1}^{T} Q_{12} X_{2}$
wie folgt erhalten werden: $X_{1}^{T} Q_{12} X_{2} = {[R_{1 k} (X_{k} - T_{k})]}^{T} R_{1 λ} ε_{λ 2 σ} T_{σ} X_{2} = {(X_{λ} - T_{λ})}^{T} ε_{λ 2 σ} T_{σ} X_{2}$
Da ε_λνσ antisymmetrische Eigenschaft hat, kann daraus die folgende Gleichung erhalten werden: $X_{2}^{T} Q_{12} X_{1} = 0$
Die obige Gleichung (8) kann wie folgt repräsentiert werden: ${[\begin{matrix} X_{2} \\ Y_{2} \\ Z_{2} \end{matrix}]}^{T} [\begin{matrix} q_{11} & q_{12} & q_{13} \\ q_{21} & q_{22} & q_{23} \\ q_{31} & q_{32} & q_{33} \end{matrix}] [\begin{matrix} X_{1} \\ Y_{1} \\ Z_{1} \end{matrix}] = 0$
Die vorstehende Gleichung (9) kann wie folgt dargestellt werden: $[\begin{matrix} X_{1} X_{2} \\ Y_{1} X_{2} \\ Z_{1} X_{2} \\ X_{1} Y_{2} \\ Y_{1} Y_{2} \\ Z_{1} Y_{2} \\ X_{1} Z_{2} \\ Y_{1} Z_{2} \\ Z_{1} Z_{2} \end{matrix}] [\begin{matrix} q_{11} \\ q_{12} \\ q_{13} \\ q_{21} \\ q_{22} \\ q_{23} \\ q_{31} \\ q_{32} \\ q_{33} \end{matrix}]$
Wenn in der vorstehenden Gleichung (10) q₃₃ =1 ist und von Gleichung (4), welche die Beziehung zwischen der Kamera 110 und den Bildern repräsentiert, in der Gleichung (10) Gebrauch gemacht wird, lässt sich die Gleichung (10) wie folgt ausdrücken: $[\begin{matrix} u_{1} u_{2} \\ v_{1} u_{2} \\ f u_{2} \\ u_{1} v_{2} \\ v_{1} v_{2} \\ f v_{2} \\ f u_{1} \\ f v_{1} \end{matrix}] [\begin{matrix} q_{11} \\ q_{12} \\ q_{13} \\ q_{21} \\ q_{22} \\ q_{23} \\ q_{31} \\ q_{32} \end{matrix}] = 0$
Wie aus der obigen Gleichung (11) ersichtlich, wird Information von wenigstens acht sich entsprechenden Punkten benötigt, um die epipolare Geometrieinformation zu erhalten. Um jedoch acht sich entsprechende Punkte aus einer Bildebene zu erhalten und deren Information adäquat auszuwählen und zu verwenden, sollten zahlreiche epipolare Geometrierestriktionen erfüllt werden. Außerdem sind zahlreiche Restriktionen und Annahmen erforderlich, um die Komponenten der Rotationsmatrix R und des Translationsvektors S separat aus der epipolaren Geometrieinformation zu extrahieren. Daher werden erfindungsgemäß die epipolare Geometrieinformation, die Rotationsmatrix R und der Translationsvektor S unter Verwendung der Komponenten der durch die Orientierungsmesseinheit 130 gemessenen Rotationsmatrix berechnet, anstatt die epipolare Geometrieinformation und die Rotationsmatrix R unter Verwendung mathematischer Beziehungen, wie der Gleichung (11), zu extrahieren.
3 veranschaulicht eine Anordnung der in der Orientierungsmesseinheit von 1 enthaltenen Sensoren sowie die Koordinaten der Sensoren. 4 veranschaulicht die Eulerschen Winkel gemäß den Koordinaten der Kamera von 1, und 5 veranschaulicht die Beziehung zwischen den festen Erdkoordinaten und den Koordinaten der Sensoren von 1. Ein Verfahren zur Messung der Orientierung des autonomen Fahrzeugs 100 gemäß der Erfindung wird nachfolgend unter Bezugnahme auf die 3 bis 5 erläutert.
Wie oben unter Bezugnahme auf 1 beschrieben, besteht die Orientierungsmesseinheit 130 aus dem Beschleunigungssensor 131 und dem Magnetflusssensor 132. Bezugnehmend auf die 3 bis 5 detektiert und berechnet der Beschleunigungssensor 131 einen Winkel ϕ um die z-Achse, d.h. den Winkel zwischen der xy-Ebene des autonomen Fahrzeugs 100 und der xy-Ebene des festen Erdkoordinatensystems als dem absoluten Koordinatensystem gemäß der folgenden Gleichung: $\begin{matrix} 0 = r_{11} a_{x} + r_{12} a_{y} + r_{13} a_{z} \\ 0 = r_{21} a_{x} + r_{22} a_{y} + r_{23} a_{z} \\ - G = r_{31} a_{x} + r_{32} a_{y} + r_{33} a_{z} \end{matrix}$
In der obigen Gleichung (12) sind die Elemente der Rotationsmatrix R mit ri_j bezeichnet und die Rotationsmatrix R kann wie folgt repräsentiert werden: $R = [\begin{matrix} c ϕ c θ & c ϕ s θ s φ - s ϕ c φ & c ϕ s θ s φ + s ϕ s φ \\ s ϕ s θ & s ϕ s θ s φ - c ϕ c φ & s ϕ s θ c φ - c ϕ s φ \\ - s θ & c ϕ s φ & c ϕ c φ \end{matrix}]$
In gleicher Weise berechnet der Magnetflusssensor 132 einen Winkel φ, um die x-Achse, d.h. den Winkel zwischen der yz-Ebene des autonomen Fahrzeugs 100 und der yz-Ebene des festen Erdkoordinatensystems, gemäß folgender Beziehung: $\begin{matrix} M = r_{11} m_{x} + r_{12} m_{y} + r_{13} m_{z} \\ 0 = r_{21} m_{x} + r_{22} m_{y} + r_{23} m_{z} \\ 0 = r_{31} m_{x} + r_{32} m_{y} + r_{33} m_{z} \end{matrix}$
Im Fall der Messung der Rotationsmatrix R unter Verwendung der obigen Gleichung (14) und der Eulerschen Winkel, wie in 4 gezeigt, kann die epipolare Geometrieinformation in einfacher Weise wie folgt repräsentiert werden: $U_{1}^{T} Q_{12} U_{2} = U_{1}^{T} R_{12} S U_{2} = 0$
Wenn angenommen wird, dass die Rotationsmatrix R₁₂ in der obigen Gleichung (15) bekannt ist, kann die folgende Beziehung erhalten werden: $U_{1}^{T} R_{12} S U_{2} = \bar{U_{1}^{T}} S U_{2} = 0$
Es versteht sich aus der obigen Gleichung (16), dass $\bar{U_{1}^{T}} \equiv U_{1}^{T} R_{12}$
gilt und Gleichung (16) wie folgt ausgedrückt werden kann: $\begin{array}{l} \bar{U_{1}^{T}} S U_{2} = [\begin{matrix} \bar{u_{1}} \\ \bar{v_{1}} \\ \bar{f} \end{matrix}] [\begin{matrix} 0 & T_{3} & - T_{2} \\ - T_{3} & 0 & T_{1} \\ T_{2} & - T_{1} & 0 \end{matrix}] [\begin{matrix} u_{2} \\ v_{2} \\ f \end{matrix}] = 0 \\ \bar{U_{1}^{T}} S U_{2} = [\begin{matrix} f \bar{v_{1}} - \bar{f} v_{2} \\ f \bar{u_{1}} - \bar{f} u_{2} \\ \bar{u_{1}} v_{2} - \bar{v_{1}} u_{2} \end{matrix}] [\begin{matrix} T_{1} \\ T_{2} \\ T_{3} \end{matrix}] = 0 \end{array}$
Wenn in der obigen Gleichung (17) T₃ gleich 1 ist, kann die folgende Beziehung erhalten werden: $[\begin{matrix} f \bar{v_{1}} - \bar{f} v_{2} \\ f \bar{u_{1}} - \bar{f} u_{2} \end{matrix}] [\begin{matrix} T_{1} \\ T_{2} \end{matrix}] = [\bar{u_{1}} v_{2} - \bar{v_{1}} u_{2}]$
Wie aus der obigen Gleichung (18) ersichtlich, ist es erfindungsgemäß möglich, die epipolare Geometrieinformation unter Verwendung von wenigstens zwei sich entsprechenden Punkten korrekt zu erhalten. Es sei angemerkt, dass verglichen hiermit die herkömmlichen Verfahren wenigstens acht sich entsprechende Punkte benötigen. Mit anderen Worten ist es erfindungsgemäß möglich, die epipolaren Geometrieprobleme, die herkömmlicherweise kaum gelöst wurden und vielen Beschränkungen unterworfen waren, einfacher zu lösen.
Insbesondere ist es, da nur wenigstens zwei sich entsprechende Punkte benötigt werden, erfindungsgemäß möglich, die epipolare Geometrieinformation unter Verwendung von mehr verschiedenen und verifizierteren Verfahren zu erhalten. Dementsprechend können die zugehörigen Punkte genauer gemessen werden, so dass es möglich ist, die Bewegung eines autonomen Fahrzeugs sowie 3D-Information eines Objektes vor dem autonomen Fahrzeug einfacher und genauer zu analysieren.
6 zeigt ein Flussdiagramm eines Verfahrens zur Bestimmung der Bewegung eines autonomen Fahrzeugs und zur Detektion dreidimensionaler Information eines Objektes vor dem autonomen Fahrzeug gemäß der Erfindung. Zunächst werden durch die Kamera 110 zwei aufeinanderfolgende Bilder aufgenommen (Schritt 1100). Solange das autonome Fahrzeug 100 nicht aufhört, sich zu bewegen, werden die zwei Bilder an zwei verschiedenen Positionen erhalten.
Nach dem Aufnehmen der zwei aufeinanderfolgenden Bilder im Schritt 1100 erfasst die Orientierungsmesseinheit 130 die Richtungen der Schwerkraft und des terrestrischen Magnetismus unter Verwendung des Beschleunigungssensors 131 bzw. des Magnetflusssensors 132 und berechnet die Orientierung des autonomen Fahrzeugs 100 bezüglich des festen Erdkoordinatensystems unter Verwendung der Absolutwerte der von den jeweiligen Sensoren erfassten Messwerte (Schritt 1300).
Danach extrahiert die in der Hauptsteuereinheit 140 enthaltende Punktdetektionseinheit 141 wenigstens zwei sich entsprechende Punkte aus den beiden im Schritt 1100 aufeinanderfolgend aufgenommenen Bildern (Schritt 1410). Anschließend berechnet die Epipolar-Recheneinheit 142 die epipolare Geometrieinformation basierend auf der Rotationsmatrix R des autonomen Fahrzeugs 100, die von der Orientierungsmesseinheit 130 geliefert wird, und die zugehörige Punktinformation, die von der Punktdetektionseinheit 141 extrahiert wird (1420).
7 zeigt in den Teilbildern a, b und c fotografische Darstellungen sich entsprechender Punkte und der epipolaren Geometrieinformation, die gemäß der Erfindung von einem System zur Detektion von 3D-Information über ein vor einem autonomen Fahrzeug existierendes Objekt erhalten werden. Spezieller zeigt das Teilbild a die Resultate der Extraktion sich entsprechender Punkte aus zwei aufeinanderfolgenden Bildern, und das Teilbild b zeigt die Resultate der Extraktion der epipolaren Geometrieinformation aus den sich entsprechenden Punkten des Teilbilds a. Außerdem zeigt das Teilbild c die Resultate einer Entfernung von Ausreißern aus den Bildern gemäß Teilbild b. Wie aus 7 ersichtlich, kann erfindungsgemäß die epipolare Geometrieinformation unter Verwendung von nur zwei korrespondierenden, d.h. sich entsprechenden Punkten ohne negative Effekte aufgrund verschiedener Beschränkungen bei der Berechnung der epipolaren Geometrieinformation exakt erhalten werden. Daher ist es erfindungsgemäß möglich, die Bewegung eines autonomen Fahrzeugs sowie 3D-Information eines Objektes vor dem autonomen Fahrzeug genauer zu analysieren.
Wieder bezugnehmend auf 6 analysiert die Bewegungsanalyseeinheit 143 nach der Berechnung der epipolaren Geometrieinformation im Schritt 1420 die Bewegung des autonomen Fahrzeugs 100 basierend auf der epipolaren Geometrieinformation (Schritt 1430). Des weiteren analysiert die 3D-lnformationsanalyseeinheit 144 3D-Information eines Objektes vor dem autonomen Fahrzeug 100 (Schritt 1440).
Wie oben erläutert, ist es erfindungsgemäß möglich, die epipolare Geometrieinformation aus nur zwei korrespondierenden Punkten zu erhalten und die epipolaren Geometrieprobleme, die unter Verwendung herkömmlicher Verfahren nur schwer zu lösen sind, einfacher zu lösen. Außerdem ist es erfindungsgemäß möglich, die Bewegung eines autonomen Fahrzeugs sowie 3D-Information eines Objektes vor dem autonomen Fahrzeug unter Verwendung von Information von nur zwei korrespondierenden Punkten einfacher und genauer zu analysieren.
Die Erfindung kann z.B. als computerlesbarer Code auf einem Aufzeichnungsmedium implementiert sein und auf einem Computer ausgeführt werden. Das Aufzeichnungsmedium kann irgendeine Art von Aufzeichnungsvorrichtung umfassen, auf der Daten gespeichert werden. Beispielsweise kann das Aufzeichnungsmedium ein ROM, RAM, CD-ROM, Magnetband, eine Festplatte, Diskette, ein Flash-Speicher, eine optische Datenspeichervorrichtung und auch eine Trägerwelle sein, wie bei einer Übertragung über das Internet. Zudem kann das Aufzeichnungsmedium über Computersysteme hinweg verteilt sein, die miteinander durch ein Netzwerk verbunden sind, und die Erfindung kann als Computercode im Netzwerk gespeichert und implementiert sein.

Claims

Vorrichtung zur Steuerung und/oder Bestimmung der Bewegung eines autonomen Fahrzeugs und/oder zur Detektion dreidimensionaler (3D)-Information eines Objektes vor einem autonomen Fahrzeug, mit - einer Punktdetektionseinheit (141) zur Detektion sich entsprechender Punkte aus wenigstens zwei aufeinanderfolgend durch eine Kamera (110) aufgenommenen Bildern, - einer Orientierungsmesseinheit (130) zur Berechnung von Orientierungsinformation für das autonome Fahrzeug, wobei die Orientierungsmesseinheit einen Beschleunigungssensor (131) zur Messung der Schwerkraft und einen Magnetflusssensor (132) zur Messung des terrestrischen Magnetismus umfasst und die Orientierungsinformation des autonomen Fahrzeugs bezüglich eines festen Erdkoordinatensystems unter Verwendung der Absolutwerte der durch den Beschleunigungssensor und den Magnetflusssensor erhaltenen Messwerte berechnet wird, - einer Epipolar-Recheneinheit (142) zur Berechnung epipolarer Geometrieinformation basierend auf der von der Orientierungsmesseinheit berechneten Orientierungsinformation und der Information über wenigstens zwei sich entsprechende Punkte und - einer Bewegungsanalyseeinheit (143) zur Analysierung der Bewegung des autonomen Fahrzeugs basierend auf der berechneten epipolaren Geometrieinformation und/oder eine Einheit (144) zur Analyse von 3D-Information über ein jeweiliges Objekt vor dem autonomen Fahrzeug basierend auf der berechneten epipolaren Geometrieinformation, - wobei die epipolare Geometrieinformation anhand der nachfolgenden Beziehung berechnet wird, wenn eine die Orientierung des autonomen Fahrzeugs bezüglich irgendwelcher zweier aufeinanderfolgender Bilder ausdrückende Matrix gemessen werden kann: $[\begin{matrix} f \bar{v_{1}} - \bar{f} v_{2} \\ f \bar{u_{1}} - \bar{f} u_{2} \end{matrix}] [\begin{matrix} T_{1} \\ T_{2} \end{matrix}] = [\bar{u_{1}} v_{2} - \bar{v_{1}} u_{2}]$
wobei f eine Brennweite der Kamera, T₁ und T₂ Translationsvektorelemente, welche Translationsinformation zwischen den zwei aufeinanderfolgenden Bildern repräsentieren, u₁ und v₁ x- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuerst aufgenommenen Bildes und u₂ und v₂ x- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuletzt aufgenommenen Bildes bezeichnen.
Vorrichtung nach Anspruch 1, weiter dadurch gekennzeichnet, dass die Kamera die gleichen Koordinatenachsen wie das autonome Fahrzeug hat.
Vorrichtung nach Anspruch 1 oder 2, weiter dadurch gekennzeichnet, dass die Bilder durch eine einzige Kamera mit einer vorgebbaren Bildrate aufgenommen werden.
Vorrichtung nach Anspruch 1 oder 2, weiter dadurch gekennzeichnet, dass die Bilder gleichzeitig durch eine Stereokamera oder durch zwei oder mehr Kameras aufgenommen werden.
Vorrichtung nach einem der Ansprüche 1 bis 4, weiter dadurch gekennzeichnet, dass die 3D-Information über das jeweilige Objekt vor dem autonomen Fahrzeug Informationen über den Abstand zwischen dem autonomen Fahrzeug und dem Objekt und/oder über die 3D-Gestalt des Objektes umfasst.
Autonomes Fahrzeug, gekennzeichnet durch eine Vorrichtung zur Steuerung und/oder Bestimmung der Bewegung des autonomen Fahrzeugs und/oder zur Detektion dreidimensionaler Information eines Objektes vor dem autonomen Fahrzeug mit den Merkmalen gemäß einem der Ansprüche 1 bis 5.
Verfahren zur Steuerung und/oder Bestimmung der Bewegung eines autonomen Fahrzeugs und/oder zur Detektion dreidimensionaler (3D)-Information eines Objektes vor einem autonomen Fahrzeug, mit folgenden Schritten: a) Detektieren von sich entsprechenden Punkten aus wenigstens zwei aufeinanderfolgend durch eine Kamera aufgenommenen Bildern, b) Berechnen von Orientierungsinformation des autonomen Fahrzeugs, mit folgenden Teilschritten: b.1) Messen der Schwerkraft, b.2) Messen des terrestrischen Magnetismus und b.3) Berechnen der Orientierungsinformation des autonomen Fahrzeugs bezüglich eines festen Erdkoordinatensystems unter Verwendung der Absolutwerte von in den Teilschritten b.1 und b.2 erhaltenen Messwerten, c) Berechnen von epipolarer Geometrieinformation basierend auf der im Schritt b berechneten Orientierungsinformation und der Information über wenigstens zwei sich entsprechende Punkte, wobei die epipolare Geometrieinformation, wenn eine Matrix gemessen werden kann, welche die Orientierung des autonomen Fahrzeugs bezüglich irgendwelcher zweier aufeinanderfolgender Bilder ausdrückt, gemäß der folgenden Beziehung berechnet wird: $[\begin{matrix} f \bar{v_{1}} - \bar{f} v_{2} \\ f \bar{u_{1}} - \bar{f} u_{2} \end{matrix}] [\begin{matrix} T_{1} \\ T_{2} \end{matrix}] = [\bar{u_{1}} v_{2} - \bar{v_{1}} u_{2}]$
wobei f eine Brennweite der Kamera, T₁ und T₂ Translationsvektorelemente, welche Translationsinformation zwischen den zwei aufeinanderfolgenden Bildern repräsentieren, u₁ und v₁ x- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuerst aufgenommenen Bildes und u₂ und v₂ x- bzw. y-Koordinaten in einer Ebene des von den beiden aufeinanderfolgenden Bildern zuletzt aufgenommenen Bildes bezeichnen, und d) Analysieren der Bewegung des autonomen Fahrzeugs basierend auf der berechneten epipolaren Geometrieinformation, um selbige zu steuern, und/oder Analysieren von 3D-Information eines jeweiligen Objektes vor dem autonomen Fahrzeug basierend auf der berechneten epipolaren Geometrieinformation, um die 3D-Information zu detektieren, und/oder Analysieren der Bewegung des autonomen Fahrzeugs basierend auf der berechneten epipolaren Geometrieinformation und Analysieren der 3D-Information des jeweiligen Objektes vor dem autonomen Fahrzeug basierend auf der berechneten epipolaren Geometrieinformation, um die Bewegung des autonomen Fahrzeugs zu steuern.
Verfahren nach Anspruch 7, weiter dadurch gekennzeichnet, dass die Kamera so positioniert wird, dass sie die gleichen Koordinatenachsen wie das autonome Fahrzeug hat.
Verfahren nach Anspruch 7 oder 8, weiter dadurch gekennzeichnet, dass die Bilder durch eine einzelne Kamera mit vorgebbarer Bildrate aufgenommen werden.
Verfahren nach Anspruch 7 oder 8, weiter dadurch gekennzeichnet, dass die Bilder gleichzeitig durch eine Stereokamera oder durch mehrere Kameras aufgenommen werden.
Verfahren nach einem der Ansprüche 7 bis 10, weiter dadurch gekennzeichnet, dass die 3D-Information des Objektes vor dem autonomen Fahrzeug Informationen über den Abstand zwischen dem autonomen Fahrzeug und dem Objekt und Informationen über die 3D-Gestalt des Objektes umfasst.
Computerlesbares Aufzeichnungsmedium, dadurch gekennzeichnet, dass es ein Computerprogramm zur Ausführung des Verfahrens nach einem der Ansprüche 7 bis 11 gespeichert hat.