-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft ein Fahrzeugerfassungssystem und Fahrzeugerfassungsverfahren zum Erfassen anderer Fahrzeuge, die in der Umgebung eines Fahrzeuges positioniert sind, das gefahren wird, und zum kontinuierlichen Verfolgen der erfassten Fahrzeuge. Die vorliegende Offenbarung betrifft ferner ein nicht-transitorisches computerlesbares Medium.
-
HINTERGRUND
-
Ein Verfahren zum Erfassen eines Hindernisses in der Umgebung eines Fahrzeuges unter Verwendung eines Bildes, das durch Fotografieren der Umgebung des Fahrzeuges erhalten wird, wurde studiert. Ein monoskopisches Bild oder ein stereoskopisches Bild kann zum Erfassen des Hindernisses in der Umgebung des Fahrzeuges verwendet werden. Beim Verwenden des monoskopischen Bildes ist ein Trennungsgrad zwischen dem Hindernis und einem Hintergrund im Wesentlichen gering, wobei folglich die Erfassungsleistung herabgesetzt wird. Daher wird ein Erfassungsverfahren, das das stereoskopische Bild verwendet, in erster Linie verwendet. Die Erfassungsleistung kann beim Verwenden des stereoskopischen Bildes im Vergleich zum Verwenden des monoskopischen Bildes verbessert werden. Da ein Tiefenwert für das stereoskopische Bild verwendet wird, nimmt ein Datendurchsatz zu.
-
Das Dokument „U-V-Disparity based Obstacle Detection with 3D Camera and Steerable Filter“ von GAO, Y., et al. offenbart ein Hinderniserkennungssystem, das robust gegenüber nicht ebener Fahrbahnen und Beleuchtungen ist.
-
Das Dokument „Robust Obstacle Detection in General Road Environment Based on Road Extraction and Pose Estimation“ von SEKI, A., Okutomi, M. offenbart eine Methode zur Hinderniserkennung unter Verwendung von im Fahrzeug montierten Stereokameras.
-
Das Dokument „Real Time Obstacle Detection in Stereovision on Non Flat Road Geometry Through „V-disparity“ Representation“ von LABAYRADE, R., Aubert, D., Tarel, J.-P. offenbart eine robuste Methode zur Erkennung von Hindernissen auf der Straße im Kontext der Straßengeometrie, einschließlich der Schätzung der relativen Höhe und Neigung des Stereosensors in Bezug auf die Straßenoberfläche.
-
Die Druckschrift
US 2005/0232463 A1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung eines Ziels in einem Bild.
-
Die Druckschrift
US 2013/0129148 A1 offenbart eine Objekterkennungsvorrichtung, die einen Objektkandidaten in aufgenommenen Stereobildern als ein Objekt oder eine Straßenoberfläche genau erkennt.
-
Das Dokument „ Real-Time Environment Representation based on Occupancy Grid Temporal Analysis using a Dense Stereo-Vision System“ von VATAVU, A., Nedevschi, S., Oniga, F. offenbart eine Technik zur Darstellung der Umgebung durch zeitliche Analyse des Belegungsrasters mit einem dichten Stereo-Vision-System.
-
ZUSAMMENFASSUNG
-
Die vorliegende Erfindung liefert ein Fahrzeugerfassungssystem und ein Fahrzeugerfassungsverfahren, die einen Datendurchsatz beim Erfassen eines Hindernisses in der Umgebung eines Fahrzeuges unter Verwendung eines stereoskopischen Bildes verringern können und eine Position des Fahrzeuges akkurater erfassen können. Zudem liefert die vorliegende Erfindung ein Fahrzeugerfassungssystem und Fahrzeugerfassungsverfahren, die ein erfasstes Fahrzeug akkurater verfolgen können. Die vorliegende Erfindung liefert ferner ein nicht-transitorisches computerlesbares Medium.
-
Bevor im Folgenden eine detaillierte Beschreibung der Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen erfolgt, werden einige Aspekte der Erfindung, die zum Verständnis der Erfindung beitragen, gesondert aufgeführt. Es sollte jedoch beachtet werden, dass die Erfindung durch die beigefügten Ansprüche definiert ist, und alle Beispiele und Ausführungsformen, die nicht durch diese Ansprüche abgedeckt sind, sind auch als Aspekte zu verstehen, die zum Verständnis der Erfindung beitragen.
-
Nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann ein Fahrzeugerfassungsverfahren Folgendes enthalten: Erzeugen einer Disparitätskarte unter Verwendung von Bildern, die durch eine stereoskopische Abbildungsvorrichtung (z.B. Kamera, Videokamera etc.) fotografiert werden; Erfassen eines Straßenbereiches auf der Disparitätskarte; und Erfassen eines Fahrzeuges, das in dem Straßenbereich vorhanden ist, in einer Form eines stereoskopischen Objektes. Die Erfassung des Straßenbereiches kann Folgendes enthalten: Erzeugen einer v-Disparitätskarte unter Verwendung der Disparitätskarte; Erfassen einer Straßenkomponente mit einer im Wesentlichen geradlinigen Form in der v-Disparitätskarte; und Erfassen des Straßenbereiches in der Disparitätskarte unter Verwendung der Straßenkomponente. Zudem kann bei der Erfassung der Straßenkomponente eine Vielzahl von Straßenkomponenten in der v-Disparitätskarte erfasst werden.
-
Die Erfassung des Fahrzeuges kann Folgendes enthalten: Erzeugen einer virtuellen dreidimensionalen Struktur mit einer voreingestellten Form auf der Disparitätskarte; Verformen der dreidimensionalen Struktur, um zu verursachen, dass sich eine Bodenfläche der dreidimensionalen Struktur mit dem Straßenbereich deckt; und Erfassen des in der verformten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form eines stereoskopischen Objektes. Die Erfassung des in der modifizierten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes kann Folgendes enthalten: Umwandeln der Disparitätskarte in ein Draufsichtbild; Erfassen eines Fahrzeugbereiches mit einer rechteckigen Form in dem Draufsichtbild; Umwandeln des Draufsichtbildes in eine Disparitätskarte; und Erfassen einer Höhe des Fahrzeugbereiches unter Verwendung der Disparitätskarte.
-
Bei der Umwandlung der Disparitätskarte in das Draufsichtbild kann ein Bereich, der in der dreidimensionalen Struktur enthalten ist, in das Draufsichtbild umgewandelt werden. Zudem können bei der Erfassung des Fahrzeugbereiches Hindernisse mit einer Höhe gleich einer voreingestellten Höhe oder größer als dieselbe unter Hindernissen, die in dem Draufsichtbild vorhanden sind, als der Fahrzeugbereich erfasst werden. Bei der Erfassung des Fahrzeugbereiches kann der Fahrzeugbereich basierend auf der Anzahl von Pixel, die durch das Fahrzeug belegt sind, abhängig von einem Abstand von einer Abbildungsvorrichtung zu dem Fahrzeug erfasst werden.
-
Das Fahrzeugerfassungsverfahren kann ferner Folgendes enthalten: Erzeugen eines virtuellen stereoskopischen Objektes, das dem Fahrzeug entspricht, in dem Bild, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird; Erfassen von Merkmalspunkten in einem Bereich des stereoskopischen Objektes; Erzeugen eines Bewegungsvektors durch Vergleichen der Merkmalspunkte mit Merkmalspunkten, die in einem Bild erfasst werden, das zu dem Bild zeitlich kontinuierlich ist; und Bewegen einer Position des stereoskopischen Objektes basierend auf dem Bewegungsvektor.
-
Figurenliste
-
Die obigen und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden anhand der folgenden detaillierten Beschreibung in Verbindung mit den beiliegenden Zeichnungen offensichtlicher sein.
- 1 ist eine beispielhafte Darstellung, die ein Fahrzeugerfassungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
- 2 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
- die 3A und 3B sind beispielhafte Darstellungen, die einen Prozess zum Erzeugen einer v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
- die 4A bis 5B sind beispielhafte Darstellungen, die einen Prozess zum Erfassen einer Straßenkomponente in der v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
- 6 ist eine beispielhafte Darstellung, die Straßenbereiche veranschaulicht, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erfasst werden;
- 7 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines in einem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
- die 8A und 8B sind beispielhafte Darstellungen, die eine dreidimensionale Struktur veranschaulichen, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird;
- die 9A bis 9E sind beispielhafte Darstellungen, die einen Prozess zum Erfassen eines Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
- 10 ist ein beispielhafter Ablaufplan, der einen Prozess zum Verfolgen eines Fahrzeuges nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
- 11 ist eine beispielhafte Darstellung, die ein Bild eines virtuellen stereoskopischen Objektes veranschaulicht, das nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird; und
- 12 ist eine beispielhafte Darstellung, die ein Verfahren zum Berechnen eines Bewegungsvektors nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
-
DETAILLIERTE BESCHREIBUNG
-
Es ist klar, dass der Ausdruck „Fahrzeug“ oder „Fahrzeug-“ oder ein anderer ähnlicher Ausdruck, der hierin verwendet wird, Kraftfahrzeuge im Allgemeinen enthält, wie beispielsweise Personenkraftwagen, die Geländefahrzeuge (SUV), Busse, Lastwagen, verschiedene Geschäftswagen enthalten, Wasserfahrzeuge, die eine Vielzahl von Booten und Schiffen enthalten, Luftfahrzeuge und Ähnliches, und Hybridfahrzeuge, Elektrofahrzeuge, Verbrennung, Plug-In-Hybridelektrofahrzeuge, Fahrzeuge mit Wasserstoffantrieb und andere Fahrzeuge mit alternativen Brennstoffen enthält (z.B. Brennstoffe, die aus anderen Rohstoffen als Erdöl gewonnen werden).
-
Zwar wird eine beispielhafte Ausführungsform beschrieben eine Vielzahl von Einheiten zum Durchführen des beispielhaften Prozesses zu verwenden, aber es ist klar, dass die beispielhaften Prozesse auch durch ein Modul oder eine Vielzahl von Modulen durchgeführt werden können. Zudem ist klar, dass sich der Ausdruck Steuerung/Steuereinheit auf eine Hardwarevorrichtung bezieht, die einen Speicher und einen Prozessor enthält. Der Speicher ist zum Speichern der Module vorgesehen und der Prozessor ist insbesondere zum Ausführen der Module zum Durchführen von einem oder mehreren Prozessen vorgesehen, die weiter unten beschrieben werden.
-
Zudem kann die Steuerlogik der vorliegenden Erfindung als nicht-transitorische computerlesbare Medien auf einem computerlesbaren Datenträger ausgeführt werden, der ausführbare Programmbefehle enthält, die durch einen Prozessor, eine Steuerung/Steuereinheit oder Ähnliches ausgeführt werden. Beispiele computerlesbarer Datenträger enthalten Festwertspeicher, Direktzugriffsspeicher, Compact-Disc-Festwertspeicher (CD-ROMs), Magnetbänder, Disketten, Flash-Laufwerke, Chipkarten und optische Datenspeichervorrichtungen, sind aber nicht darauf beschränkt. Das computerlesbare Aufnahmemedium kann auch in netzwerkgekoppelten Computersystemen verteilt sein, so dass das computerlesbare Medium auf verteilte Weise gespeichert und ausgeführt wird, z.B. durch einen Telematikserver oder ein Controller Area Network (CAN).
-
Die hierin verwendete Terminologie dient nur zum Zweck des Beschreibens bestimmter Ausführungsformen und soll die Erfindung nicht beschränken. Wie hierin verwendet, sollen die Singularformen „ein/eine“ und „der/die/das“ auch die Pluralformen enthalten, sofern der Kontext dies nicht anderweitig klar erkennen lässt. Es wird zudem klar sein, dass die Ausdrücke „weist auf“ und/oder „aufweisend“, wenn in dieser Beschreibung verwendet, das Vorhandensein der genannten Merkmale, ganzen Zahlen, Schritte, Operationen, Elemente und/oder Bauteile spezifizieren, aber nicht das Vorhandensein oder den Zusatz von einem/einer oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Bauteilen und/oder Gruppen derselben ausschließen. Wie hierin verwendet, enthält der Ausdruck „und/oder“ jedes beliebige und alle Kombinationen von einem oder mehreren der assoziierten, aufgelisteten Elemente.
-
Nachstehend wird die vorliegende Offenbarung in Bezug auf die beiliegenden Zeichnungen detailliert beschrieben werden.
-
1 ist eine beispielhafte Darstellung, die ein Fahrzeugerfassungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. Ein Fahrzeugverfolgungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Erfindung kann durch einen Programmcode implementiert werden und durch einen Prozessor betätigt werden, wie beispielsweise eine Mikrosteuereinheit (MCU; engl. micro control unit), eine elektronische Steuereinheit (ECU; engl. electronic control unit) oder Ähnliches, der innerhalb eines Fahrzeuges montiert ist. In Bezug auf 1 kann erst eine Disparitätskarte erzeugt werden (S110). Ein Bild zum Erzeugen der Disparitätskarte kann durch eine stereoskopische Abbildungsvorrichtung (z.B. Kamera, Videokamera oder Ähnliches) fotografiert werden. Die stereoskopische Abbildungsvorrichtung kann zum gleichzeitigen Fotografieren (z.B. Aufnehmen) einer Vielzahl von Bildern unter Verwendung einer Vielzahl von Fotografierobjektiven konfiguriert sein. Die Vielzahl von stereoskopischen Bildern, die durch die stereoskopische Abbildungsvorrichtung fotografiert wird, kann eine Disparität aufgrund eines Unterschieds zwischen Betrachtungspunkten der Fotografierobjektive aufweisen.
-
Ein Abstand des Objektes von dem gefahrenen Fahrzeug kann durch die Disparität zwischen der Vielzahl von Bildern erkannt werden, die durch die stereoskopische Abbildungsvorrichtung fotografiert wird. Zwar gibt es mehrere Verfahren zum Erzeugen der Disparitätskarte, aber die Disparitätskarte kann im Allgemeinen Abstandsinformationen durch eine Disparität zwischen zwei Bildern basierend auf Helligkeit anzeigen. Insbesondere kann ein im Wesentlichen nahes Objekt (z.B. innerhalb eines vorbestimmten Abstands von dem gefahrenen Fahrzeug) durch einen hellen Wert angezeigt werden, und ein im Wesentlichen fernes Objekt (z.B. über einen vorbestimmten Abstand von dem gefahrenen Fahrzeug hinaus) durch einen dunklen Wert angezeigt werden (z.B. ein Wert, der dunkler als der helle Wert ist). Wenn die Disparitätskarte erzeugt wird, kann ein Straßenbereich auf der Disparitätskarte erfasst werden (S120). Ein Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte wird in Bezug auf die 2 bis 5B detailliert beschrieben werden.
-
2 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. In Bezug auf 2 kann erst eine v-Disparitätskarte unter Verwendung der Disparitätskarte erzeugt werden (S121). Die v-Disparitätskarte kann durch Akkumulieren von Pixeln mit einer Disparität in der Disparitätskarte erzeugt werden. Dies wird in Bezug auf die 3A und 3B beschrieben werden.
-
Die 3A und 3B sind beispielhafte Darstellungen, die einen Prozess zum Erzeugen einer v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen. 3A zeigt eine bei S110 erzeugte Disparitätskarte. Zudem kann die in 3B gezeigte v-Disparitätskarte durch Akkumulieren der Pixel erzeugt werden, die die Disparität in der in 3A gezeigten Disparitätskarte aufweisen. Bei der in 3B gezeigten v-Disparitätskarte gibt eine x-Achse Abstandsinformationen und eine y-Achse einen Wert an, der durch Akkumulieren von Werten erhalten wird, die den entsprechenden Abständen entsprechen. Wenn die v-Disparitätskarte erzeugt wird, kann eine Straßenkomponente in der v-Disparitätskarte erfasst werden (S122). Insbesondere kann sich der Straßenbereich in der Disparitätskarte als eine im Wesentlichen geradlinige Komponente in der v-Disparitätskarte zeigen. Daher kann die im Wesentlichen geradlinige Komponente in der v-Disparitätskarte als die Straßenkomponente erfasst werden. Dies wird in Bezug auf die 4A bis 5B beschrieben werden.
-
Die 4A bis 5B sind beispielhafte Darstellungen, die einen Prozess zum Erfassen einer Straßenkomponente in der v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen. In Bezug auf 4A ist eine im Wesentlichen geradlinige Komponente in der v-Disparitätskarte enthalten. Zudem kann die im Wesentlichen geradlinige Komponente, wie in 4B gezeigt, als die Straßenkomponente erfasst werden. Indessen kann die im Wesentlichen geradlinige Komponente in der v-Disparitätskarte als die Straßenkomponente unter der Annahme erfasst werden, dass eine Straße, die sich in der Disparitätskarte zeigt, eine Ebene ist. Wenn eine Steigung oder ein Gefälle auf der Straße vorliegt, wenn die Straße als eine im Wesentlichen gerade Linie erfasst wird, kann jedoch ein Fehler auftreten. Wenn die im Wesentlichen geradlinige Straßenkomponente in der v-Disparitätskarte erfasst wird, kann daher eine Vielzahl von Straßenkomponenten erfasst werden, wobei folglich der Fehler verringert wird.
-
5A zeigt ein beispielhaftes vergrößertes oder detailliertes Bild eines Teilbereiches der v-Disparitätskarte. Die v-Disparitätskarte, die in 5A gezeigt ist, repräsentiert einen Wert, der der Straßenkomponente entspricht. In 5A zeigt sich die Straßenkomponente jedoch nicht als die geradlinige Komponente. Daher kann, wie in 5B gezeigt, eine Vielzahl von Straßenkomponenten erfasst werden, wenn die Straßenkomponente in der v-Disparitätskarte erfasst wird. Die Vielzahl von Straßenkomponenten kann in der v-Disparitätskarte erfasst werden, wobei dadurch ermöglicht wird die Genauigkeit beim Erfassen des Straßenbereiches zu erhöhen. Wenn die Straßenkomponenten in der v-Disparitätskarte erfasst werden, kann der Straßenbereich in der Disparitätskarte erfasst werden (S123). Die erfassten Straßenkomponenten können auf die Disparitätskarte projiziert werden, wobei dadurch ermöglicht wird den Straßenbereich zu erfassen.
-
6 ist eine beispielhafte Darstellung, die Straßenbereiche zeigt, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erfasst werden. In Bezug auf 6 werden jeweils Straßenbereiche gezeigt, die zwei Straßenkomponenten entsprechen, die in 5B erfasst werden. Wie in 6 zu sehen ist, können die Straßenbereiche unter Verwendung der Vielzahl von Straßenkomponenten erfasst werden, um eine tatsächliche Straße akkurater zu erfassen. Ferner werden in 6 die erfassten Straßenbereiche in einem stereoskopischen Bild anstatt in der Disparitätskarte zur Einfachheit des Verständnisses der beispielhaften Ausführungsform gezeigt. Wenn der Straßenbereich erfasst wird, kann ein in dem Straßenbereich vorhandenes Fahrzeug in einer Form eines stereoskopischen Objektes erfasst werden (S130). Dies wird in Bezug auf die 7 bis 9E detailliert beschrieben werden.
-
7 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines in einem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. In Bezug auf 7 kann eine virtuelle dreidimensionale Struktur auf der Disparitätskarte erzeugt werden (S131). Dann kann die dreidimensionale Struktur verformt werden, um zu verursachen, dass sich eine Bodenfläche derselben mit dem Straßenbereich deckt (S132). Dies wird in Bezug auf die 8A und 8B beschrieben werden.
-
Die 8A und 8B sind beispielhafte Darstellungen zum Beschreiben einer dreidimensionalen Struktur, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird. Wenn der Straßenbereich erfasst wird, kann eine dreidimensionale Struktur mit einer voreingestellten Form auf der Disparitätskarte erzeugt werden, wie in 8A gezeigt. Die in 8A gezeigte dreidimensionale Struktur kann in einer voreingestellten Form an einer voreingestellten Position ungeachtet der erfassten Straßen gezeigt werden. Wenn die dreidimensionale Struktur erzeugt wird, kann die dreidimensionale Struktur verformt werden, um eine Bodenfläche derselben mit dem Straßenbereich in Übereinstimmung zu bringen, wie in 8B gezeigt. Indessen wird in 8 die dreidimensionale Struktur in einem stereoskopischen Bild anstatt in der Disparitätskarte zur Einfachheit des Verständnisses der beispielhaften Ausführungsform gezeigt.
-
Wenn die dreidimensionale Struktur verformt wird, kann das in der dreidimensionalen Struktur vorhandene Fahrzeug in der Form des stereoskopischen Objektes erfasst werden. Ein Prozess zum Erfassen des in der dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes kann S133 bis S136 der 7 entsprechen. In Bezug auf 7 kann die Disparitätskarte in ein Draufsichtbild umgewandelt werden (S133) und ein Fahrzeugbereich mit einer rechteckigen Form in dem Draufsichtbild erfasst werden (S134). Dann kann das Draufsichtbild in eine Disparitätskarte umgewandelt werden (S135) und eine Höhe des Fahrzeugbereiches unter Verwendung der Disparitätskarte erfasst werden. Ein Prozess zum Erfassen des in der dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes wird in Bezug auf die 9A bis 9E beschrieben werden.
-
Die
9A bis
9E sind beispielhafte Darstellungen, die einen Prozess zum Erfassen eines Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen.
9A zeigt eine beispielhafte Disparitätskarte, in der eine dreidimensionale Struktur erzeugt wird. Die in
9A gezeigte Disparitätskarte kann in ein Draufsichtbild umgewandelt werden (S133), wie in
9B gezeigt. Insbesondere kann eine perspektivische Projektion zum Umwandeln der Disparitätskarte in das Draufsichtbild verwendet werden. Die perspektivische Projektion ist ein Prozess zum Verändern einer Oberfläche, auf die ein Bild projiziert wird, basierend auf einem Betrachtungspunkt der Abbildungsvorrichtung und eine grundlegende Gleichung derselben ist die folgende Gleichung 1.
-
In Bezug auf Gleichung 1, kann eine Koordinate X', die in das Draufsichtbild umgewandelt wird, durch das Produkt einer spezifischen Koordinate X und einer Matrix P repräsentiert werden. Zudem kann Gleichung 1 durch die folgende Gleichung 2 repräsentiert werden.
-
Zudem kann eine Matrix-Gleichung in Gleichung 2 angesetzt werden, wie durch die folgende Gleichung 3 repräsentiert.
-
Wenn die Variablen in Gleichung 3 in einer Matrixform angeordnet werden, kann eine Matrix-Gleichung, die durch die Folgende Gleichung 4 repräsentiert ist, erhalten werden.
-
In Bezug auf Gleichung 4 können acht Variablen a, b, ..., h einer Matrix P erhalten werden, wenn vier Koordinaten (x, y) in der Disparitätskarte und vier Koordinaten (x", y') in dem dazu entsprechenden Draufsichtbild bekannt sind. Vier Koordinaten, die in 9A gezeigt sind, können durch vier Koordinaten repräsentiert werden, die in 9B gezeigt sind. Die Matrix P kann unter Verwendung von vier Paaren Koordinaten erhalten werden, die in den 9A und 9B gezeigt sind. Wenn die Matrix P erhalten wird, kann zudem die Disparitätskarte in das Draufsichtbild umgewandelt werden, wie in 9B gezeigt. Da ein Fahrzeug im Allgemeinen auf der Straße vorhanden sein kann, kann insbesondere ein Abschnitt, der einem Bereich entspricht, der in der dreidimensionalen Struktur enthalten ist, d.h. ein Straßenbereich, in das Draufsichtbild umgewandelt werden, um einen Datendurchsatz zu verringern.
-
Wenn die Disparitätskarte in das Draufsichtbild umgewandelt wird, kann ein Fahrzeugbereich mit einer im Wesentlichen rechteckigen Form in dem Draufsichtbild erfasst werden, wie in 9C gezeigt. Insbesondere können Hindernisse mit einer Höhe gleich einer voreingestellten Höhe von dem Boden oder größer als dieselbe unter Hindernissen, die in dem Straßenbereich vorhanden sind, als der Fahrzeugbereich erfasst werden. Wenn der Fahrzeugbereich erfasst wird, können eine Breite und eine Länge des Fahrzeuges erkannt werden. Wenn der Fahrzeugbereich in dem Draufsichtbild erfasst wird, kann der Fahrzeugbereich basierend auf der Anzahl von Pixeln, die durch das Fahrzeug belegt sind, abhängig von einem Abstand von einer Abbildungsvorrichtung zu dem Fahrzeug erfasst werden. Da das Fahrzeug in einer kleineren Größe angezeigt werden kann, während ein Abstand von der Abbildungsvorrichtung zu demselben zunimmt, kann die Anzahl von Pixeln, die durch das Fahrzeug belegt sind, verringert werden. Wenn der Fahrzeugbereich erfasst wird, kann daher ein Hindernis, das bestimmt wird nicht das Fahrzeug zu sein, unter Berücksichtigung des Abstands von der Abbildungsvorrichtung zu dem Fahrzeug und der Anzahl von Pixeln, die durch das Fahrzeug belegt sind, ausgeschlossen werden.
-
Wenn der Fahrzeugbereich erfasst wird, kann das Draufsichtbild wieder in eine Disparitätskarte umgewandelt werden, wie in 9D gezeigt. Insbesondere kann das Draufsichtbild in die Disparitätskarte unter Verwendung einer inversen Matrix P' der Matrix P umgewandelt werden. Dann kann eine Höhe des erfassten Fahrzeugbereiches in der Disparitätskarte erfasst werden (S136), wie in 9E gezeigt. Die Höhe des Fahrzeugbereiches kann einer Höhe entsprechen, bei der die gleichen Tiefeninformationen in Bezug auf den erfassten Fahrzeugbereich vorliegen. Wenn der Straßenbereich in der Disparitätskarte erfasst wird, kann derselbe unter Verwendung der Vielzahl von Straßenkomponenten erfasst werden, wobei dadurch ermöglicht wird die Höhe des Fahrzeuges akkurater zu erfassen. In Bezug auf 9E kann eingesehen werden, dass das Fahrzeug in der Form des stereoskopischen Objektes in der Disparitätskarte erfasst wird. Wie in 9E gezeigt, kann das Fahrzeug insbesondere in einer Form eines rechteckigen Parallelepipedons erfasst werden.
-
Wenn das Fahrzeug in der Form des stereoskopischen Objektes erfasst wird, kann das Fahrzeug verfolgt werden (S140). Mit anderen Worten kann das Fahrzeug unter Verwendung der Form der stereoskopischen Form, die als das Fahrzeug erfasst wird, kontinuierlich verfolgt werden. Als ein Verfahren zum Verfolgen des Fahrzeuges kann ein Verfahren des optischen Flusses verwendet werden. Ein dreidimensionales Verfahren des optischen Flusses zum Verwenden eines Tiefenwertes in der Disparitätskarte als z-Koordinate sowie von x- und y-Koordinaten für ein stereoskopisches Bild kann verwendet werden. Dies wird in Bezug auf die 10 bis 12 detailliert beschrieben werden.
-
10 ist ein beispielhafter Ablaufplan, der einen Prozess zum Verfolgen eines Fahrzeuges nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wenn das Fahrzeug erfasst wird, kann in Bezug auf 10 ein virtuelles stereoskopisches Objekt, das dem Fahrzeug entspricht, auf einem Bild erzeugt werden (S141), das durch eine stereoskopische Abbildungsvorrichtung fotografiert wird.
-
11 ist eine beispielhafte Darstellung, die ein Bild eines virtuellen stereoskopischen Objektes zeigt, das nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird. In Bezug auf 11 wird ein Bereich, der dem Fahrzeug entspricht, als ein stereoskopisches Objekt mit einer im Wesentlichen rechteckigen Form auf dem Bild angezeigt, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird. Wie in 11 gezeigt, kann der Fahrzeugbereich in einer Form des stereoskopischen Objektes angezeigt werden, wobei dadurch ermöglicht wird eine Position des Fahrzeuges im Vergleich dazu akkurater zu erkennen, wenn der Fahrzeugbereich in einer rechteckigen Form angezeigt wird.
-
Wenn der Fahrzeugbereich angezeigt wird, können Merkmalspunkte in einem Bereich des stereoskopischen Objektes erfasst werden (S142). In Bezug auf 11 kann der Fahrzeugbereich in der Form des stereoskopischen Objektes angezeigt werden, wobei dadurch ermöglicht wird einen unnötigen Bereich mit Ausnahme des Fahrzeuges während des Erfassens der Merkmalspunkte zu verringern. Daher kann eine Herabsetzung der Fahrzeugverfolgungsleistung aufgrund einer fehlerhaften Merkmalspunkterfassung verhindert werden. Zudem kann ein Bewegungsvektor berechnet werden, indem Merkmalspunkte, die in zeitlich kontinuierlichen Bildern erfasst werden, miteinander verglichen werden. Insbesondere können die gleichen Merkmalspunkte unter den bei S142 erfassten Merkmalspunkten und den Merkmalspunkten, die in dem dazu zeitlich kontinuierlichen Bild erfasst werden, aneinander angepasst werden. Zudem kann ein Positionsunterschied zwischen den angepassten Merkmalspunkten als Vektor berechnet werden.
-
Der berechnete Vektor kann eine x-Achsen-Komponente, eine y-Achsen-Komponente und eine z-Achsen-Komponente aufweisen. Die z-Achsen-Komponente kann einem Unterschied zwischen Tiefenwerten in der Disparitätskarte entsprechen. Wenn eine Vielzahl von Vektoren erzeugt wird, kann ein endgültiger Bewegungsvektor durch Analysieren der Direktionalität von x-, y- und z-Achsen der Vielzahl von Vektoren und dann Berechnen von Zentralwerten der x-, y- und z-Achsen berechnet werden. Mit anderen Worten kann der Bewegungsvektor ein Vektor sein, der eine Bewegungsmenge des Fahrzeuges zwischen kontinuierlichen Bildern angibt.
-
12 ist eine beispielhafte Darstellung zum Beschreiben eines Verfahrens zum Berechnen eines Bewegungsvektors nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung. In Bezug auf 12 wird eine Vielzahl von Vektoren in einem kartesischen Koordinatensystem gezeigt. Zudem können die entsprechenden Zentralwerte der x-Achsen-, y-Achsen- und z-Achsen-Komponenten der Vielzahl von Vektoren berechnet werden. Ferner kann ein Vektor, der durch den Zentralwert der x-Achsen-Komponenten, den Zentralwert der y-Achsen-Komponenten und den Zentralwert der z-Achsen-Komponenten repräsentiert wird, als der endgültige Bewegungsvektor berechnet werden. Wenn eine Vielzahl von Fahrzeugbereichen erfasst wird, können Bewegungsvektoren in Bezug auf die Vielzahl von Fahrzeugbereichen jeweils berechnet werden. Das erfasste Fahrzeug kann verfolgt werden, wobei dadurch ermöglicht wird eine gegenwärtige Position des Fahrzeuges unter Verwendung der Verfolgung für das in der Vergangenheit erfasste Fahrzeug selbst dann zu erkennen, wenn das Fahrzeug gegenwärtig nicht erfasst wird.
-
Beim Verfolgen des erfassten Fahrzeuges darf zudem der oben erwähnte Fahrzeugerfassungsprozess nicht durchgeführt werden, wobei dadurch ermöglicht wird einen Datendurchsatz zu verringern. Zudem kann der Fahrzeugerfassungsprozess in einer voreingestellten Dauer (beispielsweise eine Dauer von 20 Frames) durchgeführt werden, wobei dadurch ermöglicht wird einen Fehler zu korrigieren, der beim Durchführen des Verfolgungsprozesses ohne den Fahrzeugerfassungsprozess auftreten kann. Nach verschiedenen beispielhaften Ausführungsformen der vorliegenden Offenbarung kann ein Datendurchsatz verringert werden, wenn ein Hindernis in der Umgebung des Fahrzeuges erfasst wird, und das Fahrzeug kann in der Form des stereoskopischen Objektes erfasst werden, wobei dadurch ermöglicht wird eine Position des Fahrzeuges akkurater zu erfassen. Zudem kann das erfasste Fahrzeug akkurater verfolgt werden.