DE102014222617B4 - Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem - Google Patents

Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem Download PDF

Info

Publication number
DE102014222617B4
DE102014222617B4 DE102014222617.1A DE102014222617A DE102014222617B4 DE 102014222617 B4 DE102014222617 B4 DE 102014222617B4 DE 102014222617 A DE102014222617 A DE 102014222617A DE 102014222617 B4 DE102014222617 B4 DE 102014222617B4
Authority
DE
Germany
Prior art keywords
vehicle
disparity map
area
detecting
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014222617.1A
Other languages
English (en)
Other versions
DE102014222617A1 (de
Inventor
Jin Ha Choi
Dae Hwan Kim
Jae Sung Kim
Kyung Jae Lee
Jin Kyu Hwang
Sang Youn Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Cooperation Foundation of Yonsei University
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Industry Academic Cooperation Foundation of Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp, Industry Academic Cooperation Foundation of Yonsei University filed Critical Hyundai Motor Co
Publication of DE102014222617A1 publication Critical patent/DE102014222617A1/de
Application granted granted Critical
Publication of DE102014222617B4 publication Critical patent/DE102014222617B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

Fahrzeugerfassungsverfahren, aufweisend:Erzeugen (S110) einer Disparitätskarte durch eine Steuerung unter Verwendung von Bildern, die durch eine stereoskopische Abbildungsvorrichtung fotografiert werden;Erfassen (S120) eines Straßenbereiches auf der Disparitätskarte durch die Steuerung;Erfassen (S130) eines in dem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes durch die Steuerung;Umwandeln (S133) der Disparitätskarte in ein Draufsichtbild durch die Steuerung;Erfassen (S134) eines Fahrzeugbereiches mit einer rechteckigen Form in dem Draufsichtbild durch die Steuerung;Umwandeln (S135) des Draufsichtbildes in eine zweite Disparitätskarte durch die Steuerung; undErfassen (S136) einer Höhe des Fahrzeugbereiches durch die Steuerung unter Verwendung der zweiten Disparitätskarte.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft ein Fahrzeugerfassungssystem und Fahrzeugerfassungsverfahren zum Erfassen anderer Fahrzeuge, die in der Umgebung eines Fahrzeuges positioniert sind, das gefahren wird, und zum kontinuierlichen Verfolgen der erfassten Fahrzeuge. Die vorliegende Offenbarung betrifft ferner ein nicht-transitorisches computerlesbares Medium.
  • HINTERGRUND
  • Ein Verfahren zum Erfassen eines Hindernisses in der Umgebung eines Fahrzeuges unter Verwendung eines Bildes, das durch Fotografieren der Umgebung des Fahrzeuges erhalten wird, wurde studiert. Ein monoskopisches Bild oder ein stereoskopisches Bild kann zum Erfassen des Hindernisses in der Umgebung des Fahrzeuges verwendet werden. Beim Verwenden des monoskopischen Bildes ist ein Trennungsgrad zwischen dem Hindernis und einem Hintergrund im Wesentlichen gering, wobei folglich die Erfassungsleistung herabgesetzt wird. Daher wird ein Erfassungsverfahren, das das stereoskopische Bild verwendet, in erster Linie verwendet. Die Erfassungsleistung kann beim Verwenden des stereoskopischen Bildes im Vergleich zum Verwenden des monoskopischen Bildes verbessert werden. Da ein Tiefenwert für das stereoskopische Bild verwendet wird, nimmt ein Datendurchsatz zu.
  • Das Dokument „U-V-Disparity based Obstacle Detection with 3D Camera and Steerable Filter“ von GAO, Y., et al. offenbart ein Hinderniserkennungssystem, das robust gegenüber nicht ebener Fahrbahnen und Beleuchtungen ist.
  • Das Dokument „Robust Obstacle Detection in General Road Environment Based on Road Extraction and Pose Estimation“ von SEKI, A., Okutomi, M. offenbart eine Methode zur Hinderniserkennung unter Verwendung von im Fahrzeug montierten Stereokameras.
  • Das Dokument „Real Time Obstacle Detection in Stereovision on Non Flat Road Geometry Through „V-disparity“ Representation“ von LABAYRADE, R., Aubert, D., Tarel, J.-P. offenbart eine robuste Methode zur Erkennung von Hindernissen auf der Straße im Kontext der Straßengeometrie, einschließlich der Schätzung der relativen Höhe und Neigung des Stereosensors in Bezug auf die Straßenoberfläche.
  • Die Druckschrift US 2005/0232463 A1 offenbart ein Verfahren und eine Vorrichtung zur Erkennung eines Ziels in einem Bild.
  • Die Druckschrift US 2013/0129148 A1 offenbart eine Objekterkennungsvorrichtung, die einen Objektkandidaten in aufgenommenen Stereobildern als ein Objekt oder eine Straßenoberfläche genau erkennt.
  • Das Dokument „ Real-Time Environment Representation based on Occupancy Grid Temporal Analysis using a Dense Stereo-Vision System“ von VATAVU, A., Nedevschi, S., Oniga, F. offenbart eine Technik zur Darstellung der Umgebung durch zeitliche Analyse des Belegungsrasters mit einem dichten Stereo-Vision-System.
  • ZUSAMMENFASSUNG
  • Die vorliegende Erfindung liefert ein Fahrzeugerfassungssystem und ein Fahrzeugerfassungsverfahren, die einen Datendurchsatz beim Erfassen eines Hindernisses in der Umgebung eines Fahrzeuges unter Verwendung eines stereoskopischen Bildes verringern können und eine Position des Fahrzeuges akkurater erfassen können. Zudem liefert die vorliegende Erfindung ein Fahrzeugerfassungssystem und Fahrzeugerfassungsverfahren, die ein erfasstes Fahrzeug akkurater verfolgen können. Die vorliegende Erfindung liefert ferner ein nicht-transitorisches computerlesbares Medium.
  • Bevor im Folgenden eine detaillierte Beschreibung der Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen erfolgt, werden einige Aspekte der Erfindung, die zum Verständnis der Erfindung beitragen, gesondert aufgeführt. Es sollte jedoch beachtet werden, dass die Erfindung durch die beigefügten Ansprüche definiert ist, und alle Beispiele und Ausführungsformen, die nicht durch diese Ansprüche abgedeckt sind, sind auch als Aspekte zu verstehen, die zum Verständnis der Erfindung beitragen.
  • Nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung kann ein Fahrzeugerfassungsverfahren Folgendes enthalten: Erzeugen einer Disparitätskarte unter Verwendung von Bildern, die durch eine stereoskopische Abbildungsvorrichtung (z.B. Kamera, Videokamera etc.) fotografiert werden; Erfassen eines Straßenbereiches auf der Disparitätskarte; und Erfassen eines Fahrzeuges, das in dem Straßenbereich vorhanden ist, in einer Form eines stereoskopischen Objektes. Die Erfassung des Straßenbereiches kann Folgendes enthalten: Erzeugen einer v-Disparitätskarte unter Verwendung der Disparitätskarte; Erfassen einer Straßenkomponente mit einer im Wesentlichen geradlinigen Form in der v-Disparitätskarte; und Erfassen des Straßenbereiches in der Disparitätskarte unter Verwendung der Straßenkomponente. Zudem kann bei der Erfassung der Straßenkomponente eine Vielzahl von Straßenkomponenten in der v-Disparitätskarte erfasst werden.
  • Die Erfassung des Fahrzeuges kann Folgendes enthalten: Erzeugen einer virtuellen dreidimensionalen Struktur mit einer voreingestellten Form auf der Disparitätskarte; Verformen der dreidimensionalen Struktur, um zu verursachen, dass sich eine Bodenfläche der dreidimensionalen Struktur mit dem Straßenbereich deckt; und Erfassen des in der verformten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form eines stereoskopischen Objektes. Die Erfassung des in der modifizierten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes kann Folgendes enthalten: Umwandeln der Disparitätskarte in ein Draufsichtbild; Erfassen eines Fahrzeugbereiches mit einer rechteckigen Form in dem Draufsichtbild; Umwandeln des Draufsichtbildes in eine Disparitätskarte; und Erfassen einer Höhe des Fahrzeugbereiches unter Verwendung der Disparitätskarte.
  • Bei der Umwandlung der Disparitätskarte in das Draufsichtbild kann ein Bereich, der in der dreidimensionalen Struktur enthalten ist, in das Draufsichtbild umgewandelt werden. Zudem können bei der Erfassung des Fahrzeugbereiches Hindernisse mit einer Höhe gleich einer voreingestellten Höhe oder größer als dieselbe unter Hindernissen, die in dem Draufsichtbild vorhanden sind, als der Fahrzeugbereich erfasst werden. Bei der Erfassung des Fahrzeugbereiches kann der Fahrzeugbereich basierend auf der Anzahl von Pixel, die durch das Fahrzeug belegt sind, abhängig von einem Abstand von einer Abbildungsvorrichtung zu dem Fahrzeug erfasst werden.
  • Das Fahrzeugerfassungsverfahren kann ferner Folgendes enthalten: Erzeugen eines virtuellen stereoskopischen Objektes, das dem Fahrzeug entspricht, in dem Bild, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird; Erfassen von Merkmalspunkten in einem Bereich des stereoskopischen Objektes; Erzeugen eines Bewegungsvektors durch Vergleichen der Merkmalspunkte mit Merkmalspunkten, die in einem Bild erfasst werden, das zu dem Bild zeitlich kontinuierlich ist; und Bewegen einer Position des stereoskopischen Objektes basierend auf dem Bewegungsvektor.
  • Figurenliste
  • Die obigen und andere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden anhand der folgenden detaillierten Beschreibung in Verbindung mit den beiliegenden Zeichnungen offensichtlicher sein.
    • 1 ist eine beispielhafte Darstellung, die ein Fahrzeugerfassungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
    • 2 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
    • die 3A und 3B sind beispielhafte Darstellungen, die einen Prozess zum Erzeugen einer v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
    • die 4A bis 5B sind beispielhafte Darstellungen, die einen Prozess zum Erfassen einer Straßenkomponente in der v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
    • 6 ist eine beispielhafte Darstellung, die Straßenbereiche veranschaulicht, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erfasst werden;
    • 7 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines in einem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
    • die 8A und 8B sind beispielhafte Darstellungen, die eine dreidimensionale Struktur veranschaulichen, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird;
    • die 9A bis 9E sind beispielhafte Darstellungen, die einen Prozess zum Erfassen eines Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen;
    • 10 ist ein beispielhafter Ablaufplan, der einen Prozess zum Verfolgen eines Fahrzeuges nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht;
    • 11 ist eine beispielhafte Darstellung, die ein Bild eines virtuellen stereoskopischen Objektes veranschaulicht, das nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird; und
    • 12 ist eine beispielhafte Darstellung, die ein Verfahren zum Berechnen eines Bewegungsvektors nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht.
  • DETAILLIERTE BESCHREIBUNG
  • Es ist klar, dass der Ausdruck „Fahrzeug“ oder „Fahrzeug-“ oder ein anderer ähnlicher Ausdruck, der hierin verwendet wird, Kraftfahrzeuge im Allgemeinen enthält, wie beispielsweise Personenkraftwagen, die Geländefahrzeuge (SUV), Busse, Lastwagen, verschiedene Geschäftswagen enthalten, Wasserfahrzeuge, die eine Vielzahl von Booten und Schiffen enthalten, Luftfahrzeuge und Ähnliches, und Hybridfahrzeuge, Elektrofahrzeuge, Verbrennung, Plug-In-Hybridelektrofahrzeuge, Fahrzeuge mit Wasserstoffantrieb und andere Fahrzeuge mit alternativen Brennstoffen enthält (z.B. Brennstoffe, die aus anderen Rohstoffen als Erdöl gewonnen werden).
  • Zwar wird eine beispielhafte Ausführungsform beschrieben eine Vielzahl von Einheiten zum Durchführen des beispielhaften Prozesses zu verwenden, aber es ist klar, dass die beispielhaften Prozesse auch durch ein Modul oder eine Vielzahl von Modulen durchgeführt werden können. Zudem ist klar, dass sich der Ausdruck Steuerung/Steuereinheit auf eine Hardwarevorrichtung bezieht, die einen Speicher und einen Prozessor enthält. Der Speicher ist zum Speichern der Module vorgesehen und der Prozessor ist insbesondere zum Ausführen der Module zum Durchführen von einem oder mehreren Prozessen vorgesehen, die weiter unten beschrieben werden.
  • Zudem kann die Steuerlogik der vorliegenden Erfindung als nicht-transitorische computerlesbare Medien auf einem computerlesbaren Datenträger ausgeführt werden, der ausführbare Programmbefehle enthält, die durch einen Prozessor, eine Steuerung/Steuereinheit oder Ähnliches ausgeführt werden. Beispiele computerlesbarer Datenträger enthalten Festwertspeicher, Direktzugriffsspeicher, Compact-Disc-Festwertspeicher (CD-ROMs), Magnetbänder, Disketten, Flash-Laufwerke, Chipkarten und optische Datenspeichervorrichtungen, sind aber nicht darauf beschränkt. Das computerlesbare Aufnahmemedium kann auch in netzwerkgekoppelten Computersystemen verteilt sein, so dass das computerlesbare Medium auf verteilte Weise gespeichert und ausgeführt wird, z.B. durch einen Telematikserver oder ein Controller Area Network (CAN).
  • Die hierin verwendete Terminologie dient nur zum Zweck des Beschreibens bestimmter Ausführungsformen und soll die Erfindung nicht beschränken. Wie hierin verwendet, sollen die Singularformen „ein/eine“ und „der/die/das“ auch die Pluralformen enthalten, sofern der Kontext dies nicht anderweitig klar erkennen lässt. Es wird zudem klar sein, dass die Ausdrücke „weist auf“ und/oder „aufweisend“, wenn in dieser Beschreibung verwendet, das Vorhandensein der genannten Merkmale, ganzen Zahlen, Schritte, Operationen, Elemente und/oder Bauteile spezifizieren, aber nicht das Vorhandensein oder den Zusatz von einem/einer oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Bauteilen und/oder Gruppen derselben ausschließen. Wie hierin verwendet, enthält der Ausdruck „und/oder“ jedes beliebige und alle Kombinationen von einem oder mehreren der assoziierten, aufgelisteten Elemente.
  • Nachstehend wird die vorliegende Offenbarung in Bezug auf die beiliegenden Zeichnungen detailliert beschrieben werden.
  • 1 ist eine beispielhafte Darstellung, die ein Fahrzeugerfassungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. Ein Fahrzeugverfolgungsverfahren nach einer beispielhaften Ausführungsform der vorliegenden Erfindung kann durch einen Programmcode implementiert werden und durch einen Prozessor betätigt werden, wie beispielsweise eine Mikrosteuereinheit (MCU; engl. micro control unit), eine elektronische Steuereinheit (ECU; engl. electronic control unit) oder Ähnliches, der innerhalb eines Fahrzeuges montiert ist. In Bezug auf 1 kann erst eine Disparitätskarte erzeugt werden (S110). Ein Bild zum Erzeugen der Disparitätskarte kann durch eine stereoskopische Abbildungsvorrichtung (z.B. Kamera, Videokamera oder Ähnliches) fotografiert werden. Die stereoskopische Abbildungsvorrichtung kann zum gleichzeitigen Fotografieren (z.B. Aufnehmen) einer Vielzahl von Bildern unter Verwendung einer Vielzahl von Fotografierobjektiven konfiguriert sein. Die Vielzahl von stereoskopischen Bildern, die durch die stereoskopische Abbildungsvorrichtung fotografiert wird, kann eine Disparität aufgrund eines Unterschieds zwischen Betrachtungspunkten der Fotografierobjektive aufweisen.
  • Ein Abstand des Objektes von dem gefahrenen Fahrzeug kann durch die Disparität zwischen der Vielzahl von Bildern erkannt werden, die durch die stereoskopische Abbildungsvorrichtung fotografiert wird. Zwar gibt es mehrere Verfahren zum Erzeugen der Disparitätskarte, aber die Disparitätskarte kann im Allgemeinen Abstandsinformationen durch eine Disparität zwischen zwei Bildern basierend auf Helligkeit anzeigen. Insbesondere kann ein im Wesentlichen nahes Objekt (z.B. innerhalb eines vorbestimmten Abstands von dem gefahrenen Fahrzeug) durch einen hellen Wert angezeigt werden, und ein im Wesentlichen fernes Objekt (z.B. über einen vorbestimmten Abstand von dem gefahrenen Fahrzeug hinaus) durch einen dunklen Wert angezeigt werden (z.B. ein Wert, der dunkler als der helle Wert ist). Wenn die Disparitätskarte erzeugt wird, kann ein Straßenbereich auf der Disparitätskarte erfasst werden (S120). Ein Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte wird in Bezug auf die 2 bis 5B detailliert beschrieben werden.
  • 2 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines Straßenbereiches auf einer Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. In Bezug auf 2 kann erst eine v-Disparitätskarte unter Verwendung der Disparitätskarte erzeugt werden (S121). Die v-Disparitätskarte kann durch Akkumulieren von Pixeln mit einer Disparität in der Disparitätskarte erzeugt werden. Dies wird in Bezug auf die 3A und 3B beschrieben werden.
  • Die 3A und 3B sind beispielhafte Darstellungen, die einen Prozess zum Erzeugen einer v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen. 3A zeigt eine bei S110 erzeugte Disparitätskarte. Zudem kann die in 3B gezeigte v-Disparitätskarte durch Akkumulieren der Pixel erzeugt werden, die die Disparität in der in 3A gezeigten Disparitätskarte aufweisen. Bei der in 3B gezeigten v-Disparitätskarte gibt eine x-Achse Abstandsinformationen und eine y-Achse einen Wert an, der durch Akkumulieren von Werten erhalten wird, die den entsprechenden Abständen entsprechen. Wenn die v-Disparitätskarte erzeugt wird, kann eine Straßenkomponente in der v-Disparitätskarte erfasst werden (S122). Insbesondere kann sich der Straßenbereich in der Disparitätskarte als eine im Wesentlichen geradlinige Komponente in der v-Disparitätskarte zeigen. Daher kann die im Wesentlichen geradlinige Komponente in der v-Disparitätskarte als die Straßenkomponente erfasst werden. Dies wird in Bezug auf die 4A bis 5B beschrieben werden.
  • Die 4A bis 5B sind beispielhafte Darstellungen, die einen Prozess zum Erfassen einer Straßenkomponente in der v-Disparitätskarte nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen. In Bezug auf 4A ist eine im Wesentlichen geradlinige Komponente in der v-Disparitätskarte enthalten. Zudem kann die im Wesentlichen geradlinige Komponente, wie in 4B gezeigt, als die Straßenkomponente erfasst werden. Indessen kann die im Wesentlichen geradlinige Komponente in der v-Disparitätskarte als die Straßenkomponente unter der Annahme erfasst werden, dass eine Straße, die sich in der Disparitätskarte zeigt, eine Ebene ist. Wenn eine Steigung oder ein Gefälle auf der Straße vorliegt, wenn die Straße als eine im Wesentlichen gerade Linie erfasst wird, kann jedoch ein Fehler auftreten. Wenn die im Wesentlichen geradlinige Straßenkomponente in der v-Disparitätskarte erfasst wird, kann daher eine Vielzahl von Straßenkomponenten erfasst werden, wobei folglich der Fehler verringert wird.
  • 5A zeigt ein beispielhaftes vergrößertes oder detailliertes Bild eines Teilbereiches der v-Disparitätskarte. Die v-Disparitätskarte, die in 5A gezeigt ist, repräsentiert einen Wert, der der Straßenkomponente entspricht. In 5A zeigt sich die Straßenkomponente jedoch nicht als die geradlinige Komponente. Daher kann, wie in 5B gezeigt, eine Vielzahl von Straßenkomponenten erfasst werden, wenn die Straßenkomponente in der v-Disparitätskarte erfasst wird. Die Vielzahl von Straßenkomponenten kann in der v-Disparitätskarte erfasst werden, wobei dadurch ermöglicht wird die Genauigkeit beim Erfassen des Straßenbereiches zu erhöhen. Wenn die Straßenkomponenten in der v-Disparitätskarte erfasst werden, kann der Straßenbereich in der Disparitätskarte erfasst werden (S123). Die erfassten Straßenkomponenten können auf die Disparitätskarte projiziert werden, wobei dadurch ermöglicht wird den Straßenbereich zu erfassen.
  • 6 ist eine beispielhafte Darstellung, die Straßenbereiche zeigt, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erfasst werden. In Bezug auf 6 werden jeweils Straßenbereiche gezeigt, die zwei Straßenkomponenten entsprechen, die in 5B erfasst werden. Wie in 6 zu sehen ist, können die Straßenbereiche unter Verwendung der Vielzahl von Straßenkomponenten erfasst werden, um eine tatsächliche Straße akkurater zu erfassen. Ferner werden in 6 die erfassten Straßenbereiche in einem stereoskopischen Bild anstatt in der Disparitätskarte zur Einfachheit des Verständnisses der beispielhaften Ausführungsform gezeigt. Wenn der Straßenbereich erfasst wird, kann ein in dem Straßenbereich vorhandenes Fahrzeug in einer Form eines stereoskopischen Objektes erfasst werden (S130). Dies wird in Bezug auf die 7 bis 9E detailliert beschrieben werden.
  • 7 ist ein beispielhafter Ablaufplan, der einen Prozess zum Erfassen eines in einem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. In Bezug auf 7 kann eine virtuelle dreidimensionale Struktur auf der Disparitätskarte erzeugt werden (S131). Dann kann die dreidimensionale Struktur verformt werden, um zu verursachen, dass sich eine Bodenfläche derselben mit dem Straßenbereich deckt (S132). Dies wird in Bezug auf die 8A und 8B beschrieben werden.
  • Die 8A und 8B sind beispielhafte Darstellungen zum Beschreiben einer dreidimensionalen Struktur, die nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird. Wenn der Straßenbereich erfasst wird, kann eine dreidimensionale Struktur mit einer voreingestellten Form auf der Disparitätskarte erzeugt werden, wie in 8A gezeigt. Die in 8A gezeigte dreidimensionale Struktur kann in einer voreingestellten Form an einer voreingestellten Position ungeachtet der erfassten Straßen gezeigt werden. Wenn die dreidimensionale Struktur erzeugt wird, kann die dreidimensionale Struktur verformt werden, um eine Bodenfläche derselben mit dem Straßenbereich in Übereinstimmung zu bringen, wie in 8B gezeigt. Indessen wird in 8 die dreidimensionale Struktur in einem stereoskopischen Bild anstatt in der Disparitätskarte zur Einfachheit des Verständnisses der beispielhaften Ausführungsform gezeigt.
  • Wenn die dreidimensionale Struktur verformt wird, kann das in der dreidimensionalen Struktur vorhandene Fahrzeug in der Form des stereoskopischen Objektes erfasst werden. Ein Prozess zum Erfassen des in der dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes kann S133 bis S136 der 7 entsprechen. In Bezug auf 7 kann die Disparitätskarte in ein Draufsichtbild umgewandelt werden (S133) und ein Fahrzeugbereich mit einer rechteckigen Form in dem Draufsichtbild erfasst werden (S134). Dann kann das Draufsichtbild in eine Disparitätskarte umgewandelt werden (S135) und eine Höhe des Fahrzeugbereiches unter Verwendung der Disparitätskarte erfasst werden. Ein Prozess zum Erfassen des in der dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes wird in Bezug auf die 9A bis 9E beschrieben werden.
  • Die 9A bis 9E sind beispielhafte Darstellungen, die einen Prozess zum Erfassen eines Fahrzeuges in einer Form eines stereoskopischen Objektes nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulichen. 9A zeigt eine beispielhafte Disparitätskarte, in der eine dreidimensionale Struktur erzeugt wird. Die in 9A gezeigte Disparitätskarte kann in ein Draufsichtbild umgewandelt werden (S133), wie in 9B gezeigt. Insbesondere kann eine perspektivische Projektion zum Umwandeln der Disparitätskarte in das Draufsichtbild verwendet werden. Die perspektivische Projektion ist ein Prozess zum Verändern einer Oberfläche, auf die ein Bild projiziert wird, basierend auf einem Betrachtungspunkt der Abbildungsvorrichtung und eine grundlegende Gleichung derselben ist die folgende Gleichung 1. X ˜ ' = P X ˜   X ˜ : U r s p r u ¨ n g l i c h e   P i x e l k o o r d i n a t e X ˜ : T r a n s f o r m a t i o n s P i x e l k o o r d i n a t e P : P r o j e k t i o n s m a t r i x
    Figure DE102014222617B4_0001
  • In Bezug auf Gleichung 1, kann eine Koordinate X', die in das Draufsichtbild umgewandelt wird, durch das Produkt einer spezifischen Koordinate X und einer Matrix P repräsentiert werden. Zudem kann Gleichung 1 durch die folgende Gleichung 2 repräsentiert werden. [ w x ' w y ' w ] = [ a b c d e f g h 1 ] [ x y 1 ]   x , y : U r s p r u ¨ n g l i c h e   P i x e l k o o r d i n a t e x ' , y ' : T r a n s f o r m a t i o n s P i x e l k o o r d i n a t e a , , h : P a r a m e t e r   d e r   p e r s p e k t i v i s c h e n   T r a n s f o r m a t i o n
    Figure DE102014222617B4_0002
  • Zudem kann eine Matrix-Gleichung in Gleichung 2 angesetzt werden, wie durch die folgende Gleichung 3 repräsentiert. x ' = a x + b y + c g x x ' h x ' y y ' = d x + e y + f g x y ' h y y '
    Figure DE102014222617B4_0003
  • Wenn die Variablen in Gleichung 3 in einer Matrixform angeordnet werden, kann eine Matrix-Gleichung, die durch die Folgende Gleichung 4 repräsentiert ist, erhalten werden. [ x 1 ' y 1 ' x 2 ' y 2 ' x 3 ' y 3 ' x 4 ' y 4 ' ] = [ x 1 y 1 1 0 0 0 x 1 x 1 ' x 1 ' y 1 0 0 0 x 1 y 1 1 x 1 y 1 ' y 1 y 1 ' x 2 y 2 1 0 0 0 x 2 x 2 ' x 2 ' y 2 0 0 0 x 2 y 2 1 x 2 y 2 ' y 2 y 2 ' x 3 y 3 1 0 0 0 x 3 x 3 ' x 3 ' y 3 0 0 0 x 3 y 3 1 x 3 y 3 ' y 3 y 3 ' x 4 y 4 1 0 0 0 x 4 x 4 ' x 4 ' y 4 0 0 0 x 4 y 4 1 x 4 y 4 ' y 4 y 4 ' ] [ a b c d e f g h ]
    Figure DE102014222617B4_0004
  • In Bezug auf Gleichung 4 können acht Variablen a, b, ..., h einer Matrix P erhalten werden, wenn vier Koordinaten (x, y) in der Disparitätskarte und vier Koordinaten (x", y') in dem dazu entsprechenden Draufsichtbild bekannt sind. Vier Koordinaten, die in 9A gezeigt sind, können durch vier Koordinaten repräsentiert werden, die in 9B gezeigt sind. Die Matrix P kann unter Verwendung von vier Paaren Koordinaten erhalten werden, die in den 9A und 9B gezeigt sind. Wenn die Matrix P erhalten wird, kann zudem die Disparitätskarte in das Draufsichtbild umgewandelt werden, wie in 9B gezeigt. Da ein Fahrzeug im Allgemeinen auf der Straße vorhanden sein kann, kann insbesondere ein Abschnitt, der einem Bereich entspricht, der in der dreidimensionalen Struktur enthalten ist, d.h. ein Straßenbereich, in das Draufsichtbild umgewandelt werden, um einen Datendurchsatz zu verringern.
  • Wenn die Disparitätskarte in das Draufsichtbild umgewandelt wird, kann ein Fahrzeugbereich mit einer im Wesentlichen rechteckigen Form in dem Draufsichtbild erfasst werden, wie in 9C gezeigt. Insbesondere können Hindernisse mit einer Höhe gleich einer voreingestellten Höhe von dem Boden oder größer als dieselbe unter Hindernissen, die in dem Straßenbereich vorhanden sind, als der Fahrzeugbereich erfasst werden. Wenn der Fahrzeugbereich erfasst wird, können eine Breite und eine Länge des Fahrzeuges erkannt werden. Wenn der Fahrzeugbereich in dem Draufsichtbild erfasst wird, kann der Fahrzeugbereich basierend auf der Anzahl von Pixeln, die durch das Fahrzeug belegt sind, abhängig von einem Abstand von einer Abbildungsvorrichtung zu dem Fahrzeug erfasst werden. Da das Fahrzeug in einer kleineren Größe angezeigt werden kann, während ein Abstand von der Abbildungsvorrichtung zu demselben zunimmt, kann die Anzahl von Pixeln, die durch das Fahrzeug belegt sind, verringert werden. Wenn der Fahrzeugbereich erfasst wird, kann daher ein Hindernis, das bestimmt wird nicht das Fahrzeug zu sein, unter Berücksichtigung des Abstands von der Abbildungsvorrichtung zu dem Fahrzeug und der Anzahl von Pixeln, die durch das Fahrzeug belegt sind, ausgeschlossen werden.
  • Wenn der Fahrzeugbereich erfasst wird, kann das Draufsichtbild wieder in eine Disparitätskarte umgewandelt werden, wie in 9D gezeigt. Insbesondere kann das Draufsichtbild in die Disparitätskarte unter Verwendung einer inversen Matrix P' der Matrix P umgewandelt werden. Dann kann eine Höhe des erfassten Fahrzeugbereiches in der Disparitätskarte erfasst werden (S136), wie in 9E gezeigt. Die Höhe des Fahrzeugbereiches kann einer Höhe entsprechen, bei der die gleichen Tiefeninformationen in Bezug auf den erfassten Fahrzeugbereich vorliegen. Wenn der Straßenbereich in der Disparitätskarte erfasst wird, kann derselbe unter Verwendung der Vielzahl von Straßenkomponenten erfasst werden, wobei dadurch ermöglicht wird die Höhe des Fahrzeuges akkurater zu erfassen. In Bezug auf 9E kann eingesehen werden, dass das Fahrzeug in der Form des stereoskopischen Objektes in der Disparitätskarte erfasst wird. Wie in 9E gezeigt, kann das Fahrzeug insbesondere in einer Form eines rechteckigen Parallelepipedons erfasst werden.
  • Wenn das Fahrzeug in der Form des stereoskopischen Objektes erfasst wird, kann das Fahrzeug verfolgt werden (S140). Mit anderen Worten kann das Fahrzeug unter Verwendung der Form der stereoskopischen Form, die als das Fahrzeug erfasst wird, kontinuierlich verfolgt werden. Als ein Verfahren zum Verfolgen des Fahrzeuges kann ein Verfahren des optischen Flusses verwendet werden. Ein dreidimensionales Verfahren des optischen Flusses zum Verwenden eines Tiefenwertes in der Disparitätskarte als z-Koordinate sowie von x- und y-Koordinaten für ein stereoskopisches Bild kann verwendet werden. Dies wird in Bezug auf die 10 bis 12 detailliert beschrieben werden.
  • 10 ist ein beispielhafter Ablaufplan, der einen Prozess zum Verfolgen eines Fahrzeuges nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wenn das Fahrzeug erfasst wird, kann in Bezug auf 10 ein virtuelles stereoskopisches Objekt, das dem Fahrzeug entspricht, auf einem Bild erzeugt werden (S141), das durch eine stereoskopische Abbildungsvorrichtung fotografiert wird.
  • 11 ist eine beispielhafte Darstellung, die ein Bild eines virtuellen stereoskopischen Objektes zeigt, das nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung erzeugt wird. In Bezug auf 11 wird ein Bereich, der dem Fahrzeug entspricht, als ein stereoskopisches Objekt mit einer im Wesentlichen rechteckigen Form auf dem Bild angezeigt, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird. Wie in 11 gezeigt, kann der Fahrzeugbereich in einer Form des stereoskopischen Objektes angezeigt werden, wobei dadurch ermöglicht wird eine Position des Fahrzeuges im Vergleich dazu akkurater zu erkennen, wenn der Fahrzeugbereich in einer rechteckigen Form angezeigt wird.
  • Wenn der Fahrzeugbereich angezeigt wird, können Merkmalspunkte in einem Bereich des stereoskopischen Objektes erfasst werden (S142). In Bezug auf 11 kann der Fahrzeugbereich in der Form des stereoskopischen Objektes angezeigt werden, wobei dadurch ermöglicht wird einen unnötigen Bereich mit Ausnahme des Fahrzeuges während des Erfassens der Merkmalspunkte zu verringern. Daher kann eine Herabsetzung der Fahrzeugverfolgungsleistung aufgrund einer fehlerhaften Merkmalspunkterfassung verhindert werden. Zudem kann ein Bewegungsvektor berechnet werden, indem Merkmalspunkte, die in zeitlich kontinuierlichen Bildern erfasst werden, miteinander verglichen werden. Insbesondere können die gleichen Merkmalspunkte unter den bei S142 erfassten Merkmalspunkten und den Merkmalspunkten, die in dem dazu zeitlich kontinuierlichen Bild erfasst werden, aneinander angepasst werden. Zudem kann ein Positionsunterschied zwischen den angepassten Merkmalspunkten als Vektor berechnet werden.
  • Der berechnete Vektor kann eine x-Achsen-Komponente, eine y-Achsen-Komponente und eine z-Achsen-Komponente aufweisen. Die z-Achsen-Komponente kann einem Unterschied zwischen Tiefenwerten in der Disparitätskarte entsprechen. Wenn eine Vielzahl von Vektoren erzeugt wird, kann ein endgültiger Bewegungsvektor durch Analysieren der Direktionalität von x-, y- und z-Achsen der Vielzahl von Vektoren und dann Berechnen von Zentralwerten der x-, y- und z-Achsen berechnet werden. Mit anderen Worten kann der Bewegungsvektor ein Vektor sein, der eine Bewegungsmenge des Fahrzeuges zwischen kontinuierlichen Bildern angibt.
  • 12 ist eine beispielhafte Darstellung zum Beschreiben eines Verfahrens zum Berechnen eines Bewegungsvektors nach einer beispielhaften Ausführungsform der vorliegenden Offenbarung. In Bezug auf 12 wird eine Vielzahl von Vektoren in einem kartesischen Koordinatensystem gezeigt. Zudem können die entsprechenden Zentralwerte der x-Achsen-, y-Achsen- und z-Achsen-Komponenten der Vielzahl von Vektoren berechnet werden. Ferner kann ein Vektor, der durch den Zentralwert der x-Achsen-Komponenten, den Zentralwert der y-Achsen-Komponenten und den Zentralwert der z-Achsen-Komponenten repräsentiert wird, als der endgültige Bewegungsvektor berechnet werden. Wenn eine Vielzahl von Fahrzeugbereichen erfasst wird, können Bewegungsvektoren in Bezug auf die Vielzahl von Fahrzeugbereichen jeweils berechnet werden. Das erfasste Fahrzeug kann verfolgt werden, wobei dadurch ermöglicht wird eine gegenwärtige Position des Fahrzeuges unter Verwendung der Verfolgung für das in der Vergangenheit erfasste Fahrzeug selbst dann zu erkennen, wenn das Fahrzeug gegenwärtig nicht erfasst wird.
  • Beim Verfolgen des erfassten Fahrzeuges darf zudem der oben erwähnte Fahrzeugerfassungsprozess nicht durchgeführt werden, wobei dadurch ermöglicht wird einen Datendurchsatz zu verringern. Zudem kann der Fahrzeugerfassungsprozess in einer voreingestellten Dauer (beispielsweise eine Dauer von 20 Frames) durchgeführt werden, wobei dadurch ermöglicht wird einen Fehler zu korrigieren, der beim Durchführen des Verfolgungsprozesses ohne den Fahrzeugerfassungsprozess auftreten kann. Nach verschiedenen beispielhaften Ausführungsformen der vorliegenden Offenbarung kann ein Datendurchsatz verringert werden, wenn ein Hindernis in der Umgebung des Fahrzeuges erfasst wird, und das Fahrzeug kann in der Form des stereoskopischen Objektes erfasst werden, wobei dadurch ermöglicht wird eine Position des Fahrzeuges akkurater zu erfassen. Zudem kann das erfasste Fahrzeug akkurater verfolgt werden.

Claims (17)

  1. Fahrzeugerfassungsverfahren, aufweisend: Erzeugen (S110) einer Disparitätskarte durch eine Steuerung unter Verwendung von Bildern, die durch eine stereoskopische Abbildungsvorrichtung fotografiert werden; Erfassen (S120) eines Straßenbereiches auf der Disparitätskarte durch die Steuerung; Erfassen (S130) eines in dem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes durch die Steuerung; Umwandeln (S133) der Disparitätskarte in ein Draufsichtbild durch die Steuerung; Erfassen (S134) eines Fahrzeugbereiches mit einer rechteckigen Form in dem Draufsichtbild durch die Steuerung; Umwandeln (S135) des Draufsichtbildes in eine zweite Disparitätskarte durch die Steuerung; und Erfassen (S136) einer Höhe des Fahrzeugbereiches durch die Steuerung unter Verwendung der zweiten Disparitätskarte.
  2. Fahrzeugerfassungsverfahren nach Anspruch 1, wobei die Erfassung des Straßenbereiches Folgendes enthält: Erzeugen einer v-Disparitätskarte durch die Steuerung unter Verwendung der Disparitätskarte; Erfassen einer Straßenkomponente, die eine geradlinige Form aufweist, in der v-Disparitätskarte durch die Steuerung; und Erfassen des Straßenbereiches in der Disparitätskarte durch die Steuerung unter Verwendung der Straßenkomponente.
  3. Fahrzeugerfassungsverfahren nach Anspruch 2, wobei bei dem Erfassen der Straßenkomponente eine Vielzahl von Straßenkomponenten in der v-Disparitätskarte erfasst wird.
  4. Fahrzeugerfassungsverfahren nach Anspruch 1, wobei die Erfassung des Fahrzeuges Folgendes enthält: Erzeugen einer virtuellen dreidimensionalen Struktur mit einer voreingestellten Form auf der Disparitätskarte durch die Steuerung; Verformen der dreidimensionalen Struktur durch die Steuerung, um eine Bodenfläche der dreidimensionalen Struktur mit dem Straßenbereich in Übereinstimmung zu bringen; und Erfassen des in der verformten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes durch die Steuerung.
  5. Fahrzeugerfassungsverfahren nach Anspruch 1, wobei bei dem Umwandeln der Disparitätskarte in das Draufsichtbild ein in der dreidimensionalen Struktur enthaltender Bereich in das Draufsichtbild umgewandelt wird.
  6. Fahrzeugerfassungsverfahren nach Anspruch 1, wobei bei dem Erfassen des Fahrzeugbereiches Hindernisse mit einer Höhe gleich einer voreingestellten Höhe oder größer als dieselbe unter Hindernissen, die in dem Draufsichtbild vorliegen, als der Fahrzeugbereich erfasst werden.
  7. Fahrzeugerfassungsverfahren nach Anspruch 1, wobei bei dem Erfassen des Fahrzeugbereiches der Fahrzeugbereich unter Berücksichtigung der Anzahl von Pixeln, die durch das Fahrzeug belegt sind, basierend auf einem Abstand von der Abbildungsvorrichtung zu dem Fahrzeug erfasst wird.
  8. Fahrzeugerfassungsverfahren nach Anspruch 1, ferner aufweisend: Erzeugen (S141) eines virtuellen stereoskopischen Objektes, das dem Fahrzeug entspricht, in dem Bild, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird, durch die Steuerung; Erfassen (S142) von Merkmalspunkten in einem Bereich des stereoskopischen Objektes durch die Steuerung; Erzeugen (S143) eines Bewegungsvektors durch Vergleichen der Merkmalspunkte mit Merkmalspunkten, die in einem Bild erfasst werden, das zu dem Bild zeitlich kontinuierlich ist, durch die Steuerung; und Bewegen (S144) einer Position des stereoskopischen Objektes basierend auf dem Bewegungsvektor durch die Steuerung.
  9. Fahrzeugerfassungssystem, aufweisend: einen Speicher, der zum Speichern von Programmbefehlen konfiguriert ist; und einen Prozessor, der zum Ausführen der Programmbefehle konfiguriert ist, wobei die Programmbefehle, wenn ausgeführt, den Prozessor veranlassen, das Folgende auszuführen: Erzeugen einer Disparitätskarte unter Verwendung von Bildern, die durch eine stereoskopische Abbildungsvorrichtung fotografiert werden; Erfassen eines Straßenbereiches auf der Disparitätskarte; Erfassen eines in dem Straßenbereich vorhandenen Fahrzeuges in einer Form eines stereoskopischen Objektes; Umwandeln der Disparitätskarte in ein Draufsichtbild; Erfassen eines Fahrzeugbereiches mit einer rechteckigen Form in dem Draufsichtbild; Umwandeln des Draufsichtbildes in eine zweite Disparitätskarte; und Erfassen einer Höhe des Fahrzeugbereiches unter Verwendung der zweiten Disparitätskarte.
  10. Fahrzeugerfassungssystem nach Anspruch 9, wobei die Programmbefehle, wenn ausgeführt, zu Folgendem konfiguriert sind: Erzeugen einer v-Disparitätskarte unter Verwendung der Disparitätskarte; Erfassen einer Straßenkomponente mit einer geradlinigen Form in der v-Disparitätskarte; und Erfassen des Straßenbereiches in der Disparitätskarte unter Verwendung der Straßenkomponente.
  11. Fahrzeugerfassungssystem nach Anspruch 10, wobei bei dem Erfassen der Straßenkomponente eine Vielzahl von Straßenkomponenten in der v-Disparitätskarte erfasst wird.
  12. Fahrzeugerfassungssystem nach Anspruch 9, wobei die Programmbefehle, wenn ausgeführt, zu Folgendem konfiguriert sind: Erzeugen einer virtuellen dreidimensionalen Struktur mit einer voreingestellten Form auf der Disparitätskarte; Verformen der dreidimensionalen Struktur, um eine Bodenfläche der dreidimensionalen Struktur mit dem Straßenbereich in Übereinstimmung zu bringen; und Erfassen des in der verformten dreidimensionalen Struktur vorhandenen Fahrzeuges in der Form des stereoskopischen Objektes.
  13. Fahrzeugerfassungssystem nach Anspruch 12, wobei die Programmbefehle, wenn ausgeführt, zu Folgendem konfiguriert sind: Erzeugen eines virtuellen stereoskopischen Objektes, das dem Fahrzeug entspricht, in dem Bild, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird; Erfassen von Merkmalspunkten in einem Bereich des stereoskopischen Objektes; Erzeugen eines Bewegungsvektors durch Vergleichen der Merkmalspunkte mit Merkmalspunkten, die in einem Bild erfasst werden, das zu dem Bild zeitlich kontinuierlich ist; und Bewegen einer Position des stereoskopischen Objektes basierend auf dem Bewegungsvektor.
  14. Nicht-transitorisches computerlesbares Medium mit Programmbefehlen, die durch eine Steuerung ausgeführt werden, wobei das computerlesbare Medium Folgendes aufweist: Programmbefehle, die eine Disparitätskarte unter Verwendung von Bildern erzeugen, die durch eine stereoskopische Abbildungsvorrichtung fotografiert werden; Programmbefehle, die einen Straßenbereich auf der Disparitätskarte erfassen; Programmbefehle, die ein in dem Straßenbereich vorhandenes Fahrzeug in einer Form eines stereoskopischen Objektes erfassen; Programmbefehle, die die Disparitätskarte in ein Draufsichtbild umwandeln; Programmbefehle, die einen Fahrzeugbereich mit einer rechteckigen Form in dem Draufsichtbild erfassen; Programmbefehle, die das Draufsichtbild in eine zweite Disparitätskarte umwandeln; und Programmbefehle, die eine Höhe des Fahrzeugbereiches unter Verwendung der zweiten Disparitätskarte erfassen
  15. Nicht-transitorisches computerlesbares Medium nach Anspruch 14, ferner aufweisend: Programmbefehle, die eine v-Disparitätskarte unter Verwendung der Disparitätskarte erzeugen; Programmbefehle, die eine Straßenkomponente mit einer geradlinigen Form in der v-Disparitätskarte erfassen; und Programmbefehle, die den Straßenbereich in der Disparitätskarte unter Verwendung der Straßenkomponente erfassen.
  16. Nicht-transitorisches computerlesbares Medium nach Anspruch 14, ferner aufweisend: Programmbefehle, die eine virtuelle dreidimensionale Struktur mit einer voreingestellten Form auf der Disparitätskarte erzeugen; Programmbefehle, die die dreidimensionale Form verformen, um eine Bodenfläche der dreidimensionalen Struktur mit dem Straßenbereich in Übereinstimmung zu bringen; und Programmbefehle, die das in der verformten dreidimensionalen Struktur vorhandene Fahrzeug in der Form des stereoskopischen Objektes erfassen.
  17. Nicht-transitorisches computerlesbares Medium nach Anspruch 14, ferner aufweisend: Programmbefehle, die ein virtuelles stereoskopisches Objekt, das dem Fahrzeug entspricht, in dem Bild erzeugen, das durch die stereoskopische Abbildungsvorrichtung fotografiert wird; Programmbefehle, die Merkmalspunkte in einem Bereich des stereoskopischen Objektes erfassen; Programmbefehle, die einen Bewegungsvektor durch Vergleichen der Merkmalspunkte mit Merkmalspunkten erzeugen, die in einem Bild erfasst werden, das zu dem Bild zeitlich kontinuierlich ist; und Programmbefehle, die eine Position des stereoskopischen Objektes basierend auf dem Bewegungsvektor bewegen.
DE102014222617.1A 2013-12-24 2014-11-05 Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem Active DE102014222617B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130162431A KR101551026B1 (ko) 2013-12-24 2013-12-24 차량 검출 방법
KR10-2013-0162431 2013-12-24

Publications (2)

Publication Number Publication Date
DE102014222617A1 DE102014222617A1 (de) 2015-07-16
DE102014222617B4 true DE102014222617B4 (de) 2022-09-01

Family

ID=53400562

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014222617.1A Active DE102014222617B4 (de) 2013-12-24 2014-11-05 Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem

Country Status (4)

Country Link
US (1) US9524557B2 (de)
KR (1) KR101551026B1 (de)
CN (1) CN104732196B (de)
DE (1) DE102014222617B4 (de)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3026653A1 (de) * 2014-11-27 2016-06-01 Kapsch TrafficCom AB Verfahren zur Steuerung eines Verkehrsüberwachungssystems
KR101634282B1 (ko) * 2015-12-18 2016-06-30 주식회사 싸인텔레콤 육면체형 3d 모델생성과 이동객체용 현장계측제어로 이루어진 하이브리드형 스마트 이동객체 현장계측장치
JP6812701B2 (ja) * 2016-08-22 2021-01-13 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
CN106446785A (zh) * 2016-08-30 2017-02-22 电子科技大学 基于双目视觉的可行道路检测方法
CN109145680B (zh) * 2017-06-16 2022-05-27 阿波罗智能技术(北京)有限公司 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN107909012B (zh) * 2017-10-30 2022-03-18 北京中科慧眼科技有限公司 一种基于视差图的实时车辆跟踪检测方法与装置
CN108062515B (zh) * 2017-12-04 2022-01-18 北京中科慧眼科技有限公司 基于双目视觉的障碍物检测方法、系统及存储介质
CN108520536B (zh) * 2018-03-27 2022-01-11 海信集团有限公司 一种视差图的生成方法、装置及终端
CN110345924B (zh) * 2018-04-04 2021-07-06 北京四维图新科技股份有限公司 一种距离获取的方法和装置
EP3754535A1 (de) * 2019-06-17 2020-12-23 Kapsch TrafficCom AG Vorrichtung zur aufzeichnung von nummernschildern von fahrzeugen
CN110610123A (zh) * 2019-07-09 2019-12-24 北京邮电大学 一种多目标车辆检测方法、装置、电子设备及存储介质
KR102189502B1 (ko) * 2019-10-15 2020-12-11 한국전자기술연구원 객체 추적 장치 및 객체 추적 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232463A1 (en) 2004-03-02 2005-10-20 David Hirvonen Method and apparatus for detecting a presence prior to collision
US20130129148A1 (en) 2010-08-03 2013-05-23 Panasonic Corporation Object detection device, object detection method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2005045338A (ja) 2003-07-23 2005-02-17 Clarion Co Ltd 車載用三次元表示用モニタシステム
JP4814669B2 (ja) 2006-03-28 2011-11-16 株式会社デンソーアイティーラボラトリ 3次元座標取得装置
WO2008053649A1 (fr) 2006-11-02 2008-05-08 Konica Minolta Holdings, Inc. Procédé d'acquisition d'image grand angle et dispositif d'appareil photographique stéréo grand angle
JP5181602B2 (ja) 2007-09-28 2013-04-10 コニカミノルタホールディングス株式会社 物体検出装置
KR100915880B1 (ko) 2007-12-24 2009-09-07 재단법인대구경북과학기술원 위치 추정 장치 및 추정 방법
KR101163042B1 (ko) 2009-11-26 2012-07-05 재단법인대구경북과학기술원 차량 검출 장치 및 방법
KR101243108B1 (ko) 2010-12-30 2013-03-12 주식회사 와이즈오토모티브 차량의 후방 영상 표시 장치 및 방법
CN102316307B (zh) * 2011-08-22 2013-09-25 安科智慧城市技术(中国)有限公司 一种道路交通视频检测方法及装置
KR101289386B1 (ko) 2011-11-11 2013-07-29 재단법인대구경북과학기술원 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
JP2013113600A (ja) 2011-11-25 2013-06-10 Sharp Corp ステレオ3次元計測装置
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103185571B (zh) * 2011-12-30 2015-04-01 财团法人车辆研究测试中心 可行驶空间的检测系统及其检测方法
WO2013128427A1 (en) * 2012-03-02 2013-09-06 Leddartech Inc. System and method for multipurpose traffic detection and characterization
FR2988504B1 (fr) * 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232463A1 (en) 2004-03-02 2005-10-20 David Hirvonen Method and apparatus for detecting a presence prior to collision
US20130129148A1 (en) 2010-08-03 2013-05-23 Panasonic Corporation Object detection device, object detection method, and program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GAO, Y., et al.: UV-disparity based obstacle detection with 3D camera and steerable filter. In: 2011 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2011. S. 957-962. doi: 10.1109/IVS.2011.5940425
LABAYRADE, R., Aubert, D., Tarel, J.-P.: Real time obstacle detection in stereovision on non flat road geometry through" v-disparity" representation. In: Intelligent Vehicle Symposium, 2002. IEEE. IEEE, 2002. S. 646-651. doi: 10.1109/IVS.2002.1188024
SEKI, A., Okutomi, M.: Robust obstacle detection in general road environment based on road extraction and pose estimation. In: Electronics and Communications in Japan (Part II: Electronics), 2007, 90. Jg., Nr. 12, S. 12-22. doi: 10.1002/ecjb.20413
VATAVU, A., Nedevschi, S., Oniga, F.: Real-time environment representation based on occupancy grid temporal analysis using a dense stereo-vision system. In: Proceedings of the 2010 IEEE 6th International Conference on Intelligent Computer Communication and Processing. IEEE, 2010. S. 203-209. doi: 10.1109/ICCP.2010.5606439

Also Published As

Publication number Publication date
DE102014222617A1 (de) 2015-07-16
US20150178911A1 (en) 2015-06-25
CN104732196B (zh) 2019-06-28
US9524557B2 (en) 2016-12-20
KR101551026B1 (ko) 2015-09-07
KR20150074544A (ko) 2015-07-02
CN104732196A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE112018000899T5 (de) Gemeinsame 3D-Objekterfassung und Ausrichtungsabschätzung über multimodale Fusion
DE102017120112A1 (de) Tiefenkartenschätzung mit stereobildern
DE102019104217A1 (de) Bereitstellen von Informationsreicher Kartensemantik an Navigations-Metrik-Karten
DE102009012435A1 (de) Vorrichtung und Verfahren zum monokularen Motion-Stereo-basierten Detektieren von freien Parkplätzen
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102013226476B4 (de) Bildverarbeitungsverfahren und -system eines rundumsicht-überwachungssystems
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP2562681B1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
DE102021101270A1 (de) Trainieren eines neuronalen netzwerks eines fahrzeugs
DE102020100230A1 (de) Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
WO2020001838A1 (de) Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102014225848A1 (de) Vorrichtung, Verfahren und computerlesbares Medium zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102020117271A1 (de) Verfahren und Vorrichtung zur Ermittlung von Objektdaten in Bezug auf ein Objekt
DE102020126690A1 (de) Verfahren zum Bestimmen eines Bewegungsmodells eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
EP3555808A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102020003465A1 (de) Verfahren zur Detektion von Objekten in monokularen RGB-Bildern
DE102016124989A1 (de) Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020640000

R018 Grant decision by examination section/examining division
R020 Patent grant now final