DE10244148A1 - Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs - Google Patents

Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs Download PDF

Info

Publication number
DE10244148A1
DE10244148A1 DE10244148A DE10244148A DE10244148A1 DE 10244148 A1 DE10244148 A1 DE 10244148A1 DE 10244148 A DE10244148 A DE 10244148A DE 10244148 A DE10244148 A DE 10244148A DE 10244148 A1 DE10244148 A1 DE 10244148A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
image
images
volume elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10244148A
Other languages
English (en)
Inventor
Thomas Prof. Dr. Bräunl
Uwe Dr.-Ing. Franke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE10244148A priority Critical patent/DE10244148A1/de
Priority to PCT/EP2003/010456 priority patent/WO2004029877A2/de
Priority to US10/528,810 priority patent/US7365831B2/en
Priority to JP2004538958A priority patent/JP4327726B2/ja
Priority to EP03753435A priority patent/EP1543475A2/de
Publication of DE10244148A1 publication Critical patent/DE10244148A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Abstract

Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Größe des erfassten Bereichs. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiss zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im Allgemeinen keine direkten Entfernungsinformationen. Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich ein System zu schaffen, welches installiert in einem Straßenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3-D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Gemäß der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit, die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage von Bildpaaren ein lokales 3-D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert werden.

Description

  • Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug.
  • Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Größe des erfaßten Bereichs. So muß sich z.B. die Radarsensorik für eine ACC-Anwendung auf wenige Grad Erfassungsbereich horizontal beschränken, während sich für eine Einparkhilfefunktion bei der Erfassung der Umgebung neben dem Fahrzeug mit Ultraschall nur eine geringe Reichweite und Auflösung realisieren lassen. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiß zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im allgemeinen keine direkte Entfernungsinformation.
  • Systeme um von zweidimensionalen Tiefenprofildaten unter Ausnutzung der Fahrzeugeigenbewegung auf dreidimensionale Umgebungsdaten zu gelangen, werden zum einen in den Schriften US 4 179 216 A1 und US 4 490 038 A1 für die Kontrolle von Eisenbahntunnel und den fehlerfreien Verlauf von Schienenwegen aufgezeigt und zum anderen in US 5 278 423 A1 im Zusammenhang mit der gezielten Ausbringung von Pestiziden und der Erfassung des Baumbestandes von Plantagen beschrieben. In all diesen Systemen wird in einer Datenverarbeitungseinheit durch die Aneinanderreihung einer aufeinanderfolgenden Menge von Entfernungsprofilen ein dreidimensionales Abbild der Umgebung erzeugt. Um die Abstände der einzelnen sequentiell aufgenommenen Profile zueinander zu ermitteln sind an den Rädern der die Systeme tragenden Fahrzeuge jeweils Entfernungsaufnehmer angeordnet.
  • Eine Vorrichtung zur Lageerfassung eines einen abtastenden Sensor tragenden landwirtschaftlichen Fahrzeugs wird in US 5 809 440 A1 beschrieben. Hierbei wird die Spur des Fahrzeugs mittels eines globalen Navigationssystems (GPS) verfolgt. Da der zur Aufnahme des Bewuchses verwandte abtastende optische Sensor jedoch keine Entfernungsinformation liefert, wird durch Aneinanderreihung der Sensorinformation nur eine zweidimensionale Kartographie des Untergrundes erreicht.
  • Bei Fahrerassistenzsystemen kommen vermehrt Stereokamerasysteme zum Einsatz, mit deren Hilfe aufgrund der bekannten geometrischen Anordnung des verwendeten Kamerapaares die Objektweite rechnerisch ermittelt werden kann. Bei der Stereobildverarbeitung wird ein Objekt aus unterschiedlichen Richtungen mit einem Kamerapaar abgetastet. Anschließend wird die Entfernung zwischen dem Stereokamerasystem und dem Objekt unter Berücksichtigung der Kamerapositionen und Ausrichtungen sowie der Kameraparameter basierend auf dem Prinzip der Triangulation bestimmt.
  • In der DE 199 26 559 A1 wird ein Verfahren sowie eine Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs genannt. Bei dem vorgestellten Verfahren wird die Entfernung zu einem bewegten Fahrzeug durch Auswertung von Stereobildpaaren berechnet und Eigenschaften der detektierten Objekte ermittelt. Insbesondere wird mittels Stereobildverarbeitung eine entfernungsbasierte Bildsegmentierung durchgeführt. In den segmentierten Bildbereichen wird anschließend eine Objekterkennung durchgeführt.
  • Ein ähnliches System ist aus der EP 108 72 57 A2 bekannt, dabei wird eine Anordnung zur Befestigung eines Stereokamerasystems in einem Fahrzeug beschrieben, welches dazu dient, eine dreidimensionale Distanzverteilung für ein betrachtetes Objekt zu berechnen. Beim Einsatz in Straßenfahrzeugen sind solche aus dem Stand der Technik bekannten Systeme zur Stereobildverarbeitung jedoch nur bedingt geeignet, da die Position und Ausrichtung der Kamera sehr exakt sein und mit hohem Aufwand justiert werden muss. Weiterhin ist eine derartige Anordnung für den Alltagseinsatz bei unterschiedlichsten Straßenzuständen oft nicht robust genug und eine Dejustage des Systems jederzeit möglich.
  • Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs sowie ein Fahrzeug mit einem Sensorsystem zur Durchführung des Verfahrens gemäß den Oberbegriffen der Patentansprüche 1 und 15 zu schaffen, welches eine hohe mechanische Robustheit aufweist und sich ohne hohen Aufwand justieren läßt.
  • Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
  • Gemäß der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern.
  • In besonders vorteilhafter weise umfaßt die Vorrichtung weiterhin eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Es ist ein weiteres Mittel vorgesehen, um die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera zu bestimmen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert werden, wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
  • Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich ein System zu schaffen, welches installiert in einem Straßenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Im Gegensatz zu einer paarweisen Kameraanordnung wie sie bei herkömmlichen Stereokamerasystemen eingesetzt wird, bietet das erfinderische monokulare Kamerasystem in Verbindung mit dem erfindungsgemäßen Verfahren den Vorteil eines deutlich geringeren Platzbedarfs. Ein solches System stellt im Hinblick auf Designaspekte eine vorteilhafte Lösung für die Integration in das Fahrzeug dar und bietet zusätzlich den Vorteil von vergleichsweise geringen Kosten durch den Verzicht auf eine zweite Kamera. Die mechanische Robustheit ist bei monokularen Kamerasystemen vergleichsweise höher als bei Stereokameras. Ein weiterer Vorteil den Einzelkamerasysteme bieten, ist ein deutlich reduzierter Aufwand bei der Montage und lustage.
  • In einer gewinnbringenden Ausführungsform der Erfindung ist es denkbar, zur Auswahl von Bildern zu Bildpaaren für die Stereobildverarbeitung, die Eigenbewegung und somit die zurückgelegte Wegstrecke aufgrund der erfaßten Anzahl der Radumdrehungen zu ermitteln. Weitere Möglichkeiten zur Erfassung der Eigenbewegung eines Straßenfahrzeugs bieten auch Systeme für die mobile Fahrzeugnavigation die hauptsächlich mit GPS (Global Positioning System) arbeiten und somit Informationen über die genaue Position bereitstellen. Auch kommen vermehrt Fahrdynamiksysteme in Straßenfahrzeugen zum Einsatz, welche unter Berücksichtigung von Motordaten sowie Informationen zu Lenkung und Bremse eine Vielzahl an Daten zur Eigenbewegung eines Fahrzeugs liefern.
  • In besonders gewinnbringender Weise ist es insbesondere bei niedrigen Geschwindigkeiten denkbar, daß es sich bei den zu Bildpaaren auszuwählenden Bildern nicht zwingend um zwei unmittelbar aufeinanderfolgende Bildaufnahmen handeln muß. Für zwei Bildaufnahmen zu einem Bildpaar sollte der Zeitstempel Idealerweise derart gewählt sein, daß der Zeitunterschied unter Berücksichtigung der Fahrzeugeigengeschwindigkeit umgerechnet einer fest vorgegebenen Wegstrecke (Stereobasis) entspricht. Die Wegstrecke (Stereobasis) sollte vorzugsweise jedoch derart gewählt werden, daß sich diese in Abhängigkeit von der aktuellen Geschwindigkeit zum Zeitpunkt zweier Bildaufnahmen in einem Bereich zwischen 0,2 m und 1 m befindet. Da die durchschnittliche Fahrzeuggeschwindigkeit beim Einparken eines Straßenfahrzeugs ca. 12Km/h beträgt, ist eine zurückgelegte Wegstrecke (Stereobasis) von 0,13m zwischen den beiden Bildaufnahmen ideal.
  • In einer weiteren vorteilhaften Ausgestaltung der Erfindung ist es denkbar, daß nur solche zwischengespeicherten Bildpaare zur weiteren Verarbeitung ausgewählt werden können, bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat. Durch eine Lageänderung des Fahrzeugs, beispielsweise aufgrund sich stark ändernder Straßenverhältnisse, kann eine Änderung der Kameraausrichtung hervorgerufen werden. Eine Änderung der Kameraausrichtung zwischen zwei Aufnahmezeitpunkten führt zu einer Verfälschung; des Ergebnisses bei der weiteren Verarbeitung, ähnlich einer Dejustage eines Stereokamerasystems im Rahmen der Stereobildverarbeitung.
  • Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um aus der mittels den Bildpaaren gewonnenen Abfolge von lokalen 3D-Tiefenansichten durch Akkumulieren zu einer globalen 3D-Tiefenansicht zu gelangen. Dabei werden die Bilddaten der einzelnen lokalen 3D-Tiefenansichten, die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert und in einer geometrischen Datenstruktur hinterlegt. Die geometrische Datenstruktur wird dabei kontinuierlich in der gleichen Richtung entsprechend der Fahrtrichtung des Fahrzeugs um die neu hinzugekommenen Bildbereiche erweitert.
  • In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die für eine globale 3D-Tiefenansicht zu addierenden Bilddaten der jeweiligen lokalen Ortspunkte vor dem Akkumulieren einer Gewichtung unterzogen. Aufgrund dieser Gewichtung kann das beim Akkumulieren entstandene Rauschen durch nachfolgendes Filtern einzelner Bildpunkte reduziert werden.
  • In einer besonders gewinnbringenden Weise wird zum Filtern einzelner Bildpunkte das im Rahmen der Gewichtung mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente unterteilt und die zu addierenden Bildpunkte auf die Volumenelemente verteilt. Bevorzugt umfassen alle Volumenelemente ein vordefiniertes, einheitliches Volumen, beispielsweise in der Form von Kuben.
  • Vorteilhaft ist es die einzelnen Volumenelemente in einer hierarchischen Datenstruktur zu hinterlegen, insbesondere in einer Baumstruktur. Bei der Baumstruktur handelt es sich in gewinnbringender Weise um einen Octree. Wobei bei einem Octree jeder Knoten mittels eines 3D-Schlüssels die Menge der gespeicherten Volumen auf acht Unterbäume (Volumenelemente) verteilt. Jeder Unterbaum kann wiederum weiter unterteilt sein.
  • In einer gewinnbringenden Weise wird den Volumenelementen die Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente jeweils als Gewicht zugeordnet. Aus diesem Grund wird zusätzlich zu den Daten der Bildpunkte das Gewicht der Volumenelemente in der Baumstruktur hinterlegt.
  • Es ist besonders vorteilhaft das durchschnittliche Gewicht aller Volumenelemente ermittelt und somit ein Gesamtgewicht bestimmt. Mit dem Gesamtgewicht wird ein Schwellwert gebildet, auf dessen Grundlage entschieden wird, ob die in den einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden. Dabei werden nur diejenigen Bildpunkte berücksichtigt, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist. In einer vorteilhaften Weise werden zur Bestimmung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen, welche Bildpunkte enthalten.
  • Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um den Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor zu bilden. Bei der Untersuchung einer Einparksequenz mit einem Volumen von 8 × 3 × 5 m3 und einer Unterteilung in 8 Zellen ergab sich ein durchschnittliches Gewicht von 7.7 für die Zellen. Mit einem Tuningfaktor von 1.5 konnte die Anzahl der Bildpunkte pro Bild somit von 46013 auf 29792 reduziert werden.
  • Bei der im Rahmen der Erfindung genutzten Kamera, kann es sich um eine Kamera handeln, welche Bestandteil eines anderen im Fahrzeug bereits vorhandenen Bildaufnahmesystems ist.
  • Im nachfolgenden wird die Erfindung anhand eines Ausführungsbeispiels und einer Figur im Detail erläutert.
  • Beispielhaft zeigt die Figur ein Verkehrsszenario unter Einsatz der erfindungsgemäßen Vorrichtung, zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug (10). Die Vermessung der seitlichen 3D-Geometrie eines fahrenden Fahrzeugs zum Fahrbahnrand wird hierbei zum Vermessen einer Parklücke eingesetzt. Am Fahrbahnrand kann sich ein parkendes Fahrzeug (40), eine Leitplanke (50) oder beliebige andere Objekte (60), die sich deutlich von der Fahrbahnoberfläche abheben und somit nicht überfahrbar sind, befinden.
  • Im Straßenfahrzeug (10) ist dazu eine monokulare Kamera (30) in Verbindung mit einer Rechnereinheit eingebaut. Die Kamera (30) ist derart ausgerichtet, daß der Winkel zwischen deren optischen Achse und der Fahrtrichtung (20) Idealerweise 90° beträgt. Die mögliche Ausrichtung der Kamera (30) beschränkt sich jedoch nicht auf die senkrecht zur Fahrtrichtung (20) stehende Ausrichtung, sondern kann auch auf zu erfassende Bereiche unter einem Winkel von 45° – 135° zur Fahrtrichtung (20) ausgerichtet sein. Die Variation der Ausrichtung der Kamera kann insbesondere für unterschiedliche Gestaltungsmöglichkeiten hinsichtlich der Integration in das Gesamtfahrzeug in vorteilhafter Weise genutzt werden. Die sich aus der Bewegung des Fahrzeugs (10) beim Aufzeichnen mit der Kamera (30) ergebende Bildfolge wird mittels der Rechnereinheit mit Zeitstempeln versehen und zwischengespeichert. Mit einem Algorithmus zur Stereobildverarbeitung werden aus den zwischengespeicherten Bildern, unter Berücksichtigung der Eigenbewegung des Fahrzeugs (10), ein 3D-Abbild des Parkraums generiert. Aufgrund der 3D-Information kann unter Berücksichtigung einer festgelegten Einparkstrategie entschieden werden, ob der erfaßte 3D-Raum für das Einparken des Fahrzeugs geeignet ist und insbesondere ausreichend Platz zum Einparken zur Verfügung steht.
  • Für den Fachmann ist es selbstverständlich, dass sich der Erfindungsgegenstand auch für andere Verwendung im Straßenverkehr eignet. So eignet sich die Erfindung beispielsweise auch gewinnbringend zur Verwendung als Warnsystem, welches den seitlichen Abstand eines Fahrzeugs zum Fahrbahnrand vermißt und bei Unterschreitung eines Mindestabstandes den Fahrer warnt, analog zu dem oben angeführten Ausführungsbeispiel.

Claims (20)

  1. Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, wobei mittels einer Kamera digitale Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass die Eigenbewegung des Fahrzeugs erfaßt wird, um auf Grundlage dieser Daten aus den zwischen gespeicherten Bildern Bildpaare auszuwählen, wobei die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera bestimmt wird, und daß mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung der Eigenbewegung des Fahrzeugs insbesondere aufgrund der Geschwindigkeit, der Anzahl der Radumdrehungen, Navigationsinformation oder Daten von Fahrdynamiksystemen erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl zwischengespeicherter Bilder zu Bildpaaren derart erfolgt, daß die zwischen den Aufnahmezeitpunkten der Bilder zurückgelegte Wegstrecke einem vorgegebenem Wert entspricht.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der vorgegebene Wert sich vorzugsweise im Bereich zwischen 0,2m und 1 m befindet, insbesondere 0,3 m beträgt.
  5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass nur solche zwischengespeicherten Bilder zu Bildpaaren ausgewählt werden bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Abfolge von lokalen 3D-Tiefenansichten akkumuliert werden wobei die Bilddaten der einzelnen lokalen 3D-Tiefenansichten die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Bilddaten vor der Addition einer Gewichtung unterzogen werden.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Rahmen der Gewichtung das mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente geteilt wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass alle Volumenelemente einem vordefinierten einheitlichen Volumen entsprechen.
  10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Volumenelemente in einer Baumstruktur hinterlegt werden, insbesondere in der Form eines Octree.
  11. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die jeweilige Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente, diesen Volumenelementen jeweils als Gewicht zugeordnet wird.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass ein Gewicht bestimmt wird, welches dem durchschnittlichen Gewicht aller Volumenelemente entspricht, wobei dieses Gesamtgewicht einen Schwellwert bildet, auf Grundlage dessen entschieden wird, ob die in den Einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden, wobei nur diejenigen Bildpunkte berücksichtigt werden, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zur Bildung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen werden, welche Bildpunkte enthalten.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor gebildet wird.
  15. Vorrichtung zur 3D-Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, umfassend eine Kamera zur Aufnahme digitaler Bilder die mit einer DV-Einheit in Verbindung steht, mittels welcher die Bilder mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs vorhanden ist, und dass ein Mittel vorgesehen ist, um auf Grundlage der Eigenbewegung Bilddaten zu Bildpaaren auszuwählen, und welches mit einer Einheit zur Stereobildverarbeitung in Verbindung steht.
  16. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Einheit zur Erfassung der Eigenbewegung des Fahrzeugs insbesondere ein Tachometer, Rad-Drehzahlmesser, Navigationssystem oder ein Fahrdynamiksystem ist.
  17. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera vorzugsweise 90° zur Fahrtrichtung ausgerichtet ist.
  18. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera unter einem Winkel von 45° – 135° zur Fahrtrichtung ausgerichtet ist.
  19. Vorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die Kamera, Bestandteil eines bereits im Fahrzeug befindlichen Bildaufnahmesystems ist.
  20. Verwendung der Vorrichtung oder des Verfahrens nach einem der vorgehenden Ansprüche als Warnsystem, insbesondere zur Vermessung des Abstands des Fahrzeugs zum Straßenrand.
DE10244148A 2002-09-23 2002-09-23 Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs Withdrawn DE10244148A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10244148A DE10244148A1 (de) 2002-09-23 2002-09-23 Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
PCT/EP2003/010456 WO2004029877A2 (de) 2002-09-23 2003-09-19 Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs
US10/528,810 US7365831B2 (en) 2002-09-23 2003-09-19 Method and device for video-based observation and measurement of the lateral environment of a vehicle
JP2004538958A JP4327726B2 (ja) 2002-09-23 2003-09-19 車両の側方周囲の、ビデオベースの監視及び測定のための方法及び装置
EP03753435A EP1543475A2 (de) 2002-09-23 2003-09-19 Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10244148A DE10244148A1 (de) 2002-09-23 2002-09-23 Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE10244148A1 true DE10244148A1 (de) 2004-04-08

Family

ID=31983990

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10244148A Withdrawn DE10244148A1 (de) 2002-09-23 2002-09-23 Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs

Country Status (5)

Country Link
US (1) US7365831B2 (de)
EP (1) EP1543475A2 (de)
JP (1) JP4327726B2 (de)
DE (1) DE10244148A1 (de)
WO (1) WO2004029877A2 (de)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005015463A1 (de) * 2005-04-04 2006-11-09 Magna Donnelly Gmbh & Co. Kg Fahrzeug mit Distanzkontrollsystem
DE102005022882A1 (de) * 2005-05-18 2006-11-23 Volkswagen Ag Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
DE102006010275A1 (de) * 2005-03-03 2006-12-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zum Vermeiden einer Kollision bei einem Spurwechsel eines Fahrzeugs
DE102006011590A1 (de) * 2006-03-10 2007-09-13 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren einer Parklücke
EP1927962A1 (de) * 2005-06-27 2008-06-04 Aisin Seiki Kabushiki Kaisha Hinderniserkennungseinrichtung
FR2921324A1 (fr) * 2007-09-25 2009-03-27 Renault Sas Procede et dispositif d'assistance au parcage d'un vehicule automobile
DE102010019146A1 (de) 2010-05-03 2011-11-03 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102011083745A1 (de) * 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
DE102009009815B4 (de) * 2008-03-28 2015-01-15 Volkswagen Ag Verfahren und Vorrichtung zur Erkennung von Parklücken
DE102015205244B3 (de) * 2015-03-24 2015-12-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014118203B4 (de) * 2013-12-10 2017-12-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Distanzermittlungssystem unter verwendung eines monoskopischen bildgebers in einem fahrzeug
DE102020003662A1 (de) 2020-06-19 2020-08-06 Daimler Ag Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10260555A1 (de) * 2002-12-21 2004-07-01 Eads Radio Communication Systems Gmbh & Co.Kg System zur Hinderniswarnung für spurgeführte Fahrzeuge
JP4848644B2 (ja) * 2005-02-25 2011-12-28 トヨタ自動車株式会社 障害物認識システム
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
ATE533350T1 (de) * 2009-09-07 2011-12-15 Claas Agrosystems Gmbh & Co Kg Steuerungssystem eines landwirtschaftlichen fahrzeugs mit einem güterträger, landwirtschaftliches fahrzeug und verfahren zur steuerung eines güterträgers des landwirtschaftlichen fahrzeugs
US8451139B2 (en) * 2010-02-22 2013-05-28 Cnh America Llc System and method for coordinating harvester and transport vehicle unloading operations
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
DE102010011629A1 (de) 2010-03-16 2011-01-05 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
DE102010026224A1 (de) * 2010-07-06 2012-01-12 Daimler Ag Verfahren und Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges
US8471908B2 (en) * 2010-10-18 2013-06-25 GM Global Technology Operations LLC Three-dimensional mirror display system for a vehicle and method
IT1403429B1 (it) * 2010-12-24 2013-10-17 Magneti Marelli Spa Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo
DE102011113016A1 (de) 2011-09-09 2012-03-29 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9384662B2 (en) * 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
US10803600B2 (en) * 2015-09-30 2020-10-13 Sony Corporation Information processing device, information processing method, and program
CN105451000B (zh) * 2015-12-27 2019-02-15 高田汽车电子(上海)有限公司 一种基于单目后视摄像头的车载全景环视系统及方法
CN106203272B (zh) * 2016-06-29 2018-07-20 上海小蚁科技有限公司 确定可移动对象的移动的方法和装置
CN109959919B (zh) * 2017-12-22 2021-03-26 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置
CN109764858B (zh) * 2018-12-24 2021-08-06 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4209936C2 (de) * 1992-03-27 1994-11-03 Bodenseewerk Geraetetech Gelände-Bildsimulator
DE4308776C2 (de) * 1992-03-23 1997-08-21 Fuji Heavy Ind Ltd Einrichtung zum Überwachen des Außenraums eines Fahrzeugs
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US6172601B1 (en) * 1998-11-26 2001-01-09 Matsushita Electric Industrial Co., Ltd. Three-dimensional scope system with a single camera for vehicles
EP1087257A2 (de) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Montage eines stereoskopischen Kamerasystems in einem Fahrzeug
EP1094337A2 (de) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. System zur Einparkhilfe
DE20105340U1 (de) * 2001-03-26 2001-07-26 Daimler Chrysler Ag Dimensionale Umfelderfassung
DE10045616A1 (de) * 2000-09-15 2002-03-28 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4308776C2 (de) * 1992-03-23 1997-08-21 Fuji Heavy Ind Ltd Einrichtung zum Überwachen des Außenraums eines Fahrzeugs
DE4209936C2 (de) * 1992-03-27 1994-11-03 Bodenseewerk Geraetetech Gelände-Bildsimulator
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US6172601B1 (en) * 1998-11-26 2001-01-09 Matsushita Electric Industrial Co., Ltd. Three-dimensional scope system with a single camera for vehicles
EP1087257A2 (de) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Montage eines stereoskopischen Kamerasystems in einem Fahrzeug
EP1094337A2 (de) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. System zur Einparkhilfe
DE10045616A1 (de) * 2000-09-15 2002-03-28 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
DE20105340U1 (de) * 2001-03-26 2001-07-26 Daimler Chrysler Ag Dimensionale Umfelderfassung

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006010275A1 (de) * 2005-03-03 2006-12-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zum Vermeiden einer Kollision bei einem Spurwechsel eines Fahrzeugs
DE102005015463B4 (de) * 2005-04-04 2007-02-15 Magna Donnelly Gmbh & Co. Kg Fahrzeug mit Distanzkontrollsystem
DE102005015463A1 (de) * 2005-04-04 2006-11-09 Magna Donnelly Gmbh & Co. Kg Fahrzeug mit Distanzkontrollsystem
US8077024B2 (en) 2005-04-04 2011-12-13 Magna Donnelly Engineering Gmbh Vehicle comprising a distance control system
DE102005022882A1 (de) * 2005-05-18 2006-11-23 Volkswagen Ag Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
EP1927962A1 (de) * 2005-06-27 2008-06-04 Aisin Seiki Kabushiki Kaisha Hinderniserkennungseinrichtung
EP1927962A4 (de) * 2005-06-27 2011-08-10 Aisin Seiki Hinderniserkennungseinrichtung
DE102006011590A1 (de) * 2006-03-10 2007-09-13 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren einer Parklücke
DE102006011590B4 (de) 2006-03-10 2019-02-28 Adc Automotive Distance Control Systems Gmbh Vorrichtung zum Vermessen einer Parklücke
FR2921324A1 (fr) * 2007-09-25 2009-03-27 Renault Sas Procede et dispositif d'assistance au parcage d'un vehicule automobile
EP2043044A1 (de) * 2007-09-25 2009-04-01 Renault S.A.S. Verfahren und Vorrichtung zur Einparkhilfe eines Kraftfahrzeugs
DE102009009815B4 (de) * 2008-03-28 2015-01-15 Volkswagen Ag Verfahren und Vorrichtung zur Erkennung von Parklücken
WO2011137973A2 (de) 2010-05-03 2011-11-10 Daimler Ag Verfahren zur erfassung einer umgebung eines fahrzeugs
DE102010019146A1 (de) 2010-05-03 2011-11-03 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102011083745A1 (de) * 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen
DE102011083745B4 (de) 2011-09-29 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
DE102014118203B4 (de) * 2013-12-10 2017-12-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Distanzermittlungssystem unter verwendung eines monoskopischen bildgebers in einem fahrzeug
DE102015205244B3 (de) * 2015-03-24 2015-12-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge
US10460603B2 (en) 2015-03-24 2019-10-29 Bayerische Motoren Werke Aktiengesellschaft Method for providing obstacle maps for vehicles
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10789731B2 (en) 2016-03-15 2020-09-29 Connaught Electronics Ltd. Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle
DE102020003662A1 (de) 2020-06-19 2020-08-06 Daimler Ag Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug

Also Published As

Publication number Publication date
JP4327726B2 (ja) 2009-09-09
WO2004029877A3 (de) 2004-06-10
US7365831B2 (en) 2008-04-29
US20070165908A1 (en) 2007-07-19
EP1543475A2 (de) 2005-06-22
WO2004029877A2 (de) 2004-04-08
JP2006501542A (ja) 2006-01-12

Similar Documents

Publication Publication Date Title
DE10244148A1 (de) Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE10114932B4 (de) Dreidimensionale Umfelderfassung
DE102009009815B4 (de) Verfahren und Vorrichtung zur Erkennung von Parklücken
EP2757346B1 (de) Verfahren zum Messen eines Höhenprofils eines auf einer Straße passierenden Fahrzeugs
EP0541567B1 (de) Verfahren zur analyse zeitlicher folgen digitaler bilder
DE19636028C1 (de) Verfahren zur Stereobild-Objektdetektion
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
EP2249580B1 (de) Verfahren zur kalibrierung des bildes einer kamera
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102013104443A1 (de) Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul
WO2002006851A1 (de) Verfahren zur sichtweitenbestimmung
DE102010018994A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, Fahrerassistenzsystem und Fahrzeug
WO2014005804A1 (de) Verfahren und anordnung zum prüfen eines fahrzeugunterbodens eines kraftfahrzeuges
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE10141055B4 (de) Verfahren zur Bestimmung von Bewegungsinformationen
DE10312249A1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
EP2801076B1 (de) Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
EP1724726B1 (de) Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102011017707A1 (de) Verfahren und Vorrichtung zur Erkennung von einem Objekt in einer Umgebung einer Kamera
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
WO2013107561A1 (de) Gewinnung von tiefeninformationen mit einer in einem fahrzeug verbauten monokamera

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R120 Application withdrawn or ip right abandoned