DE102011118171A1 - Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten - Google Patents

Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten Download PDF

Info

Publication number
DE102011118171A1
DE102011118171A1 DE102011118171A DE102011118171A DE102011118171A1 DE 102011118171 A1 DE102011118171 A1 DE 102011118171A1 DE 102011118171 A DE102011118171 A DE 102011118171A DE 102011118171 A DE102011118171 A DE 102011118171A DE 102011118171 A1 DE102011118171 A1 DE 102011118171A1
Authority
DE
Germany
Prior art keywords
points
current
motor vehicle
image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102011118171A
Other languages
English (en)
Inventor
Andreas Haja
Hellward Broszio
Nikolaus Meine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102011118171A priority Critical patent/DE102011118171A1/de
Publication of DE102011118171A1 publication Critical patent/DE102011118171A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

Ein Verfahren und eine Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs aus Bildsequenzen einer Bilderfassungseinrichtung des Kraftfahrzeugs weist die folgenden Schritte auf:
– Bestimmung von aktuellen 3D-Punkten des Umfeldes des Kraftfahrzeugs aus dem aktuellen Bild der Bildsequenz der Bilderfassungseinrichtung,
– Durchführen einer ersten Selektion der aktuellen 3D-Punkte hinsichtlich der horizontalen Komponente zum Erhalt einer vorselektierten Menge aktueller 3D-Punkte,
– Durchführen einer zweiten Selektion innerhalb der vorselektierten Menge hinsichtlich der vertikalen Komponente zum Erhalt einer selektierten Menge aktueller 3D-Punkte, und
– Schätzung der aktuellen Fahrbahnebene zumindest anhand der selektierten Menge aktueller 3D-Punkte.
Weiter erfolgt eine Klassifikation der 3D-Punkte in Punkte der Fahrbahn und in Punkte von Hindernissen.

Description

  • Die Erfindung betrifft ein Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene gemäß dem Oberbegriff des Anspruchs 1, ein Verfahren zur Klassifikation gemessener 3D-Punkte gemäß dem Oberbegriff des Anspruchs 8, eine Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene gemäß dem Oberbegriff des Anspruchs 9, sowie eine Vorrichtung zur Klassifikation von 3D-Punkten der Umgebung eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 10.
  • Verfahren und Vorrichtungen zur Vermessung des Umfeldes eines Kraftfahrzeugs sind bekannt, da die Kenntnis des Kraftfahrzeugsumfeldes eine notwendige Voraussetzung für den Einsatz einer Vielzahl von Fahrerassistenzsystemen ist. So sind beispielsweise Radarsysteme im Einsatz, um in ACC-Assistenzsystemen (ACC: Automatic Cruise Control) das in Fahrtrichtung vordere Umfeld des Kraftfahrzeugs zu vermessen, so dass basierend auf den Messergebnissen eine Abstands- und Geschwindigkeitsregelung erfolgen kann. Ferner werden Kamerasysteme, Lasersysteme, Radar und Ultraschallsensoren zur Detektion und Vermessung von Parklücken bei Parkassistenten eingesetzt. Spurhalteassistenten detektieren unter anderem Fahrspurbegrenzungen sowie Fahrbahnmarkierungen und halten das Fahrzeug in der eigenen Fahrspur.
  • Weiterhin existieren Kollisionswarnsysteme, bei dem vorausfahrende Fahrzeuge oder andere Hindernisse im Vorfeld des Fahrzeugs mit Hilfe eines Sensorsystems, beispielsweise mittels eines Radarsensors und/oder eines monokularen oder binokularen Videosystems, geortet werden. Durch Auswertung entsprechender gemessener Daten und davon abgeleiteter Größen, wie beispielsweise der gemessenen Abstände und der Relativgeschwindigkeiten zwischen vorausfahrendem Fahrzeug und Eigenfahrzeug etc., werden Situationen erkannt, in denen es ohne Eingriff des Fahrers zu einer Kollision kommen würde.
  • Bei beispielsweise kamerabasierten Verfahren zur Erkennung von Hindernissen vor dem Fahrzeug, die eine Rekonstruktion der Fahrzeugumgebung in 3D durchführen, muss zur Erkennung der Hindernisse eine Trennung zwischen dem Fahrbahnuntergrund und den möglichen Hindernissen durchgeführt werden. Dabei kann die 3D-Rekonstuktion der Umgebung des Fahrzeugs auf 3D-Messdaten beruhen, die durch ein Structure-from-Motion-Verfahren aus Bildern einer monokularen Kamera abgeleitet werden.
  • Ein derartiges Structure-from-Motion Verfahren ist beispielsweise in dem Artikel E. Wahl et. al.: "Realisierung eines Parkassistenten basierend auf Motion-Stereo", 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871–880, beschrieben, bei welchem die Parklückenvermessung durch ein videobasiertes Verfahren, das sich auf Motion-Stereo stützt, vermessen wird.
  • Aus der DE 10 2008 062 708 A1 ist weiterhin eine Verfahren zur Bestimmung der Fahrbahnebene in der Umgebung eines Kraftfahrzeugs mittels einer kamerabasierten Erfassung von Umfelddaten bekannt, bei dem bodennahe Punkte in der Umgebung des Fahrzeugs bestimmt werden, aus den bodennahen Punkten eine virtuelle Ebene bestimmt wird und die so ermittelte virtuelle Ebene mit einer aus der Fahrzeugebene abgeleiteten angenommenen Fahrbahnebene verglichen wird. Weicht die virtuelle Ebene von der angenommenen Fahrbahnebene um einen vorgegebenen Winkel ab, so wird die virtuelle Fahrbahnebene als tatsächliche Fahrbahnebene gewertet.
  • Die bekannten Verfahren setzen zur Bestimmung der Fahrbahn sowie zur Trennung von Fahrbahn und Hindernissen eine unveränderliche Sensorverbaulage des Umfeldsensors sowie eine statische Fahrbahnebene voraus. Jedoch ist schon bei unterschiedlichen Beladungszuständen, Nickbewegungen des Fahrzeugs oder Unebenheiten der Fahrbahn eine eindeutige Trennung zwischen Hindernissen und Fahrbahnebene allein anhand der vertikalen Komponente der gemessenen 3D-Punkte nicht fehlerfrei möglich.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene aus 3D-Punkten der Fahrzeugumgebung eines Kraftfahrzeugs sowie ein Verfahren zur Klassifikation der gemessenen 3D-Punkte zu schaffen.
  • Diese Aufgabe wird durch ein Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene mit den Merkmalen des Anspruchs 1, durch ein Verfahren zur Klassifikation gemessener 3D-Punkte mit den Merkmalen des Anspruchs 8, durch eine Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene mit den Merkmalen des Anspruchs 9, sowie eine Vorrichtung zur Klassifikation von 3D-Punkten der Umgebung eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
  • Das erfindungsgemäße Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs aus Bildern einer Bildsequenz einer Bilderfassungseinrichtung des Kraftfahrzeugs weist die folgenden Schritte auf:
    • – Bestimmung von aktuellen 3D-Punkten des Umfeldes des Kraftfahrzeugs aus dem aktuellen Bild der Bildsequenz der Bilderfassungseinrichtung,
    • – Durchführen einer ersten Selektion der aktuellen 3D-Punkte hinsichtlich der horizontalen Komponente zum Erhalt einer vorselektierten Menge aktueller 3D-Punkte,
    • – Durchführen einer zweiten Selektion innerhalb der vorselektierten Menge hinsichtlich der vertikalen Komponente zum Erhalt einer selektierten Menge aktueller 3D-Punkte, und
    • – Schätzung der aktuellen Fahrbahnebene zumindest anhand der selektierten Menge aktueller 3D-Punkte.
  • Durch die Schätzung einer Fahrbahnebene für jedes Bild einer Bildsequenz kann vorteilhafterweise eine kontinuierliche Ermittlung der beispielsweise vor dem Fahrzeug sich erstreckenden Fahrbahnebene durchgeführt werden und Änderungen der Umgebungsbedingungen, wie Unebenheiten oder Steigungen, werden automatisch erfasst und gehen in die Schätzung der Fahrbahnebene ein. Als Bilderfassungseinrichtung kommen nicht nur kamerabasierte Bilderfassungseinrichtungen in Frage, sondern es können auch andere 3D-Sensoren, wie beispielsweise Laserscanner, eingesetzt werden.
  • Vorzugsweise werden die aktuellen 3D-Punkte, deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebener Mindestabstand ist, als 3D-Punkte der Fahrbahnebene klassifiziert. Aus der Menge der aktuellen 3D-Punkte, deren Anzahl beispielsweise ca. 1000 bis 1500 3D-Punkte pro Bild betragen kann, wird durch die Vorgabe des Mindestabstandes eine Teilmenge der zur Fahrbahn gehörenden 3D-Punkte definiert.
  • Zur Stabilisierung der Schätzung der Fahrbahnebene aus den aktuellen 3D-Punkten können vorzugsweise zusätzlich die als Fahrbahnpunkte klassifizierten 3D-Punkte zumindest des vorherigen Bildes zur aktuellen Schätzung der Fahrbahnebene verwendet werden.
  • Vorzugsweise werden die aktuellen 3D-Punkte des Umfeldes des Kraftfahrzeugs mittels eines Structure-from-Motion-Verfahrens erzeugt. Auf diese Weise kann zur Erzeugung der Bildsequenzen eine monokulare Kamera verwendet werden, was zur Kostenersparung beiträgt.
  • Vorzugsweise wird zur Durchführung der ersten Selektion die horizontale Komponente der aktuellen 3D-Punkte auf einen rechteckigen Bereich vor der Bilderfassungseinrichtung begrenzt. Dabei werden unter der horizontalen Komponente die x- und y-Koordinaten verstanden, wenn beispielsweise ein x-y-z-Koordinatensystem verwendet wird, wobei die z-Koordinate die vertikale Komponente ist, während die x- und y-Koordinate die horizontale Ebene bilden. Durch die erste Selektion werden also beispielsweise 3D-Punkte ausgewählt und der vorselektierten Menge zugeordnet, die innerhalb eines Rechtecks vor der Bilderfassungseinrichtung in Fahrtrichtung des Fahrzeuges liegen.
  • Weiter bevorzugt wird zur Durchführung der zweiten Selektion die vertikale Komponente, d. h. die vertikale Koordinate, der 3D-Punkte der vorselektierten Menge auf einen Bereich innerhalb einer vorgegebenen oberen und einer vorgegebenen unteren Grenze beschränkt, wodurch sich die selektierte Menge ergibt. Eine derartige Selektion kann über die Verwendung eines Medians erfolgen.
  • Vorzugsweise wird die Schätzung der Fahrbahnebene nach der Methode der kleinsten Quadrate durchgeführt, wobei die Schätzung der Fahrbahnebene nicht darauf beschränkt ist. Andere Ebenenschätzungsverfahren können verwendet werden.
  • Das erfindungsgemäße Verfahren führt daher eine kontinuierliche Schätzung der Fahrbahnebene auf Basis der 3D-Messpunkte durch. Zur Stabilisierung der Schätzung können zusätzlich 3D-Messpunkte aus einem Gedächtnisspeicher herangezogen werden, die sich zum Zeitpunkt der jeweils aktuellen Messung auf der Fahrbahn unterhalb des Fahrzeugs befinden.
  • Bei dem erfindungsgemäßen Verfahren zur Klassifikation von 3D-Punkten einer Umgebung eines sich bewegenden Kraftfahrzeugs in 3D-Punkte der Fahrbahn auf der sich das Kraftfahrzeug bewegt und in 3D-Punkte von Hindernissen im Fahrweg des Kraftfahrzeugs unter Verwendung des im Vorangegangenen geschilderten Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene, werden aktuelle 3D-Punkte als Hindernisse klassifiziert, wenn deren Abstand zur geschätzten Fahrbahnebene größer oder gleich einem vorgegebenen Mindestabstand ist, und werden aktuelle 3D-Punkte als zur Fahrbahn gehörend klassifiziert, wenn deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebene Mindestabstand ist. Als Schwellwert kann ein Mindestabstand im Bereich von 300 mm bis 400 mm, insbesondere 350 mm verwendet werden.
  • Mittels dieses Verfahrens ist es möglich, die Klassifikation von 3D-Messpunkten in Hindernisse oder Fahrbahn auch bei unterschiedlichen Beladungszuständen, Nickbewegungen des Fahrzeugs oder Unebenheiten der Fahrbahn durchzuführen. Hierdurch kann die Qualität von Fahrerassistenzsystemen zur Hinderniserkennung im Nahbereich deutlich gesteigert werden.
  • Die erfindungsgemäße Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene zur Durchführung des im Vorangegangenen erläuterten Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs umfasst:
    • – eine im Kraftfahrzeug angeordnete Bilderfassungseinrichtung zur Generierung von einer. Bildsequenz der Kraftfahrzeugumgebung,
    • – eine Einrichtung zur Bestimmung von aktuellen 3D-Punkten der Kraftfahrzeugumgebung aus dem aktuellen Bild der Bildsequenz,
    • – eine Einrichtung zur Durchführung einer zweistufigen Selektion der aktuellen 3D-Punkte anhand der vertikalen und der horizontalen Koordinate zur Bestimmung einer selektierten Menge aktueller 3D-Punkte, und
    • – eine Schätzeinrichtung zur Schätzung der Fahrbahnebene.
  • Wie bereits erwähnt, werden unter Bilderfassungseinrichtungen alle Umfeldsenoren verstanden, die eine Darstellung der Fahrtzeugumgebung in 3D-Punkten ermöglichen.
  • Die erfindungsgemäße Vorrichtung zur Klassifikation von 3D-Punkten umfasst neben den Komponenten der Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene eine Klassifikationseinrichtung zur Klassifikation der aktuellen 3D-Punkte in solche 3D-Punkte, die zur geschätzten Fahrbahn gehören, und solche 3D-Punkte, die zu Hindernissen gehören. Ferner umfasst die Vorrichtung einen Gedächtnisspeicher zur Speicherung der zur Fahrbahn gehörenden aktuellen 3D-Punkte.
  • Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
  • 1 den zur Fahrbahnebenenbestimmung herangezogenen Bereich vor einem Fahrzeug, und
  • 2 ein Ablaufschema der Klassifikation der 3D-Punkte in Punkte der Fahrbahn und Hindernisse.
  • 1 zeigt ein Fahrzeug 1, welches in Fahrtrichtung eine monokulare Kamera 2 aufweist, die Umfelddaten des vorderen Umfelds des Fahrzeugs 1 liefert. Aus den Bildern der Bildsequenz der Kamera 2 werden 3D-Punkte des Umfeldes beispielsweise mittels eines Structure-from-Motion-Verfahren bestimmt. Pro Bild ergibt sich eine 3D-Punktwolke von ca. 1.000 bis 1.500 3D-Punkten. Anstelle einer monokularen Kamera kann natürlich auch ein Stereokamerasystem verwendet werden, was aber mit höheren Kosten verbunden ist. Zur Bestimmung der Fahrbahnebene bzw. zur Klassifikation von 3D-Punkten wird der vor dem Fahrzeug bzw. vor der Kamera 2 angeordnete rechteckige Bereich 3 betrachtet. Der Pfeil 4 zeigt die Fahrtrichtung des Fahrzeugs 1 an. Dabei hat der rechteckige Bereich eine Größe von ca. 10 m Länge in Fahrtrichtung und ca. 4 m Breite.
  • Die Eingangsgröße des in 2 dargestellten Verfahrens zur Klassifikation von 3D-Punkten in Punkte der Fahrbahn und solche von Hindernissen ist das aktuelle Bild 10 einer Bildsequenz der in 1 dargestellten kalibrierten monokularen Kamera 2, wobei die Einbaulage der Kamera im Fahrzeug bekannt ist. Für die Schätzung von 3D-Punkten im Schritt 11 wird ein Structure-from-Motion-Verfahren (SfM) verwendet. Es schätzt fortlaufend die Raumposition von 3D-Punkten der Szene relativ zur Kamera und gibt die Umfelddaten als 3D-Punkte 12 aus. In einer zweistufigen Vorselektion mit den Schritten 13 und 14 werden zunächst solche 3D-Punkte ausgewählt, die zur Fahrbahn gehören könnten.
  • Dabei erfolgt in einem ersten Vorselektionsschritt 13 eine Selektion der 3D-Punkte 12 entsprechend ihrer horizontalen Koordinate. Es werden also nur 3D-Punkte betrachtet, deren horizontale Koordinate innerhalb des in 1 dargestellten rechteckigen Bereichs 3 vor der Kamera 2 liegen. Dabei kann der rechteckige Bereich eine Länge von 10 m und eine Breite von 4 m haben.
  • Die in Schritt 13 vorselektierten 3D-Punkte werden in dem nachfolgenden Schritt 14 anhand ihrer vertikalen Koordinate weiter selektiert. Dazu wird eine untere und obere Grenze vorgegeben und nur 3D-Punkte innerhalb dieser vorgegebenen Grenzen ausgewählt. Zur Durchführung dieser zweiten Selektion wird beispielsweise der Median der vertikalen Komponente der vorselektierten 3D-Punkte berechnet und die 3D-Punkte, deren vertikale Komponente den Median um 50% übersteigt oder deren vertikale Komponente den Median um 10% unterschreitet, werden zur Schätzung der Fahrbahnebene nicht verwendet, d. h. gehören nicht zur Menge der zur Ebenenschätzung herangezogenen 3D-Punkte. Anstelle des Median-Kriteriums können andere Verfahren, wie beispielsweise eine ähnliche Betrachtung anhand des arithmetischen Mittels der vertikalen Komponente, verwendet werden.
  • Diese in den Schritten 13 und 14 ausgewählten 3D-Punkte werden zur Schätzung der Fahrbahnebene EF herangezogen, wobei die Fahrbahnebene EF im Schritt 15 wird mit der Methode der kleinsten Quadrate bestimmt:
    Figure 00070001
    wobei
    Figure 00070002
    der Abstand eines 3D-Punktes
    Figure 00070003
    zur Ebene EF ist.
  • Mit dem auf der Ebene EF liegenden Mittelwertes oder Schwerpunktes
    Figure 00070004
    der 3D-Punkte
    Figure 00070005
    der wie folgt definiert ist:
    Figure 00070006
    werden die mittelwertbefreiten 3D-Punkte
    Figure 00070007
    in eine Matrix P zusammengefasst, die wie folgt definiert ist:
    Figure 00070008
  • Mit den Gleichungen 2 und 3 sowie dem Normalenvektor
    Figure 00070009
    der Ebene EF kann die Gleichung 1 wie folgt dargestellt werden:
    Figure 00080001
  • Mit der Randbedingung
    Figure 00080002
    folgt ein Schätzwert für den Normalenvektor
    Figure 00080003
    der Ebene zu
    Figure 00080004
  • Somit ist
    Figure 00080005
    der normierte Eigenvektor zum kleinsten Eigenwert von
    Figure 00080006
    und die Ausgleichsebene lautet in der Hesse-Normalform:
    Figure 00080007
  • Nach dem Schritt 15 liegt daher eine Schätzung der Fahrbahnebene EF vor.
  • Anschließend kann in Schritt 16 eine Klassifikation aller 3D-Punkte 12 mit Hilfe der Fahrbahnschätzung erfolgen. Beispielsweise können alle gemessenen 3D-Punkte, die einen Mindestabstand 17 zur geschätzten Fahrbahnebene EF unterschreiten, der Fahrbahnebene zugeordnet werden und werden als zur Fahrbahnebene gehörige 3D-Punkte 18 ausgegeben. Die übrigen 3D-Punkte werden als 3D-Punkte 19 von Hindernissen klassifiziert. Als Mindestabstand kann beispielsweise eine Schwelle zwischen 300 mmm und 400 mm, insbesondere von 350 mm, verwendet werden.
  • Die zur Fahrbahnebene gehörenden 3D-Punkte 18 können einem Gedächtnisspeicher 20 zugeführt werden. Zur Stabilisierung der Fahrbahnebenenschätzung im Schritt 15 kann diese Punktmenge 18 zusätzlich mit den aktuellen 3D-Punkten der Vorselektion zur Fahrbahnebenenschätzung im Schritt 15 verwendet werden. Dabei werden die 3D-Punkte 18 aus dem Gedächtnisspeicher 20 gelöscht, wenn sie sich hinter der Kamera 2 und nicht mehr unter dem Fahrzeug 1 befinden. Es ist auch möglich, den Bereich hinter der Kamera auf einen Bereich von ca. 2 m unter dem Fahrzeug zu begrenzen.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Kamera
    3
    rechteckiger Bereich vor dem Fahrzeug
    4
    Fahrtrichtung
    10
    Kamerabild
    11
    Schätzung von Kamerabewegung und 3D-Punkten
    12
    3D-Punkte
    13
    Vorselektion nach horizontaler Komponente
    14
    Vorselektion nach vertikaler Komponente
    15
    Ebenenschätzung
    16
    Klassifikation Fahrbahn/Hindernisse
    17
    Mindesthöhe
    18
    3D-Punkte der Fahrbahn
    19
    3D-Punkte von Hindernissen
    20
    Speicher für 3D-Punkte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102008062708 A1 [0006]
  • Zitierte Nicht-Patentliteratur
    • Artikel E. Wahl et. al.: ”Realisierung eines Parkassistenten basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871–880 [0005]

Claims (10)

  1. Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs (1) aus Bildsequenzen einer Bilderfassungseinrichtung (2) des Kraftfahrzeugs (1), wobei das Verfahren die folgenden Schritte aufweist: Bestimmung von aktuellen 3D-Punkten des Umfeldes des Kraftfahrzeugs aus dem aktuellen Bild (10) einer Bildsequenz der Bilderfassungseinrichtung (2), Durchführen einer ersten Selektion der aktuellen 3D-Punkte hinsichtlich der horizontalen Komponente zum Erhalt einer vorselektierten Menge aktueller 3D-Punkte, Durchführen einer zweiten Selektion innerhalb der ersten Selektionsmenge hinsichtlich der vertikalen Komponente zum Erhalt einer selektierten Menge aktueller 3D-Punkte, und Schätzung der aktuellen Fahrbahnebene zumindest anhand der selektierten Menge aktueller 3D-Punkte.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die aktuellen 3D-Punkte, deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebener Mindestabstand ist, als 3D-Punkte (18) der Fahrbahnebene klassifiziert werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die als Fahrbahnpunkte klassifizierten 3D-Punkte (18) zumindest des vorherigen Bildes zur aktuellen Schätzung der Fahrbahnebene verwendet werden.
  4. Verfahren nach einem der vorangegangene Ansprüche, dadurch gekennzeichnet, dass die aktuellen 3D-Punkte des Umfeldes des Kraftfahrzeugs (1) mittels eines Structure-from-Motion-Verfahrens erzeugt werden.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zur Durchführung der ersten Selektion die horizontale Komponente der aktuellen 3D-Punkte auf einen rechteckigen Bereich (3) vor der Bilderfassungseinrichtung (2) begrenzt wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Durchführung der zweiten Selektion die vertikale Komponente der 3D-Punkte der vorselektierten Menge auf einen Bereich innerhalb einer vorgegebenen oberen und einer vorgegebenen unteren Grenze beschränkt wird.
  7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Schätzung der Fahrbahnebene nach der Methode der kleinsten Quadrate durchgeführt wird.
  8. Verfahren zur Klassifikation von 3D-Punkten einer Umgebung eines sich bewegenden Kraftfahrzeugs (1) in 3D-Punkte (18) der Fahrbahn auf der sich das Kraftfahrzeug bewegt und in 3D-Punkte (19) von Hindernissen im Fahrweg des Kraftfahrzeugs unter Verwendung des Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene nach einem der vorangegangenen Ansprüche, wobei aktuelle 3D-Punkte als Hindernisse klassifiziert werden, wenn deren Abstand zur geschätzten Fahrbahnebene größer oder gleich einem vorgegebenen Mindestabstand ist, und aktuelle 3D-Punkte als zur Fahrbahn gehörend klassifiziert werden, wenn deren Abstand zur geschätzten Fahrbahnebene kleiner als der vorgegebene Mindestabstand ist.
  9. Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene unter Verwendung des Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs (1) nach einem der Ansprüche 1 bis 7, mit einer Bilderfassungseinrichtung (2) zur Erfassung einer Bildsequenz der Kraftfahrzeugumgebung einer Einrichtung zur Bestimmung von aktuellen 3D-Punkten der Kraftfahrzeugumgebung aus dem aktuellen Bild der Bildsequenz, einer Einrichtung zur Durchführung einer zweistufigen Selektion der aktuellen 3D-Punkte anhand der vertikalen und der horizontalen Koordinate zur Bestimmung einer selektierten Menge aktueller 3D-Punkte, und einer Schätzeinrichtung zur Schätzung der Fahrbahnebene.
  10. Vorrichtung zur Klassifikation von 3D-Punkten unter Verwendung der Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung eine Klassifikationseinrichtung zur Klassifikation der aktuellen 3D-Punkte in 3D-Punkte (18), die zur geschätzten Fahrbahn gehören, und 3D-Punkte (19), die zu Hindernissen gehören, sowie eine Gedächtnisspeicher zur Speicherung der zur Fahrbahn gehörenden aktuellen 3D-Punkte aufweist.
DE102011118171A 2011-11-10 2011-11-10 Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten Ceased DE102011118171A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011118171A DE102011118171A1 (de) 2011-11-10 2011-11-10 Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011118171A DE102011118171A1 (de) 2011-11-10 2011-11-10 Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten

Publications (1)

Publication Number Publication Date
DE102011118171A1 true DE102011118171A1 (de) 2013-05-16

Family

ID=48145015

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011118171A Ceased DE102011118171A1 (de) 2011-11-10 2011-11-10 Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten

Country Status (1)

Country Link
DE (1) DE102011118171A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015115352A1 (de) 2015-09-11 2017-03-16 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Ebene einer Fahrbahn, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016109850A1 (de) 2016-05-30 2017-11-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen einer Neigung in einer Fahrbahn eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016110461A1 (de) 2016-06-07 2017-12-07 Connaught Electronics Ltd. Verfahren zum Erkennen einer Neigung in einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2018050224A1 (en) 2016-09-15 2018-03-22 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system as well as motor vehicle
EP3675041A1 (de) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Verfahren und vorrichtung zur bestimmung von strasseninformationen und fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062708A1 (de) 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Bestimmung der Fahrbahnebene einer Parklücke

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062708A1 (de) 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zur Bestimmung der Fahrbahnebene einer Parklücke

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Artikel E. Wahl et. al.: "Realisierung eines Parkassistenten basierend auf Motion-Stereo", 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871-880

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015115352A1 (de) 2015-09-11 2017-03-16 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Ebene einer Fahrbahn, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016109850A1 (de) 2016-05-30 2017-11-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen einer Neigung in einer Fahrbahn eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016109850B4 (de) 2016-05-30 2024-01-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen einer Neigung in einer Fahrbahn eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016110461A1 (de) 2016-06-07 2017-12-07 Connaught Electronics Ltd. Verfahren zum Erkennen einer Neigung in einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2018050224A1 (en) 2016-09-15 2018-03-22 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system as well as motor vehicle
EP3675041A1 (de) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Verfahren und vorrichtung zur bestimmung von strasseninformationen und fahrzeug
US11106921B2 (en) 2018-12-29 2021-08-31 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining road information, and vehicle

Similar Documents

Publication Publication Date Title
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102008001363B4 (de) Verfahren zum Erfassen einer Parkfläche unter Verwendung eines Entfernungssensors
DE102016122190A1 (de) Verfahren und Systeme zur Stixel-Schätzung
EP3038011B1 (de) Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
DE102011078615B4 (de) Objekterfassungsvorrichtung und objekterfassungsprogramm
WO2015173092A1 (de) Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs
DE112014003818T5 (de) Objektschätzvorrichtung und Objektschätzverfahren
DE102013205854B4 (de) Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz
DE102016202594A1 (de) Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
DE102016104730A1 (de) Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102011118171A1 (de) Verfahren und Vorrichtung zur Schätzung einer Fahrbahnebene und zur Klassifikation von 3D-Punkten
DE102018203590A1 (de) Surroundview-System mit angepasster Projektionsfläche
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102018123861A1 (de) Zielobjektschätzvorrichtung
EP3655299B1 (de) Verfahren und vorrichtung zum ermitteln eines optischen flusses anhand einer von einer kamera eines fahrzeugs aufgenommenen bildsequenz
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102009028742A1 (de) Verfahren und Steuergerät zur Bestimmung einer Bewegungsinformation eines Objekts
DE112020000325T5 (de) Schätzung von Anhängereigenschaften mit Fahrzeugsensoren
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102022003366A1 (de) Verfahren und Vorrichtung zum Bestimmen der Entfernung von einem Fahrzeug zu einem Fahrzeug zu einem Objekt mittels einer Monokularkamera
DE102007033735A1 (de) Verfahren und Vorrichtung zur Detektion von nachfolgenden Fahrzeugen in einem Kraftfahrzeug
DE102017217140A1 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R163 Identified publications notified

Effective date: 20141204

R012 Request for examination validly filed

Effective date: 20141217

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final