EP2795537A1 - Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera - Google Patents

Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera

Info

Publication number
EP2795537A1
EP2795537A1 EP12822964.8A EP12822964A EP2795537A1 EP 2795537 A1 EP2795537 A1 EP 2795537A1 EP 12822964 A EP12822964 A EP 12822964A EP 2795537 A1 EP2795537 A1 EP 2795537A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
camera
determined
height profile
jump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12822964.8A
Other languages
English (en)
French (fr)
Inventor
Stefan Hegemann
Stefan Heinrich
Stefan LÜKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Continental Teves AG and Co OHG filed Critical Conti Temic Microelectronic GmbH
Publication of EP2795537A1 publication Critical patent/EP2795537A1/de
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern

Definitions

  • the 3D camera is preferably a stereo camera or a photonic mixer camera or PMD sensor.
  • the invention further comprises a device for determining a height profile of a vehicle environment.
  • a 3D camera and evaluation means for determining at least one jump in the course of the altitude of the surrounding surface transversely to the direction of travel of the vehicle are provided for this purpose.
  • a jump (7, 8) is detected in the height profile, the point / area can be supplied ⁇ arranged in a 2D image of a single image pickup unit of the stereo camera in the height map to a pixel / area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird ermittelt, ob mindestens ein Sprung (7, 8) im Höhenverlauf (6) der Umgebungsoberfläche quer (2) zur Fahrtrichtung (1) des Fahrzeugs existiert.

Description

Bestimmung eines Höhenprofils einer Fahrzeugumgebung mit- tels einer 3D-Kamera
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer (räumlich auflösenden) 3D-Kamera.
Die DE 102009033219 AI zeigt ein Verfahren und eine Vor¬ richtung zur Ermittlung eines einem Fahrzeug vorausliegen- den Straßenprofils einer Fahrspur. Mittels einer Bilderfas¬ sungsvorrichtung bzw. aus Fahrzeugeigenbewegungsdaten wird ein Straßenhöhenprofil der dem Fahrzeug vorausliegenden Fahrspur ermittelt. Die Bilderfassungsvorrichtung kann hierbei eine Kamera sein, die im Frontbereich des Fahrzeugs fest angeordnet ist und zwei Bildaufnahmeeinheiten umfasst. In Abhängigkeit des ermittelten Straßenhöhenprofils kann eine aktive Fahrwerksregelung oder Verstelldämpfung geregelt werden. Es zeigt sich, dass das Verfahren und die Vorrichtung nach dem Stand der Technik Nachteile mit sich bringen, da die bekannte Berücksichtigung von Straßenhöhenprofilen der vo¬ rausliegenden Fahrspur nicht allen Fahrsituationen hinreichend Rücksicht trägt.
Es ist Aufgabe der vorliegenden Erfindung diese Nachteile zu überwinden und eine zuverlässigere Einschätzung für wei¬ tere Fahrsituationen zu erzielen. Die Aufgabe wird gelöst, indem mit einer 3D-Kamera mindes¬ tens ein Bild von der Umgebung des Fahrzeugs aufgenommen wird. Aus den Bilddaten der 3D-Kamera wird ermittelt, ob mindestens ein Sprung im Höhenverlauf der Umgebungsoberflä- che quer zur Fahrtrichtung des Fahrzeugs existiert.
Aufgrund der Ermittlung von Sprüngen im Höhenverlauf quer zur Fahrtrichtung des Fahrzeugs kann ein vollständiges Mo¬ dell von Fahrbahn und Fahrzeugumgebung ermittelt werden, wodurch fast alle Fahrsituationen zuverlässig eingeschätzt werden können. Insbesondere kann der befahrbare Bereich ermittelt werden bei Straßen bzw. Fahrbahnen, die durch erhabene Fahrbahnbegrenzungen begrenzt sind oder die von abschüssigem Gelände umgeben sind. Zur Ermittlung des Höhen- Verlaufs können insbesondere Daten der tiefenaufgelösten Bilddaten der 3D-Kamera (Disparitätsbild) in ein fahrzeug¬ festes Gitter überführt werden. Durch diese Transformation entsteht eine dreidimensionale Punktwolke. Basierend auf der 3D-Punktwolke kann eine Höhenkarte (Height Map) gene- riert werden. Dazu kann ein definierter Bereich vor dem Fahrzeug in eine vorgegebene Anzahl an Zellen unterteilt werden, wobei jeder Zelle ein Höhenwert zugeordnet wird. Dieser Höhenwert ist der höchste Wert der Punktwolke in der zugehörigen Zelle, welcher bevorzugt kleiner als 1,5 Meter ist. Diese Beschränkung nach oben dient insbesondere dazu, sehr hohe Objekte wie beispielsweise Brücken aus den Daten zu verwerfen.
In einer vorteilhaften Ausführungsform wird der Höhenver- lauf entlang einer Mehrzahl von Linien quer zur Fahrtrich- tung ermittelt. Diese Linien werden auch als Scanlines be¬ zeichnet. Entlang dieser Linien wird der Höhenverlauf „ge¬ scannt". Der Höhenverlauf wird insbesondere entlang mehre¬ ren Linien quer zur Fahrtrichtung aus den Bilddaten der 3D- Kamera bzw. aus einer daraus erstellten Höhenkarte ermit¬ telt .
Vorteilhaft kann der Ermittlungsbereich, in dem der Höhenverlauf entlang der Mehrzahl von Linien quer zur Fahrtrichtung ermittelt wird, eingeschränkt werden in Abhängigkeit von bereits ermittelten Sprüngen im Höhenverlauf. Wird ein Höhensprung in einer Scanline detektiert, so kann ausgehend von diesem Höhensprung der flächige Suchansatz reduziert werden auf einen Ansatz, der in der Entfernung diese Information verwendet und auf einem verkleinerten Suchfeld arbeitet. Z.B. können Linienabschnitte zum Scannen verwendet werden, deren Mittelpunkt an der lateralen Position eines ermittelten Höhensprungs ist (z.B. von der benachbarten Scanline) und deren Breite z.B. einen Meter oder 50 cm beträgt. Somit können erhebliche Rechen-Ressourcen gespart werden .
Bevorzugt können ermittelte Sprünge im Höhenprofil der Fahrzeugumgebung (3D-Kanten-Informationen aus dem 3D- bzw. Tiefenbild) durch Kombination mit separat ermittelten Farb- und/oder Grauwertbildkanten präzisiert wird. Für die Auswertung der 3D-Bilddaten stehen prinzipiell drei Datenströme der 3D-Kamera zur Verfügung: das Bild, der optische Fluss und die Disparitätskarte (bzw. Disparitätsbild). Für diese bevorzugte Ausführungsform bilden die Disparitätskar- te und das 2D-Kamerabild die Basis. Ein 2D-Kamerabild kann bei einer Stereokamera sowohl das linke als auch das rechte Kameramodul liefern. Im Kamerabild können Kanten detektiert werden, die als möglicher Straßenrand in Frage kommen. Die- se Information ist alleine jedoch nicht immer zuverlässig da die Kanten auch von Objekten stammen können, die nicht zur Gruppe der erhöhten oder abgesenkten Straßenränder wie z.B. Randsteine gehören (Teerfugen, Schatten, usw.). Sprünge im Höhenverlauf der Fahrzeugumgebung bewirken aber in aller Regel gleichzeitig Kanten im Farb-/Grauwertbild, das z.B. eine von zwei Bildaufnahmeeinheiten einer Stereokamera detektiert. Mittels eines Algorithmus zur Kantener¬ kennung aus den 2D-Bilddaten können diese Kanten als Farb- /Helligkeitsübergänge bestimmt werden, beispielsweise mit- tels eine Canny- oder Sobel-Operators . Diese Kanten, die anhand einer Intensitäts- bzw. Farbauswertung von Bildpunk¬ ten erkannt wurden, können z.B. mit typischen Eigenschaften von Randsteinstrukturen verglichen werden, um einen Fahrbahnrand mit verändertem Höhenniveau zu identifizieren, und bei der Bestimmung des Höhenprofils der Fahrzeugumgebung aus den 3D-Bilddaten berücksichtigt werden. Sie dienen beispielsweise der Präzisierung oder Plausibilisierung von Lage oder Klassifikation von Höhensprüngen. Insbesondere bei Stereokameras ist ja bekannt, welchem 3D-Bildpunkt bzw. welcher Disparitätskartenposition bzw. welchem Punkt in einer Höhenkarte ein 2D-Bildpunkt einer einzelnen Bildaufnahmeeinheit entspricht, der einer Kante zugeordnet wurde.
Für eine Zusammenführung der Daten aus beiden Methoden (Höhensprungerkennung aus 3D und Kantenerkennung aus 2D) gibt es grundsätzlich drei verschiedene Wege: a) beide Erkennungsverfahren arbeiten unabhängig voneinander und die Ergebnisse werden fusioniert,
b) die Höhensprungerkennung mittels Stereodaten erkennt, ob ein Randstein o.a. vorliegt, und es wird überprüft, ob eine passende Kante im Bild vorhanden ist, oder
c) es wird nach Kanten im 2D-Bild gesucht und an den Stellen, wo geeignete Kanten vorliegen, wird überprüft, ob in den tiefenaufgelösten Daten ein Höhensprung vorliegt. Das Vorgehen nach Methode b) bietet den Vorteil, dass nur nach tatsächlich erhöhte/abgesenkte Fahrbahnbegrenzungen als Kandidaten in Frage kommen.
Vorteilhaft umfasst die Kantenerkennung im 2D-Bild eine Vorverarbeitung (Datensynchronisation, Graubildwandlung und Rauschunterdrückung) und eine Durchführung einer Kontursu- che, bei der Kanten mittels eines Canny-Kantenoperators er¬ mittelt und dann in größere Entfernung nach vorne weiterverfolgt werden. Als Startpunkt dient das Ergebnis der be¬ reits aus den 3D-Bilddaten ermittelten Höhensprünge. Abschließend kann noch ein Konturmatching durchgeführt wer- den.
Gemäß einer vorteilhaften Weiterbildung der Erfindung kann mindestens ein Fahrbahnrand unter Berücksichtigung des mindestens einen ermittelten Sprungs im Höhenverlauf bestimmt werden.
Bevorzugt wird eine erhabene Fahrbahnbegrenzung wie insbe¬ sondere ein Bordstein bzw. Randstein aus einer vorgegebenen Mindesthöhe eines Sprungs im Höhenverlauf der Umgebungs- Oberfläche quer zur Fahrtrichtung des Fahrzeugs erkannt. Hierzu kann vorteilhaft aus Fahrzeug- und/oder Umgebungsda¬ ten ermittelt wird, ob eine Kollision des Fahrzeugs mit ei¬ ner erhabenen Fahrbahnbegrenzung droht. Fahrzeugdaten sind hierbei Daten der Fahrzeugsensorik wie z.B. Drehzahlsensor, Inertialsensoren, Lenkwinkelsensor etc., die insbesondere eine Abschätzung oder Bestimmung der Trajektorie des eigenen Fahrzeugs ermöglichen. Umgebungsdaten sind hier Daten aus der Fahrzeugumgebung, die von Umgebungssensoren bzw. Kommunikationseinrichtungen etc. detektiert bzw. empfangen werden können. Auch die 3D-Kamera liefert Umgebungsdaten. Durch eine Analyse von Trajektorie mit Umgebungsdaten kann also ermittelt werden, ob eine Kollision des Fahrzeugs mit z.B. einem Bordstein droht. Aus der Höhe des Bordsteins (aus Sprung des Höhenverlaufs) kann zudem bestimmt werden, ob ein Überfahren möglich oder kritisch also nichtempfehlenswert ist. Falls eine Kollision droht (und ggfs. nicht¬ empfehlenswert ist) , kann eine Warnung an den Fahrer ausge¬ geben werden oder ein Eingriff in die Fahrzeugsteuerung er- folgen, durch den die Kollision verhindert wird. Der Eingriff kann insbesondere als Lenk- und/oder Bremseingriff erfolgen. Dadurch können Beschädigungen am Fahrzeug (z.B.: Felgen, Reifen vermieden werden. In einer bevorzugten Ausführungsform wird eine Absenkung der an einen Fahrbahnrand angrenzenden Umgebung gegenüber der Fahrbahn aus einer vorgegebenen Mindesttiefe eines Sprungs erkannt. Aus Fahrzeug- und/oder Umgebungsdaten kann ermittelt werden, ob ein Abkommen des Fahrzeugs von der Fahrbahn droht. Falls ja, kann eine Warnung ausgegeben wer- den oder ein Eingriff in die Fahrzeugsteuerung erfolgen, um das Abkommen von der Fahrbahn zu verhindern. Dadurch kann das seitliche Abkommen von begrenzten Fahrbahnen verhindert werden .
Vorteilhaft können herabgelassene und/oder abgesenkte Bord¬ steine aus sich in Fahrtrichtung ändernden Sprunghöhen aufgrund erhabener Fahrbahnbegrenzungen erkannt werden und daraus Einfahrten und/oder Auffahrten quer zur Fahrbahn erkannt werden.
Gemäß einer vorteilhaften Ausführungsform wird im Rahmen eines Anhalte- oder Einparkvorgangs mindestens ein Eingriff in die Fahrzeugsteuerung vorgenommen wird, durch den das Fahrzeug parallel zu und in einem vorgegebenen seitlichen Abstand zu einer erhabenen Fahrbahnbegrenzung abgestellt wird. Dem Fahrer kann also eine zumindest teilautonome Ein¬ parkhilfe durch Erkennung des seitlichen Bordsteins ermög¬ licht werden.
Bei Bussen oder anderen Kraftfahrzeugen zur Personenbeförderung kann durch die Erkennung des Bordsteins und eine Lenkunterstützung zur Vermeidung von Reifenschäden gleichzeitig ein optimaler Abstand zum Bordstein im angehaltenen Zustand erreicht werden. Den Fahrgästen wird dadurch der Ein- und Ausstieg deutlich erleichtert.
Die 3D-Kamera ist bevorzugt eine Stereokamera oder eine Photomischdetektor-Kamera bzw. PMD-Sensor. Die Erfindung umfasst ferner eine Vorrichtung zur Bestimmung eines Höhenprofils einer Fahrzeugumgebung. Eine 3D- Kamera sowie Auswertemittel zum Bestimmen mindestens eines Sprungs im Höhenverlauf der Umgebungsoberfläche quer zur Fahrtrichtung des Fahrzeugs sind hierzu vorgesehen.
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
Es zeigen:
Fig. 1 Linien quer zur Fahrtrichtung, entlang derer der Höhenverlauf der Umgebungsoberfläche des Fahrzeugs ermit¬ telt wird;
Fig. 2 Höhenverlauf der Umgebungsoberfläche des Fahrzeugs quer zur Fahrtrichtung.
In Fig. 1 ist das Scannen des Höhenverlaufs entlang von Linien (5) quer (2) zur Fahrtrichtung (1) des Fahrzeugs schematisch dargestellt. Eine linke (3) und rechte (4) erhabene Fahrbahnbegrenzung sind parallel zur Fahrbahn zu erkennen. Bei normaler Fahrt des Fahrzeugs verlaufen die erhabenen Fahrbahnbegrenzungen (3, 4) im Wesentlichen parallel zur Fahrtrichtung (1) .
Ein beispielhafter Höhenverlauf (6) ist in Fig. 2 aufgetra- gen. Die Höhe h ist hierbei in Abhängigkeit von der (Quer-) Ablage a aufgetragen. Dieser Höhenverlauf (6) weist zwei Sprünge (7, 8) auf. Zwischen den beiden Sprüngen (7, 8) verläuft die Fahrbahn. Der linke Sprung (7) entspricht ei¬ ner erhabenen Fahrbahnbegrenzung (3), z.B. dem linken Bord- stein. Die Höhe des linken Bordsteins (3) kann hieraus di- rekt ermittelt werden. Dasselbe gilt für den rechten Sprung (8), der z.B. dem rechten Bordstein (4) zugeordnet werden kann . Bei einer Stereokamera als 3D-Kamera zur optischen (passi¬ ven) Erfassung des vor dem Fahrzeug liegenden Fahrzeugumfelds kann aus den tiefenaufgelösten Bilddaten bzw. dem Disparitätsbild) eine Höhenkarte (Height Map) dieses Fahr¬ zeugumfelds generiert werden. Entlang mehrerer Linien (5), die quer (5) zur Fahrtrichtung (1) liegen kann nun der Verlauf dieser Höhenkarte ausgewertet werden.
Sofern entlang mindestens einer dieser Linien ein Sprung (7, 8) im Höhenverlauf erkannt wird, kann der Punkt/Bereich in der Höhenkarte einem Bildpunkt/Bereich in einem 2D-Bild einer einzelnen Bildaufnahmeeinheit der Stereokamera zuge¬ ordnet werden.
Das Bild in Fig. 1 ohne die Querlinien zum Scannen könnte z.B. von einer einzelnen Bildaufnahmeeinheit der Stereoka- mera aufgenommen worden sein. Vor einer anschließenden Kantenerkennung im 2D-Bild kann zunächst eine Vorverarbeitung des Kamerabilds durchgeführt werden: Datensynchronisation, Graubildwandlung und Rauschunterdrückung. Als Startpunkt für die Kantenerkennung dient nun das Ergebnis (Bildpunkt oder Bereich) der bereits aus den 3D-Bilddaten ermittelten Höhensprünge. Von dort aus wird eine Kontursuche durchge¬ führt, bei der Kanten mittels eines Canny-Kantenoperators ermittelt werden. Die ermittelten Grauwert- (oder auch Farbwert- ) kanten können dabei bis in größere Entfernungen nach vorne (also ungefähr in Fahrtrichtung) weiterverfolgt werden. Abschließend kann noch ein Konturmatching durchgeführt werden, bei dem überprüft wird, ob die ermittelten Konturen zu einer Fahrbahnbegrenzung passen.
Diese Vorgehensweise bietet den Vorteil, dass eine Absiche¬ rung der potenziellen Fahrbahnbegrenzungen, die aus den SD- Bilddaten ermittelt wurden, erfolgt, wobei nur noch Bildbe¬ reich mit tatsächlich erhöhten/abgesenkten Fahrbahnbegrenzungen als Kandidaten in Frage kommen. Dazu müssen keine unnötigen Kantenerkennungen in Bildbereichen durchgeführt werden, wo gar keine Sprünge im Höhenverlauf erkannt wur¬ den .

Claims

Patentansprüche
1. Verfahren zur Bestimmung eines Höhenprofils einer
Fahrzeugumgebung mittels einer 3D-Kamera, wobei mit der 3D-Kamera mindestens ein Bild von der vor dem Fahrzeug liegenden Umgebung aufgenommen wird, dadurch gekennzeichnet, dass
aus den Bilddaten der 3D-Kamera mindestens ein Sprung (7, 8) im Höhenverlauf (6) der Umgebungsoberfläche quer (2) zur Fahrtrichtung (1) des Fahrzeugs ermittelt wird .
2. Verfahren nach Anspruch 1, wobei der Höhenverlauf (6) entlang einer Mehrzahl von Linien (5) quer (2) zur Fahrtrichtung (1) ermittelt wird.
3. Verfahren nach Anspruch 2, wobei der Ermittlungsbereich, in dem der Höhenverlauf (6) entlang der Mehrzahl von Linien (5) quer (2) zur Fahrtrichtung (1) ermittelt wird, eingeschränkt wird in Abhängigkeit von bereits ermittelten Sprüngen (7, 8) im Höhenverlauf (6) .
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei Kanten mittels eines Algorithmus zur Kantenerken¬ nung aus 2D-Bilddaten der 3D-Kamera bestimmt werden, die ein Färb- und/oder Grauwertbild darstellen, und diese Kanten berücksichtigt werden bei der Bestimmung des Höhenprofils der Fahrzeugumgebung aus den SD- Bilddaten .
Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein Fahrbahnrand unter Berücksichtigung des mindestens einen ermittelten Sprungs (7, 8) im Höhenverlauf (6) bestimmt wird.
Verfahren nach Anspruch 5, wobei eine erhabene Fahr¬ bahnbegrenzung (3, 4) aus einer vorgegebenen Mindest- höhe eines Sprungs (7, 8) im Höhenverlauf (6) erkannt wird .
Verfahren nach Anspruch 6, wobei aus Fahrzeug- und/oder Umgebungsdaten ermittelt wird, ob eine Kolli¬ sion des Fahrzeugs mit einer erhabenen Fahrbahnbegrenzung (3, 4) droht, und falls ja eine Warnung ausgege¬ ben wird oder ein Eingriff in die Fahrzeugsteuerung erfolgt, um die Kollision zu verhindern.
Verfahren nach Anspruch 5 bis 7, wobei eine Absenkung der angrenzenden Umgebung gegenüber der Fahrbahn aus einer vorgegebenen Mindesttiefe eines Sprungs (7, 8) erkannt wird, aus Fahrzeug- und/oder Umgebungsdaten ermittelt wird, ob ein Abkommen des Fahrzeugs von der Fahrbahn droht, und falls ja eine Warnung ausgegeben wird oder ein Eingriff in die Fahrzeugsteuerung erfolgt, um das Abkommen von der Fahrbahn zu verhindern.
Verfahren nach Anspruch 6 bis 8, wobei herabgelassene und/oder abgesenkte Bordsteine aus sich in Fahrtrichtung ändernden Sprunghöhen aufgrund erhabener Fahr- bahnbegrenzungen erkannt werden und daraus Einfahrten und/oder Auffahrten quer zur Fahrbahn erkannt werden.
10. Verfahren nach Anspruch 6 bis 9, wobei im Rahmen eines Anhalte- oder Einparkvorgangs mindestens ein Eingriff in die Fahrzeugsteuerung vorgenommen wird, durch den das Fahrzeug parallel zu und in einem vorge¬ gebenen seitlichen Abstand zu einer erhabenen Fahrbahnbegrenzung (3, 4) abgestellt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei die 3D-Kamera eine Stereokamera ist.
12. Vorrichtung zur Bestimmung eines Höhenprofils einer Fahrzeugumgebung umfassend eine 3D-Kamera, dadurch gekennzeichnet, dass Auswertemittel zum Bestimmen min¬ destens eines Sprungs (7, 8) im Höhenverlauf (6) der Umgebungsoberfläche quer (2) zur Fahrtrichtung (1) des Fahrzeugs vorgesehen sind.
EP12822964.8A 2011-12-20 2012-12-17 Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera Ceased EP2795537A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011056671A DE102011056671A1 (de) 2011-12-20 2011-12-20 Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
PCT/DE2012/100384 WO2013091620A1 (de) 2011-12-20 2012-12-17 Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera

Publications (1)

Publication Number Publication Date
EP2795537A1 true EP2795537A1 (de) 2014-10-29

Family

ID=47678433

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12822964.8A Ceased EP2795537A1 (de) 2011-12-20 2012-12-17 Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera

Country Status (6)

Country Link
US (1) US20140320644A1 (de)
EP (1) EP2795537A1 (de)
JP (1) JP6238905B2 (de)
KR (1) KR20140109990A (de)
DE (2) DE102011056671A1 (de)
WO (1) WO2013091620A1 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
KR102153030B1 (ko) 2013-11-05 2020-09-07 현대모비스 주식회사 주차 지원 장치 및 방법
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102013224791A1 (de) * 2013-12-03 2015-06-03 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur
EP3007099B1 (de) 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Bilderkennungssystem für ein Fahrzeug und entsprechendes Verfahren
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
DE102016215840A1 (de) 2016-08-23 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Erfassung von im Fahrzeugumfeld befindlichen Bordsteinen
JP6874319B2 (ja) * 2016-10-12 2021-05-19 日産自動車株式会社 走路境界監視方法及び走路境界監視装置
KR102756619B1 (ko) * 2016-12-02 2025-01-17 현대자동차주식회사 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
US10078334B2 (en) * 2016-12-07 2018-09-18 Delphi Technologies, Inc. Vision sensing compensation
WO2018193577A1 (ja) * 2017-04-20 2018-10-25 三菱電機株式会社 駐車支援制御装置および駐車支援制御方法
DE102017004642A1 (de) 2017-05-15 2017-12-14 Daimler Ag Verfahren und Vorrichtung zur Bestimmung eines Höhenprofils eines einem Fahrzeug vorausliegenden Fahrbahnabschnitts
DE102018129485A1 (de) 2018-11-22 2020-05-28 Trw Automotive Gmbh Verfahren sowie System zur Bestimmung eines Fahrkorridors
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
CN109976348A (zh) * 2019-04-11 2019-07-05 深圳市大富科技股份有限公司 一种车辆及其运动控制方法、设备、存储介质
DE102019110216A1 (de) * 2019-04-17 2020-10-22 Zf Friedrichshafen Ag Verfahren zum Erfassen von für ein Fahrzeug zur Verfügung stehenden künftigen Fahrspuren sowie Steuergerät, Fahrzeug, Computerprogramm und computerlesbarer Datenträger
CN110942481B (zh) * 2019-12-13 2022-05-20 西南石油大学 一种基于图像处理的纵跳检测方法
DE102020201000B3 (de) 2020-01-28 2021-07-29 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug
DE102021101133A1 (de) 2021-01-20 2022-07-21 Valeo Schalter Und Sensoren Gmbh Detektion eines lateralen Endes einer Fahrbahn
CN117087675B (zh) * 2023-10-10 2024-04-12 镁佳(北京)科技有限公司 一种车辆通过性的检测方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021411A (ja) * 1996-07-05 1998-01-23 Nissan Motor Co Ltd 走行路認識装置
US20020176608A1 (en) * 2001-05-23 2002-11-28 Rose David Walter Surface-profiling system and method therefor
DE10392601B4 (de) * 2002-08-09 2023-01-19 Conti Temic Microelectronic Gmbh Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
JP4092308B2 (ja) * 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
DE102005039167A1 (de) * 2005-08-17 2007-02-22 Daimlerchrysler Ag Fahrerassistenzsystem zur Fahrerwarnung bei einem drohenden Verlassen der Fahrspur
WO2008091565A1 (en) * 2007-01-23 2008-07-31 Valeo Schalter & Sensoren Gmbh Method and system for universal lane boundary detection
EP2158576A1 (de) * 2007-06-08 2010-03-03 Tele Atlas B.V. Verfahren und vorrichtung zum produzieren eines panoramas mit mehreren ansichtspunkten
JP5163164B2 (ja) * 2008-02-04 2013-03-13 コニカミノルタホールディングス株式会社 ３次元計測装置
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
JP5171723B2 (ja) * 2009-04-27 2013-03-27 アルプス電気株式会社 障害物検知装置、および当該装置を搭載した車両
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
DE102010020688A1 (de) * 2010-05-15 2011-05-19 Daimler Ag Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2013091620A1 *

Also Published As

Publication number Publication date
KR20140109990A (ko) 2014-09-16
JP2015510105A (ja) 2015-04-02
US20140320644A1 (en) 2014-10-30
WO2013091620A1 (de) 2013-06-27
JP6238905B2 (ja) 2017-11-29
DE112012004831A5 (de) 2014-08-28
DE102011056671A1 (de) 2013-06-20

Similar Documents

Publication Publication Date Title
WO2013091620A1 (de) Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE10392601B4 (de) Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
EP1192597B1 (de) Verfahren zur detektion von objekten im umfeld eines strassenfahrzeugs bis in grosse entfernung
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
EP3529561B1 (de) System und verfahren zur erzeugung von digitalen strassenmodellen aus luft- oder satellitenbildern und von fahrzeugen erfassten daten
DE102014110206B4 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
EP2594461B1 (de) Verfahren zum Erkennen einer Parklücke für ein Kraftfahrzeug, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem
DE102017126452A1 (de) Fahrzeugsteuersystem
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102012101085A1 (de) Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
DE102015206144A1 (de) Verfahren und Vorrichtung zum sicheren Abstellen eines Fahrzeuges
EP3069296A1 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
EP3520023B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
EP2788224A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
DE102011109569A1 (de) Verfahren zur Fahrspurerkennung mittels einer Kamera
DE102016202594A1 (de) Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
WO2012163631A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102015111925A1 (de) Spurhalteassistenzsystem
WO2019162327A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102019116892A1 (de) Fahrspurereignisantizipation durch LiDAR-Straßenbegrenzungserfassung
DE102021005933A1 (de) Verfahren zur Erfassung eines Fahrspurverlaufs mittels eines LIDARs und Fahrzeug
DE102015204529A1 (de) Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: LUEKE, STEFAN

Inventor name: HEINRICH, STEFAN

Inventor name: HEGEMANN, STEFAN

17Q First examination report despatched

Effective date: 20151001

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

18R Application refused

Effective date: 20170313