DE102011118171A1 - Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device - Google Patents

Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device Download PDF

Info

Publication number
DE102011118171A1
DE102011118171A1 DE102011118171A DE102011118171A DE102011118171A1 DE 102011118171 A1 DE102011118171 A1 DE 102011118171A1 DE 102011118171 A DE102011118171 A DE 102011118171A DE 102011118171 A DE102011118171 A DE 102011118171A DE 102011118171 A1 DE102011118171 A1 DE 102011118171A1
Authority
DE
Germany
Prior art keywords
points
current
motor vehicle
image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102011118171A
Other languages
German (de)
Inventor
Andreas Haja
Hellward Broszio
Nikolaus Meine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102011118171A priority Critical patent/DE102011118171A1/en
Publication of DE102011118171A1 publication Critical patent/DE102011118171A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

The method involves determining current three-dimensional points of a surrounding of a motor vehicle (1) from a current image of an image sequence of an image capture device (2). A selection of the current three-dimensional point is performed with regard to a horizontal component to obtain a preselected amount of current three-dimensional points. Another selection in a selection set is performed with regard to a vertical component to maintain a selected amount of three-dimensional points. Independent claims are included for the following: (1) a method for classification of three-dimensional points of a surrounding of a moving motor vehicle; and (2) a device for classification of three-dimensional points.

Description

Die Erfindung betrifft ein Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene gemäß dem Oberbegriff des Anspruchs 1, ein Verfahren zur Klassifikation gemessener 3D-Punkte gemäß dem Oberbegriff des Anspruchs 8, eine Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene gemäß dem Oberbegriff des Anspruchs 9, sowie eine Vorrichtung zur Klassifikation von 3D-Punkten der Umgebung eines Kraftfahrzeugs gemäß dem Oberbegriff des Anspruchs 10.The invention relates to a method for the continuous estimation of the road surface according to the preamble of claim 1, a method for classifying measured 3D points according to the preamble of claim 8, a device for continuously estimating the road plane according to the preamble of claim 9, and a device for Classification of 3D points of the environment of a motor vehicle according to the preamble of claim 10.

Verfahren und Vorrichtungen zur Vermessung des Umfeldes eines Kraftfahrzeugs sind bekannt, da die Kenntnis des Kraftfahrzeugsumfeldes eine notwendige Voraussetzung für den Einsatz einer Vielzahl von Fahrerassistenzsystemen ist. So sind beispielsweise Radarsysteme im Einsatz, um in ACC-Assistenzsystemen (ACC: Automatic Cruise Control) das in Fahrtrichtung vordere Umfeld des Kraftfahrzeugs zu vermessen, so dass basierend auf den Messergebnissen eine Abstands- und Geschwindigkeitsregelung erfolgen kann. Ferner werden Kamerasysteme, Lasersysteme, Radar und Ultraschallsensoren zur Detektion und Vermessung von Parklücken bei Parkassistenten eingesetzt. Spurhalteassistenten detektieren unter anderem Fahrspurbegrenzungen sowie Fahrbahnmarkierungen und halten das Fahrzeug in der eigenen Fahrspur.Methods and devices for measuring the environment of a motor vehicle are known because the knowledge of the motor vehicle environment is a necessary prerequisite for the use of a variety of driver assistance systems. For example, radar systems are used to measure in ACC assistance systems (ACC: Automatic Cruise Control) the front in the direction of travel environment of the motor vehicle, so that based on the measurement results, a distance and speed control can be done. Furthermore, camera systems, laser systems, radar and ultrasonic sensors are used for the detection and measurement of parking spaces in parking assistants. Lane departure warning systems detect, among other things lane boundaries and lane markings and keep the vehicle in its own lane.

Weiterhin existieren Kollisionswarnsysteme, bei dem vorausfahrende Fahrzeuge oder andere Hindernisse im Vorfeld des Fahrzeugs mit Hilfe eines Sensorsystems, beispielsweise mittels eines Radarsensors und/oder eines monokularen oder binokularen Videosystems, geortet werden. Durch Auswertung entsprechender gemessener Daten und davon abgeleiteter Größen, wie beispielsweise der gemessenen Abstände und der Relativgeschwindigkeiten zwischen vorausfahrendem Fahrzeug und Eigenfahrzeug etc., werden Situationen erkannt, in denen es ohne Eingriff des Fahrers zu einer Kollision kommen würde.Furthermore, there are collision warning systems in which vehicles in front or other obstacles in the apron of the vehicle with the aid of a sensor system, for example by means of a radar sensor and / or a monocular or binocular video system, are located. By evaluating appropriate measured data and derived variables, such as the measured distances and the relative speeds between the vehicle ahead and the vehicle, etc., situations are detected in which there would be a collision without intervention of the driver.

Bei beispielsweise kamerabasierten Verfahren zur Erkennung von Hindernissen vor dem Fahrzeug, die eine Rekonstruktion der Fahrzeugumgebung in 3D durchführen, muss zur Erkennung der Hindernisse eine Trennung zwischen dem Fahrbahnuntergrund und den möglichen Hindernissen durchgeführt werden. Dabei kann die 3D-Rekonstuktion der Umgebung des Fahrzeugs auf 3D-Messdaten beruhen, die durch ein Structure-from-Motion-Verfahren aus Bildern einer monokularen Kamera abgeleitet werden.For example, in camera-based methods for detecting obstacles in front of the vehicle, which perform a reconstruction of the vehicle environment in 3D, a separation between the road surface and the possible obstacles must be performed to detect the obstacles. In this case, the 3D reconstitution of the surroundings of the vehicle can be based on 3D measurement data, which are derived from images of a monocular camera by a structure-from-motion method.

Ein derartiges Structure-from-Motion Verfahren ist beispielsweise in dem Artikel E. Wahl et. al.: ”Realisierung eines Parkassistenten basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871–880 , beschrieben, bei welchem die Parklückenvermessung durch ein videobasiertes Verfahren, das sich auf Motion-Stereo stützt, vermessen wird.Such a structure-from-motion method is for example in the Article E. Wahl et. al .: "Realization of a parking assistant based on motion stereo", 16th Aachen Colloquium Automotive and Engine Technology, 2007, p. 871-880 , in which the parking space measurement is measured by a video-based method based on motion stereo.

Aus der DE 10 2008 062 708 A1 ist weiterhin eine Verfahren zur Bestimmung der Fahrbahnebene in der Umgebung eines Kraftfahrzeugs mittels einer kamerabasierten Erfassung von Umfelddaten bekannt, bei dem bodennahe Punkte in der Umgebung des Fahrzeugs bestimmt werden, aus den bodennahen Punkten eine virtuelle Ebene bestimmt wird und die so ermittelte virtuelle Ebene mit einer aus der Fahrzeugebene abgeleiteten angenommenen Fahrbahnebene verglichen wird. Weicht die virtuelle Ebene von der angenommenen Fahrbahnebene um einen vorgegebenen Winkel ab, so wird die virtuelle Fahrbahnebene als tatsächliche Fahrbahnebene gewertet.From the DE 10 2008 062 708 A1 Furthermore, a method for determining the road surface in the vicinity of a motor vehicle by means of a camera-based detection of environmental data is known in which ground-level points are determined in the environment of the vehicle, from the ground level points a virtual plane is determined and the thus determined virtual plane with a from the vehicle level derived assumed road level is compared. If the virtual level deviates from the assumed road level by a predetermined angle, the virtual road level is evaluated as the actual road level.

Die bekannten Verfahren setzen zur Bestimmung der Fahrbahn sowie zur Trennung von Fahrbahn und Hindernissen eine unveränderliche Sensorverbaulage des Umfeldsensors sowie eine statische Fahrbahnebene voraus. Jedoch ist schon bei unterschiedlichen Beladungszuständen, Nickbewegungen des Fahrzeugs oder Unebenheiten der Fahrbahn eine eindeutige Trennung zwischen Hindernissen und Fahrbahnebene allein anhand der vertikalen Komponente der gemessenen 3D-Punkte nicht fehlerfrei möglich.The known methods require the determination of the roadway and the separation of the road and obstacles an unchangeable sensor mounting position of the environmental sensor and a static road surface. However, even with different loading conditions, pitching movements of the vehicle or unevenness of the roadway, a clear separation between obstacles and roadway level is not possible without error on the basis of the vertical component of the measured 3D points alone.

Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene aus 3D-Punkten der Fahrzeugumgebung eines Kraftfahrzeugs sowie ein Verfahren zur Klassifikation der gemessenen 3D-Punkte zu schaffen.It is therefore the object of the invention to provide an improved method and an improved device for the continuous estimation of the road level from 3D points of the vehicle surroundings of a motor vehicle as well as a method for the classification of the measured 3D points.

Diese Aufgabe wird durch ein Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene mit den Merkmalen des Anspruchs 1, durch ein Verfahren zur Klassifikation gemessener 3D-Punkte mit den Merkmalen des Anspruchs 8, durch eine Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene mit den Merkmalen des Anspruchs 9, sowie eine Vorrichtung zur Klassifikation von 3D-Punkten der Umgebung eines Kraftfahrzeugs mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method for continuously estimating the level of the roadway having the features of claim 1, by a method for classifying measured 3D points having the features of claim 8, by a device for continuously estimating the road surface having the features of claim 9, as well a device for the classification of 3D points of the environment of a motor vehicle with the features of claim 10 solved. Preferred embodiments are subject of the dependent claims.

Das erfindungsgemäße Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs aus Bildern einer Bildsequenz einer Bilderfassungseinrichtung des Kraftfahrzeugs weist die folgenden Schritte auf:

  • – Bestimmung von aktuellen 3D-Punkten des Umfeldes des Kraftfahrzeugs aus dem aktuellen Bild der Bildsequenz der Bilderfassungseinrichtung,
  • – Durchführen einer ersten Selektion der aktuellen 3D-Punkte hinsichtlich der horizontalen Komponente zum Erhalt einer vorselektierten Menge aktueller 3D-Punkte,
  • – Durchführen einer zweiten Selektion innerhalb der vorselektierten Menge hinsichtlich der vertikalen Komponente zum Erhalt einer selektierten Menge aktueller 3D-Punkte, und
  • – Schätzung der aktuellen Fahrbahnebene zumindest anhand der selektierten Menge aktueller 3D-Punkte.
The method according to the invention for continuously estimating the road surface of a motor vehicle from images of an image sequence of an image acquisition device of the motor vehicle comprises the following steps:
  • Determination of current 3D points of the environment of the motor vehicle from the current image of the image sequence of the image acquisition device,
  • Performing a first selection of the current 3D points with respect to the horizontal component to obtain a preselected amount of current 3D points,
  • Performing a second selection within the preselected set with respect to the vertical component to obtain a selected set of current 3D points, and
  • - Estimation of the current road level at least based on the selected amount of current 3D points.

Durch die Schätzung einer Fahrbahnebene für jedes Bild einer Bildsequenz kann vorteilhafterweise eine kontinuierliche Ermittlung der beispielsweise vor dem Fahrzeug sich erstreckenden Fahrbahnebene durchgeführt werden und Änderungen der Umgebungsbedingungen, wie Unebenheiten oder Steigungen, werden automatisch erfasst und gehen in die Schätzung der Fahrbahnebene ein. Als Bilderfassungseinrichtung kommen nicht nur kamerabasierte Bilderfassungseinrichtungen in Frage, sondern es können auch andere 3D-Sensoren, wie beispielsweise Laserscanner, eingesetzt werden.By estimating a road surface for each image of an image sequence, it is advantageously possible to carry out a continuous determination of the road surface extending, for example, in front of the vehicle, and changes in the environmental conditions, such as unevenness or gradients, are automatically detected and included in the estimation of the roadway plane. As an image capture device not only camera-based image capture devices come into question, but it can also other 3D sensors, such as laser scanners, are used.

Vorzugsweise werden die aktuellen 3D-Punkte, deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebener Mindestabstand ist, als 3D-Punkte der Fahrbahnebene klassifiziert. Aus der Menge der aktuellen 3D-Punkte, deren Anzahl beispielsweise ca. 1000 bis 1500 3D-Punkte pro Bild betragen kann, wird durch die Vorgabe des Mindestabstandes eine Teilmenge der zur Fahrbahn gehörenden 3D-Punkte definiert.The current 3D points, whose distance from the estimated road plane is smaller than a predetermined minimum distance, are preferably classified as 3D points of the roadway plane. From the amount of the current 3D points, the number of which may be, for example, approximately 1000 to 1500 3D points per picture, the specification of the minimum distance defines a subset of the 3D points belonging to the roadway.

Zur Stabilisierung der Schätzung der Fahrbahnebene aus den aktuellen 3D-Punkten können vorzugsweise zusätzlich die als Fahrbahnpunkte klassifizierten 3D-Punkte zumindest des vorherigen Bildes zur aktuellen Schätzung der Fahrbahnebene verwendet werden.In order to stabilize the estimate of the roadway level from the current 3D points, the 3D points classified at least as the roadway points, at least of the previous image, can preferably additionally be used for the current estimation of the roadway plane.

Vorzugsweise werden die aktuellen 3D-Punkte des Umfeldes des Kraftfahrzeugs mittels eines Structure-from-Motion-Verfahrens erzeugt. Auf diese Weise kann zur Erzeugung der Bildsequenzen eine monokulare Kamera verwendet werden, was zur Kostenersparung beiträgt.Preferably, the current 3D points of the environment of the motor vehicle are generated by means of a structure-from-motion method. In this way, a monocular camera can be used to generate the image sequences, which contributes to cost savings.

Vorzugsweise wird zur Durchführung der ersten Selektion die horizontale Komponente der aktuellen 3D-Punkte auf einen rechteckigen Bereich vor der Bilderfassungseinrichtung begrenzt. Dabei werden unter der horizontalen Komponente die x- und y-Koordinaten verstanden, wenn beispielsweise ein x-y-z-Koordinatensystem verwendet wird, wobei die z-Koordinate die vertikale Komponente ist, während die x- und y-Koordinate die horizontale Ebene bilden. Durch die erste Selektion werden also beispielsweise 3D-Punkte ausgewählt und der vorselektierten Menge zugeordnet, die innerhalb eines Rechtecks vor der Bilderfassungseinrichtung in Fahrtrichtung des Fahrzeuges liegen.Preferably, to carry out the first selection, the horizontal component of the current 3D points is limited to a rectangular area in front of the image capture device. Herein, the horizontal component means the x and y coordinates when, for example, an x-y-z coordinate system is used, where the z-coordinate is the vertical component while the x and y coordinates are the horizontal plane. Thus, for example, 3D points are selected by the first selection and assigned to the preselected quantity, which lie in the direction of travel of the vehicle within a rectangle in front of the image capture device.

Weiter bevorzugt wird zur Durchführung der zweiten Selektion die vertikale Komponente, d. h. die vertikale Koordinate, der 3D-Punkte der vorselektierten Menge auf einen Bereich innerhalb einer vorgegebenen oberen und einer vorgegebenen unteren Grenze beschränkt, wodurch sich die selektierte Menge ergibt. Eine derartige Selektion kann über die Verwendung eines Medians erfolgen.Further preferred for carrying out the second selection is the vertical component, i. H. the vertical coordinate that constrains 3D points of the preselected set to a range within a predetermined upper and lower limit, resulting in the selected amount. Such selection may be via the use of a median.

Vorzugsweise wird die Schätzung der Fahrbahnebene nach der Methode der kleinsten Quadrate durchgeführt, wobei die Schätzung der Fahrbahnebene nicht darauf beschränkt ist. Andere Ebenenschätzungsverfahren können verwendet werden.Preferably, the least squares estimation of the lane plane is performed, but the estimate of the lane plane is not limited thereto. Other level estimation methods may be used.

Das erfindungsgemäße Verfahren führt daher eine kontinuierliche Schätzung der Fahrbahnebene auf Basis der 3D-Messpunkte durch. Zur Stabilisierung der Schätzung können zusätzlich 3D-Messpunkte aus einem Gedächtnisspeicher herangezogen werden, die sich zum Zeitpunkt der jeweils aktuellen Messung auf der Fahrbahn unterhalb des Fahrzeugs befinden.The method according to the invention therefore carries out a continuous estimation of the road surface on the basis of the 3D measurement points. To stabilize the estimation, additional 3D measurement points from a memory memory can be used, which are located at the time of the current measurement on the roadway below the vehicle.

Bei dem erfindungsgemäßen Verfahren zur Klassifikation von 3D-Punkten einer Umgebung eines sich bewegenden Kraftfahrzeugs in 3D-Punkte der Fahrbahn auf der sich das Kraftfahrzeug bewegt und in 3D-Punkte von Hindernissen im Fahrweg des Kraftfahrzeugs unter Verwendung des im Vorangegangenen geschilderten Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene, werden aktuelle 3D-Punkte als Hindernisse klassifiziert, wenn deren Abstand zur geschätzten Fahrbahnebene größer oder gleich einem vorgegebenen Mindestabstand ist, und werden aktuelle 3D-Punkte als zur Fahrbahn gehörend klassifiziert, wenn deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebene Mindestabstand ist. Als Schwellwert kann ein Mindestabstand im Bereich von 300 mm bis 400 mm, insbesondere 350 mm verwendet werden.In the method according to the invention for classifying 3D points of an environment of a moving motor vehicle into 3D points of the roadway on which the motor vehicle is moving and in 3D points of obstacles in the travel path of the motor vehicle using the above-described method for the continuous estimation of Lane level, current 3D points are classified as obstacles if their distance from the estimated lane plane is greater than or equal to a specified minimum distance, and current 3D points are classified as belonging to the lane if whose distance to the estimated road level is less than a predetermined minimum distance. As a threshold, a minimum distance in the range of 300 mm to 400 mm, in particular 350 mm can be used.

Mittels dieses Verfahrens ist es möglich, die Klassifikation von 3D-Messpunkten in Hindernisse oder Fahrbahn auch bei unterschiedlichen Beladungszuständen, Nickbewegungen des Fahrzeugs oder Unebenheiten der Fahrbahn durchzuführen. Hierdurch kann die Qualität von Fahrerassistenzsystemen zur Hinderniserkennung im Nahbereich deutlich gesteigert werden.By means of this method, it is possible to perform the classification of 3D measuring points in obstacles or road even with different loading conditions, pitching movements of the vehicle or unevenness of the roadway. As a result, the quality of driver assistance systems for obstacle detection in the vicinity can be significantly increased.

Die erfindungsgemäße Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene zur Durchführung des im Vorangegangenen erläuterten Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs umfasst:

  • – eine im Kraftfahrzeug angeordnete Bilderfassungseinrichtung zur Generierung von einer. Bildsequenz der Kraftfahrzeugumgebung,
  • – eine Einrichtung zur Bestimmung von aktuellen 3D-Punkten der Kraftfahrzeugumgebung aus dem aktuellen Bild der Bildsequenz,
  • – eine Einrichtung zur Durchführung einer zweistufigen Selektion der aktuellen 3D-Punkte anhand der vertikalen und der horizontalen Koordinate zur Bestimmung einer selektierten Menge aktueller 3D-Punkte, und
  • – eine Schätzeinrichtung zur Schätzung der Fahrbahnebene.
The device according to the invention for the continuous estimation of the road surface for carrying out the previously explained method for the continuous estimation of the road plane of a motor vehicle comprises:
  • - An arranged in the motor vehicle image capture device for generating a. Image sequence of the automotive environment,
  • A device for determining current 3D points of the motor vehicle environment from the current image of the image sequence,
  • A means for performing a two-step selection of the current 3D points using the vertical and horizontal coordinates to determine a selected amount of current 3D points, and
  • - An estimator for estimating the level of the road.

Wie bereits erwähnt, werden unter Bilderfassungseinrichtungen alle Umfeldsenoren verstanden, die eine Darstellung der Fahrtzeugumgebung in 3D-Punkten ermöglichen.As already mentioned, image capturing devices are understood as meaning all environmental sensors which make it possible to display the vehicle environment in 3D points.

Die erfindungsgemäße Vorrichtung zur Klassifikation von 3D-Punkten umfasst neben den Komponenten der Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene eine Klassifikationseinrichtung zur Klassifikation der aktuellen 3D-Punkte in solche 3D-Punkte, die zur geschätzten Fahrbahn gehören, und solche 3D-Punkte, die zu Hindernissen gehören. Ferner umfasst die Vorrichtung einen Gedächtnisspeicher zur Speicherung der zur Fahrbahn gehörenden aktuellen 3D-Punkte.The device for classifying 3D points according to the invention comprises, in addition to the components of the device for continuously estimating the road plane, a classification device for classifying the current 3D points into those 3D points that belong to the estimated roadway and those 3D points that belong to obstacles belong. Furthermore, the device comprises a memory memory for storing the current 3D points belonging to the roadway.

Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigtA preferred embodiment of the invention will be explained below with reference to the drawings. It shows

1 den zur Fahrbahnebenenbestimmung herangezogenen Bereich vor einem Fahrzeug, und 1 the area used for the road surface determination in front of a vehicle, and

2 ein Ablaufschema der Klassifikation der 3D-Punkte in Punkte der Fahrbahn und Hindernisse. 2 a flow chart of the classification of the 3D points in points of the roadway and obstacles.

1 zeigt ein Fahrzeug 1, welches in Fahrtrichtung eine monokulare Kamera 2 aufweist, die Umfelddaten des vorderen Umfelds des Fahrzeugs 1 liefert. Aus den Bildern der Bildsequenz der Kamera 2 werden 3D-Punkte des Umfeldes beispielsweise mittels eines Structure-from-Motion-Verfahren bestimmt. Pro Bild ergibt sich eine 3D-Punktwolke von ca. 1.000 bis 1.500 3D-Punkten. Anstelle einer monokularen Kamera kann natürlich auch ein Stereokamerasystem verwendet werden, was aber mit höheren Kosten verbunden ist. Zur Bestimmung der Fahrbahnebene bzw. zur Klassifikation von 3D-Punkten wird der vor dem Fahrzeug bzw. vor der Kamera 2 angeordnete rechteckige Bereich 3 betrachtet. Der Pfeil 4 zeigt die Fahrtrichtung des Fahrzeugs 1 an. Dabei hat der rechteckige Bereich eine Größe von ca. 10 m Länge in Fahrtrichtung und ca. 4 m Breite. 1 shows a vehicle 1 , which in the direction of travel a monocular camera 2 has, the environment data of the front environment of the vehicle 1 supplies. From the pictures of the picture sequence of the camera 2 For example, 3D points of the environment are determined by means of a structure-from-motion method. Each image produces a 3D point cloud of approximately 1,000 to 1,500 3D points. Instead of a monocular camera, of course, a stereo camera system can be used, but this is associated with higher costs. To determine the level of the road or to classify 3D points, the front of the vehicle or in front of the camera 2 arranged rectangular area 3 considered. The arrow 4 shows the direction of travel of the vehicle 1 at. The rectangular area has a size of about 10 m length in the direction of travel and about 4 m wide.

Die Eingangsgröße des in 2 dargestellten Verfahrens zur Klassifikation von 3D-Punkten in Punkte der Fahrbahn und solche von Hindernissen ist das aktuelle Bild 10 einer Bildsequenz der in 1 dargestellten kalibrierten monokularen Kamera 2, wobei die Einbaulage der Kamera im Fahrzeug bekannt ist. Für die Schätzung von 3D-Punkten im Schritt 11 wird ein Structure-from-Motion-Verfahren (SfM) verwendet. Es schätzt fortlaufend die Raumposition von 3D-Punkten der Szene relativ zur Kamera und gibt die Umfelddaten als 3D-Punkte 12 aus. In einer zweistufigen Vorselektion mit den Schritten 13 und 14 werden zunächst solche 3D-Punkte ausgewählt, die zur Fahrbahn gehören könnten.The input size of in 2 The illustrated method for classifying 3D points in points of the roadway and those of obstacles is the current image 10 a picture sequence of in 1 illustrated calibrated monocular camera 2 , wherein the mounting position of the camera in the vehicle is known. For the estimation of 3D points in the step 11 a structure-from-motion (SfM) method is used. It continuously estimates the spatial position of 3D points of the scene relative to the camera and outputs the surrounding data as 3D points 12 out. In a two-step preselection with the steps 13 and 14 First of all, 3D points that could belong to the roadway are selected.

Dabei erfolgt in einem ersten Vorselektionsschritt 13 eine Selektion der 3D-Punkte 12 entsprechend ihrer horizontalen Koordinate. Es werden also nur 3D-Punkte betrachtet, deren horizontale Koordinate innerhalb des in 1 dargestellten rechteckigen Bereichs 3 vor der Kamera 2 liegen. Dabei kann der rechteckige Bereich eine Länge von 10 m und eine Breite von 4 m haben.This takes place in a first preselection step 13 a selection of 3D points 12 according to their horizontal coordinates. Only 3D points whose horizontal coordinate within the in 1 illustrated rectangular area 3 in front of the camera 2 lie. The rectangular area may have a length of 10 m and a width of 4 m.

Die in Schritt 13 vorselektierten 3D-Punkte werden in dem nachfolgenden Schritt 14 anhand ihrer vertikalen Koordinate weiter selektiert. Dazu wird eine untere und obere Grenze vorgegeben und nur 3D-Punkte innerhalb dieser vorgegebenen Grenzen ausgewählt. Zur Durchführung dieser zweiten Selektion wird beispielsweise der Median der vertikalen Komponente der vorselektierten 3D-Punkte berechnet und die 3D-Punkte, deren vertikale Komponente den Median um 50% übersteigt oder deren vertikale Komponente den Median um 10% unterschreitet, werden zur Schätzung der Fahrbahnebene nicht verwendet, d. h. gehören nicht zur Menge der zur Ebenenschätzung herangezogenen 3D-Punkte. Anstelle des Median-Kriteriums können andere Verfahren, wie beispielsweise eine ähnliche Betrachtung anhand des arithmetischen Mittels der vertikalen Komponente, verwendet werden.The in step 13 preselected 3D points are used in the subsequent step 14 selected on the basis of their vertical coordinates. For this purpose, a lower and upper limit is specified and only 3D points within these specified limits are selected. To carry out this second selection is For example, if the median of the vertical component of the preselected 3D points is calculated and the 3D points whose vertical component exceeds the median by 50% or whose vertical component falls below the median by 10% are not used to estimate the road plane, ie, do not belong to Amount of 3D points used for plane estimation. Instead of the median criterion, other methods such as a similar consideration based on the arithmetic mean of the vertical component may be used.

Diese in den Schritten 13 und 14 ausgewählten 3D-Punkte werden zur Schätzung der Fahrbahnebene EF herangezogen, wobei die Fahrbahnebene EF im Schritt 15 wird mit der Methode der kleinsten Quadrate bestimmt:

Figure 00070001
wobei
Figure 00070002
der Abstand eines 3D-Punktes
Figure 00070003
zur Ebene EF ist.This in the steps 13 and 14 selected 3D points are used to estimate the road plane E F , wherein the road plane E F in step 15 is determined by the least squares method:
Figure 00070001
in which
Figure 00070002
the distance of a 3D point
Figure 00070003
to the plane E F is.

Mit dem auf der Ebene EF liegenden Mittelwertes oder Schwerpunktes

Figure 00070004
der 3D-Punkte
Figure 00070005
der wie folgt definiert ist:
Figure 00070006
werden die mittelwertbefreiten 3D-Punkte
Figure 00070007
in eine Matrix P zusammengefasst, die wie folgt definiert ist:
Figure 00070008
With the mean or center of gravity at E F level
Figure 00070004
the 3D points
Figure 00070005
which is defined as follows:
Figure 00070006
become the mean-value-released 3D points
Figure 00070007
summarized in a matrix P, which is defined as follows:
Figure 00070008

Mit den Gleichungen 2 und 3 sowie dem Normalenvektor

Figure 00070009
der Ebene EF kann die Gleichung 1 wie folgt dargestellt werden:
Figure 00080001
With equations 2 and 3 and the normal vector
Figure 00070009
the plane E F , the equation 1 can be represented as follows:
Figure 00080001

Mit der Randbedingung

Figure 00080002
folgt ein Schätzwert für den Normalenvektor
Figure 00080003
der Ebene zu
Figure 00080004
With the boundary condition
Figure 00080002
follows an estimate for the normal vector
Figure 00080003
the plane too
Figure 00080004

Somit ist

Figure 00080005
der normierte Eigenvektor zum kleinsten Eigenwert von
Figure 00080006
und die Ausgleichsebene lautet in der Hesse-Normalform:
Figure 00080007
Thus is
Figure 00080005
the normalized eigenvector to the smallest eigenvalue of
Figure 00080006
and the level of compensation in the Hesse normal form is:
Figure 00080007

Nach dem Schritt 15 liegt daher eine Schätzung der Fahrbahnebene EF vor.After the step 15 Therefore, an estimate of the road plane E F is available.

Anschließend kann in Schritt 16 eine Klassifikation aller 3D-Punkte 12 mit Hilfe der Fahrbahnschätzung erfolgen. Beispielsweise können alle gemessenen 3D-Punkte, die einen Mindestabstand 17 zur geschätzten Fahrbahnebene EF unterschreiten, der Fahrbahnebene zugeordnet werden und werden als zur Fahrbahnebene gehörige 3D-Punkte 18 ausgegeben. Die übrigen 3D-Punkte werden als 3D-Punkte 19 von Hindernissen klassifiziert. Als Mindestabstand kann beispielsweise eine Schwelle zwischen 300 mmm und 400 mm, insbesondere von 350 mm, verwendet werden. Subsequently, in step 16 a classification of all 3D points 12 done with the help of the roadway estimation. For example, all measured 3D points that have a minimum distance 17 to the estimated lane plane E F be assigned to the lane plane and are as belonging to the lane level 3D points 18 output. The remaining 3D points are called 3D points 19 classified by obstacles. As a minimum distance, for example, a threshold between 300 mm and 400 mm, in particular 350 mm, can be used.

Die zur Fahrbahnebene gehörenden 3D-Punkte 18 können einem Gedächtnisspeicher 20 zugeführt werden. Zur Stabilisierung der Fahrbahnebenenschätzung im Schritt 15 kann diese Punktmenge 18 zusätzlich mit den aktuellen 3D-Punkten der Vorselektion zur Fahrbahnebenenschätzung im Schritt 15 verwendet werden. Dabei werden die 3D-Punkte 18 aus dem Gedächtnisspeicher 20 gelöscht, wenn sie sich hinter der Kamera 2 und nicht mehr unter dem Fahrzeug 1 befinden. Es ist auch möglich, den Bereich hinter der Kamera auf einen Bereich von ca. 2 m unter dem Fahrzeug zu begrenzen.The 3D points belonging to the roadway level 18 can a memory store 20 be supplied. To stabilize the road level estimation in step 15 can this point set 18 additionally with the current 3D points of the preselection for the road level estimation in the step 15 be used. This will be the 3D points 18 from the memory store 20 deleted when she is behind the camera 2 and not under the vehicle anymore 1 are located. It is also possible to limit the area behind the camera to a range of about 2 m below the vehicle.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
Kameracamera
33
rechteckiger Bereich vor dem Fahrzeugrectangular area in front of the vehicle
44
Fahrtrichtungdirection of travel
1010
Kamerabildcamera image
1111
Schätzung von Kamerabewegung und 3D-PunktenEstimation of camera movement and 3D points
1212
3D-Punkte3D points
1313
Vorselektion nach horizontaler KomponentePreselection according to horizontal component
1414
Vorselektion nach vertikaler KomponentePreselection for vertical component
1515
Ebenenschätzungplane estimation
1616
Klassifikation Fahrbahn/HindernisseClassification roadway / obstacles
1717
Mindesthöheminimum height
1818
3D-Punkte der Fahrbahn3D points of the roadway
1919
3D-Punkte von Hindernissen3D points of obstacles
2020
Speicher für 3D-PunkteMemory for 3D points

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102008062708 A1 [0006] DE 102008062708 A1 [0006]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Artikel E. Wahl et. al.: ”Realisierung eines Parkassistenten basierend auf Motion-Stereo”, 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871–880 [0005] Article E. Wahl et. al .: "Implementation of a parking assistant based on motion stereo", 16th Aachen Colloquium Automotive and Engine Technology, 2007, pp. 871-880 [0005]

Claims (10)

Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs (1) aus Bildsequenzen einer Bilderfassungseinrichtung (2) des Kraftfahrzeugs (1), wobei das Verfahren die folgenden Schritte aufweist: Bestimmung von aktuellen 3D-Punkten des Umfeldes des Kraftfahrzeugs aus dem aktuellen Bild (10) einer Bildsequenz der Bilderfassungseinrichtung (2), Durchführen einer ersten Selektion der aktuellen 3D-Punkte hinsichtlich der horizontalen Komponente zum Erhalt einer vorselektierten Menge aktueller 3D-Punkte, Durchführen einer zweiten Selektion innerhalb der ersten Selektionsmenge hinsichtlich der vertikalen Komponente zum Erhalt einer selektierten Menge aktueller 3D-Punkte, und Schätzung der aktuellen Fahrbahnebene zumindest anhand der selektierten Menge aktueller 3D-Punkte.Method for the continuous estimation of the road surface of a motor vehicle ( 1 ) from image sequences of an image capture device ( 2 ) of the motor vehicle ( 1 ), the method comprising the following steps: determination of current 3D points of the surroundings of the motor vehicle from the current image ( 10 ) an image sequence of the image capture device ( 2 ), Performing a first selection of the current 3D points with respect to the horizontal component to obtain a preselected set of current 3D points, performing a second selection within the first selection set with respect to the vertical component to obtain a selected amount of current 3D points, and estimating the current road level at least based on the selected amount of current 3D points. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die aktuellen 3D-Punkte, deren Abstand zur geschätzten Fahrbahnebene kleiner als ein vorgegebener Mindestabstand ist, als 3D-Punkte (18) der Fahrbahnebene klassifiziert werden.A method according to claim 1, characterized in that the current 3D points whose distance to the estimated road plane is less than a predetermined minimum distance, as 3D points ( 18 ) of the road level. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die als Fahrbahnpunkte klassifizierten 3D-Punkte (18) zumindest des vorherigen Bildes zur aktuellen Schätzung der Fahrbahnebene verwendet werden.Method according to Claim 2, characterized in that the 3D points classified as track points ( 18 ) of at least the previous image are used for the current estimate of the roadway level. Verfahren nach einem der vorangegangene Ansprüche, dadurch gekennzeichnet, dass die aktuellen 3D-Punkte des Umfeldes des Kraftfahrzeugs (1) mittels eines Structure-from-Motion-Verfahrens erzeugt werden.Method according to one of the preceding claims, characterized in that the current 3D points of the environment of the motor vehicle ( 1 ) are generated by means of a structure-from-motion method. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zur Durchführung der ersten Selektion die horizontale Komponente der aktuellen 3D-Punkte auf einen rechteckigen Bereich (3) vor der Bilderfassungseinrichtung (2) begrenzt wird.Method according to one of the preceding claims, characterized in that in order to carry out the first selection, the horizontal component of the current 3D points is focused on a rectangular area ( 3 ) in front of the image capture device ( 2 ) is limited. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Durchführung der zweiten Selektion die vertikale Komponente der 3D-Punkte der vorselektierten Menge auf einen Bereich innerhalb einer vorgegebenen oberen und einer vorgegebenen unteren Grenze beschränkt wird.A method according to claim 5, characterized in that for carrying out the second selection, the vertical component of the 3D points of the preselected amount is limited to a range within a predetermined upper and a predetermined lower limit. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Schätzung der Fahrbahnebene nach der Methode der kleinsten Quadrate durchgeführt wird.Method according to one of the preceding claims, characterized in that the estimation of the road surface is carried out according to the least squares method. Verfahren zur Klassifikation von 3D-Punkten einer Umgebung eines sich bewegenden Kraftfahrzeugs (1) in 3D-Punkte (18) der Fahrbahn auf der sich das Kraftfahrzeug bewegt und in 3D-Punkte (19) von Hindernissen im Fahrweg des Kraftfahrzeugs unter Verwendung des Verfahrens zur kontinuierlichen Schätzung der Fahrbahnebene nach einem der vorangegangenen Ansprüche, wobei aktuelle 3D-Punkte als Hindernisse klassifiziert werden, wenn deren Abstand zur geschätzten Fahrbahnebene größer oder gleich einem vorgegebenen Mindestabstand ist, und aktuelle 3D-Punkte als zur Fahrbahn gehörend klassifiziert werden, wenn deren Abstand zur geschätzten Fahrbahnebene kleiner als der vorgegebene Mindestabstand ist.Method for classifying 3D points of an environment of a moving motor vehicle ( 1 ) in 3D points ( 18 ) of the roadway on which the motor vehicle is moving and in 3D points ( 19 ) of obstacles in the travel path of the motor vehicle using the method for continuously estimating the road surface according to one of the preceding claims, wherein current 3D points are classified as obstacles, if their distance to the estimated road plane is greater than or equal to a predetermined minimum distance, and current 3D Points are classified as belonging to the roadway, if their distance from the estimated road surface is less than the predetermined minimum distance. Vorrichtung zur kontinuierlichen Schätzung der Fahrbahnebene unter Verwendung des Verfahren zur kontinuierlichen Schätzung der Fahrbahnebene eines Kraftfahrzeugs (1) nach einem der Ansprüche 1 bis 7, mit einer Bilderfassungseinrichtung (2) zur Erfassung einer Bildsequenz der Kraftfahrzeugumgebung einer Einrichtung zur Bestimmung von aktuellen 3D-Punkten der Kraftfahrzeugumgebung aus dem aktuellen Bild der Bildsequenz, einer Einrichtung zur Durchführung einer zweistufigen Selektion der aktuellen 3D-Punkte anhand der vertikalen und der horizontalen Koordinate zur Bestimmung einer selektierten Menge aktueller 3D-Punkte, und einer Schätzeinrichtung zur Schätzung der Fahrbahnebene.Apparatus for continuously estimating the road surface using the method of continuously estimating the road surface of a motor vehicle ( 1 ) according to one of claims 1 to 7, with an image capture device ( 2 ) for detecting an image sequence of the automotive environment of a device for determining current 3D points of the automotive environment from the current image of the image sequence, means for performing a two-stage selection of the current 3D points using the vertical and horizontal coordinates to determine a selected amount of current 3D points, and an estimator for estimating the level of the road. Vorrichtung zur Klassifikation von 3D-Punkten unter Verwendung der Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass die Vorrichtung eine Klassifikationseinrichtung zur Klassifikation der aktuellen 3D-Punkte in 3D-Punkte (18), die zur geschätzten Fahrbahn gehören, und 3D-Punkte (19), die zu Hindernissen gehören, sowie eine Gedächtnisspeicher zur Speicherung der zur Fahrbahn gehörenden aktuellen 3D-Punkte aufweist.Device for classifying 3D points using the device according to claim 9, characterized in that the device has a classification device for classifying the current 3D points into 3D points ( 18 ), which belong to the estimated roadway, and 3D points ( 19 ), which belong to obstacles, and a memory memory for storing the road belonging to the current 3D points has.
DE102011118171A 2011-11-10 2011-11-10 Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device Ceased DE102011118171A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011118171A DE102011118171A1 (en) 2011-11-10 2011-11-10 Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011118171A DE102011118171A1 (en) 2011-11-10 2011-11-10 Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device

Publications (1)

Publication Number Publication Date
DE102011118171A1 true DE102011118171A1 (en) 2013-05-16

Family

ID=48145015

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011118171A Ceased DE102011118171A1 (en) 2011-11-10 2011-11-10 Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device

Country Status (1)

Country Link
DE (1) DE102011118171A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015115352A1 (en) 2015-09-11 2017-03-16 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system and motor vehicle
DE102016109850A1 (en) 2016-05-30 2017-11-30 Valeo Schalter Und Sensoren Gmbh Method for detecting an inclination in a roadway of a motor vehicle, driver assistance system and motor vehicle
DE102016110461A1 (en) 2016-06-07 2017-12-07 Connaught Electronics Ltd. Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle
WO2018050224A1 (en) 2016-09-15 2018-03-22 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system as well as motor vehicle
EP3675041A1 (en) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining road information, and vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062708A1 (en) 2008-03-28 2009-10-01 Volkswagen Ag Method for determining the road level of a parking space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008062708A1 (en) 2008-03-28 2009-10-01 Volkswagen Ag Method for determining the road level of a parking space

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Artikel E. Wahl et. al.: "Realisierung eines Parkassistenten basierend auf Motion-Stereo", 16. Aachener Kolloquium Fahrzeug- und Motorentechnik, 2007, S. 871-880

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015115352A1 (en) 2015-09-11 2017-03-16 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system and motor vehicle
DE102016109850A1 (en) 2016-05-30 2017-11-30 Valeo Schalter Und Sensoren Gmbh Method for detecting an inclination in a roadway of a motor vehicle, driver assistance system and motor vehicle
DE102016109850B4 (en) 2016-05-30 2024-01-11 Valeo Schalter Und Sensoren Gmbh Method for detecting an inclination in a roadway of a motor vehicle, driver assistance system and motor vehicle
DE102016110461A1 (en) 2016-06-07 2017-12-07 Connaught Electronics Ltd. Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle
WO2018050224A1 (en) 2016-09-15 2018-03-22 Connaught Electronics Ltd. Method for determining a plane of a roadway, driver assistance system as well as motor vehicle
EP3675041A1 (en) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining road information, and vehicle
US11106921B2 (en) 2018-12-29 2021-08-31 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining road information, and vehicle

Similar Documents

Publication Publication Date Title
DE102014222617B4 (en) Vehicle detection method and vehicle detection system
DE102008001363B4 (en) A method of detecting a parking area using a distance sensor
DE102016122190A1 (en) Stixel estimation methods and systems
EP3038011B1 (en) Method for determining the distance between an object and a motor vehicle by means of a monocular imaging device
DE102011078615B4 (en) OBJECT DETECTION DEVICE AND OBJECT DETECTION PROGRAM
WO2015173092A1 (en) Method and apparatus for calibrating a camera system in a motor vehicle
DE112014003818T5 (en) Object estimator and object estimation method
DE102013205854B4 (en) Method for detecting a free path using temporary coherence
DE102016202594A1 (en) Method and device for interpreting a vehicle environment of a vehicle and vehicle
DE102018123861A1 (en) Target estimator
DE102016104730A1 (en) Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102018203590A1 (en) Surroundview system with adapted projection surface
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102017109445A1 (en) Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction
DE102011118171A1 (en) Method for continuous estimation of driving surface plane of motor vehicle, involves determining current three-dimensional points of surrounding of motor vehicle from current image of image sequence of image capture device
DE102013012930A1 (en) Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
WO2014009406A1 (en) Method and device for calculating a change in an image scale of an object
DE102019218479A1 (en) Method and device for classifying objects on a roadway in the surroundings of a vehicle
DE102009028742A1 (en) Method and control device for determining a movement information of an object
DE112020000325T5 (en) Estimation of trailer properties with vehicle sensors
WO2019162327A2 (en) Method for determining a distance between a motor vehicle and an object
DE102022003366A1 (en) Method and device for determining the distance from a vehicle to a vehicle to an object using a monocular camera
DE102007033735A1 (en) Method for detecting vehicle that follows another vehicle, involves recording images of situation of surroundings behind vehicle by rearward-facing camera
DE102017217140A1 (en) Method and device for driving a driver assistance system using a stereo camera system with a first and a second camera

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R163 Identified publications notified

Effective date: 20141204

R012 Request for examination validly filed

Effective date: 20141217

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final