DE102020003094A1

DE102020003094A1 - Method for determining vehicle inclination for a vehicle in the vehicle longitudinal direction, control device and vehicle

Info

Publication number: DE102020003094A1
Application number: DE102020003094.7A
Authority: DE
Inventors: Christian Schneider; Jürgen Römer; Tobias Zolg
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-05-22
Filing date: 2020-05-22
Publication date: 2020-08-13

Abstract

Die Erfindung betrifft ein Verfahren zur Fahrzeugneigungsbestimmung für ein Fahrzeug (1) in Fahrzeuglängsrichtung, wobei ein optischer Sensor (3) des Fahrzeugs (1) verwendet wird, und wobei folgende Verfahrensschritte ausgeführt werden:a) Erfassen eines Bildes des optischen Sensors (3),b) Detektion von Spurmarkierungen (5) und/oder Spurbegrenzungen (7) in dem gemäß Verfahrensschritt a) erfassten Bild,c) Bestimmung eines Fahrzeugfluchtpunkts (9) in Abhängigkeit der gemäß Verfahrensschritt b) detektierten Spurmarkierungen (5) und/oder Spurbegrenzungen (7),d) Detektion von parallelen Strukturen (7) in einer Umgebung (13) des Fahrzeugs (1) in dem gemäß Verfahrensschritt a) erfassten Bild,e) Bestimmung eines Umgebungsfluchtpunkts (15) in Abhängigkeit der gemäß Verfahrensschritt d) detektierten parallelen Strukturen (11) der Umgebung (13) des Fahrzeugs (1),f) Berechnung eines orthogonalen Fluchtpunkt-Offsets zwischen dem Fahrzeugfluchtpunkt (9) und dem Umgebungsfluchtpunkt (15), wobei dieser als Fahrzeugfluchtpunkt-Offset bezeichnet wird,g) Berechnung einer aktuellen Fahrbahnneigung mittels eines Vergleichs des gemäß Verfahrensschritt f) berechneten Fahrzeugfluchtpunkt-Offsets mit einem vorgebbaren Bodenwirklichkeitsfluchtpunkt-Offset.The invention relates to a method for determining the vehicle inclination for a vehicle (1) in the longitudinal direction of the vehicle, an optical sensor (3) of the vehicle (1) being used and the following method steps being carried out: a) capturing an image of the optical sensor (3), b) Detection of lane markings (5) and / or lane boundaries (7) in the image captured according to method step a), c) Determination of a vehicle vanishing point (9) as a function of the lane markings (5) and / or lane boundaries (7) detected according to method step b) ), d) Detection of parallel structures (7) in an environment (13) of the vehicle (1) in the image captured according to method step a), e) Determination of an environmental vanishing point (15) as a function of the parallel structures detected according to method step d) ( 11) the surroundings (13) of the vehicle (1), f) calculation of an orthogonal vanishing point offset between the vehicle vanishing point (9) and the surrounding vanishing point (15), this is referred to as the vehicle vanishing point offset, g) calculation of a current roadway inclination by means of a comparison of the vehicle vanishing point offset calculated in accordance with method step f) with a specifiable ground reality vanishing point offset.

Description

Die Erfindung betrifft ein Verfahren zur Fahrzeugneigungsbestimmung für ein Fahrzeug in Fahrzeuglängsrichtung, eine Steuervorrichtung sowie ein Fahrzeug.The invention relates to a method for determining the vehicle inclination for a vehicle in the vehicle longitudinal direction, a control device and a vehicle.

Die Bestimmung einer Fahrzeugneigung eines Fahrzeugs, insbesondere eines autonom fahrenden Fahrzeugs, ist für viele Assistenzsysteme wie auch für ein vollständig autonom fahrendes Fahrzeug von erheblicher Bedeutung. Insbesondere ist es wichtig, dass eine solche Information zu jeder Zeit und insbesondere redundant zur Verfügung steht und bestimmt werden kann.The determination of a vehicle inclination of a vehicle, in particular an autonomously driving vehicle, is of considerable importance for many assistance systems as well as for a completely autonomous vehicle. In particular, it is important that such information is available and can be determined at all times and in particular redundantly.

Es ist aus dem Stand der Technik bekannt, dass mittels Auswertung einer existierenden Fahrwerkssensorik eines Fahrzeugs die Fahrzeugneigung des Fahrzeugs bestimmt werden kann.It is known from the prior art that the vehicle inclination of the vehicle can be determined by evaluating an existing chassis sensor system of a vehicle.

Zudem ist, wie schon erwähnt, eine Redundanz wichtig, wodurch ein Fahrzeug mit verschiedenen Assistenzsystemen oder ein autonom fahrendes Fahrzeug auf alternativen Wegen in der Lage ist, eine Fahrzeugneigung in Fahrzeuglängsrichtung zu bestimmen.In addition, as already mentioned, redundancy is important, as a result of which a vehicle with different assistance systems or an autonomously driving vehicle is able to determine a vehicle inclination in the vehicle's longitudinal direction in alternative ways.

Aus der europäischen Offenlegungsschrift EP 26 94 344 A1 ist ein Verfahren und ein System zur Schätzung einer Straßenneigung A unter Verwendung einer Sensorfusion bekannt. In der europäischen Offenlegungsschrift wird festgestellt, ob mindestens ein dynamischer Prozess auf das Fahrzeug einwirkt. Die Schätzungen der Steigung A wird dann mittels der Sensorfusion durch gemeinsame Gewichtung von mindestens zwei Eingangssignalen der Sensorfusion durchgeführt. Die mindestens zwei Eingangssignale umfassen ein Eingangssignal, das auf einem Beschleunigungsmesser basiert, und ein Eingangssignal, das auf mindestens einer Kraftgleichung basiert. Mindestens eines der mindestens zwei Eingangssignale und/oder mindestens ein Wichtungsparameter für die Sensorverschmelzung werden auf der Grundlage der Erfassung, ob der mindestens eine dynamische Prozess des Fahrzeugs beeinflusst wird, bestimmt.From the European published application EP 26 94 344 A1 a method and a system for estimating a road slope A using sensor fusion is known. In the European patent application it is determined whether at least one dynamic process acts on the vehicle. The estimation of the slope A is then carried out by means of the sensor fusion by joint weighting of at least two input signals of the sensor fusion. The at least two input signals include an input signal based on an accelerometer and an input signal based on at least one force equation. At least one of the at least two input signals and / or at least one weighting parameter for the sensor fusion are determined on the basis of the detection of whether the at least one dynamic process of the vehicle is being influenced.

Zudem ist aus der europäischen Offenlegungsschrift EP 30 55 179 A2 ein Verfahren zum Ermitteln der Steigung einer in einer Entfernung vor einem Fahrzeug liegenden Fahrbahn relativ zu dem gerade von dem Fahrzeug befahrenen Fahrbahnstück bekannt, wobei Bilder der vor dem Kraftfahrzeug liegenden Fahrbahn mittels einer Kamera aufgenommen werden, in den aufgenommenen Bildern Fahrbahnverlaufslinien vor dem Fahrzeug erkannt werden und anhand von Richtungsunterschieden der Fahrbahnverlaufslinien in unterschiedlichen Entfernungen die relative Steigung berechnet wird. Es werden die Fahrbahnverlaufslinien jeweils in ihrer Gesamtheit nicht linear zu einem Horizont der in einer Entfernung vor dem Kraftfahrzeug liegenden Fahrzeug interpoliert, der Abstand zwischen dem so erhaltenen Horizont des Fahrbahnverlaufs und einem Horizont des gerade befahrenen Fahrbahnstücks wird berechnet, und aus dem Abstand der beiden Horizonte voneinander wird die relative Steigung berechnet.In addition, is from the European patent application EP 30 55 179 A2 a method for determining the gradient of a road ahead of a vehicle at a distance relative to the section of road the vehicle is currently traveling on is known, with images of the road ahead of the motor vehicle being recorded by means of a camera and lane lines in front of the vehicle being recognized in the recorded images and the relative gradient is calculated on the basis of differences in direction of the roadway lines at different distances. The lane lines in their entirety are interpolated non-linearly with respect to a horizon of the vehicle at a distance in front of the motor vehicle, the distance between the horizon of the lane thus obtained and a horizon of the section of lane being traveled is calculated, and from the distance between the two horizons of each other the relative slope is calculated.

Zudem ist es aus der koreanischen Patentanmeldung mit der Patentanmeldungsnummer 10 2017 017 352 eine Methode zur Schätzung einer Straßenneigung auf der Grundlage einer Stereokamera bekannt, die die Neigung einer Straße im Voraus schätzt, um die geschätzte Neigung aktiv zur Fahrbahnregelung eines Fahrzeugs zu nutzen, sowie ein System dafür bereitzustellen. Ferner umfasst das koreanische Dokument ein Verfahren zum Schätzen einer Straßenneigung, welches die folgenden Schritte umfasst: Verwendung einer Stereokamera zum Extrahieren von Tiefeninformation über eine vordere Straße; und Schätzen von Neigungsinformationen der Straße auf der Grundlage der Extrahierten Tiefeninformationen. Dementsprechend können die Gradienteninformationen einer Straße während der Fahrt im Voraus für das Vorhandensein/Fehlen einer Fahrbahnschwelle, die Höhe der Fahrbahnschwelle, das Vorhandensein/Fehlen eines Schlaglochs, die Höhe des Schlaglochs, die Neigung einer ansteigenden Straße, die Neigung einer abfallenden Straße und dergleichen geschätzt werden, um eine aktive Fahrwerksregelung auf der Grundlage der Gradienteninformationen zu verwenden und dadurch die Stabilität und den Fahrkomfort eines Fahrzeugs zu erhöhen.It is also from the Korean patent application with patent application number 10 2017 017 352 a method for estimating a road inclination on the basis of a stereo camera is known which estimates the inclination of a road in advance in order to actively use the estimated inclination for controlling the roadway of a vehicle, and to provide a system therefor. The Korean document further comprises a method for estimating a road slope, comprising the steps of: using a stereo camera to extract depth information about a road ahead; and estimating slope information of the road based on the extracted depth information. Accordingly, the gradient information of a road while traveling can be estimated in advance for the presence / absence of a threshold, the height of the threshold, the presence / absence of a pothole, the height of the pothole, the slope of an uphill road, the slope of a downhill road, and the like to use an active chassis control based on the gradient information and thereby increase the stability and driving comfort of a vehicle.

Darüber hinaus ist der deutschen Offenlegungsschrift DE 10 2017 217 008 A1 ein Verfahren zum Ermitteln einer Steigung einer Fahrbahn, auf welcher sich ein Fahrzeug befindet, zu entnehmen, wobei das Verfahren die folgenden Schritte aufweist: Einlesen von von einem Bildsensor gelieferten Bilddaten einer Umgebung des Fahrzeugs, Ermitteln eines definierten Referenzobjekts in der Umgebung des Fahrzeugs aus den Bilddaten, Ermitteln einer Winkelbeziehung zwischen den Referenzobjekten und der Umgebung, Abschätzen der Steigung der Fahrbahn auf Basis der ermittelten Winkelbeziehung, und Bereitstellen eines die Steigungen der Fahrbahn repräsentierenden Signals. Ferner ist dieser deutschen Offenlegungsschrift eine entsprechend eingerichtete Vorrichtung zum Durchführen des genannten Verfahrens zu entnehmen.In addition, the German Offenlegungsschrift DE 10 2017 217 008 A1 a method for determining an incline of a roadway on which a vehicle is located, the method comprising the following steps: reading in image data of the surroundings of the vehicle supplied by an image sensor, determining a defined reference object in the surroundings of the vehicle from the Image data, determining an angular relationship between the reference objects and the environment, estimating the gradient of the road based on the determined angular relationship, and providing a signal representing the gradient of the road. Furthermore, a correspondingly set up device for carrying out the method mentioned can be found in this German laid-open specification.

Es verbleibt jedoch das Problem, dass auf Basis eines Bildes beziehungsweise eines Bildstromes eines optischen Sensors kein Verfahren zur Verfügung steht, mit welchem zuverlässig und reproduzierbar eine Fahrzeugneigung ermittelt werden kann.However, the problem remains that on the basis of an image or an image stream from an optical sensor there is no method available with which a vehicle inclination can be determined reliably and reproducibly.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Fahrzeugneigungsbestimmung für ein Fahrzeug in Fahrzeuglängsrichtung, eine Steuervorrichtung sowie ein Fahrzeug zu schaffen, wobei die genannten Nachteile nicht auftreten. The invention is therefore based on the object of creating a method for determining the vehicle inclination for a vehicle in the longitudinal direction of the vehicle, a control device and a vehicle, the disadvantages mentioned not occurring.

Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten bevorzugten Ausführungsformen und Ausführungsbeispiele.The object is achieved in that the present technical teaching is provided, in particular the teaching of the independent claims and of the preferred embodiments and exemplary embodiments disclosed in the dependent claims and the description.

Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Fahrzeugneigungsbestimmung für ein Fahrzeug in Fahrzeuglängsrichtung geschaffen wird, wobei ein optischer Sensor des Fahrzeugs verwendet wird, und wobei folgende Verfahrensschritte ausgeführt werden:

a) Erfassen eines Bildes, insbesondere eines Bildstroms, des optischen Sensors,
b) Detektion von Spurmarkierungen und/oder Spurbegrenzungen in dem gemäß Verfahrensschritt a) erfassten Bild, insbesondere Bildstrom,
c) Bestimmung eines Fahrzeugfluchtpunkts in Abhängigkeit der gemäß Verfahrensschritt b) detektierten Spurmarkierung und/oder Spurbegrenzungen,
d) Detektion von parallelen Strukturen in einer Umgebung des Fahrzeugs in dem gemäß Verfahrensschritt a) erfassen Bild, insbesondere Bildstrom,
e) Bestimmung eines Umgebungsfluchtpunkts in Abhängigkeit der gemäß Verfahrensschritt d) detektieren parallelen Strukturen der Umgebung des Fahrzeugs,
f) Berechnung eines orthogonalen Fluchtpunkts-Offset zwischen dem Fahrzeugfluchtpunkt und dem Umgebungsfluchtpunkt, wobei dieser als Fahrzeugfluchtpunkt-Offset bezeichnet wird,
g) Berechnung einer aktuellen Fahrbahnneigung mittels eines Vergleichs des gemäß Verfahrensschritt f) berechneten Fahrzeugfluchtpunkt-Offsets mit einem vorgebbaren Bodenwirklichkeitsfluchtpunkt-Offset.

The object is achieved in particular by creating a method for determining the vehicle inclination for a vehicle in the longitudinal direction of the vehicle, using an optical sensor of the vehicle, and performing the following method steps:

a) capturing an image, in particular an image stream, of the optical sensor,
b) Detection of lane markings and / or lane delimitations in the image captured according to method step a), in particular image stream,
c) Determination of a vehicle vanishing point as a function of the lane markings and / or lane boundaries detected according to method step b),
d) Detection of parallel structures in the surroundings of the vehicle in the image acquired according to method step a), in particular image stream,
e) Determination of an environmental vanishing point as a function of the parallel structures of the surroundings of the vehicle detected according to method step d),
f) Calculation of an orthogonal vanishing point offset between the vehicle vanishing point and the surrounding vanishing point, this being referred to as the vehicle vanishing point offset,
g) Calculation of a current road inclination by means of a comparison of the vehicle vanishing point offset calculated in accordance with method step f) with a specifiable ground reality vanishing point offset.

Der besondere Vorteil des Verfahrens liegt darin, dass insbesondere in Verfahrensschritt c) nur definierte Strukturen, welche insbesondere der Manhattan-Annahme folgen, zur Analyse herangezogen werden. Zudem ist es für das Verfahren ausreichend, dass lediglich ein einziges Bild eines Bildstromes ausgewertet wird. Ferner ist das Verfahren auch unter alleiniger Berücksichtigung eines Monokamerasystems funktionsfähig, weswegen keine Sensorfusion notwendig ist. Darüber hinaus ist das Verfahren unabhängig von einem Beladezustand des Fahrzeugs, das heißt insbesondere, dass das Verfahren unabhängig auch von einer Gewichtsverteilung innerhalb des Fahrzeugs ist. Dies wird insbesondere dadurch erreicht, dass bei einer Kalibrierung des optischen Sensors ein Neigungsausgleich durchgeführt wird. Zudem ist das Verfahren auch unabhängig von einem Anlaufverhalten eines Motors des Fahrzeugs.The particular advantage of the method is that, in particular in method step c), only defined structures which in particular follow the Manhattan assumption are used for the analysis. In addition, it is sufficient for the method that only a single image of an image stream is evaluated. Furthermore, the method is also functional if only a mono camera system is taken into account, which is why no sensor fusion is necessary. In addition, the method is independent of a loading state of the vehicle, that is to say in particular that the method is also independent of a weight distribution within the vehicle. This is achieved in particular in that an inclination compensation is carried out when calibrating the optical sensor. In addition, the method is also independent of a start-up behavior of an engine of the vehicle.

Mit anderen Worten kann durch das erfindungsgemäße Verfahren eine optische sensorgestützte Fahrzeugneigungsdetektion des Fahrzeugs erreicht werden. Für den optischen Sensor werden insbesondere Kamerasysteme, wie beispielsweise NPC oder SVS, verwendet sowie Frontfluchtpunkte der vorausliegenden Fahrbahnmarkierungen und/oder Fahrbahnrandmarkierungen, wie beispielsweise eines Bordsteins, mit bekannten Algorithmen der Kantendetektion detektiert und interpoliert. Aus den gegebenen Merkmalen wird darauffolgend der korrespondierende Fluchtpunkt des Fahrzeugs berechnet. Weiterhin wird die aus der Bildverarbeitung bekannte Annahme des Manhattan-Frames angewendet, nach welcher eine Szene sich aus ebenen Oberflächen zusammensetzt, die jeweils zu einer von drei orthogonalen Richtungen ausgerichtet sind und demgemäß orthogonal zueinander orientiert sein müssen. Diese Annahme wird bevorzugt an Hausfassaden und Fenstern ersichtlich. Gemäß dem Verfahren ist vorzugsweise eine Detektion paralleler Strukturen vorgesehen, welche die Manhattan-Annahme erfüllen. Werden parallele Strukturen im Kamerabild detektiert, werden ebenso die Fluchtpunkte jener Strukturen detektiert (Umgebungsfluchtpunkt) und über die Auswertung des räumlichen Offsets dem vorgebbaren Bodenwirklichkeitsfluchtpunkt-Offsets zu Fahrzeugfluchtpunkt-Offset auf die Fahrbahnneigung geschlossen. Der Bodenwirklichkeitsfluchtpunkt-Offset kann beispielhaft durch einen Lookup-Table, welcher initial gestützt durch eine Referenzsensorik eingemessen wird, beschrieben werden. Hierauf wird später noch einmal eingegangen.In other words, the method according to the invention can be used to achieve an optical, sensor-supported vehicle inclination detection of the vehicle. For the optical sensor, camera systems, such as NPC or SVS, are used in particular, and front vanishing points of the road markings ahead and / or road edge markings, such as a curb, are detected and interpolated with known edge detection algorithms. The corresponding vanishing point of the vehicle is then calculated from the given features. Furthermore, the assumption of the Manhattan frame known from image processing is used, according to which a scene is composed of flat surfaces which are each aligned in one of three orthogonal directions and must accordingly be oriented orthogonally to one another. This assumption can be seen on house facades and windows. According to the method, a detection of parallel structures is preferably provided which meet the Manhattan assumption. If parallel structures are detected in the camera image, the vanishing points of those structures are also detected (environmental vanishing point) and the road inclination is deduced from the predefined ground reality vanishing point offset to vehicle vanishing point offset by evaluating the spatial offset. The ground reality vanishing point offset can be described, for example, by a lookup table, which is initially measured with the support of a reference sensor system. This will be discussed again later.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass bei der Detektion gemäß Verfahrensschritt b) oder d) eine Canny Edge-Detektion und/oder eine Hough Line-Interpolation angewendet oder durchgeführt wird. Hierdurch kann auf einfache Art und Weise auf aus der Bildbearbeitung bekannte Algorithmen zurückgegriffen werden.According to a further development of the invention, it is provided that in the detection according to method step b) or d) a Canny Edge detection and / or a Hough line interpolation is used or carried out. In this way, algorithms known from image processing can be used in a simple manner.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Bestimmung des Fahrzeugfluchtpunkts gemäß Verfahrensschritt c) und e) unter Berücksichtigung eines Hough-Umwandlungsraums, manchmal auch als Hough Transform Space bezeichnet, ausgeführt und/oder durchgeführt wird. Die Hough-Transformation erlaubt besonders vorteilhaft eine Extraktion von parallelen Linien, welche für eine Bestimmung eines Fluchtpunkts zwingend notwendig ist. Hierbei werden die extrahierten, parallelen Linien interpoliert und in einem projektiven Raum und/oder dem Hough-Umwandlungsraum geschnitten, wodurch die Fluchtpunkte extrahiert werden können.According to a development of the invention it is provided that the determination of the vehicle vanishing point according to method steps c) and e) is carried out and / or carried out taking into account a Hough transformation space, sometimes also referred to as Hough transform space. The Hough transformation particularly advantageously allows parallel lines to be extracted, which is absolutely necessary for determining a vanishing point. The extracted, parallel lines are interpolated and cut in a projective space and / or the Hough conversion space, whereby the vanishing points can be extracted.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Berechnung des orthogonalen Fluchtpunkt-Offsets eine orthogonale Distanz einer Bildebene, insbesondere einer Bildstromebene, des gemäß Verfahrensschritt a) erfassten Bildes, insbesondere Bildstroms, ausgeführt und/oder durchgeführt wird.According to a development of the invention, it is provided that the calculation of the orthogonal vanishing point offset is carried out and / or carried out for an orthogonal distance of an image plane, in particular an image stream plane, of the image acquired according to method step a), in particular an image stream.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für den Bodenwirklichkeitsfluchtpunkt-Offset eine Referenzkennlinie ermittelt, vorzugsweise durch eine Initialvermessung, wird. Die Referenzkennlinie dient insbesondere als Übertragungsfunktion zwischen einer Distanz auf projektiver Ebene und zur Steilheit im realen Raum. Der beschriebene Effekt kann neben der Ableitung aus einer Referenzkennlinie auch durch ein Modell und/oder eine Funktion ermittelt werden.According to a development of the invention it is provided that a reference characteristic curve is determined for the ground reality vanishing point offset, preferably by means of an initial measurement. The reference characteristic serves in particular as a transfer function between a distance on a projective level and the slope in real space. In addition to deriving it from a reference characteristic, the described effect can also be determined by a model and / or a function.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der vorgebbare Bodenwirklichkeitsfluchtpunkt-Offset in einem Verfahrensschritt 0) vor dem Verfahrensschritt a) vermessen wird, indem mittels einer Referenzsensorik des Fahrzeugs oder einer externen Sensorik im Vergleich zur Bodenwirklichkeit, manchmal auch als „ground truth“ bezeichnet, der Bodenwirklichkeitsfluchtpunkt-Offset vermessen wirdAccording to a further development of the invention it is provided that the predeterminable ground reality vanishing point offset is performed in one method step 0 ) is measured before method step a) by using a reference sensor system of the vehicle or an external sensor system to measure the ground reality vanishing point offset in comparison to the ground reality, sometimes also referred to as “ground truth”

Die Aufgabe wird insbesondere auch gelöst, indem eine Steuervorrichtung geschaffen wird, eingerichtet zur Durchführung eines Verfahrens gemäß der Erfindung oder eingerichtet zur Durchführung eines Verfahrens gemäß einer der zuvor genannten Ausführungsformen. In Zusammenhang mit der Steuervorrichtung verwirklichen sich insbesondere die Vorteile, welche schon in Zusammenhang mit dem Verfahren zur Fahrzeugneigungsbestimmung in Fahrzeuglängsrichtung für ein Fahrzeug erläutert wurden.The object is also achieved in particular in that a control device is created, set up to carry out a method according to the invention or set up to carry out a method according to one of the aforementioned embodiments. In connection with the control device, the advantages that have already been explained in connection with the method for determining the vehicle inclination in the vehicle longitudinal direction for a vehicle are realized in particular.

Die Aufgabe wird insbesondere auch gelöst, indem ein Fahrzeug geschaffen wird, aufweisend einen optischen Sensor sowie eine Steuervorrichtung gemäß der Erfindung oder sowie eine Steuervorrichtung gemäß dem zuvor genannten Ausführungsbeispiel. In Zusammenhang mit dem Fahrzeug ergeben sich insbesondere die Vorteile, welche schon in Zusammenhang mit dem Verfahren zur Fahrzeugneigungsbestimmung in Fahrzeuglängsrichtung für ein Fahrzeug oder der Steuervorrichtung erläutert wurden.The object is also achieved in particular by creating a vehicle having an optical sensor and a control device according to the invention or and a control device according to the aforementioned exemplary embodiment. In connection with the vehicle, there are in particular the advantages that have already been explained in connection with the method for determining the vehicle inclination in the longitudinal direction of the vehicle for a vehicle or the control device.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der optische Sensor als Kamera ausgebildet ist. Dies hat insbesondere den Vorteil, dass auf eine meist schon in dem Fahrzeug vorhandene Sensorik zurückgegriffen werden kann.According to a development of the invention it is provided that the optical sensor is designed as a camera. This has the particular advantage that it is possible to fall back on a sensor system that is usually already present in the vehicle.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Fahrzeug weiterhin eine Referenzsensorik aufweist, welche vorzugsweise als Beschleunigungssensor und/oder als Neigungssensor ausgebildet ist. Dies hat insbesondere den Vorteil, dass auf bereits schon häufig im Fahrzeug vorhandene Sensorik zurückgegriffen werden kann.According to a development of the invention it is provided that the vehicle furthermore has a reference sensor system, which is preferably designed as an acceleration sensor and / or as an inclination sensor. This has the particular advantage that it is possible to fall back on sensors that are already frequently present in the vehicle.

Ferner ist bevorzugt vorgesehen, dass der optische Sensor als MPC oder SVS ausgebildet ist.Furthermore, it is preferably provided that the optical sensor is designed as an MPC or SVS.

In Zusammenhang mit der vorliegenden Erfindung soll unter dem Begriff „MPC“ eine Multipixel Kamera, das heißt insbesondere eine Mono Kamera mit Normalobjektiv (FOV-30-60°), verstanden werden.In connection with the present invention, the term “MPC” should be understood to mean a multipixel camera, that is to say in particular a mono camera with a normal lens (FOV-30-60 °).

Des Weiteren soll in Zusammenhang mit der vorliegenden Erfindung unter dem Begriff „SVS“ ein Surround View System (dt. Rundumsichtsystem), das heißt insbesondere eine fusionierte FishEye Mono Kamera (FOV >110°), verstanden werden, wobei eine VP-Extraktion in einer fusionierten oder einer einzelnen Kameraperspektive möglich ist.Furthermore, in connection with the present invention, the term “SVS” is to be understood as a surround view system, that is to say in particular a fused FishEye mono camera (FOV> 110 °), with a VP extraction in one fused or a single camera perspective is possible.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.The invention is explained in more detail below with reference to the drawing.

Dabei zeigt:

1 in einer schematischen Darstellung einen Ablaufplan einer Ausführungsform des Verfahrens zur Fahrzeugneigungsbestimmung für ein Fahrzeug in Fahrzeuglängsrichtung,
2 in einer schematischen Darstellung die Vermessung eines Bodenwirklichkeitsfluchtpunkt-Offsets gemäß Verfahrensschritt 0),
3 in einer schematischen Darstellung die Detektion von Spurmarkierungen und/oder Spurbegrenzungen, wie es in Verfahrensschritt b) ausgeführt wird,
4 in einer schematischen Darstellung eine Detektion von parallelen Strukturen in einer Umgebung des Fahrzeugs, wie es der Verfahrensschritt d) bedingt,
5 in einer schematischen Darstellung eine Bestimmung eines Umgebungsfluchtpunkts gemäß Verfahrensschritt e),
6 in einer schematischen Darstellung die Berechnung eines orthogonalen Fluchtpunkt-Offsets zwischen dem Fahrzeugfluchtpunkt und dem Umgebungsfluchtpunkt gemäß Verfahrensschritt f).

It shows:

1 a schematic representation of a flow chart of an embodiment of the method for determining the vehicle inclination for a vehicle in the longitudinal direction of the vehicle,
2 in a schematic representation the measurement of a ground reality vanishing point offset according to the method step 0 ),
3 in a schematic representation the detection of lane markings and / or lane boundaries, as carried out in method step b),
4th In a schematic representation, a detection of parallel structures in the surroundings of the vehicle, as required by method step d),
5 in a schematic representation, a determination of an environmental vanishing point according to method step e),
6 in a schematic representation the calculation of an orthogonal vanishing point offset between the vehicle vanishing point and the surrounding vanishing point according to method step f).

Der 1 ist in einer schematischen Darstellung ein Ablaufplan eines Verfahrens zur Fahrzeugneigungsbestimmung für ein Fahrzeug 1 in Fahrzeuglängsrichtung zu entnehmen, wobei ein optischer Sensor 3 des Fahrzeugs 1 verwendet wird, und wobei folgende Verfahrensschritte ausgeführt werden:

a) Erfassen eines Bildes, insbesondere eines Bildstromes, des optischen Sensors 3,
b) Detektion von Spurmarkierungen 5 und/oder Spurbegrenzungen 7 in dem gemäß Verfahrensschritt a) erfassten Bild, insbesondere Bildstrom,
c) Bestimmung eines Fahrzeugfluchtpunkts 9 in Abhängigkeit der gemäß Verfahrensschritt b) detektierten Spurmarkierungen 5 und/oder Spurbegrenzungen 7,
d) Detektion von parallelen Strukturen 11 in einer Umgebung 13 des Fahrzeugs 1 in dem gemäß Verfahrensschritt a) erfassten Bild, insbesondere Bildstrom,
e) Bestimmung eines Umgebungsfluchtpunkts 15 in Abhängigkeit der gemäß Verfahrensschritt d) detektierten parallelen Strukturen 11 der Umgebung 13 des Fahrzeugs 1,
f) Berechnen eines orthogonalen Fluchtpunkt-Offsets zwischen dem Fahrzeugfluchtpunkt 9 und dem Umgebungsfluchtpunkt 15, wobei dieser als Fahrzeugfluchtpunkt-Offset bezeichnet wird,
g) Berechnen einer aktuellen Fahrbahnneigung mittels eines Vergleichs des gemäß Verfahrensschritt f) berechneten Fahrzeugfluchtpunkt-Offsets mit einem vorgebbaren Bodenwirklichkeitsfluchtpunkt-Offset.

Of the 1 is a schematic representation of a flowchart of a method for determining vehicle inclination for a vehicle 1 in the longitudinal direction of the vehicle, with an optical sensor 3 of the vehicle 1 is used and the following procedural steps are carried out:

a) Acquisition of an image, in particular an image stream, of the optical sensor 3 ,
b) Detection of lane markings 5 and / or lane boundaries 7th in the image captured according to method step a), in particular image stream,
c) Determination of a vehicle vanishing point 9 depending on the lane markings detected according to method step b) 5 and / or lane boundaries 7th ,
d) Detection of parallel structures 11 in an environment 13th of the vehicle 1 in the image captured according to method step a), in particular image stream,
e) Determination of an environmental vanishing point 15th depending on the parallel structures detected according to method step d) 11 the environment 13th of the vehicle 1 ,
f) Calculating an orthogonal vanishing point offset between the vehicle vanishing point 9 and the surrounding vanishing point 15th , where this is called the vehicle vanishing point offset,
g) Calculating a current road inclination by means of a comparison of the vehicle vanishing point offset calculated in accordance with method step f) with a predeterminable ground reality vanishing point offset.

Ferner ist bevorzugt vorgesehen, dass bei der Detektion gemäß Verfahrensschritt b) oder d) eine Canny Edge Detection und/oder eine Hough Line Interpolation angewendet oder durchgeführt wird.Furthermore, it is preferably provided that in the detection according to method step b) or d) a Canny Edge Detection and / or a Hough Line Interpolation is used or carried out.

Ferner ist bevorzugt vorgesehen, dass die Bestimmungen des Fahrzeugfluchtpunkts 9 gemäß Verfahrensschritt c) und e) unter Berücksichtigung eines Hough-Umwandlungsraum ausgeführt und/oder durchgeführt wird.Furthermore, it is preferably provided that the determinations of the vehicle vanishing point 9 is carried out and / or carried out in accordance with method step c) and e) taking into account a Hough conversion space.

Ferner ist bevorzugt vorgesehen, dass zur Berechnung des orthogonalen Fluchtpunkt-Offsets eine orthogonale Distanz in einer Bildebene, insbesondere einer Bildstromebene, des gemäß Verfahrensschritt a) erfassten Bildes, insbesondere Bildstroms, ausgeführt und/oder durchgeführt wird.Furthermore, it is preferably provided that, in order to calculate the orthogonal vanishing point offset, an orthogonal distance is carried out and / or carried out in an image plane, in particular an image stream plane, of the image acquired according to method step a), in particular an image stream.

Im Übrigen ist bevorzugt vorgesehen, dass für den vorgebbaren Bodenwirklichkeitsfluchtpunkt-Offset eine Referenzkennlinie ermittelt, vorzugsweise durch eine Initialvermessung, wird.Furthermore, provision is preferably made for a reference characteristic curve to be determined for the specifiable ground reality vanishing point offset, preferably by means of an initial measurement.

Des Weiteren ist bevorzugt vorgesehen, dass der vorgebbare Bodenwirklichkeitsfluchtpunkt-Offset in einem Verfahrensschritt 0) vor dem Verfahrensschritt a) vermessen wird, indem mittels einer Referenzsensorik (in den Figuren nicht gezeigt) des Fahrzeugs 1 oder einer externen Sensorik (in den Figuren nicht gezeigt) im Vergleich zur Bodenwirklichkeit der Bodenwirklichkeitsfluchtpunkt-Offset vermessen wird.Furthermore, it is preferably provided that the predeterminable ground reality vanishing point offset occurs in one method step 0 ) is measured before method step a) by means of a reference sensor system (not shown in the figures) of the vehicle 1 or an external sensor system (not shown in the figures) in comparison to the ground reality, the ground reality vanishing point offset is measured.

Den 2 bis 6 sind die verschiedenen Verfahrensschritte in jeweils zwei verschiedenen Situationen, das heißt eine beispielhafte Situation linkes Teilbild und eine weitere beispielhafte Situation rechts Teilbild, zu entnehmen.The 2 to 6 the various procedural steps can be seen in two different situations, that is, an exemplary situation on the left partial image and a further exemplary situation on the right partial image.

Der 2 ist der optionale Verfahrensschritt 0) zu entnehmen.Of the 2 is the optional process step 0 ) refer to.

Der 3 ist der Verfahrensschritt b), der 4 der Verfahrensschritt d), der 5 der Verfahrensschritt e) und der 6 der Verfahrensschritt f).Of the 3 is the process step b), the 4th the process step d), the 5 the process step e) and the 6 process step f).

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

EP 2694344 A1 [0005]
EP 3055179 A2 [0006]
KR 102017017352 [0007]
DE 102017217008 A1 [0008]

Claims

Method for determining the vehicle inclination for a vehicle (1) in the longitudinal direction of the vehicle, an optical sensor (3) of the vehicle (1) being used, and the following method steps being carried out: a) capturing an image of the optical sensor (3), b) Detection of lane markings (5) and / or lane boundaries (7) in the image recorded according to method step a), c) Determination of a vehicle vanishing point (9) as a function of the lane markings (5) and / or lane boundaries (7) detected according to method step b), d) Detection of parallel structures (7) in an environment (13) of the vehicle (1) in the image captured according to method step a), e) Determination of an environmental vanishing point (15) as a function of the parallel structures (11) of the surroundings (13) of the vehicle (1) detected according to method step d), f) Calculation of an orthogonal vanishing point offset between the vehicle vanishing point (9) and the surrounding vanishing point (15), this being referred to as the vehicle vanishing point offset, g) Calculation of a current road inclination by means of a comparison of the vehicle vanishing point offset calculated in accordance with method step f) with a specifiable ground reality vanishing point offset.

Procedure according to Claim 1 , characterized in that during the detection according to method step b) or d) a Canny Edge Detection and / or a Hough Line Interpolation is applied or carried out.

Procedure according to Claim 1 or 2 , characterized in that the determination of the vehicle vanishing point (9) according to method steps c) and e) is carried out and / or carried out taking into account a Hough conversion space.

Method according to one of the preceding claims, characterized in that, in order to calculate the orthogonal vanishing point offset, an orthogonal distance is carried out and / or carried out in an image plane of the image recorded according to method step a).

Method according to one of the preceding claims, characterized in that a reference characteristic curve is determined for the predefinable ground reality vanishing point offset.

Method according to one of the preceding claims, characterized in that the specifiable ground reality vanishing point offset is measured in a method step 0) before method step a) by using a reference sensor system of the vehicle (1) or an external sensor system to compare the ground reality vanishing point offset to the ground reality is measured.

Control device (17), set up to carry out a method according to one of the preceding claims.

Vehicle (1), having an optical sensor (3) and a control device (17) according to FIG Claim 7 .

Vehicle (1) after Claim 8 , characterized in that the optical sensor (3) is designed as a camera.

Vehicle (1) after Claim 8 or 9 , characterized in that the vehicle (1) furthermore has a reference sensor system, which is preferably designed as an acceleration sensor and / or as an inclination sensor.