DE102019007205A1 - Method for the detection of a vehicle trailer using lidar - Google Patents

Method for the detection of a vehicle trailer using lidar Download PDF

Info

Publication number
DE102019007205A1
DE102019007205A1 DE102019007205.7A DE102019007205A DE102019007205A1 DE 102019007205 A1 DE102019007205 A1 DE 102019007205A1 DE 102019007205 A DE102019007205 A DE 102019007205A DE 102019007205 A1 DE102019007205 A1 DE 102019007205A1
Authority
DE
Germany
Prior art keywords
vehicle
trailer
vehicle trailer
lidar
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019007205.7A
Other languages
German (de)
Inventor
Michael Barjenbruch
Thomas Passegger
Manuel Schäfer
Evren Divrikli
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102019007205.7A priority Critical patent/DE102019007205A1/en
Publication of DE102019007205A1 publication Critical patent/DE102019007205A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion eines Fahrzeuganhängers (1) mittels Lidar, insbesondere mittels einer Lidarsensorvorrichtung (2) eines Fahrzeugs (3).Erfindungsgemäß wird ein geometrisches Modell, insbesondere eine Bounding-Box (6), des Fahrzeuganhängers (1) in einer mit dem Lidar erfassten Punktewolke (PW) segmentiert, wobei eine mehrstufige Filterung verwendet wird.The invention relates to a method for detecting a vehicle trailer (1) by means of lidar, in particular by means of a lidar sensor device (2) of a vehicle (3). According to the invention, a geometric model, in particular a bounding box (6), of the vehicle trailer (1) in a The point cloud (PW) captured by the lidar is segmented using multi-level filtering.

Description

Die Erfindung betrifft ein Verfahren zur Detektion eines Fahrzeuganhängers mittels Lidar nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a method for detecting a vehicle trailer by means of lidar according to the features of the preamble of claim 1.

Aus dem Stand der Technik sind, wie in der DE 10 2017 112 785 A1 beschrieben, ein Verfahren zum Unterstützen eines Fahrers eines durch ein Zugfahrzeug und einen Anhänger gebildeten Gespanns beim Manövrieren mit dem Gespann und ein Totwinkelsystem sowie ein Gespann bekannt. In dem Verfahren werden Lidar-Sensordaten einer Lidar-Sensorvorrichtung des Zugfahrzeugs aus einem Umgebungsbereich des Gespanns empfangen. Es werden mit dem Anhänger korrespondierende Detektionspunkte in den Lidar-Sensordaten identifiziert. In Abhängigkeit von den mit dem Anhänger korrespondierenden Detektionspunkten wird eine Totwinkelregion für den Anhänger definiert. Es wird ein den Anhänger beschreibendes kinematisches Modell vorgegeben. Zumindest eine mit dem kinematischen Modell zumindest bereichsweise überlappende Modell-Unterregion wird bestimmt. Die innerhalb der Modell-Unterregion liegenden Detektionspunkte werden als mit dem Anhänger korrespondierende Detektionspunkte klassifiziert. Das kinematische Modell des Anhängers wird, basierend auf den mit dem Anhänger korrespondierenden Detektionspunkten, aktualisiert. Die Totwinkelregion für den Anhänger wird in Abhängigkeit von dem aktualisierten kinematischen Modell des Anhängers aktualisiert.From the prior art, as in DE 10 2017 112 785 A1 described, a method for assisting a driver of a combination formed by a towing vehicle and a trailer when maneuvering with the combination and a blind spot system and a trailer known. In the method, lidar sensor data of a lidar sensor device of the towing vehicle are received from an area surrounding the combination. Detection points corresponding to the trailer are identified in the lidar sensor data. Depending on the detection points corresponding to the trailer, a blind spot region is defined for the trailer. A kinematic model describing the trailer is specified. At least one model sub-region which at least partially overlaps with the kinematic model is determined. The detection points located within the model sub-region are classified as detection points corresponding to the trailer. The kinematic model of the trailer is updated based on the detection points corresponding to the trailer. The blind spot region for the trailer is updated based on the updated kinematic model of the trailer.

In der DE 10 2017 112 786 A1 werden ein Verfahren zum Charakterisieren eines an ein Zugfahrzeug angehängten Anhängers, ein Fahrerassistenzsystem sowie Gespann beschrieben. In dem Verfahren wird ein den Anhänger beschreibendes kinematisches Modell vorgegeben. Es werden Lidar-Sensordaten einer Lidar-Sensorvorrichtung des Zugfahrzeugs aus einem Umgebungsbereich des Zugfahrzeugs und des angehängten Anhängers empfangen und zu Reflexionspunkten aus dem Umgebungsbereich korrespondierende Detektionspunkte in den Lidar-Sensordaten werden identifiziert. Es wird zumindest eine mit dem kinematischen Modell zumindest bereichsweise überlappende Modell-Unterregion bestimmt. Die innerhalb der Modell-Unterregion liegenden Detektionspunkte werden als mit dem Anhänger korrespondierende Detektionspunkte klassifiziert. Anhand der mit dem Anhänger korrespondierenden Detektionspunkte wird zumindest ein Merkmal des Anhängers bestimmt. Das zumindest eine Merkmal wird mit dem kinematischen Modell verglichen. Das kinematische Modell wird, basierend auf dem Vergleich des zumindest einen Merkmals mit dem kinematischen Modell, aktualisiert.In the DE 10 2017 112 786 A1 describes a method for characterizing a trailer attached to a towing vehicle, a driver assistance system and vehicle combination. A kinematic model describing the trailer is specified in the method. Lidar sensor data of a lidar sensor device of the towing vehicle are received from a surrounding area of the towing vehicle and the attached trailer, and detection points corresponding to reflection points from the surrounding area are identified in the lidar sensor data. At least one model sub-region that overlaps at least in regions with the kinematic model is determined. The detection points located within the model sub-region are classified as detection points corresponding to the trailer. On the basis of the detection points corresponding to the trailer, at least one feature of the trailer is determined. The at least one feature is compared with the kinematic model. The kinematic model is updated based on the comparison of the at least one feature with the kinematic model.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion eines Fahrzeuganhängers mittels Lidar anzugeben.The invention is based on the object of specifying a method for detecting a vehicle trailer by means of lidar, which is improved over the prior art.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Detektion eines Fahrzeuganhängers mittels Lidar mit den Merkmalen des Anspruchs 1.The object is achieved according to the invention by a method for detecting a vehicle trailer by means of lidar with the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the subclaims.

In einem Verfahren zur Detektion eines Fahrzeuganhängers mittels Lidar, insbesondere mittels einer Lidarsensorvorrichtung eines Fahrzeugs, wird erfindungsgemäß ein geometrisches Modell, insbesondere eine Bounding-Box, des Fahrzeuganhängers in einer mit dem Lidar erfassten Punktewolke segmentiert, wobei eine mehrstufige Filterung verwendet wird.In a method for detecting a vehicle trailer by means of lidar, in particular by means of a lidar sensor device of a vehicle, according to the invention a geometric model, in particular a bounding box, of the vehicle trailer is segmented in a point cloud recorded with the lidar, with multi-stage filtering being used.

Alternativ ist das Verfahren nicht auf Lidar und die Lidarsensorvorrichtung des Fahrzeugs beschränkt, sondern kann, alternativ oder zusätzlich zu Lidar und der Lidarsensorvorrichtung, auch mit anderen Sensorvorrichtungen durchgeführt werden, die zweidimensionale und dreidimensionale Abstände messen können. Alternativ zu Lidar und der Lidarsensorvorrichtung kommen somit zur Durchführung des Verfahrens beispielsweise Radar und somit insbesondere eine entsprechende Radarsensorvorrichtung des Fahrzeugs und/oder eine Stereokamera, insbesondere eine entsprechende Stereokameravorrichtung des Fahrzeugs, in Betracht.Alternatively, the method is not limited to lidar and the lidar sensor device of the vehicle, but can, as an alternative or in addition to lidar and the lidar sensor device, also be carried out with other sensor devices that can measure two-dimensional and three-dimensional distances. As an alternative to lidar and the lidar sensor device, for example, radar and thus in particular a corresponding radar sensor device of the vehicle and / or a stereo camera, in particular a corresponding stereo camera device of the vehicle, can be considered for carrying out the method.

Das erfindungsgemäße Verfahren kann beispielsweise zum Verbinden von Fahrzeug und Fahrzeuganhänger, zum Rangieren und/oder zur Stabilisierung des Fahrzeuganhängers in einem normalen Fahrbetrieb verwendet werden, insbesondere indem es für die Umsetzung einer entsprechenden Assistenzfunktion verwendet wird. Beispielsweise kann mittels des Verfahrens ein stehender Fahrzeuganhänger detektiert werden, wodurch eine Assistenzfunktion realisiert werden kann, welche einen Fahrzeugführer dabei unterstützt, den Fahrzeuganhänger an das Fahrzeug, d. h. an ein Zugfahrzeug, insbesondere an einen Motorwagen, anzukuppeln. Dies kann beispielsweise mittels einer entsprechenden Visualisierung und/oder mittels eines aktiven Lenkeingriffs erfolgen. Alternativ oder zusätzlich kann mittels dieses Verfahrens beispielsweise ein Knickwinkel zwischen dem angekuppelten Fahrzeuganhänger und dem Fahrzeug, d. h. dem Zugfahrzeug, bestimmt werden. Dadurch kann der Fahrzustand eines durch das Fahrzeug und den Fahrzeuganhänger gebildeten Gesamtzuges besser bestimmt werden und somit beispielsweise eine Rückfahrassistenzfunktion realisiert werden und/oder eine Stabilisierung des Fahrzeuganhängers während des normalen Fahrbetriebs durchgeführt werden, insbesondere durch entsprechende Eingriffe in eine Lenkvorrichtung, Bremsvorrichtung und/oder einen Antriebsstrang des Fahrzeugs und/oder in eine Bremsvorrichtung des Fahrzeuganhängers.The method according to the invention can be used, for example, for connecting the vehicle and the vehicle trailer, for maneuvering and / or for stabilizing the vehicle trailer during normal driving, in particular by using it to implement a corresponding assistance function. For example, the method can be used to detect a stationary vehicle trailer, whereby an assistance function can be implemented which supports a vehicle driver in coupling the vehicle trailer to the vehicle, ie to a towing vehicle, in particular to a motor vehicle. This can take place, for example, by means of a corresponding visualization and / or by means of an active steering intervention. Alternatively or additionally, this method can be used, for example, to determine a kink angle between the coupled vehicle trailer and the vehicle, ie the towing vehicle. As a result, the driving status of an overall train formed by the vehicle and the vehicle trailer can be better determined and thus, for example, a reversing assistance function can be implemented and / or the vehicle trailer can be stabilized during normal driving operation, in particular through appropriate interventions in a steering device, braking device and / or a drive train of the vehicle and / or in a braking device of the vehicle trailer.

Das Verfahren ermöglicht insbesondere eine kostengünstige und robuste Detektion von Fahrzeuganhängern im Fahrzeugumfeld und des Knickwinkels zu dem angekuppelten Fahrzeuganhänger. Dadurch können verschiedene Assistenzfunktionen, beispielsweise für LKW und/oder PKW, umgesetzt werden, wie oben bereits beschrieben.In particular, the method enables inexpensive and robust detection of vehicle trailers in the vehicle environment and of the articulation angle to the coupled vehicle trailer. As a result, various assistance functions, for example for trucks and / or cars, can be implemented, as already described above.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 schematisch ein Fahrzeug während eines Verbindens mit einem Fahrzeuganhänger,
  • 2 schematisch ein Fahrzeug mit einem Fahrzeuganhänger,
  • 3 schematisch einen Ablauf eines Verfahrens zur Detektion eines Fahrzeuganhängers mittels Lidar,
  • 4 schematisch einen Ablauf einer Filterung von Segmenten nach einer Objektsegmentierung,
  • 5 schematisch ein Verlustschritt der Filterung der Segmente,
  • 6 schematisch einen Ablauf einer Bounding-Box-Anpassung, und
  • 7 schematisch eine Feinoptimierung einer Anpassung eines Modells des Fahrzeuganhängers.
Show:
  • 1 schematically a vehicle while connecting to a vehicle trailer,
  • 2 schematically a vehicle with a vehicle trailer,
  • 3 schematically a sequence of a method for the detection of a vehicle trailer by means of lidar,
  • 4th schematically a sequence of filtering segments after an object segmentation,
  • 5 schematically a loss step of the filtering of the segments,
  • 6th schematically a sequence of a bounding box adjustment, and
  • 7th schematically a fine optimization of an adaptation of a model of the vehicle trailer.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

Anhand der 1 bis 7 wird im Folgenden ein Verfahren zur Detektion eines Fahrzeuganhängers 1 mittels Lidar, insbesondere mittels einer Lidarsensorvorrichtung 2 eines Fahrzeugs 3, beschrieben. In diesem Verfahren wird vorteilhafterweise ein geometrisches Modell, im hier beschriebenen Beispiel eine Bounding-Box 6, des Fahrzeuganhängers 1 in einer mit dem Lidar erfassten Punktewolke PW segmentiert, wobei eine mehrstufige Filterung verwendet wird. Die Bounding-Box 6 wird auch als Hüllkörper bezeichnet. D. h. es wird insbesondere ein virtueller Hüllkörper ermittelt, welcher alle Punkte der Punktewolke PW umfasst, die dem Fahrzeuganhänger 1 zuzuordnen sind. Die Bounding-Box 6 stellt somit eine Anhängerkontur des Fahrzeuganhängers 1 dar.Based on 1 to 7th The following describes a method for detecting a vehicle trailer 1 by means of lidar, in particular by means of a lidar sensor device 2 of a vehicle 3 described. In this method, a geometric model is advantageously used, in the example described here a bounding box 6th , the vehicle trailer 1 in a point cloud captured with the lidar PW segmented using multi-level filtering. The bounding box 6th is also referred to as the enveloping body. I.e. In particular, a virtual enveloping body is determined which contains all points of the point cloud PW includes the vehicle trailer 1 are to be assigned. The bounding box 6th thus represents a trailer contour of the vehicle trailer 1 represent.

In dem Verfahren wird insbesondere eine Umgebung des Fahrzeugs 3 mit dem Lidar als Punktewolke PW erfasst und anschließend algorithmisch verarbeitet. Insbesondere werden in der erfassten Punktewolke PW Objektpunkte und Bodenpunkte segmentiert, dadurch erhaltene Objektsegmente 4 werden bezüglich des Fahrzeuganhängers 1 gefiltert und die Anhängerkontur wird mittels der Bounding-Box 6 bestimmt. Mit der bestimmten Anhängerkontur können dann beispielsweise eine Position und ein Winkel des Fahrzeuganhängers 1 bestimmt werden.In particular, the surroundings of the vehicle are used in the method 3 with the lidar as a point cloud PW recorded and then processed algorithmically. In particular, in the recorded point cloud PW Object points and ground points segmented, resulting in object segments 4th are related to the vehicle trailer 1 filtered and the trailer contour is created using the bounding box 6th certainly. With the particular trailer contour, for example, a position and an angle of the vehicle trailer can then be used 1 to be determined.

Darauf aufbauend können dann Assistenzfunktionen umgesetzt werden. Beispielsweise kann, wie in 1 gezeigt, ein stehender Fahrzeuganhänger 1 detektiert werden. Dadurch kann eine Assistenzfunktion realisiert werden, welche einen Fahrzeugführer dabei unterstützt, den Fahrzeuganhänger 1 an das Fahrzeug 3 anzukuppeln, beispielsweise mittels einer Visualisierung einer Position des Fahrzeuganhängers 1 relativ zu einer Position des Fahrzeugs 3, und/oder durch einen aktiven Lenkeingriff.Based on this, assistance functions can then be implemented. For example, as in 1 shown, a standing vehicle trailer 1 can be detected. As a result, an assistance function can be implemented which supports a vehicle driver in setting up the vehicle trailer 1 to the vehicle 3 to be coupled, for example by means of a visualization of a position of the vehicle trailer 1 relative to a position of the vehicle 3 , and / or through active steering intervention.

Alternativ oder zusätzlich kann beispielsweise, wie in 2 gezeigt, im verbundenen Zustand von Fahrzeug 3 und Fahrzeuganhänger 1 ein Knickwinkel α zwischen dem angekuppelten Fahrzeuganhänger 1 und dem Fahrzeug 3 bestimmt werden. Dadurch kann ein Fahrzustand eines das Fahrzeug 3 und den Fahrzeuganhänger 1 umfassenden Gesamtzuges besser bestimmt werden und beispielsweise eine Rückfahrassistenzfunktion realisiert werden. Des Weiteren kann dadurch beispielsweise erkannt werden, wenn der Fahrzeuganhänger 1 eine Fahrspur verlässt. Somit kann beispielsweise eine Assistenzfunktion realisiert werden, mittels welcher das Fahrzeug 3 stabilisiert werden kann, wenn der Fahrzeuganhänger 1 dazu tendiert, die Fahrspur zu verlassen.Alternatively or additionally, for example, as in 2 shown in the connected state of the vehicle 3 and vehicle trailers 1 a kink angle α between the coupled vehicle trailer 1 and the vehicle 3 to be determined. As a result, a driving state of the vehicle 3 and the vehicle trailer 1 comprehensive overall train can be better determined and, for example, a reversing assistance function can be implemented. Furthermore, it can be recognized, for example, when the vehicle trailer 1 leaves a lane. Thus, for example, an assistance function can be implemented by means of which the vehicle 3 can be stabilized when the vehicle trailer 1 tends to leave the lane.

3 zeigt einen Ablauf des Verfahrens. Die mittels Lidar erfasste und kalibrierte Punktewolke PW wird einer Bodensegmentierung BS zugeführt. Das Resultat dieser Bodensegmentierung BS ist eine verbleibende Punktewolke PWOB ohne Bodenpunkte, welche einer Objektsegmentierung OS zugeführt wird. Das Resultat dieser Objektsegmentierung OS ist eine Anzahl Objektsegmente 4. Diese Anzahl Objektsegmente 4 werden einer Filterung F unterzogen, um ein den Fahrzeuganhänger 1 repräsentierendes Fahrzeuganhängersegment 5 zu ermitteln. Anschließend wird eine Bounding-Box-Anpassung BBA durchgeführt, um dadurch die Bounding-Box 6 des Fahrzeuganhängers 1 zu ermitteln. Die Schritte der Filterung F und der Bounding-Box-Anpassung BBA verwenden jeweils zwei verschiedene Methoden zur Detektion des Fahrzeuganhängersegments 5 und zum Anpassen der Bounding-Box 6. 3 shows a sequence of the method. The point cloud recorded and calibrated using lidar PW becomes a ground segmentation BS fed. The result of this ground segmentation BS is a remaining point cloud PWOB without ground points, which are an object segmentation OS is fed. The result of this object segmentation OS is a number of object segments 4th . This number of object segments 4th be a filtering F. subjected to a the vehicle trailer 1 representative vehicle trailer segment 5 to investigate. Then a bounding box adjustment is made BBA performed to thereby the bounding box 6th of the vehicle trailer 1 to investigate. The steps of filtering F. and the bounding box adjustment BBA each use two different methods to detect the vehicle trailer segment 5 and to adjust the bounding box 6th .

4 zeigt einen Ablauf der Filterung F. Zunächst wird in einem Überprüfungsschritt US überprüft, ob der Fahrzeuganhänger 1 bereits detektiert wurde. Ist dies nicht der Fall, dann wird diese Überprüfung mit nein, gekennzeichnet durch das Bezugszeichen n, beantwortet und der untere Pfad weiter durchlaufen. 4th shows a sequence of the filtering F. . First is in a verification step US checks whether the vehicle trailer 1 has already been detected. If this is not the case, this check is marked with no, indicated by the reference symbol n , answered and continue on the lower path.

In einem Minimum-Punkte-Schritt MPS wird dann eine Punkteanzahl, beispielsweise vier Punkte, vorgegeben, welche ein jeweiliges Objektsegment 4 in der Punktewolke PW mindestens aufweisen muss. Objektsegmente 4 mit weniger Punkten werden entfernt. In a minimum point step MPS a number of points, for example four points, is then specified, which is a respective object segment 4th in the point cloud PW must have at least. Object segments 4th with fewer points are removed.

Dadurch werden Objektsegmente 4 entfernt, welche zu klein sind, um der Fahrzeuganhänger 1 zu sein.This creates object segments 4th removed which are too small to fit the trailer 1 to be.

Die verbleibende geringere Anzahl Objektsegmente 4 wird dann einem winkelbasierten Regionen-von-Interesse-Schritt WROI zugeführt. Hier werden alle Objektsegmente 4 in einem zu steilen horizontalen Winkel zum Fahrzeug 3 entfernt, d. h. alle Objektsegmente 4, die sich zu weit seitlich links oder rechts hinter dem Fahrzeug 3 befinden, da davon ausgegangen werden kann, dass diese Objektsegmente 4 kein Fahrzeuganhänger 1 sind, zumindest kein Fahrzeuganhänger 1, der mit dem Fahrzeug 3 verbunden ist oder mit dem Fahrzeug 3 verbunden werden soll, da ein Fahrzeugführer sein Fahrzeug 3 zumindest grob rückwärts in Richtung des Fahrzeuganhängers 1, den er ankuppeln möchte, positioniert.The remaining lesser number of object segments 4th then becomes an angle-based regions-of-interest step WROI fed. This is where all the object segments are 4th at too steep a horizontal angle to the vehicle 3 removed, ie all object segments 4th too far to the left or right behind the vehicle 3 because it can be assumed that these object segments 4th no vehicle trailer 1 are, at least not a vehicle trailer 1 that with the vehicle 3 connected or with the vehicle 3 should be connected as a vehicle driver drives his vehicle 3 at least roughly backwards in the direction of the vehicle trailer 1 that he would like to couple.

Die verbleibende geringere Anzahl Objektsegmente 4 wird dann einem Maximaldistanzschritt MD zugeführt. Hier wird eine maximale Distanz zum Fahrzeug 3 festgelegt und alle Objektsegmente 4, die außerhalb dieser maximalen Distanz zum Fahrzeug 3 liegen, werden entfernt, da davon ausgegangen werden kann, dass diese Objektsegmente 4 kein Fahrzeuganhänger 1 sind, zumindest kein Fahrzeuganhänger 1, der mit dem Fahrzeug 3 verbunden ist oder mit dem Fahrzeug 3 verbunden werden soll, da ein Fahrzeugführer sein Fahrzeug 3 zumindest grob rückwärts an den Fahrzeuganhänger 1, den er ankuppeln möchte, annähert.The remaining lesser number of object segments 4th then becomes a maximum distance step MD fed. Here is a maximum distance to the vehicle 3 set and all object segments 4th that are outside this maximum distance to the vehicle 3 are removed because it can be assumed that these object segments 4th no vehicle trailer 1 are, at least not a vehicle trailer 1 that with the vehicle 3 connected or with the vehicle 3 should be connected as a vehicle driver drives his vehicle 3 at least roughly backwards to the vehicle trailer 1 that he would like to couple approaches.

Die verbleibende geringere Anzahl Objektsegmente 4 wird dann einem Nächstsegmentschritt NS zugeführt. Hier werden alle Objektsegmente 4 mit Ausnahme des zum Fahrzeug 3 nächstgelegenen Objektsegmentes 4 entfernt. Das Ergebnis ist das detektierte Fahrzeuganhängersegment 5.The remaining lesser number of object segments 4th then becomes a next segment step NS fed. This is where all the object segments are 4th except for the vehicle 3 closest object segment 4th away. The result is the detected vehicle trailer segment 5 .

Wird im Überprüfungsschritt US erkannt, dass der Fahrzeuganhänger 1 bereits detektiert wurde, dann wird diese Überprüfung mit ja, gekennzeichnet durch das Bezugszeichen j, beantwortet und der obere Pfad weiter durchlaufen.Will be in the verification step US recognized that the vehicle trailer 1 has already been detected, then this check is marked with yes, indicated by the reference symbol j , answered and continue on the upper path.

Hier wird ebenfalls der Minimum-Punkte-Schritt MPS durchgeführt, in dem die Punkteanzahl, beispielsweise vier Punkte, vorgegeben wird, welche ein Objektsegment 4 in der Punktewolke PW mindestens aufweisen muss. Objektsegmente 4 mit weniger Punkten werden entfernt. Dadurch werden Objektsegmente 4 entfernt, welche zu klein sind, um der Fahrzeuganhänger 1 zu sein.This is also where the minimum point step is performed MPS performed, in which the number of points, for example four points, is specified, which is an object segment 4th in the point cloud PW must have at least. Object segments 4th with fewer points are removed. This creates object segments 4th removed which are too small to fit the trailer 1 to be.

Die verbleibende geringere Anzahl Objektsegmente 4 wird dann einem Verlustschritt V zugeführt. Hier werden, wie in 5 anhand eines Erfassungsbereichs des Lidars in x-Richtung x und y-Richtung y mit mehreren verbleibenden erfassten Objektsegmenten 4 gezeigt, die Objektsegmente 4 weiterverarbeitet, die gemäß einem Modell 7 des Fahrzeuganhängers 1 zum bereits detektierten Fahrzeuganhänger 1 passen. Als Metrik, ob das jeweilige Objektsegment 4 passt, kann beispielsweise ein euklidischer Abstand oder eine Analyse mittels ICP-Algorithmus (Iterative Closest Point Algorithm) verwendet werden. Das Ergebnis ist das detektierte Fahrzeuganhängersegment 5, wie in 5 auf der rechten Seite gezeigt.The remaining lesser number of object segments 4th then becomes a losing step V fed. Here, as in 5 based on a detection area of the lidar in the x-direction x and y-direction y with a plurality of remaining detected object segments 4th shown the object segments 4th further processed according to a model 7th of the vehicle trailer 1 to the vehicle trailer that has already been detected 1 fit. As a metric, whether the respective object segment 4th fits, a Euclidean distance or an analysis using the ICP algorithm (Iterative Closest Point Algorithm) can be used. The result is the detected vehicle trailer segment 5 , as in 5 shown on the right.

6 zeigt einen Ablauf der Bounding-Box-Anpassung BBA. In dieser Bounding-Box-Anpassung BBA wird eine Schätzung der Position und einer Ausrichtung des Fahrzeuganhängers 1 aktualisiert oder initial durchgeführt, je nachdem, ob aus einer vorherigen Messung schon eine Schätzung existiert. Zunächst wird in einem Überprüfungsschritt US überprüft, ob der Fahrzeuganhänger 1 bereits detektiert wurde. Ist dies nicht der Fall, dann wird diese Überprüfung mit nein, gekennzeichnet durch das Bezugszeichen n, beantwortet und der untere Pfad weiter durchlaufen. 6th shows a flow of the bounding box adjustment BBA . In this bounding box adaptation BBA becomes an estimate of the position and orientation of the vehicle trailer 1 updated or initially carried out, depending on whether an estimate already exists from a previous measurement. First is in a verification step US checks whether the vehicle trailer 1 has already been detected. If this is not the case, this check is marked with no, indicated by the reference symbol n , answered and continue on the lower path.

Es erfolgt dann zunächst eine initiale Positionsschätzung IPS. Dabei werden in einem ersten Schritt die beiden äußeren Punkte des jeweiligen Fahrzeuganhängersegments 5 bestimmt. In einem zweiten Schritt wird der Punkt des jeweiligen Fahrzeuganhängersegments 5 bestimmt, der am weitesten von einer die beiden äußeren Punkte des jeweiligen Fahrzeuganhängersegments 5 verbindenden Verbindungslinie entfernt ist. In einem dritten Schritt erfolgt eine Unterscheidung, ob an dem jeweiligen Fahrzeuganhängersegment 5 eine Kante sichtbar ist oder zwei Kanten sichtbar sind. In einem vierten Schritt erfolgt eine Unterscheidung zwischen einer Stirnkante und einer Seitenkante des Fahrzeuganhängersegments 5. In einem fünften Schritt wird die Stirnkante des Fahrzeuganhängersegments 5 und somit des Fahrzeuganhängers 1 relativ zum Fahrzeug 3 bestimmt. Das Modell 7 des Fahrzeuganhängers 1 ist dadurch initial an das jeweilige Fahrzeuganhängersegment 5 angepasst. Das Ergebnis ist ein orientiertes Fahrzeuganhängersegment 8.An initial position estimation then takes place first IPS . In a first step, the two outer points of the respective vehicle trailer segment are determined 5 certainly. In a second step, the point of the respective vehicle trailer segment is determined 5 determines the furthest from one of the two outer points of the respective vehicle trailer segment 5 connecting line is removed. In a third step, a distinction is made as to whether on the respective vehicle trailer segment 5 one edge is visible or two edges are visible. In a fourth step, a distinction is made between a front edge and a side edge of the vehicle trailer segment 5 . In a fifth step, the front edge of the vehicle trailer segment is created 5 and thus the vehicle trailer 1 relative to the vehicle 3 certainly. The model 7th of the vehicle trailer 1 is therefore initially to the respective vehicle trailer segment 5 customized. The result is a vehicle trailer oriented segment 8th .

Anschließend erfolgt eine Optimierung O. Dabei erfolgt zunächst eine kontinuierliche Anpassung des Modells 7 des Fahrzeuganhängers 1 an das orientierte Fahrzeuganhängersegment 8 mittels des ICP-Algorithmus (Iterative Closest Point Algorithm). Anschließend erfolgt eine Feinoptimierung mittels des ICPlane-Algorithmus (Iterative Closest Plane), wie in 7 gezeigt. Dabei wird das Modell 7 des Fahrzeuganhängers 1 weiter optimiert und an das orientierte Fahrzeuganhängersegment 8 angepasst. Dadurch kann eine fortlaufende Schätzung eines Abstands und/oder der Orientierung zwischen Fahrzeug 3 und Fahrzeuganhänger 1 erfolgen, um dadurch insbesondere ein Tracking des Fahrzeuganhängers 1 zu ermöglichen. An optimization then takes place O . The model is initially continuously adapted 7th of the vehicle trailer 1 to the oriented vehicle trailer segment 8th using the ICP algorithm (Iterative Closest Point Algorithm). This is followed by fine optimization using the ICPlane algorithm (Iterative Closest Plane), as in 7th shown. Thereby the model 7th of the vehicle trailer 1 further optimized and geared towards the vehicle trailer segment 8th customized. This enables a continuous estimation of a distance and / or the orientation between vehicles 3 and vehicle trailers 1 take place to thereby in particular a tracking of the vehicle trailer 1 to enable.

Wird im Überprüfungsschritt US ermittelt, dass der Fahrzeuganhänger 1 bereits detektiert wurde, dann wird diese Überprüfung mit ja, gekennzeichnet durch das Bezugszeichen j, beantwortet und der obere Pfad weiter durchlaufen. Hier wird somit die beschriebene Optimierung O mit dem orientierten Fahrzeuganhängersegment 8 durchgeführt. Das Ergebnis dieser Bounding-Box-Anpassung BBA ist die Bounding-Box 6 des Fahrzeuganhängers 1.Will be in the verification step US determined that the vehicle trailer 1 has already been detected, then this check is marked with yes, indicated by the reference symbol j , answered and continue on the upper path. The optimization described here is therefore carried out O with the oriented vehicle trailer segment 8th carried out. The result of this bounding box adjustment BBA is the bounding box 6th of the vehicle trailer 1 .

BezugszeichenlisteList of reference symbols

11
FahrzeuganhängerVehicle trailer
22
LidarsensorvorrichtungLidar sensor device
33
Fahrzeugvehicle
44th
ObjektsegmentObject segment
55
FahrzeuganhängersegmentVehicle trailer segment
66th
Bounding-BoxBounding box
77th
Modellmodel
88th
orientiertes Fahrzeuganhängersegment oriented vehicle trailer segment
BBABBA
Bounding-Box-AnpassungBounding box adjustment
BSBS
BodensegmentierungGround segmentation
FF.
FilterungFiltering
IPSIPS
initiale Positionsschätzunginitial position estimation
jj
jaYes
MDMD
MaximaldistanzschrittMaximum distance step
MPSMPS
Minimum-Punkte-SchrittMinimum point step
nn
neinNo
NSNS
NächstsegmentschrittNext segment step
OO
Optimierungoptimization
OSOS
ObjektsegmentierungObject segmentation
PWPW
PunktewolkePoint cloud
PWOBPWOB
Punktwolke ohne BodenpunktePoint cloud without ground points
USUS
ÜberprüfungsschrittVerification step
VV
VerlustschrittLoss step
WROIWROI
winkelbasierter Regionen-von-Interesse-Schrittangle-based regions-of-interest step
xx
x-Richtungx direction
yy
y-Richtung y direction
αα
KnickwinkelKink angle

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102017112785 A1 [0002]DE 102017112785 A1 [0002]
  • DE 102017112786 A1 [0003]DE 102017112786 A1 [0003]

Claims (3)

Verfahren zur Detektion eines Fahrzeuganhängers (1) mittels Lidar, insbesondere mittels einer Lidarsensorvorrichtung (2) eines Fahrzeugs (3), dadurch gekennzeichnet, dass ein geometrisches Modell, insbesondere eine Bounding-Box (6), des Fahrzeuganhängers (1) in einer mit dem Lidar erfassten Punktewolke (PW) segmentiert wird, wobei eine mehrstufige Filterung verwendet wird.Method for detecting a vehicle trailer (1) by means of lidar, in particular by means of a lidar sensor device (2) of a vehicle (3), characterized in that a geometric model, in particular a bounding box (6), of the vehicle trailer (1) in one with the Lidar captured point cloud (PW) is segmented, whereby a multi-stage filtering is used. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Umgebung des Fahrzeugs (3) mit dem Lidar als Punktewolke (PW) erfasst wird, in der erfassten Punktewolke (PW) Objektpunkte und Bodenpunkte segmentiert werden, dadurch erhaltene Objektsegmente (4) bezüglich des Fahrzeuganhängers (1) gefiltert werden und eine Anhängerkontur mittels des geometrischen Modells, insbesondere mittels der Bounding-Box (6), bestimmt wird.Procedure according to Claim 1 , characterized in that the surroundings of the vehicle (3) are recorded with the lidar as a point cloud (PW), object points and ground points are segmented in the recorded point cloud (PW), object segments (4) obtained thereby are filtered with respect to the vehicle trailer (1) and a trailer contour is determined by means of the geometric model, in particular by means of the bounding box (6). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit der bestimmten Anhängerkontur eine Position und ein Winkel des Fahrzeuganhängers (1) bestimmt wird.Method according to one of the preceding claims, characterized in that a position and an angle of the vehicle trailer (1) are determined with the determined trailer contour.
DE102019007205.7A 2019-10-17 2019-10-17 Method for the detection of a vehicle trailer using lidar Withdrawn DE102019007205A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019007205.7A DE102019007205A1 (en) 2019-10-17 2019-10-17 Method for the detection of a vehicle trailer using lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019007205.7A DE102019007205A1 (en) 2019-10-17 2019-10-17 Method for the detection of a vehicle trailer using lidar

Publications (1)

Publication Number Publication Date
DE102019007205A1 true DE102019007205A1 (en) 2020-08-27

Family

ID=72138589

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019007205.7A Withdrawn DE102019007205A1 (en) 2019-10-17 2019-10-17 Method for the detection of a vehicle trailer using lidar

Country Status (1)

Country Link
DE (1) DE102019007205A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061731A1 (en) * 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Method for ascertaining an articulation angle, processing unit, and vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061731A1 (en) * 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Method for ascertaining an articulation angle, processing unit, and vehicle

Similar Documents

Publication Publication Date Title
EP3510463B1 (en) Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition
EP2581892B1 (en) Distance measuring system and method for measuring distance, in particular between a vehicle and its surroundings
DE102012107885A1 (en) Method for determining a lane course for a vehicle
DE102016110461A1 (en) Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle
DE102015117903A1 (en) Method for operating a driver assistance system, driver assistance system and motor vehicle
DE102015121353A1 (en) Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle
DE102012109310A1 (en) A method and apparatus for assisting the returning of a vehicle after leaving a lane
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102011113191A1 (en) Method for determining initial angle between e.g. passenger car and associated trailer, involves evaluating acquired image by image data analysis such that angle between vehicle and trailer is determined based on image data analysis
DE102019106275A1 (en) Acquisition system and method for determining an articulation angle between two sub-vehicles of a vehicle combination and vehicle combination
DE102012206211A1 (en) Method and device for determining a lane adjustment parameter for a lane keeping system of a vehicle and method and device for tracking a vehicle
DE102019008093A1 (en) Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102014111012A1 (en) A method for assisting a driver of a motor vehicle when parking out, driver assistance system and motor vehicle
DE102020007772A1 (en) Procedure for in-service calibration of a lidar and vehicle
DE102016115132A1 (en) Support of a driver of a motor vehicle with an attached trailer when parking by virtual sensors
DE102017008816A1 (en) Ausparkassistent
DE102016118308A1 (en) Method for determining a distance between a motor vehicle and an object with adaptation of a considered number of distance values, control unit, driver assistance system and motor vehicle
DE102014223141A1 (en) Determining a position of a trailer hitch head
DE102019007205A1 (en) Method for the detection of a vehicle trailer using lidar
EP3165420A1 (en) Method for determining an area taken up by a trailer connected to a motor vehicle, driver assistance system and motor vehicle
EP3476696A1 (en) Method for determining object boundaries of an object in an external area of a motor vehicle and control device and motor vehicle
DE102019110018A1 (en) Collision avoidance and angle estimation using a free space between the towing vehicle and trailer
DE102021203659B3 (en) Device for determining the length of a vehicle combination
DE102018217639A1 (en) Method for monitoring an environment of a combination of a towing vehicle and a trailer towed by the towing vehicle, and control device for the towing vehicle and towing vehicle with the control device

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee