DE102020001345A1

DE102020001345A1 - Method for the determination of 3D point correspondences in lidar measurements

Info

Publication number: DE102020001345A1
Application number: DE102020001345.7A
Authority: DE
Inventors: Manuel Schäfer; Martin Meinke
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2021-09-02

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von 3D-Punktkorrespondenzen in Lidarmessungen. Erfindungsgemäß wird mittels eines maschinell gelernten Verfahrens für jeden Lasermesspunkt einer Lidarmessung ein Merkmalsvektor bestimmt. Zumindest für eine Auswahl der Lasermesspunkte der Lidarmessung wird mittels eines vorgegebenen Distanzmaßes in einem Merkmalsraum jeweils ein korrespondierender Lasermesspunkt innerhalb einer auf die Lidarmessung folgenden weiteren Lidarmessung bestimmt.
Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens zu einer Bewegungsschätzung für ein Fahrzeug (1) und/oder ein mittels der Lidarmessung erfasstes Objekt.

The invention relates to a method for determining 3D point correspondences in lidar measurements. According to the invention, a feature vector is determined for each laser measuring point of a lidar measurement by means of a machine-learned method. At least for a selection of the laser measurement points of the lidar measurement, a corresponding laser measurement point is determined in each case within a further lidar measurement following the lidar measurement by means of a predetermined distance measure in a feature space.
The invention further relates to the use of such a method for a motion estimation for a vehicle (1) and / or an object detected by means of the lidar measurement.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von 3D-Punktkorrespondenzen in Lidarmessungen.The invention relates to a method for determining 3D point correspondences in lidar measurements.

Die Erfindung betrifft weiterhin eine Verwendung eines solchen Verfahrens.The invention also relates to a use of such a method.

Aus der DE 10 2017 111 351 A1 ist ein Verfahren zur Erfassung und autonomen Verfolgung eines Zielobjekts mittels eines Lidarsensors bekannt, wobei der Lidarsensor auf das Zielobjekt über einen vorgegebenen Flächenbereich laufend Laserpulse aussendet und aus von den Zielobjekten reflektierten Messpunkten in vorgegebenen Zeitabständen eine 3D-Punktwolke generiert. Eine aktuelle relative Lage des Zielobjekts gegenüber dem Lidarsensor wird in den vorgegebenen Zeitabständen anhand von der Position abschätzenden Algorithmen für sechs Bewegungsfreiheitsgrade des Zielobjekts berechnet. Die Algorithmen passen hierbei die generierten Punktwolken auf Basis eines Punkt-zu-Punkt-Korrespondenzverfahrens an.From the DE 10 2017 111 351 A1 A method for detecting and autonomously tracking a target object by means of a lidar sensor is known, the lidar sensor continuously emitting laser pulses onto the target object over a predetermined surface area and generating a 3D point cloud at predetermined time intervals from measurement points reflected by the target objects. A current relative position of the target object with respect to the lidar sensor is calculated at the specified time intervals using algorithms that estimate the position for six degrees of freedom of movement of the target object. The algorithms adapt the generated point clouds on the basis of a point-to-point correspondence method.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Bestimmung von 3D-Punktkorrespondenzen in Lidarmessungen und eine Verwendung eines solchen Verfahrens anzugeben.The invention is based on the object of specifying a method for determining 3D point correspondences in lidar measurements, which is improved over the prior art, and a use of such a method.

Die Aufgabe wird erfindungsgemäß gelöst mit einem Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist, und mit einer Verwendung, welche die im Anspruch angegebenen Merkmale aufweist.The object is achieved according to the invention with a method which has the features specified in claim 1, and with a use which has the features specified in the claim.

In dem Verfahren zur Bestimmung von 3D-Punktkorrespondenzen in Lidarmessungen wird erfindungsgemäß mittels eines maschinell gelernten Verfahrens für jeden Lasermesspunkt einer Lidarmessung ein Merkmalsvektor bestimmt und zumindest für eine Auswahl der Lasermesspunkte der Lidarmessung mittels eines vorgegebenen Distanzmaßes in einem Merkmalsraum jeweils ein korrespondierender Lasermesspunkt innerhalb einer auf die Lidarmessung folgenden weiteren Lidarmessung bestimmt.In the method for determining 3D point correspondences in lidar measurements, a feature vector is determined according to the invention by means of a machine-learned method for each laser measuring point of a lidar measurement and at least for a selection of the laser measuring points of the lidar measurement using a predetermined distance measure in a feature space in each case a corresponding laser measuring point within a Lidar measurement determined following further lidar measurement.

Im Gegensatz zu bekannten Laserscannern, welche sehr präzise Entfernungsmessungen über ihren gesamten Messraum hinweg, können mittels des Verfahrens zusätzlich Bewegungsinformationen erfasster Objekte ermittelt werden. Somit kann zwischen stehenden und bewegten Objekten unterschieden werden. Dies ermöglicht das Verfahren durch Auffinden von erfassten Lasermesspunkten in darauffolgenden Messungen und deren Ableitung über die Zeit, so dass eine Bewegungsrichtung, eine Geschwindigkeit und eine Translation einzelner Punkte im Raum ermittelt werden können. Diese Informationen ermöglichen ein Objekttracking sowie eine Ermittlung einer Eigenbewegung, beispielsweise eines Fahrzeugs oder Roboters, zu verbessern.In contrast to known laser scanners, which take very precise distance measurements across their entire measuring space, the method can also be used to determine movement information of detected objects. This means that a distinction can be made between stationary and moving objects. The method makes this possible by finding recorded laser measurement points in subsequent measurements and deriving them over time, so that a direction of movement, a speed and a translation of individual points in space can be determined. This information enables object tracking and the determination of a proper movement, for example of a vehicle or robot, to be improved.

Weiterhin können im Gegensatz zu bekannten Verfahren, welche in Kameradaten einen optischen Fluss und daraus Distanzen zu Objekten ermitteln, mittels der Lidarmessungen auch in großen Entfernungen Objekte, deren Position, Bewegungsrichtung, Geschwindigkeit und Translation sehr präzise ermittelt werden. Somit eignet sich eine Anwendung des Verfahrens beispielsweise in automatisiert, insbesondere hochautomatisiert oder autonom, betriebenen Fahrzeugen, da diese zur Erzielung eines ausreichenden Vorausschauhorizonts eine genaue Umgebungserfassung und -auswertung in großen Entfernungen erfordern.Furthermore, in contrast to known methods which determine an optical flow in camera data and, from this, distances to objects, objects, their position, direction of movement, speed and translation can be determined very precisely by means of the lidar measurements even at great distances. An application of the method is therefore suitable, for example, in vehicles that are operated in an automated, in particular highly automated or autonomous manner, since these vehicles require precise detection and evaluation of the surroundings at great distances in order to achieve a sufficient forecast horizon.

Dabei ermöglicht das Verfahren Bewegungsschätzungen für einzelne Lasermesspunkte von Lidarmessungen. Aufgrund einer gelernten Merkmalsrepräsentation einzelner Lidarmessungen wird eine effiziente punktbasierte Korrespondenzsuche in einem globalen dreidimensionalen Raum ermöglicht. Dabei kann eine Datengenerierung für das maschinelle Training bzw. Lernen des Verfahrens kann unsupervised, das heißt unbeaufsichtigt, geschehen. Dabei ist kein manueller Annotationsaufwand erforderlich. Somit kann ein großer Trainingsdatensatz erstellt werden, was eine einfache Skalierung des Verfahrens und eine einfache Adaption desselben für neue Fahrsituationen ermöglicht. Je mehr Trainingsdaten vorhanden sind, desto deskriptiver werden die einzelnen Merkmalsvektoren. Je deskriptiver die Merkmalsvektoren sind, desto effizienter wird das Verfahren.The method enables movement estimates for individual laser measurement points of lidar measurements. Based on a learned feature representation of individual lidar measurements, an efficient point-based correspondence search in a global three-dimensional space is made possible. In this case, data generation for the machine training or learning of the method can take place unsupervised, that is, unattended. No manual annotation is required. A large training data set can thus be created, which enables the method to be easily scaled and adapted for new driving situations. The more training data there is, the more descriptive the individual feature vectors become. The more descriptive the feature vectors, the more efficient the method becomes.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention are explained in more detail below with reference to a drawing.

Dabei zeigt:

1 schematisch ein Fahrzeug.

It shows:

1 schematically a vehicle.

In der einzigen 1 ist Fahrzeug 1 dargestellt, welches ein Lidar 2 und eine Verarbeitungseinheit 3 umfasst.In the only one 1 is vehicle 1 shown, which is a lidar 2 and a processing unit 3 includes.

Das Fahrzeug 1 ist zu einem automatisierten, insbesondere hochautomatisierten oder autonomen Fahrbetrieb ausgebildet. Für einen solchen Fahrbetrieb ist eine präzise Umgebungserfassung und -auswertung auch in großen Entfernungen zum Fahrzeug 1 erforderlich. Zu einer solchen Umgebungserfassung ist das Lidar 2 ausgebildet, welche eine Fahrzeugumgebung in einem Abtastvorgang bzw. Scan in bekannter Weise erfasst.The vehicle 1 is designed for an automated, in particular highly automated or autonomous driving operation. Precise detection and evaluation of the surroundings is essential for such driving operations, even at great distances from the vehicle 1 necessary. The lidar is used for such a detection of the surroundings 2 designed, which detects a vehicle environment in a scanning process or scan in a known manner.

Um ein Objekttracking für in der Fahrzeugumgebung befindliche Objekte sowie eine Ermittlung einer Eigenbewegung zu ermöglichen, erfolgen Bewegungsschätzungen für einzelne Lasermesspunkte von mittels des Lidars 2 durchgeführten Lidarmessungen, das heißt Abtastvorgängen bzw. Scans. Hierzu wird mittels der Verarbeitungseinheit 3 ein Verfahren zur Bestimmung von 3D-Punktkorrespondenzen in Lidarmessungen durchgeführt.In order to enable object tracking for objects located in the vehicle environment as well as the determination of a proper movement, movement estimates for individual laser measurement points are carried out by means of the lidar 2 Lidar measurements carried out, i.e. scanning processes or scans. This is done by means of the processing unit 3 carried out a method for the determination of 3D point correspondences in lidar measurements.

In diesem Verfahren wird mittels eines maschinell gelernten Verfahrens für jeden Lasermesspunkt einer Lidarmessung ein Merkmalsvektor bestimmt. Anschließend wird zumindest für eine Auswahl der Lasermesspunkte der Lidarmessung mittels eines vorgegebenen Distanzmaßes in einem Merkmalsraum jeweils ein korrespondierender Lasermesspunkt innerhalb einer auf die Lidarmessung folgenden weiteren Lidarmessung bestimmt. Hieraus können Bewegungsschätzungen von den Lasermesspunkten repräsentierter Objekte und des Fahrzeugs 1 abgeleitet werden.In this method, a feature vector is determined for each laser measuring point of a lidar measurement using a machine-learned method. Subsequently, at least for a selection of the laser measurement points of the lidar measurement, a corresponding laser measurement point is determined in each case within a further lidar measurement following the lidar measurement by means of a predetermined distance measure in a feature space. From this, motion estimates can be made from the laser measurement points of represented objects and the vehicle 1 be derived.

In einer möglichen Ausgestaltung erfolgt eine Datengenerierung für das maschinelle Training bzw. Lernen des Verfahrens unsupervised, das heißt unbeaufsichtigt, so dass kein manueller Annotationsaufwand erforderlich ist.In one possible embodiment, data generation for the machine training or learning of the method takes place unsupervised, that is, unattended, so that no manual annotation is required.

BezugszeichenlisteList of reference symbols

11: Fahrzeugvehicle
22: LidarLidar
33: VerarbeitungseinheitProcessing unit

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102017111351 A1 [0003]

Claims

A method for determining 3D point correspondences in lidar measurements, characterized in that by means of a machine-learned method - a feature vector is determined for each laser measurement point of a lidar measurement and - at least for a selection of the laser measurement points of the lidar measurement by means of a predetermined distance measure in each case a corresponding laser measurement point in a feature space is determined within a further lidar measurement following the lidar measurement.

Using a method according to Claim 1 for a motion estimation for a vehicle (1) and / or an object detected by means of the lidar measurement.