DE102021003141A1

DE102021003141A1 - Method and device for calibrating and/or adjusting a lidar sensor unit of a vehicle and vehicle

Info

Publication number: DE102021003141A1
Application number: DE102021003141.5A
Authority: DE
Inventors: Felix Beyer; Patrick Scheppe; Christian Kobetz; Erich Goller; Martin Jonas
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2022-12-22
Also published as: WO2022263081A1

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit (2) eines Fahrzeugs (3), wobei von der Lidarsensoreinheit (2) eine Punktwolke (PW) erzeugt wird.Erfindungsgemäß werden aus der Punktwolke (PW) diejenigen Punkte (PE1 bis PEm) identifiziert, die von Reflexionen auf einer Fahrbahnebene (FE) stammen, wobei mit diesen Punkten (PE1 bis PEm) ein Normalenvektor (N) der Fahrbahnebene (FE) ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit (2) verwendet wird.The invention relates to a method for calibrating and/or adjusting a lidar sensor unit (2) of a vehicle (3), a point cloud (PW) being generated by the lidar sensor unit (2). According to the invention, those points (PE1 to PEm) identified, which originate from reflections on a road plane (FE), with these points (PE1 to PEm) determining a normal vector (N) of the road plane (FE) and used as a reference for the calibration and/or adjustment of the lidar sensor unit (2) is used.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1, eine Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs und ein Fahrzeug.The invention relates to a method for calibrating and/or adjusting a lidar sensor unit of a vehicle according to the features of the preamble of claim 1, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle and a vehicle.

Aus dem Stand der Technik sind, wie in der DE 10 2020 007 772 A1 beschrieben, ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars und ein Fahrzeug bekannt. In diesem Verfahren erfolgt ein mindestens zweimaliges Abtasten einer Fahrzeugumgebung mittels des Lidars zum Erzeugen wenigstens zweier Punktewolken, ein Nachverfolgen einer Relativposition zumindest einiger der von den Punktewolken umfassten Abtastpunkte zum Lidar, ein Bestimmen einer Bewegungsrichtung der Abtastpunkte durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte zwischen den wenigstens zwei Punktewolken, ein Bestimmen eines Schnittpunkts der Bewegungsrichtungen einer festgelegten Auswahl an Abtastpunkten zur Bestimmung eines Momentanfluchtpunkts, ein Vergleich einer Position des Momentanfluchtpunkts mit einer bekannten Position eines Referenzfluchtpunkts und bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt und Referenzfluchtpunkt ein Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung zu bringen.Are from the prior art, as in the DE 10 2020 007 772 A1 described, a method for in-service calibration of a lidar and a vehicle known. In this method, a vehicle environment is scanned at least twice by means of the lidar to generate at least two point clouds, a relative position of at least some of the scanning points comprised by the point clouds is tracked with respect to the lidar, a direction of movement of the scanning points is determined by evaluating a relative position shift of the scanning points between the at least two Point clouds, determining an intersection of the directions of movement of a specified selection of sampling points to determine an instantaneous vanishing point, comparing a position of the instantaneous vanishing point with a known position of a reference vanishing point, and when determining a positional deviation between the instantaneous vanishing point and the reference vanishing point, shifting a reference coordinate system or an instantaneous coordinate system around the instantaneous vanishing point to coincide with the reference vanishing point.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs, eine gegenüber dem Stand der Technik verbesserte Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs und ein gegenüber dem Stand der Technik verbessertes Fahrzeug anzugeben.The object of the invention is to provide a method for calibrating and/or adjusting a lidar sensor unit of a vehicle that is improved compared to the prior art, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle that is improved compared to the prior art, and a method that is improved compared to the prior art indicate the vehicle improved by the technology.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs mit den Merkmalen des Anspruchs 1, eine Vorrichtung zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs mit den Merkmalen des Anspruchs 8 und ein Fahrzeug mit den Merkmalen des Anspruchs 9.The object is achieved according to the invention by a method for calibrating and/or adjusting a lidar sensor unit of a vehicle having the features of claim 1, a device for calibrating and/or adjusting a lidar sensor unit of a vehicle having the features of claim 8 and a vehicle having the features of claim 9

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous configurations of the invention are the subject matter of the dependent claims.

In einem Verfahren zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit eines Fahrzeugs wird von der Lidarsensoreinheit eine Punktwolke erzeugt, insbesondere genau eine Punktwolke. Diese Punktwolke wird insbesondere erzeugt, indem die Lidarsensoreinheit eine Umgebung des Fahrzeugs mittels mindestens eines Lichtstrahls, insbesondere Laserstrahls, abtastet. Die Punktwolke entsteht dabei durch eine von der Lidarsensoreinheit erfasste Reflexion des mindestens einen Lichtstrahls, insbesondere Laserstrahls, in der Umgebung, beispielsweise an Flächen und/oder Objekten, insbesondere auch an einer Fahrbahnebene, auf welcher sich das Fahrzeug befindet.In a method for calibrating and/or adjusting a lidar sensor unit of a vehicle, the lidar sensor unit generates a point cloud, in particular precisely one point cloud. This point cloud is generated in particular by the lidar sensor unit scanning an area surrounding the vehicle using at least one light beam, in particular a laser beam. The point cloud is created by a reflection of the at least one light beam, in particular a laser beam, detected by the lidar sensor unit in the environment, for example on surfaces and/or objects, in particular also on a roadway level on which the vehicle is located.

Erfindungsgemäß werden aus der Punktwolke diejenigen Punkte identifiziert, die von Reflexionen auf der Fahrbahnebene stammen, insbesondere von Reflexionen auf der Fahrbahnebene, auf welcher sich das Fahrzeug befindet, d. h. einer Bodenebene, auf der das Fahrzeug steht oder sich bewegt. Mit diesen Punkten wird ein Normalenvektor der Fahrbahnebene ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit verwendet.According to the invention, those points are identified from the cloud of points which originate from reflections on the roadway plane, in particular from reflections on the roadway plane on which the vehicle is located, ie. H. a ground level on which the vehicle is standing or moving. A normal vector of the roadway plane is determined with these points and used as a reference for the calibration and/or adjustment of the lidar sensor unit.

Eine erfindungsgemäße Vorrichtung zum Kalibrieren und/oder Justieren der Lidarsensoreinheit des Fahrzeugs ist ausgebildet und eingerichtet zur Durchführung dieses Verfahrens. Die Vorrichtung ist insbesondere eine Recheneinheit oder umfasst eine solche Recheneinheit, die ausgebildet und eingerichtet ist zur Durchführung dieses Verfahrens.A device according to the invention for calibrating and/or adjusting the lidar sensor unit of the vehicle is designed and set up to carry out this method. The device is in particular a computing unit or includes such a computing unit that is designed and set up to carry out this method.

Ein erfindungsgemäßes Fahrzeug umfasst eine solche Vorrichtung.A vehicle according to the invention comprises such a device.

Die erfindungsgemäße Lösung ermöglicht das Kalibrieren und/oder Justieren der Lidarsensoreinheit, insbesondere in zwei rotatorischen Freiheitsgraden, d. h. bezüglich eines Nickwinkels und eines Rollwinkels, ohne eine Verwendung von Lidar-Kalibriertafeln und dadurch auf besonders einfache und effiziente Weise. Der Rollwinkel wird auch als Wankwinkel bezeichnet.The solution according to the invention enables the calibration and/or adjustment of the lidar sensor unit, in particular in two rotational degrees of freedom, i. H. in terms of a pitch angle and a roll angle, without using lidar calibration panels and thereby in a particularly simple and efficient manner. The roll angle is also referred to as the roll angle.

In einer möglichen Ausführungsform werden diejenigen Punkte, die von Reflexionen auf der Fahrbahnebene stammen, mit einem Verfahren zur Segmentierung von Punktwolken identifiziert, insbesondere mittels Random Sample Consesus (RANSAC). Hierbei wird vorteilhafterweise ein Modell in Form einer Ebene definiert, und es werden die Punkte bestimmt, die am besten dieses Modell „Ebene“ wiederspiegeln, d. h. welche am besten zu diesem Modell in Form einer Ebene passen. Insbesondere werden die Punkte bestimmt, die zusammen eine möglichst große Ebene bilden, insbesondere diejenigen Punkte, die die größtmögliche Ebene aller mittels Punkten der Punktwolke zu bildenden Ebenen bilden. Vorteilhafterweise erfolgt hierbei zunächst eine Vorfilterung zur Eingrenzung eines Erwartungsbereichs, d. h. zur Bildung der Ebene werden dann nur noch die Punkte der Punktwolke berücksichtigt, die sich innerhalb dieses Erwartungsbereichs befinden. Dadurch wird eine effiziente Identifizierung der Punkte, die von Reflexionen auf der Fahrbahnebene stammen, aus der Punktwolke ermöglicht.In a possible embodiment, those points originating from reflections on the road surface are identified using a method for segmenting point clouds, in particular using Random Sample Consessus (RANSAC). Here, advantageously, a model in the form of a plane is defined and the points that best reflect this “plane” model, ie which best fit this model in the form of a plane, are determined. In particular, the points are determined that together form a plane that is as large as possible, in particular those points that form the largest possible plane of all planes to be formed by means of points in the point cloud. Advantageously, a pre-filtering is carried out first to delimit an expectation area, ie only the points of the point cloud that are located within this expectation area are then taken into account for the formation of the plane the. This enables efficient identification of the points originating from reflections on the road surface from the point cloud.

Zur Kalibrierung und/oder Justierung der Lidarsensoreinheit wird insbesondere eine Transformation berechnet, welche eine Z-Achse eines dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausrichtet. Dadurch wird eine korrekte Ausrichtung des dreidimensionalen Koordinatensystems der Lidarsensoreinheit ermöglicht.In order to calibrate and/or adjust the lidar sensor unit, a transformation is calculated in particular, which aligns a Z axis of a three-dimensional coordinate system of the lidar sensor unit parallel to the determined normal vector of the roadway plane. This enables correct alignment of the three-dimensional coordinate system of the lidar sensor unit.

In einer möglichen Ausführungsform werden der Nickwinkel und der Rollwinkel berechnet, welche erforderlich sind, um die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene auszurichten. Die beschriebene Lösung ermöglicht somit insbesondere die Bestimmung des Nick- und Rollwinkels des Fahrzeugs mittels der von der Lidarsensoreinheit erfassten Punktwolke.In one possible embodiment, the pitch angle and the roll angle are calculated, which are required to align the Z axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the ascertained normal vector of the roadway plane. The solution described thus enables in particular the determination of the pitch and roll angle of the vehicle using the point cloud detected by the lidar sensor unit.

Vorteilhafterweise erfasst somit im beschriebenen Verfahren die Lidarsensoreinheit die Fahrbahnebene, d. h. die Bodenebene, auf der sich das Fahrzeug befindet, beispielsweise steht oder bewegt. Vorteilhafterweise werden mittels Sensordaten der Lidarsensoreinheit Parameter der Fahrbahnebene im dreidimensionalen Koordinatensystem der Lidarsensoreinheit bestimmt. Anhand der Parameter der Fahrbahnebene wird deren Normalenvektor berechnet. Der Normalenvektor wird in Bezug zum dreidimensionalen Koordinatensystem der Lidarsensoreinheit gesetzt, worüber insbesondere der Nick- und Rollwinkel bestimmt werden kann. Insbesondere durch die Kenntnis des Nick- und Rollwinkels wird die Lidarsensoreinheit kalibriert und/oder justiert.In the method described, the lidar sensor unit thus advantageously detects the road surface, i. H. the ground level on which the vehicle is located, for example standing or moving. Parameters of the road surface in the three-dimensional coordinate system of the lidar sensor unit are advantageously determined using sensor data from the lidar sensor unit. Its normal vector is calculated based on the parameters of the road surface. The normal vector is set in relation to the three-dimensional coordinate system of the lidar sensor unit, which can be used in particular to determine the pitch and roll angle. The lidar sensor unit is calibrated and/or adjusted in particular by knowing the pitch and roll angle.

Das Kalibrieren und/oder Justieren der Lidarsensoreinheit wird beispielsweise während einer Herstellung des Fahrzeugs und/oder während eines Fahrbetriebs des Fahrzeugs durchgeführt.The calibration and/or adjustment of the lidar sensor unit is carried out, for example, during manufacture of the vehicle and/or while the vehicle is being driven.

Die beschriebene Lösung ermöglicht insbesondere auf einfache Weise das Kalibrieren und/oder Justieren der Lidarsensoreinheit und somit deren Inbetriebnahme bereits während der Herstellung des Fahrzeugs, insbesondere noch in einer Fertigungslinie. Dies wird insbesondere durch die beschriebene hochpräzise Ermittlung des Nick- und Rollwinkels ermöglicht. Wie bereits erwähnt, sind hierfür keine im Stand der Technik verwendeten Lidar-Kalibriertafeln erforderlich. Die beschriebene Lösung ermöglicht dadurch insbesondere eine Prozesszeitreduktion auf einem Fahrwerksstand.In particular, the described solution enables the calibration and/or adjustment of the lidar sensor unit in a simple manner and thus its commissioning already during the manufacture of the vehicle, in particular while still on a production line. This is made possible in particular by the described high-precision determination of the pitch and roll angle. As already mentioned, this does not require the lidar calibration panels used in the prior art. The solution described thereby enables in particular a reduction in process time on a chassis stand.

Alternativ oder zusätzlich kann das beschriebene Verfahren beispielsweise auch während des Fahrbetriebs des Fahrzeugs durchgeführt werden. Dadurch wird eine Nachkalibrierung und/oder Nachjustierung ermöglicht, insbesondere online, d. h. während des Fahrbetriebs, so dass kein Werkstattaufenthalt erforderlich ist. Auf diese Weise kann auch eine Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit, beispielsweise aufgrund eines Fremdkontakts eines die Lidarsensoreinheit tragenden Fahrzeugbauteils, beispielsweise einer Stoßstange, schnell erkannt und behoben werden durch entsprechendes Kalibrieren und/oder Justieren der Lidarsensoreinheit auf die beschriebene Weise. Eine solche Dekalibrierung und/oder Dejustierung aufgrund eines Fremdkontakts des Fahrzeugs, insbesondere des die Lidarsensoreinheit tragenden Fahrzeugbauteils, mit seiner Umgebung kann zur Fehlfunktion der Lidarsensoreinheit führen. Dies wird durch die beschriebene Lösung vermieden. Dadurch können Fahrzeugfunktionen, beispielsweise Assistenzfunktionen und/oder Funktionen eines teilautomatisierten, vollautomatisierten oder autonomen Fahrbetriebs, welche auf einer korrekten Funktionsweise der Lidarsensoreinheit basieren, weiterhin sichergestellt werden und eine fehlerhafte Funktionsweise dieser Fahrzeugfunktionen kann verhindert werden. Vorteilhafterweise erfolgt die Erkennung der Dekalibrierung und/oder Dejustierung und deren Kalibrierung und/oder Justierung auf die beschriebene Weise vollautomatisch, beispielsweise unbemerkt durch einen Fahrzeugnutzer, so dass die Fahrzeugnutzung nicht beeinträchtigt ist.Alternatively or additionally, the method described can also be carried out, for example, while the vehicle is being driven. This enables recalibration and/or readjustment, in particular online, i. H. while driving, so that no visit to the workshop is required. In this way, a decalibration and/or maladjustment of the lidar sensor unit, for example due to external contact of a vehicle component carrying the lidar sensor unit, for example a bumper, can be quickly detected and corrected by appropriately calibrating and/or adjusting the lidar sensor unit in the manner described. Such decalibration and/or maladjustment due to external contact of the vehicle, in particular of the vehicle component carrying the lidar sensor unit, with its surroundings can lead to the lidar sensor unit malfunctioning. This is avoided by the solution described. As a result, vehicle functions, for example assistance functions and/or functions of a partially automated, fully automated or autonomous driving operation, which are based on correct functioning of the lidar sensor unit, can continue to be ensured and incorrect functioning of these vehicle functions can be prevented. Advantageously, the detection of the decalibration and/or maladjustment and its calibration and/or adjustment in the manner described takes place fully automatically, for example unnoticed by a vehicle user, so that the use of the vehicle is not impaired.

Zudem kann das beschriebene Verfahren auch im Servicebereich, insbesondere in Werkstätten, und im so genannten After-Sales-Bereich eingesetzt werden, da auch an dieser Stelle der Entfall der Kalibriertafeln große Vorteile bietet.In addition, the method described can also be used in the service area, particularly in workshops, and in the so-called after-sales area, since the omission of the calibration panels also offers great advantages here.

Vorteilhafterweise werden auf die oben beschriebene Weise auch während des Fahrbetriebs der Nick- und Rollwinkel erfasst und zum Kalibrieren und/oder Justieren auf die beschriebene Weise verwendet. Des Weiteren kann eine dynamische Erfassung des Rollwinkels und/oder Nickwinkels während des Fahrbetriebs auf die beschriebene Weise, zum Beispiel auch für Assistenzsysteme des Fahrzeugs, verwendet werden, beispielsweise für ein elektronisches Stabilitätsprogramm des Fahrzeugs. Dadurch können beispielsweise andere Sensoren des Fahrzeugs zur Erfassung des Rollwinkels und/oder Nickwinkels eingespart werden oder es wird eine Redundanz erreicht.Advantageously, in the manner described above, the pitch and roll angles are also detected during driving operation and used for calibration and/or adjustment in the manner described. Furthermore, a dynamic detection of the roll angle and/or pitch angle during driving operation in the manner described, for example also for assistance systems of the vehicle, can be used, for example for an electronic stability program of the vehicle. As a result, for example, other sensors of the vehicle for detecting the roll angle and/or pitch angle can be dispensed with, or redundancy is achieved.

Die hier beschriebene Lösung, insbesondere die beschriebene Berechnung des Nickwinkels und des Rollwinkels, welche erforderlich sind, um die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene auszurichten, dient insbesondere zunächst dem Kalibrieren der Lidarsensoreinheit. Vorteilhafterweise werden für das, insbesondere auf das Kalibrieren folgende, Justieren der Lidarsensoreinheit die auf die oben beschriebene Weise ermittelten Größen, insbesondere der Nickwinkel und Rollwinkel, als Eingangsgrößen verwendet. Das Justieren beschreibt insbesondere einen Ausgleich von Abweichungen mit dem Ziel, geforderte Funktionsgenauigkeiten, insbesondere innerhalb vorgegebener Grenzen, einzuhalten.The solution described here, in particular the described calculation of the pitch angle and the roll angle, which are required to align the Z-axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the determined normal vector of the road surface, is primarily used to calibrate the lidar sensor unit. Advantageously, for that, ins In particular, the adjustment of the lidar sensor unit that follows the calibration uses the variables determined in the manner described above, in particular the pitch angle and roll angle, as input variables. The adjustment describes in particular a compensation for deviations with the aim of maintaining the required functional accuracy, in particular within specified limits.

Beispielsweise kann zum Justieren die berechnete Transformation, welche die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausrichtet, durchgeführt werden. Insbesondere kann beispielsweise das dreidimensionale Koordinatensystem der Lidarsensoreinheit entsprechend dem berechneten Nickwinkel und Rollwinkel derart ausgerichtet werden, dass die Z-Achse des dreidimensionalen Koordinatensystems der Lidarsensoreinheit parallel zum ermittelten Normalenvektor der Fahrbahnebene ausgerichtet ist.For example, the calculated transformation, which aligns the Z axis of the three-dimensional coordinate system of the lidar sensor unit parallel to the ascertained normal vector of the roadway plane, can be carried out for adjustment. In particular, for example, the three-dimensional coordinate system of the lidar sensor unit can be aligned according to the calculated pitch angle and roll angle such that the Z axis of the three-dimensional coordinate system of the lidar sensor unit is aligned parallel to the determined normal vector of the road surface.

Dies kann beispielsweise auf mechanische Weise erfolgen, insbesondere durch eine entsprechende Veränderung einer Ausrichtung der Lidarsensoreinheit am Fahrzeug, insbesondere relativ zum die Lidarsensoreinheit tragenden Fahrzeugbauteil, und/oder es kann beispielsweise auf andere Weise, insbesondere auf elektronische Weise, erfolgen, zum Beispiel durch eine Vorgabe entsprechender Korrekturwerte, welche beispielsweise bei einer Auswertung von Sensorergebnissen der Lidarsensoreinheit berücksichtigt werden, insbesondere indem diese Sensorergebnisse mittels der vorgegebenen Korrekturwerte korrigiert werden.This can be done mechanically, for example, in particular by a corresponding change in an alignment of the lidar sensor unit on the vehicle, in particular relative to the vehicle component carrying the lidar sensor unit, and/or it can be done in a different way, in particular electronically, for example by a specification corresponding correction values, which are taken into account, for example, when evaluating sensor results from the lidar sensor unit, in particular by correcting these sensor results using the specified correction values.

Das oben beschriebene Verfahren kann insbesondere mehrfach an unterschiedlichen Orten der Fahrbahnebene ausgeführt werden, und beispielsweise können die so bestimmten Kalibrierwerte, insbesondere der berechnete Nickwinkel und der berechnete Rollwinkel, verrechnet werden, insbesondere um lokale Unebenheiten der Fahrbahnebene auszugleichen. Dies ist beispielsweise besonders vorteilhaft für die Nachkalibrierung und/oder Nachjustierung, insbesondere die Online-Nachkalibrierung und/oder Online-Nachjustierung, insbesondere während des Fahrbetriebs, insbesondere im so genannten After-Sales-Bereich und/oder im Servicebereich, insbesondere in Werkstätten, da hier nicht grundsätzlich von einer ebenen Fahrbahnebene ausgegangen werden kann. In einer möglichen Ausfürungsform des Verfahrens wird somit die beschriebene Vorgehensweise, insbesondere die beschriebene Berechnung des Nickwinkels und Rollwinkels, mindestens einmal oder mehrfach wiederholt, insbesondere an verschiedenen Orten der Fahrbahnebene, somit insbesondere nach einer jeweiligen Bewegung des Fahrzeugs, insbesondere auf der Fahrbahnebene, insbesondere relativ zur Fahrbahnebene. Insbesondere werden die dabei jeweils berechneten Nickwinkel miteinander verrechnet und die dabei jeweils berechneten Rollwinkel miteinander verrechnet. Beispielsweise werden ein Mittelwert oder Durchschnittswert des Nickwinkels und/oder ein Mittelwert oder Durchschnittswert des Rollwinkels gebildet.The method described above can in particular be carried out several times at different locations on the road surface, and for example the calibration values determined in this way, in particular the calculated pitch angle and the calculated roll angle, can be offset, in particular in order to compensate for local unevenness in the road surface. This is particularly advantageous, for example, for recalibration and/or readjustment, in particular online recalibration and/or online readjustment, in particular while driving, in particular in the so-called after-sales area and/or in the service area, in particular in workshops, since it cannot be assumed here that the roadway is level. In one possible embodiment of the method, the described procedure, in particular the described calculation of the pitch angle and roll angle, is repeated at least once or several times, in particular at different locations on the road surface, thus in particular after a respective movement of the vehicle, in particular on the road surface, in particular relative to the road level. In particular, the pitch angles calculated in each case are offset against one another and the roll angles calculated in each case are offset against one another. For example, a mean value or average value of the pitch angle and/or a mean value or average value of the roll angle are formed.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

1 schematisch ein Fahrzeug mit einer Lidarsensoreinheit,
2 schematisch das Fahrzeug mit der Lidarsensoreinheit und eine Punktwolke,
3 schematisch das Fahrzeug mit der Lidarsensoreinheit und Punkte der Punktwolke, welche in einer Fahrbahnebene liegen,
4 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Punkte der Punktwolke, welche in der Fahrbahnebene liegen, sowie die Fahrbahnebene,
5 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene und einen Normalenvektor der Fahrbahnebene,
6 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene, den Normalenvektor der Fahrbahnebene und ein dreidimensionales Koordinatensystem der Lidarsensoreinheit,
7 schematisch das Fahrzeug mit der Lidarsensoreinheit, die Fahrbahnebene, das dreidimensionale Koordinatensystem der Lidarsensoreinheit und den in einen Ursprung des dreidimensionalen Koordinatensystems verschobenen Normalenvektor der Fahrbahnebene, und
8 schematisch eine Transformation des dreidimensionalen Koordinatensystems der Lidarsensoreinheit.

show:

1 schematically a vehicle with a lidar sensor unit,
2 schematic of the vehicle with the lidar sensor unit and a point cloud,
3 schematically the vehicle with the lidar sensor unit and points of the point cloud, which lie in a road plane,
4 Schematically the vehicle with the lidar sensor unit, the points of the point cloud which lie in the roadway plane and the roadway plane,
5 schematically the vehicle with the lidar sensor unit, the road plane and a normal vector of the road plane,
6 schematically the vehicle with the lidar sensor unit, the road plane, the normal vector of the road plane and a three-dimensional coordinate system of the lidar sensor unit,
7 schematically the vehicle with the lidar sensor unit, the roadway plane, the three-dimensional coordinate system of the lidar sensor unit and the normal vector of the roadway plane shifted to an origin of the three-dimensional coordinate system, and
8th schematically a transformation of the three-dimensional coordinate system of the lidar sensor unit.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

Anhand der 1 bis 8 werden im Folgenden ein Verfahren und eine Vorrichtung 1 zum Kalibrieren und/oder Justieren einer Lidarsensoreinheit 2 eines Fahrzeugs 3 beschrieben, wobei das Fahrzeug 3 vorteilhafterweise diese Vorrichtung 1 umfasst, wie schematisch stark vereinfacht in 1 gezeigt und in den weiteren Figuren aus Gründen der Übersichtlichkeit nicht gesondert dargestellt ist. Die Vorrichtung 1 ist dabei ausgebildet und eingerichtet zur Durchführung dieses Verfahrens. Die Vorrichtung 1 ist insbesondere eine Recheneinheit oder umfasst eine solche Recheneinheit, die ausgebildet und eingerichtet ist zur Durchführung dieses Verfahrens.Based on 1 until 8th a method and a device 1 for calibrating and/or adjusting a lidar sensor unit 2 of a vehicle 3 are described below, the vehicle 3 advantageously comprising this device 1, as schematically greatly simplified in 1 shown and is not shown separately in the other figures for reasons of clarity. The device 1 is designed and set up to carry out this procedure. The device 1 is in particular a computing unit or includes such a computing unit that is designed and set up to carry out this method.

Zusammengefasst wird in dem hier beschriebenen Verfahren von der Lidarsensoreinheit 2 eine Punktwolke PW erzeugt, insbesondere genau eine Punktwolke PW. Diese Punktwolke PW wird insbesondere erzeugt, indem die Lidarsensoreinheit 2 eine Umgebung des Fahrzeugs 3 mittels mindestens eines Lichtstrahls, insbesondere Laserstrahls, abtastet. Die Punktwolke PW entsteht dabei durch eine von der Lidarsensoreinheit 2 erfasste Reflexion des mindestens einen Lichtstrahls, insbesondere Laserstrahls, in der Umgebung, beispielsweise an Flächen und/oder Objekten, insbesondere auch an einer Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet. Im hier dargestellten Beispiel ist diese Fahrbahnebene FE beispielsweise ein Bestandteil einer Fertigungslinie L, in welcher das Fahrzeug 3 hergestellt wird. Daher befindet sich im dargestellten Beispiel vor dem Fahrzeug 3 ein weiteres Fahrzeug F in dieser Fertigungslinie L.In summary, in the method described here, a point cloud PW is generated by the lidar sensor unit 2, in particular exactly one point cloud PW. This point cloud PW is generated in particular by the lidar sensor unit 2 scanning an area surrounding the vehicle 3 using at least one light beam, in particular a laser beam. The point cloud PW is created by a reflection of the at least one light beam, in particular a laser beam, detected by the lidar sensor unit 2 in the environment, for example on surfaces and/or objects, in particular also on a roadway plane FE on which the vehicle 3 is located. In the example shown here, this lane level FE is part of a production line L, for example, in which the vehicle 3 is manufactured. Therefore, in the example shown, there is another vehicle F in this production line L in front of vehicle 3.

Im hier beschriebenen Verfahren werden aus der Punktwolke PW, d. h. aus der Gesamtheit von Punkten P1 bis Pn der Punktwolke PW, diejenigen Punkte PE1 bis PEm identifiziert, die von Reflexionen auf der Fahrbahnebene FE stammen, insbesondere von Reflexionen auf der Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet, d. h. einer Bodenebene, auf der das Fahrzeug 3 steht oder sich bewegt. Mit diesen Punkten PE1 bis PEm wird ein Normalenvektor N der Fahrbahnebene FE ermittelt und als Referenz für die Kalibrierung und/oder Justierung der Lidarsensoreinheit 2 verwendet.In the method described here, PW, i. H. from the totality of points P1 to Pn of the point cloud PW, those points PE1 to PEm are identified which originate from reflections on the roadway plane FE, in particular from reflections on the roadway plane FE on which the vehicle 3 is located, d. H. a ground plane on which the vehicle 3 is standing or moving. A normal vector N of the road plane FE is determined with these points PE1 to PEm and used as a reference for the calibration and/or adjustment of the lidar sensor unit 2 .

Das beschriebene Verfahren ist wesentlich vorteilhafter als die aus dem Stand der Technik bekannte Vorgehensweise, bei welcher sich das Fahrzeug 3 zur Kalibrierung der Lidarsensoreinheit 2 auf einem achsvermessenden Prüfstand befindet und von der Lidarsensoreinheit 2 aus dieser Position Kalibriertafeln erfasst werden, wobei die Lidarsensoreinheit 2 durch die Kenntnis der Fahrzeuglage und Fahrzeugausrichtung sowie der Position der Kalibriertafeln kalibriert und justiert werden kann. Diese aus dem Stand der Technik bekannte targetbasierte Kalibrierung ist zeitaufwendig und dadurch auch kostenintensiv. Zudem führt eine bei modernen Fahrzeugen 3 zunehmende Anzahl von Sensoreinheiten einer Umfeldsensorik des Fahrzeugs 3 zu der Problematik, dass nicht alle Sensoreinheiten zeitgleich in Betrieb genommen werden können, da sich Kalibriertafeln gegenseitig verdecken würden. Die Kalibriertafeln stellen zudem durch ihre Größe und den für die Kalibrierung erforderlichen Raumbedarf ein Problem dar. Des Weiteren beeinflussen bei solchen targetbasierten Verfahren aufgrund ihrer Funktionsweise über die Bestimmung der relativen Lage zwischen Lidarsensoreinheit 2 und Target, insbesondere Kalibriertafel, auch translatorische Toleranzen die rotatorischen Kalibrierwinkel. Beim hier beschriebenen Verfahren beeinflussen translatorische Toleranzen die Kalibrierwinkel, insbesondere einen hier berechneten Nickwinkel Θ und einen hier berechneten Rollwinkel Φ, nicht. Daher sind diese targetbasierten Verfahren ungenauer als das hier beschriebene Verfahren.The method described is significantly more advantageous than the procedure known from the prior art, in which the vehicle 3 is located on an axle-measuring test bench to calibrate the lidar sensor unit 2 and calibration panels are recorded by the lidar sensor unit 2 from this position, with the lidar sensor unit 2 being Knowing the vehicle location and vehicle orientation and the position of the calibration panels can be calibrated and adjusted. This target-based calibration, which is known from the prior art, is time-consuming and therefore also expensive. In addition, an increasing number of sensor units of an environment sensor system of the vehicle 3 in modern vehicles 3 leads to the problem that not all sensor units can be put into operation at the same time since calibration panels would cover one another. The calibration panels also pose a problem due to their size and the space required for the calibration. Furthermore, in such target-based methods, due to the way they work by determining the relative position between the lidar sensor unit 2 and the target, in particular the calibration panel, translational tolerances also affect the rotary calibration angle. In the method described here, translational tolerances do not affect the calibration angles, in particular a pitch angle Θ calculated here and a roll angle Φ calculated here. Therefore, these target-based methods are less accurate than the method described here.

Diese Probleme werden durch das hier beschriebene Verfahren vermieden, da hierfür solche Kalibiertafeln nicht erforderlich sind, denn das hier beschriebene Verfahren nutzt die Umgebung, in der sich das Fahrzeug 3 befindet, beispielsweise steht oder sich bewegt, als Kalibrierreferenz. Der Einsatz von Kalibriertafeln ist somit nicht erforderlich. Dieses Verfahren ermöglicht somit eine wesentlich vereinfachte und schnellere und somit auch kostengünstigere Kalibrierung und/oder Justierung der Lidarsensoreinheit 2.These problems are avoided by the method described here, since such calibration tables are not required for this, because the method described here uses the environment in which the vehicle 3 is located, for example stationary or moving, as a calibration reference. The use of calibration boards is therefore not necessary. This method thus enables a significantly simplified and faster and therefore also more cost-effective calibration and/or adjustment of the lidar sensor unit 2.

Im Folgenden wird dieses Verfahren, insbesondere dessen Ablauf, anhand der 1 bis 8 detailliert beschrieben.In the following, this procedure, in particular its course, is explained on the basis of 1 until 8th described in detail.

Das Fahrzeug 3 befindet sich im dargestellten Beispiel in der Fertigungslinie L, wie in 1 gezeigt, kann sich in anderen Beispielen jedoch ebenso auch an einem anderen Ort befinden.In the example shown, vehicle 3 is in production line L, as in FIG 1 shown, but may be in a different location in other examples as well.

Mittels der Lidarsensoreinheit 2 wird eine Aufnahme in Form der Punktwolke PW gemacht, wie in 2 gezeigt.The lidar sensor unit 2 is used to take a picture in the form of the point cloud PW, as shown in FIG 2 shown.

Anschließend wird in der Punktwolke PW differenziert, welche Punkte PE1 bis PEm in der Fahrbahnebene FE liegen und welche anderen Punkte PA1 bis PAq von anderen Objekten, im dargestellten Beispiel von Pfeilern PF und dem weiteren Fahrzeug F, reflektiert werden. Hierzu wird vorteilhafterweise ein Verfahren zur Segmentierung von Punktwolken PW verwendet, insbesondere ein Verfahren, welches als „Random Sample Consesus“ (RANSAC) oder Random-Sample-Consesus-Algorithmus bezeichnet wird. Es wird ein Modell in Form einer Ebene E definiert und es werden die Punkte PE1 bis PEm bestimmt, die am besten dieses Modell „Ebene E“ wiederspiegeln, d. h. welche am besten zu diesem Modell in Form einer Ebene E passen.A differentiation is then made in the point cloud PW as to which points PE1 to PEm lie in the roadway plane FE and which other points PA1 to PAq are reflected by other objects, in the example shown by pillars PF and the further vehicle F. A method for segmenting point clouds PW is advantageously used for this purpose, in particular a method which is referred to as “random sample consensus” (RANSAC) or random sample consensus algorithm. A model is defined in the form of a plane E and the points PE1 to PEm that best reflect this “plane E” model are identified, i.e. H. which best suit this model in the shape of a plane E.

Insbesondere werden die Punkte PE1 bis PEm bestimmt, die zusammen eine möglichst große Ebene E bilden, insbesondere diejenigen Punkte PE1 bis PEm, die die größtmögliche Ebene E aller mittels Punkten P1 bis Pn der Punktwolke PW zu bildenden Ebenen bilden.In particular, the points PE1 to PEm are determined, which together form a plane E that is as large as possible, in particular those points PE1 to PEm that form the largest possible plane E of all planes to be formed using points P1 to Pn of the point cloud PW.

Vorteilhafterweise erfolgt hierbei zunächst eine Vorfilterung zur Eingrenzung eines Erwartungsbereichs, d. h. zur Bildung der Ebene E und somit zum Ermitteln dieser Ebene E werden dann nur noch die Punkte P1 bis Pn der Punktwolke PW berücksichtigt, die sich innerhalb dieses Erwartungsbereichs befinden. Dadurch wird eine effiziente Identifizierung der Punkte PE1 bis PEm, die von Reflexionen auf der Fahrbahnebene FE stammen, aus der Punktwolke PW ermöglicht.Advantageously, a pre-filtering is carried out first to delimit an expectation range, ie only the points P1 to Pn of the point cloud PW that are located within this expectation range are then considered to form the plane E and thus to determine this plane E. This enables the points PE1 to PEm, which originate from reflections on the roadway plane FE, to be identified efficiently from the point cloud PW.

Die dadurch ermittelte Ebene E liegt nicht unter dem Fahrzeug 3, sondern entsprechend des Erfassungsbereichs der Lidarsensoreinheit 2 vor dem Fahrzeug 3, wie hier gezeigt, oder bei anders ausgerichteten Lidarsensoreinheiten 2 beispielsweise hinter dem Fahrzeug 3 oder seitlich neben dem Fahrzeug 3, da sich alle Punkte P1 bis Pn der Punktwolke PW im jeweiligen Erfassungsbereich der Lidarsensoreinheit 2 befinden. Die auf diese Weise ermittelte Ebene E ist jedoch ein Bestandteil der Fahrbahnebene FE, auf welcher sich das Fahrzeug 3 befindet, d. h. steht oder sich bewegt, oder es wird für das hier beschriebene Verfahren zumindest davon ausgegangen, dass dies so ist. Mit der Ermittlung der Ebene E wird somit auch die Fahrbahnebene FE ermittelt, auf welcher sich das Fahrzeug 3 befindet, d. h. auf welcher es steht oder sich bewegt.The plane E determined in this way is not below the vehicle 3, but according to the detection range of the lidar sensor unit 2 in front of the vehicle 3, as shown here, or in the case of differently aligned lidar sensor units 2, for example behind the vehicle 3 or to the side of the vehicle 3, since all points P1 to Pn of the point cloud PW are located in the respective detection area of the lidar sensor unit 2. However, the level E determined in this way is part of the roadway level FE on which the vehicle 3 is located, i. H. standing or moving, or at least presumed to be so for the purposes of the method described herein. With the determination of the level E, the lane level FE is thus also determined on which the vehicle 3 is located, i. H. on which it stands or moves.

Auf die beschriebene Weise erfolgt somit eine Segmentierung der Ebene E und somit der Fahrbahnebene FE.In the manner described, the plane E and thus the roadway plane FE are segmented.

Wie in den 3 und 4 gezeigt, wird die Punktwolke PW auf die Punkte PE1 bis PEm innerhalb dieser Ebene E und somit der Fahrbahnebene FE reduziert. Dadurch können Parameter der ermittelten Ebene E und insbesondere der Normalenvektor N der ermittelten Ebene E und somit auch der Fahrbahnebene FE ermittelt werden, insbesondere berechnet werden.As in the 3 and 4 shown, the point cloud PW is reduced to the points PE1 to PEm within this plane E and thus the roadway plane FE. As a result, parameters of the determined plane E and in particular the normal vector N of the determined plane E and thus also of the roadway plane FE can be determined, in particular calculated.

Es wird somit nun der Normalenvektor N der ermittelten Ebene E und somit der Fahrbahnebene FE ermittelt, insbesondere berechnet, wie in 5 gezeigt.The normal vector N of the determined plane E and thus of the roadway plane FE is thus now determined, in particular calculated, as in FIG 5 shown.

6 zeigt ein dreidimensionales Koordinatensystem der Lidarsensoreinheit 2, auch als Sensorkoordinatensystem bezeichnet. Es umfasst eine X-Achse X, eine Y-Achse Y und eine Z-Achse Z. Es handelt sich hierbei um ein kartesisches Koordinatensystem und somit um ein orthogonales Koordinatensystem. Jede der Achsen X, Y, Z ist orthogonal zu jeder der jeweiligen beiden anderen Achsen X, Y, Z ausgerichtet. 6 shows a three-dimensional coordinate system of the lidar sensor unit 2, also referred to as the sensor coordinate system. It includes an X-axis X, a Y-axis Y and a Z-axis Z. This is a Cartesian coordinate system and therefore an orthogonal coordinate system. Each of the X, Y, Z axes is orthogonal to each of the other two X, Y, Z axes, respectively.

7 zeigt den in einen Ursprung des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 verschobenen Normalenvektor N der Fahrbahnebene FE. 7 shows the normal vector N of the roadway plane FE shifted to an origin of the three-dimensional coordinate system of the lidar sensor unit 2 .

In einem kalibrierten und/oder justierten Zustand der Lidarsensoreinheit 2 sollte die Z-Achse Z des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 parallel zu diesem Normalenvektor N der Fahrbahnebene FE ausgerichtet sein. Dies ist im hier dargestellten Beispiel nicht der Fall, d. h. die Lidarsensoreinheit 2 ist dekalibriert und/oder dejustiert.When the lidar sensor unit 2 is in a calibrated and/or adjusted state, the Z axis Z of the three-dimensional coordinate system of the lidar sensor unit 2 should be aligned parallel to this normal vector N of the roadway plane FE. This is not the case in the example shown here, i. H. the lidar sensor unit 2 is decalibrated and/or out of adjustment.

Deshalb wird nun, wie in 8 gezeigt, die Transformation berechnet, die das dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 mit seiner Z-Achse Z parallel zum Normalenvektor N der Fahrbahnebene FE ausrichtet. Aus der Transformation folgt ein Nickwinkel Θ und Rollwinkel Φ, d. h. für diese Transformation werden der Nickwinkel Θ und der Rollwinkel Φ bestimmt, insbesondere berechnet, die das dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 mit seiner Z-Achse Z parallel zum Normalenvektor N der Fahrbahnebene FE transformieren, wie in 8 gezeigt. Dabei ist in 8 auf der linken Seite die Bestimmung des Nickwinkels Θ und Rollwinkels Φ und auf der rechten Seite das entsprechend transformierte dreidimensionale Koordinatensystem der Lidarsensoreinheit 2 dargestellt. Der Rollwinkel Φ wird auch als Wankwinkel bezeichnet. Der Rollwinkel Φ beschreibt ein Schwenken um die X-Achse X. Der Nickwinkel Θ beschreibt ein Schwenken um die Y-Achse Y.Therefore, as in 8th shown, calculates the transformation that aligns the three-dimensional coordinate system of the lidar sensor unit 2 with its Z-axis Z parallel to the normal vector N of the roadway plane FE. From the transformation follows a pitch angle Θ and a roll angle Φ, ie for this transformation the pitch angle Θ and the roll angle Φ are determined, in particular calculated, which transform the three-dimensional coordinate system of the lidar sensor unit 2 with its Z-axis Z parallel to the normal vector N of the roadway plane FE, as in 8th shown. where is in 8th the determination of the pitch angle Θ and roll angle Φ is shown on the left and the correspondingly transformed three-dimensional coordinate system of the lidar sensor unit 2 is shown on the right. The roll angle Φ is also referred to as the roll angle. The roll angle Φ describes a panning around the X-axis X. The pitch angle Θ describes a panning around the Y-axis Y.

Zusammengefasst werden im hier beschriebenen Verfahren somit vorteilhafterweise folgende Schritte oder zumindest mehrere der folgenden Schritte durchgeführt, insbesondere in der angegebenen Reihenfolge:

- Aufnahme der Punktwolke PW mit der Lidarsensoreinheit 2,
- Bestimmen einer Anzahl an Punkten PE1 bis PEm, die eine möglichst große Ebene E bilden,
- Vorfilterung zur Eingrenzung des Erwartungsbereiches,
- Einsatz des Random-Sample-Consensus-Algorithmus (RANSAC) zum Ermitteln der Ebene E und somit der Fahrbahnebene FE,
- Berechnen der Parameter der ermittelten Ebene E,
- Berechnen des Normalenvektors N der ermittelten Ebene E,
- Bestimmen des Nickwinkels Θ und Rollwinkels Φ, die die Z-Achse Z des dreidimensionalen Koordinatensystems der Lidarsensoreinheit 2 parallel zu dem berechneten Normalenvektor N ausrichten.

In summary, the following steps or at least several of the following steps are advantageously carried out in the method described here, in particular in the order given:

- recording of the point cloud PW with the lidar sensor unit 2,
- Determination of a number of points PE1 to PEm, which form a plane E that is as large as possible,
- Pre-filtering to limit the expected range,
- Use of the Random Sample Consensus Algorithm (RANSAC) to determine the level E and thus the lane level FE,
- calculation of the parameters of the determined plane E,
- Calculation of the normal vector N of the determined plane E,
- Determination of the pitch angle Θ and roll angle Φ, which align the Z-axis Z of the three-dimensional coordinate system of the lidar sensor unit 2 parallel to the calculated normal vector N.

Durch die Kenntnis des Nickwinkels Θ und Rollwinkels Φ kann die Lidarsensoreinheit 2 bereits in der Fertigungslinie L in Betrieb genommen werden. Sofern zusätzlich der Gierwinkel der Lidarsensoreinheit 2 um ihre Z-Achse, beispielsweise aus dem in der DE 10 2020 007 772 A1 beschriebenen Verfahren oder aus anderen bereits bekannten Verfahren zur Kalibrierung ohne Kalibriertafeln, wie beispielsweise dem Iterative Closest Point (ICP) Verfahren, bekannt ist, oder sofern ein Kalibrieren und/oder Justieren der Lidarsensoreinheit 2 bezüglich des Gierwinkels nicht erforderlich ist, können Kalibriertafeln, wie im Stand der Technik beschrieben, entfallen, wodurch Kosten und Fläche eingespart werden können. Zudem kann eine Prozesszeit auf dem Fahrwerkstand, d. h. auf dem Prüfstand, reduziert werden. Alternativ oder zusätzlich zu den genannten Verfahren zur Bestimmung des Gierwinkels der Lidarsensoreinheit 2 können somit, sofern das Kalibrieren und/oder Justieren der Lidarsensoreinheit 2 auch bezüglich des Gierwinkels erforderlich ist, zumindest hierfür weiterhin eine oder mehrere Kalibriertafeln und/oder eines oder mehrere andere Kalibriertargets verwendet werden.The lidar sensor unit 2 can already be put into operation in the production line L by knowing the pitch angle Θ and the roll angle Φ. If, in addition, the yaw angle of the lidar sensor unit 2 about its Z-axis, for example from the DE 10 2020 007 772 A1 described method or from other already known methods for calibration without calibration boards, such as the Iterative Closest Point (ICP) method, is known, or if calibration and/or adjustment of the lidar sensor unit 2 with regard to the yaw angle is not required, calibration boards, as in Described prior art, eliminated, whereby costs and space can be saved. In addition, a process time on the chassis stand, ie on the test stand, can be reduced. As an alternative or in addition to the methods mentioned for determining the yaw angle of the lidar sensor unit 2, if the calibration and/or adjustment of the lidar sensor unit 2 is also required with regard to the yaw angle, one or more calibration panels and/or one or more other calibration targets can continue to be used at least for this purpose will.

Das beschriebene Verfahren kann insbesondere mehrfach an unterschiedlichen Orten der Fahrbahnebene FE ausgeführt werden und beispielsweise können die so bestimmten Kalibrierwerte, insbesondere der berechnete Nickwinkel Θ und der berechnete Rollwinkel Φ, verrechnet werden, insbesondere um lokale Unebenheiten der Fahrbahnebene FE auszugleichen. Dies ist beispielsweise besonders vorteilhaft für die Nachkalibrierung und/oder Nachjustierung, insbesondere die Online-Nachkalibrierung und/oder Online-Nachjustierung, insbesondere während des Fahrbetriebs, insbesondere im so genannten After-Sales-Bereich und/oder im Servicebereich, insbesondere in Werkstätten, da hier nicht grundsätzlich von einer ebenen Fahrbahnebene FE ausgegangen werden kann. In einer möglichen Ausfürungsform des Verfahrens wird somit die beschriebene Vorgehensweise, insbesondere die beschriebene Berechnung des Nickwinkels Θ und Rollwinkels Φ, mindestens einmal oder mehrfach wiederholt, insbesondere an verschiedenen Orten der Fahrbahnebene FE, somit insbesondere nach einer jeweiligen Bewegung des Fahrzeugs, insbesondere auf der Fahrbahnebene FE, insbesondere relativ zur Fahrbahnebene FE. Insbesondere werden die dabei jeweils berechneten Nickwinkel O miteinander verrechnet und die dabei jeweils berechneten Rollwinkel Φ miteinander verrechnet. Beispielsweise werden ein Mittelwert oder Durchschnittswert des Nickwinkels Θ und/oder ein Mittelwert oder Durchschnittswert des Rollwinkels Φ gebildet.The method described can in particular be carried out several times at different locations on the road surface FE and, for example, the calibration values determined in this way, in particular the calculated pitch angle Θ and the calculated roll angle Φ, can be offset, in particular in order to compensate for local unevenness in the road surface FE. This is particularly advantageous, for example, for recalibration and/or readjustment, in particular online recalibration and/or online readjustment, in particular while driving, in particular in the so-called after-sales area and/or in the service area, in particular in workshops, since a level road surface FE cannot always be assumed here. In one possible embodiment of the method, the described procedure, in particular the described calculation of the pitch angle Θ and roll angle Φ, is repeated at least once or several times, in particular at different locations on the road surface FE, thus in particular after a respective movement of the vehicle, in particular on the road surface FE, in particular relative to the road surface FE. In particular, the pitch angles θ calculated in each case are offset against one another and the roll angles Φ calculated in each case are offset against one another. For example, a mean value or average value of the pitch angle Θ and/or a mean value or average value of the roll angle Φ are formed.

Alternativ oder zusätzlich zu dieser anhand der 1 bis 8 beispielhaft gezeigten Inline-Kalibrierung und/oder Inline-Justierung in der Fertigungslinie L kann das Verfahren auch für eine Online-Kalibrierung und/oder Online-Justierung, insbesondere Online-Nachkalibrierung und/oder Online-Nachjustierung in einem Fahrbetrieb des Fahrzeugs 3 verwendet werden. Der Ablauf des Verfahrens bleibt dabei vorteilhafterweise gleich, d. h. so wie oben beschrieben.Alternatively or in addition to this based on the 1 until 8th In addition to the inline calibration and/or inline adjustment shown as an example in the production line L, the method can also be used for online calibration and/or online adjustment, in particular online recalibration and/or online readjustment while vehicle 3 is being driven. The course of the method advantageously remains the same, ie as described above.

Das Verfahren ermöglicht die Ermittlung einer Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2, die beispielsweise aus einem Fremdkontakt der Lidarsensoreinheit 2 und/oder eines die Lidarsensoreinheit 2 tragenden Fahrzeugbauteils, beispielsweise einer Stoßstange des Fahrzeugs 3, mit der Umwelt resultieren kann, d. h. beispielsweise aus einer Kollision mit einem anderen Objekt. Insbesondere ermöglicht das Verfahren nach der Ermittlung dieser Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2 deren Kalibrierung und/oder Justierung auf die beschriebene Weise. Insbesondere ist hierfür kein Werkstattaufenthalt erforderlich. Die Ermittlung der Dekalibrierung und/oder Dejustierung der Lidarsensoreinheit 2 und/oder deren Kalibrierung und/oder Justierung erfolgen vorteilhafterweise automatisch, so dass vorteilhafterweise ein Fahrzeugnutzer und dessen Fahrzeugnutzung nicht gestört und nicht beeinträchtigt wird. Insbesondere können dadurch Fahrzeugfunktionen, beispielsweise Assistenzfunktionen und/oder Funktionen eines teilautomatisierten, vollautomatisierten oder autonomen Fahrbetriebs, welche auf einer korrekten Funktionsweise der Lidarsensoreinheit 2 basieren, weiterhin sichergestellt werden und eine fehlerhafte Funktionsweise dieser Fahrzeugfunktionen kann verhindert werden.The method makes it possible to determine a decalibration and/or maladjustment of the lidar sensor unit 2, which can result, for example, from external contact between the lidar sensor unit 2 and/or a vehicle component carrying the lidar sensor unit 2, for example a bumper of the vehicle 3, with the environment, i. H. for example from a collision with another object. In particular, after the determination of this decalibration and/or maladjustment of the lidar sensor unit 2, the method enables its calibration and/or adjustment in the manner described. In particular, no workshop visit is required for this. The determination of the decalibration and/or misalignment of the lidar sensor unit 2 and/or its calibration and/or adjustment advantageously take place automatically, so that advantageously a vehicle user and his use of the vehicle are not disturbed or impaired. In particular, vehicle functions, for example assistance functions and/or functions of a partially automated, fully automated or autonomous driving operation, which are based on the correct functioning of the lidar sensor unit 2, can continue to be ensured and incorrect functioning of these vehicle functions can be prevented.

Ein weiterer Vorteil ist eine dynamische Erfassung insbesondere des Rollwinkels Φ, welche mittels des beschriebenen Verfahrens ebenfalls ermöglicht wird, d. h. insbesondere eine ständige Erfassung des Rollwinkels Φ während des Fahrbetriebs des Fahrzeugs 3. Der erfasste Rollwinkel Φ kann beispielsweise als Regelgröße für Fahrerassistenzsysteme verwendet werden, zu Beispiel für ein elektronisches Stabilitätsprogramm des Fahrzeugs 3. Dadurch können beispielsweise andere Sensoren des Fahrzeugs 3 zur Erfassung des Rollwinkels Φ eingespart werden, oder es wird eine Redundanz erreicht.A further advantage is dynamic detection, in particular of the roll angle Φ, which is also made possible by means of the method described, i. H. in particular a constant detection of the roll angle Φ while the vehicle 3 is being driven. The detected roll angle Φ can be used, for example, as a control variable for driver assistance systems, for example for an electronic stability program of the vehicle 3. As a result, for example, other sensors of the vehicle 3 can be used to detect the roll angle Φ be saved, or redundancy is achieved.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102020007772 A1 [0002, 0047]

Claims

Method for calibrating and/or adjusting a lidar sensor unit (2) of a vehicle (3), a point cloud (PW) being generated by the lidar sensor unit (2), characterized in that those points (PE1 to PEm) from the point cloud (PW) are identified that originate from reflections on a roadway plane (FE), with these points (PE1 to PEm) determining a normal vector (N) of the roadway plane (FE) and used as a reference for the calibration and/or adjustment of the lidar sensor unit (2). will.

procedure after claim 1 , characterized in that those points (PE1 to PEm) originating from reflections on the road plane (FE) are identified using a method for segmenting point clouds (PW).

Method according to one of the preceding claims, characterized in that those points (PE1 to PEm) originating from reflections on the road surface (FE) are identified using random sample consensus.

Method according to one of the preceding claims, characterized in that those points (PE1 to PEm) originating from reflections on the road plane (FE) are identified by defining a model in the form of a plane (E) and the points (PE1 to PEm) of the point cloud (PW) that best fits this model in the form of a plane (E).

Method according to one of the preceding claims, characterized in that for the calibration and/or adjustment of the lidar sensor unit (2) a transformation is calculated which has a Z-axis (Z) of a three-dimensional coordinate system of the lidar sensor unit (2) parallel to the ascertained normal vector (N) the road plane (FE) aligns.

procedure after claim 5 , characterized in that a pitch angle (Θ) and a roll angle (Φ) are calculated, which are required to rotate the Z axis (Z) of the three-dimensional coordinate system of the lidar sensor unit (2) parallel to the determined normal vector (N) of the roadway plane (FE ) to align.

Method according to one of the preceding claims, characterized in that the calibration and/or adjustment of the lidar sensor unit (2) is carried out while the vehicle (3) is being manufactured and/or while the vehicle (3) is being driven.

Device (1) for calibrating and/or adjusting a lidar sensor unit (2) of a vehicle (3), designed and set up to carry out a method according to one of the preceding claims.

Vehicle (3) with a device (1). claim 8 .