DE102020007772A1 - Procedure for in-service calibration of a lidar and vehicle - Google Patents

Procedure for in-service calibration of a lidar and vehicle Download PDF

Info

Publication number
DE102020007772A1
DE102020007772A1 DE102020007772.2A DE102020007772A DE102020007772A1 DE 102020007772 A1 DE102020007772 A1 DE 102020007772A1 DE 102020007772 A DE102020007772 A DE 102020007772A DE 102020007772 A1 DE102020007772 A1 DE 102020007772A1
Authority
DE
Germany
Prior art keywords
vehicle
lidar
vanishing point
point
instantaneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102020007772.2A
Other languages
German (de)
Inventor
Christian Kobetz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102020007772.2A priority Critical patent/DE102020007772A1/en
Publication of DE102020007772A1 publication Critical patent/DE102020007772A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

Die Erfindung betrifft ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs. Die Erfindung ist gekennzeichnet durch zumindest die folgenden Verfahrensschritte:- mindestens zweimaliges Abtasten einer Fahrzeugumgebung (1) mittels des Lidars zum Erzeugen wenigstens zweier Punktewolken (2.1, 2.2);- Nachverfolgen einer Relativposition zumindest einiger der von den Punktewolken (2.1, 2.2) umfassten Abtastpunkte (3) zum Lidar;- Bestimmen einer Bewegungsrichtung (4) der Abtastpunkte (3) durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte (3) zwischen den wenigstens zwei Punktewolken (2.1, 2.2);- Bestimmen eines Schnittpunkts der Bewegungsrichtungen (4) einer festgelegten Auswahl an Abtastpunkten (3) zur Bestimmung eines Momentanfluchtpunkts (5);- Vergleich einer Position des Momentanfluchtpunkts (5) mit einer bekannten Position eines Referenzfluchtpunkts (6); und- Bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt (5) und Referenzfluchtpunkt (6): Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt (5) mit dem Referenzfluchtpunkt (6) zur Deckung zu bringen.The invention relates to a method for the in-use calibration of a lidar of a vehicle. The invention is characterized by at least the following method steps: - at least two scanning of a vehicle environment (1) by means of the lidar to generate at least two point clouds (2.1, 2.2); - tracking of a relative position of at least some of the scanning points comprised by the point clouds (2.1, 2.2) (3) to the lidar; - determining a direction of movement (4) of the scanning points (3) by evaluating a relative position shift of the scanning points (3) between the at least two point clouds (2.1, 2.2); - determining an intersection of the directions of movement (4) of a specified selection at scanning points (3) for determining an instantaneous vanishing point (5); - comparison of a position of the instantaneous vanishing point (5) with a known position of a reference vanishing point (6); and- When determining a positional deviation between the instantaneous vanishing point (5) and the reference vanishing point (6): Shifting a reference coordinate system or an instantaneous coordinate system in order to bring the instantaneous vanishing point (5) into congruence with the reference vanishing point (6).

Description

Die Erfindung betrifft ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs nach der im Obergriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einem Lidar und einer Recheneinheit.The invention relates to a method for in-operation calibration of a lidar of a vehicle according to the type defined in more detail in the preamble of claim 1, and to a vehicle with a lidar and a computing unit.

Mit Hilfe eines Laserscanners zu denen auch sogenannte Lidare zählen lassen sich Abstandsinformationen zwischen Laserscanner und Umgebungsobjekten bestimmen. Hierzu wirft das Lidar einen Laserstrahl in die Umgebung, welcher von den Umgebungsobjekten reflektiert wird. Die Reflektionen des Laserstrahls werden vom Lidar detektiert, woraufhin aus einer Laufzeitdifferenz zwischen Aussenden des Laserstrahls und empfangen des reflektierten Laserlichts Abstandsinformationen berechnet werden. Lidare werden auch in Fahrzeuge integriert, um Abstandsinformationen als Eingangsgröße für Fahrerassistenzsysteme wie einen Abstandsregeltempomat oder zur wenigstens teilautomatisierten Steuerung des Fahrzeugs bereitzustellen. Hierzu wird ein Lidar fest, das heißt bewegungsstarr an ein Fahrzeug montiert und so ausgerichtet, dass es einen Sollbereich, insbesondere einen vor einem Fahrzeug liegenden Umgebungsbereich, abtasten kann. Dabei wird das Lidar werksseitig vor Auslieferung des Fahrzeugs kalibriert, um durch eine eindeutige Lagebeziehungen zwischen Lidar und Fahrzeug die Abstandsinformationen zwischen Lidar und Umgebungsobjekten auf das Fahrzeug zu übertragen. Somit ist auch eine Abstandsbestimmung zwischen Fahrzeug und Umgebungsobjekten möglich.With the help of a laser scanner, which also includes so-called lidars, distance information between the laser scanner and surrounding objects can be determined. For this purpose, the lidar throws a laser beam into the environment, which is reflected by the surrounding objects. The reflections of the laser beam are detected by the lidar, whereupon distance information is calculated from a transit time difference between the emission of the laser beam and the reception of the reflected laser light. Lidars are also integrated into vehicles in order to provide distance information as an input variable for driver assistance systems such as adaptive cruise control or for at least partially automated control of the vehicle. For this purpose, a lidar is fixedly, that is to say rigidly mounted, on a vehicle and aligned in such a way that it can scan a target area, in particular a surrounding area lying in front of a vehicle. The lidar is calibrated at the factory before delivery of the vehicle in order to transfer the distance information between lidar and surrounding objects to the vehicle through a clear positional relationship between lidar and vehicle. It is thus also possible to determine the distance between the vehicle and surrounding objects.

Während des Betriebs des Fahrzeugs kann es jedoch vorkommen, dass sich eine Ausrichtung des Lidars gegenüber der Umgebung verändert. Dies wird auch als Dekalibrierung bezeichnet. So kann es dazu kommen, dass ein Lidar in seiner Halterung verrutscht, beispielsweise weil sich Befestigungsmittel lösen oder durch hohe Aufprallkräfte bei einem Unfall. Auch ändert sich eine Orientierung des Lidars gegenüber der Umgebung, wenn das Fahrzeug, welches das Lidar umfasst, Nickbewegungen vollführt. Diese Nickbewegungen resultieren beispielsweise aus starken Beschleunigungs- oder Bremsmanövern und/oder durch Betätigen eines aktiven Fahrwerks, wie ein Luftfahrwerk. Die vom Fahrzeug durchgeführten Nickbewegungen sind mit einem Lidar nur schwer zu erfassen, da eine Fahrbahn auch eine Neigung wie eine Steigung oder ein Gefälle aufweisen kann. In diesem Falle ist es nicht klar, ob eine Relativabstandszu- oder abnahme zwischen Lidar und Fahrbahn durch eine Nickbewegung des Fahrzeugs oder eine Steigung beziehungsweise ein Gefälle entsteht. Kommt es zu einer Dekalibrierung des Lidars, so stimmen die mit dem Lidar gemessenen Abstände zu Umgebungsobjekten nicht mehr mit tatsächlich vorliegenden Abständen überein.During the operation of the vehicle, however, it can happen that an alignment of the lidar with respect to the environment changes. This is also known as decalibration. It can happen that a lidar slips in its holder, for example because fasteners come loose or due to high impact forces in the event of an accident. An orientation of the lidar with respect to the environment also changes when the vehicle that includes the lidar makes pitching movements. These nodding movements result, for example, from strong acceleration or braking maneuvers and / or from operating an active landing gear, such as an air landing gear. The nodding movements carried out by the vehicle are difficult to detect with a lidar, since a roadway can also have an incline such as an uphill or downhill gradient. In this case it is not clear whether an increase or decrease in the relative distance between the lidar and the road is caused by a pitching movement of the vehicle or an uphill or downhill gradient. If the lidar is decalibrated, the distances to surrounding objects measured with the lidar no longer match the actual distances.

Bekannte Verfahren zur Kalibrierung eines Lidars während eines Betriebs eines Fahrzeugs sehen vor, dass zu zwei aufeinanderfolgenden Zeitpunkten jeweils ein Abstand zwischen zwei vom Lidar abgestrahlten, quer über eine Fahrbahn verlaufenden Abtastlinien (bzw. Abtastebenen) bestimmt wird und bei einer Abstandsänderungen zwischen den Abtastlinien auf eine Verschiebung beziehungsweise Dekalibrierung des Lidars geschlossen wird. Anhand des gemessenen Abstands lässt sich ermitteln, wie stark sich das Lidar verschoben hat, was für eine Nachkalibrierung des Lidars verwendet werden kann. Da diese Abstandsänderungen jedoch auch von anderen Ursachen als einer tatsächlichen Verschiebung des Lidars zum Fahrzeug hervorgerufen werden kann, beispielsweise einer vom Fahrzeug vollführte Nickbewegung und/oder wenn das Fahrzeug eine geneigte Fahrbahn befährt, besteht die Gefahr, dass ein Lidar fälschlicherweise nachkalibriert wird, obwohl dies eigentlich nicht notwendig ist.Known methods for calibrating a lidar during operation of a vehicle provide that at two successive points in time a distance is determined between two scan lines (or scan planes) that are emitted by the lidar and run across a roadway, and when the distance between the scan lines changes to one Shift or decalibration of the lidar is closed. The measured distance can be used to determine how much the lidar has shifted, which can be used to recalibrate the lidar. However, since these changes in distance can also be caused by causes other than an actual shift of the lidar to the vehicle, for example a nodding movement performed by the vehicle and / or when the vehicle is driving on an inclined roadway, there is a risk that a lidar will be incorrectly recalibrated, although this is the case is actually not necessary.

Aus der DE 10 2008 064 115 A1 sind ein Verfahren und eine Vorrichtung zum Ermitteln eines Fluchtpunktes bekannt. Die Druckschrift beschreibt ein Verfahren beziehungsweise eine Vorrichtung zur In-Betrieb-Kalibrierung einer von einem Fahrzeug umfassten Kamera, welche zur Umgebungsüberwachung eingesetzt wird. Analog zu Laserscannen beziehungsweise Lidaren lassen sich unter Einsatz einer Mono- beziehungsweise Stereokamera Abstandsinformationen gewinnen. Auch hier ist eine Information über Lagebeziehungen zwischen Kamera und Fahrzeug relevant, um aus einem berechneten Abstand zwischen Kamera und Umgebungsobjekt auch einen Abstand zwischen Umgebungsobjekt und Fahrzeug angeben zu können. Die Idee des in der Druckschrift offenbarten Verfahrens ist es durch Kamerabildauswertung einen Fluchtpunkt in zumindest zwei Kamerabildern zu bestimmen und durch eine Verschiebung eines aktuell bestimmten Fluchtpunkts mit einem Referenzfluchtpunkt eine Dejustage beziehungsweise Dekalibrierung einer Kamera festzustellen. Durch messen eines Abstands wie weit sich ein aktueller Fluchtpunkt zum Referenzfluchtpunkt verschoben hat, lässt sich dann ein Maß bestimmen, wie stark sich die Kamera dekalibriert hat. Anhand dieser Information lässt sich eine Kamera nachkalibrieren. Hierzu werden wenigstens zwei Kamerabilder erzeugt und ausgewertet, wobei jeweils in einem Kamerabild horizontale und/oder vertikale Linien an fixen Positionen erzeugt werden, und für die durch die Linien überlagerten Pixel des Kamerabilds Helligkeitswerte ermittelt werden. Dabei weist in einem ersten Kamerabild ein bestimmtes Pixel einer Linie einen bestimmten Helligkeitswert auf. Im zweiten Kamerabild liegt dieser Helligkeitswert auf der selben Linie bei einem anderen Pixel vor. In Abhängigkeit einer Distanz zwischen den beiden Pixeln mit dem selben Helligkeitswert lässt sich dann ein Fluchtpunkt errechnen. Die Druckschrift geht dabei jedoch ausschließlich auf eine Fluchtpunktbestimmung bei Verwendung eines Kamerasystems ein.From the DE 10 2008 064 115 A1 a method and a device for determining a vanishing point are known. The document describes a method and a device for in-operation calibration of a camera comprised by a vehicle, which is used for environmental monitoring. Analogous to laser scanning or lidars, distance information can be obtained using a mono or stereo camera. Here, too, information about positional relationships between the camera and the vehicle is relevant in order to also be able to specify a distance between the surrounding object and the vehicle from a calculated distance between the camera and the surrounding object. The idea of the method disclosed in the publication is to determine a vanishing point in at least two camera images through camera image evaluation and to determine a camera misalignment or decalibration by shifting a currently determined vanishing point with a reference vanishing point. By measuring a distance of how far a current vanishing point has shifted to the reference vanishing point, a measure of how much the camera has decalibrated can then be determined. A camera can be recalibrated using this information. For this purpose, at least two camera images are generated and evaluated, with horizontal and / or vertical lines being generated at fixed positions in a camera image, and brightness values being determined for the pixels of the camera image overlaid by the lines. In this case, a specific pixel of a line has a specific brightness value in a first camera image. In the second camera image, this brightness value is on the same line for another pixel. Depending on the distance between the two pixels with the same brightness value, a vanishing point can then be calculated. However, the publication only works a vanishing point determination when using a camera system.

Der vorliegenden Erfindung liegt die Aufgabe zu Grunde ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs anzugeben, mit dessen Hilfe ein Lidar während des Betriebs eines Fahrzeugs zuverlässig kalibriert werden kann, auch beim Befahren einer Steigung oder eines Gefälles sowie unter Berücksichtigung vom Fahrzeug vollführten Nickbewegungen.The present invention is based on the object of specifying a method for in-operation calibration of a lidar of a vehicle, with the aid of which a lidar can be reliably calibrated during operation of a vehicle, even when driving on an uphill or downhill gradient and taking the vehicle into account performed nodding movements.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs mit den Merkmalen des Anspruchs 1 und ein Fahrzeug mit einem Lidar und einer Recheneinheit mit den Merkmalen des Anspruchs 5 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.According to the invention, this object is achieved by a method for in-service calibration of a lidar of a vehicle with the features of claim 1 and a vehicle with a lidar and a computing unit with the features of claim 5. Advantageous refinements and developments result from the dependent claims.

Bei einem Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs werden erfindungsgemäß zumindest die folgenden Verfahrensschritte ausgeführt:

  • - mindestens zweimaliges Abtasten einer Fahrzeugumgebung mittels des Lidars zum Erzeugen wenigstens zweier Punktewolken;
  • - Nachverfolgen einer Relativposition zumindest einiger der von der Punktewolken umfassten Abstandspunkte zum Lidar;
  • - Bestimmen einer Bewegungsrichtung der Abtastpunkte durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte zwischen den wenigstens zwei Punktewolken;
  • - Bestimmen eines Schnittpunkts der Bewegungsrichtungen einer festgelegten Auswahl an Abtastpunkten zur Bestimmung eines Momentanfluchtpunkts;
  • - Vergleich einer Position des Momentanfluchtpunkts mit einer bekannten Position eines Referenzfluchtpunkts; und
  • - bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt und Referenzfluchtpunkt: Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung zu bringen.
In a method for in-service calibration of a lidar of a vehicle, at least the following method steps are carried out according to the invention:
  • - At least two scanning of a vehicle environment by means of the lidar to generate at least two point clouds;
  • Tracking of a relative position of at least some of the distance points comprised by the point cloud to the lidar;
  • Determining a direction of movement of the scanning points by evaluating a relative position shift of the scanning points between the at least two point clouds;
  • - Determining an intersection of the directions of movement of a specified selection of sampling points for determining an instantaneous vanishing point;
  • - Comparison of a position of the instantaneous vanishing point with a known position of a reference vanishing point; and
  • - If a positional deviation between the instantaneous vanishing point and the reference vanishing point is determined: Shifting a reference coordinate system or an instantaneous coordinate system in order to bring the instantaneous vanishing point into line with the reference vanishing point.

Mit Hilfe des Verfahrens ist es möglich ein Lidar während des Betriebs zu kalibrieren, auch wenn ein das Lidar umfassendes Fahrzeug ein Gefälle beziehungsweise eine Steigung befährt. Das Verfahren lässt sich während der Nutzungsdauer eines Lidars kontinuierlich anwenden, um auch kontinuierlich eine Dekalibrierung des Lidars festzustellen. Hierzu wird eine Relativposition der von den Punktewolken umfassten Abstandspunkte über die vom Lidar ausgegebenen Punktewolken nachverfolgt. Dabei können auch einzelne Punktewolken ausgelassen werden, beispielsweise weil nicht genug Abtastpunkte in der entsprechenden ausgesparten Punktewolke vorliegen, die ein Nachverfolgen ermöglichen. Dies kann beispielsweise bei bestimmten Fahrsituationen wie dem Befahren einer Kurve oder einem Mangel an statischen Umgebungsobjekten in der Fahrzeugumgebung der Fall sein. Um den Momentanfluchtpunkt und den Referenzfluchtpunkt zur Deckung zu bringen, können entweder die vom Lidar erzeugten Punktewolken so verschoben werden, dass der Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung kommt, oder es kann auch ein Referenzkoordinatensystem so verschoben werden, dass der Referenzfluchtpunkt mit dem Momentanfluchtpunkt zur Deckung kommt.With the aid of the method, it is possible to calibrate a lidar during operation, even if a vehicle comprising the lidar is traveling down a slope or an incline. The method can be used continuously during the service life of a lidar in order to also continuously determine a decalibration of the lidar. For this purpose, a relative position of the distance points comprised by the point clouds is tracked via the point clouds output by the lidar. Individual point clouds can also be left out, for example because there are not enough sampling points in the corresponding recessed point cloud to enable tracking. This can be the case, for example, in certain driving situations such as driving around a curve or a lack of static surrounding objects in the vehicle environment. In order to bring the current vanishing point and the reference vanishing point to coincide, either the point clouds generated by the lidar can be shifted so that the current vanishing point coincides with the reference vanishing point, or a reference coordinate system can be shifted so that the reference vanishing point coincides with the current vanishing point comes.

Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Abtastpunkte der Punktewolken einem statischen oder dynamischen Umgebungsobjekt zugeordnet werden und zur Bestimmung des Schnittpunkts der Bewegungsrichtungen nur die Abtastpunkte verwendet werden, welche einem statischen Umgebungsobjekt zugeordnet wurden. Während des Betriebs eines Fahrzeugs befinden sich typischerweise nicht nur statische Umgebungsobjekte wie parkende Autos, Ampelmasten, Häuser, Bäume, Leitpfosten oder dergleichen in einem Fahrzeugumfeld, sondern auch dynamische Umgebungsobjekte wie Fußgänger, Radfahrer, fahrende Fahrzeuge oder dergleichen. Fährt beispielsweise ein weiterer Verkehrsteilnehmer in eine gleiche Richtung mit einer gleichen Geschwindigkeit wie das Fahrzeug, welches das Lidar aufweist, so ändert sich eine Relativposition zwischen dem weiteren Verkehrsteilnehmer und dem Fahrzeug nicht. In diesem Falle liegt auch keine Relativpositionsverschiebung der dem weiteren Verkehrsteilnehmer entsprechenden Abtastpunkte zwischen zwei aufeinanderfolgenden Punktewolken vor. Für das dynamische Umgebungsobjekt lassen sich somit keine Bewegungsrichtungen bestimmen, und entsprechend kann hieraus auch kein Fluchtpunkt bestimmt werden. Auch kann es vorkommen, dass sich ein dynamisches Umgebungsobjekt so zum Fahrzeug bewegt, dass sich durch Nachverfolgen der Abtastpunkte des jeweiligen dynamischen Objekts kein Fluchtpunkt bestimmen lässt, beispielsweise weil die Bewegungsrichtungen der Abtastpunkte des dynamischen Objekts parallel zueinander verlaufen. Indem zur Bestimmung des Momentanfluchtpunkts ausschließlich die Abtastpunkte welche durch eine Lichtreflektion von statischen Umgebungsobjekten hervorgerufen wurden verwendet werden, lässt sich besonders zuverlässig ein tatsächlicher Momentanfluchtpunkt bestimmen. Zur Differenzierung zwischen statischen und dynamischen Umgebungsobjekten lassen sich bekannte Verfahren nutzen. Dabei ist es auch möglich eine Sensorfusion durchzuführen, um beispielsweise Informationen welche durch eine Kamerabildauswertung gewonnen wurden bei der Klassifizierung der statischen und dynamischen Umgebungsobjekte zu berücksichtigen.An advantageous development of the method provides that the sampling points of the point clouds are assigned to a static or dynamic surrounding object and only those sampling points are used to determine the point of intersection of the directions of movement which have been assigned to a static surrounding object. During the operation of a vehicle, there are typically not only static surrounding objects such as parked cars, traffic light masts, houses, trees, delineator posts or the like in a vehicle environment, but also dynamic surrounding objects such as pedestrians, cyclists, moving vehicles or the like. For example, if another road user drives in the same direction at the same speed as the vehicle that has the lidar, a relative position between the other road user and the vehicle does not change. In this case, there is also no relative position shift of the sampling points corresponding to the further road user between two successive point clouds. No directions of movement can therefore be determined for the dynamic surrounding object, and accordingly no vanishing point can be determined from this either. It can also happen that a dynamic surrounding object moves towards the vehicle in such a way that no vanishing point can be determined by tracking the scanning points of the respective dynamic object, for example because the directions of movement of the scanning points of the dynamic object run parallel to one another. Since only the scanning points which were caused by a light reflection from static surrounding objects are used to determine the instantaneous vanishing point, an actual instantaneous vanishing point can be determined particularly reliably. To differentiate between static and dynamic surrounding objects, use known procedures. It is also possible to carry out a sensor fusion, for example, to take into account information obtained through a camera image evaluation when classifying the static and dynamic surrounding objects.

Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird zur Bestimmung der Position des Momentanfluchtpunkts ein Einfluss eines aktiven Fahrwerks auf zumindest einen Nickwinkel des Fahrzeugs berücksichtigt. So kann es vorkommen, dass ein Fahrzeug aufgrund von Stellbewegungen eines aktiven Fahrwerks Nickbewegungen vollführt, wobei eine feste Beziehung vorliegt, wie weit sich der Momentanfluchtpunkt in Abhängigkeit eines Stellhubs des aktiven Fahrwerks vertikal bewegt. Diese Beziehung kann verwendet werden, um die vertikale Verschiebung des Momentanfluchtpunkts zum Referenzfluchtpunkt auszugleichen. Hierdurch wird verhindert, dass eine Dekalibrierung des Lidars aufgrund einer Stellbewegung eines aktiven Fahrwerks fälschlicherweise festgestellt wird.According to a further advantageous embodiment of the method, an influence of an active chassis on at least one pitch angle of the vehicle is taken into account in order to determine the position of the instantaneous vanishing point. It can happen that a vehicle performs nodding movements due to adjusting movements of an active chassis, whereby there is a fixed relationship as to how far the instantaneous vanishing point moves vertically as a function of an adjusting stroke of the active chassis. This relationship can be used to compensate for the vertical displacement of the instantaneous vanishing point to the reference vanishing point. This prevents a decalibration of the lidar from being erroneously determined due to an adjusting movement of an active landing gear.

Bevorzugt werden zur Bestimmung der Position des Momentanfluchtpunkts nur dann Punktewolken berücksichtigt, wenn ein Betrag einer in eine Fahrzeuglängsachse gerichteten positiven oder negativen Fahrzeugbeschleunigung unterhalb eines festgelegten Grenzwerts liegt, insbesondere unterhalb eines Grenzwerts in einer Größenordnung von +/- 2m/s2 Beschleunigt ein Fahrzeug vergleichsweise stark oder bremst vergleichsweise stark ab, so kann das Fahrzeug auch Nickbewegungen vollführen. Indem lediglich dann Punktewolken zur Bestimmung des Momentanfluchtpunkts ausgewertet werden, wenn die in Richtung der in Fahrzeuglängsachse vorliegender Fahrzeugbeschleunigung gleich oder kleiner des festgelegten Grenzwerts liegt, kann hierdurch sichergestellt werden, dass keine Nickbewegungen vom Fahrzeug vollführt werden, beziehungsweise diese Nickbewegungen innerhalb eines tolerierbaren Bereichs liegen. Insbesondere bei einer Fahrzeugbeschleunigung von +/- 2m/s2 oder weniger, können hierdurch hervorgerufene Nickbewegung zur Bestimmung der Position des Momentanfluchtpunkts besonders einfach kompensiert werden. Auch können bei dieser Beschleunigung erst gar keine Nickbewegungen vorliegen, da die Beschleunigungskräfte aufgrund einer Steifigkeit des Fahrwerks des Fahrzeugs nicht zu einer Nickbewegung führen.To determine the position of the instantaneous vanishing point, point clouds are preferably only taken into account if an amount of a positive or negative vehicle acceleration directed in a vehicle longitudinal axis is below a specified limit value, in particular below a limit value in the order of magnitude of +/- 2m / s 2 strong or comparatively strong brakes, the vehicle can also perform pitching movements. By only evaluating point clouds to determine the instantaneous vanishing point when the vehicle acceleration in the direction of the vehicle's longitudinal axis is equal to or less than the specified limit value, it can be ensured that the vehicle does not make any nodding movements or that these nodding movements are within a tolerable range. Particularly in the case of a vehicle acceleration of +/- 2 m / s 2 or less, the nodding movement caused by this can be compensated for in a particularly simple manner in order to determine the position of the instantaneous vanishing point. Even with this acceleration, there can be no pitching movements at all, since the acceleration forces do not lead to a pitching movement due to the rigidity of the chassis of the vehicle.

Bei einem Fahrzeug mit einem Lidar und einer Recheneinheit ist erfindungsgemäß die Recheneinheit dazu eingerichtet ein im vorigen beschriebenes Verfahren auszuführen. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen PKW, LKW, Transporter, Bus oder dergleichen handeln. Das Fahrzeug kann auch in Abhängigkeit von zumindest vom Lidar ausgegeben Abstandsinformationen wenigstens teilautomatisiert gesteuert werden. Das Lidar kann an einer beliebigen Stelle am Fahrzeug angeordnet sein, beispielsweise kann das Lidar in einen Kühlergrill des Fahrzeugs integriert sein und einen in Fahrtrichtung vor dem Fahrzeug liegenden Frontbereich erfassen. Zudem kann das Lidar auf beliebige Art und Weise am Fahrzeug befestigt sein. Dank einer Werkskalibrierung ist eine genaue Einbauposition und damit Ausrichtung des Lidars zum Fahrzeug bekannt, woraufhin Abstandsinformationen zwischen Umgebungsobjekten und Lidar für eine Berechnung von Abstandsinformationen zwischen den Umgebungsobjekten und dem Fahrzeug verwendet werden können.In a vehicle with a lidar and a computing unit, the computing unit is set up according to the invention to carry out a method described above. The vehicle can be any vehicle such as a car, truck, van, bus or the like. The vehicle can also be controlled at least partially automatically as a function of distance information output at least by the lidar. The lidar can be arranged at any point on the vehicle; for example, the lidar can be integrated into a radiator grille of the vehicle and cover a front area lying in front of the vehicle in the direction of travel. In addition, the lidar can be attached to the vehicle in any way. Thanks to a factory calibration, an exact installation position and thus the alignment of the lidar to the vehicle is known, whereupon distance information between surrounding objects and lidar can be used to calculate distance information between the surrounding objects and the vehicle.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens und des Fahrzeugs ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher beschrieben wird.Further advantageous refinements of the method according to the invention and of the vehicle also emerge from the exemplary embodiment, which is described in more detail below with reference to the figure.

Dabei zeigt die einzige Figur eine Prinzipdarstellung der Bestimmung einer Verschiebung eines Momentanfluchtpunkts gegenüber einem Referenzfluchtpunkt.The single figure shows a basic illustration of the determination of a displacement of a momentary vanishing point with respect to a reference vanishing point.

Die Figur zeigt eine Ansicht einer Fahrzeugumgebung 1 aus Sicht eines an einem Fahrzeug angebrachten Lidars. Das Lidar sendet einen Laserstrahl zum Abtasten der Fahrzeugumgebung 1 aus, welcher von Umgebungsobjekten, hier in Form eines Baums, einer Fahrbahn und zwei Leitpfosten reflektiert wird, wobei die Reflektionen vom Lidar erfasst werden. Durch Auswerten einer Laufzeit zwischen Aussenden von Laserlicht und Empfangen der Reflektionen erzeugt das Lidar eine abstrahierte Karte der Fahrzeugumgebung 1 in Form von Punktewolken 2.1 und 2.2. Dabei sind die Punktewolken 2.1 und 2.2 zeitlich kurz hintereinander aufgezeichnet worden. Die Punktewolken 2.1 und 2.2 setzen sich aus einer Vielzahl einzelner Abtastpunkte 3 zusammen, wobei in der Figur aus Vereinfachungsgründen nur eine Auswahl dargestellt sind. Aufgrund einer Vorwärtsbewegung des Fahrzeugs bewegen sich alle Abtastpunkte 3 auf das Fahrzeug zu, wodurch sich die Abtastpunkte 3 der Punktewolke 2.1 entlang einer jeweiligen Bewegungsrichtung 4 an eine entsprechende Position der Abtastpunkte 3 der Punktewolke 2.2 bewegen. Durch Fortführen der Bewegungsrichtungen 4 der Abtastpunkte 3 lässt sich ein Schnittpunkt bestimmen in dem ein Momentanfluchtpunkt 5 liegt. Bei einem kalibrierten Lidar fällt die Position des Momentanfluchtpunkts 5 mit der Position eines Referenzfluchtpunkts 6 zusammen.The figure shows a view of a vehicle environment 1 from the perspective of a lidar attached to a vehicle. The lidar sends a laser beam to scan the vehicle's surroundings 1 which is reflected by surrounding objects, here in the form of a tree, a roadway and two delineator posts, with the reflections being recorded by the lidar. By evaluating the transit time between the emission of laser light and the reception of the reflections, the lidar generates an abstract map of the vehicle's surroundings 1 in the form of point clouds 2.1 and 2.2 . Here are the point clouds 2.1 and 2.2 recorded in quick succession. The point clouds 2.1 and 2.2 are made up of a large number of individual sampling points 3rd together, with only a selection being shown in the figure for the sake of simplicity. Due to a forward movement of the vehicle, all the scanning points move 3rd towards the vehicle, thereby increasing the sampling points 3rd the point cloud 2.1 along a respective direction of movement 4th to a corresponding position of the sampling points 3rd the point cloud 2.2 move. By continuing the directions of movement 4th the sampling points 3rd an intersection point can be determined in which a momentary vanishing point 5 lies. With a calibrated lidar, the position of the instantaneous vanishing point falls 5 with the position of a reference vanishing point 6th together.

Kommt es zu einer Dekalibrierung des Lidars weist der Momentanfluchtpunkt 5 eine Verschiebung zum Referenzfluchtpunkt 6 auf. Dabei verschiebt sich der Momentanfluchtpunkt 5 gemäß einem kartesischen Koordinatensystem aus einer horizontalen X-Richtung und einer orthogonal auf dieser stehenden vertikalen Y-Richtung gemäß einer horizontalen Verschiebung ΔX und einer vertikalen Verschiebung ΔY zum Referenzfluchtpunkt 6. Durch Verschieben der Abtastpunkte 3 der Punktewolken 2.1 und 2.2 beziehungsweise der kontinuierlich vom Lidar ausgegebenen Punktewolken gemäß der Verschiebung ΔX und ΔY lässt sich die Dekalibrierung des Lidars ausgleichen, woraufhin eine korrekte Abstandsbestimmung zwischen Umgebungsobjekten und Fahrzeug wieder ermöglicht wird. Auch kann ein Koordinatensystem des Referenzfluchtpunkts 6 verschoben werden, um diesen mit dem Momentanfluchtpunkt 5 zur Deckung zu bringen.If the lidar is decalibrated, the momentary vanishing point points 5 a shift to the reference vanishing point 6th on. The momentary vanishing point shifts 5 according to a Cartesian coordinate system of a horizontal X-direction and a vertical Y-direction orthogonally standing on this according to a horizontal shift ΔX and a vertical shift ΔY to the reference vanishing point 6th . By moving the sampling points 3rd the point clouds 2.1 and 2.2 or the point clouds continuously output by the lidar according to the displacement ΔX and ΔY the decalibration of the lidar can be compensated, whereupon a correct determination of the distance between surrounding objects and vehicle is again made possible. A coordinate system of the reference vanishing point can also be used 6th be moved to this with the momentary vanishing point 5 to coincide.

Führt das Fahrzeug Nickbewegungen aus, beispielsweise aufgrund von starken Beschleunigungs- oder Bremsmanövern oder aufgrund einer Stellbewegung eines aktiven Fahrwerks, so kommt es ebenfalls zu einer vertikalen Verschiebung zwischen Momentanfluchtpunkt 5 und Referenzfluchtpunkt 6, beziehungsweise die vertikale Lageabweichung ΔY vergrößert sich. Unter Berücksichtigung fester Beziehungen zwischen aus einer von einem aktiven Fahrwerk hervorgerufenen Nickbewegungen und daraus resultierenden vertikalen Verschiebungen lassen sich die aufgrund des Stellvorgangs des aktiven Fahrwerks hervorgerufenen Nickbewegungen bei der In-Betrieb-Kalibrierung des Lidars kompensieren.If the vehicle performs nodding movements, for example due to strong acceleration or braking maneuvers or due to an adjusting movement of an active chassis, there is also a vertical shift between the instantaneous alignment point 5 and reference vanishing point 6th , or the vertical position deviation ΔY increases. Taking into account fixed relationships between nodding movements caused by an active landing gear and the resulting vertical displacements, the nodding movements caused by the actuating process of the active landing gear can be compensated for during the operation calibration of the lidar.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102008064115 A1 [0005]DE 102008064115 A1 [0005]

Claims (5)

Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs, gekennzeichnet durch zumindest die folgenden Verfahrensschritte: - mindestens zweimaliges Abtasten einer Fahrzeugumgebung (1) mittels des Lidars zum Erzeugen wenigstens zweier Punktewolken (2.1, 2.2); - Nachverfolgen einer Relativposition zumindest einiger der von den Punktewolken (2.1, 2.2) umfassten Abtastpunkte (3) zum Lidar; - Bestimmen einer Bewegungsrichtung (4) der Abtastpunkte (3) durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte (3) zwischen den wenigstens zwei Punktewolken (2.1, 2.2); - Bestimmen eines Schnittpunkts der Bewegungsrichtungen (4) einer festgelegten Auswahl an Abtastpunkten (3) zur Bestimmung eines Momentanfluchtpunkts (5); - Vergleich einer Position des Momentanfluchtpunkts (5) mit einer bekannten Position eines Referenzfluchtpunkts (6); und - Bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt (5) und Referenzfluchtpunkt (6): Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt (5) mit dem Referenzfluchtpunkt (6) zur Deckung zu bringen.Method for in-service calibration of a lidar of a vehicle, characterized by at least the following method steps: - at least two scanning of a vehicle environment (1) by means of the lidar to generate at least two point clouds (2.1, 2.2); - tracking a relative position of at least some of the sampling points (3) comprised by the point clouds (2.1, 2.2) with respect to the lidar; - Determining a direction of movement (4) of the scanning points (3) by evaluating a relative position shift of the scanning points (3) between the at least two point clouds (2.1, 2.2); - Determining a point of intersection of the directions of movement (4) of a specified selection of scanning points (3) for determining an instantaneous vanishing point (5); - Comparison of a position of the instantaneous vanishing point (5) with a known position of a reference vanishing point (6); and - If a positional deviation between the instantaneous vanishing point (5) and the reference vanishing point (6) is determined: Shifting a reference coordinate system or an instantaneous coordinate system in order to bring the instantaneous vanishing point (5) into congruence with the reference vanishing point (6). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abtastpunkte (3) der Punktewolken (2.1, 2.2) einem statischen oder dynamischen Umgebungsobjekt zugeordnet werden und zur Bestimmung des Schnittpunkts der Bewegungsrichtungen (4) nur die Abtastpunkte (3) verwendet werden, welche einem statischen Umgebungsobjekt zugeordnet wurden.Procedure according to Claim 1 , characterized in that the scanning points (3) of the point clouds (2.1, 2.2) are assigned to a static or dynamic surrounding object and only the scanning points (3) are used which have been assigned to a static surrounding object to determine the intersection of the directions of movement (4). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Bestimmung der Position des Momentanfluchtpunkts (5) ein Einfluss eines aktiven Fahrwerks auf zumindest einen Nickwinkel des Fahrzeugs berücksichtigt wird.Procedure according to Claim 1 or 2 , characterized in that an influence of an active chassis on at least one pitch angle of the vehicle is taken into account to determine the position of the instantaneous vanishing point (5). Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Bestimmung der Position des Momentanfluchtpunkts (5) nur dann Punktewolken (2.1, 2.2) berücksichtigt werden, wenn ein Betrag einer in eine Fahrzeuglängsachse gerichteten positiven oder negativen Fahrzeugbeschleunigung unterhalb eines festgelegten Grenzwerts liegt, insbesondere unterhalb einem Grenzwert in einer Größenordnung von +/- 2m/s2.Method according to one of the Claims 1 to 3rd , characterized in that point clouds (2.1, 2.2) are only taken into account to determine the position of the instantaneous vanishing point (5) if an amount of a positive or negative vehicle acceleration directed in a vehicle longitudinal axis is below a specified limit value, in particular below a limit value of an order of magnitude of +/- 2m / s 2 . Fahrzeug mit einem Lidar und einer Recheneinheit, dadurch gekennzeichnet, dass die Recheneinheit dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 1 bis 4 auszuführen.Vehicle with a lidar and a computing unit, characterized in that the computing unit is set up for a method according to one of the Claims 1 to 4th to execute.
DE102020007772.2A 2020-12-18 2020-12-18 Procedure for in-service calibration of a lidar and vehicle Withdrawn DE102020007772A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020007772.2A DE102020007772A1 (en) 2020-12-18 2020-12-18 Procedure for in-service calibration of a lidar and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020007772.2A DE102020007772A1 (en) 2020-12-18 2020-12-18 Procedure for in-service calibration of a lidar and vehicle

Publications (1)

Publication Number Publication Date
DE102020007772A1 true DE102020007772A1 (en) 2021-03-04

Family

ID=74565284

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020007772.2A Withdrawn DE102020007772A1 (en) 2020-12-18 2020-12-18 Procedure for in-service calibration of a lidar and vehicle

Country Status (1)

Country Link
DE (1) DE102020007772A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113777616A (en) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 Distance measuring method for moving vehicle
DE102021002158A1 (en) 2021-04-23 2022-10-27 Daimler Truck AG Method and device for detecting a decalibration of a lidar system
WO2022248479A1 (en) 2021-05-26 2022-12-01 Daimler Truck AG Method and device for recognizing blocking of a lidar system, and corresponding vehicle
DE102021003141A1 (en) 2021-06-18 2022-12-22 Mercedes-Benz Group AG Method and device for calibrating and/or adjusting a lidar sensor unit of a vehicle and vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021002158A1 (en) 2021-04-23 2022-10-27 Daimler Truck AG Method and device for detecting a decalibration of a lidar system
WO2022223655A1 (en) 2021-04-23 2022-10-27 Daimler Truck AG Method and device for recognizing decalibration of a lidar system
WO2022248479A1 (en) 2021-05-26 2022-12-01 Daimler Truck AG Method and device for recognizing blocking of a lidar system, and corresponding vehicle
DE102021002795A1 (en) 2021-05-26 2022-12-01 Daimler Truck AG Method and device for detecting a blockage of a lidar system, and vehicle
DE102021003141A1 (en) 2021-06-18 2022-12-22 Mercedes-Benz Group AG Method and device for calibrating and/or adjusting a lidar sensor unit of a vehicle and vehicle
WO2022263081A1 (en) 2021-06-18 2022-12-22 Mercedes-Benz Group AG Method and device for calibrating and/or adjusting a lidar sensor unit of a vehicle
CN113777616A (en) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 Distance measuring method for moving vehicle

Similar Documents

Publication Publication Date Title
DE102020007772A1 (en) Procedure for in-service calibration of a lidar and vehicle
EP2097770B1 (en) Vertical orientation of a lidar sensor
DE102013221696A1 (en) Method and device for determining a height profile of a road ahead of a vehicle
WO2014032664A1 (en) Method for determining the course of a lane for a vehicle
DE102015121353A1 (en) Method for detecting a possible collision between a motor vehicle and an object taking into account a spatial uncertainty, control device, driver assistance system and motor vehicle
EP3488607A1 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
DE102017109445A1 (en) Calibration of a vehicle camera device in the vehicle longitudinal direction or vehicle transverse direction
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102016117712A1 (en) Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle
DE102008025773A1 (en) Local and movement conditions estimating method for observed object i.e. vehicle, involves determining distance, detecting shifting of portion of object, and estimating parameter of local and movement condition
DE102010049216A1 (en) Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102016111079A1 (en) Method for object height detection of an object in the environment of a motor vehicle and driver assistance system
DE102016109850B4 (en) Method for detecting an inclination in a roadway of a motor vehicle, driver assistance system and motor vehicle
DE102019204196B4 (en) Method for detecting the surroundings of a means of locomotion
EP3978332A1 (en) Method for checking the calibration of an environment sensor mounted on a railway vehicle
EP2565580B1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device
DE102016118538A1 (en) Method for classifying a traffic sign in a surrounding area of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102007016192A1 (en) Method for calibrating vehicle-supported image-producing sensor related to vehicle coordinate system, involves determining position of reference object and another reference object in coordinate system related to auxiliary sensor
DE102020104329A1 (en) Calibration of an environment sensor system of a motor vehicle
DE102019131334A1 (en) Method for tracking extended objects with at least one detection device and detection device
DE102019007205A1 (en) Method for the detection of a vehicle trailer using lidar
DE102019219653A1 (en) Method for estimating correction angles in a radar sensor for motor vehicles
WO2020001690A1 (en) Method and system for identifying obstacles
DE102018109469A1 (en) A method for warning a driver of a collision with an obstacle in an environment of a motor vehicle with adaptation of a hysteresis value for obstacle detection, sensor device and driver assistance system
DE102022203122B4 (en) Method for determining a movement trajectory for controlling a movement of a machine

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee