DE102021004535A1 - Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device - Google Patents

Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device Download PDF

Info

Publication number
DE102021004535A1
DE102021004535A1 DE102021004535.1A DE102021004535A DE102021004535A1 DE 102021004535 A1 DE102021004535 A1 DE 102021004535A1 DE 102021004535 A DE102021004535 A DE 102021004535A DE 102021004535 A1 DE102021004535 A1 DE 102021004535A1
Authority
DE
Germany
Prior art keywords
point
motor vehicle
point cloud
odometry
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021004535.1A
Other languages
German (de)
Inventor
Christian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102021004535.1A priority Critical patent/DE102021004535A1/en
Publication of DE102021004535A1 publication Critical patent/DE102021004535A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Odometrievorrichtung (5) eines Kraftfahrzeugs (1), wobei- zu einem ersten Zeitpunkt mittels eines Sensors (7) eine erste Tiefenaufnahme (11.1) einer Umgebung des Kraftfahrzeugs (1) erstellt wird, wobei- zu einem zweiten Zeitpunkt mittels des Sensors (7) eine zweite Tiefenaufnahme (11.2) der Umgebung des Kraftfahrzeugs (1) erstellt wird, wobei- von der Odometrievorrichtung (5) ein Bewegungsvektor (15) für eine Bewegung des Kraftfahrzeugs (1) zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bereitgestellt wird, wobei- die erste Tiefenaufnahme (11.1), die zweite Tiefenaufnahme (11.2) und der Bewegungsvektor (15) verglichen werden, wobei- basierend auf dem Vergleich (19) mindestens ein Parameter (17) der Odometrievorrichtung (5) bewertet und kalibriert wird.The invention relates to a method for calibrating an odometry device (5) of a motor vehicle (1) second point in time a second depth recording (11.2) of the surroundings of the motor vehicle (1) is created by means of the sensor (7), with a motion vector (15) from the odometry device (5) for a movement of the motor vehicle (1) between the first point in time and the second point in time is provided, wherein - the first depth recording (11.1), the second depth recording (11.2) and the motion vector (15) are compared, wherein - based on the comparison (19) at least one parameter (17) of the odometry device (5) is assessed and calibrated.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Odometrievorrichtung eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibriervorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibriervorrichtung.The invention relates to a method for calibrating an odometry device of a motor vehicle, a control device for carrying out such a method, a calibration device with such a control device and a motor vehicle with such a calibration device.

Ein insbesondere autonom fahrendes Kraftfahrzeug weist eine Mehrzahl an Assistenzsystemen auf, die eine Repräsentation einer Umgebung des Kraftfahrzeugs erstellen. Die Repräsentation der Umgebung des Kraftfahrzeugs wird genutzt, um einen sicheren Betrieb des Kraftfahrzeugs zu gewährleisten. Für eine korrekte Repräsentation der Umgebung ist eine zuverlässige Bewegungsschätzung und Positionsbestimmung des Kraftfahrzeugs mittels Odometriedaten notwendig. Eine die Odometriedaten bereitstellende Odometrievorrichtung muss mittels einer Mehrzahl an Parametern aufwendig kalibriert werden. Zusätzlich ist es möglich, dass sich die Mehrzahl an Parametern dynamisch, insbesondere bei einem Reifenwechsel, bei Verschleißerscheinungen oder in Folge von Umwelteinflüssen, verändern.A motor vehicle that drives autonomously, in particular, has a plurality of assistance systems that create a representation of the surroundings of the motor vehicle. The representation of the surroundings of the motor vehicle is used to ensure safe operation of the motor vehicle. Reliable motion estimation and position determination of the motor vehicle by means of odometry data are necessary for a correct representation of the environment. An odometry device providing the odometry data has to be calibrated in a complex manner using a plurality of parameters. In addition, it is possible for the majority of parameters to change dynamically, in particular when a tire is changed, when there are signs of wear or as a result of environmental influences.

Es i sind Verfahren zum Kalibrieren einer Odometrievorrichtung bekannt, bei denen eine Mehrzahl an Fahrmanövern, insbesondere Kreisfahrten, Steigungsfahrten, Achterfahrten und Slalomfahrten, unter Berücksichtigung einer Geschwindigkeit, einer Fahrtrichtung und eines Kurvenradius durchgeführt und mittels eines externen Sensorsystems analysiert werden. Diese Verfahren zum insbesondere initialen Kalibrieren der Odometrievorrichtung sind zeitaufwändig.Methods for calibrating an odometry device are known in which a plurality of driving maneuvers, in particular circular driving, incline driving, figure driving and slalom driving, taking into account a speed, a driving direction and a curve radius, are carried out and analyzed by means of an external sensor system. These methods, in particular for the initial calibration of the odometry device, are time-consuming.

Zusätzlich zu der insbesondere initialen Kalibrierung der Odometrievorrichtung, ist es vorzugsweise notwendig die Odometrievorrichtung dynamisch, insbesondere im laufenden Betrieb der Odometrievorrichtung, zu kalibrieren.In addition to the, in particular, initial calibration of the odometry device, it is preferably necessary to calibrate the odometry device dynamically, in particular while the odometry device is in operation.

Zum insbesondere dynamischen Kalibrieren der Odometrievorrichtung sind kamerabasierte Verfahren bekannt, bei denen mittels einer Kamera ein erster Radumfang geschätzt wird und als ein Parameter der Mehrzahl an Parametern genutzt wird. Nach einer insbesondere vordefinierten Dauer wird ein zweiter Radumfang geschätzt und mit dem ersten Radumfang verglichen. Übersteigt eine Differenz des ersten Radumfangs und des zweiten Radumfangs einen insbesondere vordefinierten Schwellenwert, wird die Odometrievorrichtung insbesondere entsprechend des zweiten Radumfangs kalibriert. Nachteilig an diesen Verfahren ist, dass insbesondere eine Genauigkeit der optischen Schätzung des Radumfangs stark von Wetter- und/oder Lichtverhältnissen abhängig ist und somit eine robuste und zuverlässige Kalibrierung der Odometrievorrichtung nicht gewährleistet werden kann.For particularly dynamic calibration of the odometry device, camera-based methods are known in which a first wheel circumference is estimated by means of a camera and is used as one of the plurality of parameters. After a particularly predefined period, a second wheel circumference is estimated and compared with the first wheel circumference. If a difference between the first wheel circumference and the second wheel circumference exceeds an in particular predefined threshold value, the odometry device is calibrated, in particular in accordance with the second wheel circumference. A disadvantage of this method is that, in particular, the accuracy of the optical estimation of the wheel circumference is heavily dependent on weather and / or light conditions, and thus a robust and reliable calibration of the odometry device cannot be guaranteed.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zum Kalibrieren einer Odometrievorrichtung eines Kraftfahrzeugs, eine Steuervorrichtung zur Durchführung eines solchen Verfahrens, eine Kalibriervorrichtung mit einer solchen Steuervorrichtung und ein Kraftfahrzeug mit einer solchen Kalibriervorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.The invention is therefore based on the object of creating a method for calibrating an odometry device of a motor vehicle, a control device for carrying out such a method, a calibration device with such a control device and a motor vehicle with such a calibration device, the disadvantages mentioned being at least partially eliminated, preferably are avoided.

Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.The object is achieved in that the present technical teaching is provided, in particular the teaching of the independent claims and the embodiments disclosed in the dependent claims and the description.

Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Kalibrieren einer Odometrievorrichtung eines Kraftfahrzeugs geschaffen wird. Dabei wird zu einem ersten Zeitpunkt mittels eines Sensors eine erste Tiefenaufnahme einer Umgebung des Kraftfahrzeugs erstellt. Weiterhin wird zu einem zweiten Zeitpunkt mittels des Sensors eine zweite Tiefenaufnahme der Umgebung des Kraftfahrzeugs erstellt. Von der Odometrievorrichtung wird ein Bewegungsvektor für eine Bewegung des Kraftfahrzeugs zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bereitgestellt. Anschließend werden die erste Tiefenaufnahme, die zweite Tiefenaufnahme und der Bewegungsvektor verglichen, wobei basierend auf dem Vergleich mindestens ein Parameter der Odometrievorrichtung bewertet und kalibriert wird.The object is achieved in particular by creating a method for calibrating an odometry device of a motor vehicle. At a first point in time, a first depth recording of the surroundings of the motor vehicle is created by means of a sensor. Furthermore, at a second point in time, a second depth recording of the surroundings of the motor vehicle is created by means of the sensor. The odometry device provides a motion vector for a movement of the motor vehicle between the first point in time and the second point in time. The first depth recording, the second depth recording and the movement vector are then compared, with at least one parameter of the odometry device being evaluated and calibrated based on the comparison.

Vorteilhafterweise kann als der eine Sensor ein Sensor genutzt werden, welchen das Kraftfahrzeug aufweist, sodass externe Sensorsysteme und/oder teure Referenzsensoren, die insbesondere ausschließlich zum Kalibrieren genutzt werden, eingespart werden können. Weiterhin ist die Kalibrierung vorteilhafterweise unabhängig von der Umgebung des Kraftfahrzeugs und/oder Umwelteinflüssen. Zusätzlich wird vorteilhafterweise ein insbesondere zeitlicher und/oder finanzieller Aufwand der Kalibrierung der Odometrievorrichtung, insbesondere nach einem Reifenwechsel, im Vergleich zu den bekannten Verfahren, reduziert. Darüber hinaus ist das Verfahren geeignet, um die Odometrievorrichtung in einem niedrigen Geschwindigkeitsbereich des Kraftfahrzeugs, insbesondere bei einer Geschwindigkeit von weniger als 30 km/h, zu kalibrieren.A sensor which the motor vehicle has can advantageously be used as the one sensor, so that external sensor systems and / or expensive reference sensors, which in particular are used exclusively for calibration, can be saved. Furthermore, the calibration is advantageously independent of the surroundings of the motor vehicle and / or environmental influences. In addition, a particularly time-consuming and / or financial outlay for calibrating the odometry device, in particular after a tire change, is advantageously reduced in comparison to the known methods. In addition, the method is suitable for calibrating the odometry device in a low speed range of the motor vehicle, in particular at a speed of less than 30 km / h.

Vorzugsweise wird als der eine Sensor ein Sensor, ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor, verwendet.A sensor selected from a group consisting of an SFM vision sensor, a USS sensor, a radar sensor and a lidar sensor is preferably used as the one sensor.

Im Kontext der vorliegenden technischen Lehre ist ein SFM-Vision-Sensor, ein optischer Sensor, welcher mittels einer Mehrzahl an insbesondere zeitversetzt aufgenommenen Bildern und eines „Structure from Motion“-Verfahrens (SFM) 3D Informationen berechnet.In the context of the present technical teaching, an SFM vision sensor is an optical sensor which calculates 3D information by means of a plurality of images recorded in particular with a time delay and a “structure from motion” method (SFM).

Im Kontext der vorliegenden technischen Lehre ist es möglich, mittels des Bewegungsvektors eine Bewegung mit drei Rotationsfreiheitsgraden und drei Translationsfreiheitsgraden zu beschreiben. Insofern ist der Bewegungsvektor eine Koordinatentransformation mit drei Rotationsfreiheitsgraden und drei Translationsfreiheitsgraden.In the context of the present technical teaching, it is possible to use the motion vector to describe a movement with three degrees of freedom of rotation and three degrees of translational freedom. In this respect, the motion vector is a coordinate transformation with three degrees of freedom of rotation and three degrees of translational freedom.

Vorzugsweise wird der Vergleich der ersten Tiefenaufnahme, der zweiten Tiefenaufnahme und des Bewegungsvektors mittels eines Verfahrens zum Bestimmen eines Index einer strukturellen Ähnlichkeit, insbesondere mittels eines SSIM-Verfahrens, durchgeführt.The comparison of the first depth recording, the second depth recording and the movement vector is preferably carried out by means of a method for determining an index of a structural similarity, in particular by means of an SSIM method.

Im Kontext der vorliegenden technischen Lehre wird bei einem Verfahren zum Bestimmen eines Index einer strukturellen Ähnlichkeit, insbesondere einem SSIM-Verfahren, die Ähnlichkeit zwischen zwei Aufnahmen, insbesondere Bildern, gemessen. Ein solches Verfahren wird in „Image quality assessment: from error visibility to structural similarity‟ von Z. Wang et. al., IEEE Transactions on Image Processing, Band 13, Nr. 4, April 2004, 600-612 beschrieben.In the context of the present technical teaching, in a method for determining an index of a structural similarity, in particular an SSIM method, the similarity between two recordings, in particular images, is measured. Such a procedure is used in "Image quality assessment: from error visibility to structural similarity" by Z. Wang et. al., IEEE Transactions on Image Processing, Volume 13, No. 4, April 2004, 600-612 described.

Insbesondere ist der mindestens eine Parameter der Odometrievorrichtung ausgewählt aus einer Gruppe, bestehend aus einem Radumfang, einem Abriebkoeffizienten, einem Radstand, einer Wettersituation und einer Temperatur, insbesondere einer Umgebungstemperatur.In particular, the at least one parameter of the odometry device is selected from a group consisting of a wheel circumference, an abrasion coefficient, a wheelbase, a weather situation and a temperature, in particular an ambient temperature.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Tiefenaufnahme eine erste Punktwolke aufweist, und dass die zweite Tiefenaufnahme eine zweite Punktwolke aufweist. Vorzugsweise besteht die erste Tiefenaufnahme aus der ersten Punktwolke und die zweite Tiefenaufnahme besteht vorzugsweise aus der zweiten Punktwolke.According to a development of the invention, it is provided that the first depth recording has a first point cloud, and that the second depth recording has a second point cloud. The first depth record preferably consists of the first point cloud and the second depth record preferably consists of the second point cloud.

In einer bevorzugten Ausgestaltung des Verfahrens wird mindestens eine Punktwolke, ausgewählt aus der ersten Punktwolke und der zweiten Punktwolke, vorzugsweise beide Punktwolken, mittels eines Verfahrens zur Ecken- und Kantendetektion gemäß der Veröffentlichung „Edge and Corner Detection for Unorganized 3D Point Clouds with Application to Robotic Welding“ von S. M. Ahmed et. al. - https://arxiv.org/ftp/arxiv/papers/1809/1809.10468.pdf - analysiert. Besonders bevorzugt wird der Vergleich basierend auf einer detektierten Ecke und/oder Kante durchgeführt.In a preferred embodiment of the method, at least one point cloud is selected from the first point cloud and the second point cloud, preferably both point clouds, by means of a method for corner and edge detection according to the publication “Edge and Corner Detection for Unorganized 3D Point Clouds with Application to Robotic Welding ”by SM Ahmed et. al. - https://arxiv.org/ftp/arxiv/papers/1809/1809.10468.pdf - analyzed. The comparison is particularly preferably carried out based on a detected corner and / or edge.

In einer weiteren bevorzugten Ausgestaltung des Verfahrens wird mindestens eine Punktwolke, ausgewählt aus der ersten Punktwolke und der zweiten Punktwolke, vorzugsweise beide Punktwolken, mittels eines Verfahrens zur Eckendetektion und Merkmalslinienverfolgung gemäß der Veröffentlichung „Edge Detection and Feature Line Tracing in 3D-Point Clouds by Analyzing Geometric Properties of Neighborhoods“ von H. Ni et. al., Remote Sens. 2016, 8(9), 710 - https://doi.org/10.3390/rs8090710 - analysiert. Besonders bevorzugt wird der Vergleich basierend auf einer detektierten Ecke und/oder einer Merkmalslinie durchgeführt.In a further preferred embodiment of the method, at least one point cloud is selected from the first point cloud and the second point cloud, preferably both point clouds, by means of a method for corner detection and feature line tracing according to the publication "Edge Detection and Feature Line Tracing in 3D Point Clouds by Analyzing Geometric Properties of Neighborhoods ”by H. Ni et. al., Remote Sens. 2016, 8 (9), 710 - https://doi.org/10.3390/rs8090710 - analyzed. The comparison is particularly preferably carried out based on a detected corner and / or a feature line.

In einer weiteren bevorzugten Ausgestaltung des Verfahrens wird mindestens eine Punktwolke, ausgewählt aus der ersten Punktwolke und der zweiten Punktwolke, vorzugsweise beide Punktwolken, mittels eines Verfahrens zur Umrissdetektion gemäß der Veröffentlichung „Contour detection in unstructured 3D point clouds“ von T. Hackel et. al., Photogrammetry and Remote Sensing, ETH Zürich - https://ethz.ch/content/dam/ethz/special-interest/baug/igp/photogrammetry-remotesensing-dam/documents/pdf/timo-jan-cvpr2016.pdf - analysiert. Besonders bevorzugt wird der Vergleich basierend auf einem detektierten Umriss durchgeführt.In a further preferred embodiment of the method, at least one point cloud is selected from the first point cloud and the second point cloud, preferably both point clouds, by means of a method for contour detection according to the publication “Contour detection in unstructured 3D point clouds” by T. Hackel et. al., Photogrammetry and Remote Sensing, ETH Zurich - https://ethz.ch/content/dam/ethz/special-interest/baug/igp/photogrammetry-remotesensing-dam/documents/pdf/timo-jan-cvpr2016.pdf - analyzed. The comparison is particularly preferably carried out based on a detected contour.

In einer weiteren bevorzugten Ausgestaltung des Verfahrens wird mindestens eine Punktwolke, ausgewählt aus der ersten Punktwolke und der zweiten Punktwolke, vorzugsweise beide Punktwolken, mittels eines Verfahrens zur Merkmalsextraktion gemäß der Veröffentlichung „3D Feature Point Extraction from Lidar Data using a Neural Network‟ von Y. Feng et. al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 and XXIII ISPRS Congress, 12-19 July 2016 , Prague, Czech Republic - https://www.repo.unihannover.de/bitstream/handle/123456789/714/isprs-archives-XLI-B1-563-2016.pdf?sequence=1&isAllowed=y - analysiert. Besonders bevorzugt wird der Vergleich basierend auf einem extrahierten Merkmal durchgeführt.In a further preferred embodiment of the method, at least one point cloud is selected from the first point cloud and the second point cloud, preferably both point clouds, by means of a method for feature extraction according to the publication “3D Feature Point Extraction from Lidar Data using a Neural Network” by Y. Feng et. al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 and XXIII ISPRS Congress, 12-19 July 2016 , Prague, Czech Republic - https://www.repo.unihannover.de/bitstream/handle/123456789/714/isprs-archives-XLI-B1-563-2016.pdf?sequence=1&isAllowed=y - analyzed. The comparison is particularly preferably carried out based on an extracted feature.

In einer weiteren besonders bevorzugten Ausgestaltung des Verfahrens wird eine erste die erste Punktwolke überspannende Oberfläche bestimmt. Alternativ oder zusätzlich wird vorzugsweise eine zweite die zweite Punktwolke überspannende Oberfläche bestimmt. Insbesondere wird eine vorbestimmte Anzahl an Normalenvektoren der ersten Oberfläche und/oder der zweiten Oberfläche bestimmt, wobei die vorbestimmte Anzahl an Normalenvektoren mittels eines Histogramms ausgewertet werden. Insbesondere weist eine unimodale Verteilung des Histogramms auf eine ebene Fläche, insbesondere eine Wand, hin. Weiterhin weist insbesondere eine biomodale Verteilung des Histogramms auf eine Kante, insbesondere einen Übergang von einem Boden zu einer Wand, hin. Weiterhin weist ein Histogramm mit drei lokalen Maxima auf einen Eckpunkt hin. Besonders bevorzugt wird der Vergleich basierend auf einer detektierten Kante und/oder einer detektierten Ecke durchgeführt.In a further particularly preferred embodiment of the method, a first surface spanning the first point cloud is determined. Alternatively or additionally, a second surface spanning the second point cloud is preferably determined. In particular, a predetermined number of normal vectors of the first surface and / or the second surface is determined, the predetermined number of normal vectors being evaluated by means of a histogram. In particular, a unimodal distribution of the histogram indicates a flat surface, in particular a wall. Furthermore, in particular a biomodal distribution of the histogram points to an edge, in particular a transition from one Floor to a wall. Furthermore, a histogram with three local maxima indicates a corner point. The comparison is particularly preferably carried out based on a detected edge and / or a detected corner.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass für die erste Tiefenaufnahme, die zweite Tiefenaufnahme und den Bewegungsvektor ein Ähnlichkeitswert bestimmt wird. Der Ähnlichkeitswert wird mit einem Schwellenwert verglichen, wobei basierend auf dem Vergleich des Ähnlichkeitswerts mit dem Schwellenwert der mindestens eine Parameter der Odometrievorrichtung bewertet und kalibriert wird.According to a development of the invention it is provided that a similarity value is determined for the first depth recording, the second depth recording and the motion vector. The similarity value is compared with a threshold value, the at least one parameter of the odometry device being evaluated and calibrated based on the comparison of the similarity value with the threshold value.

Vorteilhafterweise wird damit verhindert, dass aufgrund von Rauschen in mindestens einer Tiefenaufnahme, ausgewählt aus der ersten Tiefenaufnahme und der zweiten Tiefenaufnahme, die Odometrievorrichtung kalibriert wird.This advantageously prevents the odometry device from being calibrated due to noise in at least one depth recording selected from the first depth recording and the second depth recording.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass mindestens ein erster Punkt der ersten Punktwolke mittels des Bewegungsvektors transformiert wird, insbesondere rotiert und/oder translatiert wird, wodurch mindestens ein dritter Punkt erhalten wird. Der mindestens eine dritte Punkt wird mit einem dem mindestens einen ersten Punkt zugeordneten zweiten Punkt der zweiten Punktwolke verglichen, wobei basierend auf dem Vergleich der mindestens eine Parameter der Odometrievorrichtung bewertet und kalibriert wird.According to a development of the invention it is provided that at least one first point of the first point cloud is transformed, in particular rotated and / or translated, by means of the motion vector, whereby at least one third point is obtained. The at least one third point is compared with a second point of the second point cloud associated with the at least one first point, the at least one parameter of the odometry device being evaluated and calibrated based on the comparison.

Vorzugsweise wird als Vergleich zwischen dem dritten Punkt und dem zweiten Punkt ein Abstand zwischen dem dritten Punkt und dem zweiten Punkt, insbesondere in einem gemeinsamen Koordinatensystem, bestimmt. Falls der Abstand insbesondere einen vorbestimmten Schwellen-Abstand überschreitet, wird mindestens ein Parameter der Odometrievorrichtung kalibriert.A distance between the third point and the second point, in particular in a common coordinate system, is preferably determined as a comparison between the third point and the second point. If the distance in particular exceeds a predetermined threshold distance, at least one parameter of the odometry device is calibrated.

Besonders bevorzugt wird der Vergleich zwischen dem dritten Punkt und dem zweiten Punkt mittels eines Verfahrens zum Bestimmen eines Index einer strukturellen Ähnlichkeit von Punkten, insbesondere mittels eines PointSSIM-Verfahrens, durchgeführt.The comparison between the third point and the second point is particularly preferably carried out by means of a method for determining an index of a structural similarity of points, in particular by means of a PointSSIM method.

Insbesondere repräsentieren der erste Punkt und der dem ersten Punkt zugeordnete zweite Punkt ein identisches Merkmal der Umgebung des Kraftfahrzeugs.In particular, the first point and the second point assigned to the first point represent an identical feature of the surroundings of the motor vehicle.

Falls der Bewegungsvektor der Odometrievorrichtung die Bewegung des Kraftfahrzeugs korrekt abbildet, ist insbesondere der dritte Punkt identisch zu dem zweiten Punkt. Falls der Bewegungsvektor der Odometrievorrichtung die Bewegung des Kraftfahrzeugs nicht korrekt abbildet, ist insbesondere der dritte Punkt verschieden von dem zweiten Punkt.If the motion vector of the odometry device correctly maps the motion of the motor vehicle, in particular the third point is identical to the second point. If the movement vector of the odometry device does not correctly map the movement of the motor vehicle, in particular the third point is different from the second point.

Insbesondere wird aus dem dritten Punkt, vorzugsweise aus einer Mehrzahl an dritten Punkten, eine dritte Punktwolke erhalten.In particular, a third point cloud is obtained from the third point, preferably from a plurality of third points.

Falls der Bewegungsvektor der Odometrievorrichtung die Bewegung des Kraftfahrzeugs korrekt abbildet, sind insbesondere eine erste erste Mehrzahl an Punkten der dritten Punktwolke identisch zu einer ersten zweiten Mehrzahl an Punkten der zweiten Punktwolke und eine zweite erste Mehrzahl an Punkten der dritten Punktwolke verschieden von einer zweiten zweiten Mehrzahl an Punkten der zweiten Punktwolke. Dabei ist vorzugsweise die erste erste Mehrzahl größer als die zweite erste Mehrzahl und/oder die erste zweite Mehrzahl ist vorzugsweise größer als die zweite zweite Mehrzahl.If the motion vector of the odometry device correctly maps the movement of the motor vehicle, in particular a first first plurality of points of the third point cloud are identical to a first second plurality of points of the second point cloud and a second first plurality of points of the third point cloud are different from a second second plurality at points of the second point cloud. The first first plurality is preferably larger than the second first plurality and / or the first second plurality is preferably larger than the second second plurality.

Falls der Bewegungsvektor der Odometrievorrichtung die Bewegung des Kraftfahrzeugs nicht korrekt abbildet, sind insbesondere die erste erste Mehrzahl an Punkten der dritten Punktwolke identisch zu der ersten zweiten Mehrzahl an Punkten der zweiten Punktwolke und die zweite erste Mehrzahl an Punkten der dritten Punktwolke verschieden von der zweiten zweiten Mehrzahl an Punkten der zweiten Punktwolke. Dabei ist vorzugsweise die zweite erste Mehrzahl größer als die erste erste Mehrzahl und/oder die zweite zweite Mehrzahl ist vorzugsweise größer als die erste zweite Mehrzahl.If the motion vector of the odometry device does not correctly map the movement of the motor vehicle, in particular the first first plurality of points of the third point cloud are identical to the first second plurality of points of the second point cloud and the second first plurality of points of the third point cloud are different from the second second Majority of points in the second point cloud. The second first plurality is preferably larger than the first first plurality and / or the second second plurality is preferably larger than the first second plurality.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass mindestens ein zweiter Punkt der zweiten Punktwolke mittels des Bewegungsvektors transformiert wird, insbesondere rotiert und/oder translatiert wird, wodurch mindestens ein vierter Punkt erhalten wird. Der mindestens eine vierte Punkt wird mit einem dem mindestens einen zweiten Punkt zugeordneten ersten Punkt der ersten Punktwolke verglichen, wobei basierend auf dem Vergleich der mindestens eine Parameter der Odometrievorrichtung bewertet und kalibriert wird.According to a development of the invention it is provided that at least one second point of the second point cloud is transformed by means of the motion vector, in particular rotated and / or translated, whereby at least one fourth point is obtained. The at least one fourth point is compared with a first point of the first point cloud assigned to the at least one second point, the at least one parameter of the odometry device being evaluated and calibrated based on the comparison.

Insbesondere wird aus dem vierten Punkt, vorzugsweise aus einer Mehrzahl an vierten Punkten, eine vierte Punktwolke erhalten.In particular, a fourth point cloud is obtained from the fourth point, preferably from a plurality of fourth points.

Insbesondere sind eine erste Transformation zwischen der ersten Punktwolke und der dritten Punktwolke und eine zweite Transformation zwischen der zweiten Punktwolke und der vierten Punktwolke derart ausgebildet, dass die dritte Punktwolke mittels der zweiten Transformation in die erste Punktwolke überführt wird und dass die vierte Punktwolke mittels der ersten Transformation in die zweite Punktwolke überführt wird.In particular, a first transformation between the first point cloud and the third point cloud and a second transformation between the second point cloud and the fourth point cloud are designed in such a way that the third point cloud is converted into the first point cloud by means of the second transformation and that the fourth point cloud is converted into the first point cloud by means of the first Transformation is transferred to the second point cloud.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass als der mindestens eine erste Punkt ein erstes Maximum der ersten die erste Punktwolke überspannenden Oberfläche bestimmt wird. Weiterhin wird als der dem mindestens einen ersten Punkt zugeordnete, zweite Punkt ein dem mindestens einen ersten Maximum zugeordnetes zweites Maximum der zweiten die zweite Punktwolke überspannenden Oberfläche bestimmt.According to a development of the invention it is provided that a first maximum of the first surface spanning the first point cloud is determined as the at least one first point. Furthermore, as the second point assigned to the at least one first point, a second maximum, assigned to the at least one first maximum, of the second surface spanning the second point cloud is determined.

Vorteilhafterweise ist es in einfacher Weise möglich, das erste Maximum nachzuverfolgen und damit das dem ersten Maximum zugeordnete zweite Maximum in der zweiten Punktwolke zu bestimmen.It is advantageously possible in a simple manner to track the first maximum and thus to determine the second maximum associated with the first maximum in the second point cloud.

Insbesondere ist das erste Maximum ein lokales Maximum. Alternativ ist vorzugsweise das erste Maximum ein globales Maximum.In particular, the first maximum is a local maximum. Alternatively, the first maximum is preferably a global maximum.

Insbesondere ist das zweite Maximum ein lokales Maximum. Alternativ ist vorzugsweise das zweite Maximum ein globales Maximum.In particular, the second maximum is a local maximum. Alternatively, the second maximum is preferably a global maximum.

Vorzugsweise wird das erste Maximum mittels des Bewegungsvektors in ein drittes Maximum einer dritten die dritte Punktwolke überspannenden Oberfläche transformiert, wobei das dritte Maximum mit dem zweiten Maximum verglichen wird. Alternativ wird vorzugsweise das zweite Maximum mittels des Bewegungsvektors in ein viertes Maximum einer vierten die vierte Punktwolke überspannenden Oberfläche transformiert, wobei das vierte Maximum mit dem ersten Maximum verglichen wird.The first maximum is preferably transformed by means of the motion vector into a third maximum of a third surface spanning the third point cloud, the third maximum being compared with the second maximum. Alternatively, the second maximum is preferably transformed by means of the motion vector into a fourth maximum of a fourth surface spanning the fourth point cloud, the fourth maximum being compared with the first maximum.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Umgebung in eine Mehrzahl an Zellen eingeteilt wird, wobei das Verfahren auf mindestens einer Zelle der Mehrzahl an Zellen durchgeführt wird.According to a development of the invention it is provided that the environment is divided into a plurality of cells, the method being carried out on at least one cell of the plurality of cells.

Vorteilhafterweise ist es damit möglich, das Verfahren, insbesondere die Bestimmung des ersten Punktes oder des ersten Maximums, und des dem ersten Punkt zugeordneten zweiten Punktes oder des dem ersten Maximum zugeordneten zweiten Maximums schnell und zuverlässig durchzuführen.It is thus advantageously possible to carry out the method, in particular the determination of the first point or the first maximum, and the second point assigned to the first point or the second maximum assigned to the first maximum, quickly and reliably.

Vorzugsweise ist die Mehrzahl an Zellen so gewählt, dass mindestens zwei Zellen, besonders bevorzugt alle Zellen, eine identische Größe aufweisen.The plurality of cells is preferably selected such that at least two cells, particularly preferably all cells, have an identical size.

In einer besonders bevorzugten Ausgestaltung wird das Verfahren iterativ für die Mehrzahl an Zellen gleichzeitig oder zeitlich nacheinander ausgeführt. Insbesondere wird für jede Zelle der Mehrzahl an Zellen ein Ähnlichkeitswert berechnet, wobei anhand einer Summe der Ähnlichkeitswerte oder eines Mittelwerts der Ähnlichkeitswerte der mindestens eine Parameter der Odometrievorrichtung bewertet und/oder kalibriert wird.In a particularly preferred embodiment, the method is carried out iteratively for the plurality of cells simultaneously or one after the other. In particular, a similarity value is calculated for each cell of the plurality of cells, the at least one parameter of the odometry device being assessed and / or calibrated using a sum of the similarity values or a mean value of the similarity values.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass vor dem Vergleich der ersten Tiefenaufnahme und der zweiten Tiefenaufnahme mit dem Bewegungsvektor mindestens ein dynamisches Objekt aus der ersten Tiefenaufnahme und/oder der zweiten Tiefenaufnahme entfernt wird.According to a further development of the invention, it is provided that before the comparison of the first depth recording and the second depth recording with the motion vector, at least one dynamic object is removed from the first depth recording and / or the second depth recording.

Vorteilhafterweise ist eine Kalibrierung der Odometrievorrichtung besser, je statischer die Umgebung des Kraftfahrzeugs ist.A calibration of the odometry device is advantageously better, the more static the surroundings of the motor vehicle are.

Die Aufgabe wird auch gelöst, indem eine Steuervorrichtung geschaffen wird, die zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens nach einer oder mehreren der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit der Steuervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.The object is also achieved by creating a control device which is created for carrying out a method according to the invention or a method according to one or more of the embodiments described above. In connection with the control device, there are in particular the advantages that have already been explained in connection with the method.

Die Steuervorrichtung ist bevorzugt eingerichtet, um mit dem Sensor wirkverbunden zu werden und eingerichtet zu dessen Ansteuerung. Zusätzlich ist die Steuervorrichtung bevorzugt eingerichtet, um mit der Odometrievorrichtung wirkverbunden zu werden, und eingerichtet zu deren Ansteuerung.The control device is preferably set up to be operatively connected to the sensor and set up to control it. In addition, the control device is preferably set up to be operatively connected to the odometry device and set up to control it.

Die Aufgabe wird auch gelöst, indem eine Kalibriervorrichtung geschaffen wird, die einen Sensor zur Erstellung von Tiefenaufnahmen und eine erfindungsgemäße Steuervorrichtung oder eine Steuervorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen aufweist. In Zusammenhang mit der Kalibriervorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuervorrichtung erläutert wurden.The object is also achieved by creating a calibration device which has a sensor for creating depth recordings and a control device according to the invention or a control device according to one or more of the embodiments described above. In connection with the calibration device, there are in particular the advantages that have already been explained in connection with the method and the control device.

Die Steuervorrichtung ist bevorzugt mit dem Sensor wirkverbunden und eingerichtet zu dessen Ansteuerung.The control device is preferably operatively connected to the sensor and is set up to control it.

Die Aufgabe wird auch gelöst, indem ein Kraftfahrzeug mit einer Odometrievorrichtung und einer erfindungsgemäßen Kalibriervorrichtung oder einer Kalibriervorrichtung nach einer oder mehreren der zuvor beschriebenen Ausführungsformen geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuervorrichtung und der Kalibriervorrichtung erläutert wurden.The object is also achieved by creating a motor vehicle with an odometry device and a calibration device according to the invention or a calibration device according to one or more of the embodiments described above. In connection with the motor vehicle, there are in particular the advantages that have already been explained in connection with the method, the control device and the calibration device.

Vorzugsweise ist die Steuervorrichtung mit der Odometrievorrichtung wirkverbunden und eingerichtet zu deren Ansteuerung.The control device is preferably operatively connected to the odometry device and is set up to control it.

Besonders bevorzugt ist das Kraftfahrzeug als ein insbesondere autonom fahrender Personenkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Lastkraftwagen, ein Nutzfahrzeug oder ein anderes Kraftfahrzeug ist.The motor vehicle is particularly preferably designed as an in particular autonomously driving passenger vehicle. But it is also possible that the motor vehicle is a truck, a commercial vehicle or another motor vehicle.

Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.The invention is explained in more detail below with reference to the drawing.

Dabei zeigen:

  • 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs,
  • 2 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Kalibrieren einer Odometrievorrichtung,
  • 3 eine schematische Darstellung einer ersten Punktwolke, einer zweiten Punktwolke und einer dritten Punktwolke.
Show:
  • 1 a schematic representation of an embodiment of a motor vehicle,
  • 2 a flowchart of an embodiment of a method for calibrating an odometry device,
  • 3 a schematic representation of a first point cloud, a second point cloud and a third point cloud.

1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1 mit einer Kalibriervorrichtung 3 und einer Odometrievorrichtung 5. Die Kalibriervorrichtung 3 weist einen Sensor 7 und eine Steuervorrichtung 9 auf. 1 shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with a calibration device 3 and an odometry device 5 . The calibration device 3 has a sensor 7th and a control device 9 on.

Der Sensor 7 ist eingerichtet, um eine Tiefenaufnahme 11 einer Umgebung des Kraftfahrzeugs 1 zu erstellen. Vorzugsweise ist der Sensor 7 eingerichtet, um die Tiefenaufnahme 11 der Umgebung des Kraftfahrzeugs 1 als eine Punktwolke 13 - insbesondere dargestellt in 3 - zu erstellen. Besonders bevorzugt ist der Sensor 7 ausgewählt aus einer Gruppe, bestehend aus einem SFM-Vision-Sensor, einem USS-Sensor, einem Radar-Sensor und einem Lidar-Sensor.The sensor 7th is set up to take a depth survey 11th an environment of the motor vehicle 1 to create. Preferably the sensor is 7th set up to take the depth survey 11th the surroundings of the motor vehicle 1 as a point cloud 13th - particularly shown in 3 - to create. The sensor is particularly preferred 7th selected from a group consisting of an SFM vision sensor, a USS sensor, a radar sensor and a lidar sensor.

Die Odometrievorrichtung 5 ist eingerichtet, um einen Bewegungsvektor 15 einer Bewegung des Kraftfahrzeugs 1 zwischen zwei Zeitpunkten zur bestimmen und bereitzustellen. Insbesondere ermittelt die Odometrievorrichtung 5 basierend auf mindestens einem Parameter 17, ausgewählt aus einer Gruppe, bestehend aus einem Radumfang, einem Abriebkoeffizienten, einem Radstand, einer Wettersituation und einer Temperatur, insbesondere eine Umgebungstemperatur, den Bewegungsvektor 15.The odometry device 5 is set up to be a motion vector 15th movement of the motor vehicle 1 to be determined and provided between two points in time. In particular, the odometry device determines 5 based on at least one parameter 17th , selected from a group consisting of a wheel circumference, an abrasion coefficient, a wheelbase, a weather situation and a temperature, in particular an ambient temperature, the motion vector 15th .

Die Steuervorrichtung 9 ist hier nur schematisch dargestellt und ist in nicht explizit dargestellter Weise mit dem Sensor 7 und der Odometrievorrichtung 5 wirkverbunden und eingerichtet zu deren jeweiliger Ansteuerung. Die Steuervorrichtung 9 ist insbesondere eingerichtet zur Durchführung eines Verfahrens zum Kalibrieren der Odometrievorrichtung 5. Das Verfahren wird anhand von 2 näher erläutert.The control device 9 is shown here only schematically and is not explicitly shown with the sensor 7th and the odometry device 5 operatively connected and set up for their respective control. The control device 9 is set up in particular to carry out a method for calibrating the odometry device 5 . The procedure is based on 2 explained in more detail.

2 zeigt ein Flussdiagramm eines Ausführungsbeispiels des Verfahrens zum Kalibrieren der Odometrievorrichtung 5 des Kraftfahrzeugs 1. 2 shows a flowchart of an embodiment of the method for calibrating the odometry device 5 of the motor vehicle 1 .

In einem ersten Schritt a) wird zu einem ersten Zeitpunkt mittels des Sensors 7 eine erste Tiefenaufnahme 11.1 einer Umgebung des Kraftfahrzeugs 1 erstellt. Vorzugsweise weist die erste Tiefenaufnahme 11.1 eine erste Punktwolke 13.1 auf.In a first step a), at a first point in time, the sensor 7th a first depth survey 11.1 an environment of the motor vehicle 1 created. The first depth recording preferably has 11.1 a first point cloud 13.1 on.

In einem zweiten Schritt b) wird zu einem zweiten Zeitpunkt mittels des Sensors 7 eine zweite Tiefenaufnahme 11.2 der Umgebung des Kraftfahrzeugs 1 erstellt. Vorzugsweise weist die zweite Tiefenaufnahme 11.2 eine zweite Punktwolke 13.2 auf.In a second step b), at a second point in time, the sensor 7th a second depth view 11.2 the surroundings of the motor vehicle 1 created. The second depth recording preferably has 11.2 a second point cloud 13.2 on.

In einem dritten Schritt c) wird von der Odometrievorrichtung 5 der Bewegungsvektor 15 für eine Bewegung des Kraftfahrzeugs 1 zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bereitgestellt.In a third step c) the odometry device 5 the motion vector 15th for movement of the motor vehicle 1 provided between the first time and the second time.

In einem vierten Schritt d) werden die erste Tiefenaufnahme 11.1, die zweite Tiefenaufnahme 11.2 und der Bewegungsvektor 15 verglichen, wobei ein Vergleich 19 erstellt wird.In a fourth step d) the first depth recording is made 11.1 , the second depth view 11.2 and the motion vector 15th compared, being a comparison 19th is created.

Vorzugsweise wird in einem optionalen ersten vierten Schritt d1) mindestens ein dynamisches Objekt aus der ersten Tiefenaufnahme 11.1 und/oder der zweiten Tiefenaufnahme 11.2 entfernt.In an optional first fourth step d1), at least one dynamic object is preferably obtained from the first depth recording 11.1 and / or the second depth survey 11.2 removed.

Alternativ oder zusätzlich wird vorzugsweise in einem optionalen zweiten vierten Schritt d2) die Umgebung in eine Mehrzahl an Zellen 21 eingeteilt. Dabei werden die auf den zweiten vierten Schritt d2) folgenden Schritte auf mindestens einer Zelle 21 der Mehrzahl an Zellen 21 durchgeführt.Alternatively or additionally, preferably in an optional second fourth step d2), the surroundings are divided into a plurality of cells 21 assigned. The steps following the second, fourth step d2) are performed on at least one cell 21 the majority of cells 21 carried out.

Alternativ oder zusätzlich wird vorzugsweise in einem optionalen dritten vierten Schritt d3) die erste Tiefenaufnahme 11.1, insbesondere die erste Punktwolke 13.1 mittels des Bewegungsvektors 15 transformiert, wodurch eine dritte Punktwolke 13.3 erhalten wird.Alternatively or additionally, the first depth recording is preferably carried out in an optional third fourth step d3) 11.1 , especially the first point cloud 13.1 by means of the motion vector 15th transformed, creating a third point cloud 13.3 is obtained.

Alternativ oder zusätzlich werden vorzugsweise in einem optionalen vierten vierten Schritt d4) die erste Tiefenaufnahme 11.1, die zweite Tiefenaufnahme 11.2 und der Bewegungsvektor 15 verglichen, wobei ein Ähnlichkeitswert 23 bestimmt wird. In einer bevorzugten Ausgestaltung wird basierend auf dem Ähnlichkeitswert 23 der Vergleich 19 erstellt.As an alternative or in addition, the first depth recording is preferably carried out in an optional fourth, fourth step d4) 11.1 , the second depth view 11.2 and the motion vector 15th compared, with a similarity score 23 is determined. In a preferred embodiment, based on the similarity value 23 the comparison 19th created.

Besonders bevorzugt werden in dem optionalen vierten vierten Schritt d4) die erste Punktwolke 13.1, die zweite Punktwolke 13.2 und der Bewegungsvektor 15 verglichen. Insbesondere wird die dritte Punktwolke 13.3 mit der zweiten Punktwolke 13.2 verglichen, wobei vorzugsweise mindestens ein dritter Punkt 25.3 der dritten Punktwolke 13.3, welcher sich insbesondere mittels des Bewegungsvektors 15 aus dem mindestens einem ersten Punkt 25.1 der ersten Punktwolke 13.1 ergibt, insbesondere mittels eines SSIM-Verfahrens, mit mindestens einem dem ersten Punkt 25.1 zugeordneten, zweiten Punkt 25.2 der zweiten Punktwolke 13.2 verglichen wird.The first point cloud is particularly preferred in the optional fourth fourth step d4) 13.1 , the second point cloud 13.2 and the motion vector 15th compared. In particular, the third point cloud 13.3 with the second point cloud 13.2 compared, with preferably at least a third point 25.3 the third point cloud 13.3 , which is in particular by means of the motion vector 15th from the at least one first point 25.1 the first point cloud 13.1 results, in particular by means of an SSIM method, with at least one of the first point 25.1 assigned, second point 25.2 the second point cloud 13.2 is compared.

Besonders bevorzugt wird als der mindestens eine erste Punkt 25.1 ein erstes Maximum einer ersten die erste Punktwolke 13.1 überspannenden Oberfläche 27.1 bestimmt. Zusätzlich wird vorzugsweise als der dem mindestens einen ersten Punkt 25.1 zugeordnete, zweite Punkt 25.2 ein dem mindestens einen ersten Maximum zugeordnetes zweites Maximum einer zweiten die zweite Punktwolke 13.2 überspannenden Oberfläche 27.2 bestimmt. Insbesondere ist es möglich die erste Oberfläche 27.1 mittels des Bewegungsvektors 15 in eine dritte die dritte Punktwolke 13.3 überspannende Oberfläche zu transformieren, wobei der mindestens eine erste Punkt 25.1 in den mindestens einen dritten Punkt 25.3 transformiert wird.The at least one first point is particularly preferred 25.1 a first maximum a first the first point cloud 13.1 spanning surface 27.1 certainly. In addition, the at least one first point is preferably used 25.1 associated, second point 25.2 a second maximum, assigned to the at least one first maximum, of a second, the second point cloud 13.2 spanning surface 27.2 certainly. In particular, it is possible to use the first surface 27.1 by means of the motion vector 15th in a third the third point cloud 13.3 transforming spanning surface, the at least one first point 25.1 in the at least one third point 25.3 is transformed.

Alternativ oder zusätzlich wird vorzugsweise in einem optionalen fünften vierten Schritt d5) der Ähnlichkeitswert 23 mit einem Schwellenwert 29 verglichen, wobei vorzugsweise der Vergleich 19 anhand des Ähnlichkeitswertes 23 und des Schwellenwertes 29 erstellt wird.Alternatively or additionally, the similarity value is preferably used in an optional fifth fourth step d5) 23 with a threshold 29 compared, preferably the comparison 19th based on the similarity value 23 and the threshold 29 is created.

Alternativ oder zusätzlich wird in einem optionalen sechsten vierten Schritt d6) überprüft, ob für eine vorbestimmte Anzahl an Zellen 21 der Mehrzahl an Zellen 21 die erste Tiefenaufnahme 11.1, die zweite Tiefenaufnahme 11.2 und der Bewegungsvektor 15 verglichen wurden.Alternatively or additionally, it is checked in an optional sixth fourth step d6) whether for a predetermined number of cells 21 the majority of cells 21 the first depth survey 11.1 , the second depth view 11.2 and the motion vector 15th were compared.

Falls die vorbestimmte Anzahl an Zellen 21 der Mehrzahl an Zellen 21 analysiert wurden, wird vorzugsweise der Vergleich 19 erstellt.If the predetermined number of cells 21 the majority of cells 21 have been analyzed, the comparison is preferred 19th created.

Falls die vorbestimmte Anzahl an Zellen 21 der Mehrzahl an Zellen 21 analysiert wurden, werden die optionalen Schritte d3) bis d5) erneut durchgeführt.If the predetermined number of cells 21 the majority of cells 21 have been analyzed, the optional steps d3) to d5) are carried out again.

In einem fünften Schritt e) wird basierend auf dem Vergleich 19 mindestens ein Parameter 17 der Odometrievorrichtung 5 bewertet und kalibriert.In a fifth step e) is based on the comparison 19th at least one parameter 17th the odometry device 5 rated and calibrated.

3 zeigt eine schematische Darstellung der ersten Punktwolke 13.1, der zweiten Punktwolke 13.2 und der dritten Punktwolke 13.3. 3 shows a schematic representation of the first point cloud 13.1 , the second point cloud 13.2 and the third point cloud 13.3 .

Gleiche und funktionsgleiche Elemente sind in allen Figuren mit gleichen Bezugszeichen versehen, sodass insofern auf die vorangegangenen Beschreibungen verwiesen wird.Identical and functionally identical elements are provided with the same reference symbols in all figures, so that reference is made to the previous descriptions.

In 3 a) ist das Kraftfahrzeug 1 mit einer ersten Fahrtrichtung 31.1 in einer Draufsicht zum ersten Zeitpunkt dargestellt. Die Umgebung des Kraftfahrzeugs 1 ist hier als die erste Punktwolke 13.1 dargestellt. Weiterhin ist die Umgebung und insbesondere die erste Punktwolke 13.1 in eine Mehrzahl an Zellen 21, insbesondere eine erste Zelle 21.1 und eine zweite Zelle 21.2, unterteilt. Die erste Punktwolke 13.1 wird von der ersten Oberfläche 27.1 überspannt. Besonders bevorzugt wird der erste Punkt 25.1 für die Kalibrierung der Odometrievorrichtung 5 analysiert.In 3 a) is the motor vehicle 1 with a first direction of travel 31.1 shown in a plan view at the first point in time. The surroundings of the motor vehicle 1 is here as the first point cloud 13.1 shown. Furthermore, there is the environment and in particular the first point cloud 13.1 into a plurality of cells 21 , especially a first cell 21.1 and a second cell 21.2 , divided. The first point cloud 13.1 will surface from the first 27.1 overstretched. The first point is particularly preferred 25.1 for calibrating the odometry device 5 analyzed.

In 3 b) ist das Kraftfahrzeug 1 mit einer zweiten Fahrtrichtung 31.2 in einer Draufsicht zum zweiten Zeitpunkt dargestellt. Die Umgebung des Kraftfahrzeugs 1 ist hier als die zweite Punktwolke 13.2 dargestellt. Weiterhin ist die Umgebung und insbesondere die zweite Punktwolke 13.2 in eine Mehrzahl an Zellen 21, insbesondere eine dritte Zelle 21.3 und eine vierte Zelle 21.4, unterteilt. Die zweite Punktwolke 13.2 wird von der zweiten Oberfläche 27.2 überspannt. Besonders bevorzugt wird der dem ersten Punkt 25.1 zugeordnete, zweite Punkt 25.2 für die Kalibrierung der Odometrievorrichtung 5 analysiert.In 3 b) is the motor vehicle 1 with a second direction of travel 31.2 shown in a plan view at the second point in time. The surroundings of the motor vehicle 1 is here as the second point cloud 13.2 shown. Furthermore, there is the environment and in particular the second point cloud 13.2 into a plurality of cells 21 , especially a third cell 21.3 and a fourth cell 21.4 , divided. The second point cloud 13.2 is from the second surface 27.2 overstretched. The first point is particularly preferred 25.1 associated, second point 25.2 for calibrating the odometry device 5 analyzed.

Die 3 c) und 3 d) zeigen jeweils eine Überlagerung der 3 a) und 3 b) mittels eines Bewegungsvektors 15. Insbesondere wird mittels des Bewegungsvektors 15 die erste Punktwolke 13.1 in die dritte Punktwolke 13.3 transformiert, wobei der erste Punkt 25.1 in den dritten Punkt 25.3 transformiert wird.the 3 c) and 3 d) each show an overlay of the 3 a) and 3 b) by means of a motion vector 15th . In particular, by means of the motion vector 15th the first point cloud 13.1 into the third point cloud 13.3 transformed, with the first point 25.1 in the third point 25.3 is transformed.

Zur übersichtlicheren Darstellung wurde auf die Mehrzahl an Zellen 21, die erste Oberfläche 27.1, die zweite Oberfläche 27.2 und die dritte Oberfläche verzichtet.For a clearer representation, the majority of cells have been selected 21 , the first surface 27.1 , the second surface 27.2 and waived the third surface.

In 3 c) sind die zweite Punktwolke 13.2 und die dritte Punktwolke 13.3 identisch. Daraus kann geschlussfolgert werden, dass der von der Odometrievorrichtung 5 bestimmte Bewegungsvektor 15 die Bewegung des Kraftfahrzeugs 1 im Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt korrekt repräsentiert. Der Bewegungsvektor 15 umfasst sowohl eine Translation 33, als auch eine Rotation um mindestens einen Winkel 35.In 3 c) are the second point cloud 13.2 and the third point cloud 13.3 identical. From this it can be concluded that that of the odometry device 5 certain motion vector 15th the movement of the motor vehicle 1 correctly represented in the period between the first point in time and the second point in time. The motion vector 15th includes both a translation 33 , as well as a rotation by at least one angle 35 .

In 3 d) sind die zweite Punktwolke 13.2 - dargestellt mittels der schwarzen ausgefüllten Kreise - und die dritte Punktwolke 13.3 - dargestellt mittels der nicht ausgefüllten Kreise - versetzt zueinander angeordnet. Die zweite Punktwolke 13.2 und die dritte Punktwolke 13.3 werden insbesondere anhand eines Abstands 37 zwischen dem zweiten Punkt 25.2 und dem dritten Punkt 25.3 analysiert. Daraus kann geschlussfolgert werden, dass der von der Odometrievorrichtung 5 bestimmte Bewegungsvektor 15 die Bewegung des Kraftfahrzeugs 1 im Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt nicht korrekt repräsentiert.In 3 d) are the second point cloud 13.2 - represented by the black filled-in circles - and the third point cloud 13.3 - shown by means of the not filled circles - arranged offset to one another. The second point cloud 13.2 and the third point cloud 13.3 are in particular based on a distance 37 between the second point 25.2 and the third point 25.3 analyzed. From this it can be concluded that that of the odometry device 5 certain motion vector 15th the movement of the motor vehicle 1 not correctly represented in the period between the first point in time and the second point in time.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

  • „Image quality assessment: from error visibility to structural similarity‟ von Z. Wang et. al., IEEE Transactions on Image Processing, Band 13, Nr. 4, April 2004, 600-612 [0014]"Image quality assessment: from error visibility to structural similarity" by Z. Wang et. al., IEEE Transactions on Image Processing, Volume 13, No. 4, April 2004, 600-612 [0014]
  • „3D Feature Point Extraction from Lidar Data using a Neural Network‟ von Y. Feng et. al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 and XXIII ISPRS Congress, 12-19 July 2016 [0020]“3D Feature Point Extraction from Lidar Data using a Neural Network” by Y. Feng et. al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 and XXIII ISPRS Congress, 12-19 July 2016 [0020]

Claims (10)

Verfahren zum Kalibrieren einer Odometrievorrichtung (5) eines Kraftfahrzeugs (1), wobei - zu einem ersten Zeitpunkt mittels eines Sensors (7) eine erste Tiefenaufnahme (11.1) einer Umgebung des Kraftfahrzeugs (1) erstellt wird, wobei - zu einem zweiten Zeitpunkt mittels des Sensors (7) eine zweite Tiefenaufnahme (11.2) der Umgebung des Kraftfahrzeugs (1) erstellt wird, wobei - von der Odometrievorrichtung (5) ein Bewegungsvektor (15) für eine Bewegung des Kraftfahrzeugs (1) zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt bereitgestellt wird, wobei - die erste Tiefenaufnahme (11.1), die zweite Tiefenaufnahme (11.2) und der Bewegungsvektor (15) verglichen werden, wobei - basierend auf dem Vergleich (19) mindestens ein Parameter (17) der Odometrievorrichtung (5) bewertet und kalibriert wird.Method for calibrating an odometry device (5) of a motor vehicle (1), wherein - At a first point in time, a first depth recording (11.1) of the surroundings of the motor vehicle (1) is created by means of a sensor (7), wherein - At a second point in time, a second depth recording (11.2) of the surroundings of the motor vehicle (1) is created by means of the sensor (7), wherein - A motion vector (15) for a movement of the motor vehicle (1) between the first point in time and the second point in time is provided by the odometry device (5), wherein - The first depth recording (11.1), the second depth recording (11.2) and the motion vector (15) are compared, with - Based on the comparison (19) at least one parameter (17) of the odometry device (5) is evaluated and calibrated. Verfahren nach Anspruch 1, wobei die erste Tiefenaufnahme (11.1) eine erste Punktwolke (13.1) aufweist, wobei die zweite Tiefenaufnahme (11.2) eine zweite Punktwolke (13.2) aufweist.Procedure according to Claim 1 , the first depth recording (11.1) having a first point cloud (13.1), the second depth recording (11.2) having a second point cloud (13.2). Verfahren nach einem der vorhergehenden Ansprüche, wobei - für die erste Tiefenaufnahme (11.1), die zweite Tiefenaufnahme (11.2) und den Bewegungsvektor (15) ein Ähnlichkeitswert (23) bestimmt wird, wobei - der Ähnlichkeitswert (23) mit einem Schwellenwert (29) verglichen wird, wobei - basierend auf dem Vergleich (19) des Ähnlichkeitswerts (23) mit dem Schwellenwert (29) der mindestens eine Parameter (17) der Odometrievorrichtung (5) bewertet und kalibriert wird.The method according to any one of the preceding claims, wherein - A similarity value (23) is determined for the first depth recording (11.1), the second depth recording (11.2) and the motion vector (15), wherein - The similarity value (23) is compared with a threshold value (29), wherein - Based on the comparison (19) of the similarity value (23) with the threshold value (29), the at least one parameter (17) of the odometry device (5) is evaluated and calibrated. Verfahren nach einem der vorhergehenden Ansprüche, wobei - mindestens ein erster Punkt (25.1) der ersten Punktwolke (13.1) mittels des Bewegungsvektors (15) transformiert wird, wodurch mindestens ein dritter Punkt (25.3) erhalten wird, wobei - der mindestens eine dritte Punkt (25.3) mit einem dem mindestens einen ersten Punkt (25.1) zugeordneten zweiten Punkt (25.2) der zweiten Punktwolke (13.2) verglichen wird, wobei - basierend auf dem Vergleich (19) der mindestens eine Parameter (17) der Odometrievorrichtung (5) bewertet und kalibriert wird.The method according to any one of the preceding claims, wherein - At least one first point (25.1) of the first point cloud (13.1) is transformed by means of the motion vector (15), whereby at least one third point (25.3) is obtained, wherein - The at least one third point (25.3) is compared with a second point (25.2) of the second point cloud (13.2) assigned to the at least one first point (25.1), wherein - Based on the comparison (19), the at least one parameter (17) of the odometry device (5) is evaluated and calibrated. Verfahren nach einem der vorhergehenden Ansprüche, wobei - als der mindestens eine erste Punkt (25.1) ein erstes Maximum einer ersten die erste Punktwolke (13.1) überspannenden Oberfläche (27.1) bestimmt wird, wobei - als der dem mindestens einen ersten Punkt (25.1) zugeordnete, zweite Punkt (25.2) ein dem mindestens einen ersten Maximum zugeordnetes zweites Maximum einer zweiten die zweite Punktwolke (13.2) überspannenden Oberfläche (27.2) bestimmt wird.The method according to any one of the preceding claims, wherein - A first maximum of a first surface (27.1) spanning the first point cloud (13.1) is determined as the at least one first point (25.1), wherein - as the second point (25.2) assigned to the at least one first point (25.1), a second maximum, assigned to the at least one first maximum, of a second surface (27.2) spanning the second point cloud (13.2) is determined. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebung in eine Mehrzahl an Zellen (21) eingeteilt wird, wobei das Verfahren auf mindestens einer Zelle (21) der Mehrzahl an Zellen (21) durchgeführt wird.Method according to one of the preceding claims, wherein the environment is divided into a plurality of cells (21), the method being carried out on at least one cell (21) of the plurality of cells (21). Verfahren nach einem der vorhergehenden Ansprüche, wobei vor dem Vergleich (19) der ersten Tiefenaufnahme (11.1) und der zweiten Tiefenaufnahme (11.2) mit dem Bewegungsvektor (15) mindestens ein dynamisches Objekt aus der ersten Tiefenaufnahme (11.1) und/oder der zweiten Tiefenaufnahme (11.2) entfernt wird.Method according to one of the preceding claims, wherein before the comparison (19) of the first depth recording (11.1) and the second depth recording (11.2) with the motion vector (15) at least one dynamic object from the first depth recording (11.1) and / or the second depth recording (11.2) is removed. Steuervorrichtung (9), eingerichtet zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.Control device (9), set up to carry out a method according to one of the preceding claims. Kalibriervorrichtung (3) mit einem Sensor (7) zur Erstellung von Tiefenaufnahmen (11) und einer Steuervorrichtung (9) nach Anspruch 8.Calibration device (3) with a sensor (7) for making depth recordings (11) and a control device (9) according to Claim 8 . Kraftfahrzeug (1) mit einer Odometrievorrichtung (5) und einer Kalibriervorrichtung (3) nach Anspruch 9.Motor vehicle (1) with an odometry device (5) and a calibration device (3) according to Claim 9 .
DE102021004535.1A 2021-09-07 2021-09-07 Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device Pending DE102021004535A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021004535.1A DE102021004535A1 (en) 2021-09-07 2021-09-07 Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021004535.1A DE102021004535A1 (en) 2021-09-07 2021-09-07 Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device

Publications (1)

Publication Number Publication Date
DE102021004535A1 true DE102021004535A1 (en) 2021-11-18

Family

ID=78280830

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021004535.1A Pending DE102021004535A1 (en) 2021-09-07 2021-09-07 Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device

Country Status (1)

Country Link
DE (1) DE102021004535A1 (en)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
„3D Feature Point Extraction from Lidar Data using a Neural Network‟ von Y. Feng et. al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLI-B1, 2016 and XXIII ISPRS Congress, 12-19 July 2016
„Image quality assessment: from error visibility to structural similarity‟ von Z. Wang et. al., IEEE Transactions on Image Processing, Band 13, Nr. 4, April 2004, 600-612

Similar Documents

Publication Publication Date Title
DE102018116111A1 (en) A uniform deep convolution neural network for the estimation of free space, the estimation of the object recognition and the object position
DE102018124108A1 (en) METHOD AND DEVICE FOR DETECTING ROAD LIMITATION
DE102015205244B3 (en) Method for providing obstacle cards for vehicles
DE102016223422A1 (en) Method for automatically determining extrinsic parameters of a camera of a vehicle
DE102014209137A1 (en) Method and device for calibrating a camera system of a motor vehicle
EP3142913B1 (en) Surroundings map for driving surface with any height profil
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
DE102016104730A1 (en) Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle
DE102012023030A1 (en) Method for determining the movement of a motor vehicle
DE102019132150A1 (en) Method for automatically calibrating an environment sensor, in particular a lidar sensor, of a vehicle on the basis of occupancy cards and computing device
DE102017217008A1 (en) Method for determining the slope of a roadway
DE102019208507A1 (en) Method for determining the degree of overlap between an object and a lane
DE102021004535A1 (en) Method for calibrating an odometry device of a motor vehicle, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device
WO2002050770A1 (en) Method and device for compensating for the maladjustment of an image producing device
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102007027958A1 (en) Method for optimizing a stereoscopic image
WO2022063900A1 (en) Method for fusing environment-related parameters
DE102019211006B4 (en) Evaluation of sensor data from a vehicle
DE102020003465A1 (en) Method for the detection of objects in monocular RGB images
DE102019008081A1 (en) Method for a camera-based three-dimensional reconstruction
DE102020003094A1 (en) Method for determining vehicle inclination for a vehicle in the vehicle longitudinal direction, control device and vehicle
DE102021133089A1 (en) Device for determining a topography of a vehicle environment, vehicle and method
DE102022001120A1 (en) Calibration and adjustment of a vehicle camera
DE102021128115A1 (en) Method for determining a gravitational direction for a vehicle control system of a motor vehicle, vehicle control system and motor vehicle
DE102021200197A1 (en) Procedure for calibrating a camera

Legal Events

Date Code Title Description
R230 Request for early publication
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: MERCEDES-BENZ GROUP AG, DE

Free format text: FORMER OWNER: DAIMLER AG, STUTTGART, DE