EP4330717A1 - Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene - Google Patents

Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene

Info

Publication number
EP4330717A1
EP4330717A1 EP22725415.8A EP22725415A EP4330717A1 EP 4330717 A1 EP4330717 A1 EP 4330717A1 EP 22725415 A EP22725415 A EP 22725415A EP 4330717 A1 EP4330717 A1 EP 4330717A1
Authority
EP
European Patent Office
Prior art keywords
calibration
lidar
positions
calibration object
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22725415.8A
Other languages
English (en)
French (fr)
Inventor
Maximilian Poepperl
Felix Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4330717A1 publication Critical patent/EP4330717A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Definitions

  • the present invention relates to a method for determining a vertical position of a calibration object using a LiDAR-based environmental sensor, in particular for calibrating the LiDAR-based environmental sensor.
  • the present invention also relates to a method for calibrating a LiDAR-based environmental sensor, comprising determining a vertical position of the at least one calibration object according to the above method for at least three different calibration positions.
  • the present invention relates to a driving support system with a LiDAR-based environment sensor and a control unit, which are connected to one another via a data connection, wherein the LiDAR-based environment sensor is designed to receive reflections of emitted laser pulses with a scan plane and to the Transfer control unit, wherein the driving support system is designed to perform the above method for calibrating the LiDAR-based environment sensor.
  • LiDAR-based environmental sensors Light Detection And Ranging
  • An extrinsic calibration of LiDAR-based environmental sensors is a prerequisite for their use for many purposes. The aim is to determine the position and orientation of the LiDAR-based environmental sensors as precisely as possible.
  • the calibration is particularly important if other environmental sensors are attached to the vehicle, for example cameras, so that it can be ensured that the information from the various environmental sensors is related is consistent with the environment of the vehicle.
  • the various environmental sensors can be calibrated sequentially or simultaneously.
  • the calibration can take place both in the moving vehicle and on a calibration stand.
  • Calibration in the moving vehicle is mostly based on a feature tracking approach based on recognized objects (“features”).
  • features recognized objects
  • special calibration objects can be placed specifically for the calibration.
  • "everyday" objects such as traffic signs, crash barriers, etc. can be used for calibration, which preferably have a known orientation (horizontal or vertical).
  • the movement of the vehicle must be determined with the greatest possible accuracy. This requires additional sensors, which makes the calibration very complex.
  • the identification of static objects and their tracking contain further sources of error.
  • calibration objects are preferably used for calibrating the environmental sensors, which, due to their design, facilitate detection by the environmental sensors and exact determination of their position with the environmental sensor to be calibrated.
  • the calibration objects are preferably suitable both for detection with LiDAR-based environmental sensors and with cameras, in order to be able to calibrate the various environmental sensors with the same calibration objects.
  • the calibration objects can be suitable for detection with radar sensors if the vehicle has such sensors.
  • the position of the calibration objects and/or unique points on the calibration object can be uniquely determined in both coordinate systems.
  • a so-called point-matching algorithm a Transformation between the two coordinate systems and thus the extrinsic calibration between the coordinate systems is determined.
  • LiDAR-based environmental sensors used in current vehicles are typically designed to capture a large horizontal area around the vehicle. Less information is required in the vertical direction. Typical LiDAR-based environmental sensors therefore capture the environment in several scan planes (layers). A series of scan points are generated for each scan plane, which contain runtime information from received reflections and, in the case of newer LiDAR-based environmental sensors, also an intensity of the received reflections. The number of scan planes determines the vertical polar angle resolution. The azimuthal resolution in the individual scan planes is typically significantly higher. Radar sensors can also work according to the same functional principle.
  • LiDAR-based environmental sensors with few scan planes are often used for cost reasons. Particularly cost-effective LiDAR-based environmental sensors work with just one scan plane. Fewer scan planes have the additional advantage that the environment can be scanned at a higher frequency. However, these LiDAR-based environmental sensors cannot be extrinsically calibrated with sufficient accuracy using such known calibration objects. The lower the vertical resolution of the LiDAR-based environmental sensors, the more difficult it is to determine all six degrees of freedom during calibration. In the case of LiDAR-based environmental sensors with only one scan plane, the calibration is with such known calibration objects significantly more difficult or even impossible. In order to be able to estimate the shapes and orientations of the calibration objects, typically at least two scan planes have to intersect the calibration objects.
  • a binary output (calibration object yes/no) of the discrete scanning of the scan plane with the scan points means that the position of the edges and above them the position of the calibration object can only be estimated discretely. Particularly in the context of a calibration, however, particularly high demands are made on the position determination of the calibration objects.
  • DE 10 2015 118 874 A1 discloses a method for operating a sensor system of a motor vehicle, in which a first item of information from a surrounding area of the motor vehicle is detected with a first sensor of the sensor system arranged locally at a first position on the motor vehicle. A second piece of information from the area surrounding the motor vehicle is recorded with a second sensor of the sensor system, which is arranged locally at a second position on the motor vehicle that differs from the first position. The first information and the second information are recorded and evaluated in relation to a common reference point of the first sensor and the second sensor on the motor vehicle and external to the sensor.
  • the invention is therefore based on the object of a method for determining a vertical position of a calibration object with a LiDAR-based environment sensor, a method for calibrating a LiDAR-based environment sensor, and a driving support system with a LiDAR-based Specify environmental sensors that enable easy and reliable calibration of LiDAR-based environmental sensors with a scan plane.
  • a method for determining a vertical position of a calibration object which comprises at least three elongated individual objects that are arranged in one plane, with two first individual objects being arranged parallel to one another and a second individual object extending between the two first individual objects, with a scanning plane a LiDAR-based environmental sensor, in particular for calibrating the LiDAR-based environmental sensor, including the steps of positioning the calibration object in the scan plane of the LiDAR-based environmental sensor, determining the positions of the individual objects in the scan plane of the LiDAR-based environmental sensor with the LiDAR-based environmental sensor, and determining the vertical position of the calibration object based on the positions of the individual objects in the scan plane of the LiDAR-based environmental sensor.
  • Also according to the invention is a method for calibrating a LiDAR-based environmental sensor with a scan plane using at least one calibration object, the calibration object comprising at least three elongated individual objects which are arranged in one plane, and wherein two first individual objects are arranged parallel to one another and a second Individual object extends between the first two individual objects, and the calibration object is positioned in the scanning plane of the LiDAR-based environmental sensor, including the steps of determining a vertical position of the at least one calibration object according to the above method for at least three different calibration positions, determining a horizontal position the at least one calibration object in the scanning plane of the LiDAR-based environmental sensor for the at least three different calibration positions, determining a vertical and horizontal reference position of the at least one en calibration object for the at least three different calibration positions, and calibrating the LiDAR-based environmental sensor based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions.
  • a driving support system is also provided with a LiDAR-based surroundings sensor and a control unit, which are connected to one another via a data connection, with the LiDAR-based surroundings sensor being implemented is to receive reflections of emitted laser pulses with a scan plane and to transmit them to the control unit via a data connection, the driving support system being designed to carry out the above method for calibrating the LiDAR-based environmental sensor.
  • the basic idea of the present invention is therefore to carry out a reliable calibration based on just one scan plane, starting from the reflections received with the LiDAR-based environmental sensor.
  • Using a suitable calibration object together with the properties of the LiDAR-based environmental sensor for receiving reflections in a scan plane enables reliable vertical obliteration of the calibration objects based solely on the position of the individual objects in the horizontal direction.
  • there is sufficient resolution in this direction to obliterate objects and thus also calibration objects, i.e. to determine their position in the horizontal direction.
  • the calibration object used allows the vertical position of the calibration object formed by these individual objects to be determined solely based on the positions of the individual objects.
  • the major challenge of calibrating LiDAR-based environmental sensors when using only one scan plane is to determine the vertical position of the calibration objects.
  • this problem exists in the prior art in an identical manner for LiDAR-based environmental sensors with few scan planes, which have a low resolution in the vertical direction.
  • the vertical position of calibration objects can only be determined directly with sufficient accuracy once LiDAR-based environmental sensors with an increased number of scan planes are used.
  • the specified method can be carried out in the same way in order to determine the vertical and/or horizontal positions of the objects or calibration objects with increased accuracy based on multiple scan planes or for each of the scan planes.
  • multiple vertical and horizontal positions of the at least one calibration object can be determined for multiple scan planes or for each of the scan planes in order to carry out the calibration based thereon.
  • mean values can be formed over the vertical positions of the objects or calibration objects determined for the respective scan planes.
  • calibration can be performed with increased accuracy based on multiple scan planes.
  • the method according to the invention can be used in an identical manner for LiDAR-based environmental sensors whose scanning planes are not aligned horizontally.
  • the "vertical" position of the calibration object can be determined perpendicular to the corresponding scan plane of the LiDAR-based environmental sensor.
  • the "horizontal" position then corresponds to the position in the scan plane and the "vertical” position to the position perpendicular to the scan plane.
  • alignment of the LiDAR-based environmental sensors with the scanning plane in a horizontal direction is preferred.
  • the calibration object is preferably designed with a three-dimensional structure that is formed by the individual objects.
  • the elongate individual objects can, for example, be in the form of beams or strips and can be arranged together.
  • the elongated individual objects can be connected to one another at their ends to form the calibration object.
  • the calibration object can have a frame structure or a support structure, for example, on which the individual objects are held to form the calibration object.
  • Alternative arrangements of the individual objects are also possible.
  • the frame structure or support structure is preferably designed with small dimensions compared to the individual objects in order to reduce or avoid reflections on them.
  • the calibration object preferably has a surface, in particular as a coating, with a high reflectivity for emitted laser pulses, at least on the side of the plane for the individual objects.
  • the individual objects can be easily recognized if they have a particularly high reflectivity compared to surfaces with “natural” reflectivities.
  • Such high reflectivities relate in particular to reflectivities that are practically unachievable in “natural” environments.
  • the calibration object can be designed as a calibration panel.
  • the individual objects can be formed by the surface with a high reflectivity for emitted laser pulses on the calibration board, i.e. the individual objects can be formed solely by applying a coating with a high reflectivity on the calibration board.
  • the calibration panel can be composed of individual objects with a surface with a high reflectivity and objects with a surface with a low reflectivity. The reflections on the calibration panel then all have the same transit time and differ in their intensity for reflections from the individual objects and from the remaining areas of the calibration panel.
  • the individual objects can be arranged together in different ways to form the calibration object. All individual objects are preferably arranged at an angle to the scanning plane.
  • the individual objects preferably have a shallow angle of intersection with the scan plane. A flat intersection angle is assumed if there is a deviation from a right angle, so that an intersection length of the individual objects with the scan plane is increased. A larger deviation from the right angle results in a larger cut length, so that more reflections are received from the individual object and the determination of the position is improved.
  • the angle of intersection of the individual objects in the calibration object must be selected in such a way that it can be distinguished from the expected scan plane, ie it is, for example, in the case of an expected horizontal scan plane with a Tolerance range greater than the tolerance range.
  • the cutting angle is twice as large as the tolerance range.
  • the first individual objects and the second individual object can have independent angles of intersection.
  • Each of the individual objects preferably has a uniform extension transversely to its longitudinal direction, i.e. the individual objects each have a width that does not change over their length.
  • the width of the individual objects can be chosen differently.
  • the individual objects can be at least partially connected to one another.
  • the individual objects can be arranged separately and together form the calibration object. At least in the imaginary extension of the individual objects, there is an intersection of the second individual object with the two first individual objects.
  • the dimensions of the at least one calibration object and/or positions of the individual objects are preferably known in order to determine the vertical and/or horizontal position of the calibration object and to calibrate the LiDAR-based environmental sensor.
  • the scan plane When determining the vertical position of the calibration object, it is necessary for the scan plane to intersect the calibration object, with the scan plane having to intersect at least the three minimum required individual objects.
  • the calibration object must therefore be aligned and positioned accordingly.
  • a determination of at least three positions of calibration objects is required for the calibration in order to calibrate the LiDAR-based environmental sensor in all degrees of freedom, ie to determine position information for three axes and information about rotation about three axes.
  • the three positions of calibration objects must not lie on a straight line, because this does not provide enough information to determine the three-axis position information and the three-axis rotation information.
  • the positioning of the calibration object in the scanning plane of the LiDAR-based environmental sensor relates to a corresponding positioning of the at least one calibration object at different calibration positions, which can be predetermined.
  • the at least one calibration object can in principle be freely positioned in the environment of the vehicle, so that the at least one calibration object is detected by the scanning plane.
  • the determination of the positions of the individual objects in the scanning plane of the LiDAR-based environment sensor is carried out with the LiDAR-based environment sensor.
  • the positions can be determined as angular positions between the individual objects and can therefore be independent of a distance from the respective calibration object.
  • the positions of the individual objects can be determined as positions along a scan line or in space. Distances or lengths can be determined based on the angular positions and the distance of the calibration object.
  • the determination of the vertical position of the calibration object based on the positions of the individual objects in the scanning plane of the LiDAR-based environmental sensor can be based on geometric relationships depending on the at least one calibration object. In doing so, geometric relationships between the individual objects can be exploited.
  • the vertical position is initially determined as a relative position. From this, an absolute vertical position can be determined during the subsequent calibration using the reference position of the calibration object.
  • the horizontal position of the respective calibration object in the scanning plane of the LiDAR-based environmental sensor for the at least three different calibration positions is determined depending on the type of the respective calibration object.
  • the horizontal position of the respective calibration object in the scan plane can be determined based on a position or multiple positions of the individual objects of the calibration object or also based on a position of a calibration table. Due to the high resolution of the LiDAR-based environmental sensor in the horizontal direction, the horizontal position of the respective calibration object can be determined easily and reliably.
  • Based on The position of the calibration object can be completely determined from a distance to the calibration object, which results directly from the propagation time of the reflection received with the LiDAR-based environmental sensor.
  • a vertical and horizontal reference position of the at least one calibration object is determined for the at least three different calibration positions in order to calibrate the LiDAR-based environmental sensor. Based on the at least three different calibration positions, the position and alignment of the LiDAR-based environmental sensor can be adequately defined.
  • the LiDAR-based environmental sensor is calibrated based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions.
  • a mechanical adjustment of the LiDAR-based environmental sensor may be performed by aligning the LiDAR-based environmental sensor with the vehicle.
  • an image can be determined during the calibration based on the deviations between the determined vertical and horizontal positions of the at least one calibration object and the associated vertical and horizontal reference positions in order to carry out the calibration.
  • the control unit includes a processor and a memory to execute a program for performing an assistance function of the driving assistance system.
  • the control unit processes sensor information provided by the LiDAR-based environmental sensor.
  • the data connection is designed, for example, in the manner of a bus system that is customary in the automotive sector.
  • Various bus systems such as CAN, FlexRay, LON or others are known in this context.
  • LiDAR-based environmental sensors are known as such.
  • the method can be performed with LiDAR-based environmental sensors with one or more scan planes.
  • determining the vertical position of the calibration object based on the positions of the individual objects in the scanning plane of the LiDAR-based environmental sensor includes determining the vertical position of the calibration object based on the ratio of the distances between the two first individual objects and the second individual object and one Height of the calibration object to the vertical position of the calibration object. The ratio enables the vertical position of the calibration object to be determined based, for example, on the theorem of rays.
  • the height of the calibration object is specified, while the distances between the first two individual objects and the second individual object are determined using the LiDAR-based environmental sensor, based on the positions of the individual objects in the scan plane.
  • the vertical position of the calibration object can be reliably determined based on known or ascertained values.
  • distances between the individual objects in the scan plane can be determined.
  • the distances can be determined as angular distances between individual scan points of the LiDAR-based environmental sensor and can therefore be independent of a distance from the respective calibration object.
  • the distances between the individual objects can be determined as distances.
  • the height of the calibration object can correspond to the extent of the physical calibration object or to a height that is defined by the arrangement of the individual objects. Based on the ratio of the distances mentioned, "virtual" intersections of the individual objects can also define the dimensions, in particular the height of the calibration object.
  • the determination of the positions of the individual objects in the scan plane of the LiDAR-based surroundings sensor with the LiDAR-based surroundings sensor includes steps for emitting a plurality of laser pulses in the scan plane of the LiDAR-based surroundings sensor, receiving reflections of the emitted laser pulses from the scan plane, determine from to reflections associated with the individual objects, and determining the positions of the individual objects based on the received reflections associated with the respective individual object.
  • the majority of laser pulses are emitted in the scan plane of the LiDAR-based environmental sensor, i.e. the scan plane is defined by the propagation of the laser pulses and their reflections.
  • the emitted laser pulses preferably have the same intensity.
  • the laser pulses can be emitted in any order in the scan plane.
  • One laser pulse can be emitted at a time so that a reflection is received based on it.
  • multiple laser pulses can be emitted simultaneously and, based on this, multiple reflections can be received simultaneously.
  • a single laser pulse can be split into several laser pulses.
  • scan points of the individual scan planes can be recorded one after the other or in any order, also between the different scan planes.
  • the scan plane is typically a substantially horizontally oriented plane, however, deviations in the scan plane from horizontal are possible based on misalignment of the LiDAR-based environmental sensor on the vehicle and/or variations in manufacturing and assembly of the LiDAR-based environmental sensor.
  • Receiving reflections of the emitted laser pulses from the scan plane typically includes a runtime detection from the emission of the laser pulses to the receipt of the reflections generated by them, in order to determine a distance from an object on which the laser pulse was reflected based on the detected runtime.
  • the determination of reflections belonging to the individual object includes a comparison of the propagation times of the received reflections reflections. For example, a reflection can be determined as belonging to an individual object if this reflection has a different propagation time from the emission of the laser pulse to the receipt of the reflection compared to neighboring reflections.
  • a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have the same propagation time and/or if these reflections have a deviating propagation time compared to neighboring reflections.
  • the calibration object can be positioned in an area in which there are no other objects within a specific distance range. This can help in particular to carry out automatic recognition of the calibration object with the respective individual objects and automatic determination of reflections belonging to the calibration object and respective individual objects.
  • the determination of the positions of the individual objects in the scan plane of the LiDAR-based environment sensor with the LiDAR-based environment sensor includes determining intensities of the received reflections of the emitted laser pulses from the scan plane, and determining the positions of the individual objects includes determining the positions of the individual objects based on the intensities of the received reflections belonging to the respective individual object.
  • the result is an increased number of scan points, which contribute to determining the positions of the individual objects and enable the positions of the individual objects to be determined with improved accuracy.
  • it can be ensured that an increased number of reflections of the laser pulses on the individual objects is recorded. With their different intensities, the reflections in the edge areas of the individual objects can contribute to determining the position of the respective individual object.
  • the intensities of the received reflections are preferably determined as an integral step when receiving the reflections of the emitted laser pulses from the scan plane.
  • the determination of reflections belonging to the individual object includes a comparison of the intensities of the received reflections. Reflections with similar intensities can be attributed together to the respective individual object. For example, a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have approximately the same intensity. Alternatively or additionally, a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have an increased intensity compared to adjacent reflections. Reflections with particularly high intensities can thus be identified as belonging to the individual object, in particular if the individual objects are designed with a high level of reflectivity.
  • a profile of the intensities of the received reflections can be considered in order to determine reflections belonging to the individual object.
  • scan points on edges or edges of the respective individual objects can be recognized and reliably assigned to the corresponding individual object.
  • the reflections that belong to the individual object can be determined automatically. If the individual objects have a particularly high reflectivity for the emitted laser pulses, reflections on the individual objects can be distinguished from reflections on "natural" objects, which usually have a lower intensity.
  • determining the position of the respective individual object based on the intensities of the received reflections belonging to the individual object includes determining the received reflection belonging to the individual object with the highest intensity as the position of the individual object.
  • the reflection with the highest intensity is regarded as a middle position of the respective individual object. Especially when there are only a few reflections from are received for the corresponding individual object, its position can be determined in a simple and precise manner.
  • each respective individual object can be determined based on the intensities of the received reflections belonging to the corresponding individual object as the center point between edges or edges of the individual object. This can be advantageous if several laser pulses hit the respective individual object completely, so that, for example, no sharp peak of the intensity profile with a sharp maximum occurs.
  • determining the position of the respective individual object based on the intensities of the received reflections belonging to the individual object includes determining a course of the intensity over the received reflections belonging to the corresponding individual object and a maximum value of the determined course of the intensity as the position of the respective single object.
  • the course of the intensity can be determined, for example, as an interpolation of the intensities of the reflections belonging to the individual object.
  • determining a vertical and horizontal reference position of the at least one calibration object includes determining the vertical and horizontal reference position of the at least one calibration object with a further environment sensor, in particular an optical camera.
  • a further environment sensor which is preferably part of the driving support system and is attached to the vehicle
  • the two environment sensors can be calibrated relative to one another.
  • an absolute reference is not required for calibration.
  • the calibration of the environmental sensors relative to each other ensures that the vehicle and in particular the driving assistance system has a reliable basis for monitoring the environment. Detections of objects with multiple environment sensors can thus be assigned to one another, so that consistent information can be generated in relation to the environment of the vehicle.
  • the objects can usually be localized and possibly classified with improved accuracy.
  • the calibration can be extended to other environmental sensors, for example a radar sensor or others.
  • calibration objects are designed in such a way that they have a coating with a high reflectivity for radar radiation, for example.
  • the driving support system has at least one additional environment sensor, in particular an optical camera. Based on this, the driving support system can calibrate the two environmental sensors relative to one another.
  • further surroundings sensors can be used, for example a further LiDAR-based surroundings sensor and/or one or more further camera(s) and/or radar sensors.
  • determining a vertical and horizontal reference position of the at least one calibration object includes determining the calibration positions as reference positions.
  • the reference positions are thus obtained by positioning the at least one calibration object at the specified vertical and horizontal reference positions.
  • the LiDAR-based environmental sensor is calibrated in relation to absolute positions by positioning the calibration objects at the reference positions.
  • the LiDAR-based environment sensor can also be positioned with the vehicle at a specified calibration position.
  • the calibration positions as reference positions can be stored as a preset in the driving support system or entered there or transferred to it.
  • the method includes an additional step for converting the determined vertical and horizontal positions of the at least one calibration object from a LiDAR-based coordinate system into a reference coordinate system with the vertical and horizontal reference positions of the at least one calibration object, or the method includes an additional step for converting the vertical and horizontal reference positions of the at least one calibration object from a reference coordinate system into a LiDAR-based coordinate system with the determined vertical and horizontal positions of the at least one calibration object.
  • a common reference is therefore formed for the vertical and horizontal positions determined with the LiDAR-based environmental sensor and the vertical and horizontal reference positions in order to to perform calibration efficiently.
  • the LiDAR-based coordinate system is a coordinate system related to the LiDAR-based environment sensor.
  • the reference coordinate system can be a coordinate system of the additional environmental sensor.
  • the coordinate systems of the environment sensors usually have an origin on the vehicle.
  • the 2D information of the camera must also be transformed into the reference coordinate system in order to provide three-dimensional information based on the camera, or vice versa.
  • the reference coordinate system can also be an external coordinate system that is not related to the vehicle, especially when the calibration positions are used as reference positions.
  • the LiDAR-based coordinate system and the reference coordinate system can also be converted into a further coordinate system, in particular when using further environmental sensors.
  • the calibration of the LiDAR-based environmental sensor based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions includes minimizing distances between the determined vertical and horizontal positions and the vertical and horizontal reference positions for the at least three different calibration positions. Minimizing the distances can be done in different ways. The mathematical principles are known as such, for example based on square distances. By minimizing the distances, a best fit is performed between the determined vertical and horizontal positions and the vertical and horizontal reference positions for the at least three different calibration positions, so that all degrees of freedom of the LiDAR-based environmental sensor can be calibrated.
  • a transformation can be sought for the calibration, which transforms the vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions into the reference coordinate system.
  • the calibration When calibrating with reference to an optical camera that provides a two-dimensional matrix with pixels, there is also a transformation between the LiDAR-based coordinate system or the reference coordinate system, which is three-dimensional Contain information and the two-dimensional matrix of the optical camera required.
  • the distances can simply be minimized.
  • Corresponding projection rules are known, for example based on the so-called pinhole camera model.
  • the method includes positioning a calibration object at each of the at least three different calibration positions and essentially simultaneously determining the vertical and horizontal positions of the calibration objects for the at least three different calibration positions, or the method includes positioning a calibration object at each one of the at least three different calibration positions and determining the vertical and horizontal positions of the calibration object each one of the at least three different calibration positions and changing the calibration object between the at least three different calibration positions.
  • the calibration can be carried out particularly quickly if the calibration objects are detected simultaneously by the LiDAR-based environmental sensor in order to determine their positions. At the same time, this means that the calibration objects can preferably be detected when the scan plane is detected with the LiDAR-based environmental sensor.
  • the calibration can be carried out with only one calibration object, for example, by initially positioning the calibration object at a calibration position and determining the position of it. The calibration object can then be positioned at further calibration positions relative to the vehicle or the LiDAR-based environmental sensor, until all of the vertical and horizontal positions of the calibration object required for the calibration have been determined.
  • Fig. 1 is a schematic view of a vehicle with a
  • FIG. 2 shows a schematic representation of a calibration object according to a second
  • Embodiment with three elongated individual objects the individual objects being arranged in one plane and two first individual objects being arranged parallel to one another, and a second individual object extending between the two first individual objects,
  • FIG. 4 shows a schematic representation of the calibration object from FIG. 2 with an additional curve of a profile of an intensity of received reflections in the scan plane over an entire horizontal extension of the calibration object with the three individual objects
  • FIG. 5 shows a schematic representation of a calibration object according to a third
  • Embodiment with three elongated individual objects wherein the individual objects are arranged in one plane and two first individual objects are arranged parallel to one another, and a second individual object extends between the two first individual objects, and the individual objects are connected to one another at their ends,
  • FIG. 7 shows a schematic representation of a calibration object according to a fifth
  • Embodiment with three elongated individual objects wherein the individual objects are arranged in one plane and two first individual objects are arranged parallel to one another, and a second individual object extends between the two first individual objects, and the individual objects are connected to one another,
  • FIG. 8 shows a flow chart of a method for calibrating the LiDAR-based environmental sensor of the vehicle from FIG. 1 using calibration objects from one of FIGS. 2 to 7,
  • FIG. 9 shows a flowchart of a method for determining a vertical
  • FIG. 10 shows a flow chart of a method for determining a position of individual objects in a scanning plane of the LiDAR-based surroundings sensor of the first exemplary embodiment.
  • FIG. 1 shows a vehicle 10 with a driving support system 12 according to a first preferred embodiment.
  • the driving support system 12 includes a LiDAR-based environment sensor
  • the LiDAR-based environment sensor 14 is designed to capture an environment 20 of the vehicle 10 .
  • the detection takes place with scan points 22 in a scan plane 24 in that laser pulses are emitted in the scan plane 24 and reflections of the emitted laser pulses are received in the scan plane 24 .
  • the scan points 22 are spanned by the received reflections of the emitted laser pulses in the scan plane 24.
  • the scan plane 24 is spanned by the emitted laser pulses and the received reflections.
  • the laser pulses are emitted with a uniform angular spacing.
  • intensities 26 of the received reflections can be determined with the LiDAR-based environment sensor 14 .
  • Corresponding LiDAR-based environmental sensors 14 are known as such.
  • Optical camera 15 is also designed to capture surroundings 20 of vehicle 10 .
  • the detection takes place in a known manner based on a dot matrix with individual image points, which are also referred to as pixels and each include brightness information and/or color information.
  • the control unit 16 includes a processor and a memory to execute a program for performing an assistance function of the driving assistance system 12 .
  • the control unit 16 controls the LiDAR-based surroundings sensor 14 and/or the optical camera 15 and receives and processes sensor information provided by the LiDAR-based surroundings sensor 14 and/or by the optical camera 15 .
  • the data connection 18 is designed, for example, in the manner of a bus system that is customary in the automotive sector.
  • Various bus systems such as CAN, FlexRay, LON or others are known in this context.
  • the method is carried out, for example, with the calibration object 32, which is shown in FIGS. 2 and 4 and additionally in a detail in FIG.
  • the calibration object 32 includes three elongated individual objects 28, 30 in one plane are arranged.
  • the individual objects 28, 30 include two first individual objects 28, which are each arranged perpendicularly and thus parallel to one another, and a second individual object 30, which extends diagonally between the two first individual objects 28.
  • the calibration object 32 is designed as a calibration table, on which the individual objects 28, 30 are formed by applying a coating with a high level of reflectivity.
  • Each of the individual objects 28, 30 has a uniform extension transversely to its longitudinal direction, ie the individual objects 28, 30 each have a constant width. In the case of the calibration object 32 shown in FIGS. 2 and 4, the individual objects 28, 30 are not in contact.
  • the calibration object 32 is positioned in such a way that the scan plane 24 intersects all of the individual objects 28, 30 thereof, as shown in FIGS.
  • step S100 the method starts with positioning a calibration object 32 in each case at three different calibration positions.
  • the three calibration objects 32 are positioned in such a way that the calibration objects 32 can be detected simultaneously both by the LiDAR-based environmental sensor 14 and by the optical camera 15 .
  • the positioning takes place relative to the vehicle 10 or the LiDAR-based environmental sensor 14 and the optical camera 15.
  • Step S110 relates to determining a vertical position h of the calibration object 32 for three different calibration positions.
  • the vertical positions of the three calibration objects 32 are determined at the same time for the three different calibration positions, i.e. based on a simple scan of the scan plane 24.
  • the vertical position h is shown, for example, in Figure 2 and can in principle be defined in a vertical direction upwards or downwards .
  • Step S120 relates to determining a horizontal position of the three calibration objects 32 in the scanning plane 24 of the LiDAR-based environmental sensor 14 for the three different calibration positions. Determining the horizontal positions of the three calibration objects 32 takes place simultaneously for the three different calibration positions, i.e. based on a simple scan of the scan plane 24.
  • Determining the horizontal position of the three calibration objects 32 in the scan plane 24 of the LiDAR-based environment sensor 14 is based on the detection of the environment 20 in steps S300 to S340 discussed below. No re-acquisition of the environment 20 is required.
  • the calibration objects 32 are designed as calibration panels.
  • the horizontal position of the respective calibration object 32 in the scanning plane 24 can thus be determined based on positions of the first individual objects 28 of the calibration object 32 or also based on a position of the calibration panel itself.
  • the position of the calibration object 32 can be completely determined based on a distance from the calibration object 32, which results directly from the propagation time of the reflection received with the LiDAR-based environmental sensor 14.
  • Step S130 relates to determining a vertical and horizontal reference position of the respective calibration object 32 for the three calibration positions.
  • Determining a vertical and horizontal reference position of the at least one calibration object 32 includes determining the vertical and horizontal reference position of the respective calibration object 32 with the optical camera 15.
  • the vertical and horizontal reference positions are determined based on the corresponding calibration positions.
  • the reference positions are thus obtained by positioning the calibration objects 32 at the specified vertical and horizontal reference positions.
  • the vehicle 10 is positioned accordingly using the LiDAR-based surroundings sensor 14.
  • Step S140 relates to converting the determined vertical and horizontal positions h of the corresponding calibration object 32 from a LiDAR-based coordinate system into a reference coordinate system with the vertical and horizontal reference positions of the respective calibration object 32, or converting the vertical and horizontal reference positions of the corresponding calibration object 32 from one Reference coordinate system to a LiDAR-based coordinate system with the determined vertical and horizontal positions h of the respective calibration object 32 .
  • the LiDAR-based coordinate system is a coordinate system related to the LiDAR-based environmental sensor 14 .
  • the reference coordinate system is a coordinate system of the optical camera 15.
  • the coordinate systems have an origin on the vehicle 10.
  • a transformation is carried out between the 2D information of the optical camera 15 and the reference coordinate system in order to generate three-dimensional information based on the two-dimensional information of the optical camera 15 provide, or vice versa.
  • Step S150 relates to calibrating the LiDAR-based environment sensor 14 based on the determined vertical and horizontal positions h and the vertical and horizontal reference positions of the calibration object 32 for the three different calibration positions.
  • the LiDAR-based environmental sensor 14 is calibrated based on the determined vertical and horizontal positions h and the vertical and horizontal reference positions of the calibration object 3 for the three different calibration positions.
  • the position and alignment of the LiDAR-based environmental sensor 14 can be adequately defined by the three different calibration positions. Based on the deviations between the determined vertical and horizontal positions h of the calibration object 32 and the associated vertical and horizontal reference positions, an image is determined in order to carry out the calibration.
  • the distances between the determined vertical and horizontal positions h and the vertical and horizontal reference positions for the three calibration positions are minimized. Minimizing the distances can be done in different ways.
  • a transformation is sought which transforms the vertical and horizontal positions h and the vertical and horizontal reference positions of the calibration object 32 for the three different calibration positions into the reference coordinate system. All degrees of freedom of the LiDAR-based environmental sensor 14 relative to the optical camera 15 can be calibrated based on the determined positions of the three calibration objects 32 .
  • the method for determining the vertical position h of a respective calibration object 32 which comprises at least three elongated individual objects 28, 30 that are arranged in one plane, is also described below, with two first individual objects 28 being arranged parallel to one another and a second individual object 30 being located between the two first individual objects 28 is described in detail with a scanning plane 24 of the LiDAR-based environment sensor 14 according to step S110 above.
  • the method begins in step S200 with the positioning of the respective calibration object 32 in the scan plane 24 of the LiDAR-based environmental sensor 14. As a result, the scan plane 24 intersects the individual objects 28, 30 of the respective calibration object 32.
  • Step S210 relates to determining the positions of the respective individual objects 28, 30 in the scanning plane 24 of the LiDAR-based surroundings sensor 14 with the LiDAR-based surroundings sensor 14.
  • Step S220 relates to determining the vertical position h of the calibration object 32 based on the positions of the individual objects 28, 30 in the scanning plane 24 of the LiDAR-based environmental sensor 14.
  • the vertical position h of the respective calibration object 32 is initially determined as a relative position. From this, an absolute vertical position h can be determined during the subsequent calibration using the reference position of the calibration object 32 .
  • distances a, b between the individual objects 28, 30 in the scan plane 24 are determined.
  • the determination is based on geometric relationships depending on the respective calibration object 32.
  • the vertical position h of the calibration object 32 can thus be determined using the theorem of rays.
  • the vertical Position h of the calibration object 32 can be reliably determined based on known or determined values.
  • the height h Ta fei of the calibration object 32 is predetermined.
  • the height h Ta fei of the calibration object 32 can correspond to the extent of the physical calibration object 32 or to a height that is defined by the arrangement of the individual objects 28, 30.
  • “virtual” intersections of the individual objects 28, 30 define the dimensions under consideration and thus the height h Ta f ei of the calibration object 32.
  • step S210 for determining a position of individual objects 28, 30 in the scan plane 24 of the LiDAR-based environmental sensor 14 and for obliterating a calibration object 32 with the individual objects 28, 30 for calibrating the LiDAR-based environmental sensor 14 is described in detail.
  • step S300 which includes emitting a plurality of laser pulses 22 in the scan plane 24 of the LiDAR-based environmental sensor 14.
  • the emitted laser pulses each have the same pulse intensity, with one laser pulse being emitted at a time by the LiDAR-based environmental sensor 14 in this exemplary embodiment.
  • Step S310 relates to receiving reflections of the emitted laser pulses from the scan plane 24.
  • the reflections are received by the LiDAR-based surroundings sensor 14.
  • Receiving the reflections of the emitted laser pulses from the scan plane 24 includes a runtime detection from the emission of the laser pulses to the receipt of the corresponding reflections, so that for each scan point 22 distance information for the reflection of the emitted laser pulse is determined.
  • Step S320 relates to determining the intensities 26 of the received reflections.
  • the intensities 26 of the received reflections are determined as an integral step when the reflections of the emitted laser pulses are received from the scan plane 26 in step S110.
  • Step S330 relates to determining reflections belonging to the respective individual object 28, 30. Scanning points 22 can thus be assigned to the individual object 28, 30 for further processing.
  • Reflections belonging to the individual object 28, 30 are initially determined based on the propagation times of the received reflections. As a result, reflections from the calibration object 32 can be identified on the basis of their identical propagation times. A group of adjacent reflections from the scan plane 24 is thus determined as belonging to the respective individual object 28, 30 if these reflections have the same transit time and if these reflections have a different transit time compared to neighboring reflections.
  • the intensities 26 of the received reflections in the area of the calibration object 32 are compared. Due to the high reflectivity, reflections on the individual objects 28, 30 have an increased intensity 26 compared to reflections from other areas of the calibration object 32. Adjacent reflections of increased intensities 26 are therefore assigned to the respective individual object 28, 32 together. This includes scan points 26 at the edges of the respective individual objects 28, 30, where the laser pulses only partially impinge on the respective individual object 28, 30 and their intensity is therefore increased compared to reflections that do not originate from the respective individual objects 28, 30.
  • Step S340 relates to determining the position 38 of the respective individual object 28, 30 based on the intensities 26 of the received reflections belonging to the individual object 28, 30.
  • a profile 34 of the intensity 26 is determined over the received reflections belonging to the individual object 28, 30.
  • the curve 34 of the intensity 26 is based on the individual object 28, 30 belonging to it Reflections interpolated. Various mathematical methods of interpolation are known per se to those skilled in the art and can be used.
  • the curves 34 of the intensity 26 are shown in FIGS. 3 and 4 for the calibration object 32 used here.
  • the curves 24 of the intensity 26 each have a maximum 36 (peak).
  • the maximum 36 of the determined profile 34 of the intensity 26 indicates the position 38 of the respective individual object 28, 30.
  • the position of the calibration object 32 can be determined, as shown in FIG. 2 by way of example. There is a relationship between the vertical position h of an intersection point 40 of the scan plane 24 with the second individual object 30 and the distances a, b between the positions 38 of the individual objects 28, 30.
  • the method can be carried out using the calibration object 32 shown in FIG. 6, which is not designed as a calibration panel.
  • the calibration object 32 is designed with a three-dimensional structure, which is formed by the individual objects 28, 30.
  • the reflections belonging to the individual object 28, 30 are determined while simultaneously taking into account the propagation times of the reflections and their intensities 26.
  • a prior determination of reflections belonging to the calibration table can be omitted.
  • the elongate individual objects 28, 30 can, for example, be in the form of beams or strips and can be arranged together. Additionally or alternatively, the calibration object 32 can have a frame structure or a support structure on which the individual objects 28, 30 are held to form the calibration object 32.
  • the frame structure or support structure is designed with small dimensions compared to the individual objects 28 , 30 .
  • the second individual object 30 is connected at its ends to one end of each of the first individual objects 28 .
  • the orientation of the second individual object 30 in the case of the calibration object 32 in FIG. 6 is reversed compared to the calibration object 32 in FIGS.
  • the calibration objects 32 of FIGS. 2 and 6 can be used as an alternative to carrying out the method described above.
  • the method described above is preferably carried out with a calibration object 32 that is shown in FIG.
  • the calibration object 32 shown in FIG. 5 also includes three elongated individual objects 28, 30 which are arranged in one plane. Two first individual objects 28 are arranged parallel to one another, and a second individual object 30 extends between the two first individual objects 28.
  • the intersection angles a are each set to about 45° here, so that they differ from the expected scan plane 24 .
  • the individual objects 28, 30 are connected to one another at their ends.
  • the calibration object 32 from FIG. 5 is also designed as a calibration panel.
  • the individual objects 28, 30 are formed on the calibration table by a surface with a high reflectivity for emitted laser pulses.
  • FIG. 7 shows a further calibration object 32.
  • the calibration object 32 also includes three elongated individual objects 28, 30 which are arranged in one plane. Two first individual objects 28 are arranged parallel to one another, and a second individual object 30 extends between the two first individual objects 28.
  • the calibration object 32 from Figure 7 is designed with the individual objects in an Fl-shape formed similarly to the calibration object 32 from FIG.
  • the fleas h Ta fei of the calibration object 32 results from the intersections of the individual objects 28, 30, so that the fleas h Ta fei in this case is smaller than the extent of the physical calibration object 32.
  • optical camera 15 other environment sensor, optical camera
  • intersection point a intersection angle h vertical position h board fleas (calibration object) a distance b distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer vertikalen Position (h) eines Kalibrierobjekts (32), das wenigstens drei längliche Einzelobjekte (28, 30) umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, mit einer Scanebene (24) eines LiDAR-basierten Umgebungssensors (14), insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors (14), umfassend die Schritte Positionieren des Kalibrierobjekts (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14), Bestimmen der Positionen (38) der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) mit dem LiDAR-basierten Umgebungssensor (14), und Bestimmen der vertikalen Position (h) des Kalibrierobjekts (32) basierend auf den Positionen der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14). Die Erfindung betrifft außerdem ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors (14) mit einer Scanebene (24) unter Verwendung von wenigstens einem Kalibrierobjekt (32), wobei das Kalibrierobjekt (32) wenigstens drei längliche Einzelobjekte (28, 30) umfasst, die in einer Ebene angeordnet sind, und wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, und das Kalibrierobjekt (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) positioniert ist.

Description

Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor und Kalibrierung eines LiDAR-basierten Umgebungssensors mit einer Scanebene
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor, insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors.
Auch betrifft die vorliegende Erfindung ein Verfahren zum Kalibrieren eines LiDAR- basierten Umgebungssensors, umfassend ein Bestimmen einer vertikalen Position des wenigstens einen Kalibrierobjekts nach dem obigen Verfahren für wenigstens drei unterschiedliche Kalibrierpositionen.
Des Weiteren betrifft die vorliegende Erfindung ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit, die über eine Datenverbindung miteinander verbunden sind, wobei der LiDAR-basierte Umgebungssensor ausgeführt ist, mit einer Scanebene Reflektionen von ausgesendeten Laserpulsen zu empfangen und über eine Datenverbindung an die Steuereinheit zu übertragen, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren zur Kalibirierung des LiDAR-basierten Umgebungssensors durchzuführen.
LiDAR-basierte Umgebungssensoren (Light Detection And Ranging) gewinnen mehr und mehr an Bedeutung in aktuellen Fahrzeugen, um deren Umgebung zu überwachen und Fahrunterstützungssysteme für verschiedene Unterstützungsfunktionen bis hin zum autonomen Fahren zu realisieren. Eine extrinsische Kalibrierung von LiDAR-basierten Umgebungssensoren ist für viele Verwendungszwecke Grundvoraussetzung für deren Einsatz. Ziel ist dabei die Position und Ausrichtung der LiDAR-basierten Umgebungssensoren so genau wie möglich zu bestimmen.
Die Kalibirierung ist insbesondere wichtig, wenn an dem Fahrzeug weitere Umgebungssensoren angebracht sind, beispielsweise Kameras, so dass sichergestellt werden kann, dass die Information der verschiedenen Umgebungssensoren in Bezug auf die Umgebung des Fahrzeugs konsistent ist. Die verschiedenen Umgebungssensoren können beispielsweise nacheinander oder gleichzeitig kalibriert werden.
Die Kalibrierung kann sowohl im fahrenden Fahrzeug als auch auf einem Kalibrierstand geschehen. Die Kalibrierung im fahrenden Fahrzeug basiert meist auf einem Feature- Tracking-Ansatz basierend auf erkannten Objekten („Features“). Es können beispielsweise besondere Kalibrierobjekte eigens für die Kalibrierung platziert werden. Alternativ können “Alltags”-Objekte, wie Verkehrszeichen, Leitplanken, etc. zur Kalibirierung verwendet werden, die vorzugsweise eine bekannte Ausrichtung (horizontal oder vertikal) aufweisen. Dabei muss die Bewegung des Fahrzeugs mit größtmöglicher Genauigkeit bestimmt werden. Dies erfordert zusätzliche Sensoren, wodurch die Kalibrierung sehr aufwendig wird. Außerdem bergen die Identifikation statischer Objekte und deren Tracking weitere Fehlerquellen.
Bei der statischen Kalibrierung werden Kalibrierobjekte im Sichtbereich des LiDAR- basierten Umgebungssensors platziert. Durch die Kenntnis der Positionen der Kalibrierobjekte in einem Referenzkoordinatensystem und deren Darstellung in der Punktwolke des LiDAR-basierten Umgebungssensors im LiDAR-Koordinatensystem können die Position und die Ausrichtung des LiDAR-basierten Umgebungssensors im Referenzkoordinatensystem ermittelt werden.
Für das Kalibrieren der Umgebungssensoren werden in beiden Fällen vorzugsweise spezielle Kalibrierobjekte verwendet, die durch ihre Gestaltung eine Erfassung durch die Umgebungssensoren und eine exakte Ermittlung von deren Position mit dem zu kalibrierenden Umgebungssensor erleichtern. Vorzugsweise sind die Kalibrierobjekte sowohl zur Erfassung mit LiDAR-basierten Umgebungssensoren wie auch mit Kameras geeignet, um die verschiedenen Umgebungssensoren mit den gleichen Kalibrierobjekten kalibrieren zu können. Zusätzlich können die Kalibrierobjekte zur Erfassung mit Radarsensoren geeignet sein, wenn das Fahrzeug solche Sensoren aufweist.
Bei den unterschiedlichen Ansätzen können die Position der Kalibrierobjekte und/oder eindeutige Punkte auf dem Kalibrierobjekt in beiden Koordinatensystemen eindeutig bestimmt werden. Durch einen sogenannten Point-Matching-Algorithmus wird eine Transformation zwischen den beiden Koordinatensystemen und damit die extrinsische Kalibrierung zwischen den Koordinatensystemen bestimmt.
Für die Erfassung von Kalibrierobjekten mit dem LiDAR-basierten Umgebungssensor ist das zugrundeliegende Messprinzip der LiDAR-basierten Umgebungssensoren von Bedeutung. In aktuellen Fahrzeugen verwendete LiDAR-basierte Umgebungssensoren sollen üblicherweise einen großen horizontalen Bereich um das Fahrzeug erfassen. In vertikaler Richtung ist weniger Information erforderlich. Typische LiDAR-basierte Umgebungssensoren erfassen die Umgebung daher in mehreren Scanebenen (Layern). Für jede Scanebene wird eine Reihe von Scanpunkten erzeugt, die Laufzeitinformationen von empfangenen Reflektionen und bei neueren LiDAR-basierten Umgebungssensoren zusätzlich eine Intensität der empfangenen Reflektionen enthalten. Die Anzahl an Scanebenen bestimmt hierbei die vertikale Polarwinkel- Auflösung. Die azimutale Auflösung in den einzelnen Scanebenen ist typischerweise signifikant höher. Auch Radarsensoren können nach dem gleichen Funktionsprinzip arbeiten.
Für Multilayer-LiDAR-Sensoren mit hoher polarer Auflösung, d.h. mit mehreren Scanebenen, existiert eine Vielzahl von bekannten Kalibrierobjekten, welche beispielsweise für die statische Kalibrierung verwendet werden können. Zum Beispiel werden Quadrate, Dreiecke oder kreisrunde Ausschnitte verwendet um deren Positionen im Raum mit dem LiDAR-basierten Umgebungssensor eindeutig zu bestimmen.
Im Bereich des autonomen Fahrens und Industrieanwendungen werden aus Kostengründen allerdings häufig LiDAR-basierte Umgebungssensoren mit wenigen Scanebenen verwendet. Besonders kostengünstige LiDAR-basierte Umgebungssensoren arbeiten mit nur einer Scanebene. Weniger Scanebenen haben zwar den zusätzlichen Vorteil, dass die Umgebung mit einer höheren Frequenz abgetastet werden kann. Allerdings können diese LiDAR-basierten Umgebungssensoren mit solchen bekannten Kalibrierobjekten nicht mit ausreichender Genauigkeit extrinsisch kalibriert werden. Je geringer die vertikale Auflösung der LiDAR- basierten Umgebungssensoren ist, desto schwieriger ist die Bestimmung aller sechs Freiheitsgrade im Rahmen der Kalibrierung. Bei LiDAR-basierten Umgebungssensoren mit nur einer Scanebene ist die Kalibrierung mit solchen bekannten Kalibrierobjekten deutlich erschwert oder sogar ausgeschlossen. Um Formen und Ausrichtungen der Kalibrierobjekte abschätzen zu können, müssen typischerweise mindestens zwei Scan- Ebenen die Kalibrierobjekte schneiden.
Zusätzlich besteht das Problem, dass übliche LiDAR-basierte Umgebungssensoren an Kanten von Einzelobjekten ungenaue Laufzeitinformationen liefern, so dass die Zuordnung zu dem Kalibrierobjekt erschwert ist. Eine binäre Ausgabe (Kalibrierobjekt ja/nein) der diskreten Abtastung der Scanebene mit den Scanpunkten hat zur Folge, dass die Lage der Kanten und darüber die Position des Kalibrierobjekts nur diskret geschätzt werden können. Besonders im Rahmen einer Kalibrierung sind aber besonders hohe Anforderungen an die Positionsbestimmung der Kalibrierobjekte zu stellen.
In diesem Zusammenhang ist aus der DE 10 2015 118 874 A1 ein Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs bekannt, bei welchem eine erste Information von einem Umgebungsbereich des Kraftfahrzeugs mit einem örtlich an einer ersten Position am Kraftfahrzeug angeordneten ersten Sensor des Sensorsystems erfasst wird. Eine zweite Information von dem Umgebungsbereich des Kraftfahrzeugs wird mit einem örtlich an einer zur ersten Position unterschiedlichen zweiten Position am Kraftfahrzeug angeordneten zweiten Sensor des Sensorsystems erfasst. Die erste Information und die zweite Information werden bezogen auf einen kraftfahrzeugseitigen und sensorexternen gemeinsamen Referenzpunkt des ersten Sensors und des zweiten Sensors erfasst und ausgewertet.
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor, ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors, und ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor anzugeben, die eine einfache und zuverlässige Kalibrierung von LiDAR-basierten Umgebungssensors mit einer Scanebene ermöglichen.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben. Erfindungsgemäß ist somit ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts, das wenigstens drei längliche Einzelobjekte umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte parallel zueinander angeordnet sind und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, mit einer Scanebene eines LiDAR-basierten Umgebungssensors, insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors, angegeben, umfassend die Schritte Positionieren des Kalibrierobjekts in der Scanebene des LiDAR- basierten Umgebungssensors, Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor, und Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors.
Erfindungsgemäß ist außerdem ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors mit einer Scanebene unter Verwendung von wenigstens einem Kalibrierobjekt, wobei das Kalibrierobjekt wenigstens drei längliche Einzelobjekte umfasst, die in einer Ebene angeordnet sind, und wobei zwei erste Einzelobjekte parallel zueinander angeordnet sind und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und das Kalibrierobjekt in der Scanebene des LiDAR-basierten Umgebungssensors positioniert ist, angegeben, umfassend die Schritte Bestimmen einer vertikalen Position des wenigstens einen Kalibrierobjekts nach dem obigen Verfahren für wenigstens drei unterschiedliche Kalibrierpositionen, Bestimmen einer horizontalen Position des wenigstens einen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors für die wenigstens drei unterschiedlichen Kalibrierpositionen, Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedlichen Kalibrierpositionen, und Kalibrieren des LiDAR-basierten Umgebungssensors basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen.
Weiter ist erfindungsgemäß ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit angegeben, die über eine Datenverbindung miteinander verbunden sind, wobei der LiDAR-basierte Umgebungssensor ausgeführt ist, mit einer Scanebene Reflektionen von ausgesendeten Laserpulsen zu empfangen und über eine Datenverbindung an die Steuereinheit zu übertragen, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren zur Kalibirierung des LiDAR-basierten Umgebungssensors durchzuführen.
Grundidee der vorliegenden Erfindung ist es also, ausgehend von den mit dem LiDAR- basierten Umgebungssensor empfangenen Reflektionen bereits basierend auf nur einer Scanebene eine zuverlässige Kalibrierung durchzuführen. Dabei wird durch eine Verwendung eines geeigneten Kalibrierobjekts zusammen mit den Eigenschaften des LiDAR-basierten Umgebungssensors zum Empfangen von Reflektionen in einer Scanebene eine zuverlässige vertikale Verödung der Kalibrierobjekte ermöglicht lediglich basierend auf der Position der Einzelobjekte in der horizontalen Richtung. Zusätzlich ist aufgrund der Ausrichtung der Scanebene bei üblichen LiDAR-basierten Umgebungssensoren in einer horizontalen Richtung in dieser Richtung eine ausreichende Auflösung vorhanden, um Objekte und damit auch Kalibrierobjekte zu veröden, d.h. um deren Position in horizontaler Richtung zu bestimmen. Das verwendete Kalibierobjekt ermöglicht durch seine Form mit den Einzelobjekten, die wie angegeben angeordnet sind, dass allein basierend auf den Positionen der Einzelobjekte die vertikale Position des durch diese Einzelobjekte gebildeten Kalibrierobjekts bestimmt werden kann.
Die große Herausforderung einer Kalibrierung von LiDAR-basierten Umgebungssensoren besteht bei der Verwendung von nur einer Scanebene darin, die vertikale Position der Kalibrierobjekte zu bestimmen. Im Stand der Technik ist es nicht möglich, mit nur einer Scanebene die vertikale Position von Kalibrierobjekten unmittelbar zu bestimmen. Dieses Problem existiert im Stand der Technik prinzipiell in identischer Weise für LiDAR-basierte Umgebungssensoren mit wenigen Scanebenen, die eine geringe Auflösung in vertikaler Richtung aufweisen. Auch damit ist es im Stand der Technik praktisch nicht oder nur sehr eingeschränkt möglich, vertikale Positionen von üblichen Objekten bzw. Kalibrierobjekten unmittelbar zu bestimmen. Erst ab einer Verwendung von LiDAR-basierten Umgebungssensoren mit einer erhöhten Anzahl Scanebenen kann auch die vertikale Position von Kalibrierobjekten mit einer hinreichenden Genauigkeit unmittelbar bestimmt werden. Diese Probleme werden durch das erfindungsgemäße Verfahren überwunden, das eine indirekte Bestimmung der vertikalen Positionen der Kalibrierobjekte allein basierend auf den horizontalen Positionen der Einzelobjekte ermöglicht.
Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen kann das angegebene Verfahren auf die gleiche Weise durchgeführt werden, um so die vertikalen und/oder horizontalen Positionen der Objekte bzw. Kalibrierobjekte mit einer erhöhten Genauigkeit basierend auf mehreren Scanebenen oder für jede der Scanebenen zu bestimmen. Alternativ können mehrere vertikale und horizontale Positionen des wenigstens einen Kalibrierobjekts für mehrere Scanebenen oder für jede der Scanebenen bestimmt werden, um darauf basierend die Kalibrierung durchzuführen. Es können beispielsweise Mittelwerte über die für die jeweiligen Scanebenen bestimmten vertikalen Positionen der Objekte bzw. Kalibrierobjekte gebildet werden. Im Ergebnis kann die Kalibrierung basierend auf mehreren Scanebenen mit einer erhöhten Genauigkeit durchgeführt werden.
Das erfindungsgemäße Verfahren ist auf identische Weise anwendbar für LiDAR- basierte Umgebungssensoren, deren Scanebenen nicht horizontal ausgerichtet sind. In diesem Fall kann die „vertikale“ Position des Kalibrierobjekts senkrecht zu der entsprechenden Scanebene des LiDAR-basierten Umgebungssensors bestimmt werden. Die „horizontale“ Position entspricht dann der Position in der Scanebene und die „vertikale“ Position der Position senkrecht zu der Scanebene. Im Bereich von Fahrzeugen und Fahrunterstützungssystemen ist jedoch eine Ausrichtung der LiDAR- basierten Umgebungssensoren mit der Scanebene in horizontaler Richtung bevorzugt.
Vorzugsweise ist das Kalibrierobjekt mit einer dreidimensionalen Struktur ausgeführt, die durch die Einzelobjekte gebildet wird. Die länglichen Einzelobjekte können beispielsweise als Balken oder Leisten ausgebildet und gemeinsam angeordnet sein. Die länglichen Einzelobjekte können an ihren Enden zur Bildung des Kalibrierobjekts miteinander verbunden sein. Zusätzlich oder alternativ kann das Kalibrierobjekt beispielsweise eine Rahmenstruktur oder eine Stützstruktur aufweisen, an der die Einzelobjekte zur Bildung des Kalibrierobjekts gehalten sind. Alternative Anordnungen der Einzelobjekte sind ebenfalls möglich. Die Rahmenstruktur oder Stützstruktur ist vorzugsweise mit gegenüber den Einzelobjekten geringen Abmessungen ausgeführt, um Reflektionen daran zu reduzieren bzw. zu vermeiden. Vorzugsweise weist das Kalibrierobjekt zumindest an der Seite der Ebene für die Einzelobjekte eine Oberfläche, insbesondere als Beschichtung, mit einer hohen Reflektivität für abgestrahlte Laserpulse auf. Wenn die abgestrahlten Laserpulse auf die Oberfläche mit der hohen Reflektivität treffen, werden starke Reflektionen der Laserpulse erzeugt, die zuverlässig empfangen werden können. Dadurch kann beispielsweise eine einfache Erkennung der Einzelobjekte erfolgen, wenn diese gegenüber Oberflächen mit „natürlichen“ Reflektivitäten eine besonders hohe Reflektivität aufweisen. Zusätzlich oder alternativ ist es möglich, einen großen Dynamikbereich der Intensitäten der Reflektionen zu erzeugen und entsprechend auszuwerten, so dass die Positionen der Einzelobjekte zuverlässig ermittelt werden können. Solche hohen Reflektivitäten betreffen insbesondere Reflektivitäten, die in „natürlichen“ Umgebungen praktisch nicht erreicht werden.
Das Kalibrierobjekt kann alternativ oder zusätzlich als Kalibriertafel ausgeführt sein. Die Einzelobjekte können durch die Oberfläche mit einer hohen Reflektivität für abgestrahlte Laserpulse auf der Kalibriertafel ausgebildet sein, d.h. die Einzelobjekte können allein durch das Aufbringen einer Beschichtung mit einer hohen Reflektivität auf der Kalibriertafel gebildet werden. Alternativ kann die Kalibriertafel aus Einzelobjekten mit einer Oberfläche mit einer hohen Reflektivität und Objekten mit einer Oberfläche mit einer niedrigen Reflektivität zusammengesetzt sein. Die Reflektionen an der Kalibriertafel weisen dann alle die gleiche Laufzeit auf und unterscheiden sich in Ihrer Intensität für Reflektionen von den Einzelobjekten und von restlichen Bereichen der Kalibriertafel.
Die Einzelobjekte können auf unterschiedliche Weise zur Bildung des Kalibrierobjekts zusammen angeordnet sein. Vorzugsweise sind alle Einzelobjekte schräg zu der Scanebene angeordnet. Vorzugsweise weisen die Einzelobjekte einen flachen Schnittwinkel mit der Scanebene auf. Von einem flachen Schnittwinkel wird ausgegangen, wenn eine Abweichung von einem rechten Winkel vorliegt, so dass eine Schnittlänge der Einzelobjekte mit der Scanebene erhöht wird. Bei einer größeren Abweichung vom rechten Winkel ergibt sich eine größere Schnittlänge, so dass mehr Reflektionen von dem Einzelobjekt empfangen werden und die Positionsermittlung verbessert wird. Allerdings muss der Schnittwinkel der Einzelobjekte bei dem Kalibrierobjekt so gewählt sein, dass er von der erwarteten Scanebene unterscheidbar ist, d.h. er ist beispielsweise bei einer erwarteten horizontalen Scanebene mit einem Toleranzbereich größer als der Toleranzbereich. Beispielsweise ist der Schnittwinkel doppelt so groß gewählt wie der Toleranzbereich. Die ersten Einzelobjekte und das zweite Einzelobjekt können unabhängige Schnittwinkel aufweisen.
Jedes der Einzelobjekte hat vorzugsweise eine jeweils gleichmäßige Erstreckung quer zu seiner Längsrichtung, d.h. die Einzelobjekte haben jeweils eine Breite, die sich über ihre Länge nicht ändert. Die Breite der Einzelobjekte kann dabei unterschiedlich gewählt sein.
Bei dem Kalibrierobjekt können die Einzelobjekte zumindest teilweise miteinander verbunden sein. Alternativ können die Einzelobjekte separat angeordnet sein und zusammen das Kalibrierobjekt bilden. Es ergibt sich zumindest in gedachter Verlängerung der Einzelobjekte ein Schnittpunkt des zweiten Einzelobjekts mit den zwei ersten Einzelobjekten.
Die Abmessungen des wenigstens einen Kalibrierobjekts und/oder Positionen der Einzelobjekte sind vorzugsweise bekannt, um die vertikale und/oder horizontale Position des Kalibrierobjekts zu bestimmen und die Kalibrierung des LiDAR-basierten Umgebungssensors durchzuführen.
Bei der Bestimmung der vertikalen Position des Kalibrierobjekts ist es erforderlich, dass die Scanebene das Kalibrierobjekt schneidet, wobei die Scanebene zumindest die drei minimal erforderlichen Einzelobjekte schneiden muss. Das Kalibrierobjekt muss daher entsprechend ausgerichtet und positioniert werden.
Für die Kalibrierung ist eine Bestimmung von wenigstens drei Positionen von Kalibrierobjekten erforderlich, um den LiDAR-basierten Umgebungssensor in allen Freiheitsgraden zu kalibrieren, d.h. um Positionsinformation für drei Achsen und Rotationsinformation um drei Achsen zu bestimmen. Als Einschränkung ergibt sich, dass die drei Positionen von Kalibrierobjekten nicht auf einer geraden Linie liegen dürfen, weil dadurch nicht genug Information gewonnen werden kann, um die Positionsinformation für drei Achsen und die Rotationsinformation um drei Achsen zu bestimmen. Das Positionieren des Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors betrifft eine entsprechende Positionierung des wenigstens einen Kalibrierobjekts an verschiedenen Kalibrierpositionen, die vorgegeben sein können.
Beim Ermitteln der vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts mit einem weiteren Umgebungssensor kann das wenigstens eine Kalibrierobjekt prinzipiell frei in der Umgebung des Fahrzeugs positioniert werden, so dass das wenigstens einen Kalibrierobjekt von der Scanebene erfasst wird.
Das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR- basierten Umgebungssensors wird mit dem LiDAR-basierten Umgebungssensor durchgeführt. Die Positionen können als Winkelpositionen zwischen den Einzelobjekten bestimmt werden und können somit unabhängig von einer Entfernung zu dem jeweiligen Kalibrierobjekt sein. Alternativ können die Positionen der Einzelobjekte als Positionen entlang einer Scanlinie oder im Raum bestimmt werden. Basierend auf den Winkelpositionen und dem Abstand des Kalibrierobjekts können Abstände bzw. Längen ermittelt werden.
Das Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors kann basierend auf geometrischen Zusammenhängen abhängig von dem wenigstens einen Kalibrierobjekt erfolgen. Dabei können geometrische Beziehungen zwischen den Einzelobjekten ausgenutzt werden. Die vertikale Position wird dabei zunächst als relative Position bestimmt. Daraus kann bei der nachfolgenden Kalibrierung durch die Referenzposition des Kalibrierobjekts eine absolute vertikale Position bestimmt werden.
Das Bestimmen der horizontalen Position des jeweiligen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors für die wenigstens drei unterschiedlichen Kalibrierpositionen erfolgt abhängig von der Art des jeweiligen Kalibrierobjekts. Beispielsweise kann die horizontale Position des jeweiligen Kalibrierobjekts in der Scanebene basierend auf einer Position oder mehreren Positionen der Einzelobjekte des Kalibrierobjekts oder auch basierend auf einer Position einer Kalibriertafel bestimmt werden. Durch die hohe Auflösung des LiDAR-basierten Umgebungssensors in der horizontalen Richtung kann die horizontale Position des jeweiligen Kalibrierobjekts einfach und zuverlässig bestimmt werden. Basierend auf einem Abstand zu dem Kalibrierobjekt, der sich unmittelbar aus der Laufzeit der mit dem LiDAR-basierten Umgebungssensor empfangenen Reflektion ergibt, kann die Position des Kalibrierobjekts vollständig ermittelt werden.
Das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts wird für die wenigstens drei unterschiedlichen Kalibrierpositionen durchgeführt, um den LiDAR-basierten Umgebungssensor zu kalibrieren. Ausgehend von den wenigstens drei unterschiedlichen Kalibrierpositionen können die Position und Ausrichtung des LiDAR-basierten Umgebungssensors hinreichend definiert werden.
Das Kalibrieren des LiDAR-basierten Umgebungssensors erfolgt basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen. Es kann eine mechanische Anpassung des LiDAR- basierten Umgebungssensors durchgeführt werden, indem der LiDAR-basierte Umgebungssensor an dem Fahrzeug ausgerichtet wird. Alternativ oder zusätzlich kann bei der Kalibrierung ausgehend von den Abweichungen zwischen den bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts und den dazugehörigen vertikalen und horizontalen Referenzpositionen eine Abbildung ermittelt werden, um die Kalibrierung durchzuführen.
Die Steuereinheit umfasst einen Prozessor und einen Speicher, um ein Programm zur Durchführung einer Unterstützungsfunktion des Fahrunterstützungssystems auszuführen. Die Steuereinheit verarbeitet von dem LiDAR-basierten Umgebungssensor bereitgestellte Sensorinformation.
Die Datenverbindung ist beispielsweise nach der Art eines im Automobilbereich üblichen Bussystems ausgeführt. Verschiedene Bussysteme wie CAN, FlexRay, LON oder andere sind in diesem Zusammenhang bekannt.
LiDAR-basierte Umgebungssensoren sind als solche bekannt. Das Verfahren kann mit LiDAR-basierten Umgebungssensoren mit einer oder mit mehreren Scanebenen durchgeführt werden. Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen ist die Verwendung nur einer der Scanebenen ausreichend. In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors ein Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf dem Verhältnis der Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt und einer Höhe des Kalibrierobjekts zu der vertikalen Position des Kalibrierobjekts. Das Verhältnis ermöglicht beispielsweise basierend auf dem Strahlensatz das Bestimmen der vertikalen Position des Kalibrierobjekts. Die Höhe des Kalibrierobjekts ist dabei vorgegeben, während die Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt mit dem LiDAR- basierten Umgebungssensor bestimmt werden, nämlich basierend auf den Positionen der Einzelobjekte in der Scanebene. Durch die Betrachtung des Verhältnisses der Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt und einer Höhe des Kalibrierobjekts zu der vertikalen Position kann die vertikale Position des Kalibrierobjekts basierend auf bekannten bzw. ermittelten Werten zuverlässig bestimmt werden.
Dabei können ausgehend von den bestimmten Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors Abstände zwischen den Einzelobjekten in der Scanebene bestimmt werden. Die Abstände können als Winkelabstände zwischen einzelnen Scanpunkten des LiDAR-basierten Umgebungssensors bestimmt werden und somit unabhängig von einer Entfernung zu dem jeweiligen Kalibrierobjekt sein. Alternativ können die Abstände zwischen den Einzelobjekten als Entfernungen bestimmt werden.
Die Höhe des Kalibrierobjekts kann der Ausdehnung des physikalischen Kalibrierobjekts entsprechen oder einer Höhe, die durch die Anordnung der Einzelobjekte definiert ist. Ausgehend von dem Verhältnis der genannten Strecken können auch „virtuelle“ Schnittpunkte der Einzelobjekte die Abmessungen, insbesondere die Höhe des Kalibrierobjekts, definieren.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor Schritte zum Aussenden von einer Mehrzahl Laserpulsen in der Scanebene des LiDAR-basierten Umgebungssensors, Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene, Ermitteln von zu den Einzelobjekten gehörenden Reflektionen, und Ermitteln der Positionen der Einzelobjekte basierend auf den zu dem jeweiligen Einzelobjekt gehörenden empfangenen Reflektionen.
Einzelne Reflektionen der ausgesendeten Laserpulse aus der Scanebene, die mit dem LiDAR-basierten Umgebungssensor empfangen werden, werden im Weiteren auch als Scanpunkte bezeichnet.
Das Aussenden der Mehrzahl Laserpulse erfolgt in der Scanebene des LiDAR-basierten Umgebungssensors, d.h. die Scanebene wird jeweils durch eine Ausbreitung der Laserpulse sowie deren Reflektionen definiert. Die ausgesendeten Laserpulse haben vorzugsweise die gleiche Intensität. Die Laserpulse können in einer beliebigen Reihenfolge in der Scanebene ausgesendet werden. Es kann jeweils ein Laserpuls zu einem Zeitpunkt ausgesendet werden, so dass ausgehend davon eine Reflektion empfangen wird. Alternativ können mehrere Laserpulse gleichzeitig ausgesendet und davon ausgehend mehrere Reflektionen gleichzeitig empfangen werden. Dazu kann beispielsweise ein einzelner Laserpuls in mehrere Laserpulse aufgesplittet werden. Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen können Scanpunkte der einzelnen Scanebenen nacheinander oder in einer beliebigen Reihenfolge auch zwischen den verschiedenen Scanebenen erfasst werden.
Die Scanebene ist typischerweise eine im Wesentlichen horizontal ausgerichtete Ebene, wobei aber basierend auf einer fehlerhaften Ausrichtung des LiDAR-basierten Umgebungssensors an dem Fahrzeug und/oder von Abweichungen bei Herstellung und Montage des LiDAR-basierten Umgebungssensors Abweichungen der Scanebene aus der Horizontalen möglich sind.
Das Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene umfasst typischerweise eine Laufzeiterfassung von dem Aussenden der Laserpulse bis zum Empfang der davon erzeugten Reflektionen, um basierend auf der erfassten Laufzeit einen Abstand zu einem Objekt, an dem der Laserpuls reflektiert wurde, zu bestimmen.
In vorteilhafter Ausgestaltung umfasst das Ermitteln von zu dem Einzelobjekt gehörenden Reflektionen ein Vergleichen von Laufzeiten der empfangenen Reflektionen. Beispielsweise kann eine Reflektion als zu einem Einzelobjekt gehörend ermittelt werden, wenn diese Reflektion eine abweichende Laufzeit vom Aussenden des Laserpulses bis zum Empfang der Reflektion verglichen mit benachbarten Reflektionen aufweist. Entsprechend kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen die gleiche Laufzeit aufweisen und/oder wenn diese Reflektionen eine abweichende Laufzeit verglichen mit benachbarten Reflektionen aufweisen. Insbesondere bei der Kalibirierung kann das Kalibrierobjekt in einem Bereich positioniert sein, in dem es keine weiteren Objekte in einem bestimmten Entfernungsbereich gibt. Dies kann insbesondere helfen, um eine automatische Erkennung des Kalibrierobjekts mit den jeweiligen Einzelobjekten und eine automatische Ermittlung von zu dem Kalibrierobjekt und jeweiligen Einzelobjekten gehörenden Reflektionen durchzuführen.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor ein Bestimmen von Intensitäten der empfangenen Reflektionen der ausgesendeten Laserpulse aus der Scanebene, und das Ermitteln der Positionen der Einzelobjekte umfasst ein Ermitteln der Positionen der Einzelobjekte basierend auf den Intensitäten der zu dem jeweiligen Einzelobjekt gehörenden empfangenen Reflektionen. Durch die Betrachtung der Intensitäten der empfangenen Reflektionen können Scanpunkte, die nur teilweise die Einzelobjekte erfassen, dazu beitragen, die Positionen der Einzelobjekte zu bestimmen und deren Bestimmung sogar zu verbessern. Es erfolgt also nicht nur eine binäre Unterscheidung zwischen Scanpunkten, die die Einzelobjekte erfassen, und Scanpunkten, die das Einzelobjekt nicht erfassen, sondern es kann auch - basierend auf einer endlichen Ausdehnung der Laserpulse - ein Grad der Abdeckung des Einzelobjekts bestimmt werden. Im Ergebnis ergibt sich eine erhöhte Zahl von Scanpunkten, die zur Ermittlung der Positionen der Einzelobjekte beitragen und die Ermittlung der Positionen der Einzelobjekte mit einer verbesserten Genauigkeit ermöglichen. In Kombination mit der Ausrichtung der Einzelobjekte mit einem flachen Schnittwinkel kann sichergestellt werden, dass eine erhöhte Anzahl von Reflektionen der Laserpulse an den Einzelobjekten erfasst wird. Die Reflektionen in Randbereichen der Einzelobjekte können mit ihren unterschiedlichen Intensitäten zur Ermittlung der Position des jeweiligen Einzelobjekts beitragen. Entsprechendes gilt prinzipiell für das Bestimmen der horizontalen Position des wenigstens einen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors.
Das Bestimmen von Intensitäten der empfangenen Reflektionen erfolgt vorzugsweise als integraler Schritt beim Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene.
Alternativ oder zusätzlich umfasst das Ermitteln von zu dem Einzelobjekt gehörenden Reflektionen ein Vergleichen der Intensitäten der empfangenen Reflektionen. Reflektionen mit ähnlichen Intensitäten können zusammen dem jeweiligen Einzelobjekt zugerechnet werden. Beispielsweise kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen näherungsweise die gleiche Intensität aufweisen. Alternativ oder zusätzlich kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen gegenüber benachbarten Reflektionen eine erhöhte Intensität aufweisen. Reflektionen mit besonders hohen Intensitäten können somit als zu dem Einzelobjekt gehörend erkannt werden, insbesondere wenn die Einzelobjekte mit einer hohen Reflektivität ausgeführt sind. Weiter alternativ oder zusätzlich kann ein Verlauf der Intensitäten der empfangenen Reflektionen betrachtet werden, um zu dem Einzelobjekt gehörende Reflektionen zu ermitteln. Dadurch können insbesondere Scanpunkte an Rändern oder Kanten der jeweiligen Einzelobjekte erkannt und dem entsprechenden Einzelobjekt zuverlässig zugeordnet werden. Insbesondere kann eine automatische Ermittlung der Reflektionen, die zu dem Einzelobjekt gehören, durchgeführt werden. Wenn die Einzelobjekte eine besonders hohe Reflektivität für die abgestrahlten Laserpulse aufweisen, können Reflektionen an den Einzelobjekten von Reflektionen an „natürlichen“ Objekten, die üblicherweise eine geringere Intensität aufweisen, unterschieden werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln der Position des jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem Einzelobjekt gehörenden empfangenen Reflektionen ein Ermitteln der zu dem Einzelobjekt gehörenden empfangenen Reflektion mit der höchsten Intensität als Position des Einzelobjekts. Die Reflektion mit der höchsten Intensität wird als eine Mittelposition des jeweiligen Einzelobjekts angesehen. Insbesondere wenn nur wenige Reflektionen von dem entsprechenden Einzelobjekt empfangen werden, kann dessen Position auf einfache und genaue Weise ermittelt werden.
Alternativ oder zusätzlich kann die Position jedes jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem entsprechenden Einzelobjekt gehörenden empfangenen Reflektionen als Mittelpunkt zwischen Rändern oder Kanten des Einzelobjekts ermittelt werden. Dies kann vorteilhaft sein, wenn mehrere Laserpulse vollständig auf das jeweilige Einzelobjekt treffen, so dass beispielsweise kein scharfer Peak des Verlaufs der Intensität mit einem scharfen Maximum entsteht.
Weiter alternativ oder zusätzlich umfasst das Ermitteln der Position des jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem Einzelobjekt gehörenden empfangenen Reflektionen ein Ermitteln eines Verlaufs der Intensität über die zu dem entsprechenden Einzelobjekt gehörenden empfangenen Reflektionen und eines Höchstwerts des ermittelten Verlaufs der Intensität als Position des jeweiligen Einzelobjekts. Der Verlauf der Intensität kann beispielsweise als Interpolation der Intensitäten der zu dem Einzelobjekt gehörenden Reflektionen ermittelt werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts ein Ermitteln der vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts mit einem weiteren Umgebungssensor, insbesondere einer optischen Kamera. Durch das Ermitteln der vertikalen und horizontalen Referenzposition mit einem weiteren Umgebungssensor, der vorzugsweise Teil des Fahrunterstützungssystems ist und an dem Fahrzeug angebracht ist, kann eine Kalibrierung der beiden Umgebungssensoren relativ zueinander erfolgen. Eine absolute Referenz ist in dem Fall nicht erforderlich zur Kalibrierung. Durch die Kalibrierung der Umgebungssensoren relativ zueinander wird sichergestellt, dass das Fahrzeug und insbesondere das Fahrunterstützungssystem eine zuverlässige Basis zur Überwachung der Umgebung aufweist. Erfassungen von Objekten mit mehreren Umgebungssensoren können somit einander zugeordnet werden, so dass eine konsistente Information in Bezug auf die Umgebung des Fahrzeugs erzeugt werden kann. Darüber hinaus können die Objekte basierend auf der konsistenten Information der verschiedenen Umgebungssensoren üblicherweise mit einer verbesserten Genauigkeit lokalisiert und ggf. klassifiziert werden. Prinzipiell kann die Kalibrierung auf weitere Umgebungssensoren erweitert werden, beispielsweise einen Radarsensor oder andere. In dem Fall ist es vorteilhaft, wenn Kalibrierobjekte derart ausgeführt sind, dass sie beispielsweise eine Beschichtung mit einer hohen Reflektivität für Radarstrahlung aufweisen.
Entsprechend weist das Fahrunterstützungssystem in vorteilhafter Ausgestaltung der Erfindung wenigstens einen weiteren Umgebungssensor, insbesondere eine optische Kamera, auf. Darauf basierend kann das Fahrunterstützungssystem die Kalibrierung der beiden Umgebungssensoren relativ zueinander durchführen. Alternativ oder zusätzlich können weitere Umgebungssensoren verwendet werden, beispielsweise ein weiterer LiDAR-basierter Umgebungssensor und/oder eine oder mehrere weitere Kamera(s) und/oder Radarsensoren.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts ein Ermitteln der Kalibrierpositionen als Referenzpositionen. Die Referenzpositionen ergeben sich also durch das Positionieren des wenigstens einen Kalibrierobjekts an den vorgegebenen vertikalen und horizontalen Referenzpositionen. Es erfolgt eine Kalibrierung des LiDAR- basierten Umgebungssensors bezogen auf absolute Positionen, indem die Kalibrierobjekte an den Referenzpositionen positioniert werden. Zusätzlich kann der LiDAR-basierte Umgebungssensor mit dem Fahrzeug ebenfalls an einer vorgegebenen Kalibrierungsposition positioniert werden. Die Kalibrierpositionen als Referenzpositionen können als Voreinstellung in dem Fahrunterstützungssystem gespeichert sein oder dort eingegeben oder daran übertragen werden.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen zusätzlichen Schritt zum Umwandeln der bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts aus einem LiDAR-basierten Koordinatensystem in ein Referenzkoordinatensystem mit den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts, oder das Verfahren umfasst einen zusätzlichen Schritt zum Umwandeln der vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts aus einem Referenzkoordinatensystem in ein LiDAR- basiertes Koordinatensystem mit den bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts. Es wird also ein gemeinsamer Bezug für die mit dem LiDAR-basierten Umgebungssensor bestimmten vertikalen und horizontalen Positionen und die vertikalen und horizontalen Referenzpositionen gebildet, um die Kalibrierung effizient durchführen zu können. Das LiDAR-basierte Koordinatensystem ist ein auf den LiDAR-basierten Umgebungssensor bezogenes Koordinatensystem. Das Referenzkoordinatensystem kann ein Koordinatensystem des weiteren Umgebungssensors sein. Die Koordinatensysteme der Umgebungssensoren haben üblicherweise einen Ursprung an dem Fahrzeug. Bei der Verwendung einer Kamera als weiterem Umgebungssensor ist zusätzlich eine Transformation der 2D Information der Kamera in das Referenzkoordinatensystem durchzuführen, um dreidimensionale Information basierend auf der Kamera bereitzustellen, oder umgekehrt. Das Referenzkoordinatensystem kann auch ein externes Koordinatensystem sein, das nicht auf das Fahrzeug bezogen ist, insbesondere wenn die Kalibrierpositionen als Referenzpositionen verwendet werden. Auch können das LiDAR-basierte Koordinatensystem und das Referenzkoordinatensystem in ein weiteres Koordinatensystem überführt werden, insbesondere bei einer Verwendung von weiteren Umgebungssensoren.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Kalibrieren des LiDAR- basierten Umgebungssensors basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen ein Minimieren von Abständen zwischen den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen für die wenigstens drei unterschiedlichen Kalibrierpositionen. Das Minimieren der Abstände kann auf verschiedene Weisen erfolgen. Die mathematischen Prinzipien sind als solche bekannt, beispielsweise basierend auf quadratischen Abständen. Durch die Minimierung der Abstände wird eine beste Anpassung zwischen den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen für die wenigstens drei unterschiedlichen Kalibrierpositionen durchgeführt, so dass alle Freiheitsgrade des LiDAR-basierten Umgebungssensors kalibriert werden können. Für die Kalibrierung kann eine Transformation gesucht werden, welche die vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen in das Referenzkoordinatensystem transformiert. Bei der Kalibrierung bezogen auf eine optische Kamera, die eine zweidimensionale Matrix mit Bildpunkten bereitstellt, ist zusätzlich eine Transformation zwischen dem LiDAR-basierten Koordinatensystem bzw. dem Referenzkoordinatensystem, welche dreidimensionale Information enthalten, und der zweidimensionalen Matrix der optischen Kamera erforderlich. Bei einer Minimierung der Abstände in der zweidimensionalen Matrix mit Bildpunkten können die Abstände einfach minimiert werden. Entsprechende Projektionsvorschriften sind beispielsweise basierend auf dem sogenannten Pinhole- Kameramodell bekannt.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Positionieren jeweils eines Kalibrierobjekts an jeder der wenigstens drei unterschiedlichen Kalibrierpositionen und das im Wesentlichen gleichzeitige Bestimmen der vertikalen und horizontalen Positionen der Kalibrierobjekte für die wenigstens drei unterschiedlichen Kalibrierpositionen, oder das Verfahren umfasst ein Positionieren eines Kalibrierobjekts an jeweils einer der wenigstens drei unterschiedlichen Kalibrierpositionen und das Bestimmen der vertikalen und horizontalen Positionen des Kalibrierobjekts die jeweils ein der wenigstens drei unterschiedlichen Kalibrierpositionen und ein Wechseln des Kalibrierobjekts zwischen den wenigstens drei unterschiedlichen Kalibrierpositionen. Bei einer Verwendung von wenigstens drei Kalibrierobjekten kann die Kalibrierung besonders schnell durchgeführt werden, wenn die Kalibrierobjekte gleichzeitig von dem LiDAR-basierten Umgebungssensor erfasst werden, um deren Positionen zu bestimmen. Gleichzeitig bedeutet dabei, dass die Kalibrierobjekte vorzugsweise bei einer Erfassung der Scanebene mit dem LiDAR-basierten Umgebungssensor erfasst werden können. Alternativ ist es erforderlich, das Fahrzeug mit dem Fahrunterstützungssystem und dem dazugehörenden LiDAR-basierten Umgebungssensor an verschiedenen Positionen zu positionieren, um die Kalibrierobjekte an allen Kalibrierpositionen zu erfassen. Alternativ kann die Kalibirierung mit beispielsweise nur einem Kalibrierobjekt durchgeführt werden, indem das Kalibrierobjekt zunächst an einer Kalibrierposition positioniert wird und die Position davon bestimmt wird. Im Anschluss kann das Kalibrierobjekt relativ zu dem Fahrzeug bzw. dem LiDAR-basierten Umgebungssensor an weiteren Kalibrierpositionen positioniert werden, bis alle für die Kalibrierung erforderlichen vertikalen und horizontalen Positionen des Kalibrierobjekts bestimmt wurden.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem
Ausführungsbeispiel auf ein anderes.
Es zeigt
Fig. 1 eine schematische Ansicht eines Fahrzeugs mit einem
Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit, die über eine Datenverbindung miteinander verbunden sind, gemäß einer ersten, bevorzugten Ausführungsform,
Fig. 2 eine schematische Darstellung eines Kalibierobjekts gemäß einer zweiten
Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt,
Fig. 3 eine schematische Darstellung von zwei unterschiedlich ausgerichteten
Einzelobjekten des Kalibrierobjekts aus Fig. 2 in Bezug auf eine Scanebene des LiDAR-basierten Umgebungssensors der ersten Ausführungsform, mit jeweils einer Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in der Scanebene,
Fig. 4 eine schematische Darstellung des Kalibierobjekts aus Fig. 2 mit einer zusätzlichen Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in der Scanebene über eine gesamte horizontale Erstreckung des Kalibrierobjekts mit den drei Einzelobjekten,
Fig. 5 eine schematische Darstellung eines Kalibierobjekts gemäß einer dritten
Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, mit einer Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in einer Scanebene, Fig. 6 eine schematische Darstellung eines Kalibierobjekts gemäß einer vierten
Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und wobei die Einzelobjekte an ihren Enden miteinander verbunden sind,
Fig. 7 eine schematische Darstellung eines Kalibierobjekts gemäß einer fünften
Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und wobei die Einzelobjekte miteinander verbunden sind,
Fig. 8 ein Ablaufdiagramm eines Verfahrens zum Kalibrieren des LiDAR- basierten Umgebungssensors des Fahrzeugs aus Fig. 1 unter Verwendung von Kalibrierobjekten aus einer der Figuren 2 bis 7,
Fig. 9 ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer vertikalen
Position eines der Kalibrierobjekte aus den Figuren 2 bis 7, und
Fig. 10 ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Position von Einzelobjekten in einer Scanebene des LiDAR-basierten Umgebungssensors des ersten Ausführungsbeispiels.
Die Figur 1 zeigt ein Fahrzeug 10 mit einem Fahrunterstützungssystem 12 gemäß einer ersten, bevorzugten Ausführungsform.
Das Fahrunterstützungssystem 12 umfasst einen LiDAR-basierten Umgebungssensor
14, eine optische Kamera 15 und eine Steuereinheit 16, die über eine Datenverbindung
18 miteinander verbunden sind. Der LiDAR-basierte Umgebungssensor 14 ist ausgeführt, eine Umgebung 20 des Fahrzeugs 10 zu erfassen. Die Erfassung erfolgt mit Scanpunkten 22 in einer Scanebene 24, indem Laserpulse in der Scanebene 24 ausgesendet werden und Reflektionen der ausgesendeten Laserpulse in der Scanebene 24 empfangen werden. Die Scanpunkte 22 werden durch die empfangenen Reflektionen der ausgesendeten Laserpulse in der Scanebene 24. Die Scanebene 24 wird durch die ausgesendeten Laserpulse und die empfangenen Reflektionen aufgespannt. In der Scanebene 24 werden die Laserpulse mit einem gleichmäßigen Winkelabstand ausgesendet. Zusätzlich könne mit dem LiDAR-basierten Umgebungssensor 14 Intensitäten 26 der empfangenen Reflektionen bestimmt werden. Entsprechende LiDAR-basierte Umgebungssensoren 14 sind als solche bekannt.
Auch die optische Kamera 15 ist ausgeführt, die Umgebung 20 des Fahrzeugs 10 zu erfassen. Die Erfassung erfolgt in bekannter Weise basierend auf einer Punktmatrix mit einzelnen Bildpunkten, die auch als Pixel bezeichnet werden und jeweils eine Helligkeitsinformation und/oder Farbinformation umfassen.
Die Steuereinheit 16 umfasst einen Prozessor und einen Speicher, um ein Programm zur Durchführung einer Unterstützungsfunktion des Fahrunterstützungssystems 12 auszuführen. Die Steuereinheit 16 führt eine Ansteuerung des LiDAR-basierten Umgebungssensors 14 und/oder der optischen Kamera 15 durch und empfängt und verarbeitet von dem LiDAR-basierten Umgebungssensor 14 und/oder von der optischen Kamera 15 bereitgestellte Sensorinformation.
Die Datenverbindung 18 ist beispielsweise nach der Art eines im Automobilbereich üblichen Bussystems ausgeführt. Verschiedene Bussysteme wie CAN, FlexRay, LON oder andere sind in diesem Zusammenhang bekannt.
Nachstehend wird unter zusätzlichem Bezug auf die Ablaufdiagramme der Figuren 8 bis 10 ein Verfahren zum Kalibrieren es LiDAR-basierten Umgebungssensors 14 unter Verwendung eines Kalibrierobjekts 32 beschrieben.
Das Verfahren wird beispielhaft mit dem Kalibierobjekt 32 durchgeführt, das in den Figuren 2 und 4 und zusätzlich ausschnittsweise in Figur 3 dargestellt ist. Das Kalibrierobjekt 32 umfasst drei längliche Einzelobjekte 28, 30, die in einer Ebene angeordnet sind. Die Einzelobjekte 28, 30 umfassen zwei erste Einzelobjekte 28, die jeweils senkrecht und damit parallel zueinander angeordnet sind, und ein zweites Einzelobjekt 30, das sich diagonal zwischen den zwei ersten Einzelobjekten 28 erstreckt. Das Kalibierobjekt 32 ist als Kalibriertafel ausgeführt, auf welcher die Einzelobjekte 28, 30 durch Aufbringen einer Beschichtung mit einer hohen Reflektivität ausgebildet sind. Jedes der Einzelobjekte 28, 30 hat eine jeweils gleichmäßige Erstreckung quer zu seiner Längsrichtung, d.h. die Einzelobjekte 28, 30 haben jeweils eine konstante Breite. Bei dem in den Figuren 2 und 4 dargestellten Kalibrierobjekt 32 sind die Einzelobjekte 28, 30 nicht in Kontakt.
Das Kalibrierobjekt 32 ist derart positioniert, dass die Scanebene 24 alle Einzelobjekte 28, 30 davon schneidet, wie in den Figuren 2 und 4 dargestellt ist.
Das Verfahren beginnt in Schritt S100 mit einem Positionieren jeweils eines Kalibrierobjekts 32 an drei unterschiedlichen Kalibrierpositionen. Die Positionierung der drei Kalibrierobjekte 32 erfolgt derart, dass die Kalibrierobjekte 32 gleichzeitig sowohl von dem LiDAR-basierten Umgebungssensor 14 wie auch von der optischen Kamera 15 erfasst werden können. Die Positionierung erfolgt relativ zu dem Fahrzeug 10 bzw. dem LiDAR-basierten Umgebungssensor 14 sowie der optischen Kamera 15. Es ergeben sich drei Kalibrierpositionen für die drei Kalibrierobjekte 32.
Schritt S110 betrifft ein Bestimmen einer vertikalen Position h des Kalibrierobjekts 32 für drei unterschiedliche Kalibrierpositionen. Das Bestimmen der vertikalen Positionen der drei Kalibrierobjekte 32 erfolgt zeitgleich für die drei unterschiedlichen Kalibrierpositionen, d.h. basierend auf einem einfachen Scan der Scanebene 24. Die vertikale Position h ist beispielsweise in Figur 2 dargestellt und kann prinzipiell in einer vertikalen Richtung nach oben oder unten definiert sein.
Die Details zum Bestimmen der vertikalen Position h jedes Kalibrierobjekts 32 sind nachstehend unter Bezug auf das Ablaufdiagramm der Figur 9 mit den Schritten S200 bis S220 beschrieben.
Schritt S120 betrifft ein Bestimmen einer horizontalen Position der drei Kalibrierobjekte 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 für die drei unterschiedlichen Kalibrierpositionen. Das Bestimmen der horizontalen Positionen der drei Kalibrierobjekte 32 erfolgt zeitgleich für die drei unterschiedlichen Kalibrierpositionen, d.h. basierend auf einem einfachen Scan der Scanebene 24.
Das Bestimmen der horizontalen Position der drei Kalibrierobjekte 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 basiert auf der Erfassung der Umgebung 20 in den nachfolgend erörterten Schritten S300 bis S340. Es ist keine erneute Erfassung der Umgebung 20 erforderlich.
Vorliegend sind die Kalibrierobjekte 32 als Kalibriertafeln ausgeführt. Damit kann die horizontale Position des jeweiligen Kalibrierobjekts 32 in der Scanebene 24 basierend auf Positionen der ersten Einzelobjekte 28 des Kalibrierobjekts 32 oder auch basierend auf einer Position der Kalibriertafel selber bestimmt werden. Basierend auf einem Abstand zu dem Kalibrierobjekt 32, der sich unmittelbar aus der Laufzeit der mit dem LiDAR-basierten Umgebungssensor 14 empfangenen Reflektion ergibt, kann die Position des Kalibrierobjekts 32 vollständig ermittelt werden.
Schritt S130 betrifft ein Ermitteln einer vertikalen und horizontalen Referenzposition des jeweiligen Kalibrierobjekts 32 für die drei Kalibrierpositionen.
Das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts 32 umfasst ein Ermitteln der vertikalen und horizontalen Referenzposition des jeweiligen Kalibrierobjekts 32 mit der optischen Kamera 15.
Alternativ werden die vertikalen und horizontalen Referenzpositionen basierend auf den entsprechenden Kalibrierpositionen ermittelt. Die Referenzpositionen ergeben sich also durch das Positionieren der Kalibrierobjekte 32 an den vorgegebenen vertikalen und horizontalen Referenzpositionen. Es erfolgt zusätzlich eine entsprechende Positionierung des Fahrzeugs 10 mit dem LiDAR-basierten Umgebungssensor 14.
Schritt S140 betrifft ein Umwandeln der bestimmten vertikalen und horizontalen Positionen h des entsprechenden Kalibrierobjekts 32 aus einem LiDAR-basierten Koordinatensystem in ein Referenzkoordinatensystem mit den vertikalen und horizontalen Referenzpositionen des jeweiligen Kalibrierobjekts 32, oder ein Umwandeln der vertikalen und horizontalen Referenzpositionen des entsprechenden Kalibrierobjekts 32 aus einem Referenzkoordinatensystem in ein LiDAR-basiertes Koordinatensystem mit den bestimmten vertikalen und horizontalen Positionen h des jeweiligen Kalibrierobjekts 32. Das LiDAR-basierte Koordinatensystem ist ein auf den LiDAR- basierten Umgebungssensor 14 bezogenes Koordinatensystem. Das Referenzkoordinatensystem ist vorliegend ein Koordinatensystem der optischen Kamera 15. Die Koordinatensysteme haben einen Ursprung an dem Fahrzeug 10. Zusätzlich wird eine Transformation zwischen den 2D Information der optischen Kamera 15 und dem Referenzkoordinatensystem durchgeführt, um dreidimensionale Information basierend auf der zweidimensionalen Information der optischen Kamera 15 bereitzustellen, oder umgekehrt.
Schritt S150 betrifft ein Kalibrieren des LiDAR-basierten Umgebungssensors 14 basierend auf den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 32 für die drei unterschiedlichen Kalibrierpositionen.
Das Kalibrieren des LiDAR-basierten Umgebungssensors 14 erfolgt basierend auf den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 3 für die drei unterschiedlichen Kalibrierpositionen. Durch die drei unterschiedlichen Kalibrierpositionen können die Position und Ausrichtung des LiDAR-basierten Umgebungssensors 14 hinreichend definiert werden. Ausgehend von den Abweichungen zwischen den bestimmten vertikalen und horizontalen Positionen h des Kalibrierobjekts 32 und den dazugehörigen vertikalen und horizontalen Referenzpositionen wird eine Abbildung ermittelt, um die Kalibrierung durchzuführen.
Dabei erfolgt ein Minimieren von Abständen zwischen den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen für die drei Kalibrierpositionen. Das Minimieren der Abstände kann auf verschiedene Weisen erfolgen. Es wird eine Transformation gesucht, welche die vertikalen und horizontalen Positionen h und die vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 32 für die drei unterschiedlichen Kalibrierpositionen in das Referenzkoordinatensystem transformiert. Basierend auf den ermittelten Positionen der drei Kalibrierobjekte 32 können alle Freiheitsgrade des LiDAR-basierten Umgebungssensors 14 relativ zu der optischen Kamera 15 kalibriert werden. Nachfolgend wird zusätzlich das Verfahren zur Bestimmung der vertikalen Position h eines jeweiligen Kalibrierobjekts 32, das wenigstens drei längliche Einzelobjekte 28, 30 umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte 28 parallel zueinander angeordnet sind und ein zweites Einzelobjekt 30 sich zwischen den zwei ersten Einzelobjekten 28 erstreckt, mit einer Scanebene 24 des LiDAR-basierten Umgebungssensors 14 gemäß dem obigen Schritt S110 im Detail beschrieben.
Das Verfahren beginnt in Schritt S200 mit dem Positionieren des jeweiligen Kalibrierobjekts 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14. Dadurch schneidet die Scanebene 24 die Einzelobjekte 28, 30 des jeweiligen Kalibrierobjekts 32.
Schritt S210 betrifft ein Bestimmen der Positionen der jeweiligen Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 mit dem LiDAR- basierten Umgebungssensor 14.
Details sind nachstehend in Bezug auf die Schritte S300 bis S340 angegeben
Schritt S220 betrifft ein Bestimmen der vertikalen Position h des Kalibrierobjekts 32 basierend auf den Positionen der Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR- basierten Umgebungssensors 14.
Die vertikale Position h des jeweiligen Kalibrierobjekts 32 wird dabei zunächst als relative Position bestimmt. Daraus kann bei der nachfolgenden Kalibrierung durch die Referenzposition des Kalibrierobjekts 32 eine absolute vertikale Position h bestimmt werden.
Ausgehend von den bestimmten Positionen der Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 werden Abstände a, b zwischen den Einzelobjekten 28, 30 in der Scanebene 24 bestimmt. Die Bestimmung erfolgt basierend auf geometrischen Zusammenhängen abhängig von dem jeweiligen Kalibrierobjekt 32. So kann unter Anwendung des Strahlensatzes die vertikale Position h des Kalibrierobjekts 32 bestimmt werden. Durch die Betrachtung des Verhältnisses der Abstände a, b der beiden ersten Einzelobjekte 28 zu dem zweiten Einzelobjekt 30 und einer Höhe des Kalibrierobjekts 32 zu der vertikalen Position h kann die vertikale Position h des Kalibrierobjekts 32 basierend auf bekannten bzw. ermittelten Werten zuverlässig bestimmt werden. Die Höhe hTafei des Kalibrierobjekts 32 ist dabei vorgegeben. Die Höhe hTafei des Kalibrierobjekts 32 kann der Ausdehnung des physikalischen Kalibrierobjekts 32 entsprechen oder einer Höhe, die durch die Anordnung der Einzelobjekte 28, 30 definiert ist. Bei dem Kalibrierobjekt 32 der Figuren 2 und 4 definieren „virtuelle“ Schnittpunkte der Einzelobjekte 28, 30 die betrachteten Abmessungen und damit die Höhe hTafei des Kalibrierobjekts 32.
Nachfolgend wird das Verfahren aus Schritt S210 zum Bestimmen einer Position von Einzelobjekten 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 und zur Verödung eines Kalibierobjekts 32 mit den Einzelobjekten 28, 30 zur Kalibirierung des LiDAR-basierten Umgebungssensors 14 im Detail beschrieben.
Das Verfahren beginnt mit Schritt S300, der ein Aussenden von einer Mehrzahl Laserpulsen 22 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 umfasst. Die die ausgesendeten Laserpulse haben jeweils die gleiche Pulsintensität, wobei in diesem Ausführungsbeispiel von dem LiDAR-basierten Umgebungssensor 14 jeweils ein Laserpuls zu einem Zeitpunkt ausgesendet wird.
Schritt S310 betrifft ein Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene 24. Die Reflektionen werden von dem LiDAR-basierten Umgebungssensor 14 empfangen. Das Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene 24 umfasst eine Laufzeiterfassung von dem Aussenden der Laserpulse bis zum Empfang der entsprechenden Reflektionen, so dass für jeden Scanpunkt 22 eine Abstandsinformation für die Reflektion des ausgesendeten Laserpulses bestimmt wird.
Die Laserpulse werden dabei nacheinander ausgesendet, so dass auch die Reflektionen nacheinander empfangen werden, so dass sich im Detail eine Abfolge von Wiederholungen der Schritte S300 und S310 ergibt, um alle Scanpunkte 22 in der Scanebene 24 zu erfassen. Prinzipiell kann es aber ausreichend sein, Scanpunkte 22 im Bereich des jeweiligen Einzelobjekts 28, 30 zu erfassen, beispielsweise wenn dessen Position näherungsweise vorab bekannt ist oder zuerst eine Groberfassung zur ungefähren Bestimmung der Position durchgeführt wird. Schritt S320 betrifft ein Bestimmen der Intensitäten 26 der empfangenen Reflektionen. Das Bestimmen der Intensitäten 26 der empfangenen Reflektionen erfolgt in diesem Ausführungsbeispiel als integraler Schritt beim Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene 26 in Schritt S110.
Schritt S330 betrifft ein Ermitteln von zu dem jeweiligen Einzelobjekt 28, 30 gehörenden Reflektionen. Somit können Scanpunkte 22 dem Einzelobjekt 28, 30 für eine weitere Verarbeitung zugeordnet werden.
Das Ermitteln von zu dem Einzelobjekt 28, 30 gehörenden Reflektionen erfolgt zunächst basierend auf den Laufzeiten der empfangenen Reflektionen. Dadurch können Reflektionen von dem Kalibrierobjekt 32 aufgrund Ihrer gleichen Laufzeiten identifiziert werden. Es wird also eine Gruppe von benachbarten Reflektionen aus der Scanebene 24 als zu dem jeweiligen Einzelobjekt 28, 30 gehörend ermittelt, wenn diese Reflektionen die gleiche Laufzeit aufweisen und wenn diese Reflektionen eine abweichende Laufzeit verglichen mit benachbarten Reflektionen aufweisen.
In einem zusätzlichen Schritt wird ein Vergleich der Intensitäten 26 der empfangenen Reflektionen im Bereich des Kalibrierobjekts 32 durchgeführt. Durch die hohe Reflektivität weisen Reflektionen an den Einzelobjekten 28, 30 eine erhöhte Intensität 26 gegenüber Reflektionen aus anderen Bereichen des Kalibrierobjekts 32 auf. Es werden also benachbarte Reflektionen erhöhten Intensitäten 26 zusammen dem jeweiligen Einzelobjekt 28, 32 zugerechnet. Dies umfasst Scanpunkte 26 an Rändern der jeweiligen Einzelobjekte 28, 30, bei denen die Laserpulse nur teilweise auf das jeweilige Einzelobjekt 28, 30 treffen und somit deren Intensität erhöht ist gegenüber Reflektionen, die nicht von den jeweiligen Einzelobjekten 28, 30 stammen.
Schritt S340 betrifft ein Ermitteln der Position 38 des jeweiligen Einzelobjekts 28, 30 basierend auf den Intensitäten 26 der zu dem Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen.
Dazu wird basierend auf den Intensitäten 26 der zu dem jeweiligen Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen ein Verlauf 34 der Intensität 26 über die zu dem Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen ermittelt. Der Verlauf 34 der Intensität 26 wird basierend auf den zu dem jeweiligen Einzelobjekt 28, 30 gehörenden Reflektionen interpoliert. Verschiedene mathematische Methoden der Interpolation sind als solche dem Fachmann bekannt und können verwendet werden. Für das vorliegend verwendet Kalibrierobjekt 32 sind die Verläufe 34 der Intensität 26 in den Figuren 3 und 4 dargestellt. Die Verläufe 24 der Intensität 26 weisen jeweils ein Maximum 36 (Peak) auf. Das Maximum 36 des ermittelten Verlaufs 34 der Intensität 26 gibt die Position 38 des jeweiligen Einzelobjekts 28, 30 an.
Basierend auf den Positionen 38 der Einzelobjekte 28, 30 kann eine Positionsbestimmung für das Kalibrierobjekt 32 erfolgen, wie beispielhaft in Figur 2 dargestellt ist. Es besteht eine Beziehung zwischen der vertikalen Position h eines Schnittpunkts 40 der Scanebene 24 mit dem zweiten Einzelobjekt 30 und den Abständen a, b zwischen den Positionen 38 der Einzelobjekte 28, 30.
Alternativ kann das Verfahren mit dem in Figur 6 dargestellten Kalibrierobjekt 32 durchgeführt werden, das nicht als Kalibriertafel ausgeführt ist. Das Kalibrierobjekt 32 mit einer dreidimensionalen Struktur ausgeführt, die von den Einzelobjekten 28, 30 gebildet ist. Dadurch erfolgt das Ermitteln von zu dem Einzelobjekt 28, 30 gehörenden Reflektionen unter gemeinsamer und gleichzeitiger Berücksichtigung der Laufzeiten der Reflektionen und deren Intensitäten 26. Eine vorherige Ermittlung von zu der Kalibriertafel gehörenden Reflektionen kann entfallen.
Die länglichen Einzelobjekte 28, 30 können beispielsweise als Balken oder Leisten ausgebildet und gemeinsam angeordnet sein. Zusätzlich oder alternativ kann das Kalibrierobjekt 32 eine Rahmenstruktur oder eine Stützstruktur aufweisen, an der die Einzelobjekte 28, 30 zur Bildung des Kalibrierobjekts 32 gehalten sind. Die Rahmenstruktur oder Stützstruktur ist mit gegenüber den Einzelobjekten 28, 30 geringen Abmessungen ausgeführt.
Bei dem Kalibrierobjekt 32 aus Figur 6 ist das zweite Einzelobjekt 30 an seinen Enden mit einem Ende jedes der ersten Einzelobjekte 28 verbunden. Zusätzlich ist die Ausrichtung des zweiten Einzelobjekts 30 bei dem Kalibrierobjekt 32 in Figur 6 gegenüber dem Kalibrierobjekt 32 in den Figuren 2 und 4 umgekehrt. Im Übrigen können die Kalibrierobjekte 32 der Figuren 2 und 6 alternativ zur Durchführung des oben beschriebenen Verfahrens verwendet werden. Das oben beschriebene Verfahren wird vorzugsweise mit einem Kalibrierobjekt 32 durchgeführt, dass in Figur 5 dargestellt ist. Das in Figur 5 dargestellte Kalibrierobjekt 32 umfasst ebenfalls drei längliche Einzelobjekte 28, 30, die in einer Ebene angeordnet sind. Zwei erste Einzelobjekte 28 sind parallel zueinander angeordnet, und ein zweites Einzelobjekt 30 erstreckt sich zwischen den zwei ersten Einzelobjekten 28. Das Kalibrierobjekt 32 aus Figur 5 unterscheidet sich von dem zuvor beschriebenen Kalibrierobjekte 32 aus den Figuren 2 und 4 dadurch, dass alle Einzelobjekte 28, 32 flache Schnittwinkel a mit der Scanebene 24 aufweisen. Die Schnittwinkel a sind hier jeweils mit etwa 45° ausgeführt, so dass sie sich von der erwarteten Scanebene 24 unterscheiden. Zusätzlich sind die Einzelobjekte 28, 30 an ihren Enden miteinander verbunden.
Auch das Kalibrierobjekt 32 aus Figur 5 ist als Kalibriertafel ausgeführt. Die Einzelobjekte 28, 30 sind durch eine Oberfläche mit einer hohen Reflektivität für abgestrahlte Laserpulse auf der Kalibriertafel ausgebildet.
Figur 7 zeigt ein weiteres Kalibrierobjekt 32. Das Kalibrierobjekt 32 umfasst ebenfalls drei längliche Einzelobjekte 28, 30, die in einer Ebene angeordnet sind. Zwei erste Einzelobjekte 28 sind parallel zueinander angeordnet, und ein zweites Einzelobjekt 30 erstreckt sich zwischen den zwei ersten Einzelobjekten 28. Das Kalibrierobjekt 32 aus Figur 7 ist mit den Einzelobjekten in einer Fl-Form ausgeführt- Durch eine Verdrehung des Kalibrierobjekt 32 wird ein Kalibrierobjekt 32 ähnlich dem Kalibrierobjekt 32 aus Figur 5 gebildet, bei dem alle Einzelobjekte 28, 30 flache Schnittwinkel a mit der Scanebene 24 aufweisen. Die Flöhe hTafei des Kalibrierobjekts 32 ergibt sich aus den Schnittpunkten der Einzelobjekte 28, 30, so dass die Flöhe hTafei in diesem Fall kleiner als die Ausdehnung des physikalischen Kalibrierobjekts 32. Bezugszeichenliste 10 Fahrzeug
12 Fahrunterstützungssystem
14 LiDAR-basierter Umgebungssensor
15 weiterer Umgebungssensor, optische Kamera
16 Steuereinheit
18 Datenverbindung
20 Umgebung
22 Scanpunkt
24 Scanebene
26 Intensität
28 erstes Einzelobjekt
30 zweites Einzelobjekt
32 Kalibrierobjekt
34 Verlauf der Intensität
36 Maximum
38 Position
40 Schnittpunkt a Schnittwinkel h vertikale Position h Tafel Flöhe (Kalibrierobjekt) a Abstand b Abstand

Claims

Patentansprüche
1. Verfahren zur Bestimmung einer vertikalen Position (h) eines Kalibrierobjekts (32), das wenigstens drei längliche Einzelobjekte (28, 30) umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, mit einer Scanebene (24) eines LiDAR-basierten Umgebungssensors (14), insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors (14), umfassend die Schritte
Positionieren des Kalibrierobjekts (32) in der Scanebene (24) des LiDAR- basierten Umgebungssensors (14),
Bestimmen der Positionen (38) der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) mit dem LiDAR- basierten Umgebungssensor (14), und
Bestimmen der vertikalen Position (h) des Kalibrierobjekts (32) basierend auf den Positionen der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR- basierten Umgebungssensors (14).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Bestimmen der vertikalen Position (h) des Kalibrierobjekts (32) basierend auf den Positionen der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) ein Bestimmen der vertikalen Position (h) des Kalibrierobjekts (32) basierend auf dem Verhältnis der Abstände der beiden ersten Einzelobjekte (28) zu dem zweiten Einzelobjekt (30) und einer Höhe (hTafei) des Kalibrierobjekts (32) zu der vertikalen Position (h) des Kalibrierobjekts (32) umfasst.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Bestimmen der Positionen (38) der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) mit dem LiDAR- basierten Umgebungssensor (14) folgende Schritte umfasst: Aussenden von einer Mehrzahl Laserpulsen in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14),
Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene (24),
Ermitteln von zu den Einzelobjekten (28, 30) gehörenden Reflektionen, und
Ermitteln der Positionen (38) der Einzelobjekte (28, 30) basierend auf den zu dem jeweiligen Einzelobjekt (28, 30) gehörenden empfangenen Reflektionen.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Bestimmen der Positionen (38) der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) mit dem LiDAR- basierten Umgebungssensor (14) ein Bestimmen von Intensitäten (26) der empfangenen Reflektionen der ausgesendeten Laserpulse aus der Scanebene (24) umfasst, und das Ermitteln der Positionen (38) der Einzelobjekte (28, 30) ein Ermitteln der Positionen (38) der Einzelobjekte (28, 30) basierend auf den Intensitäten (26) der zu dem jeweiligen Einzelobjekt (28, 30) gehörenden empfangenen Reflektionen umfasst.
5. Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors (14) mit einer Scanebene (24) unter Verwendung von wenigstens einem Kalibrierobjekt (32), wobei das Kalibrierobjekt (32) wenigstens drei längliche Einzelobjekte (28,
30) umfasst, die in einer Ebene angeordnet sind, und wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, und das Kalibrierobjekt (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) positioniert ist, umfassend die Schritte
Bestimmen einer vertikalen Position (h) des wenigstens einen Kalibrierobjekts (32) nach dem Verfahren nach einem der Ansprüche 1 bis 4 für wenigstens drei unterschiedliche Kalibrierpositionen,
Bestimmen einer horizontalen Position des wenigstens einen Kalibrierobjekts (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) für die wenigstens drei unterschiedlichen Kalibrierpositionen, Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts (32) für die wenigstens drei unterschiedlichen Kalibrierpositionen, und
Kalibrieren des LiDAR-basierten Umgebungssensors (14) basierend auf den bestimmten vertikalen und horizontalen Positionen (h) und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts (32) für die wenigstens drei unterschiedliche Kalibrierpositionen.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts (32) ein Ermitteln der vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts (32) mit einem weiteren Umgebungssensor (15), insbesondere einer optischen Kamera (15), umfasst.
7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts (32) ein Ermitteln der Kalibrierpositionen als Referenzpositionen umfasst.
8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Umwandeln der bestimmten vertikalen und horizontalen Positionen (h) des wenigstens einen Kalibrierobjekts (32) aus einem LiDAR-basierten Koordinatensystem in ein Referenzkoordinatensystem mit den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts (32) umfasst, oder das Verfahren umfasst einen zusätzlichen Schritt zum Umwandeln der vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts (32) aus einem Referenzkoordinatensystem in ein LiDAR- basiertes Koordinatensystem mit den bestimmten vertikalen und horizontalen Positionen (h) des wenigstens einen Kalibrierobjekts (32).
9. Verfahren nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass das Kalibrieren des LiDAR-basierten Umgebungssensors (14) basierend auf den bestimmten vertikalen und horizontalen Positionen (h) und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts (32) für die wenigstens drei unterschiedliche Kalibrierpositionen ein Minimieren von Abständen zwischen den bestimmten vertikalen und horizontalen Positionen (h) und den vertikalen und horizontalen Referenzpositionen für die wenigstens drei unterschiedlichen Kalibrierpositionen umfasst.
10. Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, dass das Verfahren ein Positionieren jeweils eines Kalibrierobjekts (32) an jeder der wenigstens drei unterschiedlichen Kalibrierpositionen und das im Wesentlichen gleichzeitige Bestimmen der vertikalen und horizontalen Positionen (h) der Kalibrierobjekte (32) für die wenigstens drei unterschiedlichen Kalibrierpositionen umfasst, oder das Verfahren ein Positionieren eines Kalibrierobjekts (32) an jeweils einer der wenigstens drei unterschiedlichen Kalibrierpositionen und das Bestimmen der vertikalen und horizontalen Positionen (h) des Kalibrierobjekts (32) die jeweils ein der wenigstens drei unterschiedlichen Kalibrierpositionen und ein Wechseln des Kalibrierobjekts (32) zwischen den wenigstens drei unterschiedlichen Kalibrierpositionen umfasst.
11 . Fahrunterstützungssystem (12) mit einem LiDAR-basierten Umgebungssensor (14) und einer Steuereinheit (16), die über eine Datenverbindung (18) miteinander verbunden sind, wobei der LiDAR-basierte Umgebungssensor (14) ausgeführt ist, mit einer Scanebene (24) Reflektionen von ausgesendeten Laserpulsen zu empfangen und über eine Datenverbindung (18) an die Steuereinheit (16) zu übertragen, wobei das Fahrunterstützungssystem (12) ausgeführt ist, das Verfahren zur Kalibirierung des LiDAR-basierten Umgebungssensors (14) nach einem der Ansprüche 5 bis 10 durchzuführen.
12. Fahrunterstützungssystem (12) nach Anspruch 11 , dadurch gekennzeichnet, dass das Fahrunterstützungssystem (12) wenigstens einen weiteren Umgebungssensor (15), insbesondere eine optische Kamera (15), aufweist.
EP22725415.8A 2021-04-29 2022-04-25 Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene Withdrawn EP4330717A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021111014.9A DE102021111014A1 (de) 2021-04-29 2021-04-29 Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor und Kalibrierung eines LiDAR-basierten Umgebungssensors mit einer Scanebene
PCT/EP2022/060834 WO2022229062A1 (de) 2021-04-29 2022-04-25 Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene

Publications (1)

Publication Number Publication Date
EP4330717A1 true EP4330717A1 (de) 2024-03-06

Family

ID=81846222

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22725415.8A Withdrawn EP4330717A1 (de) 2021-04-29 2022-04-25 Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene

Country Status (3)

Country Link
EP (1) EP4330717A1 (de)
DE (1) DE102021111014A1 (de)
WO (1) WO2022229062A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1584946A3 (de) * 2004-04-02 2006-03-22 Omron Corporation Verfahren zur Ausrichtung von optischen Sensoren
DE102004033114A1 (de) * 2004-07-08 2006-01-26 Ibeo Automobile Sensor Gmbh Verfahren zur Kalibrierung eines Abstandsbildsensors
JP2009168472A (ja) * 2008-01-10 2009-07-30 Zenrin Co Ltd レーザースキャナのキャリブレーション装置及びキャリブレーション方法
DE102010062696A1 (de) 2010-12-09 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Kalibrieren und Justieren eines Fahrzeug-Umfeldsensors.
DE102015118874A1 (de) 2015-11-04 2017-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
DE102017212002B4 (de) * 2017-07-13 2025-08-21 Robert Bosch Gmbh Verfahren und Anordnung zur Bestimmung der Ausrichtung eines stationären Laserscanners
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility

Also Published As

Publication number Publication date
WO2022229062A1 (de) 2022-11-03
DE102021111014A1 (de) 2022-11-03

Similar Documents

Publication Publication Date Title
EP1664838B1 (de) Verfahren und computerprogramm zum erfassen der kontur eines hindernisses in der umgebung eines fahrzeugs
EP2166510B1 (de) Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
WO2018069405A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102004033114A1 (de) Verfahren zur Kalibrierung eines Abstandsbildsensors
EP3788594B1 (de) Konturerkennung eines fahrzeugs anhand von messdaten einer umfeldsensorik
EP3788405B1 (de) Verfahren zum bestimmen einer winkellage eines optoelektronischen sensors sowie prüfstand
DE102017212371B4 (de) Bestimmung einer Marke in einem Datensatz mit mittels zumindest eines Laserscanners erfassten dreidimensionalen Oberflächen-Koordinaten einer Szene
DE102016120386A1 (de) Verfahren zum Erkennen von Objekten in einem Lager und Flurförderzeug mit einer Einrichtung zum Erkennen von Objekten in einem Lager
EP1634241A1 (de) Verfahren und vorrichtung zur objektbestimmung in fahrerassistenzsystemen für kraftfahrzeuge
DE102017105209A1 (de) Bestimmung von Neigungswinkeln mit einem Laserscanner
DE102017106484A1 (de) Bestimmung eines Nickwinkels eines Umgebungssensors eines Fahrzeugs
EP4357809B1 (de) Verfahren zur positionskalibrierung einer kamera und eines lidarsensors mit einer kalibriertafel sowie ein positionskalibrierungssystem
EP4330717A1 (de) Bestimmung einer vertikalen position eines kalibrierobjekts mit einem lidar-basierten umgebungssensor und kalibrierung eines lidar-basierten umgebungssensors mit einer scanebene
WO2022229067A1 (de) Kalibrierobjekt und verfahren zum bestimmen einer position eines einzelobjekts in einer scanebene eines lidar-basierten umgebungssensors
DE102021133091B4 (de) Verfahren zur Ermittlung einer Ausrichtung einer Kameraeinheit einer Erfassungseinrichtung, Erfassungseinrichtung und Fahrzeug
EP3788406B1 (de) Verfahren zum bestimmen einer ausrichtung eines optoelektronischen sensors mittels abtastpunkten eines sensorbildes sowie optoelektronischer sensor
EP4227707A1 (de) Verfahren zum bestimmen einer position und/oder orientierung eines mobilen geräts in einer umgebung
WO2022263081A1 (de) Verfahren und vorrichtung zum kalibrieren und/oder justieren einer lidarsensoreinheit eines fahrzeugs
DE102024110301B3 (de) Verfahren zum Betreiben einer Radarvorrichtung, Radarvorrichtung, Fahrzeug aufweisend eine Radarvorrichtung, Programmcode sowie computerlesbares Speichermedium
DE102024121976A1 (de) Verfahren zum Erfassen eines hochreflektierenden Objekts mit einem Lidar-Sensor, Lidar-Sensor sowie Fahrzeug
EP4515285A1 (de) Überwachen der ausrichtung eines laserscanners
EP4357808A1 (de) Verfahren zum bestimmen von markern für eine position und/oder orientierung eines mobilen geräts in einer umgebung
DE102024103611A1 (de) Verfahren zum Betreiben einer Lidar-Vorrichtung
DE102023205156A1 (de) Vorrichtung und Verfahren zur Bestimmung von Abtastlücken in einem Abtastbereich eines Lidarsensors
DE102021002795A1 (de) Verfahren und Vorrichtung zur Erkennung einer Blockierung eines Lidarsystems, sowie Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231019

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240607