EP3857208A1 - Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface - Google Patents

Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface

Info

Publication number
EP3857208A1
EP3857208A1 EP19816542.5A EP19816542A EP3857208A1 EP 3857208 A1 EP3857208 A1 EP 3857208A1 EP 19816542 A EP19816542 A EP 19816542A EP 3857208 A1 EP3857208 A1 EP 3857208A1
Authority
EP
European Patent Office
Prior art keywords
lacquer
lidar sensor
distribution function
reflectance distribution
bidirectional reflectance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19816542.5A
Other languages
German (de)
French (fr)
Inventor
Thomas Kantimm
Benjamin LANFER
Alfred WOLCKE
Markus Mundus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF Coatings GmbH
Original Assignee
BASF Coatings GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Coatings GmbH filed Critical BASF Coatings GmbH
Publication of EP3857208A1 publication Critical patent/EP3857208A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G01N2021/575—Photogoniometering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings

Definitions

  • the present invention relates to a method and a corresponding device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor.
  • LiDAR LiDAR
  • LiDAR has become an important part of autonomous driving.
  • LiDAR stands for "Light Detection and Ranging", an optical measuring system to detect objects.
  • a LiDAR sensor emits directed laser pulses in the infrared range. If such a laser pulse strikes an object, it is reflected, the reflected light or the reflected laser pulse in turn being received by the LiDAR sensor.
  • a distance of the LiDAR sensor from the object struck by the laser pulse can be calculated from a transit time of the laser pulse starting from its emission until it is received at the LiDAR sensor.
  • the reflection of the emitted light or laser pulse on the object up to the arrival of the light or laser pulse at the receiver ie the LiDAR sensor itself, determines the position of the object over the transit time of the light or laser pulse leaves.
  • the LiDAR sensor can only measure a distance to an object if a sufficient amount of light is reflected back from the object in the direction of the LiDAR sensor. For a given distance of an object, this means that the object can only be detected if the reflection or the reflected light quantity of the object is sufficiently large at an operating wavelength of the LiDAR sensor.
  • the reflective properties of a vehicle are dominated by the paint with which the vehicle or the vehicle body is painted.
  • paint paint, paint, vehicle paint and vehicle paint are used interchangeably in the context of the present disclosure.
  • a method for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor comprises at least the following steps:
  • the LiDAR sensor being a unit comprising a point light source and a camera and the unit being lacquered Surface can be simulated as a profile, which is arranged or can be arranged at a variable distance with a variable orientation in front of the camera, preferably a
  • Computer graphics model is applied to the profile using the customized bidirectional reflectance distribution function
  • Output of a brightness image means that a brightness image is determined, in particular calculated, on the basis of the preceding step of the simulation, and a result derived therefrom is displayed.
  • the result displayed can be the brightness image itself or an image derived therefrom, for example an image of visibility.
  • a representation / display of the brightness image can be designed in various ways. Areas of different brightness can thus be represented or displayed differently from one another by means of correspondingly different patterns / hatching or different colors. Any other suitable type of presentation / display is conceivable.
  • Typical operating wavelengths of a LiDAR sensor are 905 nm or 1,550 nm. This means that a LiDAR sensor only emits light with a wavelength of 905 nm or 1,550 nm and can only detect such (elastic backscattering).
  • the lacquer which is produced on the basis of a lacquer formulation and whose visibility is to be examined for the LiDAR sensor, is first applied to a narrow, flat sample surface and, if necessary, also coated with a commercially available clear lacquer.
  • a gonio-spectrophotometer is generally used.
  • the measurements are carried out at a plurality of illumination and / or measurement angles, which also include those measurement geometries in which the illumination and the observation or measurement direction or angles are approximately the same.
  • a gonio-spectrophotometer also called a spectro-goniometer, gonio-reflectometer, reflection goniometer, reflectance goniometer or goniometer for short, whereby a goniometer is basically a device for determining the angle, is a device for measuring a reflection behavior of a surface, in particular, angle-dependent ones Properties of the surface or of the lacquer with which the surface is coated can be determined.
  • the reflectance distribution function (BRDF) for the lacquer is determined at the given lighting and measuring angles relative to the surface or the respective sample surface, ie a reflection or a respective reflection value depending on the incidence of light and the sensor or Measuring position determined.
  • the azimuth angle angular direction of the illumination, measured from a cardinal direction (generally north) at 0 ° clockwise to 360 °
  • the zenith angle angular position of the illumination above the surface, measured from the surface (0 ° to 90 °)
  • the BRDF is a fundamental optical property of the reflective lacquer or the lacquer formulation on which the lacquer is based.
  • the invention provides for simulating both the LiDAR sensor itself and the surface coated with the paint or in a model to represent that describes the characteristic properties of both the LiDAR sensor and the paint.
  • anisotropic reflection behavior ie a direction-dependent retroreflection behavior of the light emitted by the LiDAR sensor and reflected by the surface, which is also referred to as anisotropic reflectance or differentiated spectroscopic reflectance, influences to a large extent the BRDF of the lacquer to be examined.
  • the bidirectional reflectance distribution function for the lacquer is formed from a weighted diffuse Lambert term and a Cook Torrance lighting model term with at least one lobe of gloss.
  • parameters of the bidirectional reflectance distribution function are optimized with reference to a cost function. This means that the parameters of the bidirectional reflectance distribution function (Lambert coefficient, weights of the Cook Torrance glossy lobes, etc.) are corrected using the measured reflections or the photospectrometer measurement data or the reflection values.
  • the parameters are optimized in such a way that the distance between the information in the optimized model and the corresponding values or reflection values of the measurement is minimal.
  • Reflection information in particular includes reflection values, for example brightness values.
  • the optimized model remains similar to the original model in order to prevent it from becoming unstable due to a small amount of measurement data or values and a relatively large amount of parameters Optimization is coming. It is conceivable to provide secondary conditions that ensure that the values for the parameters remain within a permissible value range.
  • a system of non-linear Formulate minimization conditions that can be minimized with appropriate optimization methods, for example the Nelder-Mead-Downhill-Simplex method, also called Downhill-Simplex method or Nelder-Mead method for short.
  • the cost function is formed on the basis of a penalty term and a sum of squared differences between the measured respective reflections and respective reflections or reflection values simulated on the basis of the bidirectional reflectance distribution function.
  • G m set of measurement geometries used to determine the BRDF
  • F cc factor that reflects on an (optional) clear coat
  • N, V, I . normal, observation and lighting direction, which can be derived from the respective measurement geometry g
  • the Beckmann distribution describes the angle-dependent reflection of a microfacet surface.
  • a microfacet surface is a rough, reflective surface that can be described as a collection of small mirrors (microfacets) that are tilted according to a certain distribution to the surface normal.
  • the term Beckmann distribution is common in computer graphics literature (Beckmann microfacet distribution according to Beckmann, Petr, and Andre Spizzichino. "The Scattering of electromagnetic waves from rough surfaces". Norwood, MA, Artech Flouse, Inc., 1987, 51 1 p., 1987).
  • the spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer is determined on the basis of the adapted bidirectional reflectance distribution function by means of a
  • a commercially available beam tracking application can be used as the beam tracking application.
  • Ray tracing or ray tracing means an algorithm based on the emission of rays for determining the visibility of objects from a certain point in space.
  • Ray tracing is also an extension of this basic method, which calculates a further path of rays after hitting a surface.
  • ray tracing is to be understood in particular to mean such an extension, namely a calculation of a further path of the rays reflected by the surface coated with the lacquer after they have struck the surface starting from the LiDAR sensor.
  • the beam tracking application can be implemented by an application, or app for short.
  • ray tracing or ray tracing works with a data structure, namely a ray, which indicates a starting point and a direction of a half line in space. For each pixel, a direction of the beam is calculated which points from the LiDAR sensor or from the object to a corresponding pixel of an image plane.
  • a reflection value and above that a brightness coordinate are determined for the respective painted surface.
  • the brightness coordinates or brightness values thus determined for the respective measurement geometries are used when adapting the bidirectional reflectance distribution function in order to be related in the cost function to the modeled respective brightness values of the lacquer to be considered.
  • the simulation is carried out on the basis of an operating wavelength of the LiDAR sensor. Accordingly, the BRDF describes the reflectivity of the respective painted surface for this wavelength.
  • the surface lacquered with the lacquer is a surface which can have one or more lacquer layers lying one on top of the other, with a color-determining layer being the case with multi-layer layers Paints do not have to represent the top layer, the paint layer that essentially determines the intended, final color of the painted object or the painted surface.
  • the top layer can, for example, also be a clear lacquer layer.
  • reflection curves of the light emitted by the light source are determined at different observation or measurement angles.
  • the reflection curves can be determined with a number of different observation angles. For example, a determination of five observation angles of e.g. B. 15 °, 25 °, 45 °, 75 ° and 1 10 ° relative to the specular reflection is generally sufficient. Starting from these points, the reflection curves for other observation angles can be determined by extrapolation. If only the measurement angle, but not the illumination angle, is changed, the fixed illumination angle can be 45 ° with respect to the plane perpendicular to the surface, for example.
  • the illumination angle wherein a number of different illumination angles can be used. It is conceivable, for example.
  • the colorimetric data thus determined, i. H. the reflection curves are saved in the form of a data file with an assignment to the corresponding observation and illumination angles.
  • the position or orientation of the surface is also taken into account.
  • the use of a conventional personal computer is generally sufficient to carry out the method according to the invention.
  • computers with a higher computing capacity can be used advantageously.
  • the brightness image to be output can be used as a visually perceptible, realistic computer image with all conventional virtual Reality techniques are generated.
  • the brightness image can be carried out in a conventional manner, for example on a monitor or with the aid of a projector on a screen. It is clear to the person skilled in the art that brightness images which are generated using the method according to the invention can be printed out on paper or other materials in the form of a visually perceptible representation. While a brightness image that exists as a coded representation can be assessed visually, a brightness image that only exists as a file can be assessed using a computer.
  • the brightness images can be assessed, for example, with regard to desired, for example the smallest possible undetectable areas.
  • the method according to the invention can be used as a valuable tool in the selection of one or more lacquers or lacquer formulations assigned to them in order to ensure good or sufficient visibility of a respective object lacquered with the selected lacquer, in particular a vehicle or a vehicle body by a LiDAR -Sensor that can be installed on another vehicle, for example.
  • the LiDAR sensor is simulated as a unit comprising a point light source which emits light beams uniformly in all directions and a camera which detects the brightness of the reflected light beams.
  • the surface painted with the lacquer is simulated as a profile which is arranged in front of the camera at a variable distance with a variable orientation relative to the camera.
  • a vehicle contour can be selected for the profile, for example, in order to take into account in particular the case where the LiDAR sensor is used in road traffic for autonomous driving, the LiDAR sensor then being mounted on the vehicle, for example.
  • a real scene in road traffic can be simulated, in which a vehicle with a LiDAR sensor from another vehicle, which then approximates the object or the surface painted with the paint.
  • a computer graphic model is provided, which is applied to the vehicle contour or the profile using the previously calculated parameters of the bidirectional reflectance distribution function, in order to as well as possible reproduce the ones with the previously adapted bidirectional reflectance distribution function
  • the beam tracking simulation outputs a brightness image that shows a brightness of the light reflected by the profile in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function.
  • the brightness image is used to determine how much light is reflected from different areas of the profile simulating the painted surface, in particular the vehicle contour. It can be determined relatively precisely which parts of the simulated vehicle contour are invisible, which are less and which are clearly visible to the LiDAR sensor.
  • a brightness threshold value is applied to the output or output brightness image, which is defined by a reflected brightness of a reference original with a diffuse reflection of 10%.
  • a reference template is usually used to indicate or specify a nominal range or nominal range of a LiDAR sensor.
  • the brightness image corrected or filtered in this way now shows areas of the profile or vehicle contour that are visible for a LiDAR sensor in its nominal area. It is also conceivable to output the brightness image to be output as a type of color image, in which the respective brightnesses or the associated reflection values are displayed using a color scale.
  • the visible areas are quantified as a percentage of a maximum visible area of the profile given the current position of the profile relative to the camera or to the LiDAR sensor simulated by the camera and the point light source.
  • the method is carried out for a plurality of lacquers or lacquer formulations on which the lacquers are based in each case, the respectively output brightness images for the different lacquers or lacquer formulations being compared with one another and that lacquer formulation or lacquer from the plurality of lacquer formulations or of paints is selected that is best visible to the LiDAR sensor.
  • the present invention further relates to a system for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor.
  • the system according to the invention comprises at least one spectrophotometer, preferably a gonio-spectrophotometer, which is configured to measure a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the varnish at a plurality of illumination and / or measurement angles .
  • the system according to the invention further comprises a computing unit which is configured to adapt a bidirectional reflectance distribution function for the lacquer as a function of the respective illumination and / or measurement angle to the respective measured reflections.
  • the system according to the invention comprises a simulation unit that is configured to a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer on the basis of the adapted bidirectional reflectance distribution function by means of a
  • the LiDAR sensor as a unit comprising a point light source and a camera and the lacquered surface are simulated as a profile which is arranged at a variable distance with a variable orientation in front of the camera.
  • the point light source is designed to emit light evenly in all directions.
  • the simulation unit comprises a computer graphic model which is designed to be applied to the profile using the adapted bidirectional reflectance distribution function.
  • the system according to the invention comprises a display unit which is configured to output or display a brightness image on the basis of the simulated propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer, the brightness image representing a brightness of that Shows profile of reflected light in the direction of the LiDAR sensor taking into account the adapted bidirectional reflectance distribution function.
  • the invention further relates to a device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor, which comprises at least:
  • the LiDAR sensor as a unit comprising a point light source and a camera and the one with the lacquered surface is simulated as a profile which is arranged or can be arranged at a variable distance with a variable orientation in front of the camera;
  • a bidirectional reflectance distribution function is adapted with the aid of respective measured reflections before simulation of the propagation of the light emitted by a LiDAR sensor and reflected by the surface coated with the lacquer.
  • the lacquer to be observed is applied to a surface, and the surface is illuminated with light of an operating wavelength of the LiDAR sensor and measured using a measuring instrument, usually a gonio-photospectrometer, at a plurality of illumination and / or measuring angles.
  • a respective reflection of the emitted light, preferably of laser pulses, from the surface coated with the lacquer is measured at the plurality of illumination and / or measurement angles.
  • the respective reflections or reflection values obtained in this way for the plurality of illumination and / or measurement angles are now used to adapt the bidirectional reflectance distribution function for the lacquer.
  • the bidirectional reflectance distribution function for the paint increases determining parameters are determined by optimizing a cost function, the cost function being formed, for example, from a sum of squared differences between the measured reflections or reflection values and the modeled reflections or reflection values and a penalty term.
  • a common optimization method can be used for the optimization, such as the Nelder-Meat-Downhill-Simplex method.
  • the now adapted bidirectional reflectance distribution function is now used to simulate the propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer by means of a beam tracking application. This simulation is now based on the arrangement described above.
  • G m set of measurement geometries used to determine the BRDF
  • R t reflection value calculated for the current parameters using the BRDF m: reflection value measured with the goniospectrophotometer
  • N, Y, L normal, observation and illumination direction, which can be derived from the respective measurement geometry g
  • the system according to the invention or the device according to the invention is configured in an embodiment to carry out the method described above.
  • the present invention relates to a computer program product with a computer program with program code means, which are designed, when the computer program runs on a computing unit, at least the computer-aided steps of the method described above, i. H. especially the step of adapting, the step of simulating and the step of outputting.
  • FIG. 1 shows a structure of a possible virtual measuring arrangement as it is based on the simulation to be carried out in one embodiment of the method according to the invention.
  • FIG. 2 shows an example of a brightness image as it is output when a further embodiment of the method according to the invention is carried out.
  • FIG. 3 shows a flow diagram of an embodiment of the method according to the invention.
  • FIG. 1 shows a structure of a measuring arrangement 100 as it can be used in one embodiment of the method according to the invention to simulate the propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer.
  • a point light source 101 is shown which emits light uniformly in all directions. Also shown is a camera 102 which is arranged on the same or at least in the vicinity of the point light source 101.
  • the point light source 101 emits light rays 104, usually laser pulses of a wavelength of 905 nm or 1,550 nm, in the direction of a profile 103, which is designed here as a vehicle contour and which is coated with the lacquer Simulated surface.
  • the light beams 105 or laser pulses impinging on the vehicle contour 103 are at least partially reflected by the vehicle contour 103 and sent back in the direction of the camera 102 as reflected light beams 105 or laser pulses.
  • the camera 102 detects the reflected light beams 105.
  • the distance between the vehicle contour 103 and the camera 102 can be varied in the simulation. The same applies to the orientation of the vehicle contour 103 relative to the camera 102. From the reflections or reflection values detected by the camera 102 in the simulation, a brightness image can ultimately be calculated and displayed on a display unit, not shown here, as shown, for example, in FIG Figure 2 is shown.
  • FIG. 2 shows a brightness image 201 in FIG. 2a, as can be displayed on a display unit as a result of the simulation process carried out.
  • the brightness of respective areas of the profile 202 is reproduced or represented by a respective pattern / hatching of the respective areas, wherein a pattern / hatching is in each case assigned to a scale value or scale area on a scale 203 of brightness values in the range from 0.0 to 1.0 (au stands for "arbitrary unit" - any unit to indicate a relative size).
  • the respective patterns / hatching can also be replaced by respective colors, the scale 203 then being selected as the corresponding color scale.
  • the colors can range, for example, from dark blue for a scale value 0.0 to green in the range from 0.5 to red with a scale value of 1.0.
  • FIG. 2b shows an image 204 of a visibility of the same profile 202 as in FIG. 2a. It can be seen in FIG. 2b that it is to be assessed on the basis of the brightness which parts of the profile 202 or the vehicle contour are clearly visible and which are virtually invisible and accordingly, when used in autonomous driving, there is a possible risk of collision of the vehicle comprising the LiDAR sensor raise another vehicle.
  • Such an image of visibility is derived from the brightness image and can additionally or alternatively to the brightness image on a display or output unit provided according to the invention.
  • FIG. 3 shows a schematic representation of a flow diagram of a sequence of a possible embodiment of the method according to the invention.
  • a lacquer with a specific lacquer formulation is first applied to a surface, preferably a sample surface in the form of a small flat surface.
  • the surface coated with the lacquer in this way is measured in a step 302, for example with the aid of a gonio spectrophotometer, with regard to its reflection properties.
  • This means that the surface is illuminated with light with an operating wavelength of a LiDAR sensor and the light reflected by the surface coated with the lacquer is recorded and evaluated by the gonio spectrophotometer.
  • the surface is measured at a plurality of lighting and / or measuring angles.
  • the lighting unit or a light beam emanating from the lighting unit, preferably a laser pulse, with the operating wavelength of the LiDAR sensor is directed in succession at a plurality of lighting angles onto the surface coated with the lacquer.
  • the respective reflected light beams or the reflected laser beam or pulse are recorded with the gonio spectrophotometer and its light quantity and / or intensity is determined.
  • the respective measured reflections are used to adapt a bidirectional reflectance distribution function for the lacquer with which the surface is lacquered, as a function of the respective illumination and / or measurement angle.
  • the parameters of the bidirectional reflectance distribution function for the lacquer are determined or at least estimated on the basis of the measured reflections or reflection values.
  • the respective measured reflections result in a large number of equations with as yet unknown parameters, which can be determined or at least estimated if there are a sufficient number of measured reflections.
  • a step 304 it is now possible in a step 304 to simulate a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer by means of a beam tracking application.
  • the LiDAR sensor is simulated or modeled as a point light source that emits light of a certain wavelength, namely an operating wavelength of the LiDAR sensor, for example 905 nm or 1,550 nm, uniformly in all directions.
  • the modeled LiDAR sensor also includes a camera that is designed to receive light rays and to determine their light quantity and / or light intensity.
  • the surface coated with the paint is modeled as a profile which is arranged at a variable distance with a variable orientation in front of the camera.
  • the profile can be simulated with a respective simulation of a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer at a different distance and / or with a different orientation than in each case arranged in front of the camera.
  • a computer graphic model is applied to the profile using the adapted bidirectional reflectance distribution function.
  • a step 305 To output a brightness image or to display it on a display unit that has a brightness (luminance) of the shows the profile of reflected light in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function.
  • the brightness image can be explicitly displayed as light on a display unit or respective values of the brightness can be specified for the lacquer and assigned to it.
  • the described method is carried out for a plurality of different lacquers and associated lacquer formulations, so that ultimately a comparison between the lacquers can be carried out on the basis of the respective brightness images and the lacquer or the lacquer formulation associated therewith is selected, its or their Brightness image suggests that the paint is best visible to a LiDAR sensor and therefore an object painted with the paint is best detectable to a LiDAR sensor.

Abstract

The invention relates to a method for simulating the visibility of a paint for a LIDAR sensor, which paint is applied to a surface, said method comprising at least the following steps: applying the paint to the surface (301); measuring the reflection of light having an operating wavelength of the LIDAR sensor by the surface painted with the paint at a plurality of illumination angles and/or measurement angles (302); adapting a bidirectional reflectance distribution function for the paint in dependence on the illumination angles and/or measurement angles to the respective measured reflections (303); simulating the propagation of the light emitted by the LIDAR sensor and reflected by the surface painted with the paint on the basis of the adapted bidirectional reflectance distribution function by means of a ray tracing application (304), the LIDAR sensor being simulated as a unit comprising a point light source and a camera, and the surface painted with the paint being simulated as a profile arranged at a variable distance and with a variable orientation in front of the camera; outputting a brightness image, which shows the brightness of the light reflected by the profile, in the direction of the LIDAR sensor, in accordance with the adapted bidirectional reflectance distribution function (305).

Description

Verfahren und Vorrichtung zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor  Method and device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor
Die vorliegende Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor. The present invention relates to a method and a corresponding device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor.
Für die Entwicklung von autonomen Fahrzeugen und modernen Fahrerassistenzsystemen gibt es eine Vielzahl von Sensoren, die notwendig sind, um gewisse Funktionalitäten, die bislang manuell, insbesondere von einem Fahrer, durchgeführt wurden, automatisch vornehmen lassen zu können. Eine Art von Sensor, der wichtige, insbesondere räumliche Informationen liefern kann, ist dabei der LiDAR-Sensor. For the development of autonomous vehicles and modern driver assistance systems, there are a large number of sensors that are necessary in order to be able to automatically carry out certain functionalities that were previously carried out manually, in particular by a driver. One type of sensor that can provide important, in particular spatial, information is the LiDAR sensor.
Für das autonome Fahren nimmt LiDAR inzwischen einen wichtigen Stellenwert ein. LiDAR steht kurz für "Light Detection and Ranging", also für ein optisches Messsystem, um Objekte zu detektieren. Ein LiDAR-Sensor emittiert dabei gerichtete Laserpulse im Infrarotbereich. Trifft ein solcher Laserpuls auf ein Objekt, wird er reflektiert, wobei das reflektierte Licht bzw. der reflektierte Laserpuls wiederum von dem LiDAR-Sensor empfangen wird. Aus einer Laufzeit des Laserpulses ausgehend von seiner Aussendung bis zu seinem Empfangen am LiDAR-Sensor kann eine Entfernung des LiDAR-Sensors zu dem von dem Laserpuls getroffenen Objekt berechnet werden. LiDAR has become an important part of autonomous driving. LiDAR stands for "Light Detection and Ranging", an optical measuring system to detect objects. A LiDAR sensor emits directed laser pulses in the infrared range. If such a laser pulse strikes an object, it is reflected, the reflected light or the reflected laser pulse in turn being received by the LiDAR sensor. A distance of the LiDAR sensor from the object struck by the laser pulse can be calculated from a transit time of the laser pulse starting from its emission until it is received at the LiDAR sensor.
Das bedeutet, dass durch eine Reflexion des ausgesandten Lichts bzw. Laserpulses am Objekt bis hin zum Eintreffen des Lichts bzw. des Laserpulses am Empfänger, d. h. dem LiDAR-Sensor selbst, sich die Position des Objekts über die Laufzeit des Lichts bzw. des Laserpulses bestimmen lässt. Allerdings kann der LiDAR-Sensor eine Entfernung zu einem Objekt nur dann messen, wenn eine ausreichende Menge Licht von dem Objekt zurück in Richtung des LiDAR-Sensors reflektiert wird. Das bedeutet für eine gegebene Entfernung eines Objekts, dass das Objekt nur dann detektiert werden kann, wenn die Reflexion bzw. die reflektierte Lichtmenge des Objekts bei einer Betriebswellenlänge des LiDAR-Sensors ausreichend groß ist. This means that the reflection of the emitted light or laser pulse on the object up to the arrival of the light or laser pulse at the receiver, ie the LiDAR sensor itself, determines the position of the object over the transit time of the light or laser pulse leaves. However, the LiDAR sensor can only measure a distance to an object if a sufficient amount of light is reflected back from the object in the direction of the LiDAR sensor. For a given distance of an object, this means that the object can only be detected if the reflection or the reflected light quantity of the object is sufficiently large at an operating wavelength of the LiDAR sensor.
Die Reflexionseigenschaften eines Fahrzeugs werden dominiert von dem Lack, mit welchem das Fahrzeug bzw. die Fahrzeugkarosserie lackiert ist. The reflective properties of a vehicle are dominated by the paint with which the vehicle or the vehicle body is painted.
Um zu gewährleisten, dass Fahrzeuge, insbesondere in einem Verkehr mit autonom fahrenden Fahrzeugen, zuverlässig und in einem großen Bereich durch LiDAR-Sensoren detektierbar sind, ist es wünschenswert, die Reflexion einer Fahrzeuglackierung eines jeweiligen Fahrzeugs im Hinblick darauf auszuwerten und zu optimieren. In order to ensure that vehicles, in particular in traffic with autonomously driving vehicles, can be detected reliably and in a large area by LiDAR sensors, it is desirable to evaluate and optimize the reflection of a vehicle's paintwork of a particular vehicle with regard to this.
Es ist bekannt, zur Auswertung und Optimierung einer Reflexion einer Fahrzeuglackierung eines jeweiligen Fahrzeugs eine große Reihe von Probenoberflächen mit einer jeweiligen Fahrzeuglackierung zu versehen bzw. mit einem jeweiligen Lack zu lackieren. Die so lackierten Probenoberflächen werden sodann mithilfe eines in einem vorgegebenen Abstand zu den jeweiligen Oberflächen positionierten LiDAR-Sensors bezüglich ihrer Sichtbarkeit bzw. Detektierbarkeit durch den LiDAR-Sensor getestet. Das bedeutet, dass die jeweiligen Probenoberflächen zunächst mit einem Licht, in der Regel einem Laserpuls, mit einer Betriebswellenlänge des LiDAR-Sensors beaufschlagt werden und dann das von den jeweiligen Oberflächen zurück reflektierte Licht am LiDAR-Sensor wiederum empfangen und insbesondere dessen Lichtmenge und/oder -Intensität ausgewertet wird. Die dabei resultierenden Reflexionswerte für die verschiedenen Probenoberflächen werden untereinander verglichen. Auf Basis eines derartigen Vergleichs werden sukzessive Modifikationen der jeweiligen Lackierungen bzw. des jeweiligen Lacks vorgenommen, um letztlich eine für die Detektion durch den LiDAR- Sensor optimale Lackierung unter gegebenen Lackierungen zu selektieren. Der Abstand zwischen dem LiDAR-Sensor und den Probenoberflächen kann dabei variiert werden, um möglichst viele denkbare Szenarien, insbesondere im Straßenverkehr, nachstellen zu können. It is known for evaluating and optimizing a reflection of a vehicle paint finish of a particular vehicle to provide a large number of sample surfaces with a respective vehicle paint finish or to coat it with a respective paint finish. The sample surfaces coated in this way are then tested for their visibility or detectability by means of the LiDAR sensor using a LiDAR sensor positioned at a predetermined distance from the respective surfaces. This means that the respective sample surfaces are first exposed to a light, usually a laser pulse, with an operating wavelength of the LiDAR sensor and then in turn receive the light reflected back from the respective surfaces at the LiDAR sensor and in particular its light quantity and / or -Intensity is evaluated. The resulting reflection values for the different sample surfaces are compared with one another. On the basis of such a comparison, successive modifications of the respective paintwork or the respective Lacquers made in order to ultimately select a coating that is optimal for detection by the LiDAR sensor from given coatings. The distance between the LiDAR sensor and the sample surfaces can be varied in order to be able to simulate as many conceivable scenarios as possible, especially in road traffic.
Die Formulierungen Lackierung, Lack, Fahrzeuglack und Fahrzeuglackierung werden im Rahmen der vorliegenden Offenbarung synonym zueinander verwendet. The terms paint, paint, vehicle paint and vehicle paint are used interchangeably in the context of the present disclosure.
Um eine derartige Auswertung und Optimierung der Reflexion eines jeweiligen Lacks, mit welchem ein jeweiliges Fahrzeug lackiert ist, möglichst effizient zu gestalten, war es eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit vorzusehen, zu simulieren und zu visualisieren, wie gut ein Fahrzeug für einen LiDAR-Sensor sichtbar wäre, wenn das Fahrzeug mit einem vorgegebenen Lack bzw. einer vorgegebenen Lackierung lackiert ist bzw. wäre. In order to make such an evaluation and optimization of the reflection of a respective paint with which a respective vehicle is painted as efficient as possible, it was an object of the present invention to provide a way to simulate and visualize how good a vehicle is for a LiDAR -Sensor would be visible if the vehicle was or would be painted with a specified paint or a specified paint finish.
Eine Lösung dieser Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche bereitgestellt. Vorteilhafte Ausführungen sind den jeweiligen Unteransprüchen sowie der Beschreibung zu entnehmen. A solution to this problem is provided by the features of the independent claims. Advantageous designs can be found in the respective subclaims and in the description.
Es wird ein Verfahren zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor bereitgestellt. Das erfindungsgemäße Verfahren umfasst mindestens die folgenden Schritte: A method for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor is provided. The method according to the invention comprises at least the following steps:
- Aufbringen des Lacks auf die Oberfläche; - applying the paint to the surface;
- Messen einer jeweiligen Reflexion von Licht mit einer Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln;  - Measuring a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the varnish at a plurality of illumination and / or measurement angles;
- Anpassen einer bidirektionalen Reflektanzverteilungsfunktion für den Lack in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel an die jeweiligen gemessenen Reflexionen; - Simulieren einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einer Strahlverfolgungsanwendung, wobei der LiDAR-Sensor als eine Punktlichtquelle und eine Kamera umfassende Einheit und die mit dem Lack lackierte Oberfläche als ein Profil, das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera angeordnet ist bzw. anordenbar ist, simuliert werden, wobei vorzugsweise ein- Adapting a bidirectional reflectance distribution function for the lacquer as a function of the respective lighting and / or measuring angle to the respective measured reflections; - Simulating a propagation of the light emitted by the LiDAR sensor and reflected by the lacquered surface on the basis of the adapted bidirectional reflectance distribution function by means of a beam tracking application, the LiDAR sensor being a unit comprising a point light source and a camera and the unit being lacquered Surface can be simulated as a profile, which is arranged or can be arranged at a variable distance with a variable orientation in front of the camera, preferably a
Computergrafikmodell unter Nutzung der angepassten bidirektionalen Reflektanzverteilungsfunktion auf das Profil angewendet wird; Computer graphics model is applied to the profile using the customized bidirectional reflectance distribution function;
- Ausgeben eines Helligkeitsbildes, das eine Helligkeit des von dem Profil - Output a brightness image that is a brightness of the profile
(simuliert) reflektierten Lichts in Richtung des LiDAR-Sensors bzw. der die Punktlichtquelle und die Kamera umfassenden Einheit unter Berücksichtigung der angepassten bidirektionalen(simulated) reflected light in the direction of the LiDAR sensor or the unit comprising the point light source and the camera, taking into account the adapted bidirectional
Reflektanzverteilungsfunktion zeigt. Reflectance distribution function shows.
"Ausgeben" eines Helligkeitsbildes bedeutet dabei, dass auf Basis des vorausgehenden Schritts der Simulation ein Helligkeitsbild ermittelt, insbesondere berechnet wird und ein daraus abgeleitetes Ergebnis angezeigt wird. Bei dem angezeigten Ergebnis kann es sich dabei um das Helligkeitsbild selbst oder um ein davon abgeleitetes Bild, bspw. ein Bild der Sichtbarkeit handeln. Eine Darstellung/Anzeige des Helligkeitsbilds kann verschiedenartig ausgestaltet sein. So können Bereiche unterschiedlicher Helligkeit mittels entsprechend unterschiedlicher Muster/Schraffuren oder unterschiedlicher Farben voneinander unterscheidbar dargestellt bzw. angezeigt werden. Jede andere geeignete Art der Darstellung/Anzeige ist denkbar. "Output" of a brightness image means that a brightness image is determined, in particular calculated, on the basis of the preceding step of the simulation, and a result derived therefrom is displayed. The result displayed can be the brightness image itself or an image derived therefrom, for example an image of visibility. A representation / display of the brightness image can be designed in various ways. Areas of different brightness can thus be represented or displayed differently from one another by means of correspondingly different patterns / hatching or different colors. Any other suitable type of presentation / display is conceivable.
Typische Betriebswellenlängen eines LiDAR-Sensors sind 905 nm oder 1 .550 nm. Das bedeutet, dass ein LiDAR-Sensor nur Licht einer Wellenlänge von 905 nm oder von 1 .550 nm aussendet und auch nur solches detektieren kann (elastische Rückstreuung). In möglicher Ausgestaltung des erfindungsgemäßen Verfahrens wird zunächst der Lack, der auf Basis einer Lackformulierung hergestellt ist und dessen Sichtbarkeit für den LiDAR-Sensor zu untersuchen ist, auf eine schmale flache Probenoberfläche aufgetragen und ggf. noch mit einem handelsüblichen Klarlack beschichtet. In dem nachfolgenden Verfahrensschritt, nämlich beim Messen einer jeweiligen Reflexion von Licht mit einer Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche, wird in der Regel ein Gonio-Spektrophotometer genutzt. Die Messungen werden bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln durchgeführt, wobei auch diejenigen Messgeometrien umfasst sind, in welchen die Beleuchtungs- und die Beobachtungs- bzw. Messrichtung bzw. -Winkel annähernd gleich sind. Typical operating wavelengths of a LiDAR sensor are 905 nm or 1,550 nm. This means that a LiDAR sensor only emits light with a wavelength of 905 nm or 1,550 nm and can only detect such (elastic backscattering). In one possible embodiment of the method according to the invention, the lacquer, which is produced on the basis of a lacquer formulation and whose visibility is to be examined for the LiDAR sensor, is first applied to a narrow, flat sample surface and, if necessary, also coated with a commercially available clear lacquer. In the subsequent process step, namely when measuring a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the lacquer, a gonio-spectrophotometer is generally used. The measurements are carried out at a plurality of illumination and / or measurement angles, which also include those measurement geometries in which the illumination and the observation or measurement direction or angles are approximately the same.
Ein Gonio-Spektrophotometer, auch Spektro-Goniometer, Gonio-Reflektometer, Reflexions-Goniometer, Reflektanz-Goniometer oder kurz Goniometer genannt, wobei ein Goniometer grundsätzlich ein Gerät zur Winkelbestimmung ist, ist ein Gerät zur Messung eines Reflexionsverhaltens einer Oberfläche, insbesondere können dabei winkelabhängige Eigenschaften der Oberfläche bzw. des Lacks, mit welchem die Oberfläche lackiert ist, ermittelt werden. A gonio-spectrophotometer, also called a spectro-goniometer, gonio-reflectometer, reflection goniometer, reflectance goniometer or goniometer for short, whereby a goniometer is basically a device for determining the angle, is a device for measuring a reflection behavior of a surface, in particular, angle-dependent ones Properties of the surface or of the lacquer with which the surface is coated can be determined.
In der Regel wird die Reflektanzverteilungsfunktion (BRDF) für den Lack bei jeweiligen gegebenen Beleuchtungs- und Messwinkeln relativ zur Oberfläche bzw. zur jeweiligen Probenoberfläche ermittelt, d. h. es wird eine Reflexion bzw. ein jeweiliger Reflexionswert in Abhängigkeit vom Lichteinfall und von der Sensor- bzw. Messposition ermittelt. Dabei werden der Azimutwinkel (Winkelrichtung der Beleuchtung, gemessen von einer Himmelsrichtung (i. a. Norden) bei 0 ° im Uhrzeigersinn bis 360 °) und der Zenitwinkel (Winkelstand der Beleuchtung über der Oberfläche, gemessen von der Oberfläche (0 ° bis 90 °)) als Variablen in der Messgeometrie berücksichtigt. Die BRDF ist eine fundamentale optische Eigenschaft des reflektierenden Lacks bzw. der dem Lack zugrunde liegenden Lackformulierung. Wegen der großen Variabilität der BRDF ist erfindungsgemäß vorgesehen, sowohl den LiDAR-Sensor selbst als auch die mit dem Lack lackierte Oberfläche zu simulieren bzw. in einem Modell darzustellen, das die charakteristischen Eigenschaften sowohl des LiDAR- Sensors als auch des Lacks beschreibt. Insbesondere anisotropes Reflexionsverhalten, d. h. ein richtungsabhängiges Rückstrahlverhalten des von dem LiDAR-Sensor emittierten und von der Oberfläche reflektierten Lichts, was auch als anisotrope Reflektanz oder differenzierte spektroskopische Reflektanz bezeichnet wird, beeinflusst in starkem Maße die BRDF des zu untersuchenden Lacks. As a rule, the reflectance distribution function (BRDF) for the lacquer is determined at the given lighting and measuring angles relative to the surface or the respective sample surface, ie a reflection or a respective reflection value depending on the incidence of light and the sensor or Measuring position determined. The azimuth angle (angular direction of the illumination, measured from a cardinal direction (generally north) at 0 ° clockwise to 360 °) and the zenith angle (angular position of the illumination above the surface, measured from the surface (0 ° to 90 °)) as Variables taken into account in the measurement geometry. The BRDF is a fundamental optical property of the reflective lacquer or the lacquer formulation on which the lacquer is based. Because of the great variability of the BRDF, the invention provides for simulating both the LiDAR sensor itself and the surface coated with the paint or in a model to represent that describes the characteristic properties of both the LiDAR sensor and the paint. In particular anisotropic reflection behavior, ie a direction-dependent retroreflection behavior of the light emitted by the LiDAR sensor and reflected by the surface, which is also referred to as anisotropic reflectance or differentiated spectroscopic reflectance, influences to a large extent the BRDF of the lacquer to be examined.
In möglicher Ausgestaltung wird die bidirektionale Reflektanzverteilungsfunktion für den Lack aus einem gewichteten diffusen Lambert-Term und einem Cook- Torrance-Beleuchtungsmodell-Term mit mindestens einer Glanzkeule gebildet. In möglicher Ausgestaltung des erfindungsgemäßen Verfahrens werden beim Anpassen der bidirektionalen Reflektanzverteilungsfunktionen für den Lack an die jeweiligen gemessenen Reflexionen bzw. die jeweiligen bei der jeweiligen Messung erhaltenen Reflexionswerte Parameter der bidirektionalen Reflektanzverteilungsfunktion mit Bezug auf eine Kostenfunktion optimiert. Das bedeutet, dass die Parameter der bidirektionalen Reflektanzverteilungsfunktion (Lambert-Koeffizient, Gewichte der Cook-Torrance-Glanzkeulen etc.) mithilfe der gemessenen Reflexionen bzw. der Photospektrometer-Messdaten bzw. der Reflexionswerte korrigiert werden. Hierfür werden die Parameter so optimiert, dass ein Abstand von Relexionsinformationen im optimierten Modell zu entsprechenden Werten bzw. Reflexionswerten der Messung minimal wird. Reflexionsinformationen umfassen dabei insbesondere Reflexionswerte, bspw. Helligkeitswerte. In one possible embodiment, the bidirectional reflectance distribution function for the lacquer is formed from a weighted diffuse Lambert term and a Cook Torrance lighting model term with at least one lobe of gloss. In a possible embodiment of the method according to the invention, when adapting the bidirectional reflectance distribution functions for the lacquer to the respective measured reflections or the respective reflection values obtained in the respective measurement, parameters of the bidirectional reflectance distribution function are optimized with reference to a cost function. This means that the parameters of the bidirectional reflectance distribution function (Lambert coefficient, weights of the Cook Torrance glossy lobes, etc.) are corrected using the measured reflections or the photospectrometer measurement data or the reflection values. For this purpose, the parameters are optimized in such a way that the distance between the information in the optimized model and the corresponding values or reflection values of the measurement is minimal. Reflection information in particular includes reflection values, for example brightness values.
Es ist denkbar, dass dabei als Nebenbedingung angenommen wird, dass das optimierte Modell dem ursprünglichen Modell ähnlich bleibt, um zu verhindern, dass es durch eine geringe Menge an Messdaten bzw. -werten und eine im Vergleich dazu große Menge an Parametern zu Instabilitäten bei der Optimierung kommt. Es ist denkbar, Nebenbedingungen vorzusehen, die dafür sorgen, dass die Werte für die Parameter in einem zulässigen Wertebereich bleiben. Mit diesen Bedingungen lässt sich ein System von nicht-linearen Minimierungsbedingungen formulieren, das mit entsprechenden Optimierungsverfahren, bspw. dem Nelder-Mead-Downhill-Simplex-Verfahren, kurz auch Downhill-Simplex-Verfahren oder Nelder-Mead-Verfahren genannt, minimiert werden kann. Die Kostenfunktion wird in Ausgestaltung auf Basis eines Penalty-Terms und einer Summe von quadrierten Differenzen zwischen den gemessenen jeweiligen Reflexionen und jeweiligen auf Basis der bidirektionalen Reflektanzverteilungsfunktion simulierten Reflexionen bzw. Reflexionswerten gebildet. It is conceivable that it is assumed as a secondary condition that the optimized model remains similar to the original model in order to prevent it from becoming unstable due to a small amount of measurement data or values and a relatively large amount of parameters Optimization is coming. It is conceivable to provide secondary conditions that ensure that the values for the parameters remain within a permissible value range. With these conditions, a system of non-linear Formulate minimization conditions that can be minimized with appropriate optimization methods, for example the Nelder-Mead-Downhill-Simplex method, also called Downhill-Simplex method or Nelder-Mead method for short. In an embodiment, the cost function is formed on the basis of a penalty term and a sum of squared differences between the measured respective reflections and respective reflections or reflection values simulated on the basis of the bidirectional reflectance distribution function.
(1 )  (1 )
C: Kostenfunktion C: Cost function
g: jeweilige Messgeometrie charakterisiert durch den Azimut- und Zenitwinkel der jeweiligen Beleuchtungs- und Beobachtungsrichtung g: respective measurement geometry characterized by the azimuth and zenith angle of the respective direction of illumination and observation
Gm: Menge der Messgeometrien, die für die Bestimmung der BRDF G m : set of measurement geometries used to determine the BRDF
herangezogen wird is used
R-j·: Reflexionswert berechnet für die aktuellen Parameter mit Hilfe der BRDFR- j · : Reflection value calculated for the current parameters using the BRDF
Rm: mit dem Goniospektrophotometer gemessener Reflexionswert R m : reflection value measured with the goniospectrophotometer
P: Penalty-Funktion bzw. Penalty-Term  P: Penalty function or penalty term
x = (kD m o): Vektor der zu optimierenden Parameter x = (k D m o ): Vector of the parameters to be optimized
kD: Parameter für die Gewichtung des diffusen Lambert-Terms k D : Parameters for the weighting of the diffuse Lambert term
m: Parameter einer Beckmann-Verteilung m: parameters of a Beckmann distribution
R0: Parameter einer Fresnelreflexion R 0 : parameters of a Fresnel reflection
ks: Parameter für die Gewichtung des spekulären Anteils (Cook-Torrance- Glanzkeulen) D(m): Beckmann-Verteilungsfunktion k s : parameters for the weighting of the specular component (Cook-Torrance glossy clubs) D (m): Beckmann distribution function
F(RD): Fresnelreflexion F (R D ): Fresnel reflection
G: Geometrischer Abschirmungsterm G: Geometric shielding term
Fcc: Faktor, der die Reflexion an einer (optionalen) Klarlackschicht F cc : factor that reflects on an (optional) clear coat
berücksichtigt considered
N,V,I.: Normalen-, Beobachtungs- und Beleuchtungsrichtung, die aus der jeweiligen Messgeometrie g abgeleitet werden können  N, V, I .: normal, observation and lighting direction, which can be derived from the respective measurement geometry g
<, >: Skalarprodukt zweier Vektoren kD < 0 + (m < 0) v (im > t) _|_ fp Ro < 0 <,>: Dot product of two vectors k D <0 + (m <0) v (im> t) _ | _ fp Ro <0
P(kD m R0) = {J P (k D m R 0 ) = {J
sonst sonst ^0 sonst  else else ^ 0 else
(3) p » l: Penalty-Wert; wird hier in der Anwendung bspw. als p = ie3 gewählt.  (3) p »1: penalty value; is selected here in the application, for example, as p = ie3.
Die Beckmann-Verteilung beschreibt die winkelabhängige Reflexion einer Microfacet-Oberfläche. Eine Microfacet-Oberfläche ist eine raue spiegelnde Oberfläche, die modellhaft beschrieben werden kann als eine Ansammlung von kleinen Spiegelchen (Microfacets), die entsprechend einer gewissen Verteilung zur Oberflächennormalen verkippt sind. Der Begriff Beckmann-Verteilung ist in der Computer-Grafik-Literatur gängig (Beckmann-Microfacet-Verteilung nach Beckmann, Petr, und Andre Spizzichino.„The Scattering of electromagnetic waves from rough surfaces“. Norwood, MA, Artech Flouse, Inc., 1987, 51 1 p., 1987). The Beckmann distribution describes the angle-dependent reflection of a microfacet surface. A microfacet surface is a rough, reflective surface that can be described as a collection of small mirrors (microfacets) that are tilted according to a certain distribution to the surface normal. The term Beckmann distribution is common in computer graphics literature (Beckmann microfacet distribution according to Beckmann, Petr, and Andre Spizzichino. "The Scattering of electromagnetic waves from rough surfaces". Norwood, MA, Artech Flouse, Inc., 1987, 51 1 p., 1987).
Die Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts wird auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einerThe spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer is determined on the basis of the adapted bidirectional reflectance distribution function by means of a
Strahlverfolgungsanwendung simuliert. Als Strahlverfolgungsanwendung kann dabei eine kommerziell verfügbare Strahlverfolgungsanwendung genutzt werden. Unter Ray Tracing bzw. Strahlverfolgung oder Strahlenverfolgung ist ein auf einer Aussendung von Strahlen basierender Algorithmus zur Ermittlung einer Sichtbarkeit von Objekten von einem bestimmten Punkt im Raum aus zu verstehen. Ebenfalls mit Ray Tracing bzw. Strahlenverfolgung bezeichnet man eine Erweiterung dieses grundlegenden Verfahrens, die einen weiteren Weg von Strahlen nach einem Auftreffen auf eine Oberfläche berechnet. Im Rahmen der vorliegenden Erfindung ist unter Strahlverfolgung insbesondere eine derartige Erweiterung zu verstehen, nämlich eine Berechnung eines weiteren Wegs der von der mit dem Lack lackierten Oberfläche reflektierten Strahlen, nachdem diese ausgehend von dem LiDAR-Sensor auf die Oberfläche aufgetroffen sind. Die Strahlverfolgungsanwendung kann durch eine Applikation, kurz App genannt, realisiert werden. Generell arbeitet Ray Tracing bzw. Strahlverfolgung mit einer Datenstruktur, nämlich Strahl genannt, die einen Anfangspunkt und eine Richtung einer Halbgeraden im Raum angibt. Es wird für jedes Pixel eine Richtung des Strahls berechnet, der vom LiDAR-Sensor bzw. vom Objekt aus zu einem entsprechenden Pixel einer Bildebene weist. Beam tracking application simulated. A commercially available beam tracking application can be used as the beam tracking application. Ray tracing or ray tracing means an algorithm based on the emission of rays for determining the visibility of objects from a certain point in space. Ray tracing is also an extension of this basic method, which calculates a further path of rays after hitting a surface. In the context of the present invention, ray tracing is to be understood in particular to mean such an extension, namely a calculation of a further path of the rays reflected by the surface coated with the lacquer after they have struck the surface starting from the LiDAR sensor. The beam tracking application can be implemented by an application, or app for short. In general, ray tracing or ray tracing works with a data structure, namely a ray, which indicates a starting point and a direction of a half line in space. For each pixel, a direction of the beam is calculated which points from the LiDAR sensor or from the object to a corresponding pixel of an image plane.
Für jede Messgeometrie, d. h. für jeden Beleuchtungs- und/oder Beobachtungs- bzw. Messwinkel werden für die jeweils lackierte Oberfläche ein Reflexionswert und darüber eine Helligkeitskoordinate bestimmt. Die so bestimmten Helligkeitskoordinaten bzw. Helligkeitswerte für die jeweiligen Messgeometrien werden bei der Anpassung der bidirektionalen Reflektanzverteilungsfunktion genutzt, um in der Kostenfunktion in Beziehung zu den modellierten jeweiligen Helligkeitswerten des zu betrachtenden Lacks gesetzt zu werden. Wie voranstehend bereits erwähnt, wird die Simulation auf Basis einer Betriebswellenlänge des LiDAR-Sensors durchgeführt. Demnach beschreibt die BRDF die Reflektivität der jeweiligen lackierten Oberfläche für diese Wellenlänge. For each measurement geometry, i.e. H. For each illumination and / or observation or measurement angle, a reflection value and above that a brightness coordinate are determined for the respective painted surface. The brightness coordinates or brightness values thus determined for the respective measurement geometries are used when adapting the bidirectional reflectance distribution function in order to be related in the cost function to the modeled respective brightness values of the lacquer to be considered. As already mentioned above, the simulation is carried out on the basis of an operating wavelength of the LiDAR sensor. Accordingly, the BRDF describes the reflectivity of the respective painted surface for this wavelength.
Die mit dem Lack lackierte Oberfläche ist im Sinne der vorliegenden Erfindung eine Oberfläche, die eine oder mehrere übereinander liegende Lackschichten aufweisen kann, wobei eine farbbestimende Schicht, die bei mehrschichtigen Lackierungen nicht die oberste Schicht darstellen muss, diejenige Lackschicht darstellt, die den vorgesehenen, endgültigen Farbton des lackierten Gegenstands bzw. der lackierten Oberfläche im Wesentlichen bestimmt. Die oberste Schicht kann demgegenüber bspw. auch eine Klarlackschicht sein. For the purposes of the present invention, the surface lacquered with the lacquer is a surface which can have one or more lacquer layers lying one on top of the other, with a color-determining layer being the case with multi-layer layers Paintings do not have to represent the top layer, the paint layer that essentially determines the intended, final color of the painted object or the painted surface. In contrast, the top layer can, for example, also be a clear lacquer layer.
Mit dem Gonio-Spektrophotometer werden Reflexionskurven des von der Lichtquelle, ggf. dem LiDAR-Sensor emittierten und an der Oberfläche reflektierten Lichts unter verschiedenen Beobachtungs- bzw. Messwinkeln bestimmt. Die Bestimmung der Reflexionskurven kann mit einer Anzahl von verschiedenen Beobachtungswinkeln durchgeführt werden. Beispielsweise ist eine Bestimmung von fünf Beobachtungswinkeln von z. B. 15 °, 25°, 45°, 75° und 1 10° gegenüber der spiegelnden Reflexion im Allgemeinen ausreichend. Von diesen Punkten ausgehend können die Reflexionskurven für andere Beobachtungswinkel durch Extrapolation bestimmt werden. Werden nur die Messwinkel, nicht aber die Beleuchtungswinkel geändert, so kann bspw. der feste Beleuchtungswinkel 45 ° gegenüber der senkrechten Ebene zur Oberfläche betragen. Alternativ dazu ist es jedoch denkbar, den Beleuchtungswinkel zu variieren, wobei eine Anzahl von verschiedenen Beleuchtungswinkeln verwendet werden kann. Dabei ist es denkbar, bspw. vier Beleuchtungswinkel von z. B. 15 °, 25 °, 45 ° und 75 ° gegenüber der senkrechten Ebene zu der Oberfläche zu verwenden und die Reflexionskurven für andere Beleuchtungswinkel durch Extrapolation zu bestimmen. Die so ermittelten colormetrischen Daten, d. h. die Reflexionskurven werden in Form einer Datendatei mit einer Zuordnung zu den entsprechenden Beobachtungs und Beleuchtungswinkeln gespeichert. Wahlweise wird dabei auch die Position bzw. Ausrichtung der Oberfläche berücksichtigt. With the gonio spectrophotometer, reflection curves of the light emitted by the light source, possibly the LiDAR sensor and reflected on the surface, are determined at different observation or measurement angles. The reflection curves can be determined with a number of different observation angles. For example, a determination of five observation angles of e.g. B. 15 °, 25 °, 45 °, 75 ° and 1 10 ° relative to the specular reflection is generally sufficient. Starting from these points, the reflection curves for other observation angles can be determined by extrapolation. If only the measurement angle, but not the illumination angle, is changed, the fixed illumination angle can be 45 ° with respect to the plane perpendicular to the surface, for example. As an alternative to this, however, it is conceivable to vary the illumination angle, wherein a number of different illumination angles can be used. It is conceivable, for example. Four lighting angles of z. B. 15 °, 25 °, 45 ° and 75 ° with respect to the perpendicular plane to the surface and to determine the reflection curves for other lighting angles by extrapolation. The colorimetric data thus determined, i. H. the reflection curves are saved in the form of a data file with an assignment to the corresponding observation and illumination angles. Optionally, the position or orientation of the surface is also taken into account.
Zur Durchführung des erfindungsgemäßen Verfahrens ist die Verwendung eines herkömmlichen Personalcomputers in der Regel ausreichend. Selbstverständlich können Computer mit höherer Rechenkapazität vorteilhaft eingesetzt werden. Das auszugebende Helligkeitsbild kann als visuell wahrnehmbares, realistisches Computerbild mit allen herkömmlichen Virtual- Reality-Techniken erzeugt werden. Das Helligkeitsbild kann auf herkömmliche Weise ausgeführt werden, bspw. auf einem Monitor oder mithilfe eines Projektors auf einem Bildschirm. Für den Fachmann ist klar, dass Helligkeitsbilder, die mit dem erfindungsgemäßen Verfahren erzeugt werden, in Form einer visuell wahrnehmbaren Darstellung auf Papier oder auch anderen Materialien ausgedruckt werden können. Während ein Helligkeitsbild, das als codierte Darstellung existiert, visuell beurteilt werden kann, kann ein Helligkeitsbild, das nur als Datei existiert, mittels Computer beurteilt werden. Die Helligkeitsbilder können bspw. hinsichtlich gewünschten, bspw. kleinsten möglichen nicht erkennbaren, Bereichen beurteilt werden. The use of a conventional personal computer is generally sufficient to carry out the method according to the invention. Of course, computers with a higher computing capacity can be used advantageously. The brightness image to be output can be used as a visually perceptible, realistic computer image with all conventional virtual Reality techniques are generated. The brightness image can be carried out in a conventional manner, for example on a monitor or with the aid of a projector on a screen. It is clear to the person skilled in the art that brightness images which are generated using the method according to the invention can be printed out on paper or other materials in the form of a visually perceptible representation. While a brightness image that exists as a coded representation can be assessed visually, a brightness image that only exists as a file can be assessed using a computer. The brightness images can be assessed, for example, with regard to desired, for example the smallest possible undetectable areas.
Das erfindungsgemäße Verfahren kann als wertvolles Werkzeug bei der Auswahl eines oder mehrerer Lacke bzw. von diesen jeweils zugeordneten Lackformulierungen verwendet werden, um eine gute bzw. ausreichende Sichtbarkeit eines jeweiligen mit dem ausgewählten Lack lackierten Objekts, insbesondere eines Fahrzeugs bzw. einer Fahrzeugkarosserie durch einen LiDAR-Sensor, der bspw. auf einem anderen Fahrzeug installiert sein kann, zu gewährleisten. The method according to the invention can be used as a valuable tool in the selection of one or more lacquers or lacquer formulations assigned to them in order to ensure good or sufficient visibility of a respective object lacquered with the selected lacquer, in particular a vehicle or a vehicle body by a LiDAR -Sensor that can be installed on another vehicle, for example.
Erfindungsgemäß wird der LiDAR-Sensor als eine eine Punktlichtquelle, die Lichtstrahlen gleichmäßig in alle Richtungen ausstrahlt, und eine Kamera, die die Helligkeit der reflektierten Lichtstrahlen erfasst, umfassende Einheit simuliert. Die mit dem Lack lackierte Oberfläche wird als ein Profil simuliert, das vor der Kamera in einem variierbaren Abstand mit einer variierbaren Orientierung relativ zu der Kamera angeordnet ist. Bei dem Profil kann bspw. eine Fahrzeugkontur gewählt werden, um insbesondere den Fall der Anwendung des LiDAR-Sensors im Straßenverkehr beim autonomen Fahren, wobei dann der LiDAR-Sensor bspw. auf dem Fahrzeug montiert ist, zu berücksichtigen. Durch die vorgeschlagene Modellierung des LiDAR-Sensors und der mit dem Lack lackierten Oberfläche kann bspw. eine reale Szene im Straßenverkehr nachgestellt werden, in welcher sich ein Fahrzeug mit einem LiDAR-Sensor einem anderen Fahrzeug, was dann dem Objekt bzw. der mit dem Lack lackierten Oberfläche entspricht, annähert. According to the invention, the LiDAR sensor is simulated as a unit comprising a point light source which emits light beams uniformly in all directions and a camera which detects the brightness of the reflected light beams. The surface painted with the lacquer is simulated as a profile which is arranged in front of the camera at a variable distance with a variable orientation relative to the camera. A vehicle contour can be selected for the profile, for example, in order to take into account in particular the case where the LiDAR sensor is used in road traffic for autonomous driving, the LiDAR sensor then being mounted on the vehicle, for example. Through the proposed modeling of the LiDAR sensor and the surface painted with the paint, for example, a real scene in road traffic can be simulated, in which a vehicle with a LiDAR sensor from another vehicle, which then approximates the object or the surface painted with the paint.
In weiterer Ausgestaltung wird ein Computer-Grafikmodell vorgesehen, das unter Verwendung der zuvor berechneten Parameter der bidirektionalen Reflektanzverteilungsfunktion auf die Fahrzeugkontur bzw. das Profil angewendet wird, um so möglichst gut die mit der zuvor angepassten bidirektionalen Reflektanzverteilungsfunktion abgebildetenIn a further embodiment, a computer graphic model is provided, which is applied to the vehicle contour or the profile using the previously calculated parameters of the bidirectional reflectance distribution function, in order to as well as possible reproduce the ones with the previously adapted bidirectional reflectance distribution function
Reflexionseigenschaften darzustellen bzw. in Zusammenhang mit der Fahrzeugkontur bzw. dem Profil kenntlich zu machen. To represent reflection properties or to make them recognizable in connection with the vehicle contour or the profile.
Letztlich wird durch die Strahlverfolgungssimulation ein Helligkeitsbild ausgegeben, das eine Helligkeit des von dem Profil reflektierten Lichts in Richtung des LiDAR-Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt. Mittels des ausgegebenen Helligkeitsbilds wird in Ausgestaltung bestimmt, wieviel Licht von verschiedenen Bereichen des die lackierte Oberfläche simulierenden Profils, insbesondere der Fahrzeugkontur, reflektiert wird. Dabei kann relativ genau bestimmt werden, welche Teile der simulierten Fahrzeugkontur unsichtbar, welche weniger und welche gut sichtbar für den LiDAR-Sensor sind. Ultimately, the beam tracking simulation outputs a brightness image that shows a brightness of the light reflected by the profile in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function. In the embodiment, the brightness image is used to determine how much light is reflected from different areas of the profile simulating the painted surface, in particular the vehicle contour. It can be determined relatively precisely which parts of the simulated vehicle contour are invisible, which are less and which are clearly visible to the LiDAR sensor.
In weiterer Ausgestaltung wird auf das ausgegebene bzw. auszugebende Helligkeitsbild ein Flelligkeitsschwellwert angewandt, der durch eine reflektierte Helligkeit einer Referenzvorlage mit einer diffusen Reflexion von 10 % definiert ist. Eine derartige Referenzvorlage findet üblicherweise Verwendung, um einen nominellen Bereich bzw. Nennbereich eines LiDAR-Sensors anzugeben bzw. zu spezifizieren. Das so korrigierte bzw. gefilterte Helligkeitsbild zeigt nunmehr Bereiche des Profils bzw. der Fahrzeugkontur, die für einen LiDAR-Sensor in dessen Nennbereich sichtbar sind. Es ist auch denkbar, das auszugebende Helligkeitsbild als eine Art Farbbild auszugeben, in welchem die jeweiligen Helligkeiten bzw. die damit verbundenen Reflexionswerte mit Hilfe einer Farbskala dargestellt werden. In a further embodiment, a brightness threshold value is applied to the output or output brightness image, which is defined by a reflected brightness of a reference original with a diffuse reflection of 10%. Such a reference template is usually used to indicate or specify a nominal range or nominal range of a LiDAR sensor. The brightness image corrected or filtered in this way now shows areas of the profile or vehicle contour that are visible for a LiDAR sensor in its nominal area. It is also conceivable to output the brightness image to be output as a type of color image, in which the respective brightnesses or the associated reflection values are displayed using a color scale.
In weiterer Ausgestaltung werden die sichtbaren Bereiche quantifiziert als ein Prozentsatz einer maximal sichtbaren Fläche des Profils bei einer aktuellen Stellung des Profils relativ zur Kamera bzw. zu dem durch die Kamera und die Punktlichtquelle simulierten LiDAR-Sensors angegeben. In a further embodiment, the visible areas are quantified as a percentage of a maximum visible area of the profile given the current position of the profile relative to the camera or to the LiDAR sensor simulated by the camera and the point light source.
In noch weiterer Ausgestaltung wird das Verfahren für eine Mehrzahl von Lacken bzw. von den Lacken jeweils zugrunde liegenden Lackformulierungen durchgeführt, wobei die jeweils ausgegebenen Helligkeitsbilder für die verschiedenen Lacke bzw. Lackformulierungen untereinander verglichen werden und diejenige Lackformulierung bzw. derjenige Lack aus der Mehrzahl von Lackformulierungen bzw. von Lacken ausgewählt wird, die bzw. der für den LiDAR-Sensor am besten sichtbar ist. In yet another embodiment, the method is carried out for a plurality of lacquers or lacquer formulations on which the lacquers are based in each case, the respectively output brightness images for the different lacquers or lacquer formulations being compared with one another and that lacquer formulation or lacquer from the plurality of lacquer formulations or of paints is selected that is best visible to the LiDAR sensor.
Die vorliegende Erfindung betrifft ferner ein System zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR- Sensor. The present invention further relates to a system for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor.
Das erfindungsgemäße System umfasst mindestens ein Spektralphotometer, vorzugsweise ein Gonio-Spektralphotometer, das dazu konfiguriert ist, eine jeweilige Reflexion von Licht mit einer Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln zu messen. The system according to the invention comprises at least one spectrophotometer, preferably a gonio-spectrophotometer, which is configured to measure a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the varnish at a plurality of illumination and / or measurement angles .
Das erfindungsgemäße System umfasst ferner eine Recheneinheit, die dazu konfiguriert ist, eine bidirektionale Reflektanzverteilungsfunktion für den Lack in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel an die jeweiligen gemessenen Reflexionen anzupassen. Darüber hinaus umfasst das erfindungsgemäße System eine Simulationseinheit, die dazu konfiguriert ist, eine Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einerThe system according to the invention further comprises a computing unit which is configured to adapt a bidirectional reflectance distribution function for the lacquer as a function of the respective illumination and / or measurement angle to the respective measured reflections. In addition, the system according to the invention comprises a simulation unit that is configured to a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer on the basis of the adapted bidirectional reflectance distribution function by means of a
Strahlverfolgungsanwendung zu simulieren, wobei der LiDAR-Sensor als eine eine Punktlichtquelle und eine Kamera umfassende Einheit und die mit dem Lack lackierte Oberfläche als ein Profil, das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera angeordnet ist, simuliert werden. Die Punktlichtquelle ist dabei dazu ausgelegt, Licht in alle Richtungen gleichmäßig zu emittieren. Simulate beam tracking application, wherein the LiDAR sensor as a unit comprising a point light source and a camera and the lacquered surface are simulated as a profile which is arranged at a variable distance with a variable orientation in front of the camera. The point light source is designed to emit light evenly in all directions.
In Ausgestaltung umfasst die Simulationseinheit ein Computer-Grafikmodell, das dazu ausgelegt ist, unter Nutzung der angepassten bidirektionalen Reflektanzverteilungsfunktion auf das Profil angewendet zu werden. Letztlich umfasst das erfindungsgemäße System eine Anzeigeeinheit, die dazu konfiguriert ist, auf Basis der simulierten Ausbreitung des von dem LiDAR- Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts ein Helligkeitsbild auszugeben bzw. anzuzeigen, wobei das Helligkeitsbild eine Helligkeit des von dem Profil reflektierten Lichts in Richtung des LiDAR-Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt. In one embodiment, the simulation unit comprises a computer graphic model which is designed to be applied to the profile using the adapted bidirectional reflectance distribution function. Ultimately, the system according to the invention comprises a display unit which is configured to output or display a brightness image on the basis of the simulated propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer, the brightness image representing a brightness of that Shows profile of reflected light in the direction of the LiDAR sensor taking into account the adapted bidirectional reflectance distribution function.
Die Erfindung betrifft ferner eine Vorrichtung zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor, die mindestens umfasst: The invention further relates to a device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor, which comprises at least:
- Applikationseinheit zum Aufbringen des Lacks auf die Oberfläche;  - Application unit for applying the lacquer to the surface;
- Messanordnung zum Messen einer jeweiligen Reflexion von Licht mit einer Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln;  - Measuring arrangement for measuring a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the lacquer at a plurality of lighting and / or measuring angles;
- Recheneinheit zum Anpassen einer bidirektionalen Reflektanzverteilungsfunktion für den Lack in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel an die jeweiligen gemessenen Reflexionen; - Computing unit for adapting a bidirectional reflectance distribution function for the paint depending on the respective Illumination and / or measurement angle to the respective measured reflections;
- Simulationseinheit zum Simulieren einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einer Strahlverfolgungsanwendung, wobei der LiDAR-Sensor als eine eine Punktlichtquelle und eine Kamera umfassende Einheit und die mit dem Lack lackierte Oberfläche als ein Profil, das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera angeordnet ist bzw. anordenbar ist, simuliert werden;  - Simulation unit for simulating a propagation of the light emitted by the LiDAR sensor and reflected by the surface painted with the lacquer on the basis of the adapted bidirectional reflectance distribution function by means of a beam tracking application, the LiDAR sensor as a unit comprising a point light source and a camera and the one with the lacquered surface is simulated as a profile which is arranged or can be arranged at a variable distance with a variable orientation in front of the camera;
- Ausgabeeinheit zum Ausgeben eines Helligkeitsbildes, das eine Helligkeit des von dem Profil reflektierten Lichts in Richtung des LiDAR- Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt.  - Output unit for outputting a brightness image which shows a brightness of the light reflected by the profile in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function.
Gemäß dem erfindungsgemäßen Verfahren wird vor Simulation der Ausbreitung des von einem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts eine bidirektionale Reflektanzverteilungsfunktion mithilfe von jeweiligen gemessenen Reflexionen angepasst. Dazu wird der zu betrachtende Lack auf eine Oberfläche aufgebracht, und die Oberfläche wird mit Licht einer Betriebswellenlänge des LiDAR-Sensors beleuchtet und mithilfe eines Messinstruments, in der Regel eines Gonio-Photospektrometers, bei einer Mehrzahl von Beleuchtungs und/oder Messwinkeln vermessen. Das heißt, dass eine jeweilige Reflexion des ausgesendeten Lichts, vorzugsweise von Laserpulsen, von der mit dem Lack lackierten Oberfläche bei der Mehrzahl von Beleuchtungs- und/oder Messwinkeln gemessen wird. Die so erhaltenen jeweiligen Reflexionen bzw. Reflexionswerte für die Mehrzahl von Beleuchtungs- und/oder Messwinkeln werden nun dazu verwendet, die bidirektionale Reflektanzverteilungsfunktion für den Lack anzupassen. Das bedeutet, dass anhand der erhaltenen Messwerte die bei der bidirektionalen Reflektanzverteilungsfunktion für den Lack zu bestimmenden Parameter durch Optimierung einer Kostenfunktion bestimmt werden, wobei die Kostenfunktion bspw. gebildet ist aus einer Summe von quadrierten Differenzen zwischen den gemessenen Reflexionen bzw. Reflexionswerten und den modellierten Reflexionen bzw. Reflexionswerten und einem Penalty-Term. Für die Optimierung kann ein geläufiges Optimierungsverfahren verwendet werden, wie bspw. das Nelder-Meat- Downhill-Simplex-Verfahren. Anhand der nunmehr angepassten bidirektionalen Reflektanzverteilungsfunktion wird nunmehr die Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts mittels einer Strahlverfolgungsanwendung simuliert. Dieser Simulation liegt nunmehr die voranstehend beschriebene Anordnung zugrunde. According to the method according to the invention, a bidirectional reflectance distribution function is adapted with the aid of respective measured reflections before simulation of the propagation of the light emitted by a LiDAR sensor and reflected by the surface coated with the lacquer. For this purpose, the lacquer to be observed is applied to a surface, and the surface is illuminated with light of an operating wavelength of the LiDAR sensor and measured using a measuring instrument, usually a gonio-photospectrometer, at a plurality of illumination and / or measuring angles. This means that a respective reflection of the emitted light, preferably of laser pulses, from the surface coated with the lacquer is measured at the plurality of illumination and / or measurement angles. The respective reflections or reflection values obtained in this way for the plurality of illumination and / or measurement angles are now used to adapt the bidirectional reflectance distribution function for the lacquer. This means that based on the measured values obtained, the bidirectional reflectance distribution function for the paint increases determining parameters are determined by optimizing a cost function, the cost function being formed, for example, from a sum of squared differences between the measured reflections or reflection values and the modeled reflections or reflection values and a penalty term. A common optimization method can be used for the optimization, such as the Nelder-Meat-Downhill-Simplex method. The now adapted bidirectional reflectance distribution function is now used to simulate the propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer by means of a beam tracking application. This simulation is now based on the arrangement described above.
(1 )  (1 )
C: Kostenfunktion C: Cost function
g: jeweilige Messgeometrie charakterisiert durch den Azimut- und Zenitwinkel der jeweiligen Beleuchtungs- und Beobachtungsrichtung g: respective measurement geometry characterized by the azimuth and zenith angle of the respective direction of illumination and observation
Gm: Menge der Messgeometrien, die für die Bestimmung der BRDF G m : set of measurement geometries used to determine the BRDF
herangezogen wird is used
Rt: Reflexionswert berechnet für die aktuellen Parameter mit Hilfe der BRDF m: mit dem Goniospektrophotometer gemessener Reflexionswert R t : reflection value calculated for the current parameters using the BRDF m: reflection value measured with the goniospectrophotometer
P: Penalty-Funktion bzw. Penalty-Term  P: Penalty function or penalty term
x = (kD, m, R„): Vektor der zu optimierenden Parameter x = (k D, m, R „): Vector of the parameters to be optimized
kn: Parameter für die Gewichtung des diffusen Lambert-Terms k n : parameter for the weighting of the diffuse Lambert term
m: Parameter einer Beckmann-Verteilung m: parameters of a Beckmann distribution
R0: Parameter einer Fresnelreflexion R 0 : parameters of a Fresnel reflection
irn: Parameter für die Gewichtung des spekulären Anteils (Cook-Torrance- Glanzkeulen) ir n : parameters for the weighting of the specular component (Cook-Torrance glossy clubs)
D(ni): Beckmann-Verteilungsfunktion  D (ni): Beckmann distribution function
F(Rn): Fresnelreflexion F (R n ): Fresnel reflection
G: Geometrischer Abschirmungsterm  G: Geometric shielding term
Faktor, der die Reflexion an einer (optionalen) Klarlackschicht  Factor that reflects on an (optional) clear coat
berücksichtigt considered
N,Y,L: Normalen-, Beobachtungs- und Beleuchtungsrichtung, die aus der jeweiligen Messgeometrie g abgeleitet werden können  N, Y, L: normal, observation and illumination direction, which can be derived from the respective measurement geometry g
>: Skalarprodukt zweier Vektoren kD < ti + >: Dot product of two vectors k D <ti +
P(kD m R0) = {J 5 (m < 0) V (m > 1) + rp R0 < D P (k D m R 0 ) = {J 5 (m <0) V (m> 1) + rp R 0 <D
sonst sonst ^0 sonst  else else ^ 0 else
(3) p » l: Penalty-Wert; wird hier in der Anwendung bspw. als p = lea gewählt.  (3) p »1: penalty value; is selected here in the application, for example, as p = lea.
Das erfindungsgemäße System bzw. die erfindungsgemäße Vorrichtung ist in Ausgestaltung dazu konfiguriert, das voranstehend beschriebene Verfahren auszuführen. The system according to the invention or the device according to the invention is configured in an embodiment to carry out the method described above.
Ferner betrifft die vorliegende Erfindung ein Computerprogrammprodukt mit einem Computerprogramm mit Programmcodemitteln, die dazu ausgelegt sind, bei Ablauf des Computerprogramms auf einer Recheneinheit, zumindest die rechnergestützten Schritte des voranstehend beschriebenen Verfahrens, d. h. insbesondere den Schritt des Anpassens, den Schritt des Simulierens und den Schritt des Ausgebens auszuführen. Furthermore, the present invention relates to a computer program product with a computer program with program code means, which are designed, when the computer program runs on a computing unit, at least the computer-aided steps of the method described above, i. H. especially the step of adapting, the step of simulating and the step of outputting.
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen. Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Further advantages and refinements of the invention result from the description and the accompanying drawings. It goes without saying that the features mentioned above and those yet to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own without departing from the scope of the present invention.
Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben. The invention is shown schematically in the drawing using an exemplary embodiment and is described in detail below with reference to the drawing.
Kurzbeschreibung der Zeichnung Brief description of the drawing
Figur 1 zeigt einen Aufbau einer möglichen virtuellen Messanordnung, wie er bei einer Ausführungsform des erfindungsgemäßen Verfahrens der dabei durchzuführenden Simulation zugrunde liegt. FIG. 1 shows a structure of a possible virtual measuring arrangement as it is based on the simulation to be carried out in one embodiment of the method according to the invention.
Figur 2 zeigt ein Beispiel eines Helligkeitsbilds, wie es bei Durchführung einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ausgegeben wird. FIG. 2 shows an example of a brightness image as it is output when a further embodiment of the method according to the invention is carried out.
Figur 3 zeigt ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens. FIG. 3 shows a flow diagram of an embodiment of the method according to the invention.
Figur 1 zeigt einen Aufbau einer Messanordnung 100, wie er in einer Ausführungsform des erfindungsgemäßen Verfahrens dem Schritt des Simulierens einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts zugrunde gelegt werden kann. Gezeigt ist eine Punktlichtquelle 101 , die Licht in alle Richtungen gleichmäßig aussendet. Ferner gezeigt ist eine Kamera 102, die an der gleichen oder zumindest in der Nähe der Punktlichtquelle 101 angeordnet ist. Die Punktlichtquelle 101 emittiert Lichtstrahlen 104, in der Regel Laserpulse von einer Wellenlänge von 905 nm oder 1.550 nm, in Richtung eines Profils 103, das hier als Fahrzeugkontur ausgestaltet ist und die mit dem Lack lackierte Oberfläche simuliert. Die auf die Fahrzeugkontur 103 auftreffenden Lichtstrahlen 105 bzw. Laserpulse werden von der Fahrzeugkontur 103 zumindest teilweise reflektiert und als reflektierte Lichtstrahlen 105 bzw. Laserimpulse in Richtung Kamera 102 zurückgesendet. Die Kamera 102 erfasst die reflektierten Lichtstrahlen 105. Der Abstand der Fahrzeugkontur 103 zu der Kamera 102 kann dabei bei der Simulation variiert werden. Gleiches gilt für die Orientierung der Fahrzeugkontur 103 relativ zu der Kamera 102. Aus den von in der Simulation von der Kamera 102 erfassten Reflexionen bzw. Reflexionswerten kann letztlich ein Helligkeitsbild berechnet werden und auf einer hier nicht gezeigten Anzeigeeinheit dargestellt werden, wie es bspw. in Figur 2 gezeigt ist. FIG. 1 shows a structure of a measuring arrangement 100 as it can be used in one embodiment of the method according to the invention to simulate the propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer. A point light source 101 is shown which emits light uniformly in all directions. Also shown is a camera 102 which is arranged on the same or at least in the vicinity of the point light source 101. The point light source 101 emits light rays 104, usually laser pulses of a wavelength of 905 nm or 1,550 nm, in the direction of a profile 103, which is designed here as a vehicle contour and which is coated with the lacquer Simulated surface. The light beams 105 or laser pulses impinging on the vehicle contour 103 are at least partially reflected by the vehicle contour 103 and sent back in the direction of the camera 102 as reflected light beams 105 or laser pulses. The camera 102 detects the reflected light beams 105. The distance between the vehicle contour 103 and the camera 102 can be varied in the simulation. The same applies to the orientation of the vehicle contour 103 relative to the camera 102. From the reflections or reflection values detected by the camera 102 in the simulation, a brightness image can ultimately be calculated and displayed on a display unit, not shown here, as shown, for example, in FIG Figure 2 is shown.
Figur 2 zeigt in Figur 2a ein Helligkeitsbild 201 , wie es auf einer Anzeigeeinheit als Resultat des durchgeführten Simulationsverfahrens darstellbar ist. Die Helligkeit von jeweiligen Bereichen des Profils 202 wird durch eine jeweilige Musterung/Schraffur der jeweiligen Bereiche wiedergegeben bzw. dargestellt, wobei eine Musterung/Schraffur jeweils einem Skalenwert bzw. Skalenbereich auf einer Skala 203 von Helligkeitswerten im Bereich von 0.0 bis 1 .0 zugeordnet ist (a. u. steht hier für "arbitrary unit" - beliebige Einheit, um eine relative Größe anzugeben). Die jeweiligen Musterungen/Schraffuren können auch durch jeweilige Farben ersetzt werden, wobei die Skala 203 dann als entsprechende Farbskala zu wählen ist. Dabei können sich die Farben bspw. von dunkelblau für einen Skalenwert 0.0 über grün im Bereich von 0.5 bis rot bei einem Skalenwert von 1.0 erstrecken. FIG. 2 shows a brightness image 201 in FIG. 2a, as can be displayed on a display unit as a result of the simulation process carried out. The brightness of respective areas of the profile 202 is reproduced or represented by a respective pattern / hatching of the respective areas, wherein a pattern / hatching is in each case assigned to a scale value or scale area on a scale 203 of brightness values in the range from 0.0 to 1.0 (au stands for "arbitrary unit" - any unit to indicate a relative size). The respective patterns / hatching can also be replaced by respective colors, the scale 203 then being selected as the corresponding color scale. The colors can range, for example, from dark blue for a scale value 0.0 to green in the range from 0.5 to red with a scale value of 1.0.
In Figur 2b ist ein Bild 204 einer Sichtbarkeit des gleichen Profils 202 wie in Figur 2a gezeigt. Erkennbar ist in Figur 2b, dass auf Basis der Helligkeit zu beurteilen ist, welche Teile des Profils 202 bzw. der Fahrzeugkontur gut sichtbar und welche quasi unsichtbar sind und demnach bei Anwendung bei dem autonomen Fahren eine mögliche Kollisionsgefahr des den LiDAR-Sensor umfassenden Fahrzeugs mit einem anderen Fahrzeug erhöhen. Ein derartiges Bild der Sichtbarkeit wird von dem Helligkeitsbild abgeleitet und kann zusätzlich oder alternativ zu dem Helligkeitsbild auf einer erfindungsgemäß vorgesehenen Anzeige- bzw. Ausgabeeinheit dargestellt werden. FIG. 2b shows an image 204 of a visibility of the same profile 202 as in FIG. 2a. It can be seen in FIG. 2b that it is to be assessed on the basis of the brightness which parts of the profile 202 or the vehicle contour are clearly visible and which are virtually invisible and accordingly, when used in autonomous driving, there is a possible risk of collision of the vehicle comprising the LiDAR sensor raise another vehicle. Such an image of visibility is derived from the brightness image and can additionally or alternatively to the brightness image on a display or output unit provided according to the invention.
Figur 3 zeigt in schematischer Darstellung ein Flussdiagramm eines Ablaufs einer möglichen Ausführungsform des erfindungsgemäßen Verfahrens. In einem Schritt 301 wird zunächst ein Lack mit einer bestimmten Lackformulierung auf eine Oberfläche, vorzugsweise eine Probenoberfläche in Form einer kleinen ebenen Fläche, aufgebracht. Die so mit dem Lack lackierte Oberfläche wird in einem Schritt 302, bspw. mithilfe eines Gonio- Spektrophotometers, hinsichtlich ihrer Reflexionseigenschaften vermessen. Das bedeutet, dass die Oberfläche mit Licht mit einer Betriebswellenlänge eines LiDAR-Sensors beleuchtet und das von der mit dem Lack lackierten Oberfläche reflektierte Licht von dem Gonio-Spektrophotometer aufgenommen und ausgewertet wird. Dabei wird die Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln vermessen. Das bedeutet, dass die Beleuchtungseinheit bzw. ein von der Beleuchtungseinheit ausgehender Lichtstrahl, vorzugsweise ein Laserpuls, mit der Betriebswellenlänge des LiDAR-Sensors unter einer Mehrzahl von Beleuchtungswinkeln nacheinander auf die mit dem Lack lackierte Oberfläche gerichtet wird. Ferner werden mit dem Gonio-Spektrophotometer die jeweils reflektierten Lichtstrahlen bzw. der reflektierte Laserstrahl bzw. -puls aufgenommen und seine Lichtmenge und/oder Intensität bestimmt. Zusätzlich ist es denkbar, auch das Gonio- Photospektrometer relativ zu der mit dem Lack lackierten Oberfläche unter verschiedenen Messwinkeln nacheinander auszurichten. Es ist denkbar, den Beleuchtungswinkel fest zu halten und die Messwinkel zu variieren oder umgekehrt, die Beleuchtungswinkel zu variieren und den Messwinkel fest zu halten. FIG. 3 shows a schematic representation of a flow diagram of a sequence of a possible embodiment of the method according to the invention. In a step 301, a lacquer with a specific lacquer formulation is first applied to a surface, preferably a sample surface in the form of a small flat surface. The surface coated with the lacquer in this way is measured in a step 302, for example with the aid of a gonio spectrophotometer, with regard to its reflection properties. This means that the surface is illuminated with light with an operating wavelength of a LiDAR sensor and the light reflected by the surface coated with the lacquer is recorded and evaluated by the gonio spectrophotometer. The surface is measured at a plurality of lighting and / or measuring angles. This means that the lighting unit or a light beam emanating from the lighting unit, preferably a laser pulse, with the operating wavelength of the LiDAR sensor is directed in succession at a plurality of lighting angles onto the surface coated with the lacquer. Furthermore, the respective reflected light beams or the reflected laser beam or pulse are recorded with the gonio spectrophotometer and its light quantity and / or intensity is determined. In addition, it is conceivable to align the gonio photospectrometer in succession at different measuring angles relative to the surface coated with the lacquer. It is conceivable to keep the illumination angle fixed and to vary the measurement angle or vice versa, to vary the illumination angle and to keep the measurement angle fixed.
Es ist auch denkbar, die Oberfläche mit weißem Licht, das auch die Betriebswellenlänge des LiDAR-Sensors umfasst, zu beleuchten. Mit Hilfe des Gonio-Spektrometers wird dann die Intensität des Lichtes, das bei der Betriebswellenlänge des LiDAR-Systems reflektiert wird, gemessen. Beim Messen einer jeweiligen Reflexion des auf die mit dem Lack lackierte Oberfläche auftreffenden Lichts werden entsprechend jeweilige Reflexionswerte bestimmt. Anhand der Reflexionswerte lassen sich wiederum jeweilige Helligkeitswerte bestimmen. Demnach liegen nach der Messung für jeweilige Beleuchtungs- und/oder Messwinkel jeweilige Reflexionen bzw. jeweilige Reflexionswerte und damit einhergehend jeweilige Helligkeitswerte vor. It is also conceivable to illuminate the surface with white light, which also includes the operating wavelength of the LiDAR sensor. The intensity of the light, which is reflected at the operating wavelength of the LiDAR system, is then measured using the gonio spectrometer. When measuring a respective reflection of the light striking the surface coated with the lacquer, respective reflection values are determined accordingly. The respective brightness values can in turn be determined on the basis of the reflection values. Accordingly, after the measurement, there are respective reflections or respective reflection values for the respective lighting and / or measuring angles, and associated brightness values.
In einem Schritt 303 werden die jeweiligen gemessenen Reflexionen verwendet, um eine bidirektionale Reflektanzverteilungsfunktion für den Lack, mit welchem die Oberfläche lackiert ist, in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel anzupassen. Das bedeutet, dass die Parameter der bidirektionalen Reflektanzverteilungsfunktion für den Lack anhand der gemessenen Reflexionen bzw. Reflexionswerte bestimmt bzw. zumindest geschätzt werden. Durch die jeweiligen gemessenen Reflexionen ergeben sich eine Vielzahl von Gleichungen mit noch unbekannten Parametern, welche bei einer ausreichenden Anzahl von gemessenen Reflexionen bestimmt oder zumindest abgeschätzt werden können. Somit ergibt sich für den Lack eine konkrete mit festen Parametern anzugebende bidirektionale Reflektanzverteilungsfunktion, mit deren Hilfe sich eine jeweilige Reflexion in Abhängigkeit eines jeweiligen Beleuchtungs- und/oder Messwinkels angeben lässt. In a step 303, the respective measured reflections are used to adapt a bidirectional reflectance distribution function for the lacquer with which the surface is lacquered, as a function of the respective illumination and / or measurement angle. This means that the parameters of the bidirectional reflectance distribution function for the lacquer are determined or at least estimated on the basis of the measured reflections or reflection values. The respective measured reflections result in a large number of equations with as yet unknown parameters, which can be determined or at least estimated if there are a sufficient number of measured reflections. This results in a specific bidirectional reflectance distribution function to be specified with fixed parameters, with the aid of which a respective reflection depending on a respective lighting and / or measuring angle can be specified.
Auf Basis der nunmehr angepassten bidirektionalen Reflektanzverteilungsfunktion ist es nun möglich, in einem Schritt 304 eine Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts mittels einer Strahlverfolgungsanwendung zu simulieren. Der LiDAR-Sensor wird dabei als eine Punktlichtquelle simuliert bzw. modelliert, die in alle Richtungen gleichmäßig Licht einer bestimmten Wellenlänge, nämlich einer Betriebswellenlänge des LiDAR-Sensors, bspw. 905 nm oder 1 .550 nm aussendet. Ferner umfasst der modellierte LiDAR-Sensor eine Kamera, die dazu ausgelegt ist, Lichtstrahlen aufzunehmen und deren Lichtmenge und/oder Lichtintensität zu bestimmen. Die mit dem Lack lackierte Oberfläche wird bei der Simulation als ein Profil modelliert, das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera angeordnet ist. Das heißt, das Profil kann bei einer jeweiligen Simulation einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts in einem unterschiedlichen Abstand und/oder mit einer unterschiedlichen Orientierung jeweils als vor der Kamera angeordnet simuliert werden. Unter Nutzung der angepassten bidirektionalen Reflektanzverteilungsfunktion wird ein Computer-Grafikmodell auf das Profil angewendet. On the basis of the now adapted bidirectional reflectance distribution function, it is now possible in a step 304 to simulate a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer by means of a beam tracking application. The LiDAR sensor is simulated or modeled as a point light source that emits light of a certain wavelength, namely an operating wavelength of the LiDAR sensor, for example 905 nm or 1,550 nm, uniformly in all directions. The modeled LiDAR sensor also includes a camera that is designed to receive light rays and to determine their light quantity and / or light intensity. In the simulation, the surface coated with the paint is modeled as a profile which is arranged at a variable distance with a variable orientation in front of the camera. This means that the profile can be simulated with a respective simulation of a spread of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer at a different distance and / or with a different orientation than in each case arranged in front of the camera. A computer graphic model is applied to the profile using the adapted bidirectional reflectance distribution function.
Ausgehend von der so simulierten Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts ist es in einem Schritt 305 nunmehr möglich, ein Helligkeitsbild auszugeben bzw. auf einer Anzeigeeinheit anzuzeigen, das eine Helligkeit (Luminance) des von dem Profil reflektierten Lichts in Richtung des LiDAR-Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt. Dabei kann das Helligkeitsbild explizit als Licht auf einer Anzeigeeinheit angezeigt oder jeweilige Werte der Helligkeit können für den Lack angegeben und diesem zugeordnet werden. In der Regel wird das beschriebene Verfahren für eine Mehrzahl von verschiedenen Lacken und damit verbundenen Lackformulierungen durchgeführt, so dass letztlich anhand der jeweiligen Helligkeitsbilder ein Vergleich zwischen den Lacken durchgeführt werden kann und derjenige Lack bzw. die damit verbundene Lackformulierung ausgewählt wird, dessen bzw. deren Helligkeitsbild darauf schließen lässt, dass der Lack für einen LiDAR-Sensor am besten sichtbar und somit ein mit dem Lack lackiertes Objekt für einen LiDAR-Sensor am besten detektierbar ist. Starting from the thus simulated propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer, it is now possible in a step 305 to output a brightness image or to display it on a display unit that has a brightness (luminance) of the shows the profile of reflected light in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function. The brightness image can be explicitly displayed as light on a display unit or respective values of the brightness can be specified for the lacquer and assigned to it. As a rule, the described method is carried out for a plurality of different lacquers and associated lacquer formulations, so that ultimately a comparison between the lacquers can be carried out on the basis of the respective brightness images and the lacquer or the lacquer formulation associated therewith is selected, its or their Brightness image suggests that the paint is best visible to a LiDAR sensor and therefore an object painted with the paint is best detectable to a LiDAR sensor.

Claims

Ansprüche Expectations
1 . Verfahren zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor, das mindestens die folgenden Schritte umfasst: 1 . Method for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor, which comprises at least the following steps:
- Aufbringen des Lacks auf die Oberfläche (301 );  - applying the lacquer to the surface (301);
- Messen einer jeweiligen Reflexion von Licht mit einer - Measuring a respective reflection of light with one
Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln (302); Operating wavelength of the LiDAR sensor from the surface coated with the lacquer at a plurality of illumination and / or measurement angles (302);
- Anpassen einer bidirektionalen Reflektanzverteilungsfunktion für den Lack in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel an die jeweiligen gemessenen Reflexionen (303);  - Adapting a bidirectional reflectance distribution function for the lacquer as a function of the respective lighting and / or measuring angle to the respective measured reflections (303);
- Simulieren einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einer Strahlverfolgungsanwendung (304), wobei der LiDAR- Sensor als eine Punktlichtquelle (101 ) und eine Kamera (102) umfassende Einheit und die mit dem Lack lackierte Oberfläche als ein Profil (103, 202), das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera (102) angeordnet ist, simuliert werden;  - Simulating a propagation of the light emitted by the LiDAR sensor and reflected by the lacquered surface on the basis of the adapted bidirectional reflectance distribution function using a beam tracking application (304), the LiDAR sensor acting as a point light source (101) and a camera (102 ) comprehensive unit and the surface painted with the lacquer are simulated as a profile (103, 202) which is arranged at a variable distance with a variable orientation in front of the camera (102);
- Ausgeben eines Helligkeitsbildes (201 ), das eine Helligkeit des von dem Profil (103, 202) reflektierten Lichts in Richtung des LiDAR-Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt (305). - Outputting a brightness image (201) which shows a brightness of the light reflected by the profile (103, 202) in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function (305).
2. Verfahren nach Anspruch 1 , bei dem mittels des ausgegebenen Helligkeitsbildes (201 ) bestimmt wird, wieviel Licht von verschiedenen Bereichen des die Oberfläche simulierenden Profils (103, 202) reflektiert wird. 2. The method as claimed in claim 1, in which, by means of the output brightness image (201), it is determined how much light is reflected from different areas of the profile (103, 202) which simulates the surface.
3. Verfahren nach Anspruch 1 oder 2, bei dem auf das Helligkeitsbild (201 ) ein Helligkeitsschwellwert angewandt wird, der durch eine reflektierte Helligkeit einer Referenzvorlage mit einer diffusen Reflexion von 10% definiert ist. 3. The method according to claim 1 or 2, in which a brightness threshold value is applied to the brightness image (201), which is defined by a reflected brightness of a reference original with a diffuse reflection of 10%.
4. Verfahren nach einem der voranstehenden Ansprüche, bei dem ein sichtbarer Bereich des die Oberfläche simulierenden Profils (103, 202) als Bruchteil eines maximal sichtbaren Bereichs des die Oberfläche simulierenden Profils (103, 202) für eine aktuelle Ausrichtung bzw. Stellung des Profils (103, 202) relativ zu dem simulierten LiDAR-Sensor quantifiziert wird. 4. The method according to any one of the preceding claims, in which a visible area of the surface simulating profile (103, 202) as a fraction of a maximum visible area of the surface simulating profile (103, 202) for a current alignment or position of the profile ( 103, 202) is quantified relative to the simulated LiDAR sensor.
5. Verfahren nach einem der voranstehenden Ansprüche, bei dem die bidirektionale Reflektanzverteilungsfunktion für den Lack aus einem gewichteten diffusen Lambert-Term und einem Cook-Torrance- Beleuchtungsmodell-Term mit mindestens einer Glanzkeule gebildet wird. 5. The method according to any one of the preceding claims, wherein the bidirectional reflectance distribution function for the lacquer is formed from a weighted diffuse Lambert term and a Cook Torrance lighting model term with at least one lobe of gloss.
6. Verfahren nach einem der voranstehenden Ansprüche, bei dem beim Anpassen der bidirektionalen Reflektanzverteilungsfunktion für den Lack Parameter der bidirektionalen Reflektanzverteilungsfunktion mit Bezug auf eine Kostenfunktion optimiert werden. 6. The method according to any one of the preceding claims, in which, when adapting the bidirectional reflectance distribution function for the lacquer, parameters of the bidirectional reflectance distribution function are optimized with reference to a cost function.
7. Verfahren nach Anspruch 6, bei dem die Kostenfunktion auf Basis eines Penalty-Terms und einer Summe von quadrierten Differenzen zwischen den gemessenen jeweiligen Reflexionen und auf Basis der bidirektionalen Reflektanzverteilungsfunktion simulierten jeweiligen Reflexionen gebildet wird. 7. The method according to claim 6, in which the cost function is formed on the basis of a penalty term and a sum of squared differences between the measured respective reflections and on the basis of the respective reflections simulated on the basis of the bidirectional reflectance distribution function.
8. Verfahren nach Anspruch 6 oder 7, bei dem die Parameter der bidirektionalen Reflektanzverteilungsfunktion mit einem nicht-linearen Optimierungsverfahren, insbesondere mit dem Nelder-Mead-Downhill- Simplex-Verfahren, optimiert werden. 8. The method according to claim 6 or 7, in which the parameters of the bidirectional reflectance distribution function are optimized with a non-linear optimization method, in particular with the Nelder-Mead-Downhill-Simplex method.
9. Verfahren nach einem der voranstehenden Ansprüche, bei dem das die Oberfläche simulierende Profil (103, 202) als eine Fahrzeugkontur gewählt wird. 9. The method according to any one of the preceding claims, wherein the surface simulating profile (103, 202) is selected as a vehicle contour.
10. Verfahren nach einem der voranstehenden Ansprüche, das für eine Mehrzahl von Lackformulierungen durchgeführt wird, wobei die ausgegebenen jeweiligen Helligkeitsbilder (201 ) für die verschiedenen Lackformulierungen untereinander verglichen werden und diejenige Lackformulierung aus der Mehrzahl von Lackformulierungen ausgewählt wird, die am besten sichtbar für den LiDAR-Sensor ist. 10. The method according to any one of the preceding claims, which is carried out for a plurality of lacquer formulations, the respective brightness images (201) for the different lacquer formulations being compared and the lacquer formulation selected from the plurality of lacquer formulations which is best visible to the LiDAR sensor is.
1 1 . Vorrichtung zur Simulation einer Sichtbarkeit eines auf einer Oberfläche aufgebrachten Lacks für einen LiDAR-Sensor, das mindestens umfasst:1 1. Device for simulating the visibility of a lacquer applied to a surface for a LiDAR sensor, which comprises at least:
- Applikationseinheit zum Aufbringen des Lacks auf die Oberfläche; - Application unit for applying the lacquer to the surface;
- Messanordnung zum Messen einer jeweiligen Reflexion von Licht mit einer Betriebswellenlänge des LiDAR-Sensors von der mit dem Lack lackierten Oberfläche bei einer Mehrzahl von Beleuchtungs- und/oder Messwinkeln;  - Measuring arrangement for measuring a respective reflection of light with an operating wavelength of the LiDAR sensor from the surface coated with the lacquer at a plurality of illumination and / or measuring angles;
- Recheneinheit zum Anpassen einer bidirektionalen Reflektanzverteilungsfunktion für den Lack in Abhängigkeit der jeweiligen Beleuchtungs- und/oder Messwinkel an die jeweiligen gemessenen Reflexionen;  - Computing unit for adapting a bidirectional reflectance distribution function for the lacquer as a function of the respective lighting and / or measuring angle to the respective measured reflections;
- Simulationseinheit zum Simulieren einer Ausbreitung des von dem LiDAR-Sensor emittierten und von der mit dem Lack lackierten Oberfläche reflektierten Lichts auf Basis der angepassten bidirektionalen Reflektanzverteilungsfunktion mittels einer Strahlverfolgungsanwendung, wobei der LiDAR-Sensor als eine Punktlichtquelle (101 ) und eine Kamera (102) umfassende Einheit und die mit dem Lack lackierte Oberfläche als ein Profil (103, 202), das in einem variierbaren Abstand mit einer variierbaren Orientierung vor der Kamera angeordnet ist, simuliert werden; - Simulation unit for simulating a propagation of the light emitted by the LiDAR sensor and reflected by the surface coated with the lacquer on the basis of the adapted bidirectional reflectance distribution function by means of a beam tracking application, the LiDAR sensor acting as a point light source (101) and a camera (102) comprehensive unit and the lacquered Surface can be simulated as a profile (103, 202) arranged at a variable distance with a variable orientation in front of the camera;
- Ausgabeeinheit zum Ausgeben eines Helligkeitsbildes (201 ), das eine Helligkeit des von dem Profil (103, 202) reflektierten Lichts in Richtung des LiDAR-Sensors unter Berücksichtigung der angepassten bidirektionalen Reflektanzverteilungsfunktion zeigt.  - Output unit for outputting a brightness image (201) which shows a brightness of the light reflected by the profile (103, 202) in the direction of the LiDAR sensor, taking into account the adapted bidirectional reflectance distribution function.
12. Vorrichtung nach Anspruch 1 1 , bei der die Messeinheit mindestens ein Goniospektrometer umfasst. 12. The apparatus of claim 1 1, wherein the measuring unit comprises at least one goniospectrometer.
13. Vorrichtung nach Anspruch 1 1 oder 12, die dazu konfiguriert ist, ein Verfahren nach einem der Ansprüche 1 bis 10 auszuführen. 13. The apparatus of claim 1 1 or 12, which is configured to carry out a method according to any one of claims 1 to 10.
14. Computerprogrammprodukt mit einem Computerprogramm mit Programmcodemitteln, die dazu ausgelegt sind, bei Ablauf des Computerprogramms auf einer Recheneinheit, zumindest die rechnergestützten Schritte des Verfahrens nach einem der Ansprüche 1 bis 10 auszuführen. 14. Computer program product with a computer program with program code means which are designed to execute at least the computer-aided steps of the method according to one of claims 1 to 10 when the computer program runs on a computing unit.
EP19816542.5A 2018-11-15 2019-11-15 Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface Withdrawn EP3857208A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18206542 2018-11-15
PCT/EP2019/081501 WO2020099643A1 (en) 2018-11-15 2019-11-15 Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface

Publications (1)

Publication Number Publication Date
EP3857208A1 true EP3857208A1 (en) 2021-08-04

Family

ID=64331806

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19816542.5A Withdrawn EP3857208A1 (en) 2018-11-15 2019-11-15 Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface

Country Status (8)

Country Link
US (1) US20220003675A1 (en)
EP (1) EP3857208A1 (en)
JP (1) JP7098839B2 (en)
KR (1) KR102533401B1 (en)
CN (1) CN113056666A (en)
CA (1) CA3118962A1 (en)
MX (1) MX2021005732A (en)
WO (1) WO2020099643A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113029977B (en) * 2021-03-11 2022-03-15 武汉大学 Automatic cross radiometric calibration method for wide-field-angle multispectral sensor
US20230080540A1 (en) * 2021-09-16 2023-03-16 Aurora Operations, Inc. Lidar simulation system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3456095B2 (en) * 1996-07-12 2003-10-14 三菱自動車工業株式会社 Grommet structure and method of mounting on-vehicle equipment using the structure
JPH10247256A (en) * 1997-03-04 1998-09-14 Integra:Kk Method for interactively and aesthetically designing object having optially complicated characteristic on computer
US6618050B1 (en) * 2000-11-27 2003-09-09 E. I. Du Pont De Nemours And Company Process for generating a computer image of a three-dimensional object provided with a special-effect coating
AUPR301401A0 (en) * 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
WO2004111688A2 (en) * 2003-06-06 2004-12-23 New York University Method and apparatus for determining a bidirectional reflectance distribution function of a subject
US7319467B2 (en) * 2005-03-29 2008-01-15 Mitsubishi Electric Research Laboratories, Inc. Skin reflectance model for representing and rendering faces
CN101184986B (en) * 2005-04-25 2012-06-13 爱色丽公司 Measuring an appearance property of a surface using a bidirectional reflectance distribution function
JP5470886B2 (en) 2009-02-12 2014-04-16 トヨタ自動車株式会社 Object detection device
JP2011196814A (en) 2010-03-19 2011-10-06 Mitsubishi Paper Mills Ltd Device and method for evaluating glossiness feeling
US9470520B2 (en) * 2013-03-14 2016-10-18 Apparate International C.V. LiDAR scanner
US20150032430A1 (en) * 2013-07-29 2015-01-29 X-Rite Europe Gmbh Visualization Method
US9509905B2 (en) * 2013-12-17 2016-11-29 Google Inc. Extraction and representation of three-dimensional (3D) and bidirectional reflectance distribution function (BRDF) parameters from lighted image sequences
EP3115742B1 (en) * 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine
EP3196633B1 (en) * 2016-01-20 2021-11-17 Canon Kabushiki Kaisha Apparatus and method for measuring a reflection characteristic of an object
EP3395875B2 (en) 2017-04-24 2023-01-25 Covestro Deutschland AG Laser beam-permeable substrate material for sensor applications

Also Published As

Publication number Publication date
KR102533401B1 (en) 2023-05-26
JP7098839B2 (en) 2022-07-11
WO2020099643A1 (en) 2020-05-22
CA3118962A1 (en) 2020-05-22
JP2022513065A (en) 2022-02-07
US20220003675A1 (en) 2022-01-06
KR20210088692A (en) 2021-07-14
CN113056666A (en) 2021-06-29
MX2021005732A (en) 2021-07-21

Similar Documents

Publication Publication Date Title
DE10319543B4 (en) Apparatus and method for determining surface properties
DE69925652T2 (en) Method for classifying and arranging metallic paint colors
DE102009033098B4 (en) Method and device for determining properties of structured surfaces
DE102013011975B4 (en) Method for evaluating headlamps
AT521120B1 (en) Method and device for determining a radar cross section, method for training an interaction model and radar target emulator and test bench
DE202015102081U1 (en) Computer program and apparatus for digitizing the appearance of a real material
WO2016170041A1 (en) Method for identifying a security pattern using an artificial 3d reconstruction
WO2020099643A1 (en) Method and device for simulating the visibility of a paint for a lidar sensor, which paint is applied to a surface
DE102011107458A1 (en) Method for evaluating an object recognition device of a motor vehicle
CN104616294A (en) Visual saliency-based tone mapping image quality evaluation method
DE112018006287T5 (en) INSPECTION SYSTEM, INSPECTION PROCEDURE, PROGRAM AND STORAGE MEDIUM
DE102019213546A1 (en) Generation of synthetic lidar signals
DE102009050075A1 (en) Method for measuring the cloudiness of coatings on test panels
EP3928079B1 (en) Method and device for identifying interference pigments in a coating
EP3640580B1 (en) Method and apparatus for the non-destructive and contact-free checking of the thickness of paint layers for vehicle parts
EP1525457A1 (en) Method for monitoring the quality of surfaces
EP1352232B1 (en) Method for determining and evaluating defects in a sample surface
DE102007014475A1 (en) Method for determining surface properties, involves evaluating locally resolved sketch of surface to be examined with multiple measured values, where sketch represents certain physical properties that are characterized by measured values
DE102004046461B4 (en) Method for determining the paint quality of a painted surface, in particular a painted vehicle body part
WO2021110486A1 (en) Method for assessing the quality of varnished wood surfaces
EP3048589A1 (en) Inspection of ovi features
DE102007014474B4 (en) Method and device for the quantitative determination of surface properties
DE202016100485U1 (en) Monitoring or measuring system
DE19833859C1 (en) Procedure for determining the color stability of paints
WO2013160243A1 (en) Hdr images as a basis for effect characterisation

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210428

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G01S 7/48 20060101ALN20230427BHEP

Ipc: G01N 21/17 20060101ALN20230427BHEP

Ipc: G01N 21/57 20060101ALN20230427BHEP

Ipc: G01N 21/84 20060101ALI20230427BHEP

Ipc: G01N 21/55 20140101AFI20230427BHEP

INTG Intention to grant announced

Effective date: 20230523

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20231003