EP4423454A1 - Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene - Google Patents

Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene

Info

Publication number
EP4423454A1
EP4423454A1 EP22809691.3A EP22809691A EP4423454A1 EP 4423454 A1 EP4423454 A1 EP 4423454A1 EP 22809691 A EP22809691 A EP 22809691A EP 4423454 A1 EP4423454 A1 EP 4423454A1
Authority
EP
European Patent Office
Prior art keywords
light source
image
properties
virtual
recording scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22809691.3A
Other languages
English (en)
French (fr)
Inventor
Max PARGMANN
Daniel Maldonado Quinto
Stefan Kesselheim
Jan Ebert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Forschungszentrum Juelich GmbH
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Forschungszentrum Juelich GmbH
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102021127682.9A external-priority patent/DE102021127682A1/de
Priority claimed from DE102022105771.2A external-priority patent/DE102022105771A1/de
Application filed by Forschungszentrum Juelich GmbH, Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Forschungszentrum Juelich GmbH
Publication of EP4423454A1 publication Critical patent/EP4423454A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24S—SOLAR HEAT COLLECTORS; SOLAR HEAT SYSTEMS
    • F24S20/00—Solar heat collectors specially adapted for particular uses or environments
    • F24S20/20—Solar heat collectors for receiving concentrated solar energy, e.g. receivers for solar power plants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24S—SOLAR HEAT COLLECTORS; SOLAR HEAT SYSTEMS
    • F24S50/00—Arrangements for controlling solar heat collectors
    • F24S50/20—Arrangements for controlling solar heat collectors for tracking
    • F24S2050/25—Calibration means; Methods for initial positioning of solar concentrators or solar receivers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24S—SOLAR HEAT COLLECTORS; SOLAR HEAT SYSTEMS
    • F24S23/00—Arrangements for concentrating solar-rays for solar heat collectors
    • F24S23/70—Arrangements for concentrating solar-rays for solar heat collectors with reflectors

Definitions

  • the invention relates to a computer-assisted method for determining object properties of an object to be measured that is illuminated by a light source in a recording scene, in particular for detecting and/or measuring the object properties, the object properties comprising at least one of the following: a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object.
  • the invention also relates to a device for determining object properties of an object, in particular for detecting and/or measuring the object properties of the object, as well as a computer program product and a device for data processing.
  • Strip pattern deflectometry is a long-established technique for measuring the surface of objects in a wide variety of laboratory and industrial applications. For example, it is commonly used to measure mirrors and optical lenses. Parallel strips are projected onto the object to be examined and their reflection recorded. From the distortions of the reflected image, conclusions can be drawn about its surface via geometric relationships. This method is also used in many industrial processes, such as in car and aircraft production. It can also be used on solar tower power plants.
  • Solar tower power plants focus incident sunlight on a so-called receiver in order to generate electricity from the heat generated.
  • the sun's rays are deflected onto the receiver by motorized mirrors known as heliostats.
  • Each of these heliostats has its own individual errors, such as mirror errors, which affect its focal point and alignment and thus the heat distribution on the receiver.
  • deflectometric measurements are carried out.
  • Deflectometry can only be used to a limited extent in some applications. For example, with heavily concave surfaces, these can cause lines to overlap and make the measurement unusable. Errors can also occur if the position information is imprecise. If, for example, there are multiple reflections in transparent materials, then several reflections of the stripe pattern overlap, which cannot be clearly resolved with the classic method.
  • the heliostats In order to keep the alignment error, also called tracking error, as low as possible, the heliostats must be calibrated regularly. This is usually done in such a way that the focal point of a single heliostat is moved by the receiver onto a white projection surface. The position of the focal spot on the projection surface, the associated position of the sun and the motor position are recorded and saved. Using these measuring points, the deviation of the real heliostat from a theoretically ideal heliostat can be determined using a mathematical-physical regression. Strip deflectometry has been used for a long time, especially on solar towers. The method could not be fully automated despite a need for accurate heliostat measurement.
  • the object of the invention is to specify an efficient method for determining object properties of at least one object in a recording scene.
  • a further object is to provide a device for determining object properties of at least one object in a recording scene using such an efficient method.
  • a further object is to provide a computer program product comprising instructions for executing such a method.
  • a further object is to provide a data processing device for carrying out such a method.
  • a computer-aided method for determining object properties of an object to be measured that is illuminated by a light source in a recording scene in particular for detecting and/or measuring the object properties, the object properties comprising at least one of the following: a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object, image data of a reflection of rays of the light source on the object to be measured being recorded in the recording scene and for determining at least one of the object properties to be analyzed.
  • the deflectometry for measuring an object surface is based on geometric optics, the fringe pattern of a projector must be used for the measurement. In principle, however, all information about the mirror surface, its position and/or reflectivity and the light source is available in the form of a mathematical convolution in every reflection considered. This means that any defined light source can be used.
  • Object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object can in principle be reconstructed with any light source, provided these are sufficiently well characterized .
  • the heliostat calibration for example, is a simple, cheap and accurate method to determine the misalignment of the heliostat. So far, however, your stored data cannot be used meaningfully for other purposes.
  • the stored data of the heliostat calibration can be used sensibly.
  • the recorded image data of the recording scene can be compared with simulated image data of the recording scene, with at least one of the object properties and/or at least one parameter of the recording scene and/or at least one parameter of the Light source can be varied.
  • the method according to the invention uses what is known as an inverse render used.
  • a three-dimensional reconstruction of the object is generated from the two-dimensional image of the reflection.
  • a classic ray tracing method also known as ray tracing method
  • a simulation of the optical conditions of a scene can be generated in the so-called forward step.
  • An ideal representation of the examined object here for example a heliostat, is assumed and a 2D image is generated from the 3D scene based on the radiation characteristics of the light source while tracking and reflecting the light rays.
  • the image generated in this way is then compared with the image measured in reality and evaluated using an evaluation function.
  • the special feature of inverse ray tracing is that the evaluation function can be used to derive free parameters from the simulated geometry.
  • object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the Object and/or position of the light source and/or properties of the light source, mathematically differentiated in order to determine new values for the simulation of the recording scene in a backward step. This is a common practice in optimization algorithms.
  • the object to be measured is not directly observed by the camera, but only the reflection of the rays of the selected, arbitrary light source.
  • An evaluation function used as a convergence criterion can favorably indicate, for example, a difference in the brightness values of the individual pixels of the measured image and of the virtual image. Starting from this point and depending on the extent of the deviation, parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • an iterative optimization process is carried out that generates a new image in each step and compares it with the measured image until the evaluation function has reached an optimum as a convergence criterion.
  • object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an alignment of the object, at least one material property of the object can be optimized using predefined start values in the iterative method. This allows inaccurate measurements to be compensated.
  • the mapping function for example, of the three-dimensional object surface after two-dimensional reflection is not a clear mapping, so there is no bijectivity.
  • the problem is mathematically underdetermined.
  • the position and the angle of the light source can be changed, for example by an LED array, or changing sun positions.
  • the additional images can be evaluated at the same time in the evaluation function by summing up the available images. In this way, ambiguities can be resolved or reduced.
  • the light rays can be traced back using the inverse ray tracing method through a differentiable representation of the virtual recording scene.
  • object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object, a position of the light source, properties of the light source, mathematically differentiated in order to determine new values for the simulation of the shooting scene.
  • parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • neural networks or simple logic circuits can be used instead of differentiability.
  • parameters of the recording scene can include at least one of: position of at least one camera, distance of the object from a carrier of a projection surface, position of an image on the projection surface, position of the projection surface on the carrier.
  • parameters of the light source can at least include: a type of the at least one light source, a position of the at least one light source.
  • the proposed method is particularly advantageous when the environmental conditions and/or production conditions when generating the images, for example in the case of inaccurate positioning of the at least one light source, inaccurate position of the object and the like, deviate from ideal measurement conditions, for example in industrial systems.
  • the proposed method eliminates many of the limitations of conventional strip deflectometry when measuring an object surface. Instead of a projector, any defined light source is sufficient. This makes it possible to greatly reduce the complexity of a measurement setup.
  • the position and/or the orientation and/or the material property, for example the reflectivity of the examined object, does not have to be clearly defined either and can also be optimized.
  • components with a strong concave shape can be advantageously measured with the method.
  • the method can at least include: illuminating the object with the at least one light source in at least one light source position; capturing at least the image of the object with the at least one camera with the at least one light source in the at least one light source position; inputting a virtual recording scene at least with object properties of the object, parameters of the at least one light source and parameters of the virtual recording scene; calculating at least one virtual image of the object with the virtual recording scene; determining deviations of the virtual image from the measured image; if the deviations violate at least one predetermined convergence criterion, changing parameters of the recording scene and/or parameters of the at least one light source and/or object properties of the object and calculating a new virtual image; and iterating the calculation of the virtual image and the determination of the deviations of the virtual image from the measured image until the deviations meet the at least one convergence criterion.
  • the method can also be operated purely by software.
  • an optimal reflection beam distribution can be specified and then the necessary parameters, such as position, alignment, shape or material properties of the object can be optimized accordingly.
  • light beams that are emitted by the at least one light source to the object and light beams that are reflected on at least the object can be tracked on a path into the at least one camera.
  • an inverse ray tracing method can be used in the method for calculating the virtual image of the object.
  • an ideal representation of the examined object can advantageously be assumed and a 2D image can be generated from the 3D scene based on the radiation characteristics of the light source while tracking and reflecting the light rays. The image generated in this way is then compared with the image measured in reality and evaluated using an evaluation function.
  • free parameters of the virtual recording scene can be derived based on properties of the virtual image.
  • the light rays can be traced back using the inverse ray tracing method through a differentiable representation of the virtual recording scene.
  • object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object, position of the object, position of the light source, properties of the light source, mathematically differentiated in order to determine new values for the simulation of the shooting scene.
  • parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • multiple images of the object can be recorded with different positions and angles of the at least one light source and compared with corresponding virtual images.
  • the sun can be used as the light source and multiple images of the object can be recorded at different positions of the sun as positions of the light source.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object to the two-dimensional image can advantageously be solved by taking pictures with changed positions of the light sources.
  • multiple light sources can be used to illuminate the object when recording the at least one image of the object.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object to the two-dimensional image can be solved favorably by recording with multiple light sources.
  • an evaluation function can be used as a convergence criterion.
  • This evaluation function which can also be in the form of a loss function, can be used to evaluate convergence of an optimization method when adapting the simulated images to the measured images.
  • images can be recorded with multiple cameras.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object to the two-dimensional image can also be solved favorably with the aid of recordings from a number of cameras.
  • an image of the object projected onto a projection surface can be recorded with the at least one camera as at least one image of the object.
  • images of the sun as a light source such as those recorded when calibrating heliostats in solar tower power plants, can be used advantageously for measuring the surface of the heliostats.
  • the projection surface can have a matt white surface.
  • An absolutely matt white surface, a so-called Lambertian surface can advantageously be used for indirect imaging of the object surface, for example via illumination with sunbeams.
  • other suitable surfaces are also conceivable.
  • a device for determining object properties of an object, in particular for detecting and/or measuring the object properties of the object, using such a method, comprising at least one light source, at least one camera and at least one computer, the at least a light source is designed to illuminate the object in at least one light source position, and wherein the at least one camera is designed to record at least one image of the object.
  • the at least one computer is designed to analyze image data recorded in a recording scene of a reflection of rays from the light source on the object to be measured and to determine at least one of the object properties.
  • the proposed device enables the determination of object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object by recording reflections of the object at least one camera and a simulation of the recording scene with so-called inverse rendering.
  • object properties of the object such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object by recording reflections of the object at least one camera and a simulation of the recording scene with so-called inverse rendering.
  • a three-dimensional reconstruction of the object is thus generated from the two-dimensional image of the reflection.
  • inverse rendering for example, a simulation of the optical conditions of a scene is generated in a so-called forward step using a classic ray tracing method, also known as ray tracing.
  • An ideal representation of the examined object is assumed and a 2D image is generated from the 3D scene based on the radiation characteristics of the light source while tracking and reflecting the light rays.
  • the image generated in this way is then compared with the image measured in reality and evaluated using an evaluation function.
  • the computer can be designed to set up a virtual recording scene at least with object properties of the object, parameters of the at least one light source, and parameters of the virtual recording scene; to calculate at least one virtual image of the object with the virtual recording scene; determine deviations of the virtual image from the measured image; if the deviations violate at least one predetermined convergence criterion, to change object properties of the object and to determine a new virtual image; iterating the calculation of the virtual image and determining the deviations of the virtual image from the measured image until the deviations meet the at least one convergence criterion.
  • the light rays can be traced back using the inverse ray tracing method through a differentiable representation of the virtual recording scene.
  • This allows free parameters of the simulated geometry to be derived.
  • object properties of the object such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object, position of the light source, properties of the light source, mathematically differentiated in order to determine new values for the simulation of the recording scene in a backward step. This is a common practice in optimization algorithms.
  • An evaluation function used as a convergence criterion can favorably indicate, for example, a difference in the brightness values of the individual pixels of the measured image and of the virtual image. Starting from this point and depending on the extent of the deviation, parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • An iterative optimization process is carried out here, which generates a new image in each step and compares it with the measured image until the evaluation function has reached an optimum as a convergence criterion.
  • the exact position and orientation of the object to be measured can also be optimized with the iterative method using predefined starting values. This allows inaccurate measurements to be compensated.
  • the computer can be designed to track the virtual image of the object by tracking light beams emitted by the at least one light source and light beams reflected by at least the object on a path into the at least one camera to determine.
  • the computer can be designed to determine the virtual image of the object using an inverse ray tracing method.
  • an ideal representation of the examined object can advantageously be assumed and a 2D image can be generated from the 3D scene based on the radiation characteristics of the light source while tracking and reflecting the light rays.
  • the image generated in this way is then compared with the image measured in reality and evaluated using an evaluation function.
  • object properties of the object can include at least one of the following: a surface, a shape of the object, one or more surface properties of the object, a position of the object, an alignment of the object, at least one material property of the object.
  • parameters of the recording scene can include at least one of: position of at least one camera, distance of the object from a carrier of a projection surface, position of an image on the projection surface, position of the projection surface on the carrier. A virtual scene for simulating the measurement can be set up using these parameters.
  • the computer can be designed to derive free parameters of the virtual recording scene according to the evaluation function when changing object properties of the object in order to determine a new virtual image.
  • the light rays can be traced back using the inverse ray tracing method through a differentiable representation of the virtual recording scene.
  • object properties of the object to be measured such as a surface, a shape of the object, one or more surface properties of the object, a position of the object, an orientation of the object, at least one material property of the object, position of the light source, properties of the light source, mathematically differentiated in order to determine new values for the simulation of the shooting scene.
  • parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • the at least one light source can be designed to illuminate the object from different positions and angles in order to record a number of images.
  • the sun can represent the light source and the at least one camera can be designed to record multiple images of the object at different positions of the sun as positions of the light source.
  • a plurality of light sources can advantageously be provided for illuminating the object when the at least one image of the object is recorded.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object to the two-dimensional image can be solved favorably by taking pictures with a plurality of light sources.
  • the convergence criterion can include an evaluation function. This evaluation function, which can also be in the form of a loss function, can be used to evaluate convergence of an optimization method when adapting the simulated images to the measured images.
  • the projection surface can be provided to project an image of the object onto it for recording with the at least one camera.
  • images of the sun as a light source such as those recorded when calibrating heliostats in solar tower power plants, can be used advantageously for measuring the surface of the heliostats.
  • the projection surface can have a matt white surface.
  • An absolutely matt white surface a so-called Lambertian surface, can advantageously be used for an indirect imaging of the object surface, for example via illumination with sunbeams.
  • other suitable surfaces are also conceivable.
  • the method according to the invention can be carried out by means of a correspondingly set up data processing device, for example the device according to the invention for data processing, in particular automatically or semi-automatically.
  • a correspondingly set up data processing device for example the device according to the invention for data processing, in particular automatically or semi-automatically.
  • a conventional computer, a conventional workstation, a mainframe or the like can be used as such a data processing device. Due to the possibility of parallelizing the method, the use of a graphics card can be particularly advantageous.
  • the data processing device can therefore include in particular a processor, a microchip, an integrated circuit, a hardware circuit or the like for executing a computer program or program code that encodes or represents the method. Furthermore, the data processing device can in particular have a volatile and/or non-volatile data memory connected thereto, one or more interfaces for receiving and for outputting data and/or the like. The data processing device can have one or more sub-devices for carrying out the individual method steps of the method according to the invention. These partial devices can be or include corresponding hardware circuits or hardware modules, but also corresponding program parts or program modules of the named computer program, ie for example an operating program for the data processing device.
  • a computer program product which comprises commands or control instructions which, when the program is executed by a computer, in particular a device for data processing or the data processing device mentioned in connection with the method according to the invention, cause this computer to Variant of the method according to the invention, in particular automatically or semi-automatically to perform.
  • a computer program is also proposed which comprises commands or control instructions which, when the program is executed by a computer, in particular a device for data processing or the data processing device mentioned in connection with the method according to the invention, cause this computer to carry out at least one variant of the method according to the invention, in particular automatically or semi-automatically.
  • the method according to the invention can be fully or partially computer-implemented or computer-implementable, ie encoded or represented by such a computer program or a corresponding program code.
  • the computer program product according to the invention can be a computer-readable data carrier on which a corresponding computer program is stored.
  • a device for data processing has means for carrying out at least one variant of the method according to the invention, in particular in an automated or partially automated manner. These means can in particular be the means described in connection with the named data processing device.
  • the device according to the invention can thus in particular have a corresponding processor, a data memory and at least one input and/or output interface.
  • the device according to the invention can include the computer program product according to the invention.
  • the device according to the invention can be set up in particular to carry out the method according to the invention and the method according to the invention can therefore be carried out using the device according to the invention, the device according to the invention can accordingly have some or all of the properties and/or features described in connection with the method according to the invention.
  • FIG. 1 shows a device for determining object properties of an object according to an exemplary embodiment of the invention, a camera recording light reflected directly on the object and emitted by a plurality of light sources;
  • FIG. 2 shows a device for determining object properties of an object according to a further exemplary embodiment of the invention, the camera recording light reflected onto a projection surface, which light is emitted by a plurality of light sources;
  • 3 shows a device for determining object properties of an object according to a further exemplary embodiment of the invention, the object representing a heliostat of a solar tower power plant, the sun being used in a number of positions as a light source;
  • FIG. 4 shows a flow chart of a computer-aided method for determining object properties of an object according to an embodiment of the invention.
  • Fig. 5 is a schematic representation of a
  • Data processing device for executing a computer-aided method for determining object properties of an object according to an embodiment of the invention.
  • FIG. 1 shows a device 100 for determining object properties of an object 20, in particular for detecting and/or measuring the object properties of the object 20, according to an exemplary embodiment of the invention.
  • a camera 30 records light 28 that is reflected directly on the object 20 .
  • the device 100 comprises four light sources 10 spaced apart from one another, which emit light beams 18 onto the object 20 from light source positions correspondingly spaced apart from one another.
  • the device 100 further comprises a camera 30 and at least one computer 50.
  • the camera 30 records at least one image 40 of the object 20.
  • the light sources 10 can be arranged next to one another in a linear arrangement, for example.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object 20 to the two-dimensional image 40 can advantageously be solved by taking pictures with changed positions of light sources 10 or several light sources 10 simultaneously
  • the computer 50 is designed to analyze image data recorded in a recording scene of a reflection of beams from the light source 10 on the object 20 to be measured and to determine at least one of the object properties.
  • the computer is advantageously designed to set up a virtual recording scene at least with object properties of object 20, parameters of the at least one light source 10, and parameters of a virtual recording scene, to calculate at least one virtual image 44_n of object 20 with the virtual recording scene, and to calculate deviations from the virtual To determine the image 44_n from the measured image 40.
  • the index n denotes an nth iteration loop, where n is an integer 1, 2, 3, ....
  • a virtual scene for simulating the measurement can be set up using these parameters.
  • Object properties of the object 20 can include at least one of the following: a surface 22, a shape of the object 20, one or more surface properties of the object 20, a position of the object 20, an orientation of the object 20, at least one material property of the object 20.
  • Parameters of the at least one light source 10 may include at least a type of the at least one light source 10 and a position of the at least one light source 10 .
  • Parameters of the recording scene can include at least one of: position of at least one camera 30, distance of object 20 from a support 60 of a projection surface 32, position of an image 40 on projection surface 32, position of projection surface 32 on support 60.
  • the computer 50 is further designed to change object properties of the object 20 and to determine a new virtual image 44_n+1 if the deviations violate at least one predetermined convergence criterion.
  • the index n+1 denotes an n+1th iteration loop, where n is an integer 1, 2, 3, ....
  • the computer 50 is further designed to iterate the calculation of the virtual image 44_n, 44_n+1 and the determination of the deviations of the virtual image 44_n, 44_n+1 from the measured image 40 until the deviations meet the at least one convergence criterion.
  • the convergence criterion can include an evaluation function, for example. This evaluation function, which can also be in the form of a loss function, can be used to evaluate convergence of an optimization method when adapting the simulated images 44 to the measured images 40
  • a difference in the brightness values of the individual pixels of the measured image 40 and the virtual image 44 can be used as an evaluation function.
  • object properties of the object to be measured 20 such as a surface 22, a shape of the object 20, one or more surface properties of the object 20, a position of the object 20, an orientation of the object 20, at least one material property of the object 20, a position of the light source 10, properties of the light source 10, are mathematically differentiated in order to determine new values for simulating the recording scene.
  • parameters of the virtual recording scene can then be adapted backwards, for example via a mathematical gradient method.
  • the computer 50 is designed to display the virtual image 44 of the object 20 by tracking light beams 18, which are emitted by the at least one light source 10 and light beams 28, which are reflected by at least the object 20, on a path into the camera 30 to determine.
  • the virtual image 44 of the object 20 can thus advantageously be determined using an inverse beam tracing method, also known as ray tracing.
  • an ideal representation of the examined object 20 can advantageously be assumed and a 2D image 44 can be generated from the 3D scene based on the emission characteristics of the light source 10 while tracking and reflecting the light beams 18 , 28 .
  • the image 44 generated in this way is then compared with the image 40 measured in reality and evaluated using an evaluation function.
  • object properties of the object 20 include at least one of the following: a surface 22, a shape of the object 20, one or more surface properties of the object 20, a position of the object 20, an orientation of the object 20, at least one material property of the Object 20.
  • Parameters of the at least one light source 10 include at least one type of the at least one light source 10 and the position of the at least one light source 10.
  • Properties of the virtual recording scene include at least one position of a projection surface 32 and/or the camera 30.
  • the computer 50 is further designed to derive free parameters of the virtual recording scene based on properties of the virtual image when changing object properties of the object 20 to determine a new virtual image 44 .
  • the light source 10 can illuminate the object 20 from different positions and angles for taking multiple images 40 .
  • the sun can be used as light source 10 and multiple images 40 of object 20 can be recorded with camera 30 at different positions of the sun as positions 12 , 14 , 16 of light source 10 .
  • a plurality of cameras 30 for recording images 40 of the object 20 can also advantageously be provided.
  • the problem of underdetermination of the mapping from the three-dimensional geometry of the object 20 to the two-dimensional image 40 can advantageously be solved by recordings with changed positions of the light sources 10 or multiple light sources 10 simultaneously or recordings with multiple cameras 30 .
  • the device 100 shown in FIG. 1 for determining object properties of an object 20 can be used advantageously in industrial production, for example.
  • the conditions are not always ideal for deflectometry to be useful for assessing reflective surfaces.
  • any directed light source 10 such as an LED array or a flashlight, can be directed onto the location to be examined (object 20). This represents a cost-effective and easy-to-handle option for measuring the surface.
  • the inverse rendering method also requires only rough information about where the object 20 is located exactly. If the object 20 is not quite at the defined position, the position can also be determined in the optimization process.
  • a measurement of the surfaces of both components can advantageously be carried out simultaneously, for example at the interface between the fuselage of an aircraft and its wings, at which there is a concave transition. This represents a significant advantage over the previous deflectometric method, where lines can overlap in the worst case and thus make the measurement unusable.
  • FIG. 2 shows a device 100 for measuring at least one surface 22 of an object 20 according to a further exemplary embodiment of the invention.
  • the camera 30 records light reflected on a projection surface 32 .
  • an image 40 of the object 20 is projected onto the projection surface 32 for recording with the camera 30 .
  • the projection surface 32 can advantageously have a matt white surface.
  • the object 20 is illuminated with light beams 18 from a plurality of light sources 10 .
  • the rays 28 reflected on the object 20 fall on the projection surface 32.
  • the image 42 on the projection surface 32 is recorded by the camera 30 in the camera image field 29.
  • the iteration process in the computer 50 for measuring the surface 22 of the object 20 runs as in the previous exemplary embodiment.
  • the virtual recording scene only includes additional parameters of the projection surface 32 for calculating the virtual image 44.
  • FIG. 3 shows a device 100 for measuring at least one surface 22 of an object 20 according to a further exemplary embodiment of the invention.
  • the object 20 represents a mirror 26 of a heliostat 24 of a solar tower power plant with a carrier 60 of a projection surface, for example a solar tower 64.
  • an image of the sun is generated as light source 10 on a projection surface 32 .
  • the focal spot images 42 used here are suitable for use in surface measurement.
  • a camera 30 takes pictures 40 at several positions of the sun, ie light source positions 12, 14, 16.
  • the already described evaluation of the recorded images 40 takes place in the computer 50 by inverse ray tracing.
  • the recordings generated during operation can be used to set up an inverse rendering of the images 44 and to derive the object properties of the heliostat 24 from this. For example, a regular surface measurement is possible in this way.
  • the proposed method has significant advantages over the previously used deflectometry. Measurements of this type can be carried out during the day, so that the sun can be used as the light source 10 .
  • the heliostats 24 can thus be calibrated fully automatically using the computer 50 .
  • the process can be used in existing and future commercial solar tower power plants. No additional hardware is required for existing power plants, so retrofitting of existing power plants is possible.
  • the object 20 is illuminated with at least one light source 10, which is located in at least one light source position.
  • At least one image 40 of the object 20 is recorded with a camera 30 with the at least one light source 10 in its light source position.
  • Image data of a reflection of beams of the light source 10 on the object 20 to be measured are recorded in a recording scene. This image data should be analyzed to determine at least one of the object properties.
  • the recorded image data of the recording scene are compared with simulated image data of the recording scene. At least one of the object properties and/or at least one parameter of the recording scene and/or at least one parameter of the light source 10 is varied in the simulated image data.
  • step S120 of the flow chart shown in FIG. 4 object properties of the object 20, parameters of the at least one light source 10 and parameters of the virtual recording scene are defined.
  • Object properties of object 20 can include at least one of the following: a surface 22, a shape of object 20, one or more surface properties of object 20, a position of object 20, an orientation of object 20, at least one material property of object 20.
  • Parameters of the recording scene can include at least the position of at least one camera 30, the distance of the object 20 from a carrier 60 of a projection surface 32, the position of an image 40 on the projection surface 32, and the position of the projection surface 32 on the carrier 60.
  • Parameters of the light source 10 can include at least one type of the at least one light source 10, a position 12, 14, 16 of the at least one light source 10.
  • the parameters defined in step S120 are added to a virtual recording scene in step S100.
  • step S102 at least one virtual image 44, 44_n of the object 20 is calculated with the virtual recording scene.
  • Calculating the virtual image 44 of the object 20 includes tracking light rays 18, which are emitted from the light source to the object 20 and light rays 28, which are reflected at least on the object 20, on a path into the camera 30. In particular, this includes Calculating the virtual image 44 of the object 20 an inverse ray tracing method.
  • the image 40 measured in the same light source position is loaded into the computer 50 in step S104.
  • an image 44 that has already been pre-simulated can also be loaded into the computer 50 .
  • a plurality of images 40 of the object 20 with different positions and angles of the at least one light source 10 can also be recorded and compared with corresponding virtual images 44 .
  • the sun can be used as the light source 10 and multiple images 40 of the object 20 can be recorded at different positions of the sun as positions 12 , 14 , 16 of the light source 10 .
  • a plurality of light sources 10 can also be used to illuminate the object 20 when the at least one image 40 of the object 20 is recorded.
  • multiple images 40 can be recorded with multiple cameras 30 .
  • an image 42 of the object 20 projected onto a projection surface 32 can be recorded with the camera 30 as at least one image 40 of the object 20 .
  • the image 42 corresponds to the focal spot 62.
  • the projection surface 32 can advantageously have a matt white surface.
  • Deviations of the virtual image 44, 44_n from the measured image 40 are determined when comparing the virtual image 44, 44_n with the measured image 40 and/or with the pre-simulated image 44 in step S106. If the deviations violate at least one predetermined convergence criterion, parameters of the recording scene and/or parameters of the at least one light source 10 and/or object properties of objects 20 are changed and a new virtual image 44, 44_n+1 is calculated.
  • An evaluation function can advantageously be used as a convergence criterion.
  • step S108 it is checked whether the specified convergence criterion is met. If this is the case, the object properties of the object 20 are saved in step S110.
  • step S112 object properties such as parameters of the surface 22 of the object 20 are changed, for example using a gradient method known per se, and the calculation of the virtual image 44, 44_n+1 is repeated in step S102.
  • object properties of the object 20 to determine a new virtual image 44, 44_n+1 properties of the virtual image 44 can be derived according to free parameters of the virtual recording scene.
  • object properties of the object 20 to be measured such as a surface 22, a shape of the object 20, one or more surface properties of the object 20, a position of the object 20, an orientation of the Object 20, at least one material property of object 20, position of light source 10, properties of light source 10, mathematically differentiated in order to determine new values for simulating the recording scene. This is a common practice in optimization algorithms.
  • the evaluation function used as a convergence criterion can favorably indicate, for example, a difference in the brightness values of the individual pixels of the measured image 40 and of the virtual image 44 .
  • parameters of the virtual recording scene can then be adapted backwards, for example using a mathematical gradient method.
  • the calculation of the virtual image 44, 44_n and the determination of the deviations of the virtual image 44, 44_n, 44_n+1 from the measured image 40 is iterated until the deviations meet the at least one convergence criterion.
  • ReflectingObject ⁇ Load ideally shaped discretized object
  • Bitmap ⁇ Create array with same height, width, resolution as CameraPlane
  • Scheduler ⁇ ChooseScheduler; for Epochs do for (Image, LightPosition) in (Images, LightPositions) do for (NormalVector, DiscretePoint) on ReflectingObject do Rays ⁇ — GenerateRays(NumRays, LightPosition,
  • Bitmap ⁇ UpdateBitmap(intersection); end end end end
  • the pseudo-code describes a function for optimizing object properties of an object (OptimizeObject), which takes as input parameters a number of image scenes (Epochs), images (Images), light source positions (LightPositions), light distribution (LightDistribution), a number of light rays ( NumRays) and a camera plane (CameraPlane).
  • OptimizeObject takes as input parameters a number of image scenes (Epochs), images (Images), light source positions (LightPositions), light distribution (LightDistribution), a number of light rays ( NumRays) and a camera plane (CameraPlane).
  • An ideally formed discretized object is loaded (ReflectingObject).
  • parameters of the recording scene and/or the light source (environment) are loaded.
  • a matrix with the same height, width, resolution as the camera plane (bitmap) is created.
  • An optimizer function is selected, a scheduler is selected.
  • the calculations are iterated over the number of image scenes, images and light source positions, light beam parameters. In each case, an evaluation function (loss) is calculated as a convergence criterion. After a gradient method (gradient), new changed object properties of the object are determined. The object properties are updated iteratively (UpdateObjectProperties).
  • Figure 6 shows a schematic representation of a data processing device 500, for example a computer 50, for executing a method for determining object properties of an object 20.
  • the data processing device 500 has a data memory 514, a processor 512 connected thereto and an interface 516 connected thereto receiving and outputting data. Furthermore, the data processing device 500 has an interface to external devices 518, such as a network or an external storage system.
  • a computer program 520 that implements the method is stored here on the data memory 514 .
  • Corresponding program modules 522 represent the method steps as shown in FIG.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein computergestütztes Verfahren zum Bestimmen von Objekteigenschaften eines in einer Aufnahmeszene durch eine Lichtquelle (10) beleuchteten, zu vermessenden Objekts (20), insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften, wobei die Objekteigenschaften wenigstens eine der folgenden umfassen: eine Oberfläche (22), eine Form des Objekts (20), eine oder mehrere Oberflächeneigenschaften des Objekts (20), eine Position des Objekts (20), eine Ausrichtung des Objekts (20), wenigstens eine Materialeigenschaft des Objekts (20), wobei in der Aufnahmeszene Bilddaten einer Reflexion von Strahlen der Lichtquelle (10) an dem zu vermessenden Objekt (20) aufgenommen und zur Bestimmung wenigstens einer der Objekteigenschaften analysiert werden. Ferner betrifft die Erfindung eine Vorrichtung (100) zum Bestimmen von Objekteigenschaften eines Objekts.

Description

Beschreibung
Titel
Computergestütztes Verfahren und Vorrichtung zum Bestimmen von Objekteigenschaften wenigstens eines Objekts in einer Aufnahmeszene
Stand der Technik
Die Erfindung betrifft ein computergestütztes Verfahren zum Bestimmen von Objekteigenschaften eines in einer Aufnahmeszene durch eine Lichtquelle beleuchteten, zu vermessenden Objekts, insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften, wobei die Objekteigenschaften wenigstens eine der folgenden umfassen: eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objekts. Die Erfindung betrifft ferner eine Vorrichtung zum Bestimmen von Objekteigenschaften eines Objekts, insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften des Objekts, sowie ein Computerprogrammprodukt und eine Vorrichtung zur Datenverarbeitung.
Die Deflektometrie mittels Streifenmustern ist ein seit langem eingesetztes Verfahren zum Vermessen von Oberflächen von Objekten in den verschiedensten Labor- und Industrieanwendungen. Beispielsweise wird es üblicherweise zur Vermessung von Spiegeln und optischen Linsen verwendet. Hierbei werden parallele Streifen auf das zu untersuchende Objekt projiziert und deren Reflexion aufgenommen. Aus den Verzerrungen des reflektierten Bildes lassen sich über geometrische Zusammenhänge Rückschlüsse auf dessen Oberfläche ziehen. Dieses Verfahren kommt auch in vielen industriellen Prozessen zum Einsatz, etwa in der Auto- und Flugzeugproduktion. Es kann auch an Solarturmkraftwerken eingesetzt werden.
Solarturmkraftwerke fokussieren gezielt einfallendes Sonnenlicht auf einen sogenannten Receiver, um über die entstehende Wärme Strom zu generieren. Das Umlenken der Sonnenstrahlen auf den Receiver geschieht über motorisierte Spiegel sogenannter Heliostate. Jeder dieser Heliostate hat seine eigenen individuellen Fehler, beispielsweise Spiegelfehler, welche dessen Brennfleck und Ausrichtung und damit die Wärmeverteilung auf dem Receiver beeinflussen. Um diese Verformung beispielsweise in Simulationen berücksichtigen zu können, werden deflektometrische Messungen vorgenommen.
Die Deflektometrie kann bei manchen Anwendungen nur eingeschränkt eingesetzt werden. Beispielsweise bei stark konkaven Oberflächen können diese dazu führen, dass sich Linien überlappen und die Messung unbrauchbar machen. Weiter kann es bei ungenauen Positionsangaben zu Fehlern kommen. Kommt es beispielsweise bei transparenten Materialien zu Mehrfachreflexion, so überlappen mehrere Reflexionen der Streifenmuster, die mit dem klassischen Verfahren nicht eindeutig lösbar sind.
Um den Ausrichtungsfehler, auch Tracking-Fehler genannt, zu möglichst gering zu halten, müssen die Heliostate regelmäßig kalibriert werden. Dies geschieht in der Regel so, dass der Brennfleck eines einzelnen Heliostaten vom Receiver auf eine weiße Projektionsfläche gefahren wird. Die Position des Brennflecks auf der Projektionsfläche, der zugehörige Sonnenstand und die Motorposition werden aufgezeichnet und abgespeichert. Mittels dieser Messpunkte kann die Abweichung des realen Heliostaten zu einem theoretisch idealen Heliostaten über eine mathematisch-physikalische Regression ermittelt werden. Speziell an Solartürmen wird Streifen-Deflektometrie seit langem eingesetzt. Das Verfahren konnte trotz eines Bedarfs nach einer genauen Heliostatvermessung bisher nicht voll automatisiert werden. Gründe dafür, sind u.a. die ungenaue Vermessung der Heliostatposition und/oder Ausrichtung, sowie Schmutzbildung oder Taubildung, wobei letztere auftritt, da das Verfahren aufgrund des benötigten Projektors nur nachts durchgeführt werden kann. Insgesamt ist die Deflektometrie mit hohem Personalaufwand und damit hohen Kosten verbunden und wird daher in der industriellen Praxis wenig genutzt.
Offenbarung der Erfindung
Die Aufgabe der Erfindung ist es, ein effizientes Verfahren zum Bestimmen von Objekteigenschaften wenigstens eines Objekts in einer Aufnahmeszene anzugeben.
Eine weitere Aufgabe ist es, eine Vorrichtung zum Bestimmen von Objekteigenschaften wenigstens eines Objekts in einer Aufnahmeszene mittels eines solchen effizienten Verfahrens bereitzustellen.
Eine weitere Aufgabe ist es, ein Computerprogrammprodukt, umfassend Befehle zur Ausführung eines solchen Verfahrens bereitzustellen.
Eine weitere Aufgabe ist es, eine Vorrichtung zur Datenverarbeitung zur Ausführung eines solchen Verfahrens bereitzustellen.
Die Aufgaben werden durch die Merkmale der unabhängigen Ansprüche gelöst. Günstige Ausgestaltungen und Vorteile der Erfindung ergeben sich aus den weiteren Ansprüchen, der Beschreibung und der Zeichnung. Nach einem Aspekt der Erfindung wird ein computergestütztes Verfahren zum Bestimmen von Objekteigenschaften eines in einer Aufnahmeszene durch eine Lichtquelle beleuchteten, zu vermessenden Objekts, insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften, wobei die Objekteigenschaften wenigstens eine der folgenden umfassen: eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objekts, wobei in der Aufnahmeszene Bilddaten einer Reflexion von Strahlen der Lichtquelle an dem zu vermessenden Objekt aufgenommen und zur Bestimmung wenigstens einer der Objekteigenschaften analysiert werden.
Da die Deflektometrie zur Vermessung einer Objektoberfläche auf geometrischer Optik beruht, muss bei der Messung das Streifenbild-Muster eines Projektors verwendet werden. Grundsätzlich sind aber in jeder betrachteten Reflexion alle Informationen über die Spiegeloberfläche, deren Position und/oder Reflektivität und die Lichtquelle in Form einer mathematischen Faltung vorhanden. Dadurch kann auf jede beliebige definierte Lichtquelle zurückgegriffen werden. Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objektslassen lassen sich prinzipiell mit beliebigen Lichtquellen rekonstruieren, falls diese ausreichend gut charakterisiert sind.
Die Heliostatkalibration beispielsweise ist eine einfach durchzuführende, günstige und genaue Methode um die Fehlstellung des Heliostaten zu bestimmen. Ihre gespeicherten Daten können bisher jedoch nicht für andere Zwecke sinnvoll verwendet werden. Mit dem erfindungsgemäßen Verfahren können die gespeicherten Daten der Heliostatkalibration sinnvoll verwendet werden. Nach einer günstigen Ausgestaltung des Verfahrens können zum Bestimmen wenigstens einer der Objekteigenschaften die aufgenommenen Bilddaten der Aufnahmeszene mit simulierten Bilddaten der Aufnahmeszene verglichen werden, wobei in den simulierten Bilddaten wenigstens eine der Objekteigenschaften und/oder wenigstens ein Parameter der Aufnahmeszene und/oder wenigstens ein Parameter der Lichtquelle variiert werden.
Um beispielsweise Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objekts berechnen zu können, wird bei dem erfindungsgemäßen Verfahren ein sogenanntes inverses Rendern verwendet. Dabei wird aus dem zweidimensionalen Bild der Reflexion eine dreidimensionale Rekonstruktion des Objekts erzeugt. Beispielsweise mittels eines klassischen Strahlverfolgungsverfahrens (auch als Raytracing-Verfahren bekannt) als einer Anwendung des inversen Renderns kann im sogenannten Vorwärtsschritt eine Simulation der optischen Gegebenheiten einer Szene erzeugt werden. Es wird dabei eine ideale Darstellung des untersuchten Objekts, hier beispielsweise eines Heliostaten, angenommen und anhand der Abstrahlcharakteristik der Lichtquelle unter Verfolgung und Reflexion der Lichtstrahlen ein 2D-Bild aus der 3D-Szene erzeugt. Das so erzeugte Bild wird daraufhin mit dem in Realität gemessenen Bild verglichen und über eine Bewertungsfunktion bewertet. Die Besonderheit des inversen Raytracings liegt darin, dass mit der Bewertungsfunktion nach freien Parametern der simulierten Geometrie abgeleitet werden kann. Dabei werden bei der Berechnung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Matenaleigenschaft des Objekts und/oder Position der Lichtquelle und/oder Eigenschaften der Lichtquelle, mathematisch differenziert, um daraus in einem Rückwärtsschritt neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Dies stellt ein bei Optimierungsalgorithmen übliches Vorgehen dar.
Im Gegensatz zu solchen bekannten Verfahren wird das zu vermessende Objekt durch die Kamera nicht direkt beobachtet, sondern nur die Reflexion der Strahlen der ausgewählten, beliebigen Lichtquelle.
Günstigerweise kann eine als Konvergenzkriterium verwendete Bewertungsfunktion beispielsweise eine Differenz der Helligkeitswerte der einzelnen Pixel des gemessenen Bildes und des virtuellen Bildes angeben. Von diesem Punkt ausgehend und abhängig vom Maß der Abweichung können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Auf diese Weise wird ein iteratives Optimierungsverfahren durchgeführt, das in jedem Schritt ein neues Bild erzeugt und mit dem gemessenen Bild vergleicht, bis die Bewertungsfunktion als Konvergenzkriterium ein Optimum erreicht hat. Insbesondere können bei dem iterativen Verfahren Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Matenaleigenschaft des Objekts anhand vorgegebener Startwerte optimiert werden. Hierdurch können ungenaue Messungen kompensiert werden.
Bei der Abbildungsfunktion beispielsweise der dreidimensionalen Objektoberfläche nach der zweidimensionalen Reflexion handelt es sich nicht um eine eindeutige Abbildung, es liegt also keine Bijektivität vor. Das Problem ist mathematisch unterbestimmt. Um das Problem der Unterbestimmung zu reduzieren, kann die Position und der Winkel der Lichtquelle verändert werden, beispielsweise durch ein LED Array, oder wechselnde Sonnenpositionen. Die zusätzlichen Bilder können gleichzeitig in der Bewertungsfunktion ausgewertet werden, indem die Summe über die zur Verfügung stehenden Bilder gebildet wird. So können Uneindeutigkeiten aufgelöst bzw. verringert werden.
Durch eine differenzierbare Darstellung der virtuellen Aufnahmeszene können mittels der inversen Raytracing-Methode die Lichtstrahlen rückverfolgt werden. Dabei werden bei der Berechnung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objekts, eine Position der Lichtquelle, Eigenschaften der Lichtquelle, mathematisch differenziert, um daraus neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Abhängig vom Maß der Abweichung zwischen gemessenem und virtuellem Bild können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden. Optional können bei einem Verfahren zum inversen Rendern statt einer Differenzierbarkeit gegebenenfalls neuronale Netze oder einfache Logikschaltungen eingesetzt werden.
Nach einer günstigen Ausgestaltung des Verfahrens können Parameter der Aufnahmeszene wenigstens eines umfassen von: Position wenigstens einer Kamera, Abstand des Objekts von einem Träger einer Projektionsfläche, Position eines Bildes auf der Projektionsfläche, Position der Projektionsfläche am Träger. Alternativ oder zusätzlich können Parameter der Lichtquelle wenigstens umfassen: eine Art der wenigstens einen Lichtquelle, eine Position der wenigstens einen Lichtquelle.
Das vorgeschlagene Verfahren ist besonders vorteilhaft, wenn die Umgebungsbedingungen und/oder Produktionsbedingungen bei der Erzeugung der Bilder, beispielsweise bei inexakter Positionierung der wenigstens einen Lichtquelle, inexakter Position des Objekts und dergleichen, von idealen Messbedingungen abweichen, etwa in industriellen Anlagen.
Durch das vorgeschlagene Verfahren fallen viele Beschränkungen der üblichen Streifen-Deflektometrie beim Vermessen einer Objektoberfläche weg. Statt eines Projektors reicht eine beliebige, definierte Lichtquelle. Dies ermöglicht es, die Komplexität eines Messaufbaus stark zu reduzieren. Auch die Position und/oder die Ausrichtung und/oder die Matenaleigenschaft, beispielsweise die Reflektivität des untersuchten Objekts muss nicht eindeutig festgelegt sein und kann mit optimiert werden. Zusätzlich können stark konkav geformte Bauteile mit dem Verfahren vorteilhaft vermessen werden. Nach einer günstigen Ausgestaltung kann das Verfahren wenigstens umfassen: ein Beleuchten des Objekts mit der wenigstens einen Lichtquelle in wenigstens einer Lichtquellen-Position; ein Aufnehmen wenigstens des Bildes des Objekts mit der wenigstens einen Kamera mit der wenigstens einen Lichtquelle in der wenigstens einen Lichtquellen-Position; ein Eingeben einer virtuellen Aufnahmeszene wenigstens mit Objekteigenschaften des Objekts, Parametern der wenigstens einen Lichtquelle und Parametern der virtuellen Aufnahmeszene; ein Berechnen wenigstens eines virtuellen Bildes des Objekts mit der virtuellen Aufnahmeszene; ein Bestimmen von Abweichungen des virtuellen Bildes von dem gemessenen Bild; wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, Verändern von Parametern der Aufnahmeszene und/oder von Parametern der wenigstens einen Lichtquelle und/oder von Objekteigenschaften des Objekts und Berechnen eines neuen virtuellen Bildes; und ein Iterieren des Berechnens des virtuellen Bildes und des Bestimmens der Abweichungen des virtuellen Bildes von dem gemessenen Bild, bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen.
Vorteilhaft kann das Verfahren auch rein softwareseitig betrieben werden. So kann etwa eine optimale Reflexions-Strahlenverteilung vorgegeben und daraufhin die dafür nötigen Parameter, etwa Position, Ausrichtung, Form oder Materialeigenschaften des Objekts dahingehend optimiert werden.
Nach einer günstigen Ausgestaltung des Verfahrens können zum Berechnen des virtuellen Bildes des Objekts Lichtstrahlen, die von der wenigstens einen Lichtquelle zum Objekt ausgesendet werden und Lichtstrahlen, die an wenigstens dem Objekt reflektiert werden, auf einem Weg in die wenigstens eine Kamera verfolgt werden. Insbesondere kann in dem Verfahren zum Berechnen des virtuellen Bildes des Objekts ein inverses Strahlverfolgungsverfahren eingesetzt werden. Vorteilhaft kann so eine ideale Darstellung des untersuchten Objekts angenommen und anhand der Abstrahlcharakteristik der Lichtquelle unter Verfolgung und Reflexion der Lichtstrahlen ein 2D-Bild aus der 3D-Szene erzeugt werden. Das so erzeugte Bild wird daraufhin mit dem in Realität gemessenen Bild verglichen und über eine Bewertungsfunktion bewertet.
Nach einer günstigen Ausgestaltung des Verfahrens können bei einem Verändern von Objekteigenschaften des Objekts zur Bestimmung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene nach Eigenschaften des virtuellen Bildes abgeleitet werden. Durch eine differenzierbare Darstellung der virtuellen Aufnahmeszene können mittels der inversen Raytracing-Methode die Lichtstrahlen rückverfolgt werden. Dabei werden bei der Berechnung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Matenaleigenschaft des Objekts, Position des Objekts, Position der Lichtquelle, Eigenschaften der Lichtquelle, mathematisch differenziert, um daraus neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Abhängig vom Maß der Abweichung zwischen gemessenem und virtuellem Bild können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Nach einer günstigen Ausgestaltung des Verfahrens können mehrere Bilder des Objekts mit unterschiedlichen Positionen und Winkeln der wenigstens einen Lichtquelle aufgenommen und mit entsprechenden virtuellen Bildern verglichen werden. Insbesondere kann dabei als Lichtquelle die Sonne verwendet werden und mehrere Bilder des Objekts bei unterschiedlichen Sonnenständen als Positionen der Lichtquelle aufgenommen werden. Durch Aufnahmen mit veränderten Positionen der Lichtquellen kann vorteilhaft das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild gelöst werden.
Vorteilhaft können mehrere Lichtquellen zum Beleuchten des Objekts bei der Aufnahme des wenigstens einen Bildes des Objekts verwendet werden. Durch Aufnahmen mit mehreren Lichtquellen kann das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild günstig gelöst werden.
Nach einer günstigen Ausgestaltung des Verfahrens kann als Konvergenzkriterium eine Bewertungsfunktion eingesetzt werden. Mittels dieser Bewertungsfunktion, welche auch als Verlustfunktion ausgebildet sein kann, lässt sich eine Konvergenz eines Optimierungsverfahrens bei der Anpassung der simulierten Bilder an die gemessenen Bilder bewerten.
Vorteilhaft können Bilder mit mehreren Kameras aufgenommen werden. Auch mit Hilfe von Aufnahmen von mehreren Kameras kann das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild günstig gelöst werden.
Nach einer günstigen Ausgestaltung des Verfahrens kann als wenigstens ein Bild des Objekts ein auf eine Projektionsfläche abgebildetes Bild des Objekts mit der wenigstens einen Kamera aufgenommen werden. Hierbei können insbesondere Abbilder der Sonne als Lichtquelle, wie sie beispielsweise bei der Kalibration von Heliostaten in Solarturmkraftwerken aufgenommen werden, vorteilhaft für die Oberflächenvermessung der Heliostate verwendet werden. Insbesondere kann die Projektionsfläche eine matte weiße Oberfläche aufweisen. Für eine indirekte Abbildung der Objektoberfläche, beispielsweise über Beleuchtung mit Sonnenstrahlen, kann vorteilhaft beispielsweise eine absolut matte weiße Oberfläche, eine sogenannte Lambert’sche Oberfläche, eingesetzt werden. Es sind jedoch auch andere geeignete Oberflächen denkbar.
Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Bestimmen von Objekteigenschaften eines Objekts, insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften des Objekts, mit einem solchen Verfahren vorgeschlagen, umfassend wenigstens eine Lichtquelle, wenigstens eine Kamera und wenigstens einen Computer, wobei die wenigstens eine Lichtquelle zum Beleuchten des Objekts in wenigstens einer Lichtquellen-Position ausgebildet ist, und wobei die wenigstens eine Kamera zum Aufnehmen wenigstens eines Bildes des Objekts ausgebildet ist. Dabei ist der wenigstens eine Computer ausgebildet, in einer Aufnahmeszene aufgenommene Bilddaten einer Reflexion von Strahlen der Lichtquelle an dem zu vermessenden Objekt und zur Bestimmung wenigstens einer der Objekteigenschaften zu analysieren.
Die vorgeschlagene Vorrichtung ermöglicht das Bestimmen von Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objektsüber eine Aufnahme von Reflexionen des Objekts mit wenigstens einer Kamera und einer Simulation der Aufnahmeszene mit sogenanntem inversem Rendern. Es wird also aus dem zweidimensionalen Bild der Reflexion eine dreidimensionale Rekonstruktion des Objekts erzeugt. Beim inversen Rendern wird beispielsweise anhand eines klassischen Strahlverfolgungsverfahrens, auch bekannt als Raytracing, im sogenannten Vorwärtsschritt eine Simulation der optischen Gegebenheiten einer Szene erzeugt.
Es wird dabei eine ideale Darstellung des untersuchten Objekts angenommen und anhand der Abstrahlcharakteristik der Lichtquelle unter Verfolgung und Reflexion der Lichtstrahlen ein 2D-Bild aus der 3D-Szene erzeugt. Das so erzeugte Bild wird daraufhin mit dem in Realität gemessenen Bild verglichen und über eine Bewertungsfunktion bewertet.
Nach einer günstigen Ausgestaltung der Vorrichtung kann der Computer ausgebildet sein, eine virtuelle Aufnahmeszene wenigstens mit Objekteigenschaften des Objekts, Parametern der wenigstens einen Lichtquelle, und Parametern der virtuellen Aufnahmeszene aufzusetzen; wenigstens ein virtuelles Bildes des Objekts mit der virtuellen Aufnahmeszene zu berechnen; Abweichungen des virtuellen Bildes von dem gemessenen Bild zu bestimmen; wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, Objekteigenschaften des Objekts zu verändern und ein neues virtuelles Bild zu bestimmen; das Berechnen des virtuellen Bildes und das Bestimmen der Abweichungen des virtuellen Bildes von dem gemessenen Bild zu iterieren, bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen.
Durch eine differenzierbare Darstellung der virtuellen Aufnahmeszene können mittels der inversen Raytracing-Methode die Lichtstrahlen rückverfolgt werden. Dadurch können freie Parameter der simulierten Geometrie abgeleitet werden kann. Dabei werden bei der Berechnung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Matenaleigenschaft des Objekts, Position der Lichtquelle, Eigenschaften der Lichtquelle, mathematisch differenziert, um daraus in einem Rückwärtsschritt neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Dies stellt ein bei Optimierungsalgorithmen übliches Vorgehen dar.
Günstigerweise kann eine als Konvergenzkriterium verwendete Bewertungsfunktion beispielsweise eine Differenz der Helligkeitswerte der einzelnen Pixel des gemessenen Bildes und des virtuellen Bildes angeben. Von diesem Punkt ausgehend und abhängig vom Maß der Abweichung können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Hierbei wird ein iteratives Optimierungsverfahren durchgeführt, das in jedem Schritt ein neues Bild erzeugt und mit dem gemessenen Bild vergleicht, bis die Bewertungsfunktion als Konvergenzkriterium ein Optimum erreicht hat.
Insbesondere kann bei dem iterativen Verfahren auch die genaue Position und Orientierung des zu vermessenden Objekts anhand vorgegebener Startwerte optimiert werden. Hierdurch können ungenaue Messungen kompensiert werden. Nach einer günstigen Ausgestaltung der Vorrichtung kann der Computer ausgebildet sein, das virtuelle Bild des Objekts mittels Verfolgen von Lichtstrahlen, die von der wenigstens einen Lichtquelle ausgesendet sind und von Lichtstrahlen, die an wenigstens dem Objekt reflektiert sind, auf einem Weg in die wenigstens eine Kamera zu bestimmen. Insbesondere kann dabei der Computer ausgebildet sein, das virtuelle Bild des Objekts mittels eines inversen Raytracing-Verfahrens zu bestimmen.
Vorteilhaft kann so eine ideale Darstellung des untersuchten Objekts angenommen und anhand der Abstrahlcharakteristik der Lichtquelle unter Verfolgung und Reflexion der Lichtstrahlen ein 2D-Bild aus der 3D-Szene erzeugt werden. Das so erzeugte Bild wird daraufhin mit dem in Realität gemessenen Bild verglichen und über eine Bewertungsfunktion bewertet.
Nach einer günstigen Ausgestaltung der Vorrichtung können Objekteigenschaften des Objekts wenigstens eine der folgenden umfassen: eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Materialeigenschaft des Objekts. Weiter können Parameter der Aufnahmeszene wenigstens eines umfassen von: Position wenigstens einer Kamera, Abstand des Objekts von einem Träger einer Projektionsfläche, Position eines Bildes an der Projektionsfläche, Position der Projektionsfläche am Träger. Mittels dieser Parameter kann eine virtuelle Szene für die Simulation der Messung aufgebaut werden.
Nach einer günstigen Ausgestaltung der Vorrichtung kann der Computer ausgebildet sein, beim Verändern von Objekteigenschaften des Objekts zur Bestimmung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene nach der Bewertungsfunktion abzuleiten. Durch eine differenzierbare Darstellung der virtuellen Aufnahmeszene können mittels der inversen Raytracing-Methode die Lichtstrahlen rückverfolgt werden. Dabei werden bei der Berechnung eines neuen virtuellen Bildes freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts wie eine Oberfläche, eine Form des Objekts, eine oder mehrere Oberflächeneigenschaften des Objekts, eine Position des Objekts, eine Ausrichtung des Objekts, wenigstens eine Matenaleigenschaft des Objekts, Position der Lichtquelle, Eigenschaften der Lichtquelle, mathematisch differenziert, um daraus neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Abhängig vom Maß der Abweichung zwischen gemessenem und virtuellem Bild können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Nach einer günstigen Ausgestaltung der Vorrichtung kann die wenigstens eine Lichtquelle ausgebildet sein, das Objekt aus unterschiedlichen Positionen und Winkeln zur Aufnahme mehrerer Bilder auszuleuchten. Insbesondere kann die Sonne die Lichtquelle darstellen und die wenigstens eine Kamera ausgebildet sein, mehrere Bilder des Objekts bei unterschiedlichen Sonnenständen als Positionen der Lichtquelle aufzunehmen. Durch Aufnahmen mit veränderten Positionen der Lichtquellen kann vorteilhaft das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild gelöst werden.
Vorteilhaft können mehrere Lichtquellen zum Beleuchten des Objekts bei der Aufnahme des wenigstens einen Bildes des Objekts vorgesehen sein. Durch Aufnahmen mit mehreren Lichtquellen kann das Problem einer Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild günstig gelöst werden. Nach einer günstigen Ausgestaltung der Vorrichtung kann das Konvergenzkriterium eine Bewertungsfunktion umfassen. Mittels dieser Bewertungsfunktion, welche auch als Verlustfunktion ausgebildet sein kann, lässt sich eine Konvergenz eines Optimierungsverfahrens bei der Anpassung der simulierten Bilder an die gemessenen Bilder bewerten.
Vorteilhaft können mehrere Kameras zur Aufnahme von Bildern des Objekts vorgesehen sein. Auch mit Hilfe von Aufnahmen von mehreren Kameras lässt sich das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts auf das zweidimensionale Bild lösen.
Nach einer günstigen Ausgestaltung der Vorrichtung kann die Projektionsfläche vorgesehen sein, ein Bild des Objekts zur Aufnahme mit der wenigstens einen Kamera darauf abzubilden. Hierbei können insbesondere Abbilder der Sonne als Lichtquelle, wie sie beispielsweise bei der Kalibration von Heliostaten in Solarturmkraftwerken aufgenommen werden, vorteilhaft für die Oberflächenvermessung der Heliostate verwendet werden.
Insbesondere kann die Projektionsfläche eine matte weiße Oberfläche aufweisen. Für eine indirekte Abbildung der Objektoberfläche, beispielsweise über Beleuchtung mit Sonnenstrahlen, kann vorteilhaft beispielsweise eine absolut matte weiße Oberfläche, eine sogenannte Lambert’sche Oberfläche, eingesetzt werden. Es sind jedoch auch andere geeignete Oberflächen denkbar.
Das erfindungsgemäße Verfahren kann mittels einer entsprechend eingerichteten Datenverarbeitungseinrichtung, beispielsweise der erfindungsgemäßen Vorrichtung zur Datenverarbeitung, insbesondere automatisch oder teilautomatisch, durchgeführt werden. Als derartige Datenverarbeitungseinrichtung kann beispielsweise ein herkömmlicher Computer, eine herkömmliche Workstation, ein Großrechner oder dergleichen verwendet werden. Aufgrund der Möglichkeit der Parallelisierung des Verfahrens kann die Verwendung einer Grafikkarte besonders vorteilhaft sein.
Die Datenverarbeitungseinrichtung kann also insbesondere einen Prozessor, einen Mikrochip, eine integrierte Schaltung, eine Hardwareschaltung oder dergleichen zum Ausführen eines das Verfahren kodierenden oder repräsentierenden Computerprogramms oder Programmcodes umfassen. Weiter kann die Datenverarbeitungseinrichtung insbesondere einen damit verbundenen flüchtigen und/oder nicht-flüchtigen Datenspeicher, eine oder mehrere Schnittstellen zum Empfangen und zum Ausgeben von Daten und/oder dergleichen mehr aufweisen. Die Datenverarbeitungseinrichtung kann eine oder mehrere Teileinrichtungen zum Ausführen der einzelnen Verfahrensschritte des erfindungsgemäßen Verfahrens aufweisen. Diese Teileinrichtungen können entsprechende Hardwareschaltungen oder Hardwaremodule, aber ebenso entsprechende Programmteile oder Programmmodule des genannten Computerprogramms, also beispielsweise eines Betriebsprogramms für die Datenverarbeitungseinrichtung, sein oder umfassen.
Nach einem weiteren Aspekt der Erfindung wird ein Computerprogrammprodukt vorgeschlagen, das Befehle oder Steueranweisungen umfasst, die bei der Ausführung des Programms durch einen Computer, insbesondere eine Vorrichtung zur Datenverarbeitung oder die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Datenverarbeitungseinrichtung, diesen Computer dazu veranlasst, zumindest eine Variante des erfindungsgemäßen Verfahrens, insbesondere automatisch oder teilautomatisch, auszuführen. Ebenso wird ein Computerprogramm vorgeschlagen, das Befehle oder Steueranweisungen umfasst, die bei der Ausführung des Programms durch einen Computer, insbesondere eine Vorrichtung zur Datenverarbeitung oder die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Datenverarbeitungseinrichtung, diesen Computer dazu veranlasst, zumindest eine Variante des erfindungsgemäßen Verfahrens, insbesondere automatisch oder teilautomatisch, auszuführen.
Das erfindungsgemäße Verfahren kann dementsprechend also ganz oder teilweise computerimplementiert oder computerimplementierbar sein, also durch ein solches Computerprogramm oder einen entsprechenden Programmcode kodiert oder repräsentiert werden. Ebenso kann das erfindungsgemäße Computerprogrammprodukt ein computerlesbarer Datenträger sein, auf dem ein entsprechendes Computerprogramm gespeichert ist.
Nach einem weiteren Aspekt der Erfindung wird eine Vorrichtung zur Datenverarbeitung vorgeschlagen. Diese Vorrichtung weist Mittel zum, insbesondere automatisierten oder teilautomatisierten, Ausführen zumindest einer Variante des erfindungsgemäßen Verfahrens auf. Diese Mittel können insbesondere die im Zusammenhang mit der genannten Datenverarbeitungseinrichtung beschriebenen Mittel sein. Die erfindungsgemäße Vorrichtung kann zum Ausführen des Verfahrens beziehungsweise des entsprechenden Computerprogramms oder Programmcodes also insbesondere einen entsprechenden Prozessor, einen Datenspeicher und wenigstens eine Eingabe- und/oder Ausgabeschnittstelle aufweisen. Insbesondere kann die erfindungsgemäße Vorrichtung das erfindungsgemäße Computerprogrammprodukt umfassen. Da die erfindungsgemäße Vorrichtung also insbesondere zum Ausführen des erfindungsgemäßen Verfahrens eingerichtet sein kann und das erfindungsgemäße Verfahren also mittels der erfindungsgemäßen Vorrichtung ausgeführt werden kann, kann die erfindungsgemäße Vorrichtung entsprechend einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren beschriebenen Eigenschaften und/oder Merkmale aufweisen.
Zeichnung
Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In den Figuren sind Ausführungsbeispiele der Erfindung dargestellt. Die Figuren, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen.
Es zeigen beispielhaft in schematischer Darstellung:
Fig. 1 eine Vorrichtung zum Bestimmen von Objekteigenschaften eines Objekts nach einem Ausführungsbeispiel der Erfindung, wobei eine Kamera direkt an dem Objekt reflektiertes Licht aufnimmt, das von mehreren Lichtquellen ausgesendet wird;
Fig. 2 eine Vorrichtung zum Bestimmen von Objekteigenschaften eines Objekts nach einem weiteren Ausführungsbeispiel der Erfindung, wobei die Kamera auf eine Projektionsfläche reflektiertes Licht aufnimmt, das von mehreren Lichtquellen ausgesendet wird; Fig. 3 eine Vorrichtung zum Bestimmen von Objekteigenschaften eines Objekts nach einem weiteren Ausführungsbeispiel der Erfindung, wobei das Objekt einen Heliostaten eines Solarturmkraftwerks darstellt, wobei die Sonne in mehreren Positionen als Lichtquelle eingesetzt wird;
Fig. 4 ein Ablaufdiagramm eines computergestützten Verfahrens zum Bestimmen von Objekteigenschaften eines Objekts nach einem Ausführungsbeispiel der Erfindung; und
Fig. 5 eine schematische Darstellung einer
Datenverarbeitungsvorrichtung zum Ausführen eines computergestützten Verfahrens zum Bestimmen von Objekteigenschaften eines Objekts nach einem Ausführungsbeispiel der Erfindung.
Ausführungsformen der Erfindung
In den Figuren sind gleichartige oder gleichwirkende Komponenten mit gleichen Bezugszeichen beziffert. Die Figuren zeigen lediglich Beispiele und sind nicht beschränkend zu verstehen.
Im Folgenden verwendete Richtungsterminologie mit Begriffen wie „links“, „rechts“, „oben“, „unten“, „davor“ „dahinter“, „danach“ und dergleichen dient lediglich dem besseren Verständnis der Figuren und soll in keinem Fall eine Beschränkung der Allgemeinheit darstellen. Die dargestellten Komponenten und Elemente, deren Auslegung und Verwendung können im Sinne der Überlegungen eines Fachmanns variieren und an die jeweiligen Anwendungen angepasst werden. Figur 1 zeigt eine Vorrichtung 100 zum Bestimmen von Objekteigenschaften eines Objekts 20, insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften des Objekts 20, nach einem Ausführungsbeispiel der Erfindung. Dabei nimmt eine Kamera 30 Licht 28 auf, das direkt an dem Objekt 20 reflektiert wird.
Die Vorrichtung 100 umfasst in diesem Beispiel vier voneinander beabstandete Lichtquellen 10, welche Lichtstrahlen 18 aus entsprechend voneinander beabstandeten Lichtquellen-Positionen auf das Objekt 20 senden. Die Vorrichtung 100 umfasst weiter eine Kamera 30 und wenigstens einen Computer 50. Die Kamera 30 nimmt wenigstens ein Bild 40 des Objekts 20 auf.
Wie bei dem Ausführungsbeispiel in Figur 1 dargestellt, können die Lichtquellen 10 beispielsweise in linearer Anordnung nebeneinander angeordnet sein.
Durch Aufnahmen mit veränderten Positionen von Lichtquellen 10 oder mehreren Lichtquellen 10 gleichzeitig kann vorteilhaft das Problem einer Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts 20 auf das zweidimensionale Bild 40 gelöst werden
Der Computer 50 ist dazu ausgebildet, in einer Aufnahmeszene aufgenommene Bilddaten einer Reflexion von Strahlen der Lichtquelle 10 an dem zu vermessenden Objekt 20 und zur Bestimmung wenigstens einer der Objekteigenschaften zu analysieren. Vorteilhaft ist der Computer dabei dazu ausgebildet, eine virtuelle Aufnahmeszene wenigstens mit Objekteigenschaften des Objekts 20, Parametern der wenigstens einen Lichtquelle 10, und Parametern einer virtuellen Aufnahmeszene aufzusetzen, wenigstens ein virtuelles Bild 44_n des Objekts 20 mit der virtuellen Aufnahmeszene zu berechnen und Abweichungen des virtuellen Bildes 44_n von dem gemessenen Bild 40 zu bestimmen. Dabei kennzeichnet der Index n eine n-te Iterationsschleife, wobei n eine ganze Zahl 1 , 2, 3, ... darstellt. Mittels dieser Parameter kann eine virtuelle Szene für die Simulation der Messung aufgebaut werden.
Objekteigenschaften des Objekts 20 können dabei wenigstens eine der folgenden: eine Oberfläche 22, eine Form des Objekts 20, eine oder mehrere Oberflächeneigenschaften des Objekts 20, eine Position des Objekts 20, eine Ausrichtung des Objekts 20, wenigstens eine Matenaleigenschaft des Objekts 20 umfassen.
Parameter der wenigstens einen Lichtquelle 10 können wenigstens eine Art der wenigstens einen Lichtquelle 10 und eine Position der wenigstens einen Lichtquelle 10 umfassen.
Parameter der Aufnahmeszene können wenigstens eines umfassen von: Position wenigstens einer Kamera 30, Abstand des Objekts 20 von einem Träger 60 einer Projektionsfläche 32, Position eines Bildes 40 an der Projektionsfläche 32, Position der Projektionsfläche 32 am Träger 60. Der Computer 50 ist weiter dazu ausgebildet, wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, Objekteigenschaften des Objekts 20 zu verändern und ein neues virtuelles Bild 44_n+1 zu bestimmen. Dabei kennzeichnet der Index n+1 eine n+1 -te Iterationsschleife, wobei n eine ganze Zahl 1 , 2, 3, ... darstellt. Der Computer 50 ist weiter dazu ausgebildet, das Berechnen des virtuellen Bildes 44_n, 44_n+1 und das Bestimmen der Abweichungen des virtuellen Bildes 44_n, 44_n+1 von dem gemessenen Bild 40 zu iterieren, bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen. Das Konvergenzkriterium kann beispielsweise eine Bewertungsfunktion umfassen. Mittels dieser Bewertungsfunktion, welche auch als Verlustfunktion ausgebildet sein kann, lässt sich eine Konvergenz eines Optimierungsverfahrens bei der Anpassung der simulierten Bilder 44 an die gemessenen Bilder 40 bewerten.
Als Bewertungsfunktion kann beispielsweise eine Differenz der Helligkeitswerte der einzelnen Pixel des gemessenen Bildes 40 und des virtuellen Bildes 44 herangezogen werden.
Bei der Berechnung eines neuen virtuellen Bildes 44 können freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts 20 wie eine Oberfläche 22, eine Form des Objekts 20, eine oder mehrere Oberflächeneigenschaften des Objekts 20, eine Position des Objekts 20, eine Ausrichtung des Objekts 20, wenigstens eine Materialeigenschaft des Objekts 20, eine Position der Lichtquelle 10, Eigenschaften der Lichtquelle 10, mathematisch differenziert werden, um daraus neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Dies stellt ein bei Optimierungsalgorithmen übliches Vorgehen dar. Abhängig vom Maß der Abweichung zwischen gemessenem und virtuellem Bild können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Der Computer 50 ist dazu ausgebildet, das virtuelle Bild 44 des Objekts 20 mittels Verfolgen von Lichtstrahlen 18, die von der wenigstens einen Lichtquelle 10 ausgesendet sind und von Lichtstrahlen 28, die an wenigstens dem Objekt 20 reflektiert sind, auf einem Weg in die Kamera 30 zu bestimmen. Das virtuelle Bild 44 des Objekts 20 kann so vorteilhaft mittels eines inversen Strahlverfolgungsverfahrens, auch als Raytracing bekannt, bestimmt werden.
Vorteilhaft kann so eine ideale Darstellung des untersuchten Objekts 20 angenommen und anhand der Abstrahlcharakteristik der Lichtquelle 10 unter Verfolgung und Reflexion der Lichtstrahlen 18, 28 ein 2D-Bild 44 aus der 3D-Szene erzeugt werden. Das so erzeugte Bild 44 wird daraufhin mit dem in Realität gemessenen Bild 40 verglichen und über eine Bewertungsfunktion bewertet.
Um die virtuelle Aufnahmeszene aufzusetzen, umfassen Objekteigenschaften des Objekts 20 wenigstens eine der folgenden: eine Oberfläche 22, eine Form des Objekts 20, eine oder mehrere Oberflächeneigenschaften des Objekts 20, eine Position des Objekts 20, eine Ausrichtung des Objekts 20, wenigstens eine Materialeigenschaft des Objekts 20. Parameter der wenigstens einen Lichtquelle 10 umfassen dabei wenigstens eine Art der wenigstens einen Lichtquelle 10 und die Position der wenigstens einen Lichtquelle 10. Eigenschaften der virtuellen Aufnahmeszene umfassen dabei wenigstens eine Position einer Projektionsfläche 32 und/oder der Kamera 30. Der Computer 50 ist weiter ausgebildet, beim Verändern von Objekteigenschaften des Objekts 20 zur Bestimmung eines neuen virtuellen Bildes 44 freie Parameter der virtuellen Aufnahmeszene nach Eigenschaften des virtuellen Bildes abzuleiten.
Die Lichtquelle 10 kann das Objekt 20 aus unterschiedlichen Positionen und Winkeln zur Aufnahme mehrerer Bilder 40 ausleuchten. Insbesondere kann als Lichtquelle 10 die Sonne verwendet werden und mit der Kamera 30 so mehrere Bilder 40 des Objekts 20 bei unterschiedlichen Sonnenständen als Positionen 12, 14, 16 der Lichtquelle 10 aufgenommen werden.
Vorteilhaft können auch mehrere Kameras 30 zur Aufnahme von Bildern 40 des Objekts 20 vorgesehen sein.
Durch Aufnahmen mit veränderten Positionen der Lichtquellen 10 oder mehreren Lichtquellen 10 gleichzeitig oder Aufnahmen mit mehreren Kameras 30 kann vorteilhaft das Problem der Unterbestimmung der Abbildung von der dreidimensionalen Geometrie des Objekts 20 auf das zweidimensionale Bild 40 gelöst werden.
Die in Figur 1 dargestellte Vorrichtung 100 zum Bestimmen von Objekteigenschaften eines Objekts 20 kann beispielsweise vorteilhaft in der industriellen Produktion eingesetzt werden. So sind beispielsweise in der Automobil- oder Flugzeugproduktion nicht immer ideale Bedingungen zum Einsatz gegeben, bei denen Deflektometrie zur Beurteilung von reflektierenden Oberflächen sinnvoll eingesetzt werden kann. Mit der vorgeschlagenen Vorrichtung 100 kann anstelle eines dort üblicherweise eingesetzten Projektors zur Projektion eines Streifenmusters auf das Objekt 20 eine beliebige gerichtete Lichtquelle 10, etwa ein LED-Array oder eine Taschenlampe, auf die zu untersuchende Stelle (Objekt 20) gerichtet werden. Dies stellt eine kostengünstige und einfach zu handhabende Möglichkeit zur Vermessung der Oberfläche dar. Das inverse Rendering-Verfahren benötigt zudem nur eine grobe Information darüber, wo sich das Objekt 20 genau befindet. Sollte das Objekt 20 nicht ganz an der definierten Position stehen, kann die Position ebenfalls im Optimierungsverfahren bestimmt werden. Vorteilhaft kann beispielsweise an der Schnittstelle zwischen Rumpf eines Flugzeugs und dessen Tragflächen, an dem sich ein konkaver Übergang befindet, eine Vermessung der Oberflächen beider Komponenten gleichzeitig durchgeführt werden. Dies stellt einen wesentlichen Vorteil gegenüber dem bisherigen deflektometrischen Verfahren dar, wo sich im ungünstigen Fall Linien überlappen und somit die Messung unbrauchbar machen können.
Weitere mögliche Anwendungsgebiete ergeben sich bei der Vermessung von Spiegelteleskopen, optischen Linsen, Glasscheiben, und dergleichen. Weitere Anwendungsfelder finden sich in industriellen Prozessen bei Objekten mit glänzenden oder transparenten Oberflächen.
Figur 2 zeigt eine Vorrichtung 100 zum Vermessen wenigstens einer Oberfläche 22 eines Objekts 20 nach einem weiteren Ausführungsbeispiel der Erfindung. Dabei nimmt die Kamera 30 auf eine Projektionsfläche 32 reflektiertes Licht auf.
Bei diesem Ausführungsbeispiel wird ein Bild 40 des Objekts 20 zur Aufnahme mit der Kamera 30 auf die Projektionsfläche 32 abgebildet. Die Projektionsfläche 32 kann vorteilhaft eine matte weiße Oberfläche aufweisen. Das Objekt 20 wird, wie bei dem Ausführungsbeispiel in Figur 1 , mit Lichtstrahlen 18 mehrerer Lichtquellen 10 ausgeleuchtet. Die am Objekt 20 reflektierten Strahlen 28 fallen auf die Projektionsfläche 32. Das Bild 42 auf der Projektionsfläche 32 wird im Kamerabildfeld 29 von der Kamera 30 aufgenommen.
Der Iterationsprozess im Computer 50 zur Vermessung der Oberfläche 22 des Objekts 20 läuft wie bei dem vorigen Ausführungsbeispiel ab. Die virtuelle Aufnahmeszene umfasst lediglich zusätzlich Parameter der Projektionsfläche 32 zur Berechnung des virtuellen Bildes 44.
Figur 3 zeigt eine Vorrichtung 100 zum Vermessen wenigstens einer Oberfläche 22 eines Objekts 20 nach einem weiteren Ausführungsbeispiel der Erfindung. Dabei stellt das Objekt 20 einen Spiegel 26 eines Heliostaten 24 eines Solarturmkraftwerks mit einem Träger 60 einer Projektionsfläche, beispielsweise einem Solarturm 64, dar.
Beim hierbei genutzten Aufbau wird ein Abbild der Sonne als Lichtquelle 10 auf einer Projektionsfläche 32 erzeugt. Die hierbei genutzten Brennfleckbilder 42 sind für die Nutzung der Oberflächenvermessung geeignet. Eine Kamera 30 nimmt Bilder 40 bei mehreren Sonnenständen, d.h. Lichtquellen-Positionen 12, 14, 16 auf. Im Computer 50 findet die schon beschriebene Auswertung der aufgenommenen Bilder 40 durch inverses Raytracing statt. Mit der vorgeschlagenen Vorrichtung 100 können die im Betrieb erzeugten Aufnahmen dazu genutzt werden, ein inverses Rendern der Bilder 44 aufzusetzen und daraus die Objekteigenschaften des Heliostaten 24 abzuleiten. Beispielsweise ist eine regelmäßige Oberflächenvermessung auf diese Weise möglich.
Die gestrichelten Pfeile sollen verschiedene zu variierende Parameter bei der Simulation der Aufnahmeszene zum Bestimmen der Objekteigenschaften des Objekts 20 kennzeichnen.
Das vorgeschlagene Verfahren weist wesentliche Vorteile gegenüber der bisher eingesetzten Deflektometrie auf. Derartige Messungen lassen sich bei Tag durchführen, so dass eine Nutzung der Sonne als Lichtquelle 10 möglich ist. Die Kalibrierung der Heliostate 24 kann so vollautomatisch mit dem Computer 50 durchgeführt werden.
Das Verfahren kann in bestehenden und zukünftig geplanten kommerziellen Solarturmkraftwerken eingesetzt werden. Für bestehende Kraftwerke ist keine zusätzliche Hardware erforderlich, so dass eine Nachrüstung der bestehenden Kraftwerke möglich ist.
In Figur 4 ist ein Ablaufdiagramm eines computergestützten Verfahrens zum Bestimmen von Objekteigenschaften eines Objekts 20 nach einem Ausführungsbeispiel der Erfindung dargestellt.
Nach dem vorgeschlagenen Verfahren wird das Objekt 20 mit wenigstens einer Lichtquelle 10, die sich in wenigstens einer Lichtquellen-Position befindet, beleuchtet. Dabei wird wenigstens ein Bild 40 des Objekts 20 mit einer Kamera 30 mit der wenigstens einen Lichtquelle 10 in ihrer Lichtquellen-Position aufgenommen. In einer Aufnahmeszene werden Bilddaten einer Reflexion von Strahlen der Lichtquelle 10 an dem zu vermessenden Objekt 20 aufgenommen. Diese Bilddaten sollen zur Bestimmung wenigstens einer der Objekteigenschaften analysiert werden.
Zum Bestimmen wenigstens einer der Objekteigenschaften werden die aufgenommenen Bilddaten der Aufnahmeszene mit simulierten Bilddaten der Aufnahmeszene verglichen. Dabei werden in den simulierten Bilddaten wenigstens eine der Objekteigenschaften und/oder wenigstens ein Parameter der Aufnahmeszene und/oder wenigstens ein Parameter der Lichtquelle 10 variiert.
In Schritt S120 des dargestellten Ablaufdiagramms in Figur 4 werden Objekteigenschaften des Objekts 20, Parameter der wenigstens einen Lichtquelle 10 und Parameter der virtuellen Aufnahmeszene definiert.
Objekteigenschaften des Objekts 20 können dabei wenigstens eine der folgenden umfassen: eine Oberfläche 22, eine Form des Objekts 20, eine oder mehrere Oberflächeneigenschaften des Objekts 20, eine Position des Objekts 20, eine Ausrichtung des Objekts 20, wenigstens eine Matenaleigenschaft des Objekts 20.
Parameter der Aufnahmeszene können wenigstens Position wenigstens einer Kamera 30, Abstand des Objekts 20 von einem Träger 60 einer Projektionsfläche 32, Position eines Bildes 40 auf der Projektionsfläche 32, Position der Projektionsfläche 32 am Träger 60, umfassen.
Parameter der Lichtquelle 10 können wenigstens eine Art der wenigstens einen Lichtquelle 10, eine Position 12, 14, 16 der wenigstens einen Lichtquelle 10 umfassen. Die in Schritt S120 definierten Parameter werden in Schritt S100 zu einer virtuellen Aufnahmeszene aufgesetzt.
Danach wird in Schritt S102 wenigstens ein virtuelles Bild 44, 44_n des Objekts 20 mit der virtuellen Aufnahmeszene berechnet. Das Berechnen des virtuellen Bildes 44 des Objekts 20 umfasst ein Verfolgen von Lichtstrahlen 18, die von der Lichtquelle zum Objekt 20 ausgesendet werden und von Lichtstrahlen 28, die an wenigstens dem Objekt 20 reflektiert werden, auf einem Weg in die Kamera 30. Insbesondere umfasst das Berechnen des virtuellen Bildes 44 des Objekts 20 ein inverses Raytracing-Verfahren.
In Schritt S104 wird das in derselben Lichtquellen-Position gemessene Bild 40 in den Computer 50 geladen. Zusätzlich kann auch ein bereits vorsimuliertes Bild 44 in den Computer 50 geladen werden.
Es können auch mehrere Bilder 40 des Objekts 20 mit unterschiedlichen Positionen und Winkeln der wenigstens einen Lichtquelle 10 aufgenommen und mit entsprechenden virtuellen Bildern 44 verglichen werden. Insbesondere kann dabei als Lichtquelle 10 die Sonne verwendet werden und mehrere Bilder 40 des Objekts 20 bei unterschiedlichen Sonnenständen als Positionen 12, 14, 16 der Lichtquelle 10 aufgenommen werden. Vorteilhaft können auch mehrere Lichtquellen 10 zum Beleuchten des Objekts 20 bei der Aufnahme des wenigstens einen Bildes 40 des Objekts 20 verwendet werden. Es können vorteilhaft mehrere Bilder 40 mit mehreren Kameras 30 aufgenommen werden. Weiter kann als wenigstens ein Bild 40 des Objekts 20 ein auf eine Projektionsfläche 32 abgebildetes Bild 42 des Objekts 20 mit der Kamera 30 aufgenommen werden. Das Bild 42 entspricht dem Brennfleck 62. Die Projektionsfläche 32 kann dabei vorteilhaft eine matte weiße Oberfläche aufweisen.
Abweichungen des virtuellen Bildes 44, 44_n von dem gemessenen Bild 40 werden beim Vergleich des virtuellen Bildes 44, 44_n mit dem gemessenen Bild 40 und/oder mit dem vorsimulierten Bild 44 in Schritt S106 bestimmt. Wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, werden Parameter der Aufnahmeszene und/oder Parameter der wenigstens einen Lichtquelle 10 und/oder Objekteigenschaften der Objekte 20 verändert und ein neues virtuelles Bild 44, 44_n+1 berechnet. Als Konvergenzkriterium kann vorteilhaft eine Bewertungsfunktion eingesetzt werden.
In Schritt S108 wird überprüft, ob das vorgegebene Konvergenzkriterium erfüllt ist. Falls das der Fall ist, werden in Schritt S110 die Objekteigenschaften des Objekts 20 gespeichert.
Falls das nicht der Fall ist, werden in Schritt S112 Objekteigenschaften wie beispielsweise Parameter der Oberfläche 22 des Objekts 20, beispielsweise über ein an sich bekanntes Gradientenverfahren, geändert und die Berechnung des virtuellen Bildes 44, 44_n+1 in Schritt S102 wiederholt. So können bei einem Verändern von Objekteigenschaften des Objekts 20 zur Bestimmung eines neuen virtuellen Bildes 44, 44_n+1 Eigenschaften des virtuellen Bildes 44 nach freien Parametern der virtuellen Aufnahmeszene abgeleitet werden. Dabei werden bei der Berechnung eines neuen virtuellen Bildes 44 freie Parameter der virtuellen Aufnahmeszene, Objekteigenschaften des zu vermessenden Objekts 20 wie eine Oberfläche 22, eine Form des Objekts 20, eine oder mehrere Oberflächeneigenschaften des Objekts 20, eine Position des Objekts 20, eine Ausrichtung des Objekts 20, wenigstens eine Matenaleigenschaft des Objekts 20, Position der Lichtquelle 10, Eigenschaften der Lichtquelle 10, mathematisch differenziert, um daraus neue Werte für die Simulation der Aufnahmeszene zu bestimmen. Dies stellt ein bei Optimierungsalgorithmen übliches Vorgehen dar.
Günstigerweise kann die als Konvergenzkriterium verwendete Bewertungsfunktion beispielsweise eine Differenz der Helligkeitswerte der einzelnen Pixel des gemessenen Bildes 40 und des virtuellen Bildes 44 angeben. Von diesem Punkt ausgehend und abhängig vom Maß der Abweichung können dann rückwärts, beispielsweise über ein mathematisches Gradientenverfahren, Parameter der virtuellen Aufnahmeszene angepasst werden.
Das Berechnen des virtuellen Bildes 44, 44_n und das Bestimmen der Abweichungen des virtuellen Bildes 44, 44_n, 44_n+1 von dem gemessenen Bild 40 wird so lange iteriert, bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen.
Bei dem computergestützten Verfahren zum Bestimmen von Objekteigenschaften eines Objekts kann ein nachfolgend beispielhaft dargestellter Pseudo-Code verwendet werden: Differential Raytracer for Deflectometry
OptimizeObject (Epoch, Images, LightPositions, LightDistribution, NumRays,
CameraPlane):
ReflectingObject <— Load ideal shaped discretized object;
Environment <— Load Environment Parameters;
Bitmap <— Create array with same height, width, resolution as CameraPlane;
Optimizer <— ChooseOptimizer;
Scheduler <— ChooseScheduler; for Epochs do for (Image, LightPosition) in (Images, LightPositions) do for (NormalVector, DiscretePoint) on ReflectingObject do Rays <— GenerateRays(NumRays, LightPosition,
DiscretePoint, NormalVector, LightDistribution); for RayDirection in Rays do
Intersection = Calculatelntersection(DiscretePoint, RayDirection, CameraPlane)
If Intersection is on CameraPlane then
Bitmap <— UpdateBitmap(lntersection); end end end
Loss <— Criterion(lmage, Bitmap);
Gradient <— Differentiate(Loss);
ReflectingObject <— UpdateObjectProperties
(ReflectingObject, Scheduler, Optimizer, Gradient) end end Der Pseudo-Code beschreibt eine Funktion zum Optimieren von Objekteigenschaften eines Objekts (OptimizeObject), welche als Eingabeparameter eine Anzahl von Bildszenen (Epochs), Bildern (Images), Lichtquellen-Positionen (LightPositions), Lichtverteilung (LightDistribution), eine Anzahl von Lichtstrahlen (NumRays) und eine Kameraebene (CameraPlane) verlangt.
Es wird ein ideal geformtes diskretisiertes Objekt geladen (ReflectingObject). Weiter werden Parameter der Aufnahmeszene und/oder der Lichtquelle (Environment) geladen. Es wird eine Matrix mit derselben Höhe, Breite, Auflösung wie die Kameraebene (Bitmap) erzeugt. Es wird eine Optimierfunktion (Optimizer) gewählt, Es wird ein Scheduler (Scheduler) gewählt.
Die Berechnungen werden über die Anzahl an Bildszenen, an Bildern und Lichtquellen-Positionen, an Lichtstrahl-Parametern iteriert. Dabei wird jeweils eine Bewertungsfunktion (Loss) als Konvergenzkriterium berechnet. Nach einem Gradientenverfahren (Gradient) werden neue veränderte Objekteigenschaften des Objekts bestimmt. Die Objekteigenschaften werden iterativ auf einen neuen Stand gebracht (UpdateObjectProperties).
Figur 6 zeigt hierzu eine schematische Darstellung einer Datenverarbeitungsvorrichtung 500, beispielsweise eines Computers 50, zum Ausführen eines Verfahrens zum Bestimmen von Objekteigenschaften eines Objekts 20. Die Datenverarbeitungsvorrichtung 500 weist hier einen Datenspeicher 514, einen damit verbundenen Prozessor 512 und eine mit diesem verbundene Schnittstelle 516 zum Empfangen und Ausgeben von Daten auf. Weiter weist die Datenverarbeitungsvorrichtung 500 eine Schnittstelle zu externen Einrichtungen 518, wie beispielsweise einem Netzwerk oder einem externen Speichersystem, auf. Auf dem Datenspeicher 514 ist hier ein Computerprogramm 520 gespeichert, das das Verfahren implementiert. Entsprechende Programmmodule 522 repräsentieren hier die Verfahrensschritte, wie sie in Figur 4 dargestellt sind.
Bezugszeichen
10 Lichtquelle
12 Sonnenstand
14 Sonnenstand
16 Sonnenstand
18 ausgesendeter Lichtstrahl
20 Objekt
22 Oberfläche
24 Heliostat
26 Spiegel
28 reflektierter Lichtstrahl
29 Kamerabildfeld
30 Kamera
32 Projektionsfläche
40 Bild
42 Bild auf Projektionsfläche
44 virtuelles Bild
50 Computer
60 Träger Projektionsfläche
62 Brennfleck
64 Solarturm
100 Vorrichtung
500 Datenverarbeitungsvorrichtung
512 Prozessor
514 Datenspeicher
516 Schnittstelle zum Empfangen und Ausgeben von Daten
518 externe Einrichtungen
520 Computerprogramm
522 Programmmodul
S100 Aufsetzen virtuelle Aufnahmeszene S102 Bestimmen virtuelles Bild
S104 Laden gemessenes Bild
S106 Vergleichen virtuelles Bild mit gemessenem Bild
S108 Prüfen auf Konvergenz
S110 Speichern Objekteigenschaften
S112 Ändern Objekteigenschaften
S120 Definieren Eingabeparameter

Claims

39
Ansprüche
1. Computergestütztes Verfahren zum Bestimmen von Objekteigenschaften eines in einer Aufnahmeszene durch eine Lichtquelle (10) beleuchteten, zu vermessenden Objekts (20), insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften, wobei die Objekteigenschaften wenigstens eine der folgenden umfassen: eine Oberfläche (22), eine Form des Objekts (20), eine oder mehrere Oberflächeneigenschaften des Objekts (20), eine Position des Objekts (20), eine Ausrichtung des Objekts (20), wenigstens eine Matenaleigenschaft des Objekts (20), wobei in der Aufnahmeszene Bilddaten einer Reflexion von Strahlen der Lichtquelle (10) an dem zu vermessenden Objekt (20) aufgenommen und zur Bestimmung wenigstens einer der Objekteigenschaften analysiert werden.
2. Verfahren nach Anspruch 1 , wobei zum Bestimmen wenigstens einer der Objekteigenschaften die aufgenommenen Bilddaten der Aufnahmeszene mit simulierten Bilddaten der Aufnahmeszene verglichen werden, wobei in den simulierten Bilddaten wenigstens eine der Objekteigenschaften und/oder wenigstens ein Parameter der Aufnahmeszene und/oder wenigstens ein Parameter der Lichtquelle (10) variiert werden.
3. Verfahren nach Anspruch 1 oder 2, wobei Parameter der Aufnahmeszene wenigstens eines umfassen von: Position wenigstens einer Kamera (30), Abstand des Objekts (20) von einem Träger (60) einer Projektionsfläche (32), Position eines Bildes (40) auf der Projektionsfläche (32), Position der Projektionsfläche (32) am Träger (60), und/oder wobei Parameter der Lichtquelle (10) wenigstens umfassen: eine Art der wenigstens einen Lichtquelle (10), eine Position (12, 14, 16) der wenigstens einen Lichtquelle (10). 40 Verfahren nach einem der vorhergehenden Ansprüche, wenigstens umfassend
- Beleuchten des Objekts (20) mit der wenigstens einen Lichtquelle (10) in wenigstens einer Lichtquellen-Position (12, 14, 16);
- Aufnehmen wenigstens des Bildes (40) des Objekts (20) mit der wenigstens einen Kamera (30) mit der wenigstens einen Lichtquelle (10) in der wenigstens einen Lichtquellen-Position (12, 14, 16);
- Eingeben einer virtuellen Aufnahmeszene wenigstens mit Objekteigenschaften des Objekts (20), Parametern der wenigstens einen Lichtquelle (10) und Parametern der virtuellen Aufnahmeszene;
- Berechnen wenigstens eines virtuellen Bildes (44, 44_n) des Objekts (20) mit der virtuellen Aufnahmeszene;
- Bestimmen von Abweichungen des virtuellen Bildes (44, 44_n) von dem gemessenen Bild (40);
- Wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, Verändern von Parametern der Aufnahmeszene und/oder von Parametern der wenigstens einen Lichtquelle (10) und/oder von Objekteigenschaften des Objekts (20) und Berechnen eines neuen virtuellen Bildes (44, 44_n+1 );
- Iterieren des Berechnens des virtuellen Bildes (44, 44_n) und des Bestimmens der Abweichungen des virtuellen Bildes (44, 44_n, 44_n+1 ) von dem gemessenen Bild (40) bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen. Verfahren nach einem der vorhergehenden Ansprüche, wobei zum Berechnen des virtuellen Bildes (44) des Objekts (20) Lichtstrahlen (18), die von der Lichtquelle (10) zum Objekt (20) ausgesendet werden und Lichtstrahlen (28), die an wenigstens dem Objekt (20) reflektiert werden, auf einem Weg in die wenigstens eine Kamera (30) verfolgt werden, insbesondere wobei zum Berechnen des virtuellen Bildes (44) des Objekts (20) ein inverses Strahlverfolgungsverfahren eingesetzt wird. 41 Verfahren nach einem der vorhergehenden Ansprüche, wobei bei einem Verändern von Objekteigenschaften des Objekts (20) zur Bestimmung eines neuen virtuellen Bildes (44, 44_n+1 ) freie Parameter der virtuellen Aufnahmeszene nach Eigenschaften des virtuellen Bildes (44) abgeleitet werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei mehrere Bilder (40) des Objekts (20) mit unterschiedlichen Positionen (12, 14, 16) und Winkeln der wenigstens einen Lichtquelle (10) aufgenommen und mit entsprechenden virtuellen Bildern (44) verglichen werden, insbesondere wobei als Lichtquelle (10) die Sonne verwendet wird und mehrere Bilder (40) des Objekts (20) bei unterschiedlichen Sonnenständen als Positionen (12, 14, 16) der Lichtquelle (10) aufgenommen werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei als Konvergenzkriterium eine Bewertungsfunktion eingesetzt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei als wenigstens ein Bild (40) des Objekts (20) ein auf eine Projektionsfläche (32) abgebildetes Bild (42, 62) des Objekts (20) mit der wenigstens einen Kamera (30) aufgenommen wird, insbesondere wobei die Projektionsfläche (32) eine matte weiße Oberfläche aufweist. Vorrichtung (100) zum Bestimmen von Objekteigenschaften eines Objekts (20), insbesondere zum Erfassen und/oder Vermessen der Objekteigenschaften des Objekts (20), mit einem Verfahren nach einem der vorhergehenden Ansprüche, umfassend wenigstens eine Lichtquelle (10), wenigstens eine Kamera (30) und wenigstens einen Computer (50), wobei die wenigstens eine Lichtquelle (10) zum Beleuchten des Objekts (20) in wenigstens einer Lichtquellen-Position (12, 14, 16) ausgebildet ist, wobei die wenigstens eine Kamera (30) zum Aufnehmen wenigstens eines Bildes (40) des Objekts (20) ausgebildet ist, wobei der wenigstens eine Computer (50) ausgebildet ist, in einer Aufnahmeszene aufgenommene Bilddaten einer Reflexion von Strahlen der Lichtquelle (10) an dem zu vermessenden Objekt (20) und zur Bestimmung wenigstens einer der Objekteigenschaften zu analysieren. Vorrichtung nach Anspruch 10, wobei der Computer (50) ausgebildet ist, eine virtuelle Aufnahmeszene wenigstens mit Objekteigenschaften des Objekts (20), Parametern der wenigstens einen Lichtquelle (10), und Parametern der virtuellen Aufnahmeszene aufzusetzen; wenigstens ein virtuelles Bildes (44_n) des Objekts (20) mit der virtuellen Aufnahmeszene zu berechnen;
Abweichungen des virtuellen Bildes (44_n) von dem gemessenen Bild (40) zu bestimmen; wenn die Abweichungen wenigstens ein vorgegebenes Konvergenzkriterium verletzen, Objekteigenschaften des Objekts (20) zu verändern und ein neues virtuelles Bild (44_n+1 ) zu bestimmen; das Berechnen des virtuellen Bildes (44_n, 44_n+1 ) und das Bestimmen der Abweichungen des virtuellen Bildes (44_n, 44_n+1 ) von dem gemessenen Bild (40) zu iterieren, bis die Abweichungen das wenigstens eine Konvergenzkriterium erfüllen. Vorrichtung nach Anspruch 10 oder 11 , wobei der Computer (50) ausgebildet ist, das virtuelle Bild (44) des Objekts (20) mittels Verfolgen von Lichtstrahlen (18), die von der wenigstens einen Lichtquelle ausgesendet sind und von Lichtstrahlen (28), die an wenigstens dem Objekt (20) reflektiert sind, auf einem Weg in die wenigstens eine Kamera (30) zu bestimmen, insbesondere wobei der Computer (50) ausgebildet ist, das virtuelle Bild (44) des Objekts (20) mittels eines inversen Strahlverfolgungsverfahrens zu bestimmen. Vorrichtung nach einem der Ansprüche 10 bis 12, wobei Objekteigenschaften des Objekts (20) wenigstens eine der folgenden umfassen: eine Oberfläche (22), eine Form des Objekts (20), eine oder mehrere Oberflächeneigenschaften des Objekts (20), eine Position des Objekts (20), eine Ausrichtung des Objekts (20), wenigstens eine Materialeigenschaft des Objekts (20) umfassen, und/oder wobei Parameter der wenigstens einen Lichtquelle (10) wenigstens umfassen: eine Art der wenigstens einen Lichtquelle (10) und eine Position der wenigstens einen Lichtquelle (10), und/oder wobei Parameter der Aufnahmeszene wenigstens eines umfassen von: Position wenigstens einer Kamera (30), Abstand des Objekts (20) von einem Träger (60) einer Projektionsfläche (32), Position eines Bildes (40) an der Projektionsfläche (32), Position der Projektionsfläche (32) am Träger (60). Vorrichtung nach einem der Ansprüche 10 bis 13, wobei der Computer (50) ausgebildet ist, beim Verändern von Objekteigenschaften des Objekts (20) zur Bestimmung eines neuen virtuellen Bildes (44) freie Parameter der virtuellen Aufnahmeszene nach Eigenschaften des virtuellen Bildes abzuleiten. 44
15. Vorrichtung nach einem der Ansprüche 10 bis 14, wobei die wenigstens eine Lichtquelle (10) ausgebildet ist, das Objekt (20) aus unterschiedlichen Positionen und Winkeln zur Aufnahme mehrerer Bilder (40) auszuleuchten, insbesondere wobei die Sonne die Lichtquelle (10) darstellt und die wenigstens eine Kamera (30) ausgebildet ist, mehrere Bilder (40) des Objekts (20) bei unterschiedlichen Sonnenständen als Positionen (12, 14, 16) der Lichtquelle (10) aufzunehmen.
16. Vorrichtung nach einem der Ansprüche 10 bis 15, wobei das Konvergenzkriterium eine Bewertungsfunktion umfasst.
17. Vorrichtung nach einem der Ansprüche 10 bis 16, wobei die Projektionsfläche (32) vorgesehen ist, ein Bild (40) des Objekts (20) zur Aufnahme mit der wenigstens einen Kamera (30) darauf abzubilden, insbesondere wobei die Projektionsfläche (32) eine matte weiße Oberfläche aufweist.
18. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer (50) diesen dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9, insbesondere automatisch, auszuführen .
19. Vorrichtung (500) zur Datenverarbeitung, aufweisend Mittel (50, 510, 512, 514, 516, 520, 522) zum, insbesondere automatisierten, Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 9.
EP22809691.3A 2021-10-25 2022-10-24 Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene Pending EP4423454A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021127682.9A DE102021127682A1 (de) 2021-10-25 2021-10-25 Computergestütztes Verfahren und Vorrichtung zum Vermessen einer Oberfläche eines Objekts
DE102022105771.2A DE102022105771A1 (de) 2022-03-11 2022-03-11 Computergestütztes Verfahren und Vorrichtung zum Bestimmen von Objekteigenschaften wenigstens eines Objekts in einer Aufnahmeszene
PCT/EP2022/079604 WO2023072837A1 (de) 2021-10-25 2022-10-24 Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene

Publications (1)

Publication Number Publication Date
EP4423454A1 true EP4423454A1 (de) 2024-09-04

Family

ID=84361576

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22809691.3A Pending EP4423454A1 (de) 2021-10-25 2022-10-24 Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene

Country Status (2)

Country Link
EP (1) EP4423454A1 (de)
WO (1) WO2023072837A1 (de)

Also Published As

Publication number Publication date
WO2023072837A1 (de) 2023-05-04

Similar Documents

Publication Publication Date Title
EP3195264B1 (de) Vorrichtung und verfahren zur dreidimensionalen abbildung eines objekts
EP3807838A2 (de) Materialprüfung von optischen prüflingen
EP2598836B1 (de) Ermittlung von defokussierten reflexionskarten für die robuste bestimmung von &#34;shape from focus&#34; in mikroskopbildern
DE102013204375A1 (de) Partikelbild-Geschwindigkeitsmesssystem für einen dreidimensionalen Raum
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102017010683B4 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
WO2010063252A1 (de) Verfahren zur vermessung des wachstums von blattscheiben von pflanzen sowie eine dazu geeignete vorrichtung
DE112014006672T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
DE102010011528A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
DE112018002357T5 (de) Dreidimensionales Messverfahren unter Verwendung von Merkmalsgrössen, und Vorrichtung, die das Verfahren verwendet
EP4227636A1 (de) Bestimmung von tiefenwerten eines oberflächenbereichs eines werkstücks
DE102011082280A1 (de) Bildmessvorrichtung und Bildmessverfahren
EP2997543A1 (de) Vorrichtung und verfahren zum parametrisieren einer pflanze
DE112018001600T5 (de) System und verfahren zur 3d-profilbestimmung unter verwendung einer modellbasierten peak-auswahl
EP2887010A1 (de) Verfahren und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten mit einem topometrischen Messverfahren sowie Computerprogramm hierzu
DE102010045634A1 (de) Anordnung und Verfahren zur Aufnahme geometrischer und photometrischer Objektdaten im Raum
EP4423454A1 (de) Computergestütztes verfahren und vorrichtung zum bestimmen von objekteigenschaften wenigstens eines objekts in einer aufnahmeszene
EP3433669B1 (de) Verfahren und vorrichtung zur ermittlung von 3d-koordinaten zumindest eines vorbestimmten punktes eines objekts
DE102022105771A1 (de) Computergestütztes Verfahren und Vorrichtung zum Bestimmen von Objekteigenschaften wenigstens eines Objekts in einer Aufnahmeszene
DE102021127682A1 (de) Computergestütztes Verfahren und Vorrichtung zum Vermessen einer Oberfläche eines Objekts
EP3746988B1 (de) Vorrichtung und verfahren zur erzeugung sensorrealistischer bilder
DE102023205343A1 (de) Vorrichtung zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung sowie Betriebsverfahren hierfür
EP3049757A1 (de) Fahrwerksvermessung bei umgebungslicht
DE102024206379B3 (de) Verfahren zum Kalibrieren eines Kamerasystems
DE102020206768B4 (de) Bilderfassungsvorrichtung und Verfahren zum Bestimmen einer plenoptischen Funktion

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAV Requested validation state of the european patent: fee paid

Extension state: TN

Effective date: 20240527

Extension state: MA

Effective date: 20240527