EP2643967A1 - Method and device for estimating a fly screen effect of an image capture device - Google Patents

Method and device for estimating a fly screen effect of an image capture device

Info

Publication number
EP2643967A1
EP2643967A1 EP11769819.1A EP11769819A EP2643967A1 EP 2643967 A1 EP2643967 A1 EP 2643967A1 EP 11769819 A EP11769819 A EP 11769819A EP 2643967 A1 EP2643967 A1 EP 2643967A1
Authority
EP
European Patent Office
Prior art keywords
image
luminous intensity
intensity information
parameters
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11769819.1A
Other languages
German (de)
French (fr)
Inventor
Paul Ruhnau
Marc Geese
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2643967A1 publication Critical patent/EP2643967A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to a method for estimating a screen-lattice effect of an image capture device, to a method for correcting a screen-lattice effect of an image capture device, and to a corresponding device.
  • fly screen effect is estimated during manufacture and additionally or alternatively in a separate laboratory environment.
  • the methods used are mainly based on the estimation of the optical flow or other closely associated methods and procedures.
  • the present invention provides a method for estimating a screen-mesh effect of an image capture device, an to correct a fly screen effect of an image capture device, further an apparatus that uses these methods and finally presented a corresponding computer program product according to the independent claims.
  • Advantageous embodiments result from the respective subclaims and the following description.
  • the invention is based on the recognition that the image information captured by an image capture device continuously changes due to a movement of the image capture device or the environment detected by the image capture device. If image information acquired over a period of time is averaged or added up, the resulting image information typically has a smooth course. Areas in which the smooth path is disturbed indicate disturbances caused by the image capture device. Since a real image capture device causes such disturbances, image information captured by an image capture device and the resulting image information generated from a plurality of acquired image information does not have a smooth course.
  • the perturbations caused by the image capture device can be described by corresponding parameters in a model description of the image capture device.
  • the parameters can be determined by applying the resulting image information according to the model description with parameters and looking for values for the parameters in which the resulting image information has the smoothest possible course.
  • captured image information can be applied to the parameters and subsequently the smoothness of the acquired image information can be determined.
  • the individual values for the smoothness of the acquired image information can be summarized as resulting smoothness and those values can be determined for the parameters in which the resulting smoothness is minimized.
  • the approach of the present invention describes an on-line method of insect screen effect estimation based on the analysis of image sequences.
  • some assumptions are made about the world and the capture of the frames.
  • the approach is suitable for a variety of video-based methods of single image capture in a natural environment.
  • this applies to video sequences of modern vehicle front cameras or cameras on mobile robots.
  • FPN FPN be corrected depending on the temperature. This also leads to cost savings in the manufacturing process.
  • Using an on-line FPN correction eliminates the step in the manufacturing process of measuring the fly screen effect and then storing it in the device. In this way, the storage space in the device can be reduced. This allows the use of less expensive imaging hardware due to the good correction techniques.
  • the inventive approach is based on the derivation of spatial and / or temporal properties of measured images or image sequences, in short image property.
  • This image property can be realized by the smoothness, but also by the change in brightness or a completely different global image properties.
  • Such an image characteristic can usually be mapped to a number.
  • assumptions about this image property are estimated for an ideal image or sequence of images. This estimate may e.g. derived theoretically or heuristically, that is to say from experience.
  • image correction parameters are now estimated which correct the image characteristic of the measured images in the direction of the ideal image property.
  • a minimization process now finds the ideal parameter set for the given input data. It does not have to be completely known the ideal images. Rather, it is sufficient to define an abstract image property of these images in such a way that the results obtained can be usefully used in real applications.
  • the inventive approach can be applied as follows.
  • As a global parameter of the measured images the smoothness of merged frames of a sequence is estimated, or alternatively, the smoothness of multiple frames is merged.
  • As an assumed ideal image an undisturbed, smooth image is assumed.
  • the correction parameters which correct the smoothness of the measured image for the assumed ideal smoothness of an ideal image, can also be described by a sensor model and thus also be identified with the fixed pattern noise.
  • the minimization process now finds an ideal parameter set for a given number of images. Are these pictures chosen representative and sufficient in number, so the FPN found, in the model also corresponds to the FPN of the image capture device.
  • the image capture device can be a camera or a part of a camera, for example a number of image sensors.
  • the image capture device can be arranged, for example, on a vehicle in order to detect an environment of the vehicle.
  • a light intensity can be detected by a pixel of the image capture device.
  • Several simultaneously or directly successively detected light intensities of a plurality of adjacent pixels can be combined to form a luminous intensity information.
  • a luminous intensity information can be an image or a recording of the image acquisition device or a partial region of a corresponding image or a corresponding image.
  • a luminous intensity information can be detected or provided by a region of a sensor surface of the image capture device. If a two-dimensional coordinate system is placed in the sensor surface, the light intensity information for different coordinates can have different light intensity values. Likewise, the plurality of parameters for different coordinates of the coordinate system can have different values. point.
  • the plurality of parameter values may be represented as a matrix of numbers, with each image sensor being assigned its own number in the form of a parameter value.
  • the plurality of luminous intensity information can be acquired one after the other, from one and the same area of the sensor surface. A number of luminous intensity information used may be dependent on a maximum possible resolution of a light intensity by a pixel of the image capture device. Thus, the number of luminous intensity information can be selected larger than the resolution.
  • the image capture device can be described by a model.
  • the model may define a relationship between real image information captured by the image capture device and the corresponding image information captured by the image capture device.
  • the model can be a mathematical function.
  • the at least one parameter may be a variable of the model.
  • the at least one parameter can be a disturbance variable of the model representing the fly screen effect.
  • the image information can be from the
  • Light intensity information and the plurality of parameters are determined by the light intensity information is merged and then acted upon with the plurality of parameters, or by the luminous intensity information each acted upon by the plurality of parameters and then merged.
  • the image property may represent a spatial and / or temporal property of the image information.
  • the ideal image characteristic can be estimated in advance for an ideal image or an ideal image sequence.
  • the picture property can be represented by a value or a number.
  • the approximation of the image property to the ideal image property may be performed based on a comparison between the ideal image property and a current image property determined with current parameter values. Several comparisons can be used to find those parameter values in which a deviation between the ideal image property and the current image property is minimal or lies within a tolerance window.
  • An example of a suitable image property is the
  • Smoothness of image information can mean the absence of high frequencies in terms of image information. Minimal smoothness is present with constant image information, which is not desirable because the image information is then erased.
  • the "desired" smoothness which can correspond to the ideal image quality, does not contain any of the disturbing parts of the image.These disturbing image components are usually represented by high spatial frequencies and occur in the real, unimportant image. disturbed image information is not available.
  • the individual parameter values of the plurality of parameter values may be selected such that the image property corresponds to the ideal image property or comes as close as possible to the ideal image property, for example within a predetermined value range around a value of the ideal image property.
  • the ideal image property is when the image information has as few high frequencies as possible.
  • a corresponding online estimation method for the fly screen effect can be carried out online, that is to say during operation of the image capture device in which the image capture device makes recordings of the surroundings.
  • the step of determining the image characteristic may comprise the steps of: merging the plurality of luminous intensity information to determine a resultant luminous intensity information; Applying the resulting luminous intensity information with the plurality of parameters to determine a luminous intensity information applied with the plurality of parameters; and determining the image characteristic as an image characteristic of the applied luminous intensity information.
  • Merging can be done by taking an average of the luminous intensity information or by adding up the luminous intensity information.
  • the merging can also be carried out in a completely different way, e.g. as a weighting of the past. Both the individual luminous intensity information and the resulting luminous intensity information have disturbances caused by the screen-lattice effect.
  • the disturbances caused by the screen-fly effect can be reduced.
  • the better the disturbances are represented by the plurality of parameters the better the disturbances in the applied luminous intensity information, using the plurality of parameters, can be reduced.
  • the better the interference is reduced the more trouble-free, for example smoother, is in turn the applied luminous intensity information.
  • the one of the plurality of parameter values is best suited for reducing the disturbance caused by the screen-lattice effect, which for example leads to an ideal smoothness of the applied luminous intensity information. In order not to achieve the greatest possible smoothness, which leads to constant images, the
  • Minimization rule also regularization parameters (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the parameters (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the parameters (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the following parameters (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the steps (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the
  • Image characteristic comprising the steps of: each of the plurality of luminous intensity information being supplied with the plurality of parameters to determine a plurality of irradiated luminous intensity information; Determining each one of an image characteristic of the plurality of applied luminous intensity information; and determining the image characteristic by merging the image characteristics of the plurality of applied luminous intensity information.
  • a value of the image characteristic for example smoothness, can be determined by means of a suitable mathematical or logical function.
  • the merging of the values of the individual image properties can be carried out by averaging the values or by adding up the values.
  • a small amount of smoothness is very smooth and a large value of smoothness is not smooth, that is rough.
  • the at least one parameter may represent the Dark Signal Non-Uniformity (DSNU) and, additionally or alternatively, the Photo Response Non-Uniformity (PRNU) of the image capture device.
  • DSNU Dark Signal Non-Uniformity
  • PRNU Photo Response Non-Uniformity
  • all combinations of FPN parameters can be estimated.
  • the Photo Response Non-Uniformity can affect the characteristic noise of the image capture device.
  • the dark signal nonuniformity may relate to deviations of signal responses of individual sensor regions from an average value in the event that no light hits the image capture device.
  • the at least one parameter may include a factor and / or a summand with which a luminous intensity information to be detected by the image capture device is applied in accordance with the model in order to obtain a Determine modeled luminous intensity information taking into account the effect of a screened screen.
  • the parameter PRNU can be used as factor and the parameter DSNU as addend.
  • the plurality of parameter values of the plurality of parameters may be determined based on a minimization process. It is thus possible to determine a suitable parameter value for each of the plurality of parameters.
  • the plurality of parameter values may be determined as minima of a function describing the smoothness of the image information, the function comprising a derivation of the image information over at least one main extension direction of a detection surface of the image capture device.
  • a value of the image characteristic such as smoothness can be mathematically determined and evaluated.
  • the image property can represent a spatial and additionally or alternatively a temporal property of the image information.
  • the present invention further provides a method of correcting a screen-lattice effect of an image capture device, comprising the steps of:
  • the correction can be carried out by applying the plurality of parameters to the light information detected by the sensors, for example by multiplying the intensity information by a corresponding parameter value or by adding a corresponding parameter value.
  • the detected luminous intensity information can be corrected for the ascertained screen-lattice effect. This can cause a complete or partial correction of the existing fly screen effect.
  • the step of determining the plurality of parameter values may be repeatedly performed repeatedly.
  • the detected luminous intensity information can be applied to a last-determined plurality of parameter values. In this way, for example, could be addressed quickly on temperature-dependent changes.
  • the step of determining the parameter value may be performed in response to a predetermined value of a detected temperature of the image capture device or an environment of the image capture device.
  • the present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a control device, the object underlying the invention can be achieved quickly and efficiently.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out the method according to one of the embodiments described above. is used when running the program on a device that corresponds to a computer.
  • a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory
  • FIG. 1 is a block diagram of an image capture device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an apparatus for correcting a fly screen effect of an image capture device according to an embodiment of the present invention
  • FIG. 3 is a flowchart of a method for estimating a screen-mesh effect of an image capture device, according to an embodiment of the present invention.
  • FIG. 4 shows a flowchart of a further method for estimating a screen-mesh effect of an image capture device, according to an exemplary embodiment of the present invention.
  • Fig. 1 shows a block diagram of an image capture device according to an embodiment of the present invention.
  • the image capture device has an image sensor 102, which is designed to detect light intensities impinging on the image sensor 102 and represented by arrows.
  • the image sensor 102 is configured to output a luminous intensity information 104 that includes information about the light intensities detected in a partial area or an entire detection area of the image sensor 102.
  • An apparatus for estimating a screen-lattice effect of the image capture device is configured to receive a plurality of luminous intensity information 104 that is acquired by the image sensor 102 at different acquisition times and spent.
  • the device 106 is configured to determine an image characteristic of image information generated from the plurality of luminous intensity information 104.
  • FIG. 2 shows a block diagram of an apparatus for correcting a screen-lattice effect of an image capture device, according to an exemplary embodiment of the present invention.
  • the device has a correction device 212 which is designed to receive a luminous intensity information 104 detected and output by the image acquisition device and to receive suitable parameter values 108 for the correction of the effect of the screen screen.
  • the correction device 212 is further configured to correct the screen-mesh effect present in the luminous intensity information 104 using the parameter values 108 and to output a correspondingly corrected luminous intensity information 214.
  • FIG. 3 shows a flowchart of a method for estimating a screen-mesh effect of an image capture device, according to an exemplary embodiment of the present invention. For example, the method may be performed by the device 106 shown in FIG. By means of the method, parameter values 108 are generated which can be used, for example, by the correction device 212 shown in FIG. 2.
  • a plurality of luminous intensity information 104 are merged to determine a resulting luminous intensity information 323.
  • the resulting luminous intensity information is to be applied to parameter values 108 of a plurality of parameters in order to determine a luminous intensity information 327 applied to the parameters.
  • a smoothness 331 of the applied luminous intensity information 327 is determined.
  • a suitable mathematical or logical function can be used. The steps 325, 329 can be executed repeatedly with other parameter values 108 and the respectively resulting values of the smoothness
  • a set of optimal parameter values 108 may be found by a suitable algorithm, such as a minimization process.
  • optics In conventional 2D imaging methods, optics are used. This optics projects the luminous intensity information from the environment from a given solid angle onto a 2D sensor array. This can be represented as follows:
  • R 2 (1) l w , 2D can represent a luminous intensity information in the sensor plane.
  • the averaging can be done by a simple integration or summation or a concrete averaging in which, for example, the integral shown in equation (2) is still divided by the time T.
  • the assumption is based on the fact that the information lw, 2D varies over time in the real world. This may be because the camera and the optics are constantly moving, as is the case, for example, with vehicle front cameras, or due to other effects.
  • edges with maximum light intensity that can be recorded by the device change from image to image. It is easy to deduce how many samples need to be averaged. If there is an edge in an image and not in every other image, this edge should be used when averaging disappear. As a rule, a sensor can only measure light intensities of l M , 2D e [0-2 n - 1] DZ + . An edge of maximum light intensity should not contribute more than 1 after merging. Accordingly:
  • ri-sample-value indicates how many light intensities are merged.
  • a smoothness S of an information X can be expressed as follows:
  • I ⁇ I stands for any, but meaningful, norm.
  • S the smoother the picture.
  • the smoothness expresses a lack of high frequencies.
  • E Ll S (A w D ) L i + ⁇ a - ⁇ ) 2 + b 7 (16) min ⁇ ( E ⁇ or: min j ⁇ (17) a, ba, b
  • a plurality of luminous intensity information 104 are each subjected to a parameter value 108 in order to control a plurality of illuminated intensity values.
  • a value for a smoothness 447 of the respective applied luminous intensity information 443 is determined for each applied luminous intensity information 443.
  • the individual values of the smoothness 447 are combined to determine a resulting smoothness 451. Steps 441, 445, 449 may be with others
  • Parameter values 108 may be repeatedly executed and the respective resulting values of smoothness 451 may be compared with each other.
  • the parameter value 108 at which the value of the smoothness 451 is the lowest can be regarded as the optimum parameter value 108 and output.
  • the smoothness S (X) of a frame can be determined by the formula (6).
  • the merge e.g. the mean, of all particular smoothness.
  • the parameter set of the sensor model is constant in all smoothness calculations.
  • the mean, or merger, of the smoothness must be minimized to obtain noise reducing information. This minimization is again regulated by the parameters of the penalizer (alpha or alpha and beta).
  • the approaches of the invention are not limited to just correcting the DSNU or the PRNU. Instead, the approaches can be extended to any order of the device model.
  • the device model can be adapted in a way that the resulting equation system is smaller, eg only allowing one column FPN. Also, the way how the equation system can be solved is chosen freely, adapted to the required precision matching and the required processing complexity.
  • the approach of the invention is based on a basic physical assumption about the impression of the environment on the device.
  • An implementation may be in a program code of a computing device configured to exchange information with the camera. Also, an implementation can be done in hardware. Among other things, a hardware system also requires a memory for storing the averaged information.
  • the approaches according to the invention can be applied to all products for which clear and noise-free images are required.
  • One possible use is, for example, in a front camera of a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

The invention relates to a method for estimating a fly screen effect of an image capture device comprising a plurality of image sensors for providing a piece of light-strength information. The method comprises a step of determining an image property of a piece of image information, based on a plurality of pieces of light-strength information (104) and on a plurality of parameters (108), each of the plurality of parameters being associated with each of the plurality of image sensors respectively. Said method also comprises a step of determining (106) a plurality of parameter values for the plurality of parameters (108), for which the image property is at least made to approximate an ideal image property, the plurality of parameters representing the fly screen effect in a model of the image capture device.

Description

Beschreibung Titel  Description title
Verfahren und Vorrichtung zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung  Method and apparatus for estimating a fly screen effect of an image capture device
Stand der Technik State of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, auf ein Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung sowie auf eine entsprechende Vorrichtung. The present invention relates to a method for estimating a screen-lattice effect of an image capture device, to a method for correcting a screen-lattice effect of an image capture device, and to a corresponding device.
Verfahren zum Korrigieren des Fliegengittereffekts sind in den Branchen für den modernen Bildgerätebau und die moderne Bilderfassung hinlänglich bekannt. In den meisten Anwendungen jedoch wird der Fliegengittereffekt (englisch und Fachliteratur auch: FPN; Fixed Pattern Noise) während der Herstellung und zusätzlich oder alternativ in einer gesonderten Laborumgebung geschätzt. Methods for correcting the fly screen effect are well known in the modern imaging arts and imaging industries. In most applications, however, the fly screen effect (FPN) is estimated during manufacture and additionally or alternatively in a separate laboratory environment.
Einige Szene-basierte Verfahren zur Reduzierung des Fliegengittereffekts finden sich in wissenschaftlichen Veröffentlichungen wie z.B. in R. C. Hardie, M. M. Hayat, E. Armstrong, an B. Yasuda,„Scene-based nonuniformity correction with video seguences and registration," Optical Society of America, APPLIED Some scene-based methods of reducing the screen-lattice effect are found in scientific publications, such as e.g. in R.C. Hardie, M.M. Hayat, E. Armstrong, B. Yasuda, "Scene-based nonuniformity correction with video seguence and registration," Optical Society of America, APPLIED
OPTICS No. 8, vol. 39, pp. 1241-1250, 2000.oder in der US 2009/0257679 A1. Jedoch basieren die dabei angewendeten Verfahren hauptsächlich auf der Schätzung des optischen Flusses oder anderen eng damit verknüpften Verfahren und Abläufen. OPTICS No. 8, vol. 39, pp. 1241-1250, 2000.or in US 2009/0257679 A1. However, the methods used are mainly based on the estimation of the optical flow or other closely associated methods and procedures.
Offenbarung der Erfindung Disclosure of the invention
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, ein Ver- fahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, weiterhin eine Vorrichtung, die diese Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den je- weiligen Unteransprüchen und der nachfolgenden Beschreibung. Against this background, the present invention provides a method for estimating a screen-mesh effect of an image capture device, an to correct a fly screen effect of an image capture device, further an apparatus that uses these methods and finally presented a corresponding computer program product according to the independent claims. Advantageous embodiments result from the respective subclaims and the following description.
Die Erfindung basiert auf der Erkenntnis, dass sich die von einer Bilderfassungseinrichtung erfassten Bildinformationen aufgrund einer Bewegung der Bilderfassungseinrichtung oder der von der Bilderfassungseinrichtung erfassten Umge- bung fortlaufend verändern. Werden über einen Zeitraum erfasste Bildinformationen gemittelt oder aufaddiert, so weist die resultierende Bildinformation typischerweise einen glatten Verlauf auf. Bereiche, in denen der glatte Verlauf gestört ist, deuten auf Störungen hin, die von der Bilderfassungseinrichtung hervorgerufen werden. Da eine reale Bilderfassungseinrichtung solche Störungen her- vorruft, weist eine von einer Bilderfassungseinrichtung erfasste Bildinformation sowie die aus mehreren erfassten Bildinformationen generierte resultierende Bildinformation, keinen glatten Verlauf auf. Die durch die Bilderfassungseinrichtung hervorgerufenen Störungen können durch entsprechende Parameter in einer Modellbeschreibung der Bilderfassungseinrichtung beschrieben werden. Sind die Parameter optimal auf die Bilderfassungseinrichtung eingestellt, so können von der Bilderfassungseinrichtung erfasste Bildinformationen durch die Parameter so korrigiert werden, dass sie einen glatten Verlauf aufweisen. Somit können die Parameter bestimmt werden, indem die resultierende Bildinformation entsprechend der Modellbeschreibung mit Parametern beaufschlagt wird und Werte für die Parameter gesucht werden, bei denen die resultierende Bildinformation einen möglichst glatten Verlauf aufweist. Alternativ können erfasste Bildinformationen mit den Parametern beaufschlagt werden und anschließend jeweils die Glätte der erfassten Bildinformationen bestimmt werden. Im Anschluss können die einzelnen Werte für die Glätte der erfassten Bildinformationen als resultieren- de Glätte zusammengefasst werden und es können diejenigen Werte für die Parameter bestimmt werden, bei denen die resultierende Glätte minimiert ist. The invention is based on the recognition that the image information captured by an image capture device continuously changes due to a movement of the image capture device or the environment detected by the image capture device. If image information acquired over a period of time is averaged or added up, the resulting image information typically has a smooth course. Areas in which the smooth path is disturbed indicate disturbances caused by the image capture device. Since a real image capture device causes such disturbances, image information captured by an image capture device and the resulting image information generated from a plurality of acquired image information does not have a smooth course. The perturbations caused by the image capture device can be described by corresponding parameters in a model description of the image capture device. If the parameters are set optimally to the image capture device, then image information captured by the image capture device can be corrected by the parameters such that they have a smooth progression. Thus, the parameters can be determined by applying the resulting image information according to the model description with parameters and looking for values for the parameters in which the resulting image information has the smoothest possible course. Alternatively, captured image information can be applied to the parameters and subsequently the smoothness of the acquired image information can be determined. Subsequently, the individual values for the smoothness of the acquired image information can be summarized as resulting smoothness and those values can be determined for the parameters in which the resulting smoothness is minimized.
Der erfindungsgemäße Ansatz beschreibt ein Onlineverfahren zur Fliegengittereffektschätzung, das auf der Analyse von Bildsequenzen beruht. Insbesondere bedeutet dies, dass der Fliegengittereffekt außerhalb einer Laborumgebung ge- messen und korrigiert werden kann. Zum Erreichen dieses Ziels werden einige Annahmen über die Welt und die Erfassung der Einzelbilder getroffen. The approach of the present invention describes an on-line method of insect screen effect estimation based on the analysis of image sequences. In particular, this means that the fly screen effect is outside a laboratory environment. can be measured and corrected. To achieve this goal, some assumptions are made about the world and the capture of the frames.
Der Ansatz eignet sich für verschiedenste Video-basierte Methoden der Einzel- bilderfassung in einer natürlichen Umgebung. Insbesondere gilt dies für Videosequenzen von modernen Fahrzeugfrontkameras oder Kameras an mobilen Robotern. The approach is suitable for a variety of video-based methods of single image capture in a natural environment. In particular, this applies to video sequences of modern vehicle front cameras or cameras on mobile robots.
Mittels einer Online-FPN-Korrektur ist es möglich, eine Korrektur des Fliegengit- tereffekts in erfassten Sequenzen durchzuführen. So verbessert eine Korrektur des Fliegengittereffekts in einer Videoszene die Bildqualität, bei üblichen Sensoren insbesondere bei Sequenzen mit wenig Licht. Auch sind Verbesserungen bei der Farbrekonstruktion möglich. Besonders bei der Farbrekonstruktion, bei der viele Pixelwerte im Verlauf einer Berechnung verknüpft werden müssen, sind präzise Pixelwerte erforderlich. FPN-korrigierte Bilddaten verursachen wenigerBy means of an online FPN correction it is possible to carry out a correction of the fly screen effect in detected sequences. Thus, a correction of the screen effect in a video scene improves the image quality, with conventional sensors, especially in sequences with low light. Also, improvements in color reconstruction are possible. Especially in color reconstruction, where many pixel values must be linked in the course of a calculation, precise pixel values are required. FPN-corrected image data causes less
Farbrauschen im Bild, besonders bei Sequenzen mit schwacher Beleuchtung. Zudem sind Verbesserungen der Algorithmusfunktion möglich. Viele Algorithmen sind von "guten", d.h. für den jeweiligen Algorithmus geeigneten Bildsignalen abhängig. Der Fliegengittereffekt, insbesondere das bevorzugt auftretende Spalten- FPN, stört die Bildverarbeitungsalgorithmen, wie z.B. einen Spurerkennungsalgorithmus. Eine Korrektur des Fliegengittereffekts kann die Funktion solcher Algorithmusfunktionen verbessern. Color noise in the picture, especially in sequences with low illumination. In addition, improvements of the algorithm function are possible. Many algorithms are of "good", i. depending on the respective algorithm suitable image signals. The screen-lattice effect, particularly the preferential column FPN, interferes with the image processing algorithms, e.g. a lane detection algorithm. Correction of the flyscreen effect may improve the function of such algorithmic functions.
Auch ist eine Erneuerung der Kalibrierung der Bilderfassungseinrichtung nach einigen Jahren im praktischen Einsatz sinnvoll. Da es sich erfindungsgemäß um einen Online-FPN-Korrekturalgorithmus handelt, kann der Fliegengittereffekt in bestimmten Zeitintervallen korrigiert werden. Dies bedeutet, dass die über große Zeitskalen hinweg verlaufenden Änderungen des Fliegengittereffekts korrigiert werden können. Dies verbessert die Qualität des Produkts. Auch ist ein Erfassen von temperaturabhängigen FPN-Korrekturgrößen im praktischen Einsatz möglich. Der Fliegengittereffekt ist im Allgemeinen ein sehr temperaturabhängiges Phänomen. Mit der Online-FPN-Korrektur können verschiedene temperaturabhängige Korrekturparameter (Daten) erfasst und korrigiert werden. Alle gemessenen Daten sind temperaturabhängig und können daher auch ohne Online FPN-Korrektur gemessen werden. Aber mit der Online-FPN-Korrektur kann dasAlso, a renewal of the calibration of the image capture device after a few years in practical use makes sense. Since, according to the invention, this is an online FPN correction algorithm, the screen-mesh effect can be corrected at specific time intervals. This means that the changes over time scales of the fly screen effect can be corrected. This improves the quality of the product. It is also possible to detect temperature-dependent FPN correction variables in practical use. The fly screen effect is generally a very temperature dependent phenomenon. With the online FPN correction, different temperature-dependent correction parameters (data) can be detected and corrected. All measured data are temperature-dependent and can therefore be measured without online FPN correction. But with the online FPN correction that can
FPN in Abhängigkeit von der Temperatur korrigiert werden. Dies führt auch zu Kosteneinsparungen beim Herstellungsprozess. Mit der Verwendung einer Online-FPN-Korrektur kann auf den Schritt im Herstellungsprozess verzichtet werden, in dem der Fliegengittereffekt gemessen und anschlie- ßend in dem Gerät gespeichert wird. Auf diese Weise kann auch der Speichplatz im Gerät verkleinert werden. Dies ermöglicht den Einsatz kostengünstigerer Bildgeräte-Hardware aufgrund der guten Korrekturverfahren. FPN be corrected depending on the temperature. This also leads to cost savings in the manufacturing process. Using an on-line FPN correction eliminates the step in the manufacturing process of measuring the fly screen effect and then storing it in the device. In this way, the storage space in the device can be reduced. This allows the use of less expensive imaging hardware due to the good correction techniques.
Der erfindungsgemäße Ansatz basiert auf der Ableitung von räumlich und oder zeitlichen Eigenschaften gemessener Bilder oder Bildsequenzen, kurz Bildeigenschaft. Diese Bildeigenschaft kann durch die Glattheit, aber auch durch die Gla- ttheitsänderung oder eine ganz anders definierte globale Bildeigenschaften realisiert werden. Eine solche Bildeigenschaft lässt sich in der Regel auf eine Zahl abbilden. Zusätzlich werden Annahmen über diese Bildeigenschaft für ein Ideal- bild oder eine ideale Bildsequenz geschätzt. Diese Schätzung kann z.B. theoretisch hergeleitet oder heuristisch, also aus der Erfahrung heraus, gefolgert werden. Aufgrund eines Vergleichs, der gemessenen Bildeigenschaft mit einer angenommenen idealen Bildeigenschaft, werden nun Bildkorrekturparameter geschätzt, mit denen die Bildeigenschaft der gemessenen Bilder in Richtung der idealen Bildeigenschaft korrigiert wird. Ein Minimierungsprozess findet nun den idealen Parametersatz für die gegebenen Eingangsdaten. Es müssen dabei nicht die idealen Bilder komplett bekannt sein. Vielmehr reicht es aus, eine abstrakte Bildeigenschaft dieser Bilder so zu definieren, dass die erhaltenen Ergebnisse in der realen Anwendung sinnvoll verwendbar sind. The inventive approach is based on the derivation of spatial and / or temporal properties of measured images or image sequences, in short image property. This image property can be realized by the smoothness, but also by the change in brightness or a completely different global image properties. Such an image characteristic can usually be mapped to a number. In addition, assumptions about this image property are estimated for an ideal image or sequence of images. This estimate may e.g. derived theoretically or heuristically, that is to say from experience. Based on a comparison of the measured image characteristic with an assumed ideal image characteristic, image correction parameters are now estimated which correct the image characteristic of the measured images in the direction of the ideal image property. A minimization process now finds the ideal parameter set for the given input data. It does not have to be completely known the ideal images. Rather, it is sufficient to define an abstract image property of these images in such a way that the results obtained can be usefully used in real applications.
Im Falle der FPN-Korrektur kann der erfindungsgemäße Ansatz folgendermaßen angewendet werden. Als globaler Parameter der gemessenen Bilder wird die Glattheit von zusammengeführten Einzelbildern einer Sequenz geschätzt, oder alternativ die Glattheit von mehreren Einzelbildern zusammengeführt. Als ange- nommenes Idealbild wird ein ungestörtes, glattes Bild angenommen. Die Korrekturparameter, welche die Glattheit des gemessenen Bildes auf die angenommene ideale Glattheit eines Idealbildes korrigieren, können auch durch ein Sensormodell beschrieben werden und somit auch mit dem Fixed Pattern Noise identifiziert werden. Der Minimierungsprozess, findet nun einen idealen Parametersatz für eine gegebene Anzahl von Bildern. Sind diese Bilder repräsentativ gewählt und von der Anzahl her ausreichend, so entspricht das gefundene FPN, im Rahmen des Modells, auch dem FPN der Bilderfassungseinrichtung. In the case of FPN correction, the inventive approach can be applied as follows. As a global parameter of the measured images, the smoothness of merged frames of a sequence is estimated, or alternatively, the smoothness of multiple frames is merged. As an assumed ideal image, an undisturbed, smooth image is assumed. The correction parameters, which correct the smoothness of the measured image for the assumed ideal smoothness of an ideal image, can also be described by a sensor model and thus also be identified with the fixed pattern noise. The minimization process now finds an ideal parameter set for a given number of images. Are these pictures chosen representative and sufficient in number, so the FPN found, in the model also corresponds to the FPN of the image capture device.
Die vorliegende Erfindung schafft ein Verfahren zur Abschätzung eines Fliegen- gittereffekts einer Bilderfassungseinrichtung mit einer Mehrzahl von Bildsensoren zum Bereitstellen einer Lichtstärkeinformation, das die folgenden Schritte um- fasst: The present invention provides a method for estimating a fly-screen effect of an image capture device having a plurality of image sensors for providing a luminous intensity information comprising the following steps:
Bestimmen einer Bildeigenschaft einer Bildinformation, die auf einer Mehrzahl von Lichtstärkeinformationen und einer Mehrzahl von Parametern basiert, wobei jedem der Mehrzahl von Bildsensoren jeweils einer der Mehrzahl von Parametern zugeordnet ist; und Determining an image characteristic of image information based on a plurality of luminous intensity information and a plurality of parameters, each of the plurality of image sensors being associated with each of the plurality of parameters; and
Ermitteln einer Mehrzahl von Parameterwerten für die Mehrzahl von Parame- tern, bei der die Bildeigenschaft an eine ideale Bildeigenschaft zumindest angenähert ist, wobei die Mehrzahl von Parametern den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert. Determining a plurality of parameter values for the plurality of parameters, wherein the image characteristic is at least approximated to an ideal image characteristic, the plurality of parameters representing the screen-flyer effect in a model of the image capture device.
Bei dem Fliegengittereffekt, engl. Fixed Pattern Noise, handelt es sich um ein unerwünschtes Bildartefakt, das durch den technischen Aufbau der Bilderfassungseinrichtung bedingt ist. Bei der Bilderfassungseinrichtung kann es sich um eine Kamera oder einen Teil einer Kamera, beispielsweise eine Anzahl von Bildsensoren, handeln. Die Bilderfassungseinrichtung kann beispielsweise an einem Fahrzeug angeordnet sein, um ein Umfeld des Fahrzeugs zu erfassen. Eine Lichtintensität kann von einem Bildpunkt der Bilderfassungseinrichtung erfasst werden. Mehrere gleichzeitig oder direkt aufeinanderfolgend erfasste Lichtintensitäten einer Mehrzahl benachbarter Bildpunkte können zu einer Lichtstärkeinformation zusammengefasst werden. Somit kann es sich bei einer Lichtstärkeinformation um ein Bild oder eine Aufnahme der Bilderfassungseinrichtung oder ei- nen Teilbereich eines entsprechenden Bildes oder einer entsprechenden Aufnahme handeln. Somit kann eine Lichtstärkeinformation von einem Bereich einer Sensorfläche der Bilderfassungseinrichtung erfasst bzw. bereitgestellt werden. Wird in die Sensorfläche ein zweidimensionales Koordinatensystem gelegt, so kann die Lichtstärkeinformation für unterschiedliche Koordinaten unterschiedliche Lichtstärkewerte aufweisen. Ebenso kann die Mehrzahl von Parametern für unterschiedliche Koordinaten des Koordinatensystems unterschiedliche Werte auf- weisen. Die Mehrzahl von Parameterwerten kann als eine Matrix von Zahlen dargestellt sein, wobei jedem Bildsensor eine eigene Zahl in Form eines Parameterwerts zugeordnet ist. Die Mehrzahl von Lichtstärkeinformationen können zeitlich nacheinander, von ein und demselben Bereich der Sensorfläche erfasst wer- den. Eine Anzahl verwendeter Lichtstärkeinformationen kann von einer maximal möglichen Auflösung einer Lichtintensität durch einen Bildpunkt der Bilderfassungseinrichtung abhängig sein. So kann die Anzahl der Lichtstärkeinformationen größer als die Auflösung gewählt werden. Die Bilderfassungseinrichtung kann durch ein Modell beschrieben werden. Das Modell kann einen Zusammen- hang zwischen einer realen Bildinformation, die von der Bilderfassungseinrichtung erfasst wird, und der entsprechenden von der Bilderfassungseinrichtung er- fassten Bildinformation definieren. Das Modell kann eine mathematische Funktion darstellen. Der mindestens eine Parameter kann eine Variable des Modells sein. Insbesondere kann der mindestens eine Parameter eine den Fliegengitter- effekt darstellende Störgröße des Models sein. Die Bildinformation kann aus denIn the mosquito effect, engl. Fixed Pattern Noise is an unwanted image artifact caused by the technical structure of the image capture device. The image capture device can be a camera or a part of a camera, for example a number of image sensors. The image capture device can be arranged, for example, on a vehicle in order to detect an environment of the vehicle. A light intensity can be detected by a pixel of the image capture device. Several simultaneously or directly successively detected light intensities of a plurality of adjacent pixels can be combined to form a luminous intensity information. Thus, a luminous intensity information can be an image or a recording of the image acquisition device or a partial region of a corresponding image or a corresponding image. Thus, a luminous intensity information can be detected or provided by a region of a sensor surface of the image capture device. If a two-dimensional coordinate system is placed in the sensor surface, the light intensity information for different coordinates can have different light intensity values. Likewise, the plurality of parameters for different coordinates of the coordinate system can have different values. point. The plurality of parameter values may be represented as a matrix of numbers, with each image sensor being assigned its own number in the form of a parameter value. The plurality of luminous intensity information can be acquired one after the other, from one and the same area of the sensor surface. A number of luminous intensity information used may be dependent on a maximum possible resolution of a light intensity by a pixel of the image capture device. Thus, the number of luminous intensity information can be selected larger than the resolution. The image capture device can be described by a model. The model may define a relationship between real image information captured by the image capture device and the corresponding image information captured by the image capture device. The model can be a mathematical function. The at least one parameter may be a variable of the model. In particular, the at least one parameter can be a disturbance variable of the model representing the fly screen effect. The image information can be from the
Lichtstärkeinformationen sowie der Mehrzahl von Parametern bestimmt werden, indem die Lichtstärkeinformationen zusammengeführt und anschließend mit der Mehrzahl von Parametern beaufschlagt werden, oder indem die Lichtstärkeinformationen jeweils mit der Mehrzahl von Parametern beaufschlagt und an- schließend zusammengeführt werden. Die Bildeigenschaft kann eine räumliche und/oder zeitliche Eigenschaft der Bildinformation repräsentieren. Die ideale Bildeigenschaft kann im Vorfeld für ein Idealbild oder eine ideale Bildsequenz geschätzt werden. Die Bildeigenschaft kann durch einen Wert oder eine Zahl dargestellt werden. Das Annähern der Bildeigenschaft an die ideale Bildeigen- schaft kann basierend auf einem Vergleich zwischen der idealen Bildeigenschaft und einer aktuellen Bildeigenschaft, die mit aktuellen Parameterwerten ermittelt wird, durchgeführt werden. Durch mehrere Vergleiche können diejenigen Parameterwerte gefunden werden, bei denen eine Abweichung zwischen der idealen Bildeigenschaft und der aktuellen Bildeigenschaft minimal ist oder innerhalb ei- nes Toleranzfensters liegt. Ein Beispiel für eine geeignete Bildeigenschaft ist dieLight intensity information and the plurality of parameters are determined by the light intensity information is merged and then acted upon with the plurality of parameters, or by the luminous intensity information each acted upon by the plurality of parameters and then merged. The image property may represent a spatial and / or temporal property of the image information. The ideal image characteristic can be estimated in advance for an ideal image or an ideal image sequence. The picture property can be represented by a value or a number. The approximation of the image property to the ideal image property may be performed based on a comparison between the ideal image property and a current image property determined with current parameter values. Several comparisons can be used to find those parameter values in which a deviation between the ideal image property and the current image property is minimal or lies within a tolerance window. An example of a suitable image property is the
Glattheit der Bildinformation. Glattheit kann in Bezug auf die Bildinformation das Fehlen hoher Frequenzen bedeuten. Minimale Glattheit liegt bei konstanter Bildinformation vor, was nicht erwünscht ist, weil die Bildinformation dann gelöscht ist. Die„gewünschte" Glattheit, die der idealen Bildeigenschaft entsprechen kann, enthält keine der störenden Bildanteile. Diese störenden Bildanteile stellen sich meistens durch hohe räumliche Frequenzen dar und kommen in der realen, un- gestörten Bildinformation nicht vor. Entsprechend können die einzelnen Parameterwerte der Mehrzahl von Parameterwerten so ausgewählt werden, dass die Bildeigenschaft der idealen Bildeigenschaft entspricht oder der idealen Bildeigenschaft möglichst nahe kommt, beispielsweise innerhalb eines vorbestimmten Wertebereichs um einen Wert der idealen Bildeigenschaft liegt. Für das Beispiel der Glattheit liegt die ideale Bildeigenschaft dann vor, wenn die Bildinformation möglichst wenige hohe Frequenzen aufweist. Ein entsprechendes Online- Schätzverfahren für den Fliegengittereffekt kann online, also während eines Betriebs der Bilderfassungseinrichtung, in dem die Bilderfassungseinrichtung Auf- nahmen der Umgebung bereitstellt, durchgeführt werden. Smoothness of image information. Smoothness can mean the absence of high frequencies in terms of image information. Minimal smoothness is present with constant image information, which is not desirable because the image information is then erased. The "desired" smoothness, which can correspond to the ideal image quality, does not contain any of the disturbing parts of the image.These disturbing image components are usually represented by high spatial frequencies and occur in the real, unimportant image. disturbed image information is not available. Accordingly, the individual parameter values of the plurality of parameter values may be selected such that the image property corresponds to the ideal image property or comes as close as possible to the ideal image property, for example within a predetermined value range around a value of the ideal image property. For the example of smoothness, the ideal image property is when the image information has as few high frequencies as possible. A corresponding online estimation method for the fly screen effect can be carried out online, that is to say during operation of the image capture device in which the image capture device makes recordings of the surroundings.
Gemäß einer Ausführungsform kann der Schritt des Bestimmens der Bildeigenschaft die folgenden Schritte umfassen: Zusammenführen der Mehrzahl von Lichtstärkeinformationen, um eine resultierende Lichtstärkeinformation zu be- stimmen; Beaufschlagen der resultierenden Lichtstärke Information mit der Mehrzahl von Parametern, um eine mit der Mehrzahl von Parametern beaufschlagte Lichtstärkeinformation zu bestimmen; und Bestimmen der Bildeigenschaft als Bildeigenschaft der beaufschlagten Lichtstärkeinformation. Das Zusammenführen kann erfolgen, indem ein Mittelwert aus den Lichtstärkeinformationen gebildet wird, oder indem die Lichtstärkeinformationen aufaddiert werden. Das Zusammenführen kann auch auf eine ganz andere Art und Weise durchgeführt werden, z.B. als Gewichtung nach vergangener Zeit. Sowohl die einzelnen Lichtstärkeinformationen als auch die resultierende Lichtstärkeinformation weisen durch den Fliegengittereffekt hervorgerufenen Störungen auf. Durch das Beaufschlagen der resultierenden Lichtstärkeinformation mit der Mehrzahl von Parametern können die durch den Fliegengittereffekt hervorgerufenen Störungen reduziert werden. Je besser die Störungen durch die Mehrzahl von Parametern repräsentiert werden, umso besser können die Störungen in der beaufschlagten Lichtstärkeinformation, unter Verwendung der Mehrzahl von Parametern, reduziert werden. Je besser die Störungen reduziert werden, umso störungsfreier, beispielsweise glatter, ist wiederum die beaufschlagte Lichtstärkeinformation. Somit eignet sich diejenige der Mehrzahl von Parameterwerten am besten zur Reduzierung der durch den Fliegengittereffekt hervorgerufenen Störungen, die beispielsweise zu einer idealen Glattheit der beaufschlagten Lichtstärkeinformation führt. Um keine größtmögliche Glattheit zu erreichen, die zu konstanten Bildern führt, kann dieAccording to an embodiment, the step of determining the image characteristic may comprise the steps of: merging the plurality of luminous intensity information to determine a resultant luminous intensity information; Applying the resulting luminous intensity information with the plurality of parameters to determine a luminous intensity information applied with the plurality of parameters; and determining the image characteristic as an image characteristic of the applied luminous intensity information. Merging can be done by taking an average of the luminous intensity information or by adding up the luminous intensity information. The merging can also be carried out in a completely different way, e.g. as a weighting of the past. Both the individual luminous intensity information and the resulting luminous intensity information have disturbances caused by the screen-lattice effect. By applying the resulting luminous intensity information with the plurality of parameters, the disturbances caused by the screen-fly effect can be reduced. The better the disturbances are represented by the plurality of parameters, the better the disturbances in the applied luminous intensity information, using the plurality of parameters, can be reduced. The better the interference is reduced, the more trouble-free, for example smoother, is in turn the applied luminous intensity information. Thus, the one of the plurality of parameter values is best suited for reducing the disturbance caused by the screen-lattice effect, which for example leads to an ideal smoothness of the applied luminous intensity information. In order not to achieve the greatest possible smoothness, which leads to constant images, the
Minimierungsvorschrift auch noch Regularisierungsparameter (alpha und beta) beinhalten. Diese können so gewählt werden, dass die Glattheit nach Korrektur möglichst mit der angenommenen oder erfahrungsgemäßen Glattheit der realen Information übereinstimmt. Gemäß einer alternativen Ausführungsform kann der Schritt des Bestimmens derMinimization rule also regularization parameters (alpha and beta) include. These can be chosen so that the smoothness after correction matches as much as possible with the assumed or experienced smoothness of the real information. According to an alternative embodiment, the step of determining the
Bildeigenschaft die folgenden Schritte umfassen: Beaufschlagen jeder der Mehrzahl von Lichtstärkeinformation jeweils mit der Mehrzahl von Parametern, um eine Mehrzahl beaufschlagter Lichtstärkeinformationen zu bestimmen; Bestimmen jeweils einer Bildeigenschaft der Mehrzahl beaufschlagter Lichtstärkeinformatio- nen; und Bestimmen der Bildeigenschaft durch Zusammenführen der Bildeigenschaften der Mehrzahl beaufschlagter Lichtstärkeinformationen. Durch das Beaufschlagen jeder der Lichtstärkeinformationen mit der Mehrzahl von Parametern können die durch den Fliegengittereffekt hervorgerufenen Störungen jeder der Lichtstärkeinformationen reduziert werden. Ein Wert der Bildeigenschaft, bei- spielsweise der Glattheit, kann mittels einer geeigneten mathematischen oder logischen Funktion bestimmt werden. Das Zusammenführen der Werte der einzelnen Bildeigenschaften kann erfolgen, in dem ein Mittelwert aus den Werten gebildet wird, oder in dem die Werte aufaddiert werden. Je stärker die Störungen in den Lichtstärkeinformationen durch die Mehrzahl von Parametern reduziert wer- den, umso störungsfreier sind die beaufschlagten Lichtstärkeinformationen und einen umso geringeren Wert weist, für das Beispiel der Glattheit, die resultierende Glattheit auf. Dabei bedeuten ein geringer Wert der Glattheit sehr glatt und ein großer Wert der Glattheit nicht glatt, also rau. Der mindestens eine Parameter kann die die Dark Signal non-Uniformity (DSNU) und zusätzlich oder alternativ die Photo Response Non-Uniformity (PRNU) der Bilderfassungseinrichtung repräsentieren. Prinzipiell können alle Kombinationen von FPN Parametern geschätzt werden. Die Photo Response Non-Uniformity kann den charakteristischen Rauschanteil der Bilderfassungseinrichtung betref- fen. Die Dark Signal non-Uniformity kann Abweichungen von Signalantworten einzelner Sensorbereiche von einem Durchschnittswert für den Fall betreffen, dass kein Licht auf die Bilderfassungseinrichtung trifft. Durch die Parameter PRNU und DSNU kann der Fliegengittereffekt sehr gut beschrieben werden. Beispielsweise kann der mindestens eine Parameter einen Faktor und/oder einen Summand umfassen, mit dem eine von der Bilderfassungseinrichtung zu erfassende Lichtstärkeinformation gemäß dem Modell beaufschlagt wird, um eine den Fliegengittereffekt berücksichtigende modellierte Lichtstärkeinformation zu bestimmen. Als Faktor kann der Parameter PRNU und als Summand der Parameter DSNU eingesetzt werden. Die Mehrzahl von Parameterwerten der Mehrzahl von Parametern kann basierend auf einem Minimierungsprozess ermittelt werden. Es kann also für jeden einzelnen der Mehrzahl von Parametern jeweils ein geeigneter Parameterwert ermittelt werden. Beispielsweise kann die Mehrzahl von Parameterwerten als Minima einer die Glätte der Bildinformation beschreibenden Funktion bestimmt werden, wobei die Funktion eine Ableitung der Bildinformation über zumindest eine Haupterstreckungsrichtung einer Erfassungsfläche der Bilderfassungseinrichtung umfasst. Somit kann ein Wert der Bildeigenschaft, beispielsweise der Glattheit, mathematisch bestimmt und bewertet werden. Image characteristic, comprising the steps of: each of the plurality of luminous intensity information being supplied with the plurality of parameters to determine a plurality of irradiated luminous intensity information; Determining each one of an image characteristic of the plurality of applied luminous intensity information; and determining the image characteristic by merging the image characteristics of the plurality of applied luminous intensity information. By applying each of the luminous intensity information with the plurality of parameters, the disturbances of each of the luminous intensity information caused by the screen-lattice effect can be reduced. A value of the image characteristic, for example smoothness, can be determined by means of a suitable mathematical or logical function. The merging of the values of the individual image properties can be carried out by averaging the values or by adding up the values. The more the disturbances in the luminous intensity information are reduced by the plurality of parameters, the more trouble-free the luminous intensity information applied is, and the lesser the value, for the example of smoothness, has the resulting smoothness. A small amount of smoothness is very smooth and a large value of smoothness is not smooth, that is rough. The at least one parameter may represent the Dark Signal Non-Uniformity (DSNU) and, additionally or alternatively, the Photo Response Non-Uniformity (PRNU) of the image capture device. In principle, all combinations of FPN parameters can be estimated. The Photo Response Non-Uniformity can affect the characteristic noise of the image capture device. The dark signal nonuniformity may relate to deviations of signal responses of individual sensor regions from an average value in the event that no light hits the image capture device. By the parameters PRNU and DSNU the screen-lattice effect can be described very well. For example, the at least one parameter may include a factor and / or a summand with which a luminous intensity information to be detected by the image capture device is applied in accordance with the model in order to obtain a Determine modeled luminous intensity information taking into account the effect of a screened screen. The parameter PRNU can be used as factor and the parameter DSNU as addend. The plurality of parameter values of the plurality of parameters may be determined based on a minimization process. It is thus possible to determine a suitable parameter value for each of the plurality of parameters. For example, the plurality of parameter values may be determined as minima of a function describing the smoothness of the image information, the function comprising a derivation of the image information over at least one main extension direction of a detection surface of the image capture device. Thus, a value of the image characteristic such as smoothness can be mathematically determined and evaluated.
Generell kann die Bildeigenschaft eine räumliche und zusätzlich oder alternativ eine zeitliche Eigenschaft der Bildinformation repräsentieren. In general, the image property can represent a spatial and additionally or alternatively a temporal property of the image information.
Die vorliegende Erfindung schafft ferner ein Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, das die folgenden Schritte umfasst: The present invention further provides a method of correcting a screen-lattice effect of an image capture device, comprising the steps of:
Ermitteln einer Mehrzahl von Parameterwerten für eine Mehrzahl von Parametern, die den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert, gemäß einem der vorangegangenen Ausführungsformen; und Determining a plurality of parameter values for a plurality of parameters representing the screen-fly effect in a model of the image capture device according to one of the preceding embodiments; and
Korrigieren einer Lichtstärkeinformation der Mehrzahl von Bildsensoren mit der Mehrzahl von Parameterwerten, um eine bezüglich des Fliegengittereffekts korrigierte Lichtstärkeinformation zu bestimmen. Correcting luminous intensity information of the plurality of image sensors having the plurality of parameter values to determine a luminosity information corrected with respect to the screen-lattice effect.
Das Korrigieren kann erfolgen, in dem die von den Sensoren erfasste Lichtinformation mit der Mehrzahl von Parametern beaufschlagt wird, beispielsweise in dem die Lichtstärkeinformation mit einem entsprechenden Parameterwert multipliziert wird oder ein entsprechender Parameterwert aufaddiert wird. Durch das Korrigieren kann die erfasste Lichtstärkeinformation um den ermittelten Fliegengittereffekt bereinigt werden. Dies kann eine vollständige oder teilweise Korrektur des vorhandenen Fliegengittereffekts bewirken. Gemäß einer Ausführungsform kann während eines Betriebsmodus der Bilderfassungseinrichtung, in dem die Mehrzahl von Bildsensoren fortlaufend Lichtstärkeinformationen erfassen, der Schritt des Ermitteins der Mehrzahl von Parameterwerten mehrmals wiederholt ausgeführt werden. Somit kann im Schritt des Korrigierens die erfasste Lichtstärkeinformation mit einer zuletzt bestimmten Mehrzahl von Parameterwerten beaufschlagt werden. Auf diese Weise könnte beispielsweise schnell auf temperaturabhängige Veränderungen eingegangen werden. The correction can be carried out by applying the plurality of parameters to the light information detected by the sensors, for example by multiplying the intensity information by a corresponding parameter value or by adding a corresponding parameter value. By means of the correction, the detected luminous intensity information can be corrected for the ascertained screen-lattice effect. This can cause a complete or partial correction of the existing fly screen effect. According to an embodiment, during an operation mode of the image capture device in which the plurality of image sensors continuously acquire luminous intensity information, the step of determining the plurality of parameter values may be repeatedly performed repeatedly. Thus, in the step of correction, the detected luminous intensity information can be applied to a last-determined plurality of parameter values. In this way, for example, could be addressed quickly on temperature-dependent changes.
So kann der Schritt des Ermitteins des Parameterwerts ansprechend auf einen vorbestimmten Wert einer erfassten Temperatur der Bilderfassungseinrichtung oder einer Umgebung der Bilderfassungseinrichtung durchgeführt werden. Thus, the step of determining the parameter value may be performed in response to a predetermined value of a detected temperature of the image capture device or an environment of the image capture device.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The present invention further provides an apparatus adapted to perform the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a control device, the object underlying the invention can be achieved quickly and efficiently.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausfüh- rungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird. Also of advantage is a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out the method according to one of the embodiments described above. is used when running the program on a device that corresponds to a computer.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: The invention will now be described by way of example with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 is a block diagram of an image capture device according to an embodiment of the present invention;
Fig. 2 ein Blockschaltbild einer Vorrichtung zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; FIG. 2 is a block diagram of an apparatus for correcting a fly screen effect of an image capture device according to an embodiment of the present invention; FIG.
Fig. 3 ein Ablaufdiagramm eines Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 3 is a flowchart of a method for estimating a screen-mesh effect of an image capture device, according to an embodiment of the present invention; and
Fig. 4 ein Ablaufdiagramm eines weiteren Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 4 shows a flowchart of a further method for estimating a screen-mesh effect of an image capture device, according to an exemplary embodiment of the present invention.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. In the following description of preferred embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similarly acting, wherein a repeated description of these elements is omitted.
Fig. 1 zeigt ein Blockschaltbild einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Bilderfassungseinrichtung weist einen Bildsensor 102 auf, der ausgebildet ist, um auf den Bildsensor 102 auftreffende und durch Pfeile dargestellte Lichtintensitäten zu erfassen. Der Bildsensor 102 ist ausgebildet, um eine Lichtstärkeinformation 104 auszugeben, die Informationen über die in einem Teilbereich oder einer gesamten Erfassungsfläche des Bildsensors 102 erfassten Lichtintensitäten umfasst. Eine Vorrichtung 106 zur Abschätzung eines Fliegengittereffekts der Bilderfassungseinrichtung ist ausgebildet, um eine Mehrzahl von Lichtstärkeinformationen 104 zu empfangen, die von dem Bildsensor 102 zu unterschiedlichen Erfassungszeitpunkten erfasst und ausgegeben werden. Die Vorrichtung 106 ist ausgebildet, um eine Bildeigenschafteiner Bildinformation zu bestimmen, die aus der Mehrzahl von Lichtstärkeinformationen 104 generiert wird. In Folgenden wird als Bildeigenschaft beispielhaft die Glattheit verwendet. Unter Verwendung der Glattheit ist die Vor- richtung 106 ferner ausgebildet, um einen oder mehrere Parameterwerte 108 zu bestimmen, der den durch die Bilderfassungseinrichtung hervorgerufenen Fliegengittereffekt beschreibt. Die Parameterwerte 108 können von der Vorrichtung 106 zur Weiterverwendung ausgegeben werden. Fig. 2 zeigt ein Blockschaltbild einer Vorrichtung zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung weist eine Korrektureinrichtung 212 auf, die ausgebildet ist, um eine von der Bilderfassungseinrichtung erfasste und ausgegebene Lichtstärkeinformation 104 sowie zur Korrektur des Fliegengittereffekts geeignete Parameterwerte 108 zu empfangen. Die Korrektureinrichtung 212 ist ferner ausgebildet, um den in der Lichtstärkeinformation 104 vorhandenen Fliegengittereffekt unter Verwendung der Parameterwerte 108 zu korrigieren und eine entsprechend korrigierte Lichtstärkeinformation 214 auszugeben. Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise von der in Fig. 1 gezeigten Vorrichtung 106 ausgeführt werden. Mittels des Verfahrens werden Parameterwerte 108 generiert, die beispielsweise von der in Fig. 2 gezeigten Korrektureinrichtung 212 eingesetzt werden können. Fig. 1 shows a block diagram of an image capture device according to an embodiment of the present invention. The image capture device has an image sensor 102, which is designed to detect light intensities impinging on the image sensor 102 and represented by arrows. The image sensor 102 is configured to output a luminous intensity information 104 that includes information about the light intensities detected in a partial area or an entire detection area of the image sensor 102. An apparatus for estimating a screen-lattice effect of the image capture device is configured to receive a plurality of luminous intensity information 104 that is acquired by the image sensor 102 at different acquisition times and spent. The device 106 is configured to determine an image characteristic of image information generated from the plurality of luminous intensity information 104. In the following, as the image characteristic, the smoothness is exemplified. Using smoothness, the device 106 is further configured to determine one or more parameter values 108 that describe the screen-lattice effect caused by the image capture device. The parameter values 108 may be output from the device 106 for reuse. FIG. 2 shows a block diagram of an apparatus for correcting a screen-lattice effect of an image capture device, according to an exemplary embodiment of the present invention. The device has a correction device 212 which is designed to receive a luminous intensity information 104 detected and output by the image acquisition device and to receive suitable parameter values 108 for the correction of the effect of the screen screen. The correction device 212 is further configured to correct the screen-mesh effect present in the luminous intensity information 104 using the parameter values 108 and to output a correspondingly corrected luminous intensity information 214. FIG. 3 shows a flowchart of a method for estimating a screen-mesh effect of an image capture device, according to an exemplary embodiment of the present invention. For example, the method may be performed by the device 106 shown in FIG. By means of the method, parameter values 108 are generated which can be used, for example, by the correction device 212 shown in FIG. 2.
In einem Schritt 321 werden mehrere Lichtstärkeinformationen 104 zusammengeführt, um eine resultierende Lichtstärkeinformation 323 zu bestimmen. In einem Schritt 325 wird die resultierende Lichtstärkeinformation mit Parameterwer- ten 108 mehrerer Parameter zu beaufschlagen, um eine mit den Parametern beaufschlagte Lichtstärkeinformation 327 zu bestimmen. In einem Schritt 329 wird eine Glattheit 331 der beaufschlagten Lichtstärkeinformation 327 ermittelt. Dazu kann eine geeignete mathematische oder logische Funktion eingesetzt werden. Die Schritte 325, 329 können mit anderen Parameterwerten 108 wiederholt aus- geführt werden und es können die jeweils resultierenden Werte der GlattheitenIn a step 321, a plurality of luminous intensity information 104 are merged to determine a resulting luminous intensity information 323. In a step 325, the resulting luminous intensity information is to be applied to parameter values 108 of a plurality of parameters in order to determine a luminous intensity information 327 applied to the parameters. In a step 329, a smoothness 331 of the applied luminous intensity information 327 is determined. For this purpose, a suitable mathematical or logical function can be used. The steps 325, 329 can be executed repeatedly with other parameter values 108 and the respectively resulting values of the smoothness
331 miteinander verglichen werden. Diejenigen Parameterwerte 108, bei denen der Wert der Glattheit 331 am geringsten ist, können als optimale Parameterwerte 108 angesehen und ausgegeben werden. Alternativ zu den Schritten 325, 329 kann ein Satz optimaler Parameterwerte 108 mittels eines geeigneten Algorithmus, beispielsweise einem Minimierungsprozess, gefunden werden. 331 are compared. Those parameter values 108 where the value of smoothness 331 is lowest, can be considered as optimal parameter values 108 and output. As an alternative to steps 325, 329, a set of optimal parameter values 108 may be found by a suitable algorithm, such as a minimization process.
Dieser Ansatz wird im Folgenden anhand eines Ausführungsbeispiels detailliert beschrieben. This approach will be described in detail below with reference to an embodiment.
In herkömmlichen 2D-Bilderfassungsverfahren wird eine Optik verwendet. Diese Optik projiziert die Lichtstärkeinformation aus der Umgebung aus einem vorgegebenen Raumwinkel auf eine 2D-Sensoranordnung. Dies kann wie folgt dargestellt werden: In conventional 2D imaging methods, optics are used. This optics projects the luminous intensity information from the environment from a given solid angle onto a 2D sensor array. This can be represented as follows:
/^ e il n R^ /^ . R2 (1) lw,2D kann dabei eine Lichtstärkeinformation in der Sensorebene darstellen. / ^ e il n R ^ / ^. R 2 (1) l w , 2D can represent a luminous intensity information in the sensor plane.
Es wird nun angenommen, dass der Durchschnittswert in der Information lw,2D glatt ist, wenn über eine ausreichend lange Zeitdauer hinweg gemittelt wird. It is now assumed that the average value in the information l w , 2D is smooth when averaged over a sufficiently long period of time.
Die Mittelung kann durch eine einfache Integration oder Aufsummierung oder eine konkrete Mittelwertbildung, bei der beispielsweise das in Gleichung (2) gezeigte Integral noch durch die Zeit T geteilt wird. The averaging can be done by a simple integration or summation or a concrete averaging in which, for example, the integral shown in equation (2) is still divided by the time T.
Die Annahme basiert auf der Tatsache, dass die Information lw,2D über die Zeit in der realen Welt variiert. Dies kann daran liegen, dass sich die Kamera und die Optik ständig bewegen, wie dies zum Beispiel bei Fahrzeugfrontkameras der Fall ist, oder aufgrund von anderen Effekten. The assumption is based on the fact that the information lw, 2D varies over time in the real world. This may be because the camera and the optics are constantly moving, as is the case, for example, with vehicle front cameras, or due to other effects.
Im Allgemeinen ändern sich Kanten mit maximaler Lichtintensität, die von dem Gerät aufgezeichnet werden können, von Bild zu Bild. Daraus lässt sich gut ableiten, wie viele Abtastwerte gemittelt werden müssen. Ist eine Kante in einem Bild vorhanden und in jedem anderen Bild nicht, soll diese Kante beim Mitteln verschwinden. Ein Sensor kann in der Regel lediglich Lichtintensitäten von lM,2D e [0- -2n - 1] DZ+ messen. Eine Kante maximaler Lichtintensität soll nach dem Zusammenführen nicht mehr als 1 beitragen. Entsprechend gilt: In general, edges with maximum light intensity that can be recorded by the device change from image to image. It is easy to deduce how many samples need to be averaged. If there is an edge in an image and not in every other image, this edge should be used when averaging disappear. As a rule, a sensor can only measure light intensities of l M , 2D e [0-2 n - 1] DZ + . An edge of maximum light intensity should not contribute more than 1 after merging. Accordingly:
< 1 (3) n Abtastwert <1 (3) n sample
n Abtastwert > 2 1 (4)  n sample> 2 1 (4)
(5) riAbtastwert gibt dabei an, wie viele Lichtintensitäten zusammengeführt werden. Eine Glätte S einer Information X kann wie folgt ausgedrückt werden:  (5) ri-sample-value indicates how many light intensities are merged. A smoothness S of an information X can be expressed as follows:
S(X)l } = Vx y X(x,y) \ dx dyS (X) l} = V xy X (x, y) \ dx dy
wobei I■ I für eine beliebige, jedoch sinnvolle, Norm steht. Je niedriger der Wert S, desto glatter ist das Bild. where I ■ I stands for any, but meaningful, norm. The lower the value S, the smoother the picture.
Die Glätte drückt dabei ein fehlen hoher Frequenzen aus. The smoothness expresses a lack of high frequencies.
Es wird davon ausgegangen, dass die gemittelte Information in der Welt glatt ist. Insofern gilt: It is assumed that the average information in the world is smooth. In this respect:
S(aW,2D Vx,y AWi2D \ dx d (7) (8)S ( a W , 2D V x , y A Wi2D \ dx d (7) (8)
= \\ 7*,y \Iw-2D dt\ dx dy x und y stellen dabei Koordinaten eines Koordinatensystems dar, das in die Sensorfläche hineingelegt ist. = \\ 7 * , y \ Iw - 2D dt \ dx dy x and y represent coordinates of a coordinate system, which is placed in the sensor surface.
Dies führt zu dem Punkt, dass ein Modell der Bilderfassungsvorrichtung Derf. erstellt werden soll. Im Allgemeinen wird von einem linearen Modell für die gemessene Lichtintensität I M,2D ausgegangen. Es kann jedoch auch eine allgemeine höhere Ordnung im Sinne eines Taylor-Polynoms in Betracht gezogen werden: « a - IW 2D + b (1 1), wobei die mit ax,y ausgedrückten Werte auch unter der Bezeichnung PRNU (Photo Response Non-Uniformity) und die mit bx,y ausgedrückten Werte auch unter der Bezeichnung DSNU (Dark Signal Non-Uniformity) bekannt sind. This leads to the point that a model of the imaging apparatus D he f. should be created. In general, a linear model for the measured light intensity IM, 2D is assumed. However, a general higher order in the sense of a Taylor polynomial can also be considered: «A - I W 2D + b (1 1), where the values expressed with a x, y are also known under the name PRNU (Photo Response Non-Uniformity) and the values expressed as b x, y under the name DSNU (Dark Signal non-uniformity) are known.
Durch Einsetzen dieses Sensormodells in Gleichung 8 ergibt sich: By employing this sensor model in Equation 8:
Wrd davon ausgegangen, dass die Annahme wahr ist, kann geschlossen werden, dass die Glätte der gemittelten Umgebungsintensität S(AW,2D) durch die Erfassungsvorrichtung gestört wird. Um die Korrekturwerte für den FPN (a, b) zu erhalten, wird nun S minimiert: Assuming that the assumption is true, it can be concluded that the smoothness of the average environmental intensity S (A W, 2D) is disturbed by the detection device. In order to obtain the correction values for the FPN (a, b), S is now minimized:
Um dem Minimierungsprozess gewisse Zwangsbedingungen aufzuerlegen, wurde entschieden, von einem Vorrichtungsmodell auszugehen, das im Mittel nur kleine Abweichungen von seinen Idealparametern besitzt. , z.B. a = 1 und b = 0, und Abweichungen vom Idealzustand zu berücksichtigen: In order to impose certain constraints on the minimization process, it was decided to start from a device model that has on average only small deviations from its ideal parameters. , eg a = 1 and b = 0, and to consider deviations from the ideal state:
Im weiteren Verlauf der Aufgabe wurde entschieden, die Minimierung unter Verwendung einer L2 Norm zu konkretisieren. Zunächst werden einige Akronyme definiert: In the further course of the task, it was decided to specify the minimization using an L2 standard. First, some acronyms are defined:
(15) ELl = S(Aw D)L i + {a - \)2 + b7 (16) m iinn{ ( E} oder : min j^ } (17) a,b a,b (15) E Ll = S (A w D ) L i + {a - \) 2 + b 7 (16) min { ( E} or: min j ^} (17) a, ba, b
Anschließend wird die Minimierung durch Subsequently, the minimization is through
• i z ( \\ dEL (a + ea,b + eb ) • iz ( \\ dE L (a + ea, b + eb)
min EL [a, b)J => 2- a,b c)G le=0 = 0 (18) min E L [a, b) J => 2 - a, bc) G le = 0 = 0 (18)
(20) durchgeführt.  (20).
Diese Minimierung muss diskretisiert werden, da die Sensoren der Vorrichtung das Signal nicht kontinuierlich abtasten. Dies wird unter anderem mit einer Rekonstruktion durch endliche Elemente erster Ordnung an den Positionen sämtlicher Sensoren desselben Typs erzielt. Sensoren unterschiedlicher Typen sind beispielsweise Sensoren mit unterschiedlichen Farbfiltern. Das heißt, dass Sensoren desselben Typs beispielsweise Sensoren mit gleichen Farbfiltern sind. Dies führt zu einem System von Gleichungen, deren Anzahl von p n m abhängig ist, und das gelöst werden muss. Dabei repräsentiert p die Ordnung des Vorrichtungsmodells, in der Regel ist dies 2. n,m repräsentieren die Anzahl von Sensoren innerhalb der Abmessungen der Sensoranordnung. Fig. 4 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren kann beispielsweise von der in Fig. 1 gezeigten Vorrichtung 106 ausgeführt werden. Mittels des Verfahrens wird ein Parameterwert 108 generiert, der beispielsweise von der in Fig. 2 gezeigten Korrektureinrichtung 212 eingesetzt werden kann. This minimization must be discretized because the sensors of the device do not continuously sample the signal. This is achieved, among other things, with a reconstruction by first-order finite elements at the positions of all sensors of the same type. Sensors of different types are, for example, sensors with different color filters. That is, sensors of the same type are, for example, sensors with the same color filters. This leads to a system of equations whose number depends on p n m and which has to be solved. Where p represents the order of the device model, typically 2. n, m representing the number of sensors within the dimensions of the sensor array. 4 shows a flowchart of a further method for estimating a screen-mesh effect of an image capture device, according to an exemplary embodiment of the present invention. For example, the method may be performed by the device 106 shown in FIG. By means of the method, a parameter value 108 is generated, which can be used, for example, by the correction device 212 shown in FIG. 2.
In einem Schritt 441 werden mehrere Lichtstärkeinformationen 104 jeweils mit einem Parameterwert 108 beaufschlagt, um mehrere beaufschlagte Lichtstärke- Informationen 443 zu bestimmen. In einem Schritt 445 wird für jede beaufschlagte Lichtstärkeinformation 443 ein Wert für eine Glattheit 447 der jeweiligen beaufschlagten Lichtstärkeinformation 443 bestimmt. In einem Schritt 449 werden die einzelnen Werte der Glattheiten 447 zusammengeführt, um eine resultieren- de Glattheit 451 zu bestimmen. Die Schritte 441 , 445, 449 können mit anderenIn a step 441, a plurality of luminous intensity information 104 are each subjected to a parameter value 108 in order to control a plurality of illuminated intensity values. Information 443 to determine. In a step 445, a value for a smoothness 447 of the respective applied luminous intensity information 443 is determined for each applied luminous intensity information 443. In a step 449, the individual values of the smoothness 447 are combined to determine a resulting smoothness 451. Steps 441, 445, 449 may be with others
Parameterwerten 108 wiederholt ausgeführt werden und es können die jeweils resultierenden Werte Glattheit 451 miteinander verglichen werden. Derjenige Parameterwert 108, bei dem der Wert der Glattheit 451 am geringsten ist, kann als optimaler Parameterwert 108 angesehen und ausgegeben werden. Parameter values 108 may be repeatedly executed and the respective resulting values of smoothness 451 may be compared with each other. The parameter value 108 at which the value of the smoothness 451 is the lowest can be regarded as the optimum parameter value 108 and output.
Dieser Ansatz wird im Folgenden anhand eines Ausführungsbeispiels detailliert beschrieben. This approach will be described in detail below with reference to an embodiment.
Jede Intensitätsinformation, beispielsweise ein Bild, wird durch die Messung ver- schlechtert. Verschlechterung meint hier wieder die Zunahme an hohen Frequenzen und somit eine Abnahme der Glattheit. Any intensity information, for example an image, is impaired by the measurement. Deterioration here again means the increase in high frequencies and thus a decrease in smoothness.
Nun kann mit derselben Methode, wie anhand von Fig. 3 beschrieben, die Glattheit S(X) eines Einzelbildes mittels der Formel (6) bestimmt werden. Now, with the same method as described with reference to FIG. 3, the smoothness S (X) of a frame can be determined by the formula (6).
Zur Berücksichtigung der zeitlichen Dimension, soll die Zusammenführung, z.B. der Mittelwert, aller bestimmten Glattheiten berücksichtigt werden. Dabei ist der Parametersatz des Sensormodells in allen Glattheitsberechnungen konstant. To account for the temporal dimension, the merge, e.g. the mean, of all particular smoothness. The parameter set of the sensor model is constant in all smoothness calculations.
Der Mittelwert, bzw. die Zusammenführung, der Glattheiten muss minimiert werden um Störungsreduzierende Information zu erhalten. Diese Minimierung wird wieder durch die Parameter des Penalizers (alpha bzw. alpha und beta) geregelt. The mean, or merger, of the smoothness must be minimized to obtain noise reducing information. This minimization is again regulated by the parameters of the penalizer (alpha or alpha and beta).
Die erfindungsgemäßen Ansätze beschränken sich nicht darauf, den DSNU oder den PRNU lediglich zu korrigieren. Stattdessen können die Ansätze auf eine beliebige Ordnung des Gerätemodells erweitert werden. The approaches of the invention are not limited to just correcting the DSNU or the PRNU. Instead, the approaches can be extended to any order of the device model.
Ferner kann das Gerätemodell auf eine Art und Weise angepasst werden, dass das sich ergebende Gleichungssystem kleiner ist, z.B. lediglich einen Spalten- FPN zulässt. Auch kann die Art und Weise, wie das Gleichungssystem gelöst wird, frei gewählt werden, und zwar angepasst auf den erforderlichen Genauig- keitsabgleich und die erforderliche Verarbeitungskomplexität. Furthermore, the device model can be adapted in a way that the resulting equation system is smaller, eg only allowing one column FPN. Also, the way how the equation system can be solved is chosen freely, adapted to the required precision matching and the required processing complexity.
Im Gegensatz zu anderen FPN-Korrekturschemata, basiert der erfindungsgemäße Ansatz auf einer grundlegenden physikalischen Annahme über den Eindruck der Umgebung auf das Gerät. Unlike other FPN correction schemes, the approach of the invention is based on a basic physical assumption about the impression of the environment on the device.
Eine Implementierung kann in einem Programmcode einer Rechenvorrichtung erfolgen, die ausgebildet ist, um Informationen mit der Kamera auszutauschen. Auch kann eine Implementierung in Hardware erfolgen. Ein Hardware-System benötigt dabei unter anderem auch einen Speicher zum Speichern der gemittel- ten Informationen. An implementation may be in a program code of a computing device configured to exchange information with the camera. Also, an implementation can be done in hardware. Among other things, a hardware system also requires a memory for storing the averaged information.
Die erfindungsgemäßen Ansätze lassen sich bei allen Produkten anwenden, für die klare und rauschfreie Bilder benötigt werden. Eine Einsatzmöglichkeit besteht beispielsweise bei einer Frontkamera eines Fahrzeugs. The approaches according to the invention can be applied to all products for which clear and noise-free images are required. One possible use is, for example, in a front camera of a vehicle.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment. Furthermore, method steps according to the invention can be repeated as well as carried out in a sequence other than that described.

Claims

Verfahren zur Abschätzung eines Fliegengittereffekts einer Bilderfassungseinrichtung (102) mit einer Mehrzahl von Bildsensoren zum Bereitstellen einer Lichtstärkeinformation, das die folgenden Schritte umfasst: A method of estimating a fly screen effect of an image capture device (102) having a plurality of image sensors to provide light intensity information, comprising the steps of:
Bestimmen einer Bildeigenschaft einer Bildinformation, die auf einer Mehrzahl von Lichtstärkeinformationen (104) und einer Mehrzahl von Parametern (108) basiert, wobei jedem der Mehrzahl von Bildsensoren jeweils einer der Mehrzahl von Parametern zugeordnet ist; und Determining an image characteristic of image information based on a plurality of luminous intensity information (104) and a plurality of parameters (108), each of the plurality of image sensors being associated with each of the plurality of parameters; and
Ermitteln (106) einer Mehrzahl von Parameterwerten für die Mehrzahl von Parametern (108), bei der die Bildeigenschaft an eine ideale Bildeigenschaft zumindest angenähert ist, wobei die Mehrzahl von Parametern den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert. Determining (106) a plurality of parameter values for the plurality of parameters (108) in which the image characteristic is at least approximated to an ideal image characteristic, the plurality of parameters representing the screen-fly effect in a model of the image capture device.
Verfahren gemäß Anspruch 1 , bei dem der Schritt des Bestimmens der Bildeigenschaft die folgenden Schritte umfasst: The method of claim 1, wherein the step of determining the image characteristic comprises the steps of:
Zusammenführen (321) der Mehrzahl von Lichtstärkeinformationen, um eine resultierende Lichtstärkeinformation zu bestimmen; Merging (321) the plurality of luminous intensity information to determine a resultant luminous intensity information;
Beaufschlagen (325) der resultierenden Lichtstärkeinformation (104) mit der Mehrzahl von Parametern (108), um eine mit der Mehrzahl von Parametern beaufschlagte Lichtstärkeinformation (327) zu bestimmen; und Applying (325) the resulting luminous intensity information (104) to the plurality of parameters (108) to determine a luminous intensity information (327) applied to the plurality of parameters; and
Bestimmen (329) der Bildeigenschaft als Bildeigenschaft (331) der beaufschlagten Lichtstärkeinformation. Determining (329) the image characteristic as an image characteristic (331) of the applied luminous intensity information.
Verfahren gemäß Anspruch 1 , bei dem der Schritt des Bestimmens (329) der Bildeigenschaft die folgenden Schritte umfasst: Beaufschlagen (441) jeder der Mehrzahl von Lichtstärkeinformationen (104) jeweils mit der Mehrzahl von Parametern (108), um eine Mehrzahl beaufschlagter Lichtstärkeinformationen (443) zu bestimmen; The method of claim 1, wherein the step of determining (329) the image property comprises the steps of: Respectively applying (441) each of the plurality of luminous intensity information (104) to the plurality of parameters (108) to determine a plurality of applied luminous intensity information (443);
Bestimmen (445) jeweils einer Bildeigenschaft (447) der Mehrzahl beaufschlagter Lichtstärkeinformationen; und Determining (445) each an image characteristic (447) of the plurality of applied luminous intensity information; and
Bestimmen (449) der Bildeigenschaft (451) durch Zusammenführen der Bildeigenschaften der Mehrzahl beaufschlagter Lichtstärkeinformationen. Determining (449) the image characteristic (451) by merging the image characteristics of the plurality of applied luminance information.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Mehrzahl von Parametern (108) die Photo Response Non-Uniformity (PRNU) oder die Dark Signal non-Uniformity (DSNU) oder sowohl die Photo Response Non-Uniformity (PRNU) als auch die die Dark Signal non- Uniformity (DSNU) der Bilderfassungseinrichtung repräsentiert. A method according to any one of the preceding claims, wherein the plurality of parameters (108) include Photo Response Non-Uniformity (PRNU) or Dark Signal Non-Uniformity (DSNU) or both Photo Response Non-Uniformity (PRNU) and the Dark Signal non-uniformity (DSNU) of the image capture device represents.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Mehrzahl von Parameterwerten basierend auf einem Minimierungsprozess ermittelt wird. Method according to one of the preceding claims, wherein the plurality of parameter values is determined based on a minimization process.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Bildeigenschaft eine räumliche und/oder zeitliche Eigenschaft der Bildinformation repräsentiert. Method according to one of the preceding claims, in which the image property represents a spatial and / or temporal property of the image information.
Verfahren zur Korrektur eines Fliegengittereffekts einer Bilderfassungseinrichtung (102), das die folgenden Schritte umfasst: A method of correcting a screen-lattice effect of an image capture device (102) comprising the steps of:
Ermitteln einer Mehrzahl von Parameterwerten (108) für eine Mehrzahl von Parametern, die den Fliegengittereffekt in einem Model der Bilderfassungseinrichtung repräsentiert, gemäß einem der vorangegangenen Ansprüche; und Determining a plurality of parameter values (108) for a plurality of parameters representing the screen-fly effect in a model of the image capture device according to one of the preceding claims; and
Korrigieren (212) einer Lichtstärkeinformation (104) der Mehrzahl von Bildsensoren mit der Mehrzahl von Parameterwerten, um eine bezüglich des Fliegengittereffekts korrigierte Lichtstärkeinformation (214) zu bestimmen. Correcting (212) luminous intensity information (104) of the plurality of image sensors having the plurality of parameter values to determine a luminosity information (214) corrected for the screen-lattice effect.
Verfahren zur Korrektur eines Fliegengittereffekts gemäß Anspruch 7, bei dem während eines Betriebsmodus der Bilderfassungseinrichtung (102), in dem die Mehrzahl von Bildsensoren fortlaufend Lichtstärkeinformationen (104) bereitstellen, der Schritt des Ermitteins (106) der Mehrzahl von Parameterwerten mehrmals wiederholt ausgeführt wird, und bei dem im Schritt des Korrigierens (212) die Lichtstärkeinformation mit einer zuletzt bestimmten Mehrzahl von Parameterwerten beaufschlagt wird. A method of correcting a fly screen effect according to claim 7, wherein during an operating mode the image capturing means (102), in wherein the plurality of image sensors continuously provide luminous intensity information (104), the step of determining (106) the plurality of parameter values is repeatedly performed repeatedly, and wherein in the step of correcting (212) the luminous intensity information is applied with a last determined plurality of parameter values.
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen. Apparatus adapted to perform the steps of a method according to any one of claims 1 to 8.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird. Computer program product with program code for carrying out the method according to one of claims 1 to 8, when the program is executed on a device.
EP11769819.1A 2010-11-24 2011-09-28 Method and device for estimating a fly screen effect of an image capture device Withdrawn EP2643967A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010061864A DE102010061864A1 (en) 2010-11-24 2010-11-24 Method and apparatus for estimating a fly screen effect of an image capture device
PCT/EP2011/066829 WO2012069238A1 (en) 2010-11-24 2011-09-28 Method and device for estimating a fly screen effect of an image capture device

Publications (1)

Publication Number Publication Date
EP2643967A1 true EP2643967A1 (en) 2013-10-02

Family

ID=44800006

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11769819.1A Withdrawn EP2643967A1 (en) 2010-11-24 2011-09-28 Method and device for estimating a fly screen effect of an image capture device

Country Status (6)

Country Link
US (1) US9154715B2 (en)
EP (1) EP2643967A1 (en)
JP (1) JP2013545410A (en)
CN (1) CN103229497B (en)
DE (1) DE102010061864A1 (en)
WO (1) WO2012069238A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016102988A1 (en) 2014-12-24 2016-06-30 Datalogic Automation, Inc. Multiline scanner

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2596316B2 (en) * 1993-06-22 1997-04-02 日本電気株式会社 Fixed pattern noise removal circuit for solid-state imaging camera
US7362911B1 (en) * 2003-11-13 2008-04-22 Pixim, Inc. Removal of stationary noise pattern from digital images
US7294817B2 (en) * 2004-05-06 2007-11-13 Siemens Power Generation, Inc. System and methods for determining nonuniformity correction parameters in detector-array imaging
JP4487640B2 (en) * 2004-06-01 2010-06-23 ソニー株式会社 Imaging device
US7684634B2 (en) 2006-08-29 2010-03-23 Raytheon Company System and method for adaptive non-uniformity compensation for a focal plane array
CN100576882C (en) * 2006-12-28 2009-12-30 比亚迪股份有限公司 The cmos image sensor fixed pattern noise cancelling circuit
KR101442242B1 (en) 2007-12-12 2014-09-29 삼성전자주식회사 Defect and noise removal method
US7995859B2 (en) 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
JP2009302850A (en) * 2008-06-12 2009-12-24 Olympus Imaging Corp Noise removal device of solid-state image sensor, image capturing apparatus, noise removal method of solid-state image sensor
KR20110048922A (en) * 2009-11-03 2011-05-12 삼성전자주식회사 Method of modeling integrated noise and method of reducing noises in image sensors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012069238A1 *

Also Published As

Publication number Publication date
US9154715B2 (en) 2015-10-06
DE102010061864A1 (en) 2012-05-24
JP2013545410A (en) 2013-12-19
US20130308020A1 (en) 2013-11-21
CN103229497A (en) 2013-07-31
CN103229497B (en) 2018-02-06
WO2012069238A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
DE102010062496B4 (en) Method and device for processing image information from two sensors of a stereo sensor system suitable for image acquisition
DE69627138T2 (en) METHOD FOR ESTIMATING THE SITUATION OF A PICTURE TARGET REGION FROM SEVERAL REGIONS OF TRACKED LANDMARKS
DE112016001040T5 (en) Method and system for real-time noise removal and image enhancement of high dynamic range images
DE102008034979B4 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
DE102012201696A1 (en) Image processing apparatus, associated control method, program and recording medium
DE102011006272A1 (en) Image processing apparatus and method of controlling the same
DE102010023168B4 (en) Method and device for correcting non-uniform sensitivity of detector elements in thermal imaging cameras
DE102019101482A1 (en) DETECTION DEVICE FOR THE EXTERNAL ENVIRONMENT OF A VEHICLE
DE112010003748T5 (en) METHOD AND DEVICE FOR IMAGE CORRECTION
EP3384461A1 (en) Method and device for image correction
EP3811336B1 (en) Method for determining mutually corresponding image points, soc for performing the method, camera system having the soc, controller and vehicle
DE102014102011A1 (en) System and method for generating an image with a wide dynamic range
EP2643967A1 (en) Method and device for estimating a fly screen effect of an image capture device
WO2018224444A1 (en) Method and device for image correction
DE112015005753B4 (en) Image processing system and device thereof
DE102016104043A1 (en) Method for generating a noise-reduced image based on a noise model of a plurality of images, and camera system and motor vehicle
DE102009017135A1 (en) Method for video data analysis of image sequence for controlling e.g. vehicles, involves detecting optical flow as assumed value-less flow vectors for image points that are not detected in background stabilized images
DE102008016393A1 (en) Method for correcting image errors of electronic camera with image sensors, involves determining image row of dark pixel value assigned to this row from dark pixels
DE102009000810A1 (en) Device for segmenting an object in an image, video surveillance system, method and computer program
DE102015109878B3 (en) Correction of a patterned image defect
EP0514390A1 (en) Process for determining the instantaneous position and shape of moving objects and for displaying them as a binary image.
DE102009057724B4 (en) Image capture device and method for reducing motion blur
DE102013111861B4 (en) Methods and apparatus for image optimization
DE4117774A1 (en) METHOD FOR MONITORING TERRAIN
DE102022211182A1 (en) Method and device for determining a lighting parameter

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130624

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160401