EP1495634A1 - Method and device for fpn correction of image signal values of an image sensor - Google Patents

Method and device for fpn correction of image signal values of an image sensor

Info

Publication number
EP1495634A1
EP1495634A1 EP03722424A EP03722424A EP1495634A1 EP 1495634 A1 EP1495634 A1 EP 1495634A1 EP 03722424 A EP03722424 A EP 03722424A EP 03722424 A EP03722424 A EP 03722424A EP 1495634 A1 EP1495634 A1 EP 1495634A1
Authority
EP
European Patent Office
Prior art keywords
image
values
correction
image signal
transfer function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03722424A
Other languages
German (de)
French (fr)
Inventor
Bernd Hoefflinger
Markus Strobel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut fur Mikroelektronik Stuttgart
Institut fuer Mikroelectronik Stuttgart
Original Assignee
Institut fur Mikroelektronik Stuttgart
Institut fuer Mikroelectronik Stuttgart
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut fur Mikroelektronik Stuttgart, Institut fuer Mikroelectronik Stuttgart filed Critical Institut fur Mikroelektronik Stuttgart
Publication of EP1495634A1 publication Critical patent/EP1495634A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present invention relates to a method for FPN correction of image signal values of an image sensor having a plurality of image cells, with the steps
  • correction values being added to the image signal values as analog quantities via a signal path with a defined transfer function.
  • the invention further relates to a device for FPN correction of image signals of an image sensor having a plurality of image cells, with a device for reading out the image signal values from the image cells, with a first memory for recording individual correction values and with an adder for analog addition of the individual correction values for the image signal values, the first memory and the adder being connected to a defined transfer function via a signal path.
  • Modern image sensors for taking pictures have a large number of individual picture cells (pixels) which are made up of light-sensitive electronic components. Depending on the incident light, the picture cells generate analog picture signal values which are converted into digital picture signal values in a subsequent processing stage using an A / D converter.
  • the digital image signal values of all image cells represent a digital image of the recorded scene, which can later be displayed on a monitor, a printer and the like.
  • a known problem with such image sensors is the so-called fixed pattern noise (fixed pattern noise, FPN). This refers to inhomogeneities in an actually homogeneous image, which are caused primarily by the manufacturing tolerances of the individual image cells.
  • FPN fixed pattern noise
  • a uniform (static) correction value was specified for all image cells of the image sensor. Then a homogeneous reference image was recorded with the image sensor. For example, a uniformly illuminated surface (known from so-called white balance in cameras) is suitable as a reference image. In this case, since the correction values of all picture cells are identical when this reference picture is taken, the picture signal values of the individual picture cells exactly reflect the fixed pattern noise.
  • an average over all image cells was formed from the recorded image signal values of the reference image. This mean value was then used as the uniform target image value for all image cells.
  • all correction values from the set of all possible correction values for all image cells were run through on a test basis. With correction values with a width of 8 bits, 256 loop runs per image cell were therefore required. As a suitable individual correction value, that correction value was selected for each image cell in which the associated image signal value came closest to the uniform target image value.
  • the method represents a simple possibility of finding suitable individual correction values with low demands on the determine the hardware used.
  • the fixed pattern noise can be considerably reduced with the correction values found in this way.
  • the object is achieved with a device of the type mentioned at the outset, in which a second memory and a correction value calculation unit are provided, the second memory being designed to provide parameters which are characteristic of the defined transfer function, and the correction value calculation unit being designed for this purpose is the to calculate individual correction values using the provided parameters.
  • the new method and the corresponding device are based on a calculation of the suitable correction values in the mathematical sense, whereas the correction values in the previous method were rather determined by a search process.
  • the new procedure makes it necessary to first determine, at least approximately, the transfer function, according to which the correction values are influenced when feeding into the correction value signal path. This measure is not necessary with the approach practiced so far.
  • the effort involved is compensated for by the achievable accuracy and speed of the new method. This applies in particular if the FPN correction is carried out repeatedly for an image sensor, for example in order to achieve an optimal adaptation to new environmental conditions.
  • the parameters that characterize the defined transfer function do not necessarily have to be determined again, so that the corresponding additional outlay is incurred only once.
  • the new method allows iterative application, so that negative influences due to inaccurate parameter determination and / or due to dynamic effects when setting the correction values can be reduced very successfully. This also enables an improvement in the correction quality to be achieved.
  • the speed with which the individual correction values are determined in the new method depends much less on the data width of the correction used. values. Increasing the data width to further improve the correction quality therefore results in a smaller increase in the duration of the procedure than in the previously pursued approach. If you assume a correction value width of 8 bits and do without iterative loop runs, the new method enables acceleration up to a factor of 256, because the individual correction values are due to the. analytical calculation can be determined directly.
  • At least two different correction values from a set are possibly used to determine the parameters. rather correction values are added with a constant image signal value and a corrected image signal value is recorded for each of these correction values.
  • the image signal value in complete darkness or with homogeneous lighting is preferably used as the constant image signal value.
  • the transfer function to which the individual correction values are subjected is measured to a certain extent.
  • Various correction values are set and then the result is recorded at the output for each of the set correction values.
  • the transfer function recorded in this way includes not only the path of the correction values to the adder, but also the subsequent signal path which is traversed together with the image signal values. As has been shown, however, this does not represent a disadvantage.
  • the functional relationships to which the correction values are subject during the intended signal processing can be determined very easily and with sufficient accuracy. In the simplest case, it is sufficient to determine two different correction values and the two corrected image signal values associated with them, so that the transfer function can then be approximated by a straight line.
  • the associated inaccuracies are offset by an enormous speed advantage when determining the transfer function. Higher accuracies in determining the transfer function can be achieved if the transfer function is measured at more than just two places.
  • the applied correction values and the respectively associated output values can be stored in a table as parameters of the transfer function.
  • the measured function values are then support points of the actual ones Transfer function. If, on the other hand, you are satisfied with a linear approximation of the transfer function, it is sufficient to calculate the slope of the approximation line and to store it as a parameter in the memory.
  • the memory can also be a register of an existing microcontroller.
  • all correction values from the set of possible correction values are added to the constant image signal value.
  • the transfer function is completely measured, which is the most precise method of determination.
  • all the correction values that have been created can then be stored in a table as parameters of the transfer function with the respectively associated output values.
  • the transfer function is tabulated.
  • the correction value calculation unit can access the table and thus very easily determine the suitable individual correction values.
  • the parameters are determined on the basis of selected image cells, preferably on the basis of an individual image cell.
  • the transfer function to which the individual correction values are subject, is largely independent of the manufacturing tolerances of the individual image cells, the computational effort can be considerably reduced by picking out one or a few image cells as an example. If you draw several image cells for loading Mood of the transfer function can be reduced by averaging negative influences of statistical fluctuations. Overall, the implementation speed of the new method is further optimized in this embodiment.
  • the parameters are provided on the basis of reference data of image sensors of the same type.
  • the parameters of a mathematical inverse function of the defined transfer function are made available in the memory.
  • the quantities that are required for the determination of the correction values are measured.
  • the existing fixed pattern noise of the image sensor is measured here by recording the homogeneous reference image.
  • the calculation of the individual correction values can then be limited to performing a few arithmetic operations, as is explained in more detail below with reference to the exemplary embodiments.
  • the first correction value is made available uniformly for all image cells.
  • the existing fixed pattern noise of the image sensor is not distorted when the Image signal values recorded in step b). This means that the one-off implementation of the new method already gives good results in the FPN correction. Due to the possibility that the method can be carried out iteratively, it is in principle also possible to start with different first correction values.
  • the uniform target image value is determined as the mean value of the image signal values read out in method step b).
  • the target image value can be determined as an arithmetic mean between the maximum and the minimum image signal value of the image signal values read out in method step b). However, averaging is even more preferred, taking into account all the image signal values read out.
  • the measure has the advantage that the correction range determined by the data width of the correction values is optimally used and that on average only comparatively minor corrections are required.
  • FIG. 1 is a schematic representation of a device according to the invention for correcting the fixed pattern noise in an image sensor
  • Fig. 2 is a flow chart for explaining the method according to the invention.
  • FIG. 3 shows a further flow chart for an exemplary explanation of how the transfer function can be determined.
  • the device 10 here contains an image sensor 12 known per se with a large number of image cells 14.
  • the image sensor here is a CMOS image sensor.
  • the method can also be used with image sensors of other technologies, for example CCD image sensors.
  • the reference number 16 denotes an addressing unit which is controlled by a microcontroller 18.
  • the ad The addressing unit 16 addresses individual image cells 14 of the image sensor 12 for reading out the corresponding image signal values.
  • the reference number 20 denotes the light source.
  • a diffuser 22 is arranged between the light source 20 and the image sensor 12, so that homogeneous light illuminates the image sensor 12.
  • the homogeneous light is indicated here by an arrow with the reference number 24. It represents a homogeneous reference image for the implementation of the method described below.
  • homogeneous illumination is also possible, for example, with the help of an integrating sphere or another homogeneous illumination device.
  • Reference numeral 26 denotes an analog adder which is connected on the input side to the addressing unit 16 via a signal line 28.
  • a second input is connected to a D / A converter 32 via a signal line 30.
  • the output of the adder 26 is connected to an amplifier 34 which, according to a preferred exemplary embodiment, has a variable gain factor v. In this way, the signal level of the image signal values read out can be optimally adapted to the working range of an A / D converter 36 arranged at the output of the amplifier.
  • the output of the A / D converter 36 is connected to the microcontroller 18.
  • Reference number 38 denotes a memory, for example a flash EPROM or an SRAM.
  • the memory 38 is also controlled by the microcontroller 18. It is used to record individual correction values, which are added to the read out image signal values of the image sensor 12 in order to reduce or eliminate the fixed pattern noise. Since the According to a preferred exemplary embodiment, memory 38 stores the correction values in digital form, it is connected to adder 26 via D / A converter 32.
  • the reference numeral 40 denotes a further memory in which the microcontroller 18 stores FPN-corrected image signal values for further processing.
  • Reference numeral 42 denotes a further memory which, in accordance with the preferred exemplary embodiment, serves to store parameters of the transfer function, according to which the correction values from the memory 38 are influenced here during signal processing.
  • the transfer function here essentially corresponds to the transfer characteristic of the D / A converter 32.
  • the memory 42 can also be a register of the microcontroller 18.
  • Reference numeral 44 denotes an external unit, which is only indicated schematically here and from which the parameters of the transfer function can be loaded into the memory 42. In one embodiment of the invention, this takes place during the manufacture of the device 10.
  • the components shown here can be integrated in a single microchip. Alternatively, some or more of the components shown can also be implemented separately from the image sensor 12.
  • the microcontroller 18 is a computer that is independent of the image sensor 12, for example a PC, in which the processing of the image signal values and the calculation of the correction values are carried out.
  • FIG. 2 A preferred exemplary embodiment of the method according to the invention is shown in FIG. 2 using a flow chart.
  • Correction values less than 128 lead to negative analog values in the D / A converter 32, so that in this case a correction value is subtracted from the associated image signal value.
  • Correction values greater than 128 lead to positive analog values, which results in an addition in the actual mathematical sense.
  • the image signal values IM FPN (x, y) of the image cells 14 are read into the memory 40.
  • the variables x and y designate the row and column position of the individual image cells 14 on the image sensor 12. Since the image signal values of the image cells 14 are not corrected here with individual correction values during reading in, the image signal values IM FPN (x, y) reflect the fixed Pattern noise from the image sensor 12 again.
  • a uniform target image value IM target a ⁇ - s is determined as the mean value of all image signal values IM PPN (x, y).
  • the image signal values of all image cells 14 are used for averaging.
  • a representative selection of a plurality of image cells 14 can also be used, which are arranged distributed over the entire image area of the image sensor 12.
  • the individual correction values FPC (x, y) for the individual image cells 14 are calculated using the following formula:
  • the inverse function g -1 of the transfer function is determined separately in a block 58 here.
  • parameters of the reversing function are then stored in the memory 42 of the device 10.
  • the microcontroller 18 functions here as a correction value calculation unit.
  • each calculated individual correction value FPC (x, y) is stored in the memory 38.
  • step 62 method steps 52 to 60 can be carried out iteratively here, as a result of which the calculated correction correction values can be further optimized. Even without these iterations, however, the new method already achieves the same correction value quality as the previously described method previously used.
  • Step 54 can be skipped during the iteration if the target image value IM target from the first pass is still used. The same applies to the determination of the parameters of the transfer function g or their inverse function g "1 according to step 58.
  • the transfer function which is determined in particular by the characteristic curve of the D / A converter 32, is approximated by a straight line.
  • the slope m of the approximation line is sufficient as the parameter of the transfer function.
  • the correction values FPC (x, y) are calculated here using the following formula, indices for multiple iterations being added:
  • FPC n + 1 (x, y) FPC n + 1 / m [IM target - IM FPN , n (x, y)].
  • IM FPN (x, y) the read image signal values, m the slope of the approximation line of the transfer function g and n the number of iterations.
  • 3 shows a preferred exemplary embodiment with the aid of a further flowchart in order to determine the transfer function g or its inverse function g "1.
  • the transfer function g is recorded here by measurement, by going through all the correction values once and the associated function values being recorded.
  • the associated image signal value IM (x 0 / y 0 ) is then read in by the microcontroller 18 in accordance with step 72. If the image sensor 12 is completely darkened, the smallest possible corrected image signal value is obtained. If the image sensor 12 is illuminated homogeneously, an additional additive constant is obtained which, however, can easily be corrected by calculation.
  • the additive constant is reflected in the term "g (128) ⁇ in the general calculation formula given above.
  • step 74 the "70 and 72 in certain steps pair of values is stored in memory 42 of the device 10 degrees.
  • step 76 the set correction value FPC (x 0 , y 0 ) is incremented, in steps of 1.
  • an approximation line is used to determine the transfer function g or its inverse function g ′′ 1.
  • the transfer function or its inverse function is determined on the basis of the image signal values of a plurality of image cells. Furthermore, instead of a single image signal value per image cell, a plurality of image signal values per image cell, for example 16, can be recorded in succession. Then their time average for determining the transfer function or their Reverse function used. This eliminates statistical fluctuations in the image signal values over time. In a preferred modification of the exemplary embodiment shown in FIG. 2, averaging over time is also carried out in steps 52 and 56 and optionally also 54.

Abstract

The invention relates to a method and a device for FPN correction of image signal values of an image sensor (12) which comprises a plurality of pixels (14). The image signal values are read out from the pixels (14). Individual compensation values are added to the image signal values as analogous variables via a signal path having a defined transfer function. Parameters that are characteristic of the defined transfer function are supplied in a memory (42), and the individual compensation values are calculated at least once in a compensation value calculation unit (18), using the supplied parameters.

Description

Verfahren und Vorrichtung zur FPN-Korrektur von Bildsiqnalwer- ten eines Bildsensors Method and device for FPN correction of image signal values of an image sensor
Die vorliegende Erfindung betrifft ein Verfahren zur FPN- Korrektur von Bildsignalwerten eines Bildsensors , der eine Vielzahl von Bildzellen aufweist, mit den SchrittenThe present invention relates to a method for FPN correction of image signal values of an image sensor having a plurality of image cells, with the steps
Auslesen der Bildsignalwerte aus den BildzellenReading out the image signal values from the image cells
Addieren von individuellen Korrekturwerten zu den Bildsig- nalwerten. Adding individual correction values to the image signal values.
wobei die Korrekturwerte als analoge Größen über einen Signalpfad mit einer definierten Transferfunktion zu den Bildsignalwerten addiert werden.the correction values being added to the image signal values as analog quantities via a signal path with a defined transfer function.
Die Erfindung betrifft weiterhin eine Vorrichtung zur FPN- Korrektur von Bildsignalen eines Bildsensors, der eine Vielzahl von Bildzellen aufweist, mit einer Einrichtung zum Auslesen der Bildsignalwerte aus den Bildzellen, mit einem ersten Speicher zum Aufnehmen von individuellen Korrekturwerten und mit einem Addierer zum analogen Addieren der individuellen Korrekturwerte zu den Bildsignalwerten, wobei der erste Speicher und der Addierer über einen Signalpfad mit einer definierten Transferfunktion verbunden sind.The invention further relates to a device for FPN correction of image signals of an image sensor having a plurality of image cells, with a device for reading out the image signal values from the image cells, with a first memory for recording individual correction values and with an adder for analog addition of the individual correction values for the image signal values, the first memory and the adder being connected to a defined transfer function via a signal path.
Ein solches Verfahren und eine solche Vorrichtung sind beispielsweise aus einer Veröffentlichung der vorliegenden Anmelderin mit dem Titel "HDRC VGA Imager and Camera Data and Features" bekannt.Such a method and such a device are known, for example, from a publication by the present applicant with the title "HDRC VGA Imager and Camera Data and Features".
Moderne Bildsensoren zum Aufnehmen von Bildern besitzen eine Vielzahl einzelner Bildzellen (Pixel) , die aus zum Teil lichtempfindlichen elektronischen Bauelementen aufgebaut sind. Die Bildzellen erzeugen in Abhängigkeit des auftreffenden Lichtes analoge Bildsignalwerte, die in einer nachfolgenden Verarbeitungsstufe mit einem A/D- andler in digitale Bildsignalwerte umgesetzt werden. Die digitalen Bildsignalwerte aller Bildzellen stellen ein digitales Abbild der aufgenommenen Szene dar, das später auf einem Monitor, einem Drucker und dergleichen wiedergegeben werden kann. Ein bekanntes Problem bei derartigen Bildsensoren ist das sogenannte Fixed-Pattern-Rauschen (Fixed-Pattern-Noise, FPN). Damit werden Inhomogenitäten bei einem eigentlich homogenen Bild bezeichnet, die vor allem durch Fertigungstoleranzen der einzelnen Bildzellen hervorgerufen werden. Beispielsweise lassen sich bei der Herstellung von CMOS-Bildsensoren mit logarithmischer Kennlinie Variationen hinsichtlich der Schwellspannungen der Logarithmiertransistoren nicht vermeiden. Das durch derartige Fertigungstoleranzen hervorgerufene Fixed-Pattern-Rauschen äußert sich beim Betrachten eines aufgenommen Bildes darin, daß an sich gleichmäßige (homogene) Flächen ein in der Realität nicht vorhandenes Muster aufweisen.Modern image sensors for taking pictures have a large number of individual picture cells (pixels) which are made up of light-sensitive electronic components. Depending on the incident light, the picture cells generate analog picture signal values which are converted into digital picture signal values in a subsequent processing stage using an A / D converter. The digital image signal values of all image cells represent a digital image of the recorded scene, which can later be displayed on a monitor, a printer and the like. A known problem with such image sensors is the so-called fixed pattern noise (fixed pattern noise, FPN). This refers to inhomogeneities in an actually homogeneous image, which are caused primarily by the manufacturing tolerances of the individual image cells. For example, in the production of CMOS image sensors with a logarithmic characteristic curve, variations in the threshold voltages of the logarithmic transistors cannot be avoided. The fixed pattern noise caused by such manufacturing tolerances manifests itself when viewing a recorded image in the fact that even (homogeneous) surfaces have a pattern that is not present in reality.
Zur Reduzierung bzw. Beseitigung des Fixed-Pattern-Rauschens ist es bekannt, zu den Bildsignalwerten der einzelnen Bildzellen individuelle Korrekturwerte zu addieren. Durch Addition negativer Korrekturwerte kann auch eine Subtraktion im mathematischen Sinne durchgeführt werden. Ziel der Maßnahme ist es, die infolge der Fertigungstoleranzen bestehenden Unterschiede zwischen den Bildsignalwerten der einzelnen Bildzellen durch Addition geeigneter Korrekturwerte auszugleichen. Die Korrekturwerte können dabei für den Bildsignalwert jeder Bildzelle aus einem Speicher entnommen werden. Eine solche FPN-Korrektur ist beispielsweise auch aus der JP 5-137073 A bekannt, wobei nach dieser Druckschrift eine Korrektur der bereits digitalisierten Bildsignalwerte stattfindet.To reduce or eliminate the fixed pattern noise, it is known to add individual correction values to the image signal values of the individual image cells. By adding negative correction values, a subtraction in the mathematical sense can also be carried out. The aim of the measure is to compensate for the differences between the image signal values of the individual image cells due to the manufacturing tolerances by adding suitable correction values. The correction values for the image signal value of each image cell can be taken from a memory. Such an FPN correction is also known, for example, from JP 5-137073 A, a correction of the already digitized image signal values taking place according to this document.
Wie leicht nachzuvollziehen ist, hängt die Qualität der FPN- Korrektur entscheidend von der Auswahl und Bestimmung der individuellen Korrekturwerte ab. Es stellt sich daher das Problem, für einen bestimmten Bildsensor geeignete individuelle Korrek- turwerte zu bestimmen. Für die in der eingangs genannten Veröffentlichung beschriebenen Bildsensoren ist die Anmelderin der vorliegenden Erfindung dabei bislang folgendermaßen vorgegangen:As is easy to understand, the quality of the FPN correction depends crucially on the selection and determination of the individual correction values. The problem therefore arises of individual correction suitable for a specific image sensor. to determine values. So far, the applicant of the present invention has proceeded as follows for the image sensors described in the publication cited at the beginning:
Zunächst wurde ein einheitlicher (statischer) Korrekturwert für alle Bildzellen des Bildsensors vorgegeben. Anschließend wurde ein homogenes Referenzbild mit dem Bildsensor aufgenommen. Als Referenzbild eignet sich beispielsweise eine gleichmäßig beleuchtete Fläche (bekannt vom sogenannten Weißabgleich bei Kameras ) . Da die Korrekturwerte aller Bildzellen bei der Aufnahme dieses Referenzbildes identisch sind, spiegeln die Bildsignalwerte der einzelnen Bildzellen in diesem Fall das Fixed- Pattern-Rauschen exakt wieder.First of all, a uniform (static) correction value was specified for all image cells of the image sensor. Then a homogeneous reference image was recorded with the image sensor. For example, a uniformly illuminated surface (known from so-called white balance in cameras) is suitable as a reference image. In this case, since the correction values of all picture cells are identical when this reference picture is taken, the picture signal values of the individual picture cells exactly reflect the fixed pattern noise.
Im nächsten Schritt wurde aus den aufgenommenen Bildsignalwerten des Referenzbildes ein Mittelwert über alle Bildzellen gebildet. Dieser Mittelwert wurde anschließend als einheitlicher Zielbildwert für alle Bildzellen zugrunde gelegt. Um nun die geeigneten individuellen Korrekturwerte für alle Bildzellen zu bestimmen, wurden sämtliche Korrekturwerte aus der Menge aller möglichen Korrekturwerte für alle Bildzellen testweise durchlaufen. Bei Korrekturwerten mit einer Breite von 8 Bit waren somit 256 Schleifendurchläufe pro Bildzelle erforderlich. Als geeigneter individueller Korrekturwert wurde für jede Bildzelle jeweils derjenige Korrekturwert ausgewählt, bei dem der zugehörige Bildsignalwert dem einheitlichen Zielbildwert am nächsten kam.In the next step, an average over all image cells was formed from the recorded image signal values of the reference image. This mean value was then used as the uniform target image value for all image cells. In order to determine the suitable individual correction values for all image cells, all correction values from the set of all possible correction values for all image cells were run through on a test basis. With correction values with a width of 8 bits, 256 loop runs per image cell were therefore required. As a suitable individual correction value, that correction value was selected for each image cell in which the associated image signal value came closest to the uniform target image value.
Das Verfahren stellt eine einfache Möglichkeit dar, geeignete individuelle Korrekturwerte mit geringen Anforderungen an die verwendete Hardware zu bestimmen. Das Fixed-Pattern-Rauschen läßt sich mit den auf diese Weise gefundenen Korrekturwerten beträchtlich reduzieren.The method represents a simple possibility of finding suitable individual correction values with low demands on the determine the hardware used. The fixed pattern noise can be considerably reduced with the correction values found in this way.
Die Durchführung dieses Verfahrens erfordert jedoch aufgrund der zahlreichen Schleifendurchläufe eine gewisse Verarbeitungszeit. Die Verarbeitungszeit ist um so höher, je größer die Menge an möglichen Korrekturwerten, d.h. die Datenbreite der einzelnen Korrekturwerte, ist. Dies hat zur Folge, daß eine Verbesserung der FPN-Korrektur durch Erhöhung der Datenbreite der Korrekturwerte zu noch sehr viel längeren Verarbeitungs Zeiten führt .However, the implementation of this method requires a certain processing time due to the numerous loop passes. The processing time is longer, the larger the amount of possible correction values, i.e. is the data width of the individual correction values. The result of this is that an improvement in the FPN correction by increasing the data width of the correction values leads to much longer processing times.
Es ist eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und eine entsprechende Vorrichtung anzugeben, die eine genaue und schnelle FPN-Korrektur ermöglichen.It is an object of the present invention to provide an alternative method and a corresponding device which enable an accurate and fast FPN correction.
Diese Aufgabe wird mit einem Verfahren der eingangs genannten Art gelöst, bei dem Parameter, die für die definierte Transferfunktion charakteristisch sind, in einem Speicher bereitgestellt werden und bei dem die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter in einer Korrek- turwerteberechnungseinheit zumindest einmal berechnet werden.This object is achieved with a method of the type mentioned at the outset, in which parameters which are characteristic of the defined transfer function are provided in a memory and in which the individual correction values are calculated at least once using the parameters provided in a correction value calculation unit.
Die Aufgabe wird mit einer Vorrichtung der eingangs genannten Art gelöst, bei der ein zweiter Speicher sowie eine Korrektur- werteberechnungseinheit vorgesehen sind, wobei der zweite Speicher zum Bereitstellen von Parametern, die für die definierte Transferfunktion charakteristisch sind, ausgelegt ist und wobei die Korrekturwerteberechnungseinheit dazu ausgelegt ist, die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter zu berechnen.The object is achieved with a device of the type mentioned at the outset, in which a second memory and a correction value calculation unit are provided, the second memory being designed to provide parameters which are characteristic of the defined transfer function, and the correction value calculation unit being designed for this purpose is the to calculate individual correction values using the provided parameters.
Das neue Verfahren und die entsprechende Vorrichtung beruhen auf einer Berechnung der geeigneten Korrekturwerte im mathematischen Sinne, wohingegen die Korrekturwerte beim bisherigen Verfahren eher durch einen Suchprozeß bestimmt wurden. Die neue Vorgehensweise macht es allerdings erforderlich, zunächst die Transferfunktion zumindest näherungsweise zu bestimmen, nach der die Korrekturwerte beim Einspeisen in den Korrekturwerte- signalpfad beeinflußt werden. Diese Maßnahme ist bei dem bisher praktizierten Ansatz nicht erforderlich. Überraschenderweise hat sich gezeigt, daß der hiermit verbundene Aufwand durch die erreichbare Genauigkeit und Geschwindigkeit des neuen Verfahrens kompensiert wird. Dies gilt insbesondere dann, wenn die FPN-Korrektur für einen Bildsensor wiederholt durchgeführt wird, beispielsweise um eine optimale Anpassung an neue Umgebungsverhältnisse zu erreichen. Die Parameter, die die definierte Transferfunktion charakterisieren, müssen in einem solchen Fall nicht unbedingt erneut bestimmt werden, so daß der entsprechende Zusatzaufwand hier nur einmal anfällt. Darüber hinaus erlaubt das neue Verfahren eine iterative Anwendung, so daß negative Einflüsse aufgrund einer ungenauen Parameterbestimmung und/oder aufgrund dynamischer Effekte beim Einstellen der Korrekturwerte sehr erfogreich reduziert werden können. Damit läßt sich auch eine Verbesserung der Korrekturqualität erreichen.The new method and the corresponding device are based on a calculation of the suitable correction values in the mathematical sense, whereas the correction values in the previous method were rather determined by a search process. However, the new procedure makes it necessary to first determine, at least approximately, the transfer function, according to which the correction values are influenced when feeding into the correction value signal path. This measure is not necessary with the approach practiced so far. Surprisingly, it has been shown that the effort involved is compensated for by the achievable accuracy and speed of the new method. This applies in particular if the FPN correction is carried out repeatedly for an image sensor, for example in order to achieve an optimal adaptation to new environmental conditions. In such a case, the parameters that characterize the defined transfer function do not necessarily have to be determined again, so that the corresponding additional outlay is incurred only once. In addition, the new method allows iterative application, so that negative influences due to inaccurate parameter determination and / or due to dynamic effects when setting the correction values can be reduced very successfully. This also enables an improvement in the correction quality to be achieved.
Darüber hinaus hängt die Geschwindigkeit, mit der die individuellen Korrekturwerte bestimmt werden, bei dem neuen Verfahren sehr viel weniger von der Datenbreite der verwendeten Korrek- turwerte ab. Eine Erhöhung der Datenbreite zur weiteren Verbesserung der Korrekturqualität hat daher einen geringeren Anstieg der Verfahrensdauer zur Folge als bei dem bisher verfolgten Ansatz. Geht man von einer Korrekturwertbreite von 8 Bit aus und verzichtet man auf iterative Schleifendurchläufe, ermöglicht das neue Verfahren eine Beschleunigung bis zum Faktor 256, da die individuellen Korrekturwerte durch die. analytische Berechnung direkt ermittelt werden.In addition, the speed with which the individual correction values are determined in the new method depends much less on the data width of the correction used. values. Increasing the data width to further improve the correction quality therefore results in a smaller increase in the duration of the procedure than in the previously pursued approach. If you assume a correction value width of 8 bits and do without iterative loop runs, the new method enables acceleration up to a factor of 256, because the individual correction values are due to the. analytical calculation can be determined directly.
Die bei einer Korrekturwertbreite von 8 Bit bislang erforderlichen 256 Schleifendurchläufe, mit denen der beste Korrekturwert gesucht wurde, sind hier nicht mehr erforderlich. Der Geschwindigkeitsvorteil reduziert sich zwar etwas durch die zusätzliche Bestimmung der Parameter der Transferfunktion. Überraschenderweise bleibt jedoch auch unter ungünstigen Bedingungen ein Geschwindigkeitsvorteil bestehen. Wenn die Parameter einmal zur Verfügung stehen, kommt der Geschwindigkeitsvorteil voll zum Tragen.The 256 loop runs that were previously required with a correction value width of 8 bits and with which the best correction value was sought are no longer required here. The speed advantage is somewhat reduced by the additional determination of the parameters of the transfer function. Surprisingly, however, a speed advantage remains even under unfavorable conditions. Once the parameters are available, the speed advantage comes into play.
Wie im Folgenden näher ausgeführt wird, haben sich vergleichsweise einfache Möglichkeiten gefunden, bei einem bestimmten Bildsensor geeignete Parameter der Transferfunktion zu bestimmen. Insgesamt ermöglichen das neue Verfahren und die daran angepaßte Vorrichtung daher eine schnelle Bestimmung der Korrekturwerte, wobei Geschwindigkeitsvorteile gegenüber dem bisherigen Verfahren selbst bei einer Erhöhung der Korrekturqualität erhalten bleiben. Die genannte Aufgabe ist daher vollständig gelöst.As will be explained in more detail below, comparatively simple possibilities have been found for determining suitable parameters of the transfer function for a specific image sensor. Overall, the new method and the device adapted to it therefore enable the correction values to be determined quickly, with speed advantages compared to the previous method being retained even if the correction quality is increased. The above task is therefore completely solved.
In einer Ausgestaltung werden zur Bestimmung der Parameter zumindest zwei verschiedene Korrekturwerte aus einer Menge ögli- eher Korrekturwerte mit einem konstanten Bildsignalwert addiert und zu jedem dieser Korrekturwerte wird ein korrigierter Bildsignalwert aufgenommen. Als konstanter Bildsignalwert wird hier bevorzugt der Bildsignalwert bei völliger Dunkelheit oder bei einer homogenen Beleuchtung verwendet.In one embodiment, at least two different correction values from a set are possibly used to determine the parameters. rather correction values are added with a constant image signal value and a corrected image signal value is recorded for each of these correction values. The image signal value in complete darkness or with homogeneous lighting is preferably used as the constant image signal value.
In dieser Ausgestaltung wird die Transferfunktion, der die einzelnen Korrekturwerte unterworfen sind, gewissermaßen ausgemessen. Es werden verschiedene Korrekturwerte eingestellt und anschließend wird zu jedem der eingestellten Korrekturwerte das Ergebnis am Ausgang aufgenommen. Dabei umfaßt die auf diese Weise aufgenommene Transferfunktion nicht nur den Weg der Korrekturwerte bis zu dem Addierer, sondern auch den nachfolgenden Signalpfad, der gemeinsam mit den Bildsignalwerten durchlaufen wird. Wie sich gezeigt hat, stellt dies jedoch keinen Nachteil dar. Ganz im Gegenteil, in dieser Ausgestaltung lassen sich die funktionalen Zusammenhänge, denen die Korrekturwerte bei der bestimmungsgemäßen Signalverarbeitung unterworfen sind, sehr einfach und mit hinreichender Genauigkeit bestimmen. Im einfachsten Fall genügt es, zwei verschiedene Korrekturwerte und die mit ihnen verbundenen zwei korrigierten Bildsignalwerte zu bestimmen, so daß die Transferfunktion anschließend durch eine Gerade angenähert werden kann. Den hiermit verbundenen Ungenau- igkeiten steht ein enormer Geschwindigkeitsvorteil bei der Bestimmung der Transferfunktion gegenüber. Höhere Genauigkeiten bei der Bestimmung der Transferfunktion lassen sich erreichen, wenn man die Transferfunktion an mehr als nur zwei Stellen ausmißt. Als Parameter der Transferfunktion können im einfachsten Fall die angelegten Korrekturwerte und die jeweils zugehörigen Ausgangswerte in einer Tabelle abgespeichert werden. Die gemessenen Funktionswerte sind dann Stützstellen der tatsächlichen Transferfunktion. Begnügt man sich demgegenüber mit einer linearen Näherung der Transferfunktion, genügt es, die Steigung der Näherungsgeraden zu berechnen und als Parameter in dem Speicher abzulegen. Der Speicher kann in diesem Fall auch ein Register eines vorhandenen Mikrocontrollers sein.In this embodiment, the transfer function to which the individual correction values are subjected is measured to a certain extent. Various correction values are set and then the result is recorded at the output for each of the set correction values. The transfer function recorded in this way includes not only the path of the correction values to the adder, but also the subsequent signal path which is traversed together with the image signal values. As has been shown, however, this does not represent a disadvantage. On the contrary, in this embodiment, the functional relationships to which the correction values are subject during the intended signal processing can be determined very easily and with sufficient accuracy. In the simplest case, it is sufficient to determine two different correction values and the two corrected image signal values associated with them, so that the transfer function can then be approximated by a straight line. The associated inaccuracies are offset by an enormous speed advantage when determining the transfer function. Higher accuracies in determining the transfer function can be achieved if the transfer function is measured at more than just two places. In the simplest case, the applied correction values and the respectively associated output values can be stored in a table as parameters of the transfer function. The measured function values are then support points of the actual ones Transfer function. If, on the other hand, you are satisfied with a linear approximation of the transfer function, it is sufficient to calculate the slope of the approximation line and to store it as a parameter in the memory. In this case, the memory can also be a register of an existing microcontroller.
In einer weiteren Ausgestaltung werden alle Korrekturwerte aus der Menge möglicher Korrekturwerte mit dem konstanten Bildsignalwert addiert.In a further embodiment, all correction values from the set of possible correction values are added to the constant image signal value.
In dieser Ausgestaltung wird die Transferfunktion vollständig ausgemessen, was die exakteste Bestimmungsmethode darstellt. Wie bereits erwähnt, können als Parameter der Transferfunktion dann alle angelegten Korrekturwerte mit den jeweils zugehörigen Ausgangswerten in einer Tabelle abgelegt werden. Die Transferfunktion ist in diesem Fall tabellarisch erfaßt. Die Korrektur- werteberechnungseinheit kann auf die Tabelle zugreifen und die geeigneten individuellen Korrekturwerte dadurch sehr einfach bestimmen.In this embodiment, the transfer function is completely measured, which is the most precise method of determination. As already mentioned, all the correction values that have been created can then be stored in a table as parameters of the transfer function with the respectively associated output values. In this case, the transfer function is tabulated. The correction value calculation unit can access the table and thus very easily determine the suitable individual correction values.
In einer weiteren Ausgestaltung werden die Parameter anhand ausgewählter Bildzellen, bevorzugt anhand einer einzelnen Bildzelle, bestimmt.In a further embodiment, the parameters are determined on the basis of selected image cells, preferably on the basis of an individual image cell.
Alternativ hierzu ist es auch möglich, die Parameter der Transferfunktion für jede Bildzelle einzeln zu bestimmen. Da die Transferfunktion, der die individuellen Korrekturwerte unterliegen, jedoch von den Fertigungstoleranzen der einzelnen Bildzellen weitgehend unabhängig ist, kann man den Rechenaufwand erheblich reduzieren, indem man eine oder wenige Bildzellen exemplarisch herausgreift. Zieht man mehrere Bildzellen zur Be- Stimmung der Transferfunktion heran, lassen sich durch Mittelwertbildung negative Einflüsse statistischer Schwankungen reduzieren. Insgesamt wird die Durchführungsgeschwindigkeit des neuen Verfahrens in dieser Ausgestaltung weiter optimiert.Alternatively, it is also possible to determine the parameters of the transfer function individually for each image cell. Since the transfer function, to which the individual correction values are subject, is largely independent of the manufacturing tolerances of the individual image cells, the computational effort can be considerably reduced by picking out one or a few image cells as an example. If you draw several image cells for loading Mood of the transfer function can be reduced by averaging negative influences of statistical fluctuations. Overall, the implementation speed of the new method is further optimized in this embodiment.
In einer weiteren Ausgestaltung werden die Parameter anhand von Referenzdaten typgleicher Bildsensoren bereitgestellt.In a further embodiment, the parameters are provided on the basis of reference data of image sensors of the same type.
In dieser Ausgestaltung wird auf eine individuelle Bestimmung der Transferfunktion bzw. deren Parametern gänzlich verzichtet. Statt dessen werden die Parameter typgleicher Bildsensoren, beispielsweise bei der Produktion der Bildsensoren, hersteller- seitig eingespeichert. Die sich hieraus ergebenden Nachteile, daß nämlich die Transferfunktion nicht anhand des konkret vorliegenden Bildsensors bestimmt wurde, können durch eine iterative Wiederholung des Verfahrens, wie sie nachfolgend näher erläutert ist, zumindest soweit reduziert werden, daß der Geschwindigkeitsvorteil überwiegt.In this embodiment, an individual determination of the transfer function or its parameters is completely dispensed with. Instead, the parameters of the same type image sensors, for example in the production of the image sensors, are stored by the manufacturer. The resulting disadvantages, namely that the transfer function was not determined on the basis of the specific image sensor present, can be reduced by an iterative repetition of the method, as is explained in more detail below, at least to such an extent that the speed advantage predominates.
In einer weiteren Ausgestaltung werden die Parameter einer mathematischen Umkehrfunktion der definierten Transferfunktion in dem Speicher bereitgestellt.In a further embodiment, the parameters of a mathematical inverse function of the defined transfer function are made available in the memory.
Diese Maßnahme führt zu einer weiteren Beschleunigung des Verfahrens, da nicht die Transferfunktion selbst, sondern deren mathematische Umkehrung für die Berechnung der geeigneten Korrekturwerte benötigt wird. Indem bereits die Parameter der Umkehrfunktion in dem Speicher abgelegt werden, wird die Korrek- turwerteberechnungseinheit von der Aufgabe, die Umkehrfunktion zu bilden, entlastet. Dementsprechend reduziert sich auch der Hardwareaufwand bezüglich der Korrekturwerteberechnungseinheit . In einer weiteren Ausgestaltung werden zum Berechnen der individuellen Korrekturwerte folgende Verfahrensschritte zumindest einmal durchgeführt:This measure leads to a further acceleration of the method, since it is not the transfer function itself, but its mathematical inversion that is required for the calculation of the suitable correction values. Since the parameters of the inverse function are already stored in the memory, the correction value calculation unit is relieved of the task of forming the inverse function. The hardware expenditure with regard to the correction value calculation unit is also reduced accordingly. In a further embodiment, the following method steps are carried out at least once to calculate the individual correction values:
a) Bereitstellen eines ersten Korrekturwertes für die Bildsignalwerte der Bildzellen,a) providing a first correction value for the image signal values of the image cells,
b) Aufnehmen eines homogenen Referenzbildes und Auslesen der zugehörigen Bildsignalwerte,b) taking a homogeneous reference image and reading out the associated image signal values,
c) Bestimmen eines einheitlichen Zielbildwertes undc) determining a uniform target image value and
d) Berechnen der individuellen Korrekturwerte unter Verwendung der Bildsignalwerte des homogenen Referenzbildes, des einheitlichen Zielbildwertes sowie der Parameter der Transferfunktion.d) Calculating the individual correction values using the image signal values of the homogeneous reference image, the uniform target image value and the parameters of the transfer function.
In dieser Ausgestaltung werden die Größen, die für die Bestimmung der Korrekturwerte benötigt werden, meßtechnisch erfaßt. Insbesondere wird das vorhandene Fixed-Pattern-Rauschen des Bildsensors hier durch Aufnahme des homogenen Referenzbildes meßtechnisch erfaßt. Die Berechnung der individuellen Korrekturwerte kann sich dann auf die Durchführung weniger Rechenoperationen beschränken, wie nachfolgend anhand der Ausführungsbeispiele näher erläutert ist.In this embodiment, the quantities that are required for the determination of the correction values are measured. In particular, the existing fixed pattern noise of the image sensor is measured here by recording the homogeneous reference image. The calculation of the individual correction values can then be limited to performing a few arithmetic operations, as is explained in more detail below with reference to the exemplary embodiments.
In einer weiteren Ausgestaltung wird der erste Korrekturwert für alle Bildzellen einheitlich bereitgestellt.In a further embodiment, the first correction value is made available uniformly for all image cells.
In dieser Ausgestaltung wird das vorhandene Fixed-Pattern- Rauschen des Bildsensors unverfälscht bei der Aufnahme der Bildsignalwerte in Schritt b) aufgenommen. Dies führt dazu, daß bereits die einmalige Durchführung des neuen Verfahrens gute Ergebnisse bei der FPN-Korrektur liefert. Aufgrund der Möglichkeit, daß Verfahren iterativ durchzuführen, ist es jedoch grundsätzlich auch möglich, mit unterschiedlichen ersten Korrekturwerten zu beginnen.In this embodiment, the existing fixed pattern noise of the image sensor is not distorted when the Image signal values recorded in step b). This means that the one-off implementation of the new method already gives good results in the FPN correction. Due to the possibility that the method can be carried out iteratively, it is in principle also possible to start with different first correction values.
In einer weiteren Ausgestaltung werden zumindest die Verfahrensschritte b) und d) iterativ durchlaufen.In a further embodiment, at least process steps b) and d) are carried out iteratively.
Diese Ausgestaltung führt zu einer weiteren Steigerung der Korrekturqualität, da durch die Iterationen dynamische Effekte, insbesondere Einschwingvorgänge im analogen Signalpfad, Berücksichtigung finden.This configuration leads to a further increase in the correction quality, since the iterations take into account dynamic effects, in particular transient processes in the analog signal path.
In einer weiteren Ausgestaltung wird der einheitliche Zielbildwert als Mittelwert der in Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt.In a further embodiment, the uniform target image value is determined as the mean value of the image signal values read out in method step b).
Der Zielbildwert kann als arithmetisches Mittel zwischen dem maximalen und dem minimalen Bildsignalwert der im Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt werden. Noch mehr bevorzugt ist allerdings eine Mittelwertbildung unter Einbeziehung aller ausgelesenen Bildsignalwerte. Die Maßnahme besitzt den Vorteil, daß der durch die Datenbreite der Korrekturwerte bestimmte Korrekturbereich optimal ausgenutzt wird und daß im Mittel nur vergleichsweise geringfügige Korrekturen erforderlich sind.The target image value can be determined as an arithmetic mean between the maximum and the minimum image signal value of the image signal values read out in method step b). However, averaging is even more preferred, taking into account all the image signal values read out. The measure has the advantage that the correction range determined by the data width of the correction values is optimally used and that on average only comparatively minor corrections are required.
Es versteht sich, daß die vorstehend genannten und die nachstehenden noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained not only in each case specified combination, but also in other combinations or alone, without departing from the scope of the present invention.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:Exemplary embodiments of the invention are shown in the drawing and are explained in more detail in the following description. Show it:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Korrektur des Fixed-Pattern-Rauschens bei einem Bildsensor,1 is a schematic representation of a device according to the invention for correcting the fixed pattern noise in an image sensor,
Fig. 2 ein Flußdiagramm zur Erläuterung des erfindungsgemäßen Verfahrens undFig. 2 is a flow chart for explaining the method according to the invention and
Fig. 3 ein weiteres Flußdiagramm zur beispielhaften Erläuterung, wie die Transferfunktion bestimmt werden kann.FIG. 3 shows a further flow chart for an exemplary explanation of how the transfer function can be determined.
In Fig. 1 ist eine erfindungsgemäße Vorrichtung in ihrer Gesamtheit mit der Bezugsziffer 10 bezeichnet.1, a device according to the invention is designated in its entirety by reference number 10.
Die Vorrichtung 10 beinhaltet hier einen an sich bekannten Bildsensor 12 mit einer Vielzahl von Bildzellen 14. Entsprechend dem bevorzugten Tätigkeitsgebiet der Anmelderin handelt es sich bei dem Bildsensor hier um einen CMOS-Bildsensor. Das Verfahren ist jedoch grundsätzlich auch bei Bildsensoren anderer Technologie, beispielsweise CCD-Bildsensoren anwendbar.The device 10 here contains an image sensor 12 known per se with a large number of image cells 14. According to the applicant's preferred field of activity, the image sensor here is a CMOS image sensor. In principle, however, the method can also be used with image sensors of other technologies, for example CCD image sensors.
Mit der Bezugsziffer 16 ist eine Adressierungseinheit bezeichnet, die von einem Mikrocontroller 18 angesteuert wird. Die Ad- ressierungseinheit 16 adressiert einzelne Bildzellen 14 des Bildsensors 12 zum Auslesen der entsprechenden Bildsignalwerte.The reference number 16 denotes an addressing unit which is controlled by a microcontroller 18. The ad The addressing unit 16 addresses individual image cells 14 of the image sensor 12 for reading out the corresponding image signal values.
Mit der Bezugsziffer 20 ist Lichtquelle bezeichnet. Zwischen der Lichtquelle 20 und dem Bildsensor 12 ist ein Diffusor 22 angeordnet, so daß homogenes Licht den Bildsensor 12 beleuchtet. Das homogene Licht ist hier durch einen Pfeil mit der Bezugsziffer 24 angedeutet. Es stellt ein homogenes Referenzbild für die Durchführung des nachfolgend beschriebenen Verfahrens dar. Alternativ ist eine homogene Beleuchtung beispielsweise auch mit Hilfe einer Ulbrichtkugel oder einer sonstigen homogenen Beleuchtungseinrichtung möglich.The reference number 20 denotes the light source. A diffuser 22 is arranged between the light source 20 and the image sensor 12, so that homogeneous light illuminates the image sensor 12. The homogeneous light is indicated here by an arrow with the reference number 24. It represents a homogeneous reference image for the implementation of the method described below. Alternatively, homogeneous illumination is also possible, for example, with the help of an integrating sphere or another homogeneous illumination device.
Mit der Bezugsziffer 26 ist ein analoger Addierer bezeichnet, der eingangsseitig über eine Signalleitung 28 mit der Adressierungseinheit 16 verbunden ist. Ein zweiter Eingang ist über eine Signalleitung 30 mit einem D/A-Wandler 32 verbunden. Der Ausgang der Addierers 26 ist mit einem Verstärker 34 verbunden, der gemäß einer bevorzugten Ausführungsbeispiel einen variablen Verstärkungsfaktor v besitzt. Hierdurch kann der Signalpegel der ausgelesenen Bildsignalwerte optimal an den Arbeitsbereich eines am Ausgang des Verstärkers angeordneten A/D-Wandlers 36 angepaßt werden. Der Ausgang des A/D-Wandlers 36 ist mit dem Mikrocontroller 18 verbunden.Reference numeral 26 denotes an analog adder which is connected on the input side to the addressing unit 16 via a signal line 28. A second input is connected to a D / A converter 32 via a signal line 30. The output of the adder 26 is connected to an amplifier 34 which, according to a preferred exemplary embodiment, has a variable gain factor v. In this way, the signal level of the image signal values read out can be optimally adapted to the working range of an A / D converter 36 arranged at the output of the amplifier. The output of the A / D converter 36 is connected to the microcontroller 18.
Mit der Bezugsziffer 38 ist ein Speicher bezeichnet, beispielsweise ein Flash-EPROM oder ein SRAM. Der Speicher 38 wird ebenfalls von dem Mikrocontroller 18 angesteuert. Er dient zur Aufnahme von individuellen Korrekturwerten, die zur Reduzierung bzw. Beseitigung des Fixed-Pattern-Rauschens zu den ausgelesenen Bildsignalwerten des Bildsensors 12 addiert werden. Da der Speicher 38 entsprechend einem bevorzugten Ausführungsbeispiel die Korrekturwerte in digitaler Form speichert, ist er über den D/A-Wandler 32 mit dem Addierer 26 verbunden.Reference number 38 denotes a memory, for example a flash EPROM or an SRAM. The memory 38 is also controlled by the microcontroller 18. It is used to record individual correction values, which are added to the read out image signal values of the image sensor 12 in order to reduce or eliminate the fixed pattern noise. Since the According to a preferred exemplary embodiment, memory 38 stores the correction values in digital form, it is connected to adder 26 via D / A converter 32.
Mit der Bezugsziffer 40 ist ein weiterer Speicher bezeichnet, in dem der Mikrocontroller 18 FPN-korrigierte Bildsignalwerte für eine weitere Verarbeitung abspeichert. Mit der Bezugsziffer 42 ist ein weiterer Speicher bezeichnet, der gemäß dem hier bevorzugten Ausführungsbeispiel zum Abspeichern von Parametern der Transferfunktion dient, nach der die Korrekturwerte aus dem Speicher 38 bei der Signalverarbeitung hier beeinflußt werden. Im wesentlichen entspricht die Transferfunktion hier der Übertragungskennlinie des D/A-Wandlers 32. Der Speicher 42 kann in einem bevorzugten Ausführungsbeispiel auch ein Register des Mikrocontrollers 18 sein.The reference numeral 40 denotes a further memory in which the microcontroller 18 stores FPN-corrected image signal values for further processing. Reference numeral 42 denotes a further memory which, in accordance with the preferred exemplary embodiment, serves to store parameters of the transfer function, according to which the correction values from the memory 38 are influenced here during signal processing. The transfer function here essentially corresponds to the transfer characteristic of the D / A converter 32. In a preferred exemplary embodiment, the memory 42 can also be a register of the microcontroller 18.
Mit der BezugsZiffer 44 ist eine hier nur schematisch angedeutete externe Einheit bezeichnet, von der die Parameter der Transferfunktion in den Speicher 42 geladen werden können. In einem Ausführungsbeispiel der Erfindung geschieht dies bei der Herstellung der Vorrichtung 10.Reference numeral 44 denotes an external unit, which is only indicated schematically here and from which the parameters of the transfer function can be loaded into the memory 42. In one embodiment of the invention, this takes place during the manufacture of the device 10.
Der Vollständigkeit halber sei erwähnt, daß die hier gezeigten Komponenten mit Ausnahme der Lichtquelle 20 und des Diffusors 22 in einem einzigen Mikrochip integriert sein können. Alternativ können einige oder mehrere der gezeigten Komponenten auch separat vom Bildsensor 12 realisiert sein. In einigen Anwendungen ist der Mikrocontroller 18 ein vom Bildsensor 12 unabhängiger Rechner, beispielsweise ein PC, in dem die Aufbereitung der Bildsignalwerte und die Berechnung der Korrekturwerte durchgeführt wird. In Fig. 2 ist ein bevorzugtes Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand eines Flußdiagramms dargestellt.For the sake of completeness, it should be mentioned that the components shown here, with the exception of the light source 20 and the diffuser 22, can be integrated in a single microchip. Alternatively, some or more of the components shown can also be implemented separately from the image sensor 12. In some applications, the microcontroller 18 is a computer that is independent of the image sensor 12, for example a PC, in which the processing of the image signal values and the calculation of the correction values are carried out. A preferred exemplary embodiment of the method according to the invention is shown in FIG. 2 using a flow chart.
Zu Beginn des Verfahrens wird in Verfahrensschritt 50 zunächst ein einheitlicher Korrekturwert FPC(x,y) = 128 für alle Bildzellen eingestellt. Der Korrekturwert FPC = 128 entspricht einer Korrektur mit 0, da 128 bei der hier verwendeten Korrekturwertbreite von 8 Bit (=256 Korrekturwerte) in etwa den symmetrischen Mittelwert darstellt. Korrekturwerte kleiner als 128 führen im D/A-Wandler 32 zu negativen analogen Größen, so daß in diesem Fall ein Korrekturwert von dem zugehörigen Bildsignalwert subtrahiert wird. Korrekturwerte größer als 128 führen zu positiven analogen Größen, was eine Addition im eigentlichen mathematischen Sinne zur Folge hat.At the beginning of the method, a uniform correction value FPC (x, y) = 128 is first set for all image cells in method step 50. The correction value FPC = 128 corresponds to a correction with 0, since 128 with the correction value width of 8 bits used here (= 256 correction values) roughly represents the symmetrical mean value. Correction values less than 128 lead to negative analog values in the D / A converter 32, so that in this case a correction value is subtracted from the associated image signal value. Correction values greater than 128 lead to positive analog values, which results in an addition in the actual mathematical sense.
Im Verfahrensschritt 52 werden die Bildsignalwerte IMFPN (x,y) der Bildzellen 14 in den Speicher 40 eingelesen. Die Variablen x und y bezeichnen dabei die Zeilen- und Spaltenposition der einzelnen Bildzellen 14 auf dem Bildsensor 12. Da die Bildsignalwerte der Bildzellen 14 beim Einlesen hier nicht mit individuellen Korrekturwerten korrigiert werden, spiegeln die Bildsignalwerte IMFPN (x,y) das Fixed-Pattern-Rauschen des Bildsensors 12 wieder.In method step 52, the image signal values IM FPN (x, y) of the image cells 14 are read into the memory 40. The variables x and y designate the row and column position of the individual image cells 14 on the image sensor 12. Since the image signal values of the image cells 14 are not corrected here with individual correction values during reading in, the image signal values IM FPN (x, y) reflect the fixed Pattern noise from the image sensor 12 again.
Im Verfahrensschritt 54 wird ein einheitlicher Zielbildwert IM- targe a^-s Mittelwert aller Bildsignalwerte IMPPN (x,y) bestimmt. Entsprechend einem bevorzugten Ausführungsbeispiel werden dabei für die Mittelwertbildung die Bildsignalwerte aller Bildzellen 14 herangezogen. Alternativ kann auch eine repräsentative Auswahl von mehreren Bildzellen 14 verwendet werden, die über die gesamte Bildfläche des Bildsensors 12 verteilt angeordnet sind. In Verfahrenschritt 56 werden die individuellen Korrekturwerte FPC (x,y) für die einzelnen Bildzellen 14 nach folgender Formel berechnet:In method step 54, a uniform target image value IM target a ^ - s is determined as the mean value of all image signal values IM PPN (x, y). According to a preferred exemplary embodiment, the image signal values of all image cells 14 are used for averaging. Alternatively, a representative selection of a plurality of image cells 14 can also be used, which are arranged distributed over the entire image area of the image sensor 12. In method step 56, the individual correction values FPC (x, y) for the individual image cells 14 are calculated using the following formula:
FPC (x,y) = g-^IM,^ - IMFPN(x,y) + g(128)].FPC (x, y) = g- ^ IM, ^ - IM FPN (x, y) + g (128)].
Darin bezeichnen:Denote therein:
FPC (x,y) die individuellen Korrekturwerte,FPC (x, y) the individual correction values,
IMtarget den einheitlichen Zielbildwert,IM target the uniform target image value,
IMPPN(x,y) die eingelesenen Bildsignalwerte g"1 die Umkehrfunktion der Transferfunktion g, der die Korrekturwerte FPC (x,y) auf ihrem Weg vom Speicher 38 bis zum Mikrocontroller 18 unterliegen, und g(128) den Funktionswert der Transferfunktion g für den Korre turwert 128IM PPN (x, y) the image signal values g " 1 read in, the inverse function of the transfer function g, to which the correction values FPC (x, y) are subject on their way from the memory 38 to the microcontroller 18, and g (128) the functional value of the transfer function g for the correction value 128
Die Umkehrfunktion g-1 der Transferfunktion wird hier separat in einem Block 58 bestimmt. Parameter der Umkehrfunktion sind dann gemäß einem bevorzugten Ausführungsbeispiel der Erfindung im Speicher 42 der Vorrichtung 10 abgelegt. Alternativ und/oder ergänzend ist es auch möglich, die Umkehrfunktion g"1 bzw. die Transferfunktion g als funktionale Rechenregel in dem Mikrocontroller 18 abzulegen. Der Mikrocontroller 18 fungiert hier als Korrekturwerteberechnungseinheit .The inverse function g -1 of the transfer function is determined separately in a block 58 here. In accordance with a preferred exemplary embodiment of the invention, parameters of the reversing function are then stored in the memory 42 of the device 10. Alternatively and / or in addition, it is also possible to store the reversing function g "1 or the transfer function g as a functional calculation rule in the microcontroller 18. The microcontroller 18 functions here as a correction value calculation unit.
Im Verfahrensschritt 60 wird jeder berechnete individuelle Korrekturwert FPC (x,y) im Speicher 38 abgespeichert.In method step 60, each calculated individual correction value FPC (x, y) is stored in the memory 38.
Gemäß der Schleife 62 können die Verfahrensschritte 52 bis 60 hier iterativ durchgeführt werden, wodurch die berechneten Kor- rekturwerte weiter optimiert werden. Auch ohne diese Iterationen erreicht das neue Verfahren jedoch bereits dieselbe Korrekturwertqualität wie das eingangs beschriebene, bislang verwend- te Verfahren. Schritt 54 kann bei der Iteration übergangen werden, wenn man weiterhin den Zielbildwert IMtarget aus dem ersten Durchlauf verwendet. Dasselbe gilt für die Bestimmung der Parameter der Transferfunktion g bzw. deren Umkehrfunktion g"1 gemäß Schritt 58.According to loop 62, method steps 52 to 60 can be carried out iteratively here, as a result of which the calculated correction correction values can be further optimized. Even without these iterations, however, the new method already achieves the same correction value quality as the previously described method previously used. Step 54 can be skipped during the iteration if the target image value IM target from the first pass is still used. The same applies to the determination of the parameters of the transfer function g or their inverse function g "1 according to step 58.
In einem anderen bevorzugten Ausführungsbeispiel wird die Transferfunktion, die insbesondere durch die Kennlinie des D/AWandlers 32 bestimmt wird, durch eine Gerade angenähert. In diesem Fall genügt als Parameter der Transferfunktion die Steigung m der Näherungsgeraden. Die Berechnung der Korrekturwerte FPC (x,y) erfolgt hier nach folgender Formel, wobei hier außerdem Indizes für mehrfache Iterationsdurchläufe angefügt sind:In another preferred exemplary embodiment, the transfer function, which is determined in particular by the characteristic curve of the D / A converter 32, is approximated by a straight line. In this case, the slope m of the approximation line is sufficient as the parameter of the transfer function. The correction values FPC (x, y) are calculated here using the following formula, indices for multiple iterations being added:
FPCn+1 (x,y) = FPCn + 1/m [ IMtarget - IMFPN,n(x,y) ] .FPC n + 1 (x, y) = FPC n + 1 / m [IM target - IM FPN , n (x, y)].
Darin bezeichnen:Denote therein:
FPCn+1 (x,y) die berechneten Korrekturwerte im Iterationsdurchgang n+1,FPC n + 1 (x, y) the calculated correction values in the iteration pass n + 1,
IMtarget den einheitlichen Zielbildwert,IM target the uniform target image value,
IMFPN(x,y) die eingelesenen Bildsignalwerte, m die Steigung der Näherungsgeraden der Transferfunktion g und n die Anzahl der Iterationen.IM FPN (x, y) the read image signal values, m the slope of the approximation line of the transfer function g and n the number of iterations.
Als Startwert wird hier bei einer Korrekturwertbreite von 8 Bit bevorzugt FPC0 = 128 gesetzt. In Fig. 3 ist anhand eines weiteren Flußdiagramms ein bevorzugtes Ausführungsbeispiel dargestellt, um die Transferfunktion g bzw. deren Umkehrfunktion g"1 zu bestimmen. Dabei wird die Transferfunktion g hier meßtechnisch erfaßt, indem alle Korrekturwerte einmal durchlaufen und die zugehörigen Funktionswerte aufgenommen werden.With a correction value width of 8 bits, FPC 0 = 128 is preferably set as the start value. 3 shows a preferred exemplary embodiment with the aid of a further flowchart in order to determine the transfer function g or its inverse function g "1. The transfer function g is recorded here by measurement, by going through all the correction values once and the associated function values being recorded.
In Verfahrensschritt 70 wird zunächst der Korrekturwert einer ausgewählten Bildzellen mit den Koordinaten x0,y0 auf den niedrigsten Wert FPC (x0cyo) = 0 (negativer Korrekturwert) eingestellt. Anschließend wird gemäß Schritt 72 der zugehörige Bildsignalwert IM (x0/y0) vom Mikrocontroller 18 eingelesen. Wenn der Bildsensor 12 dabei vollständig abgedunkelt ist, erhält man den kleinstmöglichen korrigierten Bildsignalwert. Wenn der Bildsensor 12 homogen beleuchtet ist, erhält man eine zusätzliche additive Konstante, die sich jedoch rechnerisch leicht korrigieren läßt. Die additive Konstante spiegelt sich in dem Term "g(128)π in der weiter oben angegebenen allgemeinen Berechnungsformel wider.In method step 70, the correction value of a selected image cell with the coordinates x 0 , y 0 is first set to the lowest value FPC (x 0c yo) = 0 (negative correction value). The associated image signal value IM (x 0 / y 0 ) is then read in by the microcontroller 18 in accordance with step 72. If the image sensor 12 is completely darkened, the smallest possible corrected image signal value is obtained. If the image sensor 12 is illuminated homogeneously, an additional additive constant is obtained which, however, can easily be corrected by calculation. The additive constant is reflected in the term "g (128) π in the general calculation formula given above.
In Schritt 74 wird das in den Schritten' 70 und 72 bestimmte Wertepaar im Speicher 42 der Vorrichtung 10 abgespeichert. Im Schritt 76 wird der eingestellte Korrekturwert FPC (x0,y0) in- krementiert, und zwar in Schritten von 1. Gemäß Schritt 78 erfolgt sodann eine Abfrage, ob der maximale Korrekturwert FPC (x0,y0) = 255 (bei 8 Bit Korrekturwertbreite) erreicht ist. Wenn ja, sind sämtliche Wertepaare der Transferfunktion im Speicher 42 abgespeichert. Zur Bildung der Umkehrfunktion genügt es dann, die erhaltenen Koordinatenpaare jeweils zu vertauschen. Dadurch erhält man gemäß Schritt 80 die Umkehrfunktion g"1 der Transferfunktion g. Ist der maximale Korrekturwert noch nicht erreicht, erfolgt gemäß Schleife 82 ein neuer Schleifendurchlauf.In step 74 the "70 and 72 in certain steps pair of values is stored in memory 42 of the device 10 degrees. In step 76, the set correction value FPC (x 0 , y 0 ) is incremented, in steps of 1. According to step 78, a query is then made as to whether the maximum correction value FPC (x 0 , y 0 ) = 255 (at 8 bit correction value width) is reached. If so, all pairs of values of the transfer function are stored in the memory 42. To form the inverse function, it is then sufficient to swap the coordinate pairs obtained. According to step 80, this gives the inverse function g "1 of the transfer function g. If the maximum correction value has not yet been reached, a new loop run takes place according to loop 82.
In einem ebenfalls bevorzugten Ausführungsbeispiel wird zur Bestimmung der Transferfunktion g bzw. deren Umkehrfunktion g"1 eine Näherungsgerade herangezogen. In diesem Fall genügt es, zwei Wertepaare der Transferfunktion in der anhand Fig. 3 beschriebenen Art und Weise einzulesen. Anschließend wird durch an sich bekannte Differenz- und Quotientenbildung die Steigung m der Näherungsgeraden bestimmt. Bei einer Korrekturwertbreite von 8 Bit werden bevorzugt die Funktionswerte zu den Korrekturwerten 178 (= 128 + 50) und 78 (= 128 - 50) aufgenommen, da dies zu einer Näherungsgeraden führt, die die Transferfunktion sehr gut annähert. Anschaulich wird die Transferfunktion hierdurch um ihren symmetrischen Nullpunkt herum linearisiert .In a likewise preferred exemplary embodiment, an approximation line is used to determine the transfer function g or its inverse function g ″ 1. In this case, it is sufficient to read in two pairs of values of the transfer function in the manner described with reference to FIG. 3 With a correction value width of 8 bits, the function values for the correction values 178 (= 128 + 50) and 78 (= 128 - 50) are preferably recorded, since this leads to an approximation line which leads to the The transfer function approximates very well, which clearly linearizes the transfer function around its symmetrical zero point.
Je genauer die Steigung m der Transferfunktion im Bereich der Linearisierung bekannt ist, desto schneller erreicht das in Fig. 2 beschriebene Verfahren die optimalen Korrekturwerte. Mit den angegebene Werten konnten Korrekturwerte, die dem herkömmlichen Verfahren entsprechen, bereits im ersten Iterationsschritt erreicht werden. Bereits nach zwei Iterationsschritten waren sehr gute Ergebnisse erreicht.The more precisely the slope m of the transfer function in the area of linearization is known, the faster the method described in FIG. 2 achieves the optimal correction values. With the specified values, correction values corresponding to the conventional method could already be achieved in the first iteration step. Very good results were achieved after just two iteration steps.
In bevorzugten Abwandlungen der beschriebenen Ausführungsbeispiele wird die Transferfunktion bzw. deren Umkehrfunktion anhand der Bildsignalwerte mehrerer Bildzellen bestimmt. Des weiteren können anstelle eines einzelnen Bildsignalwertes pro Bildzelle mehrere Bildsignalwerte pro Bildzelle hintereinander, beispielsweise 16, aufgenommen werden. Dann wird deren zeitlicher Mittelwert zur Bestimmung der Transferfunktion bzw. deren Umkehrfunktion verwendet. Dadurch werden statistische Schwankungen der Bildsignalwerte über der Zeit eliminiert. In einer bevorzugten Abwandlung des anhand Fig. 2 dargestellten Ausführungsbeispiels wird eine zeitliche Mittelung auch in den Schritten 52 und 56 sowie gegebenenfalls auch 54 durchgeführt.In preferred modifications of the exemplary embodiments described, the transfer function or its inverse function is determined on the basis of the image signal values of a plurality of image cells. Furthermore, instead of a single image signal value per image cell, a plurality of image signal values per image cell, for example 16, can be recorded in succession. Then their time average for determining the transfer function or their Reverse function used. This eliminates statistical fluctuations in the image signal values over time. In a preferred modification of the exemplary embodiment shown in FIG. 2, averaging over time is also carried out in steps 52 and 56 and optionally also 54.
Wenn man die Bestimmung der Transferfunktion, insbesondere die Bestimmung der Steigung m, für jeden Bildsensor 12 und zu Beginn jeder Aufnahme ermittelt, wird der Einfluß des variablen Verstärkers 34 auf die FPN-Korrektur eliminiert. Man erhält dadurch eine gleichbleibend optimale Bildqualität. If the determination of the transfer function, in particular the determination of the slope m, is determined for each image sensor 12 and at the beginning of each exposure, the influence of the variable amplifier 34 on the FPN correction is eliminated. This gives a consistently optimal image quality.

Claims

Patentansprücheclaims
Verfahren zur FPN-Korrektur von Bildsignalwerten eines Bildsensors (12), der eine Vielzahl von Bildzellen (14) aufweist, mit den Schritten:Method for FPN correction of image signal values of an image sensor (12) which has a plurality of image cells (14), with the steps:
Auslesen der Bildsignalwerte aus den Bildzellen (14) undReading out the image signal values from the image cells (14) and
Addieren (26) von individuellen Korrekturwerten zu den Bildsignalwerten,Adding (26) individual correction values to the image signal values,
wobei die Korrekturwerte als analoge Größen über einen Signalpfad (30) mit einer definierten Transferfunktion zu den Bildsignalwerten addiert werden,the correction values being added to the image signal values as analog quantities via a signal path (30) with a defined transfer function,
dadurch gekennzeichnet, daß Parameter, die für die definierte Transferfunktion charakteristisch sind, in einem Speicher (42) bereitgestellt werden und daß die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter in einer Korrekturwerteberechnungseinheit (18) zumindest einmal berechnet werden.characterized in that parameters which are characteristic of the defined transfer function are provided in a memory (42) and in that the individual correction values are calculated at least once using the parameters provided in a correction value calculation unit (18).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zum Bestimmen der Parameter zumindest zwei verschiedene Korrekturwerte aus einer Menge möglicher Korrekturwerte mit einem konstanten Bildsignalwert addiert werden und daß zu jedem dieser Korrekturwerte ein korrigierter Bildsignalwert aufgenommen wird (74). Method according to Claim 1, characterized in that at least two different correction values from a set of possible correction values with a constant image signal value are added to determine the parameters, and in that a corrected image signal value is recorded (74) for each of these correction values.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß alle Korrekturwerte aus der Menge möglicher Korrekturwerte mit dem konstanten Bildsignalwert addiert werden (78, 82).3. The method according to claim 2, characterized in that all correction values from the set of possible correction values are added to the constant image signal value (78, 82).
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Parameter anhand ausgewählter Bildzellen, bevorzugt anhand einer einzelnen Bildzelle (70), bestimmt werden.4. The method according to any one of claims 1 to 3, characterized in that the parameters are determined on the basis of selected image cells, preferably on the basis of a single image cell (70).
5. Verfahren nach einem der Ansprüche 1 bis 4 , dadurch gekennzeichnet, daß die Parameter anhand von Referenzdaten (44) typgleicher Bildsensoren bereitgestellt werden.5. The method according to any one of claims 1 to 4, characterized in that the parameters are provided on the basis of reference data (44) of the same type image sensors.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Parameter einer mathematischen Umkehrfunktion der definierten Transferfunktion in dem Speicher bereitgestellt werden (80).6. The method according to any one of claims 1 to 5, characterized in that the parameters of a mathematical inverse function of the defined transfer function are provided in the memory (80).
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zum Berechnen der individuellen Korrekturwerte folgende Verfahrensschritte zumindest einmal durchgeführt werden:7. The method according to any one of claims 1 to 6, characterized in that the following method steps are carried out at least once to calculate the individual correction values:
a) Bereitstellen (50) eines ersten Korrekturwertes für die Bildsignalwerte der Bildzellen (14),a) providing (50) a first correction value for the image signal values of the image cells (14),
b) Aufnehmen (52) eines homogenen Referenzbildes und Auslesen der zugehörigen Bildsignalwerte,b) recording (52) a homogeneous reference image and reading out the associated image signal values,
c) Bestimmen (54) eines einheitlichen Zielbildwertes, und d) Berechnen (56) der individuellen Korrekturwerte unter Verwendung der Bildsignalwerte des homogenen Referenzbildes, des einheitlichen Zielbildwertes sowie der Parameter der Transferfunktion (58).c) determining (54) a uniform target image value, and d) calculating (56) the individual correction values using the image signal values of the homogeneous reference image, the uniform target image value and the parameters of the transfer function (58).
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der erste Korrekturwert für alle Bildzellen einheitlich bereitgestellt wird (50).8. The method according to claim 7, characterized in that the first correction value is provided uniformly for all image cells (50).
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß zumindest die Verfahrensschritte b) und d) iterativ durchlaufen werden (62).9. The method according to claim 7 or 8, characterized in that at least process steps b) and d) are carried out iteratively (62).
10. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß der einheitliche Zielbildwert als Mittelwert der in Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt wird (54).10. The method according to any one of claims 6 to 8, characterized in that the uniform target image value is determined as an average of the image signal values read out in method step b) (54).
11. Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors (12), der eine Vielzahl von Bildzellen (14) aufweist, mit einer Einrichtung (16) zum Auslesen der Bildsignalwerte aus den Bildzellen (14), mit einem ersten Speicher (38) zum Aufnehmen von individuellen Korrekturwerten und mit einem Addierer (26) zum analogen Addieren der individuellen Korrekturwerte zu den Bildsignalwerten, wobei der erste Speicher (38) und der Addierer (26) über einen Signalpfad (30) mit einer definierten Transferfunktion verbunden sind, dadurch gekennzeichnet, daß ein zweiter Speicher (42) sowie eine Korrekturwerteberechnungsein- heit (18) vorhanden sind, wobei der zweite Speicher (42) zum Bereitstellen von Parametern, die für die definierte Transferfunktion charakteristisch sind, ausgelegt ist und wobei die Korrekturwerteberechnungseinheit (18) dazu ausgelegt ist, die individuellen Korrekturwerte unter Verwendung der bereitgestelltOen Parameter zu berechnen. 11. Device for FPN correction of image signal values of an image sensor (12) having a plurality of image cells (14), with a device (16) for reading out the image signal values from the image cells (14), with a first memory (38) for Recording individual correction values and using an adder (26) for analog addition of the individual correction values to the image signal values, the first memory (38) and the adder (26) being connected to a defined transfer function via a signal path (30), characterized in that that a second memory (42) and a correction value calculation unit (18) are provided, the second memory (42) for providing parameters that are defined for the Transfer function are characteristic, is designed and wherein the correction value calculation unit (18) is designed to calculate the individual correction values using the provided parameters.
EP03722424A 2002-04-16 2003-04-09 Method and device for fpn correction of image signal values of an image sensor Withdrawn EP1495634A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10216806A DE10216806B4 (en) 2002-04-16 2002-04-16 Method and device for FPN correction of image signal values of an image sensor
DE10216806 2002-04-16
PCT/EP2003/003660 WO2003088649A1 (en) 2002-04-16 2003-04-09 Method and device for fpn correction of image signal values of an image sensor

Publications (1)

Publication Number Publication Date
EP1495634A1 true EP1495634A1 (en) 2005-01-12

Family

ID=29224498

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03722424A Withdrawn EP1495634A1 (en) 2002-04-16 2003-04-09 Method and device for fpn correction of image signal values of an image sensor

Country Status (5)

Country Link
US (1) US7224848B2 (en)
EP (1) EP1495634A1 (en)
JP (1) JP4313215B2 (en)
DE (1) DE10216806B4 (en)
WO (1) WO2003088649A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725052B2 (en) * 2004-08-17 2011-07-13 コニカミノルタホールディングス株式会社 Imaging device
US7710472B2 (en) * 2006-05-01 2010-05-04 Warner Bros. Entertainment Inc. Detection and/or correction of suppressed signal defects in moving images
JP4245045B2 (en) * 2006-12-26 2009-03-25 ソニー株式会社 Imaging apparatus, imaging signal processing method, and program
JP4285555B2 (en) * 2007-03-28 2009-06-24 ソニー株式会社 Fixed pattern noise removing circuit, fixed pattern noise removing method, program, and imaging apparatus
US9544516B2 (en) 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
WO2011091358A1 (en) * 2010-01-22 2011-07-28 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for recording an image using an optical diffuser
US9854138B2 (en) 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
DE102013016837A1 (en) 2013-10-10 2015-04-16 Daimler Ag Method for producing an active part for an electrical machine
US9332235B2 (en) * 2013-12-10 2016-05-03 Visera Technologies Company Limited Imaging capture apparatus having plurality of image sensors generating respective image signals based on emitted light areas
US9843750B2 (en) 2014-03-25 2017-12-12 Samsung Electronics Co., Ltd. Methods of calibrating linear-logarithmic image sensors
KR20150146308A (en) 2014-06-23 2015-12-31 삼성전자주식회사 Image sensor and method of operating the image sensor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0138579B1 (en) * 1983-10-14 1990-08-29 British Aerospace Public Limited Company Signal processor for matrix arrays
US4771267A (en) * 1986-12-24 1988-09-13 Hughes Aircraft Company Analog offset compensation technique
US4757389A (en) * 1987-06-15 1988-07-12 Xerox Corporation Calibration improvement with dither for a raster input scanner
JPH05137073A (en) * 1991-11-11 1993-06-01 Canon Inc Fixed pattern correction device for solid-state image pickup element
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
GB2296147B (en) * 1994-11-29 1999-06-16 Marconi Gec Ltd A signal processor
US5631466A (en) * 1995-06-16 1997-05-20 Hughes Electronics Apparatus and methods of closed loop calibration of infrared focal plane arrays
WO1997040621A1 (en) * 1996-04-23 1997-10-30 Silicon Vision, Inc. A digital video camera system
DE19715983C1 (en) 1997-04-17 1998-09-24 Aeg Infrarot Module Gmbh Method for correcting the gray values of images from a digital infrared camera
WO1999003262A1 (en) * 1997-07-07 1999-01-21 Institut Für Mikroelektronik Stuttgart Method and circuit configuration for compensating variations in the cmos image sensors resulting from temperature, voltage and production
US6587142B1 (en) * 1998-09-09 2003-07-01 Pictos Technologies, Inc. Low-noise active-pixel sensor for imaging arrays with high speed row reset
US6285410B1 (en) * 1998-09-11 2001-09-04 Mgi Software Corporation Method and system for removal of flash artifacts from digital images
US6741725B2 (en) * 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03088649A1 *

Also Published As

Publication number Publication date
JP4313215B2 (en) 2009-08-12
WO2003088649A1 (en) 2003-10-23
US7224848B2 (en) 2007-05-29
DE10216806B4 (en) 2006-11-23
DE10216806A1 (en) 2003-11-13
US20050117035A1 (en) 2005-06-02
JP2005528025A (en) 2005-09-15

Similar Documents

Publication Publication Date Title
DE4411179A1 (en) Image capture device
DE3520405C2 (en)
DE10216806B4 (en) Method and device for FPN correction of image signal values of an image sensor
EP2393286B1 (en) Method and device for correcting non-uniform sensitivity of detector elements of thermal image cameras
EP2312864B1 (en) Picture sensor and operation method
DE102010017604B4 (en) Method for optically measuring structures of an object
EP1346561B1 (en) Method and device for generating images using several exposure times
DE19536691B4 (en) Method and device for correcting image frame errors in television filming
DE112004002663T5 (en) Image subtraction of lighting artifacts
DE102005010986B4 (en) Method and device for taking a thermal image
EP1252757A2 (en) Method and device for modifying the color intensity of electronically acquired images
DE19930745A1 (en) Method of measuring bending angles for bending sheet workpiece through desired angle, enabling accurate acquisition of images formed on object by linear projection from different angles
EP1814079A1 (en) Method and device for correcting the brightness of a raw image produced using a sensor matrix
EP0753231B1 (en) Method and device for binarising pixel data
DE102006004060A1 (en) Moved object`s height and/or height progress measuring method, involves reducing and inversing detected object height by correction value with object height that increases in course of movement of object relative to recording axis of sensor
DE10117833C1 (en) Fixed pattern noise correction method for image sensor signals selects transformation equation for calculation of correction value dependent on identified value range of image signal
DE102016104043A1 (en) Method for generating a noise-reduced image based on a noise model of a plurality of images, and camera system and motor vehicle
DE2838121A1 (en) PROCEDURE FOR DETERMINING THE FOCUS OF AN OPTIC
DE3844873C2 (en) Imaging device
EP1422930A2 (en) Method and device for producing balanced image data in scanning image sensors
DE3010559A1 (en) VERIFICATION SYSTEM FOR DETECTING ERRORS IN REGULAR PATTERNS
DE19730257A1 (en) Shape measuring system for measuring object from photograph
DE102020129908A1 (en) Indirect layer system and method for adjusting a refresh rate
DE10333712A1 (en) Failure reduced depiction method e.g. for digital cameras, microscopes, involves illustrating object by optical mechanism and has illustration unit to collect intensity values
DE19961906A1 (en) Digital scanning measurement unit, e.g. scanning tunnel microscope; has differential element, analogue to digital converter and computer to form absolute image signal values from difference signals

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20041030

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110224