EP1374565A1 - Method and device for fpn correction of image signals - Google Patents

Method and device for fpn correction of image signals

Info

Publication number
EP1374565A1
EP1374565A1 EP02722269A EP02722269A EP1374565A1 EP 1374565 A1 EP1374565 A1 EP 1374565A1 EP 02722269 A EP02722269 A EP 02722269A EP 02722269 A EP02722269 A EP 02722269A EP 1374565 A1 EP1374565 A1 EP 1374565A1
Authority
EP
European Patent Office
Prior art keywords
image
value
correction coefficients
coefficients
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02722269A
Other languages
German (de)
French (fr)
Inventor
Bernd HÖFFLINGER
Cornelis Scherjon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut fur Mikroelektronik Stuttgart
Institut fuer Mikroelectronik Stuttgart
Original Assignee
Institut fur Mikroelektronik Stuttgart
Institut fuer Mikroelectronik Stuttgart
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut fur Mikroelektronik Stuttgart, Institut fuer Mikroelectronik Stuttgart filed Critical Institut fur Mikroelektronik Stuttgart
Publication of EP1374565A1 publication Critical patent/EP1374565A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type

Definitions

  • the invention relates to a method and a device for FPN correction of image signals that are generated by image cells of an image sensor.
  • the invention further relates to a digital camera with such a device.
  • image sensors are increasingly being used as a replacement for conventional film material, which convert an optical intensity distribution into electronic image signals.
  • Such image sensors have a regular arrangement of pixels ("pixels"), each of which is assigned one or more light-sensitive circuits made of semiconductor components, hereinafter referred to as image cells.
  • image cells Each of these image cells generates an image signal, the voltage value of which is a function of the intensity of the light striking the image cell.
  • each pixel In the case of image sensors for color reproduction, each pixel generally consists of a triple of image cells, each of which is covered by a color filter for one of the three spectral colors red, green and blue.
  • Each image signal of such an image cell reproduces a brightness value related to the spectral color in question, so that the total of the three individual signals contains the color information for the relevant pixel.
  • the FPN is only insufficiently corrected for brightnesses other than the reference brightness, i.e. at such brightnesses, the granular appearance of homogeneous surfaces remains largely unchanged.
  • the characteristic curves of the individual image cells which indicate the relationship between the optical intensity (brightness) impinging on the image cell and the image signal generated, cannot be covered only by adding a difference value. Rather, the characteristics of the individual image cells also differ in terms of their slope, so that a correction in the reference brightness may be different in other brightnesses. significantly less impact.
  • the correction of the FPN is particularly difficult because elaborate mathematical transformations as part of the correction are ruled out, at least for commercial applications, because of the high storage and computing capacities required and because of the real-time requirements.
  • the object is achieved in a device of the type mentioned at the outset by:
  • a discriminator for determining in which of at least two value ranges the value of an image signal of an image cell lies at a predetermined time
  • a selection device for determining a corrected value for the image signal as a function of the result determined by the discriminator.
  • the invention is based on the finding that a significant improvement in the FPN correction can be achieved in that the image signals are not corrected in a uniform manner over the entire range of values, but in different ways according to ranges of values. This makes it possible to achieve good correction results with simple transformations which place low demands on memory requirements and computing power.
  • the actual characteristic curve of each image cell can be determined within the individual value ranges a mathematically simple approximation characteristic can be approximated, which allows the use of correspondingly simple transformations that can be carried out with little computing effort.
  • the underlying transformation equations then require only a few coefficients, which means that the memory requirement is kept low.
  • the corrected value for the image signal can be determined, for example, such that a number of corrected values corresponding to the number of value ranges is determined for each pixel using the transformation equations valid for this. A specific correction value assigned to this value range is then selected from these corrected values depending on the value range in which the value of the image signal actually lies at a predetermined point in time. Therefore, as many correction values as there are value ranges are to be determined for each image cell.
  • the determination of the corrected value after step b) comprises the steps: bl) selecting correction coefficients from a plurality of sets of correction coefficients depending on the result after step a); and
  • This procedure has the advantage that in each case only the calculation of a single corrected value is necessary, namely using those correction coefficients that are assigned to the value range. Instead of selecting one correction value from several correction values calculated in advance, this procedure only calculates one correction value using selected correction coefficients.
  • the sets of correction coefficients are different for a plurality of image cells and / or for the different value ranges.
  • image cells can be grouped together. However, individual correction coefficients are preferably used for each image cell.
  • the at least two value ranges can be identical for all image cells.
  • the circuitry structure required to carry out the method becomes very simple, since one or more individual threshold values for each image cell need not be read out from a memory and fed to a discriminator.
  • the at least two value ranges are preferably different for a plurality of image cells.
  • this additionally requires storing threshold values for each picture cell.
  • this disadvantage is offset by the fact that a further considerable improvement in the FPN correction is achieved.
  • the threshold values for the pixels can be stored in a threshold value memory, for example. It is also possible to calculate the threshold values from stored coefficients for the transformation equations, so that there is no additional storage requirement for the threshold values. If necessary, individual coefficients can also be used directly as a threshold.
  • the transformation equations by an array of 'are Logikbau- stones in particular from adders and multipliers, to which the coefficients are fed from a memory.
  • correction coefficients are determined for each image cell from a comparison of an actual characteristic curve, which indicates a relationship between an optical intensity impinging on the respective image cell and the image signal generated, with a target characteristic curve.
  • the target characteristic curve can in principle be set arbitrarily. However, the definition should be made from the point of view that, with regard to the approximate equations for the actual characteristic curves, transformation equations are as simple as possible within the value ranges.
  • the target characteristic curve is determined by forming the mean value from the actual characteristic curves of the image cells.
  • This determination of the target characteristic curve means that the corrections to be made to the individual image signals are minimal overall.
  • the at least two value ranges are defined in such a way that the actual characteristic curves and the target characteristic curve are each approximately linear to the logarithm of the optical intensity within the value ranges.
  • the corrected value V c for the image signal from an actual value V r generated by the image cell according to a transformation equation of the form
  • V " a • V + b
  • a and b are correction coefficients of the transformation equation determined from a comparison of the actual characteristic curve with the target characteristic curve.
  • Such a linear transformation equation results if the individual characteristic curve sections are approximated by straight lines.
  • such a linear transformation equation can be achieved by a simple series connection. implement from a multiplier and an adder, whereby the order of these two logic modules is in principle irrelevant.
  • V. a_ • log E + b j.
  • V r a r • log E + b r
  • the image signals of the individual image cells which are linear with respect to the logarithm of the brightness information, are thus described in each value range by linear approximation equations, the coefficients of which result from the relationship given the coefficients of the transformation equation. These coefficients are stored in a memory and are called up each time the image signal of the relevant image cell lies within the assigned value range.
  • the coefficients a r and b r are preferably determined by the method of the smallest squares of deviation from actual characteristic curves of the image cells.
  • the coefficients a_ and b_ are preferably determined by averaging the coefficients a r and b r over all image cells.
  • an approximation equation for the target characteristic curve can be determined in a particularly simple manner in the individual value ranges.
  • FIG. 1 shows a highly schematic representation of a digital camera according to the invention with an image sensor installed therein;
  • FIG. 2 shows a basic circuit diagram of an electronic unit for further processing of image signals that are generated by the image sensor shown in FIG. 1;
  • Fig. 3 shows a characteristic curve of a single logarithmically compressing image cell in which an output voltage is plotted against an optical intensity impinging on the image cell;
  • FIG. 6 shows a representation of several characteristic curves corresponding to FIG. 4, in which a target characteristic curve is additionally entered;
  • FIG. 7 shows a representation of a target characteristic curve and an actual characteristic curve in a representation as in FIG. 6, in which additional approximation lines are shown for individual value ranges;
  • FIG. 9 shows a representation corresponding to FIG. 5 of the distribution of the output voltages which have been subjected to the FPN correction according to the invention.
  • FIG. 10a-10f exemplary embodiments of an inventive device for FPN correction in a schematic representation.
  • 1 shows a highly simplified schematic illustration of a digital camera 10, which can be a photo or a film camera.
  • the digital camera 10 has an electronic image sensor 12, on the light-sensitive surface of which a motif 14 is imaged with the aid of a lens system 16 only indicated here.
  • the images recorded by the image sensor 12 are digitally processed in an electronic unit 18 so that they can finally be read out via a camera output 20.
  • the electronics unit 18 can be assigned an image memory (not shown in FIG. 1) in which the processed images can be stored. It is also possible to arrange only a part of the electronics unit 18 within the digital camera 10. The remaining parts are then implemented outside the digital camera 10, for example as software that can be executed on a personal computer.
  • the image sensor 12 has a regular arrangement of pixels, each of which consists of three light-sensitive image cells 22 in a manner known per se. Each image cell 22 of a pixel is covered by different color filters, so that the output voltage generated by the respective image cell is a function of the intensity of the light of the spectral color that can pass through the filter in question. In the case of image sensors which are only suitable for black-and-white recordings, the image points each consist of only a single image cell.
  • the image cells 22 used in the image sensor 12 are implemented as circuits of semiconductor components which, in the exemplary embodiment shown, generate an output voltage which approximately corresponds to the logarithm of the optical intensities incident thereon. corresponds to. The image cells 22 therefore generate logarithmically compressed image signals. Details of the structure of such picture cells 22 can be found in the aforementioned EP 632 930 B1.
  • the image signals generated by the image cells 22 are read out row by row and column-wise and are combined in a read-out multiplexer 24 to form an overall signal.
  • the overall signal thus contains the image signals assigned to the individual image cells 22 in chronological order. In the following, explanations of image signals therefore always refer to the image signal that is generated by a very specific image cell 22 in the image sensor 12.
  • the image signals are digitized in an analog / digital converter 25, which can also be arranged on the image sensor 12 itself, and then corrected in an FPN correction unit 26 such that the falsifications of the captured image caused by the FPN are largely reduced.
  • the structure of the FPN correction unit 26 is explained in more detail below using several exemplary embodiments.
  • the FPN-corrected image signal is then further processed in a processing stage 32, e.g. to specifically change the brightness or color saturation and to carry out a ⁇ correction.
  • the image signal prepared in this way can finally be read out via the output 20 and converted back into an image using an output device 34.
  • 3 shows a characteristic curve 36 of an individual image cell 22 in a representation in which an output voltage V generated by the image cell 22 is plotted against a brightness E impinging on the image cell 22.
  • the characteristic curve 36 has a first and a second section 38 and 40, in which the output voltage V is approximately linear to the logarithm of the brightness E.
  • the output signal V of the image cell 22 increases logarithmically with the brightness E.
  • the output voltage V of the image cell 22 is approximately independent of the brightness E.
  • This approximately horizontal section of the characteristic curve 36 represents a dark current of the image cell 22, which is essentially due to the photodiode contained in the image cell.
  • the dark current is generated there, among other things, due to thermal generation and recombination of free charge carriers via impurities that are present in the space charge zone of the photodiode.
  • the characteristic curve 36 of an image cell 22 shown in FIG. 3 can be mathematically represented by an equation of the form
  • V k • log ( ⁇ E + I D ) + c (1)
  • I D denotes the dark current
  • the quantity c is a quantity dependent on the temperature and the transistor geometry.
  • the factor ⁇ gives the relationship between the current strength and the brightness E generated by the image cell 22 again.
  • FIG. 4 shows a representation corresponding to FIG. 3 of several characteristic curves 44, 46, 48, 50 and 52, which are assigned to different image cells 22 of the image sensor 12. It can be seen in this illustration that the characteristic curves of the individual image cells differ not only with regard to their dark currents, but also with regard to the factors which indicate the slope of the characteristic curves at higher brightnesses. Because of these relatively large differences between the individual characteristic curves, adding or subtracting constant values, as is the case with conventional white balance, does not result in largely identical characteristic curves.
  • the distribution (number N) of the output voltages V is indicated in FIG. 5 for two fixed brightnesses E_ and E 2 if, in FIG. 4, not only five but several hundred thousand characteristic curves are plotted which correspond to the individual image cells of the image sensor 12.
  • the scatter of the output voltages measured for the individual image cells around the mean values V_ or V 2 are a measure of the strength of the FPN.
  • a target characteristic curve 54 is entered in FIG. 6 for the five characteristic curves 44 to 52 from FIG. 4, which characteristic curve is determined by averaging the actual actual characteristic curves 44 to 52.
  • the mean values V_ and V 2 from FIG. 5 are therefore on the target characteristic curve 54.
  • the FPN would completely disappear if the actual characteristic curves 44 to 52 could be mapped to the desired characteristic curve 54 (or another arbitrarily defined desired characteristic curve) by means of a suitable transformation.
  • a transformation of equation (1) is, however, mathematically very complex and therefore cannot be managed by an FPN correction unit in real time.
  • the ordinate is divided into a first and a second value range 56 and 58, respectively, by determining a suitable threshold value V th for the output voltage.
  • V th a suitable threshold value for the output voltage.
  • the first value range 56 for the actual characteristic curve 52, the first section to be traced back to the dark current is approximated by an approximately horizontal first approximation line 60.
  • the second value range 58 the characteristic curve 52 is approximated by a second, now inclined approximation line 62.
  • the threshold value V th is chosen so that the actual characteristic curve 52 is approximated as well as possible by the two approximation lines 60 and 62.
  • the approximation line 62 can be determined by an equation of the form
  • V a r • log E + b r (2)
  • V r is an output voltage on the actual characteristic curve and a r and b r are the coefficients of the linear equation (2).
  • the two coefficients a r and b r can be determined in a manner known per se using the method of the least squares of deviation (regression analysis). For this purpose, a plurality of measurement values are recorded once for each image cell by the manufacturer over the entire brightness range, from which the two coefficients a r and b r are then determined within the second value range 58 using the method of the smallest squares of deviations.
  • the coefficients of the first approximation line 60 are also determined for all image cells of the image sensor 12.
  • the characteristic curve of each image cell is thus approximately represented by a total of four coefficients.
  • a target characteristic curve 54 is first determined. This can be done, for example, by first determining an average for this brightness by averaging the measured values recorded for each image cell at a certain brightness. These mean values can then also be used to approximate a first and a second target approximation line 64 or 66 using the method of the least squares of deviation.
  • the four coefficients of the two desired approximation lines 64 and 66 are preferably determined directly from the coefficient determined for each individual image cell, i.e. e.g. for the second approximation line 66
  • V t a_ • log E + bi (3)
  • V ⁇ the output voltage of the nominal characteristic curve 54
  • a_ and b ⁇ the coefficients of the second nominal approximation lines 66 and a rk and b rk are the measured values recorded for each pixel in the second value range 58.
  • n is the number of picture cells for which characteristic curves are recorded.
  • Corresponding equations also apply to the first target approximation line 64 of the first value range 56.
  • the threshold value V th which separates the two value ranges 56 and 58 from one another, can preferably be set independently for each of the image cells 22. Otherwise, as can easily be seen from FIG. 6, the approximately horizontal sections of the characteristic curves would in part still be approximated by the equations for the inclined sections and vice versa.
  • a further improvement in the approximation can be achieved in that the ordinate is not divided into two, but into three or even more value ranges.
  • a third value range 67 is inserted between the first value range 56 and the second value range 58 for the characteristic curve 52, which defines the transition section 42 of the characteristic curve 52 by a quadratic function of the shape
  • V. p (log E - E 0 ) 2 + p c (5) approximates, where p, E 0 and p 0 are coefficients of the parabola equation (5). However, not only four, but a total of seven coefficients are then to be stored in the FPN correction unit 26 per image cell.
  • the desired target characteristic is approximated in a first value range by a parabolic section-shaped approximation characteristic and in a second value range by a straight line. If the first range of values exactly covers the first two decades of brightness, there is a steady and particularly "soft" transition between the characteristic curve sections ⁇ . In addition, in this case the number of correction coefficients required can be reduced to a total of three per image cell, and the transformation of the real values of the image points to the approximation characteristic can be carried out simply and in real time.
  • V 0 a • V r + b (6)
  • V c designate the corrected output voltage
  • a and b the coefficients of the transformation equation (6).
  • the coefficients a and b are derived from the coefficients a r , b r , a_ and b_ of the approximate equations (2) and (3) through the relationship
  • the FPN correction described above can optionally also be carried out only for a part of the image cells of an image sensor.
  • 10a shows a schematic illustration of a first exemplary embodiment 26a for the construction of an FPN correction unit 26.
  • the image signal of a specific image cell supplied at an input 68a is fed to a discriminator 70a which checks whether the image signal is above or below that in a threshold value memory 71a stored threshold value V th .
  • the threshold value V th is identical for all picture cells in this exemplary embodiment.
  • the result of this This check is passed to a multiplexer 72a.
  • the multiplexer 72a can be used to read out values from a first memory 74a and a second memory 76a, each of which can be supplied with the address of the image cell whose output voltage is currently applied to the input 68a in digital form.
  • Coefficients a_ and b x of the transformation equation (6) for the first value range 56 of all image cells of the image sensor 12 are stored in the first memory 74a.
  • Coefficients a 2 and b 2 of the transformation equation (6) for the second value range 58 are stored in the second memory 76.
  • the multiplexer 72a now reads the coefficients of the transformation equation belonging to the selected value range from one of the two memories 74a or 76a depending on the result transferred by the discriminator 70a.
  • the coefficients a_ or a 2 are fed to a multiplier 78a in which the image signal present at the input 68a is multiplied by the factor a_ or a 2 supplied.
  • the coefficients b_ or b 2 are fed to an adder 80a and added to the image signal changed in the multiplier 78a.
  • the corrected image signal can be tapped off at an output 82a of the FPN correction unit 26a.
  • the two memories 74a and 76a and the threshold value memory 71a can of course also be implemented as separate memory areas in a common memory element.
  • the access time for the two memories 74a and 76a and the readout frequency it may also be expedient to use the FPN correction unit 26a as To implement a pipeline structure in whose data paths registers are inserted.
  • the number of value ranges distinguishable by the discriminator 70a must be adjusted accordingly by specifying further threshold values. Additional memories must also be provided, from which coefficients can be read out by multiplexer 72a. If the transformation equation (6) is not a linear equation but has a different form, this can be taken into account by a different arrangement of the logic modules (multiplier 78a and adder 80a).
  • a common threshold value V th is not provided for all image cells, as is the case with the FPN correction unit 26a from FIG. 10a. Rather, a separate threshold value V th is stored there for each picture cell in a threshold value memory 71b. As mentioned above, this significantly improves the accuracy of the FPN correction.
  • the threshold value memory 71b is connected to an input 68b of the FPN correction unit 26b, so that it can be supplied with the address of the image cell whose output voltage is currently applied to the input 68b.
  • a threshold value calculation unit 84c is provided, which independently uses the coefficients supplied from memories 74c and 76c to determine a threshold value for each image cell and makes it available to a discriminator 70c. Such a calculation is e.g. then makes sense if the costs for the storage space to be reserved for a threshold value memory are higher than the costs for the threshold value calculation unit 84c.
  • the FPN correction unit 26d shown in FIG. 10d differs from the FPN correction unit 26b shown in FIG. 10b in that the coefficient a ⁇ ', which is calculated from the slope of the approximately horizontal (target) approximation line 60 and 64, respectively , is the same in the first range of values for all picture cells and is therefore not loaded from a memory 74d, but rather from a read-only memory 86d, which may also be contained in a multiplexer 72d or may be replaced by circuitry wiring.
  • the coefficient b_ ' is fed as a threshold value to a discriminator 70d, so that a threshold value memory is also omitted here.
  • the FPN correction unit 26e shown in FIG. 10e does not first select coefficients for the individual value ranges and then calculate the correction values V c , as is the case with the exemplary embodiments described above. Rather, at FPN Correction unit 26e calculates correction values in parallel for both value ranges, which can be tapped behind the adders 78e. A correction value is then selected from the two calculated correction values in a multiplexer 2e and made available to an output 82e.
  • the multiplexer 72e is also controlled here by a discriminator 70e, which checks whether the image signal is above or below the threshold value V th stored in a threshold value memory 71e.
  • the FPN correction unit 26f shown in FIG. 10f differs from the FPN correction unit 26e described above only in that the coefficient a_ is zero for all image cells, which corresponds to horizontal (target) approximation lines in the first value range. This eliminates one of the multipliers required in the FPN correction unit 26e according to FIG. 10e.
  • the threshold values for the FPN correction units 26e and 26f can also be determined from the stored coefficients, as was described above for the FPN correction unit 26c.
  • the individual components of the FPN correction units 26a to 26f described above can be constructed from digital or also from analog components (multipliers 78, adders 80 and multiplexers 72).
  • analog-to-digital converter 25 on the input side is of course omitted.
  • coefficients stored in the memories 74 and 76 must then be converted into analog signals with the aid of digital / analog converters.

Abstract

The invention relates to a method and device for FPN correction of image signals which are produced by the image cells (22) of an image sensor (12). The device comprises a) a discriminator (70) for determining which out of at least two range of values(56, 58; 67) corresponds to the value of the image signal at a predetermined moment in time; b) a selector device (72, 74, 76, 78, 80) for determining a corrected value for the image signal according to the result determined by the discriminator (70). Preferably, the selector device comprises means (72) for selecting correction coefficients from several sets of correction coefficients according to the result determined by the discriminator (70) after (a), and a transformation unit (74, 76, 78, 80) which is used to calculate the corrected value for the image signal using the selected correction coefficients.

Description

Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen Method and device for FPN correction of image signals
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen eines Bildsensors erzeugt werden. Die Erfindung betrifft ferner eine digitale Kamera mit einer solchen Vorrichtung.The invention relates to a method and a device for FPN correction of image signals that are generated by image cells of an image sensor. The invention further relates to a digital camera with such a device.
In der Photo- und Filmkameratechnik werden als Ersatz für herkömmliches Filmmaterial in zunehmendem Maße Bildaufnehmer eingesetzt, die eine optische Intensitätsverteilung in elektronische Bildsignale umwandeln. Derartige Bildsensoren weisen eine regelmäßige Anordnung von Bildpunkten ("Pixeln") auf, denen jeweils eine oder mehrere lichtempfindliche, im folgenden als Bildzellen bezeichnete Schaltungen aus Halbleiterbauelementen zugeordnet sind. Jede dieser Bildzellen erzeugt ein Bildsignal, dessen Spannungswert eine Funktion der Intensität des auf die Bildzelle auftreffenden Lichts ist. Bei Bildsensoren für die farbige Wiedergabe besteht jeder Bildpunkt in der Regel aus einem Tripel von Bildzellen, die jeweils durch ein Farbfilter für eine der drei Spektralfarben Rot, Grün und Blau überdeckt sind. Jedes Bildsignal einer solchen Bildzelle gibt einen auf die betreffende Spektralfarbe bezogenen Helligkeitswert wieder, so daß in der Gesamtheit der drei Einzelsignale die Farbinformation für den betreffenden Bildpunkt enthalten ist.In photo and film camera technology, image sensors are increasingly being used as a replacement for conventional film material, which convert an optical intensity distribution into electronic image signals. Such image sensors have a regular arrangement of pixels ("pixels"), each of which is assigned one or more light-sensitive circuits made of semiconductor components, hereinafter referred to as image cells. Each of these image cells generates an image signal, the voltage value of which is a function of the intensity of the light striking the image cell. In the case of image sensors for color reproduction, each pixel generally consists of a triple of image cells, each of which is covered by a color filter for one of the three spectral colors red, green and blue. Each image signal of such an image cell reproduces a brightness value related to the spectral color in question, so that the total of the three individual signals contains the color information for the relevant pixel.
Betrachtet man ein durch derartige Bildsignale repräsentiertes Bild auf einem Monitor oder einem Ausdruck, so stellt man fest, daß Flächen des Bildes, die eigentlich homogen und gleichmäßig erscheinen sollten, tatsächlich eine mehr oder weniger starke Körnung aufweisen. Diese Körnung entsteht dadurch, daß identisch aufgebaute Bildzellen trotz gleicher Intensität des auftreffenden Lichtes unterschiedliche Bildsignale erzeugen. Dieser Effekt wird als "fixed pattern noise" oder kurz als "FPN" bezeichnet. Die unterschiedlichen Eigenschaften der an sich identischen Bildzellen gehen auf herstellungsbedingte Variationen der elektronischen Bauelemente zurück, aus denen die einzelnen Bildzellen aufgebaut sind. Diese Variationen betreffen insbesondere die Geometrie und Dotierung der Strukturen, aus denen die einzelnen elektronischen Bauelemente ihrerseits bestehen. Je komplexer die einzelnen Bildzellen aufgebaut sind, desto größer ist im allgemeinen auch das FPN.If one looks at an image represented by such image signals on a monitor or on a printout, it is found that areas of the image which should actually appear homogeneous and uniform actually have a more or less strong grain. This grain size arises from the fact that identically constructed image cells generate different image signals despite the same intensity of the incident light. This effect is referred to as "fixed pattern noise" or "FPN" for short. The different properties of the image cells, which are identical per se, are due to production-related variations in the electronic components from which the individual image cells are constructed. These variations relate in particular to the geometry and doping of the structures from which the individual electronic components themselves are made. In general, the more complex the individual picture cells are, the larger the FPN.
Zur Korrektur des FPN ist es bekannt, im Rahmen eines sogenannten "Weißabgleichs" bei einer Referenzhelligkeit ein Bild mit dem Bildsensor aufzunehmen und für jede Bildzelle einen Differenzwert des entsprechenden Bildsignals zu einem gemeinsamen Referenzsignal abzuspeichern. Dieser Differenzwert, der positiv oder negativ sein kann, wird nun stets zu dem von der betreffenden Bildzelle erzeugten Bildsignal hinzuaddiert. Für die Referenzhelligkeit wird das FPN durch dieses bekannte Verfahren vollständig korrigiert.To correct the FPN, it is known to record an image with the image sensor as part of a so-called "white balance" at a reference brightness and to store a difference value of the corresponding image signal for a common reference signal for each image cell. This difference value, the positive or can be negative, is now always added to the image signal generated by the image cell in question. The FPN is completely corrected for the reference brightness by this known method.
Für von der Referenzhelligkeit verschiedene Helligkeiten wird das FPN hingegen nur unzureichend korrigiert, d.h. bei solchen Helligkeiten bleibt die körnige Darstellung an sich homogener Flächen weitgehend unverändert. Dies liegt daran, daß die Kennlinien der einzelnen Bildzellen, die den Zusammenhang zwischen der auf der Bildzelle auftreffenden optischen Intensität (Helligkeit) und dem erzeugten Bildsignal angeben, sich nicht nur durch das Hinzuaddieren eines Differenzwertes zur Deckung bringen lassen. Vielmehr unterscheiden sich die Kennlinien der einzelnen Bildzellen auch bezüglich ihrer Steigung, so daß eine Korrektur bei der Referenzhelligkeit sich bei anderen Helligkeiten u.U. erheblich weniger auswirkt.However, the FPN is only insufficiently corrected for brightnesses other than the reference brightness, i.e. at such brightnesses, the granular appearance of homogeneous surfaces remains largely unchanged. This is because the characteristic curves of the individual image cells, which indicate the relationship between the optical intensity (brightness) impinging on the image cell and the image signal generated, cannot be covered only by adding a difference value. Rather, the characteristics of the individual image cells also differ in terms of their slope, so that a correction in the reference brightness may be different in other brightnesses. significantly less impact.
In der Praxis stößt die Korrektur des FPN vor allem deswegen auf Schwierigkeiten, weil aufwendige mathematische Transformationen im Rahmen der Korrektur wegen der hohen erforderlichen Speicher- und Rechenkapazitäten und wegen der Echtzeitanforderungen zumindest für kommerzielle Anwendungen ausscheiden.In practice, the correction of the FPN is particularly difficult because elaborate mathematical transformations as part of the correction are ruled out, at least for commercial applications, because of the high storage and computing capacities required and because of the real-time requirements.
Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur FPN-Korrektur von Bildsignalen der eingangs genannten Art derart zu verbessern, daß eine deutliche Verringerung des FPN bei geringen Anforderungen an den Speicherbedarf und die Rechenleistung erzielt wird. Hinsichtlich des Verfahrens wird diese Aufgabe durch folgende Schritte gelöst, die vorzugsweise für das Bildsignal jeder Bildzelle getrennt durchgeführt werden:It is therefore an object of the invention to improve a method and a device for FPN correction of image signals of the type mentioned at the outset in such a way that a significant reduction in the FPN is achieved with low demands on the memory requirement and the computing power. With regard to the method, this object is achieved by the following steps, which are preferably carried out separately for the image signal of each image cell:
a) Ermitteln, in welchem von wenigstens zwei Wertebereiσhen der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt liegt;a) determining in which of at least two value ranges the value of the image signal lies at a predetermined point in time;
b) Bestimmen eines korrigierten Wertes für das Bildsignal in Abhängigkeit von dem Ergebnis nach Schritt a ) .b) determining a corrected value for the image signal as a function of the result after step a).
Hinsichtlich der Vorrichtung wird die Aufgabe bei einer Vorrichtung der eingangs genannten Art gelöst durch:With regard to the device, the object is achieved in a device of the type mentioned at the outset by:
a) einen Diskriminator zum Ermitteln, in welchem von wenigstens zwei Wertebereichen der Wert eines Bildsignals einer Bildzelle zu einem vorgegebenen Zeitpunkt liegt,a) a discriminator for determining in which of at least two value ranges the value of an image signal of an image cell lies at a predetermined time,
b) einer Auswahleinrichtung zur Bestimmung eines korrigierten Wertes für das Bildsignal in Abhängigkeit von dem von dem Diskriminator ermittelten Ergebnis .b) a selection device for determining a corrected value for the image signal as a function of the result determined by the discriminator.
Der Erfindung liegt die Erkenntnis zugrunde, daß sich eine wesentliche Verbesserung der FPN-Korrektur dadurch erzielen läßt, daß die Bildsignale nicht in einheitlicher Weise über den gesamten Wertebereich hinweg, sondern in unterschiedlicher Weise nach Wertebereichen getrennt korrigiert werden. Dies erlaubt es, mit einfachen, an den Speicherbedarf und die Rechenleistung geringe Anforderungen stellende Transformationen gute Korrekturergebnisse zu erzielen. Innerhalb der einzelnen Wertebereiche kann nämlich die tatsächliche Kennlinie jeder Bildzelle durch eine mathematisch einfache Näherungskennlinie angenähert werden, was die Verwendung entsprechend einfacher und mit geringem Rechenaufwand durchführbarer Transformationen erlaubt. Die zugrundeliegenden Transformationsgleichungen benötigen dann nur wenige Koeffizienten, wodurch der Speicherbedarf gering gehalten wird.The invention is based on the finding that a significant improvement in the FPN correction can be achieved in that the image signals are not corrected in a uniform manner over the entire range of values, but in different ways according to ranges of values. This makes it possible to achieve good correction results with simple transformations which place low demands on memory requirements and computing power. The actual characteristic curve of each image cell can be determined within the individual value ranges a mathematically simple approximation characteristic can be approximated, which allows the use of correspondingly simple transformations that can be carried out with little computing effort. The underlying transformation equations then require only a few coefficients, which means that the memory requirement is kept low.
Durch die getrennte Korrektur der Bildsignale in unterschiedlichen Wertebereichen ist es möglich, die relativ komplizierten Kennlinien der einzelnen Bildzellen abschnittsweise durch einfache Funktionen anzunähern, so daß mit einfachen Transformationsgleichungen und entsprechend wenigen Koeffizienten pro Bildzelle eine gute Korrektur des FPN erreicht wird.Due to the separate correction of the image signals in different value ranges, it is possible to approximate the relatively complicated characteristic curves of the individual image cells in sections by simple functions, so that a good correction of the FPN is achieved with simple transformation equations and correspondingly few coefficients per image cell.
Die Bestimmung des korrigierten Wertes für das Bildsignal kann beispielsweise derart erfolgen, daß für jeden Bildpunkt unter Verwendung der hierfür gültigen Transformationsgleichungen eine der Anzahl der Wertebereiche entsprechende Anzahl von korrigierten Werten ermittelt wird. Aus diesen korrigierten Werten wird dann in Abhängigkeit davon, in welchem Wertebereich der Wert des Bildsignals zu einem vorgegebenen Zeitpunkt tatsächlich liegt, ein bestimmter, diesem Wertebereich zugeordneter Korrekturwert ausgewählt. Für jede Bildzelle sind daher so viele Korrekturwerte zu ermitteln, wie Wertebereiche vorgesehen sind.The corrected value for the image signal can be determined, for example, such that a number of corrected values corresponding to the number of value ranges is determined for each pixel using the transformation equations valid for this. A specific correction value assigned to this value range is then selected from these corrected values depending on the value range in which the value of the image signal actually lies at a predetermined point in time. Therefore, as many correction values as there are value ranges are to be determined for each image cell.
Bevorzugt ist es allerdings, wenn die Bestimmung des korrigierten Wertes nach Schritt b) die Schritte umfaßt: bl) Auswählen von Korrekturkoeffizienten aus mehreren Sätzen von Korrekturkoeffizienten in Abhängigkeit von dem Ergebnis nach Schritt a); undHowever, it is preferred if the determination of the corrected value after step b) comprises the steps: bl) selecting correction coefficients from a plurality of sets of correction coefficients depending on the result after step a); and
b2) Berechnen des korrigierten Wertes für das Bildsignal unter Verwendung der Korrekturkoeffizienten.b2) calculating the corrected value for the image signal using the correction coefficients.
Dieses Vorgehen hat den Vorteil, daß jeweils nur die Berechnung eines einzigen korrigierten Wertes erforderlich ist, nämlich unter Verwendung derjenigen Korrekturkoeffizienten, die dem Wertebereich zugeordnet sind. Anstelle aus mehreren im voraus berechneten Korrekturwerten einen Korrekturwert auszuwählen, wird bei diesem Vorgehen nur ein Korrekturwert unter Verwendung von ausgewählten Korrekturkoeffizienten berechnet.This procedure has the advantage that in each case only the calculation of a single corrected value is necessary, namely using those correction coefficients that are assigned to the value range. Instead of selecting one correction value from several correction values calculated in advance, this procedure only calculates one correction value using selected correction coefficients.
Grundsätzlich ist es möglich, daß die Korrekturkoeffizienten, die den wenigstens zwei Wertebereichen zugeordnet sind, für alle Bildzellen gleich sind. Gegenüber der FPN-Korrektur im Rahmen des Weißabgleichs wird dadurch bereits eine deutliche Verringerung des FPN erzielt.In principle, it is possible for the correction coefficients which are assigned to the at least two value ranges to be the same for all image cells. Compared to FPN correction in the context of white balance, the FPN is already significantly reduced.
Besonders bevorzugt ist es jedoch, wenn die Sätze von Korrekturkoeffizienten für mehrere Bildzellen und/oder für die verschiedenen Wertebereiche unterschiedlich sind.However, it is particularly preferred if the sets of correction coefficients are different for a plurality of image cells and / or for the different value ranges.
Dabei lassen sich gegebenenfalls mehrere Bildzellen in Gruppen zusammenfassen. Vorzugsweise werden jedoch für jede Bildzelle individuelle Korrekturkoeffizienten verwendet.If necessary, several image cells can be grouped together. However, individual correction coefficients are preferably used for each image cell.
Durch diese Maßnahme läßt sich eine weitere erhebliche Verbesserung der FPN-Korrektur erzielen, da nun für jede einzelne Bildzelle Korrekturkoeffizienten zur Verfügung stehen, die an die individuelle Kennlinie der Bildzelle angepaßt sind. Dennoch läßt sich die Gesamtzahl der benötigten Koeffizienten in überschaubaren Grenzen halten, da die Transformationsgleichungen aufgrund der Unterteilung in mehrere Wertebereiche vereinfacht sind. Die Anzahl der erforderlichen Koeffizienten hängt von der Art der verwendeten Näherung ab. Bevorzugt ist, wenn die Kennlinienabschnitte durch lineare, quadratische oder kubische Gleichungen angenähert werden.This measure makes it possible to achieve a further considerable improvement in the FPN correction, since it is now for each individual Correction coefficients are available which are adapted to the individual characteristic of the image cell. Nevertheless, the total number of required coefficients can be kept within manageable limits, since the transformation equations are simplified due to the division into several value ranges. The number of coefficients required depends on the type of approximation used. It is preferred if the characteristic curve sections are approximated by linear, quadratic or cubic equations.
Grundsätzlich können die wenigstens zwei Wertebereiche für alle Bildzellen identisch sein. Der zur Durchführung des Verfahrens erforderliche schaltungstechnische Aufbau wird dadurch sehr einfach, da nicht für jede Bildzelle ein oder mehrere eigene Schwellenwerte aus einem Speicher ausgelesen und einem Diskriminator zugeführt werden müssen.In principle, the at least two value ranges can be identical for all image cells. The circuitry structure required to carry out the method becomes very simple, since one or more individual threshold values for each image cell need not be read out from a memory and fed to a discriminator.
Vorzugsweise sind jedoch die wenigstens zwei Wertebereiche für mehrere Bildzellen unterschiedlich.However, the at least two value ranges are preferably different for a plurality of image cells.
Zwar erfordert dies zusätzlich das Abspeichern von Schwellenwerten für jede Bildzelle. Dieser Nachteil wird jedoch dadurch aufgewogen, daß eine weitere erhebliche Verbesserung der FPN- Korrektur erzielt wird. Dies hängt damit zusammen, daß sich die Kennlinie einer Bildzelle dann innerhalb der wenigstens zwei Wertebereiche gut durch einfache Näherungskennlinien annähern läßt, wenn der Übergang zwischen den Wertebereichen, d.h. der oder die Schwellenwerte, individuell an die Kennlinien angepaßt sind. Die Schwellenwerte für die Bildpunkte können dabei z.B. in einem Schwellenwertspeicher abgelegt sein. Ebenso ist es möglich, die Schwellenwerte aus gespeicherten Koeffizienten für die Transformationsgleichungen zu berechnen, so daß kein zusätzlicher Speicherbedarf für die Schwellenwerte vorzusehen ist. Einzelne Koeffizienten können gegebenenfalls auch unmittelbar als Schwellenwert verwendet werden.To be sure, this additionally requires storing threshold values for each picture cell. However, this disadvantage is offset by the fact that a further considerable improvement in the FPN correction is achieved. This is due to the fact that the characteristic curve of an image cell can be easily approximated within the at least two value ranges by simple approximation characteristic curves if the transition between the value ranges, ie the threshold value (s), are individually adapted to the characteristic curves. The threshold values for the pixels can be stored in a threshold value memory, for example. It is also possible to calculate the threshold values from stored coefficients for the transformation equations, so that there is no additional storage requirement for the threshold values. If necessary, individual coefficients can also be used directly as a threshold.
Je nach Art der Kennlinien kann es erforderlich sein, innerhalb der wenigstens zwei Wertebereiche die entsprechenden Kennlinienabschnitte durch unterschiedliche Näherungskennlinien anzunähern. Besonders bevorzugt ist es, wenn die gesamte Kennlinie eines Bildpunktes in den ersten zwei Helligkeitsdekaden, d.h. bei geringer Lichtintensität, mit einer parabelabschnitts- förmigen Näherungskennlinie und darüber hinaus mit einer geraden Kennlinie angenähert wird. In diesem Fall kommt man nämlich mit nur drei Korrekturkoeffizienten für jeden Bildpunkt aus . Zudem ergibt sich ein stetiger und "weicher" Übergang zwischen den Kennlinienabschnitten der einzelnen Wertebereiche.Depending on the type of characteristic curve, it may be necessary to approximate the corresponding characteristic curve sections within the at least two value ranges using different approximation characteristic curves. It is particularly preferred if the entire characteristic curve of a pixel in the first two brightness decades, i.e. with low light intensity, with a parabolic section-shaped approximation characteristic and moreover with a straight characteristic. In this case you only need three correction coefficients for each pixel. In addition, there is a steady and "soft" transition between the characteristic curve sections of the individual value ranges.
Vorteilhaft ist es, wenn die Korrektur für alle Bildzellen anhand von Transformationsgleichungen erfolgt, die sich nur durch unterschiedliche Koeffizienten unterscheiden.It is advantageous if the correction for all image cells is carried out using transformation equations which differ only by different coefficients.
Auf diese Weise lassen sich die Transformationen für alle Bildzellen mit Hilfe einer geeigneten Anordnung von Logikbausteinen durchführen, denen lediglich für jede Bildzelle unterschiedliche Koeffizienten zuzuführen sind.In this way, the transformations for all picture cells can be carried out with the aid of a suitable arrangement of logic modules, to which different coefficients are to be supplied only for each picture cell.
Bei einer vorteilhaften Ausgestaltung der Erfindung sind die Transformationsgleichungen durch eine Anordnung von' Logikbau- steinen, insbesondere von Addierern und Multiplizierern, festgelegt, denen die Koeffizienten aus einem Speicher zugeführt werden.In an advantageous embodiment of the invention, the transformation equations by an array of 'are Logikbau- stones, in particular from adders and multipliers, to which the coefficients are fed from a memory.
Ferner ist es bevorzugt, wenn für jede Bildzelle die Korrekturkoeffizienten aus einem Vergleich einer Ist-Kennlinie, die einen Zusammenhang zwischen einer auf die jeweilige Bildzelle auftreffenden optischen Intensität und dem erzeugten Bildsignal angibt, mit einer Soll-Kennlinie ermittelt sind.It is further preferred if the correction coefficients are determined for each image cell from a comparison of an actual characteristic curve, which indicates a relationship between an optical intensity impinging on the respective image cell and the image signal generated, with a target characteristic curve.
Die Soll-Kennlinie kann grundsätzlich willkürlich festgelegt sein. Die Festlegung sollte aber unter dem Gesichtspunkt erfolgen, daß sich im Hinblick auf die Näherungsgleichungen für die Ist-Kennlinien möglichst einfache Transformationsgleichungen innerhalb der Wertebereiche ergeben.The target characteristic curve can in principle be set arbitrarily. However, the definition should be made from the point of view that, with regard to the approximate equations for the actual characteristic curves, transformation equations are as simple as possible within the value ranges.
Bevorzugt ist es dabei, wenn die Soll-Kennlinie durch Bildung des Mittelwertes aus den Ist-Kennlinien der Bildzellen ermittelt wird.It is preferred if the target characteristic curve is determined by forming the mean value from the actual characteristic curves of the image cells.
Durch diese Festlegung der Soll-Kennlinie werden die an den einzelnen Bildsignalen vorzunehmenden Korrekturen insgesamt minimal .This determination of the target characteristic curve means that the corrections to be made to the individual image signals are minimal overall.
Bei bestimmten Bildsensoren, wie sie beispielsweise aus der EP 632 930 Bl bekannt sind, wird eine hohe Eingangssignaldynamik logarithmisch auf eine erheblich kleinere Ausgangssignaldynamik komprimiert. Jede Bildzelle dieser Bildsensoren erzeugt somit eine Ausgangsspannung, die dem Logarithmus der darauf auftreffenden optischen Intensität entspricht. Auf diese Weise läßt sich die extrem hohe Dynamik natürlicher Szenen, die in der Größenordnung von 120 dB liegt, signaltechnisch gut erfassen. Die logarithmische Komprimierung wird von elektronischen Bauelementen bewirkt, die Bestandteil jeder einzelnen Bildzelle sind. Es hat sich gezeigt, daß bei derartigen Bildsensoren mit Hilfe des neuen FPN-Korrekturverfahrens besonders gute Ergebnisse erzielbar sind. Die Kennlinien derartiger Bildzellen lassen sich nämlich gut in zwei Wertebereiche unterteilen, innerhalb derer sie jeweils annähernd linear zum Logarithmus der Helligkeitsinformation sind.With certain image sensors, such as are known for example from EP 632 930 B1, a high input signal dynamic range is logarithmically compressed to a considerably smaller output signal dynamic range. Each image cell of these image sensors thus generates an output voltage that corresponds to the logarithm of the optical intensity incident on it. In this way, the extremely high dynamics of natural scenes in the The order of magnitude is 120 dB. Logarithmic compression is effected by electronic components that are part of each individual image cell. It has been shown that particularly good results can be achieved with such image sensors with the aid of the new FPN correction method. The characteristic curves of such picture cells can namely be divided well into two value ranges, within which they are each approximately linear to the logarithm of the brightness information.
Es ist deswegen bevorzugt, daß bei annähernd logarithmischen Ist-Kennlinien der Bildzellen die wenigstens zwei Wertebereiche derart festgelegt werden, daß innerhalb der Wertebereiche die Ist-Kennlinien und die Soll-Kennlinie jeweils annähernd linear zum Logarithmus der optischen Intensität sind.It is therefore preferred that, in the case of approximately logarithmic actual characteristic curves of the image cells, the at least two value ranges are defined in such a way that the actual characteristic curves and the target characteristic curve are each approximately linear to the logarithm of the optical intensity within the value ranges.
Dabei ist es weiter bevorzugt, wenn für jede Bildzelle und für jeden der wenigstens zwei Wertebereiche der korrigierte Wert Vc für das Bildsignal aus einem von der Bildzelle erzeugten tatsächlichen Wert Vr nach einer Transformationsgleichung der FormIt is further preferred if, for each image cell and for each of the at least two value ranges, the corrected value V c for the image signal from an actual value V r generated by the image cell according to a transformation equation of the form
V„ = a • V + bV "= a • V + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist-Kennlinie mit der Soll-Kennlinie ermittelte Korrekturkoeffizienten der Transformationsgleichung sind.is determined, where a and b are correction coefficients of the transformation equation determined from a comparison of the actual characteristic curve with the target characteristic curve.
Eine derartige lineare Transformationsgleichung ergibt sich, wenn die einzelnen Kennlinienabschnitte durch Geraden angenähert werden. Schaltungstechnisch läßt sich eine derartige lineare Transformationsgleichung durch eine einfache Reihenschal- tung aus einem Multiplizierer und einem Addierer umsetzen, wobei es auf die Reihenfolge dieser beiden Logikbausteine im Prinzip nicht ankommt.Such a linear transformation equation results if the individual characteristic curve sections are approximated by straight lines. In terms of circuitry, such a linear transformation equation can be achieved by a simple series connection. implement from a multiplier and an adder, whereby the order of these two logic modules is in principle irrelevant.
In Weiterbildung dieser Ausgestaltung gilt für die Korrekturkoeffizienten a und bIn a further development of this embodiment, the correction coefficients a and b apply
= — und b = b, - a„ a.= - and b = b, - a „a.
wenn in dem entsprechenden Wertebereich die Soll-Kennlinie durch die Gleichungif in the corresponding value range the target characteristic curve is given by the equation
V. = a_ • log E + bj. V. = a_ • log E + b j.
und die Ist-Kennlinie durch die Gleichungand the actual characteristic curve through the equation
Vr = ar • log E + br V r = a r • log E + b r
angenähert wird, wobei E ein Maß für die auf die betreffende Bildzelle auftreffende optische Intensität ist.is approximated, where E is a measure of the optical intensity impinging on the relevant image cell.
In jedem Wertebereich werden somit die bezüglich des Logarithmus der Helligkeitsinformation linearen Bildsignale der einzelnen Bildzellen durch lineare Näherungsgleichungen beschrieben, deren Koeffizienten durch die angegebene Beziehung die Koeffizienten der Transformationsgleichung ergeben. Diese Koeffizienten werden in einem Speicher gespeichert und jedesmal abgerufen, wenn das Bildsignal der betreffenden Bildzelle innerhalb des zugeordneten Wertebereichs liegt. Vorzugsweise werden die Koeffizienten ar und br durch die Methode der kleinsten Abweichungsquadrate aus Ist-Kennlinien der Bildzellen ermittelt.The image signals of the individual image cells, which are linear with respect to the logarithm of the brightness information, are thus described in each value range by linear approximation equations, the coefficients of which result from the relationship given the coefficients of the transformation equation. These coefficients are stored in a memory and are called up each time the image signal of the relevant image cell lies within the assigned value range. The coefficients a r and b r are preferably determined by the method of the smallest squares of deviation from actual characteristic curves of the image cells.
Da bei der werkseitigen Aufnahme der Ist-Kennlinien nur einzelne Meßpunkte zur Verfügung stehen, bietet diese Methode einen besonders einfachen und genauen Weg, um die Koeffizienten der linearen Näherungsgleichungen zu ermitteln.Since only individual measuring points are available when the actual characteristic curves are recorded at the factory, this method offers a particularly simple and precise way of determining the coefficients of the linear approximation equations.
Vorzugsweise werden die Koeffizienten a_ und b_ durch Mittelwertbildung aus den Koeffizienten ar und br über alle Bildzellen bestimmt.The coefficients a_ and b_ are preferably determined by averaging the coefficients a r and b r over all image cells.
Dadurch kann auf besonders einfache Weise in den einzelnen Wertebereichen eine Näherungsgleichung für die Soll-Kennlinie ermittelt werden.As a result, an approximation equation for the target characteristic curve can be determined in a particularly simple manner in the individual value ranges.
Weitere Vorteile und Merkmale der Erfindung ergeben sich aus der Beschreibung der nachfolgenden Ausführungsbeispiele anhand der Zeichnung. Darin zeigen:Further advantages and features of the invention result from the description of the following exemplary embodiments with reference to the drawing. In it show:
Fig. 1 eine stark schematisierte Darstellung einer erfindungsgemäßen digitalen Kamera mit einem darin eingebauten Bildsensor;1 shows a highly schematic representation of a digital camera according to the invention with an image sensor installed therein;
Fig. 2 ein Prinzipschaltbild einer Elektronikeinheit zur Weiterverarbeitung von Bildsignalen, die von dem in Fig. 1 dargestellten Bildsensor erzeugt werden;FIG. 2 shows a basic circuit diagram of an electronic unit for further processing of image signals that are generated by the image sensor shown in FIG. 1;
Fig. 3 die Darstellung einer Kennlinie einer einzelnen logarithmisch komprimierenden Bildzelle, bei der eine Ausgangsspannung über einer auf die Bildzelle auftreffenden optischen Intensität aufgetragen ist;Fig. 3 shows a characteristic curve of a single logarithmically compressing image cell in which an output voltage is plotted against an optical intensity impinging on the image cell;
Fig. 4 eine Darstellung der Kennlinien mehrerer Bildzellen eines Bildsensors;4 shows the characteristic curves of a plurality of image cells of an image sensor;
Fig. 5 eine Darstellung der Verteilung von AusgangsSpannungen, die für zwei unterschiedliche Helligkeitswerte von mehreren Bildzellen erzeugt werden;5 shows a representation of the distribution of output voltages which are generated for two different brightness values by a plurality of image cells;
Fig. 6 eine der Fig. 4 entsprechende Darstellung mehrerer Kennlinien, in der zusätzlich eine Soll-Kennlinie eingetragen ist;6 shows a representation of several characteristic curves corresponding to FIG. 4, in which a target characteristic curve is additionally entered;
Fig. 7 eine Darstellung einer Soll-Kennlinie und einer Ist- Kennlinie in einer Darstellung wie in Fig. 6, in der zusätzliche Näherungsgeraden für einzelne Wertebereiche gezeigt sind;7 shows a representation of a target characteristic curve and an actual characteristic curve in a representation as in FIG. 6, in which additional approximation lines are shown for individual value ranges;
Fig. 8 eine Darstellung einer Ist-Kennlinie mit einer Unterteilung in drei Wertebereiche;8 shows an actual characteristic curve with a division into three value ranges;
Fig. 9 eine der Fig. 5 entsprechende Darstellung der Verteilung der Ausgangsspannungen, die der erfindungsgemäßen FPN-Korrektur unterworfen worden sind;FIG. 9 shows a representation corresponding to FIG. 5 of the distribution of the output voltages which have been subjected to the FPN correction according to the invention;
Fig. lOa-lOf Ausführungsbeispiele für eine erfindungsgemäße Vorrichtung zur FPN-Korrektur in schematischer Darstellung. Fig. 1 zeigt in einer stark vereinfachten schematischen Darstellung eine Digitalkamera 10, bei der es sich um eine Fotooder auch um eine Filmkamera handeln kann. Die Digitalkamera 10 weist einen elektronischen Bildsensor 12 auf, auf dessen lichtempfindlicher Oberfläche ein Motiv 14 mit Hilfe eines hier nur angedeuteten Linsensystems 16 abgebildet wird. In einer Elektronikeinheit 18 werden die von dem Bildsensor 12 aufgenommenen Bilder digital weiterverarbeitet, so daß sie schließlich über einen Kameraausgang 20 ausgelesen werden können. Der Elektronikeinheit 18 kann ein - in Fig. 1 nicht dargestellter - Bildspeicher zugeordnet sein, in dem die aufbereiteten Bilder gespeichert werden können. Außerdem ist es möglich, nur einen Teil der Elektronikeinheit 18 innerhalb der Digitalkamera 10 anzuordnen. Die übrigen Teile sind dann außerhalb der Digitalkamera 10 z.B. als eine auf einem Personalcomputer ausführbare Software realisiert.Fig. 10a-10f exemplary embodiments of an inventive device for FPN correction in a schematic representation. 1 shows a highly simplified schematic illustration of a digital camera 10, which can be a photo or a film camera. The digital camera 10 has an electronic image sensor 12, on the light-sensitive surface of which a motif 14 is imaged with the aid of a lens system 16 only indicated here. The images recorded by the image sensor 12 are digitally processed in an electronic unit 18 so that they can finally be read out via a camera output 20. The electronics unit 18 can be assigned an image memory (not shown in FIG. 1) in which the processed images can be stored. It is also possible to arrange only a part of the electronics unit 18 within the digital camera 10. The remaining parts are then implemented outside the digital camera 10, for example as software that can be executed on a personal computer.
In Fig. 2 sind der Bildsensor 12 sowie die Elektronikeinheit 18 mit weiteren Einzelheiten dargestellt. Der Bildsensor 12 weist eine regelmäßige Anordnung von Bildpunkten auf, die in an sich bekannter Weise aus jeweils drei lichtempfindlichen Bildzellen 22 bestehen. Jede Bildzelle 22 eines Bildpunktes wird von unterschiedlichen Farbfiltern abgedeckt, so daß die von der jeweiligen Bildzelle erzeugte Ausgangsspannung eine Funktion der Intensität des Lichtes derjenigen Spektralfarbe ist, die durch das betreffende Filter hindurchtreten kann. Bei nur für Schwarz-Weiß-Aufnahmen geeigneten Bildsensoren bestehen die Bildpunkte jeweils aus nur einer einzigen Bildzelle. Die im Bildsensor 12 verwendeten Bildzellen 22 sind als Schaltungen von Halbleiterbauelementen realisiert, die im dargestellten Ausführungsbeispiel eine Ausgangsspannung erzeugen, die annähernd dem Logarithmus der darauf auftreffenden optischen Inten- sität entspricht. Die Bildzellen 22 erzeugen deswegen logarithmisch komprimierte Bildsignale. Einzelheiten zum Aufbau derartiger Bildzellen 22 sind der zuvor bereits erwähnten EP 632 930 Bl entneh bar.2, the image sensor 12 and the electronics unit 18 are shown with further details. The image sensor 12 has a regular arrangement of pixels, each of which consists of three light-sensitive image cells 22 in a manner known per se. Each image cell 22 of a pixel is covered by different color filters, so that the output voltage generated by the respective image cell is a function of the intensity of the light of the spectral color that can pass through the filter in question. In the case of image sensors which are only suitable for black-and-white recordings, the image points each consist of only a single image cell. The image cells 22 used in the image sensor 12 are implemented as circuits of semiconductor components which, in the exemplary embodiment shown, generate an output voltage which approximately corresponds to the logarithm of the optical intensities incident thereon. corresponds to. The image cells 22 therefore generate logarithmically compressed image signals. Details of the structure of such picture cells 22 can be found in the aforementioned EP 632 930 B1.
Die von den Bildzellen 22 erzeugten Bildsignale werden zeilen- und spaltenweise ausgelesen und in einem Auslesemultiplexer 24 zu einem Gesamtsignal zusammengestellt. Das Gesamtsignal enthält somit in zeitlicher Abfolge die den einzelnen Bildzellen 22 zugeordneten Bildsignale. Im folgenden beziehen sich deswegen Ausführungen zu Bildsignalen immer auf das Bildsignal, das von einer ganz bestimmten Bildzelle 22 im Bildsensor 12 erzeugt wird.The image signals generated by the image cells 22 are read out row by row and column-wise and are combined in a read-out multiplexer 24 to form an overall signal. The overall signal thus contains the image signals assigned to the individual image cells 22 in chronological order. In the following, explanations of image signals therefore always refer to the image signal that is generated by a very specific image cell 22 in the image sensor 12.
Die Bildsignale werden in einem Analog/Digital-Wandler 25, der auch auf dem Bildsensor 12 selbst angeordnet sein kann, digitalisiert und anschließend in einer FPN-Korrektureinheit 26 derart korrigiert, daß die durch das FPN hervorgerufenen Verfälschungen des aufgenommenen Bildes weitgehend reduziert werden. Der Aufbau der FPN-Korrektureinheit 26 wird weiter unten noch anhand mehrerer Ausführungsbeispiele näher erläutert.The image signals are digitized in an analog / digital converter 25, which can also be arranged on the image sensor 12 itself, and then corrected in an FPN correction unit 26 such that the falsifications of the captured image caused by the FPN are largely reduced. The structure of the FPN correction unit 26 is explained in more detail below using several exemplary embodiments.
Das FPN-korrigierte Bildsignal wird anschließend in einer Verarbeitungsstufe 32 weiter aufbereitet, z.B. um die Helligkeit oder die Farbsättigung gezielt zu verändern und um eine γ- Korrektur durchzuführen.The FPN-corrected image signal is then further processed in a processing stage 32, e.g. to specifically change the brightness or color saturation and to carry out a γ correction.
Das derart aufbereitete Bildsignal kann schließlich über den Ausgang 20 ausgelesen und mit Hilfe eines Ausgabegerätes 34 in ein Bild zurückverwandelt werden. Fig. 3 zeigt eine Kennlinie 36 einer einzelnen Bildzelle 22 in einer Darstellung, bei der eine von der Bildzelle 22 erzeugte Ausgangsspannung V über einer auf die Bildzelle 22 auftreffenden Helligkeit E aufgetragen ist. In der gewählten halb- logarithmischen Darstellung, bei der die Abszisse logarithmisch unterteilt ist, ist erkennbar, daß die Kennlinie 36 einen ersten und einen zweiten Abschnitt 38 bzw. 40 aufweist, in dem die Ausgangsspannung V annähernd linear zum Logarithmus der Helligkeit E ist. Bei höheren Helligkeiten (erster Abschnitt 38) nimmt das Ausgangssignal V der Bildzelle 22 logarithmisch mit der Helligkeit E zu. Für sehr kleine Helligkeiten (zweiter Abschnitt 40) ist die Ausgangsspannung V der Bildzelle 22 annähernd unabhängig von der Helligkeit E. Dieser annähernd horizontale Abschnitt der Kennlinie 36 repräsentiert einen Dunkelstrom der Bildzelle 22, der im wesentlichen auf die in der Bildzelle enthaltene Fotodiode zurückgeht. Der Dunkelstrom entsteht dort unter anderem aufgrund thermischer Generation und Rekombination freier Ladungsträger über Störstellen, die in der Raumladungszone der Fotodiode vorhanden sind. Zwischen dem ersten Abschnitt 38 und dem zweiten Abschnitt 40 befindet sich ein Übergangsabschnitt 42, in dem die Kennlinie 36 gekrümmt ist.The image signal prepared in this way can finally be read out via the output 20 and converted back into an image using an output device 34. 3 shows a characteristic curve 36 of an individual image cell 22 in a representation in which an output voltage V generated by the image cell 22 is plotted against a brightness E impinging on the image cell 22. In the selected semi-logarithmic representation, in which the abscissa is divided logarithmically, it can be seen that the characteristic curve 36 has a first and a second section 38 and 40, in which the output voltage V is approximately linear to the logarithm of the brightness E. At higher brightnesses (first section 38), the output signal V of the image cell 22 increases logarithmically with the brightness E. For very small brightnesses (second section 40), the output voltage V of the image cell 22 is approximately independent of the brightness E. This approximately horizontal section of the characteristic curve 36 represents a dark current of the image cell 22, which is essentially due to the photodiode contained in the image cell. The dark current is generated there, among other things, due to thermal generation and recombination of free charge carriers via impurities that are present in the space charge zone of the photodiode. Between the first section 38 and the second section 40 there is a transition section 42 in which the characteristic curve 36 is curved.
Mathematisch läßt sich die in Fig. 3 gezeigte Kennlinie 36 einer Bildzelle 22 durch eine Gleichung der FormThe characteristic curve 36 of an image cell 22 shown in FIG. 3 can be mathematically represented by an equation of the form
V = k • log (αE + ID) + c (1)V = k • log (αE + I D ) + c (1)
darstellen. Dabei bezeichnet ID den Dunkelstrom, während die Größe c eine von der Temperatur und der Transistorgeometrie abhängige Größe ist. Der Faktor α gibt den Zusammenhang zwischen der von der Bildzelle 22 erzeugten Stromstärke und der Helligkeit E wieder.represent. I D denotes the dark current, while the quantity c is a quantity dependent on the temperature and the transistor geometry. The factor α gives the relationship between the current strength and the brightness E generated by the image cell 22 again.
Fig. 4 zeigt eine der Fig. 3 entsprechende Darstellung mehrerer Kennlinien 44, 46, 48, 50 und 52, die unterschiedlichen Bildzellen 22 des Bildsensors 12 zugeordnet sind. In dieser Darstellung ist erkennbar, daß sich die Kennlinien der einzelnen Bildzellen nicht nur hinsichtlich ihrer Dunkelströme, sondern auch hinsichtlich der Faktoren unterscheiden, die die Steigung der Kennlinien bei höheren Helligkeiten angeben. Aufgrund dieser relativ großen Unterschiede zwischen den einzelnen Kennlinien führt eine Addition oder Subtraktion konstanter Werte, wie dies bei dem herkömmlichen Weißabgleich der Fall ist, nicht zu weitgehend übereinstimmenden Kennlinien.FIG. 4 shows a representation corresponding to FIG. 3 of several characteristic curves 44, 46, 48, 50 and 52, which are assigned to different image cells 22 of the image sensor 12. It can be seen in this illustration that the characteristic curves of the individual image cells differ not only with regard to their dark currents, but also with regard to the factors which indicate the slope of the characteristic curves at higher brightnesses. Because of these relatively large differences between the individual characteristic curves, adding or subtracting constant values, as is the case with conventional white balance, does not result in largely identical characteristic curves.
In Fig. 5 ist für zwei feste Helligkeiten E_ und E2 die Verteilung (Anzahl N) der Ausgangsspannungen V angedeutet, wenn in Fig. 4 nicht nur fünf, sondern mehrere hunderttausend Kennlinien aufgetragen werden, die den einzelnen Bildzellen des Bildsensors 12 entsprechen. Die Streuungen der für die einzelnen Bildzellen gemessenen Ausgangsspannungen um die Mittelwerte V_ bzw. V2 herum sind ein Maß für die Stärke des FPN. Je breiter diese Verteilungskurven sind, desto stärker ist das FPN und desto körniger erscheint eine an sich homogene Fläche auf einem Bildschirm oder einem Ausdruck. Aus Fig. 5 geht außerdem hervor, daß der FPN-Effekt selbst von der Helligkeit abhängt.The distribution (number N) of the output voltages V is indicated in FIG. 5 for two fixed brightnesses E_ and E 2 if, in FIG. 4, not only five but several hundred thousand characteristic curves are plotted which correspond to the individual image cells of the image sensor 12. The scatter of the output voltages measured for the individual image cells around the mean values V_ or V 2 are a measure of the strength of the FPN. The wider these distribution curves, the stronger the FPN and the more granular a homogeneous surface appears on a screen or on a printout. 5 also shows that the FPN effect itself depends on the brightness.
In Fig. 6 ist für die fünf Kennlinien 44 bis 52 aus Fig. 4 eine Soll-Kennlinie 54 eingetragen, die durch Mittelung der tatsächlichen Ist-Kennlinien 44 bis 52 ermittelt ist. Die Mittelwerte V_ und V2 aus Fig. 5 liegen somit auf der Soll-Kennlinie 54. Das FPN würde vollständig verschwinden, wenn es gelänge, die tatsächlichen Kennlinien 44 bis 52 durch eine geeignete Transformation auf die Soll-Kennlinie 54 (oder eine anders willkürlich festgelegte Soll-Kennlinie) abzubilden. Eine Transformation der Gleichung ( 1 ) ist allerdings mathematisch sehr aufwendig und daher in Echtzeit nicht von einer FPN-Korrektureinheit zu bewältigen.A target characteristic curve 54 is entered in FIG. 6 for the five characteristic curves 44 to 52 from FIG. 4, which characteristic curve is determined by averaging the actual actual characteristic curves 44 to 52. The mean values V_ and V 2 from FIG. 5 are therefore on the target characteristic curve 54. The FPN would completely disappear if the actual characteristic curves 44 to 52 could be mapped to the desired characteristic curve 54 (or another arbitrarily defined desired characteristic curve) by means of a suitable transformation. A transformation of equation (1) is, however, mathematically very complex and therefore cannot be managed by an FPN correction unit in real time.
Zur Lösung dieses Problems wird nun, wie dies in Fig. 7 dargestellt ist, die Ordinate in einen ersten und einen zweiten Wertebereich 56 bzw. 58 unterteilt, indem ein geeigneter Schwellenwert Vth für die Ausgangsspannung festgelegt wird. In dem ersten Wertebereich 56 wird für die Ist-Kennlinie 52 der auf den Dunkelstrom zurückzuführende erste Abschnitt durch eine annähernd horizontale erste Näherungsgerade 60 angenähert. Im zweiten Wertebereich 58 wird die Kennlinie 52 durch eine zweite, nunmehr geneigte Näherungsgerade 62 angenähert. Der Schwellenwert Vth wird dabei so gewählt, daß die tatsächliche Kennlinie 52 insgesamt möglichst gut durch die beiden Näherungsgeraden 60 und 62 angenähert wird.To solve this problem, as shown in FIG. 7, the ordinate is divided into a first and a second value range 56 and 58, respectively, by determining a suitable threshold value V th for the output voltage. In the first value range 56, for the actual characteristic curve 52, the first section to be traced back to the dark current is approximated by an approximately horizontal first approximation line 60. In the second value range 58, the characteristic curve 52 is approximated by a second, now inclined approximation line 62. The threshold value V th is chosen so that the actual characteristic curve 52 is approximated as well as possible by the two approximation lines 60 and 62.
Für den zweiten Wertebereich 58 läßt sich die Näherungsgerade 62 durch eine Gleichung der FormFor the second value range 58, the approximation line 62 can be determined by an equation of the form
V = ar • log E + br ( 2 )V = a r • log E + b r (2)
beschreiben, wobei Vr eine Ausgangsspannung auf der tatsächlichen Kennlinie und ar und br die Koeffizienten der linearen Gleichung (2) darstellen. Die beiden Koeffizienten ar und br lassen sich in an sich bekannter Weise durch die Methode der kleinsten Abweichungsquadrate (Regressionsanalyse) ermitteln. Hierzu wird für jede Bildzelle einmalig beim Hersteller über den gesamten Helligkeitsbereich hinweg eine Vielzahl von Meßwerten aufgenommen, aus denen dann innerhalb des zweiten Wertebereichs 58 die beiden Koeffizienten ar und br nach der Methode der kleinsten Abweichungsquadrate ermittelt werden.describe, where V r is an output voltage on the actual characteristic curve and a r and b r are the coefficients of the linear equation (2). The two coefficients a r and b r can be determined in a manner known per se using the method of the least squares of deviation (regression analysis). For this purpose, a plurality of measurement values are recorded once for each image cell by the manufacturer over the entire brightness range, from which the two coefficients a r and b r are then determined within the second value range 58 using the method of the smallest squares of deviations.
Genauso wie die Koeffizienten der zweiten Näherungsgerade 62 werden auch die Koeffizienten der ersten Näherungsgerade 60 für alle Bildzellen des Bildsensors 12 bestimmt. Die Kennlinie einer jeden Bildzelle wird somit jeweils durch insgesamt vier Koeffizienten näherungsweise dargestellt.Just like the coefficients of the second approximation line 62, the coefficients of the first approximation line 60 are also determined for all image cells of the image sensor 12. The characteristic curve of each image cell is thus approximately represented by a total of four coefficients.
Um nun eine Transformation der tatsächlichen Bildsignale zu ermöglichen, wird zunächst eine Soll-Kennlinie 54 ermittelt. Dies kann beispielsweise dadurch geschehen, daß zunächst durch Mittelung der für jede Bildzelle bei einer bestimmten Helligkeit aufgenommenen Meßwerte ein Mittelwert für diese Helligkeit bestimmt wird. Durch diese Mittelwerte kann dann ebenfalls im Wege der Methode der kleinsten Abweichungsquadrate eine Näherung durch eine erste und eine zweite Soll-Näherungsgerade 64 bzw. 66 durchgeführt werden. Vorzugsweise werden jedoch aus dem für jede einzelne Bildzelle ermittelten Koeffizienten unmittelbar durch Mittelung die vier Koeffizienten der beiden Soll- Näherungsgeraden 64 und 66 bestimmt, d.h. es gilt z.B. für die zweite Näherungsgerade 66In order to enable a transformation of the actual image signals, a target characteristic curve 54 is first determined. This can be done, for example, by first determining an average for this brightness by averaging the measured values recorded for each image cell at a certain brightness. These mean values can then also be used to approximate a first and a second target approximation line 64 or 66 using the method of the least squares of deviation. However, the four coefficients of the two desired approximation lines 64 and 66 are preferably determined directly from the coefficient determined for each individual image cell, i.e. e.g. for the second approximation line 66
Vt = a_ • log E + bi (3) mitV t = a_ • log E + bi (3) With
i ~ _ 2-ι a kr "i ~ -1 °rk' ( 4 ) n k=ι n k=ιi ~ _ 2-ι a kr "i ~ -1 ° rk '(4) n k = ι n k = ι
wobei V± die Ausgangsspannung der Soll-Kennlinie 54, a_ und b± die Koeffizienten der zweiten Soll-Näherungsgeraden 66 und ark und brk die für jeden Bildpunkt aufgenommenen Meßwerte im zweiten Wertebereich 58 sind. Mit n ist die Anzahl der Bildzellen bezeichnet, für die Kennlinien aufgenommen sind. Entsprechende Gleichungen gelten ebenso für die erste Soll-Näherungsgerade 64 des ersten Wertebereichs 56.where V ± the output voltage of the nominal characteristic curve 54, a_ and b ± the coefficients of the second nominal approximation lines 66 and a rk and b rk are the measured values recorded for each pixel in the second value range 58. With n is the number of picture cells for which characteristic curves are recorded. Corresponding equations also apply to the first target approximation line 64 of the first value range 56.
Der Schwellenwert Vth, der die beiden Wertebereiche 56 und 58 voneinander trennt, ist vorzugsweise für jede der Bildzellen 22 unabhängig festlegbar. Ansonsten würden nämlich, wie sich anhand der Fig. 6 leicht erkennen läßt, die annähernd waagerechten Abschnitte der Kennlinien teilweise noch durch die Gleichungen für die geneigten Abschnitte angenähert und umgekehrt.The threshold value V th , which separates the two value ranges 56 and 58 from one another, can preferably be set independently for each of the image cells 22. Otherwise, as can easily be seen from FIG. 6, the approximately horizontal sections of the characteristic curves would in part still be approximated by the equations for the inclined sections and vice versa.
Eine weitere Verbesserung der Näherung kann dadurch erzielt werden, daß die Ordinate nicht in zwei, sondern in drei oder noch mehr Wertebereiche aufgeteilt wird. In Fig. 8 ist zwischen dem ersten Wertebereich 56 und dem zweiten Wertebereich 58 für die Kennlinie 52 ein dritter Wertebereich 67 eingefügt, der den Übergangsabschnitt 42 der Kennlinie 52 durch eine quadratische Funktion der FormA further improvement in the approximation can be achieved in that the ordinate is not divided into two, but into three or even more value ranges. In FIG. 8, a third value range 67 is inserted between the first value range 56 and the second value range 58 for the characteristic curve 52, which defines the transition section 42 of the characteristic curve 52 by a quadratic function of the shape
V. p (log E - E0)2 + pc (5) annähert, wobei p, E0 und p0 Koeffizienten der Parabelgleichung (5) sind. Pro Bildzelle sind dann allerdings nicht nur vier, sondern insgesamt sieben Koeffizienten in der FPN-Korrektureinheit 26 zu speichern.V. p (log E - E 0 ) 2 + p c (5) approximates, where p, E 0 and p 0 are coefficients of the parabola equation (5). However, not only four, but a total of seven coefficients are then to be stored in the FPN correction unit 26 per image cell.
In einem besonders bevorzugten Ausführungsbeispiel wird die gewünschte Sollkennlinie in einem ersten Wertebereich durch eine parabelabschnittsförmige Näherungskennlinie und in einem zweiten Wertebereich durch eine Gerade angenähert. Wenn der erste Wertebereich genau die ersten beiden Helligkeitsdekaden abdeckt, ergibt sich ein stetiger und besonders "weicher" Übergang zwischen den Kennlinienabschnitteή. Darüber hinaus läßt sich in diesem Fall die Zahl der erforderlichen Korrekturkoeffizienten auf insgesamt drei pro Bildzelle reduzieren und die Transformation der realen Werte der Bildpunkte auf die Näherungskennlinie ist einfach und in Echtzeit durch ührbar.In a particularly preferred exemplary embodiment, the desired target characteristic is approximated in a first value range by a parabolic section-shaped approximation characteristic and in a second value range by a straight line. If the first range of values exactly covers the first two decades of brightness, there is a steady and particularly "soft" transition between the characteristic curve sectionsή. In addition, in this case the number of correction coefficients required can be reduced to a total of three per image cell, and the transformation of the real values of the image points to the approximation characteristic can be carried out simply and in real time.
Durch Elimination des Terms log E aus den Gleichungen (2) und (3) läßt sich für das in Fig. 7 gezeigte Beispiel die lineare TransformationsgleichungThe linear transformation equation can be eliminated for the example shown in FIG. 7 by eliminating the term log E from equations (2) and (3)
V0 = a • Vr + b (6)V 0 = a • V r + b (6)
ableiten, wobei Vc die korrigierte Ausgangsspannung und a und b die Koeffizienten der Transformationsgleichung (6) bezeichnen. Die Koeffizienten a und b leiten sich aus den Koeffizienten ar, br, a_ und b_ der Näherungsgleichungen (2) und (3) durch die Beziehungderive, where V c designate the corrected output voltage and a and b the coefficients of the transformation equation (6). The coefficients a and b are derived from the coefficients a r , b r , a_ and b_ of the approximate equations (2) and (3) through the relationship
a = — und b = b, - — • b (7) her. Entsprechende Gleichungen (6) und (7) gelten auch für den ersten Wertebereich 56.a = - and b = b, - - • b (7) ago. Corresponding equations (6) and (7) also apply to the first value range 56.
Es sind somit für jede Bildzelle zwei Transformationsgleichungen (6) mit jeweils zwei Koeffizienten erforderlich, um tatsächliche Ausgangsspannungen Vr derart in korrigierte Spannungswerte Vc zu transformieren, daß bei einer gegebenen Helligkeit Ex für alle Bildzellen die korrigierten Ausgangsspannungen Vc annähernd übereinstimmen.There are thus required for each picture cell two transformation equations (6) each having two coefficients to actual output voltages V r in such a way to transform into corrected voltage values V c, that for a given brightness E x for all pixels, the corrected output voltages V c approximately match.
Es versteht sich, daß die vorstehend beschriebene FPN-Korrektur gegebenenfalls auch nur für einen Teil der Bildzellen eines Bildsensors durchgeführt werden kann.It goes without saying that the FPN correction described above can optionally also be carried out only for a part of the image cells of an image sensor.
Fig. 9 zeigt die Verteilung der korrigierten Ausgangsspannungen Vc für die beiden Helligkeiten Ex und E2. Wie aus einem Vergleich mit Fig. 5 deutlich wird, ist die Streuung der korrigierten AusgangsSpannungen um die Mittelwerte Vx bzw. V2 herum erheblich geringer als bei unkorrigierten Ausgangsspannungen V. Dementsprechend gering ist damit auch das FPN, so daß die Körnigkeit an sich homogener Flächen erheblich und unter Umständen bis unterhalb der Wahrnehmungsschwelle verringert wird.9 shows the distribution of the corrected output voltages V c for the two brightnesses E x and E 2 . As is clear from a comparison with FIG. 5, the scatter of the corrected output voltages around the mean values V x or V 2 is considerably less than with uncorrected output voltages V. The FPN is accordingly low, so that the granularity per se is more homogeneous Areas significantly and possibly reduced to below the perception threshold.
Fig. 10a zeigt in einer schematischen Darstellung ein erstes Ausführungsbeispiel 26a für den Aufbau einer FPN-Korrektureinheit 26. Das an einem Eingang 68a zugeführte Bildsignal einer bestimmten Bildzelle wird einem Diskriminator 70a zugeführt, der überprüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71a gespeicherten Schwellenwertes Vth liegt. Der Schwellenwert Vth ist bei diesem Ausführungsbeispiel für alle Bildzellen identisch. Das Ergebnis die- ser Überprüfung wird an einen Multiplexer 72a übergeben. Durch den Multiplexer 72a lassen sich Werte aus einem ersten Speicher 74a und einem zweiten Speicher 76a auslesen, denen jeweils die Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an dem Eingang 68a in digitaler Form anliegt. In dem ersten Speicher 74a sind Koeffizienten a_ und bx der Transformationsgleichung (6) für den ersten Wertebereich 56 aller Bildzellen des Bildsensors 12 gespeichert. In dem zweiten Speicher 76 sind Koeffizienten a2 und b2 der Transformationsgleichung (6) für den zweiten Wertebereich 58 gespeichert.10a shows a schematic illustration of a first exemplary embodiment 26a for the construction of an FPN correction unit 26. The image signal of a specific image cell supplied at an input 68a is fed to a discriminator 70a which checks whether the image signal is above or below that in a threshold value memory 71a stored threshold value V th . The threshold value V th is identical for all picture cells in this exemplary embodiment. The result of this This check is passed to a multiplexer 72a. The multiplexer 72a can be used to read out values from a first memory 74a and a second memory 76a, each of which can be supplied with the address of the image cell whose output voltage is currently applied to the input 68a in digital form. Coefficients a_ and b x of the transformation equation (6) for the first value range 56 of all image cells of the image sensor 12 are stored in the first memory 74a. Coefficients a 2 and b 2 of the transformation equation (6) for the second value range 58 are stored in the second memory 76.
Der Multiplexer 72a liest nun in Abhängigkeit des von dem Diskriminator 70a übergebenen Ergebnisses aus einem der beiden Speicher 74a oder 76a die Koeffizienten der zu dem ausgewählten Wertebereich gehörenden Transformationsgleichung aus. Die Koeffizienten a_ oder a2 werden einem Multiplizierer 78a zugeführt, in dem das am Eingang 68a anliegende Bildsignal mit dem zugeführten Faktor a_ oder a2 multipliziert wird. Die Koeffizienten b_ oder b2 werden in Abhängigkeit vom ausgewählten Wertebereich einem Addierer 80a zugeführt und zu dem im Multiplizierer 78a veränderten Bildsignal hinzugefügt. An einem Ausgang 82a der FPN-Korrektureinheit 26a kann das korrigierte Bildsignal abgegriffen werden.The multiplexer 72a now reads the coefficients of the transformation equation belonging to the selected value range from one of the two memories 74a or 76a depending on the result transferred by the discriminator 70a. The coefficients a_ or a 2 are fed to a multiplier 78a in which the image signal present at the input 68a is multiplied by the factor a_ or a 2 supplied. Depending on the selected value range, the coefficients b_ or b 2 are fed to an adder 80a and added to the image signal changed in the multiplier 78a. The corrected image signal can be tapped off at an output 82a of the FPN correction unit 26a.
Die beiden Speicher 74a und 76a sowie der Schwellenwertspeicher 71a können natürlich auch als getrennte Speicherbereiche in einem gemeinsamen Speicherelement realisiert sein.The two memories 74a and 76a and the threshold value memory 71a can of course also be implemented as separate memory areas in a common memory element.
Je nach der eingesetzten Chiptechnologie, der Zugriffszeit für die beiden Speicher 74a und 76a und der Auslesefrequenz kann es außerdem zweckmäßig sein, die FPN-Korrektureinheit 26a als Pipeline-Struktur zu realisieren, in deren Datenwege Register eingefügt sind.Depending on the chip technology used, the access time for the two memories 74a and 76a and the readout frequency, it may also be expedient to use the FPN correction unit 26a as To implement a pipeline structure in whose data paths registers are inserted.
Falls mehr als zwei Wertebereiche vorgesehen sind, so ist die Anzahl der vom Diskriminator 70a unterscheidbaren Wertebereiche durch Vorgabe weiterer Schwellenwerte entsprechend anzupassen. Außerdem sind zusätzliche Speicher vorzusehen, aus denen Koeffizienten vom Multiplexer 72a ausgelesen werden können. Falls die Transformationsgleichung (6) keine lineare Gleichung ist, sondern eine andere Form aufweist, so kann dem durch eine andere Anordnung der Logikbausteine (Multiplizierer 78a und Addierer 80a) Rechnung getragen werden.If more than two value ranges are provided, the number of value ranges distinguishable by the discriminator 70a must be adjusted accordingly by specifying further threshold values. Additional memories must also be provided, from which coefficients can be read out by multiplexer 72a. If the transformation equation (6) is not a linear equation but has a different form, this can be taken into account by a different arrangement of the logic modules (multiplier 78a and adder 80a).
Bei der in Fig. 10b dargestellten FPN-Korrektureinheit 26b ist nicht für alle Bildzellen ein gemeinsamer Schwellenwert Vth vorgesehen, wie dies bei der FPN-Korrektureinheit 26a aus Fig. 10a der Fall ist. Vielmehr ist dort für jede Bildzelle ein eigener Schwellenwert Vth in einem SchwellenwertSpeicher 71b gespeichert. Wie oben bereits erwähnt, wird dadurch die Genauigkeit der FPN-Korrektur erheblich verbessert. Der Schwellenwertspeicher 71b ist zu diesem Zweck mit einem Eingang 68b der FPN- Korrektureinheit 26b verbunden, so daß ihm die Adresse derjenigen Bildzelle zuführbar ist, deren Ausgangsspannung gerade an dem Eingang 68b anliegt.In the FPN correction unit 26b shown in FIG. 10b, a common threshold value V th is not provided for all image cells, as is the case with the FPN correction unit 26a from FIG. 10a. Rather, a separate threshold value V th is stored there for each picture cell in a threshold value memory 71b. As mentioned above, this significantly improves the accuracy of the FPN correction. For this purpose, the threshold value memory 71b is connected to an input 68b of the FPN correction unit 26b, so that it can be supplied with the address of the image cell whose output voltage is currently applied to the input 68b.
Die in Fig. 10b dargestellte FPN-Korrektureinheit 26b unterscheidet sich von der in Fig. 10a dargestellten FPN-Korrektureinheit 26a ferner dadurch, daß dort ein Addierer 80b und ein Multiplizierer 78b in umgekehrter Reihenfolge miteinander verschaltet sind. Auf diese Weise erfolgt keine Berechnung nach Gleichung (6), sondern nach einer Gleichung der Form vc = a'(Vr + b') (8)The FPN correction unit 26b shown in FIG. 10b also differs from the FPN correction unit 26a shown in FIG. 10a in that an adder 80b and a multiplier 78b are connected to one another in the reverse order. In this way, no calculation is made according to equation (6), but according to an equation of the form v c = a '(V r + b') (8)
wobei die Koeffizienten a' und b' aus a und b ableitbar sind.where the coefficients a 'and b' can be derived from a and b.
Bei der in Fig. 10c gezeigten FPN-Korrektureinheit 26c ist anstelle eines Schwellenwertspeichers eine Schwellenwertberechnungseinheit 84c vorgesehen, die unter Verwendung der aus Speichern 74c und 76c zugeführten Koeffizienten für jede Bildzelle unabhängig einen Schwellenwert ermittelt und einem Diskriminator 70c zur Verfügung stellt. Eine derartige Berechnung ist z.B. dann sinnvoll, wenn die Kosten für den für einen Schwellenwertspeicher vorzuhaltenden Speicherplatz höher sind als die Kosten für die Schwellenwertberechnungseinheit 84c.In the FPN correction unit 26c shown in FIG. 10c, instead of a threshold value memory, a threshold value calculation unit 84c is provided, which independently uses the coefficients supplied from memories 74c and 76c to determine a threshold value for each image cell and makes it available to a discriminator 70c. Such a calculation is e.g. then makes sense if the costs for the storage space to be reserved for a threshold value memory are higher than the costs for the threshold value calculation unit 84c.
Die in Fig. lOd gezeigte FPN-Korrektureinheit 26d unterscheidet sich von der in Fig. 10b gezeigten FPN-Korrektureinheit 26b dadurch, daß der Koeffizient aλ ' , der sich aus der Steigung der annähernd horizontalen (Soll-) äherungsgeraden 60 bzw. 64 errechnet, im ersten Wertebereich für alle Bildzellen gleich ist und deswegen nicht aus einem Speicher 74d, sondern aus einem Festwertspeicher 86d geladen wird, der gegebenenfalls auch in einem Multiplexer 72d enthalten oder durch eine schaltungstechnische Verdrahtung ersetzt sein kann. Außerdem wird als Schwellenwert der Koeffizient b_ ' einem Diskriminator 70d zugeführt, so daß hier ebenfalls ein Schwellenwertspeicher entfällt.The FPN correction unit 26d shown in FIG. 10d differs from the FPN correction unit 26b shown in FIG. 10b in that the coefficient a λ ', which is calculated from the slope of the approximately horizontal (target) approximation line 60 and 64, respectively , is the same in the first range of values for all picture cells and is therefore not loaded from a memory 74d, but rather from a read-only memory 86d, which may also be contained in a multiplexer 72d or may be replaced by circuitry wiring. In addition, the coefficient b_ 'is fed as a threshold value to a discriminator 70d, so that a threshold value memory is also omitted here.
Bei der in Fig. lOe gezeigten FPN-Korrektureinheit 26e erfolgt nicht zunächst eine Auswahl von Koeffizienten für die einzelnen Wertebereiche und eine anschließende Berechnung der Korrekturwerte Vc, wie dies bei den vorstehend beschriebenen Ausführungsbeispielen der Fall ist. Vielmehr werden bei der FPN- Korrektureinheit 26e parallel für beide Wertebereiche Korrekturwerte berechnet, die hinter den Addierern 78e abgreifbar sind. Aus den beiden berechneten Korrekturwerten wird dann in einem Multiplexer 2e ein Korrekturwert ausgewählt und einem Ausgang 82e zur Verfügung gestellt. Der Multiplexer 72e wird auch hier von einem Diskriminator 70e angesteuert, der überprüft, ob das Bildsignal oberhalb oder unterhalb des in einem Schwellenwertspeicher 71e gespeicherten Schwellenwertes Vth liegt.The FPN correction unit 26e shown in FIG. 10e does not first select coefficients for the individual value ranges and then calculate the correction values V c , as is the case with the exemplary embodiments described above. Rather, at FPN Correction unit 26e calculates correction values in parallel for both value ranges, which can be tapped behind the adders 78e. A correction value is then selected from the two calculated correction values in a multiplexer 2e and made available to an output 82e. The multiplexer 72e is also controlled here by a discriminator 70e, which checks whether the image signal is above or below the threshold value V th stored in a threshold value memory 71e.
Die in Fig. lOf gezeigte FPN-Korrektureinheit 26f unterscheidet sich von der vorstehend beschriebenen FPN-Korrektureinheit 26e lediglich dadurch, daß der Koeffizient a_ für alle Bildzellen gleich Null ist, was horizontalen (Soll-)Näherungsgeraden im ersten Wertebereich entspricht. Dadurch entfällt einer der bei der FPN-Korrektureinheit 26e nach Fig. lOe erforderlichen Multiplizierer. Selbstverständlich können auch bei den FPN- Korrektureinheiten 26e und 26f die Schwellenwerte auch aus den gespeicherten Koeffizienten ermittelt werden, wie dies weiter oben zu der FPN-Korrektureinheit 26c beschrieben wurde.The FPN correction unit 26f shown in FIG. 10f differs from the FPN correction unit 26e described above only in that the coefficient a_ is zero for all image cells, which corresponds to horizontal (target) approximation lines in the first value range. This eliminates one of the multipliers required in the FPN correction unit 26e according to FIG. 10e. Of course, the threshold values for the FPN correction units 26e and 26f can also be determined from the stored coefficients, as was described above for the FPN correction unit 26c.
Die einzelnen Komponenten der vorstehend beschriebenen FPN- Korrektureinheiten 26a bis 26f können aus digitalen oder auch aus analogen Bauelementen (Multiplizierern 78, Addierer 80 und Multiplexer 72) aufgebaut werden. Bei einem analogen Aufbau entfällt natürlich der eingangsseitige Analog/Digital-Wandler 25. Zusätzlich sind dann die in den Speichern 74 und 76 gespeicherten Koeffizienten mit Hilfe von Digital/Analog-Wandlern in Analogsignale umzuwandeln. The individual components of the FPN correction units 26a to 26f described above can be constructed from digital or also from analog components (multipliers 78, adders 80 and multiplexers 72). In the case of an analog design, the analog-to-digital converter 25 on the input side is of course omitted. In addition, the coefficients stored in the memories 74 and 76 must then be converted into analog signals with the aid of digital / analog converters.

Claims

Patentansprüche claims
1. Verfahren zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden, gekennzeichnet durch folgende Schritte, die vorzugsweise für das Bildsignal jeder Bildzelle (22) getrennt durchgeführt werden:1. A method for FPN correction of image signals which are generated by image cells (22) of an image sensor (12), characterized by the following steps, which are preferably carried out separately for the image signal of each image cell (22):
a) Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert (Vr) des Bildsignals zu einem vorgegebenen Zeitpunkt liegt; unda) determining in which of at least two value ranges (56, 58; 67) the value (V r ) of the image signal lies at a predetermined point in time; and
b) Bestimmen eines korrigierten Wertes (V0) für das Bildsignal in Abhängigkeit von dem Ergebnis nach Schritt a) .b) determining a corrected value (V 0 ) for the image signal as a function of the result after step a).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Bestimmung des korrigierten Wertes (Vc) nach Schritt b) die Schritte umfaßt:2. The method according to claim 1, characterized in that the determination of the corrected value (V c ) after step b) comprises the steps:
bl ) Auswählen von Korrekturkoeffizienten aus mehreren Sätzen von Korrekturkoeffizienten in Abhängigkeit von dem Ergebnis nach Schritt a); undbl) selecting correction coefficients from a plurality of sets of correction coefficients depending on the result after step a); and
b2) Berechnen des korrigierten Wertes (Vc) für das Bildsignal unter Verwendung der ausgewählten Korrekturkoeffizienten .b2) calculating the corrected value (V c ) for the image signal using the selected correction coefficients.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Sätze von Korrekturkoeffizienten für mehrere Bildzellen (22) unterschiedlich sind. 3. The method according to claim 2, characterized in that the sets of correction coefficients for several image cells (22) are different.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß für jeden Wertebereich (56, 58; 67) ein eigener Satz von Korrekturkoeffizienten verwendet wird.4. The method according to claim 2 or 3, characterized in that a separate set of correction coefficients is used for each value range (56, 58; 67).
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die wenigstens zwei Wertebereiche (56, 58; 67) für mehrere Bildzellen (22) unterschiedlich sind.5. The method according to any one of the preceding claims, characterized in that the at least two value ranges (56, 58; 67) for several image cells (22) are different.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Korrektur für alle Bildzellen (22) anhand von Transformationsgleichungen erfolgt, die sich nur durch unterschiedliche Korrekturkoeffizienten unterscheiden.6. The method according to any one of the preceding claims, characterized in that the correction for all image cells (22) is carried out using transformation equations which differ only by different correction coefficients.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Transformationsgleichungen durch eine Anordnung von Logikbausteinen, insbesondere von Addierern (80) und Multiplizierern (78), festgelegt sind, denen die Korrekturkoeffizienten aus einem Speicher zugeführt werden.7. The method according to claim 6, characterized in that the transformation equations are determined by an arrangement of logic modules, in particular adders (80) and multipliers (78), to which the correction coefficients are supplied from a memory.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß für jede Bildzelle (22) die Korrekturkoeffizienten aus einem Vergleich einer Ist-Kennlinie (44, 46, 48, 50, 52), die einen Zusammenhang zwischen einer auf die jeweilige Bildzelle (22) auftreffenden optischen Intensität und dem erzeugten Bildsignal angibt, mit einer Soll-Kennlinie (54) ermittelt sind.8. The method according to any one of the preceding claims, characterized in that for each image cell (22), the correction coefficients from a comparison of an actual characteristic curve (44, 46, 48, 50, 52), the relationship between one on the respective image cell ( 22) impinging optical intensity and the image signal generated, are determined with a target characteristic curve (54).
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die Soll-Kennlinie (54) durch Bildung des Mittelwertes aus den Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen (22) ermittelt wird.9. The method according to claim 8, characterized in that the target characteristic curve (54) by forming the mean value from the Actual characteristics (44, 46, 48, 50, 52) of the image cells (22) is determined.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, daß bei annähernd logarithmischen Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen die wenigstens zwei Wertebereiche (56, 58; 67) derart festgelegt werden, daß innerhalb der Wertebereiche (56, 58; 67) die Ist-Kennlinien (44, 46, 48, 50, 52) und die Soll-Kennlinie (54) jeweils annähernd linear zum Logarithmus der optischen Intensität sind.10. The method according to claim 8 or 9, characterized in that at approximately logarithmic actual characteristics (44, 46, 48, 50, 52) of the image cells, the at least two value ranges (56, 58; 67) are set such that within the Value ranges (56, 58; 67), the actual characteristic curves (44, 46, 48, 50, 52) and the target characteristic curve (54) are each approximately linear to the logarithm of the optical intensity.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß für jede Bildzelle (22) und für jeden der wenigstens zwei Wertebereiche (56, 58; 67) der korrigierte Wert (Vc) für das Bildsignal aus einem von der Bildzelle (22) erzeugten tatsächlichen Wert (Vr) nach einer Transformationsgleichung der Form11. The method according to claim 10, characterized in that for each image cell (22) and for each of the at least two value ranges (56, 58; 67) the corrected value (V c ) for the image signal from one of the image cell (22) generated actual value (V r ) according to a transformation equation of the form
c = V. + b c = V. + b
ermittelt wird, wobei a und b aus einem Vergleich der Ist- Kennlinie (44, 46, 48, 50, 52) mit der Soll-Kennlinie (54) ermittelte Korrekturkoeffizienten der Transformationsgleichung sind.is determined, with a and b being correction coefficients of the transformation equation determined from a comparison of the actual characteristic curve (44, 46, 48, 50, 52) with the target characteristic curve (54).
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß für die Korrekturkoeffizienten a und b12. The method according to claim 11, characterized in that for the correction coefficients a and b
a =-^ und b = b. -—b∑ ar ar gilt, wenn in dem entsprechenden Wertebereich (56, 58; 67) die Soll-Kennlinie (54) durch die Gleichunga = - ^ and b = b. -— b ∑ a r a r applies if in the corresponding value range (56, 58; 67) the target characteristic curve (54) is given by the equation
V± = a. • log E + b± V ± = a. • log E + b ±
und die Ist-Kennlinie (44, 46, 48, 50, 52) durch die Gleichungand the actual characteristic curve (44, 46, 48, 50, 52) by the equation
Vr = ar • log E + br V r = a r • log E + b r
angenähert wird, wobei E ein Maß für die auf die betreffende Bildzelle (22) auf reffende optische Intensität ist.is approximated, E being a measure of the optical intensity reflecting on the relevant image cell (22).
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Koeffizienten ar und br durch die Methode der kleinsten Abweichungsquadrate aus Ist-Kennlinien (44, 46, 48, 50, 52) der Bildzellen (22) ermittelt werden.13. The method according to claim 12, characterized in that the coefficients a r and b r are determined by the method of least squares from the actual characteristics (44, 46, 48, 50, 52) of the image cells (22).
14. Verfahren nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, daß die Koeffizienten a_ und b± durch Mittelwertbildung aus den Koeffizienten a_ und br über alle Bildzellen (22) ermittelt werden.14. The method according to any one of claims 12 or 13, characterized in that the coefficients a_ and b ± are determined by averaging from the coefficients a_ and b r over all image cells (22).
15. Verfahren nach einem der Ansprüche 2 bis 14, dadurch gekennzeichnet, daß die Korrekturkoeffizienten den Wert (Vr) des Bildsignals auf eine festgelegte Näherungskennlinie (64, 66) transformieren.15. The method according to any one of claims 2 to 14, characterized in that the correction coefficients transform the value (V r ) of the image signal to a fixed approximation characteristic (64, 66).
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß die festgelegte Näherungskennlinie (64, 66) für zumindest einen Wertebereich (56, 58) eine Gerade ist. 16. The method according to claim 15, characterized in that the defined approximation characteristic (64, 66) for at least one value range (56, 58) is a straight line.
17. Verfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, daß die festgelegte Näherungskennlinie für zumindest einen Wertebereich (42) ein Parabelabschnitt ist.17. The method according to claim 15 or 16, characterized in that the defined approximation characteristic for at least one value range (42) is a parabola section.
18. Verfahren nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, daß die festgelegte Näherungskennlinie für einen ersten Wertebereich (56) ein Parabelabschnitt und für einen zweiten Wertebereich (58) eine Gerade ist, wobei der erste Wertebereich zwei Helligkeitsdekaden abdeckt.18. The method according to any one of claims 15 to 17, characterized in that the defined approximation characteristic for a first range of values (56) is a parabola section and for a second range of values (58) is a straight line, the first range of values covering two brightness decades.
19. Vorrichtung zur FPN-Korrektur von Bildsignalen, die von Bildzellen (22) eines Bildsensors (12) erzeugt werden, gekennzeichnet durch:19. Device for FPN correction of image signals generated by image cells (22) of an image sensor (12), characterized by:
a) einen Diskriminator (70) zum Ermitteln, in welchem von wenigstens zwei Wertebereichen (56, 58; 67) der Wert (Vr) eines Bildsignals einer Bildzelle (22) zu einem vorgegebenen Zeitpunkt liegt,a) a discriminator (70) for determining in which of at least two value ranges (56, 58; 67) the value (V r ) of an image signal of an image cell (22) lies at a predetermined time,
b) eine Auswahleinrichtung (72, 74, 76, 78, 80) zur Bestimmung eines korrigierten Wertes (Vc) für das Bildsignal in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis.b) a selection device (72, 74, 76, 78, 80) for determining a corrected value (V c ) for the image signal as a function of the result determined by the discriminator (70).
20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, daß die Auswahleinrichtung aufweist:20. The apparatus according to claim 19, characterized in that the selection device comprises:
a) Mittel (72) zum Auswählen von Korrekturkoeffizienten aus mehreren Sätzen von Korrekturkoeffizienten in Abhängigkeit von dem von dem Diskriminator (70) ermittelten Ergebnis, und b) eine Transformationseinheit (74, 76, 78, 80) zum Berechnen des korrigierten Wertes (Vc) für das Bildsignal unter Verwendung der ausgewählten Korrekturkoeffizienten.a) means (72) for selecting correction coefficients from a plurality of sets of correction coefficients depending on the result determined by the discriminator (70), and b) a transformation unit (74, 76, 78, 80) for calculating the corrected value (V c ) for the image signal using the selected correction coefficients.
21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die Transformationseinheit eine Anordnung von Logikbausteinen, insbesondere von Addierern (78) und Multiplizierern (80), und einen Speicher (74, 76) umfaßt, in dem den Logikbausteinen zuführbare Korrekturkoeffizienten gespeichert sind.21. The apparatus according to claim 20, characterized in that the transformation unit comprises an arrangement of logic modules, in particular adders (78) and multipliers (80), and a memory (74, 76) in which correction coefficients that can be supplied to the logic modules are stored.
22. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß die Transformationseinheit eine Reihenschaltung aus einem Multiplizierer (78) und einem Addierer (80) aufweist.22. The apparatus according to claim 21, characterized in that the transformation unit has a series connection of a multiplier (78) and an adder (80).
23. Vorrichtung nach einem der Ansprüche 21 oder 22, dadurch gekennzeichnet, daß die Zuführung der Korrekturkoeffizienten von dem Speicher (74, 76) an die Logikbausteine (78, 80) von den Mitteln (72) zum Auswählen der Korrekturkoeffizienten steuerbar ist.23. Device according to one of claims 21 or 22, characterized in that the supply of the correction coefficients from the memory (74, 76) to the logic modules (78, 80) by the means (72) for selecting the correction coefficients is controllable.
24. Vorrichtung nach einem der Ansprüche 21 bis 23, dadurch gekennzeichnet, daß dem Speicher (74, 76) Angaben zu der ausgelesenen Bildzelle (22) zuführbar sind.24. The device according to one of claims 21 to 23, characterized in that the memory (74, 76) information about the image cell (22) read out can be supplied.
25. Vorrichtung nach einem der Ansprüche 19 bis 24, dadurch gekennzeichnet, daß der Diskriminator (70) mit einem Schwellenwertspeicher (71) verbunden ist, in dem wenigstens für mehrere Bildzellen (22) unterschiedliche Schwellenwerte speicherbar sind. 25. Device according to one of claims 19 to 24, characterized in that the discriminator (70) is connected to a threshold value memory (71) in which different threshold values can be stored at least for a plurality of image cells (22).
26. Vorrichtung nach einem der Ansprüche 19 bis 25, dadurch gekennzeichnet, daß der Diskriminator (70c) mit einer Schwellenwertberechnungseinheit (84c) verbunden ist, in der für wenigstens mehrere Bildzellen (22) aus von dem Speicher (74c, 76c) zugeführten Korrekturkoeffizienten Schwellenwerte berechenbar sind.26. Device according to one of claims 19 to 25, characterized in that the discriminator (70c) is connected to a threshold value calculation unit (84c) in which for at least several picture cells (22) from correction coefficients supplied by the memory (74c, 76c) threshold values are predictable.
27. Digitale Kamera, insbesondere Photo- oder Filmkamera (10), mit einem mehrere Bildzellen (22) aufweisenden Bildsensor (12) und einer Vorrichtung (26) zur FPN-Korrektur nach einem der Ansprüche 19 bis 26. 27. Digital camera, in particular photo or film camera (10), with an image sensor (12) having a plurality of image cells (22) and a device (26) for FPN correction according to one of Claims 19 to 26.
EP02722269A 2001-04-03 2002-03-26 Method and device for fpn correction of image signals Withdrawn EP1374565A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10117833 2001-04-03
DE10117833A DE10117833C1 (en) 2001-04-03 2001-04-03 Fixed pattern noise correction method for image sensor signals selects transformation equation for calculation of correction value dependent on identified value range of image signal
PCT/EP2002/003356 WO2002082804A1 (en) 2001-04-03 2002-03-26 Method and device for fpn correction of image signals

Publications (1)

Publication Number Publication Date
EP1374565A1 true EP1374565A1 (en) 2004-01-02

Family

ID=7681057

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02722269A Withdrawn EP1374565A1 (en) 2001-04-03 2002-03-26 Method and device for fpn correction of image signals

Country Status (5)

Country Link
US (1) US7420599B2 (en)
EP (1) EP1374565A1 (en)
JP (1) JP2005509319A (en)
DE (1) DE10117833C1 (en)
WO (1) WO2002082804A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10239994B4 (en) * 2002-08-27 2006-12-14 Robert Bosch Gmbh Method for correcting irregularities of an image sensor system
JPWO2006098374A1 (en) * 2005-03-15 2008-08-28 オムロン株式会社 Imaging apparatus, signal processing apparatus, and signal processing method
JP5588729B2 (en) * 2010-04-28 2014-09-10 日立コンシューマエレクトロニクス株式会社 Image signal processing device
WO2013128817A1 (en) * 2012-02-28 2013-09-06 コニカミノルタ株式会社 Solid-state image capture device
KR102182870B1 (en) 2014-04-08 2020-11-25 삼성전자주식회사 Linear-logarithmic image sensor and electronic device including the same

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2149605B (en) * 1983-11-04 1987-06-10 Marconi Avionics Image processing
JPS61144174A (en) 1984-12-17 1986-07-01 Fujitsu Ltd Solid state image pick-up device
JPH02107074A (en) * 1988-10-17 1990-04-19 Mitsubishi Electric Corp Infrared image pickup device
JPH02215286A (en) 1989-02-15 1990-08-28 Fujitsu Ltd Offset and sensitivity correcting circuit for p-n junction type infrared ray multielement detector
JPH04355576A (en) 1991-06-03 1992-12-09 Nec Corp Sensitivity correction method for image pickup device
JPH05167848A (en) 1991-12-11 1993-07-02 Minolta Camera Co Ltd Solid-state image pickup device
US5289286A (en) * 1991-07-18 1994-02-22 Minolta Camera Kabushiki Kaisha Solid state sensor having logarithmic photovoltaic response, with pixel uniformity correction and white balance circuitry therefor
JPH05137073A (en) * 1991-11-11 1993-06-01 Canon Inc Fixed pattern correction device for solid-state image pickup element
DE4209536C3 (en) 1992-03-24 2000-10-05 Stuttgart Mikroelektronik Image cell for an image sensor chip
DE4305251C1 (en) * 1993-02-20 1994-05-05 Eltro Gmbh Reducing signal response non-uniformity reduction system for thermal imaging detector - using stored differences between reference output voltages from each detector element for reference radiation values
JPH06350930A (en) 1993-06-11 1994-12-22 Nec Corp Dark state output correction device for image sensor
JPH0965214A (en) 1995-08-25 1997-03-07 Fujitsu Ltd Method and device for correcting characteristic of light receiving element, and image pickup device having the same
JPH1062305A (en) 1996-08-19 1998-03-06 Advantest Corp Sensitivity correcting method of ccd camera, and lcd panel display test system with ccd camera sensitivity correcting function
US6320616B1 (en) * 1997-06-02 2001-11-20 Sarnoff Corporation CMOS image sensor with reduced fixed pattern noise
US5969758A (en) * 1997-06-02 1999-10-19 Sarnoff Corporation DC offset and gain correction for CMOS image sensor
US6798452B1 (en) * 1997-07-28 2004-09-28 Matsushita Electric Industrial Co., Ltd. Amplifying solid-state imaging device, method for driving the same and physical quantity distribution sensing semiconductor device
JP3226859B2 (en) * 1997-11-17 2001-11-05 日本電気株式会社 Imaging device
JPH11298799A (en) 1998-04-15 1999-10-29 Honda Motor Co Ltd Optical sensor signal processor
KR100420282B1 (en) * 1998-09-30 2004-03-02 인피네온 테크놀로지스 아게 Method and device for the exposure-dependent noise correction in image sensors which can be addressed in lines and columns
JP2000138867A (en) 1998-11-02 2000-05-16 Yokogawa Electric Corp Solid-state image pickup element
JP2000175108A (en) 1998-12-04 2000-06-23 Honda Motor Co Ltd Output correction circuit for image sensor
JP2000244824A (en) 1998-12-24 2000-09-08 Fuji Photo Film Co Ltd Pixel signal correcting method, its device and solid-state detector to be used for the same
JP2001094884A (en) 1999-09-21 2001-04-06 Fuji Photo Film Co Ltd Method and device for correcting detection signal
JP3578037B2 (en) 2000-03-01 2004-10-20 日本電気株式会社 Semiconductor device and control method thereof
JP2002118791A (en) 2000-10-05 2002-04-19 Honda Motor Co Ltd Image sensor
JP4616527B2 (en) 2000-12-28 2011-01-19 本田技研工業株式会社 Image sensor output correction device
JP2002314887A (en) 2001-02-08 2002-10-25 Honda Motor Co Ltd Device for correcting output of image sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02082804A1 *

Also Published As

Publication number Publication date
WO2002082804A1 (en) 2002-10-17
US20040100568A1 (en) 2004-05-27
DE10117833C1 (en) 2002-09-12
JP2005509319A (en) 2005-04-07
US7420599B2 (en) 2008-09-02

Similar Documents

Publication Publication Date Title
DE112008001990B4 (en) Exposure control for an imaging system
DE2848376C2 (en) Device for post-correction of standard color corrections in color image recording
DE2813519C2 (en) Interpolation method for color signals
DE3535753C1 (en) Signal processor
DE4119489C2 (en) Multispectral color image acquisition system
EP0029569B1 (en) Method and device for correcting spatial distortion in a scintillation camera
DE3732435C3 (en) Method and device for determining corresponding areas in several images
DE112016001040T5 (en) Method and system for real-time noise removal and image enhancement of high dynamic range images
DE60037852T2 (en) Apparatus and method for calibrating the resolution of X-ray images
DE3734957A1 (en) LOGARITHMIC COLOR IMAGING DEVICE
DE4329839A1 (en) Imaging arrangement with two sensors - contains four colour complementary light sensitive elements in each sensor in 2 by 2 matrix.
DE60221122T2 (en) AUTOMATIC FOCUSING PROCESS WHICH IS SENSITIVE TO THE SCENE LIGHTING LEVEL
EP0625762B1 (en) Method for correcting radiographic images and device for achieving it
EP1346561B1 (en) Method and device for generating images using several exposure times
DE102009004187A1 (en) image sensor
DE60222127T2 (en) Apparatus and method for reading composite microbolometer matrices
EP2790408A1 (en) Method for the compressed storage of graphic data
DE10216806B4 (en) Method and device for FPN correction of image signal values of an image sensor
DE3732634A1 (en) X-RAY DIAGNOSTIC DEVICE
EP1252757A2 (en) Method and device for modifying the color intensity of electronically acquired images
EP1562366A1 (en) Method for correcting the image data of a camera system
DE69815252T2 (en) EXPOSURE CONTROL BASED ON A SIGNIFICANT PART OF AN X-RAY IMAGE
EP1374565A1 (en) Method and device for fpn correction of image signals
DE3507933A1 (en) IMAGE RECORDING DEVICE
DE102014102011A1 (en) System and method for generating an image with a wide dynamic range

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20031008

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17Q First examination report despatched

Effective date: 20080825

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H04N 5/355 20110101ALN20140918BHEP

Ipc: H04N 5/365 20110101AFI20140918BHEP

INTG Intention to grant announced

Effective date: 20141006

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150217