DE102004061978A1 - Method and apparatus for replacing defective pixels in Focal Plane Array cameras - Google Patents

Method and apparatus for replacing defective pixels in Focal Plane Array cameras Download PDF

Info

Publication number
DE102004061978A1
DE102004061978A1 DE102004061978A DE102004061978A DE102004061978A1 DE 102004061978 A1 DE102004061978 A1 DE 102004061978A1 DE 102004061978 A DE102004061978 A DE 102004061978A DE 102004061978 A DE102004061978 A DE 102004061978A DE 102004061978 A1 DE102004061978 A1 DE 102004061978A1
Authority
DE
Germany
Prior art keywords
pixels
pixel
replacement
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102004061978A
Other languages
German (de)
Inventor
Michael Dr. Assel
Jochen Dr. Barth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LFK Lenkflugkoerpersysteme GmbH
Original Assignee
LFK Lenkflugkoerpersysteme GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LFK Lenkflugkoerpersysteme GmbH filed Critical LFK Lenkflugkoerpersysteme GmbH
Priority to DE102004061978A priority Critical patent/DE102004061978A1/en
Priority to FR0511628A priority patent/FR2881599A1/en
Priority to GB0524309A priority patent/GB2421654A/en
Publication of DE102004061978A1 publication Critical patent/DE102004061978A1/en
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Abstract

Als Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array(FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, wird vorgeschlagen, daß die Informationen zur Defektpixelersetzung aus zeitlich vorausgegangenen Frames generiert werden, wobei der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben und an der Position eines Defektpixels, an der in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen wird. DOLLAR A Als Vorteile gegenüber bekannten Verfahren ergeben sich, daß keine Rechenoperationen zur Ersetzung notwendig sind, daß der räumlich korrekte Bildinhalt des Pixels zur Ersetzung herangezogen wird und daß sich mit geringem technischen Aufwand defektpixelfreie Systeme erzeugen lassen.As a method for replacing defective pixels in Focal Plane Array (FPA) cameras, wherein temporally successive frames are evaluated to obtain image information, it is proposed that the defect pixel replacement information be generated from temporally preceding frames, with the image content being transferred from frame to frame Frame shifted by an integer number of pixels against each other and at the position of a defect pixel, where in one of the previous frames was a working pixel whose gray value is used for replacement. DOLLAR A advantages over known methods show that no arithmetic operations are necessary for replacement, that the spatially correct image content of the pixel is used for replacement and that can produce defective pixel-free systems with little technical effort.

Description

Die Erfindung betrifft ein Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array (FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, und eine Vorrichtung zu seiner Durchführung.The The invention relates to a method for replacing defective pixels in Focal plane array (FPA) cameras, with temporally consecutive frames for extraction from image information, and a device to its execution.

Da manche lichtempfindliche Halbleiterkristalle eine relativ hohe Dichte von Gitterfehlern (z.B. Versetzungen) aufweisen und Ausleseschaltkreise moderner FPA-Detektoren eine sehr komplexe Struktur besitzen, entstehenn in der Produktion der FPAs (Focal Plane Arrays) Pixel, die keine, oder stark reduzierte Lichtempfindlichkeit zeigen. Diese defekten Pixel müssen ersetzt werden, da sie sonst für den Beobachter oder Bildverarbeitungsalgorithmen störend in Erscheinung treten.There Some photosensitive semiconductor crystals have a relatively high density of lattice defects (e.g., dislocations) and readout circuits modern FPA detectors have a very complex structure, arise in the production of FPAs (Focal Plane Arrays) pixels that do not, or show greatly reduced photosensitivity. These broken ones Need pixels be replaced, otherwise they are for obstructing the observer or image processing algorithms Appear appearance.

Die typische Anzahl von Defektpixeln moderner IR-Kameras liegt i.A. bei 0.1%...2% entsprechend einigen Hundert bis Tausend Pixel. Die untere Grenze (0.1%) läßt sich jedoch nur durch starke Selektion der FPAs erreichen, was einen deutlichen Einfluß auf den Preis des Sensors hat.The typical number of defect pixels of modern IR cameras i.A. at 0.1% ... 2% corresponding to a few hundred to a thousand pixels. The lower limit (0.1%) can be However, only by strong selection of the FPAs achieve what a clear influence has the price of the sensor.

Weiterhin ist es nahezu unmöglich, defektpixelfreie FPAs zu erzeugen. Dies ist speziell im Bereich militärischer und astronomischer Anwendungen störend, da ein Objekt, das auf ein oder mehrere defekte Piel abgebildet wird, nicht entdeckt werden kann. Es wird daher allgemein angestrebt, auch mit FPAs, die eine größere Anzahl von Defektpixeln aufweisen, Bilder zu erzeugen, die möglichst frei von Defekten sind.Farther it is almost impossible produce defect pixel-free FPAs. This is especially in the field military and astronomical applications annoying, because an object that is on one or more defective Piel is pictured, not to be discovered can. It is therefore generally sought, even with FPAs, the one larger number of defect pixels to produce images as possible are free from defects.

Bisherige Verfahren zur Defektpixelersetzung nutzen hierzu entweder das benachbarte Pixel, das zeitlich vorher ausgelesen wurde, und übernehmen dessen Grauwert oder bilden eine Mittelung aus den Grauwerten der acht Nachbarpixel.Previous Defective pixel replacement techniques use either the adjacent one Pixel, which was read out in advance, and take over its gray value or form an averaging from the gray values of the eight neighboring pixels.

Beide Verfahren haben mehrere Nachteile. Bei der Übernahme des Grauwerts des zeitlich vorausgegangenen Pixels erhält man, falls mehrere defekte Pixel direkt nebeneinander liegen, innerhalb einer Zeile einen Bereich mit mehreren Pixel, die den gleichen Grauwert zeigen. Dies ist vor allem dann störend, wenn in diesem Bereich ein starker Kontrastsprung stattfindet.Both Procedures have several disadvantages. When taking over the gray value of the temporally preceded pixels are obtained, if several defective ones Pixels are directly next to each other, within a line an area with multiple pixels that show the same gray value. This is before annoying everything, if there is a strong contrast jump in this area.

Bei der Mittelung der Nachbarpixel tritt ein anderes Problem auf. Um die Mittelung durchführen zu können, müssen zunächst die Grauwerte aller Nachbarpixel zur Verfügung stehen. Dies bedeutet aber, daß das defekte Pixel erst ersetzt werden kann, wenn zeitlich später kommende Pixel ausgelesen wurden, nämlich die 3 Nachbarpixel der nächsten Zeile. Deshalb muß ein Puffer vorhanden sein, um alle relevanten Grauwerte zur Korrektur bereitzustellen, und die Korrektur kann erst mit einer Verzögerung von einer Zeile und einem Pixel stattfinden. Zur Berechnung des mittleren Grauwerts sind ferner acht Additionen und eine Division in Echtzeit durchzuführen. Bei typischen Pixelfrequenzen im Bereich einige MHz bis einigen 10MHz in Abhängigkeit von Pixelanzahl und Bildwiederholfrequenz bedeutet das beträchtlichen Rechenaufwand.at the averaging of the neighboring pixels is another problem. Around perform the averaging to be able to have to first the gray values of all neighboring pixels are available. this means but that the broken one Pixel can be replaced only when temporally later coming pixels are read out were, namely the 3 neighboring pixels of the next Row. Therefore, one must Buffer may be present to correct all relevant gray levels to provide, and the correction can only with a delay of a line and a pixel. To calculate the mean Gray value is also to perform eight additions and one division in real time. at typical pixel frequencies ranging from a few MHz to a few 10MHz dependent on of pixel count and refresh rate that means considerable Computational effort.

Bei beiden Verfahren wird der Grauwert des defekten Pixels aus Pixeln generiert, deren Pendant im Objektraum (reale Szene) an anderen Stellen liegen. D.h. in keinem der beiden Fälle kann der Grauwert der tatsächlichen Bildinformation an der Stelle des defekten Pixels regeneriert werden.at In both methods, the gray value of the defective pixel is made up of pixels generated, whose counterpart in the object space (real scene) at other Places lie. That in neither case can the gray value of the actual Image information to be regenerated at the location of the defective pixel.

Es ist das Ziel der Erfindung, ein Verfahren zur Ersetzung der Defektpixel und Vorrichtungen zu seiner Durchführung zu schaffen, bei denen die genannten Nachteile vermieden werden. Gemäß der Erfindung wird dies durch die im kennzeichnenden Teil des Anspruchs 1 genannten Merkmale erreicht. Einzelheiten der Erfindung ergeben sich aus den Unteransprüchen un der Beschreibung, in der anhand der Zeichnung ein Ausführungsbeispiel erläutert wird.It The object of the invention is a method for replacing the defect pixels and to provide devices for its implementation in which the mentioned disadvantages are avoided. This is accomplished by the invention reaches the features mentioned in the characterizing part of claim 1. Details of the invention will become apparent from the dependent claims un the description in the reference to the drawing an embodiment explained becomes.

Die hier vorgestellte Methode zur Ersetzung der defekten Pixel unterscheidet sich wesentlich von den bisher angewandten Verfahren. Es lassen sich wesentliche Einschränkungen der bekannten Varianten umgehen.The different method presented here for the replacement of the defective pixels significantly different from the methods used so far. Let it significant restrictions bypass the known variants.

Der markanteste Unterschied besteht darin, daß die Informationen zur Defektpixelersetzung nicht mehr aus dem gleichen Frame geholt werden, sondern aus den zeitlich vorausgegangenen Frames generiert werden. Dabei wird der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben. Dies führt dazu, daß im Idealfall an der Position eines Defektpixels in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen werden kann.The most striking difference is that the defect pixel replacement information is no longer fetched from the same frame but is generated from the frames preceding it in time. In this case, the image content from frame to frame by an integer number of pixels against each other postponed. As a result, in the ideal case, there was a functional pixel at the position of a defect pixel in one of the previous frames whose gray value can be used for the replacement.

Die Verschiebung kann durch mehrere Möglichkeiten geschehen wie z.B.:

  • • Verschieben des FPAs um die gewünschte Anzahl an Pixeln
  • • Verwendung eines Scanners wie er im Microscanverfahren benutzt wird, jedoch mit einem Bildversatz von 1, 2, 3 oder mehr Pixeln (Stand der Technik siehe DE 195 25 153 A1 „"optoelektronisches Abtastverfahren" von M. Arnold)
  • • Verwendung eines Scanners nach dem „Verfahren zur Vergrößerung des Bildfeldes einer FPA-Kamera" (Stepscan, Patentanmelung: 10259667.0) jedoch auch hier mit einem Bild-versatz von 1, 2, 3 oder mehr Pixeln
The shift can be done in several ways, such as:
  • • Move the FPA by the desired number of pixels
  • • Use of a scanner as it is used in the microscan method, but with an image offset of 1, 2, 3 or more pixels (prior art see DE 195 25 153 A1 "Optoelectronic scanning" by M. Arnold)
  • • Using a scanner according to the "method for enlarging the field of view of a FPA camera" (Stepscan, patent application: 10259667.0) but also here with an image offset of 1, 2, 3 or more pixels

1 soll die Funktionsweise der Methode verdeutlichen. 1 should clarify the operation of the method.

Das Ablaufdiagramm nach 2 verdeutlicht den Ersetzungsalgorithmus der erfindungsgemäßen Methode zur Defektpixelersetzung:
Da im vorausgegangenen Frame das Abbild der Szene in der Fokalebene der Kamera verschoben ist, liegen gleiche Bildteile auf unterschiedlichen Pixeln. Ist nun im aktuellen Bild ein Pixel defekt, so kann der Bildinhalt, der auf diesem Pixel zu liegen kommt, im vorausgegangenen Frame auf einem funktionierenden Pixel liegen. Die Grauwertinformation dieses Pixels kann nun auf das defekte Pixel im aktuellen Frame übertragen werden. Ist auch im vorausgegangenen Frame das korrespondierende Pixel defekt, läßt sich in den wiederum vorrausgegangenen Frames nach funktionierenden Pixeln (passend zum Bildinhalt des ursprünglich defekten Pixels) suchen. Es ist dabei zu beachten, daß bei stark bewegten Szenen durch das unterschiedliche Bildalter unter Umständen die Szene so geändert hat, daß die „alte" Bildinformation nicht mehr zu dem ursprünglichen auf dem defekten Pixel paßt. Aufgrund dieser Tatsache ist ein beliebig weiter Rückblick auf vorausgegangene Frames nicht sinnvoll. Es muß vielmehr je nach Anwendung eine sinnvolle Anzahl an Frames definiert werden, die zur Korrektur herangezogen werden (im Ablaufdiagramm mmax). Außerdem werden in der technischen Realisierung i.A. zyklische Verfahren zur Bildverschiebung eingesetzt, (Microscan, Stepscan-Verfahren), so daß eine Begrenzung von mmax ≤ mZyklus sinnvoll ist.
The flowchart after 2 illustrates the replacement algorithm of the defect pixel replacement method according to the invention:
Since in the previous frame the image of the scene is shifted in the focal plane of the camera, the same image parts lie on different pixels. If a pixel is defective in the current image, the image content that comes to lie on this pixel can lie on a functioning pixel in the previous frame. The gray value information of this pixel can now be transferred to the defective pixel in the current frame. If the corresponding pixel is also defective in the previous frame, it is possible to search for functioning pixels (matching the image content of the originally defective pixel) in the frames that have in turn been forwarded. It should be noted that in scenes with a lot of motion due to the difference in image age, the scene may have changed so much that the "old" image information no longer matches the original one on the defective pixel It does not make sense to define frames, but rather a meaningful number of frames have to be defined, which are used for the correction (in the flowchart m max ), in addition to cyclical methods for image shifting (microscan, stepscan method). , so that a limitation of m max ≤ m cycle makes sense.

Hierbei steht mZyklus für die Anzahl der Frames innerhalb einer Periode, nach welcher das Bild wieder auf sich selbst zu liegen kommt. Wird innerhalb der mmax Frames kein funktionierendes Pixel gefunden, so muß das Defektpixel im aktuellen Bild nach einer der genannten Methoden ersetzt werden.Here, m cycle stands for the number of frames within a period after which the image comes to rest on itself. If no functioning pixel is found within the m max frames, then the defect pixel in the current image must be replaced by one of the mentioned methods.

Es sei angemerkt, daß in der technischen Realisierung i.A. die Verschiebung nicht beliebig, sondern definiert ist und zyklisch wiederholt wird. Es ist daher nicht notwendig, die gesamten mmax Frames zwischenzuspeichern sondern, da die Lage der defekten Pixel und die Verschiebung zu den Vorgängerbildern bekannt sind, nur die Informationen der „korrespondierenden" Ersetzungspixel zu speichern. Außerdem kann an Hand der bekannten Lage der defekten Pixel für ein spezielles FPA ein optimales Versatzmuster zwischen den Bildern eines Zyklus bestimmt werden, bei dem die meisten Defektpixel mit der hier vorgeschlagenen Methode ersetzt werden können).It should be noted that in the technical realization, in general, the shift is not arbitrary, but defined and repeated cyclically. It is therefore not necessary to buffer the entire m max frames but, since the position of the defective pixels and the shift to the predecessor images are known, only the information of the "corresponding" replacement pixels is stored for a particular FPA, determine an optimal offset pattern between the images of a cycle where most defect pixels can be replaced with the method proposed here).

In einer Monte Carlo Simulation wurden FPAs mit einer Defektpixelverteilung nach folgen-dem Schema simuliert:
In einem beliebigen Bereich der Größe 32×32 Pixel dürfen sich maximal
1 Cluster der Größe 10 ... 16 Pixel oder
2 Cluster der Größe 4 ... 9 Pixel oder
5 Cluster der Größe 2 ... 4 Pixel befinden.
In a Monte Carlo simulation, FPAs with a defect pixel distribution were simulated according to the following scheme:
In any area of size 32 × 32 pixels may be maximum
1 cluster of size 10 ... 16 pixels or
2 clusters of size 4 ... 9 pixels or
5 clusters of size 2 ... 4 pixels are located.

Die Defektpixelzahl beträgt insgesamt ca. 2.2% der Gesamtpixelzahl bezogen auf ein FPA mit 384×288 Pixel.The Defective pixel number is a total of approx. 2.2% of the total number of pixels based on a 384 × 288 pixel FPA.

Die Anzahl der zur Defektpixelersetzung herangezogenen Frames beträgt 4. Diese vier Fra-mes sind dabei wie folgt angeordnet und werden zyklisch durchlaufen:

  • • Der Bildinhalt in Frame 1 ist nicht verschoben
  • • Der Bildinhalt in Frame 2 ist um v Pixel in der Horizontalen verschoben
  • • Der Bildinhalt in Frame 3 ist um v Pixel in der Vertikalen und h Pixel der Horizontalen verschoben
  • • Der Bildinhalt in Frame 4 ist um v Pixel in der Vertikalen verschoben
  • • h = v
The number of frames used for defect pixel replacement is 4. These four frames are arranged as follows and are cycled through:
  • • The image content in frame 1 is not shifted
  • • The image content in frame 2 is shifted by v pixels horizontally
  • • The image content in frame 3 is shifted by v pixels in the vertical and h pixels in the horizontal
  • • The image content in frame 4 is shifted by v pixels vertically
  • • h = v

Anmerkung: Ein solches Muster läßt sich z.B. mit einem modifizierten Microscanner technisch einfach realisieren.Annotation: Such a pattern can be e.g. technically easy to implement with a modified microscanner.

In der folgenden Tabelle ist die Gesamtzahl der übrigbleibenden defekten Pixel in Abhängigkeit vom Versatz h oder v der einzelnen Frames gezeigt:

Figure 00050001
The following table shows the total number of remaining defective pixels depending on the h or v offset of each frame:
Figure 00050001

Zu sehen ist, daß bei einer Verschiebung von bereits einem Pixel die Anzahl der defekten Pixel um einen Faktor 45 reduziert wird. Bei einer Verschiebung von 3 Pixeln einhält bereits nur noch jedes 7. System einen einzigen Pixeldefekt.To see is that at a shift of already one pixel the number of defective ones Pixel is reduced by a factor of 45. At a shift of 3 pixels already only every 7th system has a single pixel defect.

Eine detailliertere Betrachtung ergibt, daß 2er-Cluster ab einer Verschiebung von 2 Pixeln nur noch bei jedem 22-ten System auftreten. Bei größeren Verschiebungen ist der Prozentsatz vernachlässigbar.A more detailed consideration shows that 2er clusters from a shift of 2 pixels only occur on every 22th system. For larger shifts the percentage is negligible.

Diese Untersuchungen zeigen, daß die vorgestellte Methode zur Ersetzung von defekten Pi-xeln so effizient ist, daß sich ohne großen technischen Aufwand aus FPAs mit einer hohen Defektdichte perfekte Systeme (d.h. kein einziges defektes Pixel) generieren lassen.These Investigations show that the presented method for the replacement of defective pins so efficiently is that yourself without big ones technical effort from FPAs with a high defect density perfect Generate systems (i.e., not a single defective pixel).

Die Effizienz des vorgestellten Algorithmus mit dem untersuchten Verschiebungsmuster läßt sich einfach verdeutlichen. Bereits bei einer Verschiebung von nur einem Pixel verschwinden alle Cluster mit einer Größe bis zu 4 Pixeln. Nur ein 4er-Cluster mit einer quadratischen An-ordnung der defekten Pixel resultiert nach der Korrektur in einem einzigen nicht ersetzbaren Pixel. Dieses Pixel müßte z.B. durch sein Nachbarpixel ersetzt werde. Auch größere Cluster (>4 Pixel) können bei geeigneter Form komplett ersetzt werden.The Efficiency of the presented algorithm with the examined displacement pattern let yourself simply clarify. Already with a shift of only one Pixels disappear all clusters with a size of up to 4 pixels. Only one 4-cluster with a square arrangement of the defective pixels results after the correction in a single non-replaceable Pixel. This pixel would have to be e.g. replaced by its neighbor pixel. Even larger clusters (> 4 pixels) can be added completely replaced.

Bei größeren Verschiebungen steigt die Größe der vollständig ersetzbaren Cluster quadratisch mit Anzahl der verschobenen Pixel an! Es ist allerdings zu beachten, daß der Grauwert, der zur Ersetzung herangezogen wird eine etwas gealterte Bildinformation enthält. Zum Zweiten wird die effektive Größe des FPAs um die Anzahl der verschobenen Pixel geringfügig verkleinert.at larger shifts increases the size of the fully replaceable Cluster square with number of pixels moved! It is to note, however, that the Gray scale, which is used for replacement a somewhat aged Contains image information. Second, the effective size of the FPA is increased by the number of slightly shifted pixels reduced.

Das ergibt, daß aus einem 384×288-Pixel-System mit 2411 Defektpixeln ein System mit 381×285 Pixeln und keinem Defekt wird!The that results a 384 × 288 pixel system with 2411 defect pixels a system with 381 × 285 pixels and no defect becomes!

Aufbauend auf den bereits realisierten Systemen mit Microscanner läßt sich mit minimalem Aufwand eine Defektpixelersetzung nach dem neuen Verfahren realisieren. Im Microscanverfahren werden 4 Teilbilder aufgenommen, deren Pixelverschiebung zueinander 0.5 Pixel in der Horizontalen, Diagonalen und Vertikalen beträgt. Vergrößert man nun die Verschiebung auf 1, 2 ... n Pixel, so ist bereits die Bedingung erfüllt, die zur Anwendung des erfindungsgemäßen Verfahrens notwendig ist. Die Software muß der nachfolgenden Bildverarbeitung entsprechend angepaßt werden.Building on the already realized systems with Microscanner can be a defect pixel replacement according to the new method with minimal effort realize. The microscan method captures 4 fields, whose pixel shift is 0.5 pixels horizontally to each other, Diagonal and vertical is. Enlarged now the shift to 1, 2 ... n pixels, that's already the condition Fulfills, which is necessary for the application of the method according to the invention. The software must be the be adapted accordingly subsequent image processing.

Mit Hilfe des erfindungsgemäßen Verfahrens zur Ersetzung von defekten Pixeln eines FPAs lassen sich wesentliche Nachteile der bisherigen Methoden umgehen.With Help of the method according to the invention to replace defective pixels of a FPA can be essential Bypass the previous methods.

Die Vorteile seien im folgenden zusammengefaßt:

  • • Es sind keine Rechenoperationen zur Ersetzung notwendig
  • • der räumlich korrekte Bildinhalt des Pixels wird zur Ersetzung herangezogen
  • • es lassen sich mit geringem technischen Aufwand defektpixelfreie Systeme erzeugen
The advantages are summarized below:
  • • No arithmetic operations are necessary for replacement
  • • The spatially correct image content of the pixel is used for the replacement
  • • it is possible to generate defective pixel-free systems with little technical effort

An Einschränkungen seien genannt:

  • • durch das unterschiedliche Bildalter kann u.U. der Bildinhalt des funktionierenden Pixels nicht mehr mit dem des Defektpixels übereinstimmen. Durch eine Erhöhung der Bildwiederholrate um den Faktor mmax läßt sich dies aber kompensieren.
  • • die effektive Größe des FPAs nimmt geringfügig um die Anzahl der verschobenen Pixel ab
Restrictions may be mentioned:
  • • Due to the different image age, the image content of the functioning pixel may no longer match that of the defect pixel. However, this can be compensated by increasing the refresh rate by a factor of m max .
  • • The effective size of the FPA decreases slightly by the number of pixels shifted

Zuletzt sei erwähnt, daß sich der vorgestellte Mechanismus auch mit dem Microscan-Verfahren kombinieren läßt. Hierbei muß die Verschiebung n+½ Pixel (nϵ

Figure 00070001
) betragen.Finally, it should be mentioned that the proposed mechanism can also be combined with the Microscan method. Here, the shift must be n + ½ pixels (nε
Figure 00070001
) amount.

Ebenso läßt sich das Verfahren bei der Sehfeldvergrößerung mit dem Stepscan-Verfahren anwenden. Dabei kann jedoch nur im Bereich der Überlappung der Subframes die Defektpixelersetzung mit der hier vorgestellten Methode durchgeführt werden. Außerhalb dieses Bereichs kann nur eines der konventionellen Verfahren zu Einsatz kommen.As well let yourself the method of field of view enlargement with the stepscan method apply. However, only in the area of the overlap of the subframes can the Defect pixel replacement can be performed with the method presented here. Outside This area can only be one of the conventional methods too Use come.

Claims (4)

Verfahren zum Ersetzen defekter Pixel in Focal-Plane-Array (FPA)-Kameras, wobei zeitlich aufeinanderfolgende Frames zur Gewinnung von Bildinformationen ausgewertet werden, dadurch gekennzeichnet, – daß die Informationen zur Defektpixelersetzung aus zeitlich vorausgegangenen Frames generiert werden, – wobei der Bildinhalt von Frame zu Frame um eine ganzzahlige Anzahl von Pixeln gegeneinander verschoben und – an der Position eines Defektpixels, an der in einem der vorherigen Frames ein funktionstüchtiges Pixel lag, dessen Grauwert zur Ersetzung herangezogen wird.Method for replacing defective pixels in Focal Plane Array (FPA) cameras, wherein temporally successive frames are evaluated to obtain image information, characterized in that - the defect pixel replacement information is generated from temporally preceding frames, - the image content of Frame shifted to frame by an integer number of pixels against each other and - at the position of a defect pixel, where in one of the previous frames was a working pixel whose gray value is used for replacement. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß das FPA um die gewünschte Zahl von Pixeln verschiebbar ist.Apparatus for carrying out the method according to claim 1, characterized in that the FPA to the desired Number of pixels is displaceable. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß sie eine optoelektronische Abtastvorrichtung mit einem Bildversatz von 1, 2, 3 oder mehr Pixeln aufweist.Apparatus for carrying out the method according to claim 1, characterized in that an optoelectronic scanning device with an image offset of 1, 2, 3 or more pixels. Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß sie einen Scanner zur Auswertung eines aus mehreren Subframes zusammengesetzten Frames enthält.Apparatus for carrying out the method according to claim 1, characterized in that a scanner for evaluating a composite of several subframes Contains frames.
DE102004061978A 2004-12-23 2004-12-23 Method and apparatus for replacing defective pixels in Focal Plane Array cameras Ceased DE102004061978A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102004061978A DE102004061978A1 (en) 2004-12-23 2004-12-23 Method and apparatus for replacing defective pixels in Focal Plane Array cameras
FR0511628A FR2881599A1 (en) 2004-12-23 2005-11-16 METHOD AND DEVICE FOR REPLACING DEFECTIVE PIXELS IN FPA CAMERAS
GB0524309A GB2421654A (en) 2004-12-23 2005-11-29 Replacement of defective pixels with pixels in preceding frames in focal plane array cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004061978A DE102004061978A1 (en) 2004-12-23 2004-12-23 Method and apparatus for replacing defective pixels in Focal Plane Array cameras

Publications (1)

Publication Number Publication Date
DE102004061978A1 true DE102004061978A1 (en) 2006-07-13

Family

ID=35601445

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004061978A Ceased DE102004061978A1 (en) 2004-12-23 2004-12-23 Method and apparatus for replacing defective pixels in Focal Plane Array cameras

Country Status (3)

Country Link
DE (1) DE102004061978A1 (en)
FR (1) FR2881599A1 (en)
GB (1) GB2421654A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015114009A1 (en) * 2015-08-24 2017-03-02 Rheinmetall Defence Electronics Gmbh Method and device for processing interference pixels on a detector surface of an image detector

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10205691A1 (en) * 2002-02-04 2003-08-14 Pilz Gmbh & Co Method for checking the functional reliability of an image sensor and device with an image sensor
US9277143B2 (en) * 2012-11-09 2016-03-01 Fluke Corporation Thermal imaging camera with repositionable active portions of focal plane array
US20230316467A1 (en) * 2022-04-05 2023-10-05 Baker Hughes Holdings Llc Digital Detector Array Correction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988002971A1 (en) * 1986-10-17 1988-04-21 Kenneth Gural Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image
US5323334A (en) * 1992-12-04 1994-06-21 Hughes Aircraft Company Sensor system having nonuniformity suppression with image preservation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9211566D0 (en) * 1992-05-29 1992-07-15 Secr Defence Imaging system
FR2792149A1 (en) * 1999-04-12 2000-10-13 Commissariat Energie Atomique Medical imaging pixel camera faulty pixel zone removal has two horizontal and vertical camera step movements enabling detection faulty pixel image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988002971A1 (en) * 1986-10-17 1988-04-21 Kenneth Gural Solid state imaging device having means to shift the image between scans and associated circuitry to improve the scanned image
US5323334A (en) * 1992-12-04 1994-06-21 Hughes Aircraft Company Sensor system having nonuniformity suppression with image preservation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015114009A1 (en) * 2015-08-24 2017-03-02 Rheinmetall Defence Electronics Gmbh Method and device for processing interference pixels on a detector surface of an image detector

Also Published As

Publication number Publication date
FR2881599A1 (en) 2006-08-04
GB2421654A (en) 2006-06-28
GB0524309D0 (en) 2006-01-04

Similar Documents

Publication Publication Date Title
DE69938227T2 (en) Method and apparatus for motion artifact and noise reduction in video image processing
DE102006001904B4 (en) Method and device for automatically adjusting surveillance image fields based on image change
DE102006000946B4 (en) Method and system for inspecting a periodic structure
DE102008034979B4 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
DE102010016140A1 (en) Method for scaling up and down images
DE19920812A1 (en) Interpolated lines creating device for conversion of interlaced video signals to progressively swept format without interlacing
DE102010062496A1 (en) Method and device for processing image information of two sensors suitable for image acquisition of a stereo sensor system
WO2011103866A2 (en) Method for visualizing three-dimensional images on a 3d display device and 3d display device
EP3634003B1 (en) Method and device for time synchronization of the optical transmission of data in the free space
EP3170307B1 (en) Method for displaying three dimensional scene on an autostereoscopic display
DE4037739C1 (en)
DE102016109887A1 (en) Method for detecting and correcting image defects and image processing unit and computer program for this purpose
DE102004061978A1 (en) Method and apparatus for replacing defective pixels in Focal Plane Array cameras
DE102009026983A1 (en) Image processing method with a motion estimation and image processing arrangement
DE60203166T2 (en) Method for producing high-resolution digital images
DE102006042386A1 (en) Method and device for displaying images
EP1804492A2 (en) Method and device for intermediate line interpolation
DE102017121916A1 (en) Harmonization of image noise in a camera device of a motor vehicle
DE112014006356B4 (en) A method for improving the image quality of a scanning charged particle microscope and scanning carrier particle microscope
AT520839B1 (en) Method for creating a picture stack data structure
EP1397002B1 (en) A gradient based method for the interpolation of picture elements
EP3316216A1 (en) Method for checking an object
DE102017220083A1 (en) PICTURE DEVICE AND PICTURE PROCESSING SYSTEM
DE102020131576A1 (en) Generating a panoramic map to capture a scene with multiple cameras
DE102011016094A1 (en) Method for dynamic adaptation of images captured using charge coupled device camera, involves transforming rank values of each image based on common ranking table calculated according to image values matching with original image values

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection