DE3884676T2

DE3884676T2 - Bildverarbeitungsgerät.

Info

Publication number: DE3884676T2
Application number: DE88305106T
Authority: DE
Inventors: Stephen Dimmick; Mark Andrew Samuels
Original assignee: Marconi Co Ltd
Current assignee: BAE Systems Electronics Ltd
Priority date: 1987-06-05
Filing date: 1988-06-03
Publication date: 1994-02-03
Anticipated expiration: 2008-06-04
Also published as: EP0294227A3; EP0294227B1; GB2205464B; GB2205464A; US4956873A; GB8713194D0; DE3884676D1; EP0294227A2

Description

Diese Erfindung bezieht sich auf ein Bildverarbeitungsgerät und insbesondere bezieht sie sich auf ein Gerät von der Art, die eine Anzahl von Kanälen von Detektoren einschließt und ein Bild in Durchgängen abtastet, wobei jeder Durchgang ein gleichzeitiges Abtasten von all den Kanälen umfaßt. Solche Systeme werden gewöhnlich in Abbildungssystemen für Infrarot- und andere Strahlung verwendet.
Weil jedoch unvermeidlich Variationen in Ansprechempfindlichkeiten und Versetzungen von Detektorelementen auftreten, ist allgemein ein Signalverarbeitungsgrad erforderlich, um die Detektorsignale anzupassen. Solch ein Signalverarbeitungsverfahren macht in der Regel eine oder mehr Annahmen, von denen die gewöhnlichste ist, daß die Teile des Bildes, die von jedem Detektorelement während einer Abtastung des gesamten Feldes oder Bildes gesehen werden, im wesentlichen die gleichen sind, d.h. die durchschnittliche Bildintensität, die von dem ersten Detektorelement über das gesamte Bild oder Feld gesehen wird, ist gleich der durchschnittlichen Intensität, die von dem n-ten Detektor gesehen wird. Ein Beispiel eines Signalverarbeitungssystems, das in dieser Weise arbeitet, ist in GB-A-1588018 dargelegt, das die Zunahme ändert, die an den Ausgang von jedem Detektorelement angelegt wird, beruhend auf der Annahme, daß die durchschnittliche Intensität des von jedem Detektorelement gesehenen Bildes über eine Zeitspanne gleich ist. Für die Mehrheit von Bildern ist diese Annahme vernünftig und wird eine gute Anpassung zwischen den Kanälen erzielt.
Für bestimmte Bilder jedoch sind diese Annahmen nicht gültig, insbesondere wo ein Temperaturgradient über eine Szene auftritt, so wie ein Übergang zwischen Himmel und Erde. Dies hat eine durchgangsbezogene Zeilenstruktur zur Folge, die in dem dargestellten Bild offensichtlich wird, in welchem eine Zeilenstruktur auf dem Bild mit einer Breite, die gleich der Durchgangsbreite ist, gesehen wird und die Durchgangsgrenzen in hohem Maße wahrnehmbar sind. Der Grad einer Verschlechterung des Bildes wird natürlich von der tatsächlichen Szene, die abgebildet wird, abhängen.
Es ist günstig, sich diese verschlechterten Bilder als die Summe aus dem idealen Bild und einem sogenannten "Aftefakt"-Bild vorzustellen, welches in der vertikalen Bildrichtung variiert, aber in der horizontalen Richtung im wesentlichen konstant ist, wobei das Artefakt-Bild der Teil des Bildes ist, welcher sich von dem idealisierten Bild unterscheidet. Obwohl das Artefakt-Bild wesentliche Unterschiede von Zeile zu Zeile innerhalb eines Durchgangs aufgrund von Unterschieden in den Zunahmen und Versetzungen einzelner Detektoren zeigen kann, variiert das Artefakt-Bild eines einzelnen Kanals oft nur langsam in der vertikalen Bildrichtung. Dies hat zur Folge, daß der Artefakt-Teil des Bildes eine langsam variierende Struktur aufweist, die für jeden Durchgang in dem Bild wiederholt wird. Folglich wird eine Zeilenstruktur gesehen.
Die vorliegende Erfindung entstand aus einer Notwendigkeit, ein Verfahren zum Entfernen des Artefakts und Erzeugen eines klareren Endbildes von besserer Qualität zu schaffen.
Gemäß der vorliegenden Erfindung wird ein Gerät geschaffen zum Verarbeiten eines in Durchgängen abgetasteten Eingabebildes, wobei das Bild von der Art ist, die eine Vielzahl von Zeilen aufweist, welche zusammen eine Darstellung des Bildes schaffen, das abgetastet wird, indem jeweilige Gruppen von Zeilen zusammen in Durchgängen abgetastet werden, und das Eingabebild eine ideale Bildkomponente und eine Artefakt-Bildkomponente aufweist, wobei die Artefakt-Bildkomponente Abweichungen des Eingabebildes von der idealen Bildkomponente repräsentiert und die Artefakt-Bildkomponente eine durchgangsbezogene Komponente aufweist; gekennzeichnet durch Mittel zum Ableiten eines ersten Satzes von Werten, wobei jeder Wert für die durchschnittliche Intensität einer Bildzeile repräsentativ ist; Mittel zum Entfernen einer Niederfrequenz-Bildstruktur aus dem ersten Satz von Werten, um einen zweiten Satz von Werten zu erzeugen, wobei der zweite Satz von Werten im wesentlichen für die Artefakt-Bildkomponente repräsentativ ist; Mittel zum Glätten des zweiten Satzes von Werten, um einen Satz von Korrekturwerten für ein Anwenden auf das Eingabebild zu erzeugen, und; Mittel zum Anwenden der Korrekturwerte auf das Eingabebild, um so ein Ausgabebild mit einer reduzierten Artefakt-Bildkomponente zu erzeugen.
Auf diese Weise wird durch Einstellen der Ausgaben eine Art von Glättung, auf die als eine vertikale Glättung verwiesen werden wird, auf das Bild angewendet und das verschlechternde "Zeilenstruktur"-Artefakt, das gesehen wird, wenn das Bild ein in Durchgängen abgetastetes ist, wird merklich reduziert.
In einer Ausführungsform der Erfindung weist das Mittel zum Ableiten der durchschnittlichen Intensität von jeder jeweiligen Zeile einen Akkumulator auf, an welchen die Intensitätswerte von jedem Pixel innerhalb der Zeile gegeben werden.
In einer bevorzugten Ausführungsform ist jeder jeweilige Wert des zweiten Satzes von Werten die Differenz zwischen jedem jeweiligen Wert des ersten Satzes von Werten und einem lokalen Durchschnittswert der durchschnittlichen Intensität über eine gewählte Anzahl benachbarter Zeilen.
Das Gerät kann ein Mittel zum Berechnen des lokalen Durchschnitts über eine Anzahl von Werten einschließen, die gleich der Anzahl von Zeilen jedes Durchgangs ist. Ein einzelner Korrekturwert kann für jeden Kanal innerhalb des Durchgangs abgeleitet werden. Dieser Korrekturwert kann gleich dem mittleren oder Medianwert des zweiten Satzes von Werten für diesen Kanal über das gesamte Bild sein.
Um das Problem anormaler Fehler zu lösen, die in das Korrektursignal durch abgeleitete Fehlerwerte eingeführt werden, welche von Objekten mit merklich verschiedener Intensität innerhalb des Bildes herrühren, kann das Gerät weiter eine Filterfunktion einschließen, die auf eine gewählte Anzahl benachbarter Fehlerwerte für jeden Kanal der Reihe nach wirken kann und einen Medianwert für jene Fehlerwerte erhalten kann, der verwendet wird, um den Durchschnittsfehlerwert für diesen Kanal über das gesamte Bild zu erhalten.
Die Filterfunktion kann ein Dreipunkt-Medianwert-Filter sein, welcher der Reihe nach jeden Kanal überstreichen kann.
Die Korrekturfunktion kann an die Kanalausgänge durch eine Vorwärtskoppelungs- oder eine Rückkoppelungsanordnung angelegt werden.
Ausführungsformen der Erfindung werden nun beispielhaft nur unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben werden, in denen:
Figur 1 eine Anwendung der vorliegenden Erfindung in einem Vorwärtskoppelungsmodus zeigt;
Figur 2 eine Anwendung der vorliegenden Erfindung in einem Rückkoppelungsmodus zeigt;
Figur 3 schematisch zeigt, wie das Artefakt-Bild seine Effekte zeigt;
Figur 4 die Einflüsse einer Glättung und Fehlerberechnung auf ein Bild mit einem auffälligen Objekt zeigt;
Figur 5 zeigt, wie die Anwendung eines Filters die Leistung des Systems erhöhen kann, und;
Figur 6 eine schematische, digitale Korrekturschaltung zeigt.
Figur 1 zeigt nur diejenigen Teile eines abbildenden Systems, die für die vorliegende Erfindung relevant sind. Eine Abbildungsvorrichtung weist eine Anzahl q von Kanälen von Detektoren auf, die simultan in Durchgängen über eine Szene in der normalen Weise abgefragt werden. Wie oben beschrieben, kann das normale Verarbeiten solcher Signale ohne eine weitere Korrekturverarbeitung eine durchgangsbezogene Zeilenstruktur ergeben. Solch ein Bild wird, nachdem es einer normalen Verarbeitung unterzogen wurde und und daher schon das Artefakt-Detail enthält und deshalb eine Zeilenstruktur zeigt, als die Eingabe in das in Figur 1 gezeigte Gerät verwendet, was deshalb die Ursache des Artefakt-Bildes nicht tatsächlich heilt, sondern vielmehr eine Nach-Verarbeitung anwendet, um anschließend das Artefakt-Bild vor einer Darstellung des resultierenden Bildes zu entfernen.
Das System weist drei Verarbeitungseinheiten auf, welche eine Meßfunktion 1, eine Verarbeitungsfunktion 2 beziehungsweise eine Korrekturfunktion 3 ausführen. Nach einer Korrektur werden die Bildsignale für eine Darstellung oder weitere Verarbeitung, wie erforderlich sein kann, ausgegeben.
Figur 2 zeigt eine alternative Anordnung, in welcher die drei Funktionskästen, die denjenigen von Figur 1 entsprechen, in einem Rückkoppelungssystem statt in einem Vorwärtskoppelungssystem verwendet werden. Die Ausführungsform von Figur 2 wird in dieser Spezifikation nicht weiter beschrieben werden, sondern wird leicht von einem Fachmann abgeleitet werden können.
Auf die sequentielle Eingabe von all den Detektorkanälen wird zuerst durch die Meßfunktion 1 eingewirkt. Diese ist konstruiert, um einen minimalen Satz von Bildparametern zu erzeugen, die von der Verarbeitungsfunktion verwendet werden sollen, um die exakte Form des Artefakt-Bildes zu bestimmen. Gewöhnlich wird das Artefakt-Bild in der horizontalen Bildrichtung, d.h. der Durchgangsrichtung, im wesentlichen konstant sein und daher ist festgestellt worden, daß ein geeigneter Parameter die mittlere Intensität von jeder Bildzeile ist. Typischerweise kann dies in einem digitalen System ausgeführt werden, indem die Pixel-Intensitätswerte entlang jeder Zeile akkumuliert werden. Wenn die Zahl an Pixelwerten zum Beispiel als eine Potenz von 2 gewählt wird, dann wird die Ausgabe des Akkumulators, geeignet verschoben, eine Ausgabe liefern, welche die mittlere Zeilenintensität repräsentiert. Ein Beispiel des Resultates der Meßfunktion wird in Figur 3 gezeigt, wobei die Figur eine schematische Darstellung ist, da es unwahrscheinlich ist, daß die durchschnittliche Intensität von jeder Zeile innerhalb eines Durchgangs die gleiche ist. Jedoch ist es wahrscheinlich, daß das resultierende Muster sich von Durchgang zu Durchgang wiederholt. Da das Bild in der horizontalen Richtung gemittelt wird, wird viel von der ursprünglichen Bildstruktur unterdrückt, wobei das Artefakt-Bild unbeeinflußt bleibt. Daher weisen die resultierenden Signale, die durch die Meßfunktion erzeugt werden, die Niederfrequenz-Vertikalkomponente des ursprünglichen Bildes auf, d.h. ohne die Hochfrequenz-Komponenten mit geringer Amplitude, welche die Feinstruktur darstellen, zusammen mit den Artefakt-Bildkomponenten. Jedoch können anormale Fehler, die aus Hochfrequenz-Bildkomponenten mit großer Amplitude bestehen, noch in der Ausgabe von Einheit 1 sichtbar sein.
Der gemessene Satz von Datenzeilenwerten wird anschließend durch die Verarbeitungseinheit 2 verarbeitet, um einen Satz von Korrekturen für jedes Bild zu berechnen. Dies wird grundsätzlich erreicht, indem die Artefakt-Bildstruktur aus dem Satz von Zeilendurchschnitten extrahiert wird und ein Signal erzeugt wird, welches im wesentlichen ein Inverses des Artefakt-Bildes ist, was somit dazu dient, die Effekte des Artefakt-Bildes auszugleichen.
Artefakt-Bilder können allgemein eine von zwei Formen annehmen, entweder als eine konstante Struktur, welche das Bild hinab verläuft, d.h. wie eine wiederholte Struktur auf einer Darstellung ähnlich Figur 3 erscheinend, oder als eine, welche sich in Größe und/oder Richtung das dargestellte Bild hinab ändert.
In der folgenden Beschreibung ist das Bild definiert als r Durchgänge aufweisend, wobei jeder Durchgang q Zeilen aufweist, die durch q Detektorkanäle erzeugt werden. Daher ist die Gesamtzabl von Bildzeilen, n, gegeben durch:
n = r q
Auf eine Bildzeile kann entweder durch deren Zeilennummer L wo 1 ≤ L ≤ n gilt, oder durch deren Durchgangsnummer j, wo 1 ≤ j ≤ r gilt, und deren Kanalnummer i wo 1 ≤ i ≤ q gilt, verwiesen werden. Diese Parameter stehen in Beziehung durch: L = i + (j - 1) q.
Der Satz von Zeilendurchschnitten, der durch die Meßfunktion 1 erzeugt wird, kann als der Satz von xL oder xij dargestellt werden.
Das erste Verfahren, welches angewendet wird, ist dafür bestimmt, eine Niederfrequenz-Bildstruktur aus dem Satz von Zeilendurchschnitten xL zu entfernen, wobei folglich ein Satz von Fehlerabschätzungen eL für jede Zeile erzeugt wird. Diese werden die Artefakt-Bildkomponente in dem Bild dicht approximieren, obwohl sie vielleicht irgendein Hochfrequenz-Bildkomponentendetall einschließen können. Irgendein geeignetes Verfahren kann verwendet werden, um dies zu erreichen, wenn auch ein Verfahren ist, die Differenz zwischen jedem gemessenen XL und einem lokalen Durchschnittswert für die xL zu berechnen. Ein Verweis auf Figur 3 wird zeigen, daß ein effektiver lokaler Durchschnitt erhalten werden kann durch Mitteln von q benachbarten xL-Werten,
d.h. eL = xL - yL
wo
Für den Fall, daß keine Variation von Durchgang zu Durchgang in der Struktur auftritt, mittelt ein erster Algorithmus gemäß der vorliegenden Erfindung all die abgeleiteten Fehler eL (oder eij) für jeden Kanal, so daß die Korrektur für Kanal i von irgendeinem Durchgang definiert ist durch:
d.h. der Algorithmus berechnet q Korrekturen für jedes Bild, eine Korrektur für jeden Kanal.
Dieser erste einfache Algorithmus ist für die meisten Bilder effektiv, in denen keine Variationen in der vertikalen Richtung von Durchgang zu Durchgang auftreten.
Für den Fall, wo die Zeilenstruktur von Durchgang zu Durchgang variiert, wird ein zweiter Algorithmus verwendet. Dieser berechnet eine Korrektur für jede Bildzeile, die das Inverse der Fehlerabschätzung von dieser Zeile ist.
Jedoch wird richtig erkannt werden, daß diese Fehlerabschätzungen bei manchen Bildern nicht ungeändert verwendet werden können, weil sich einige der abgeleiteten Werte eher aus einer speziellen Bildstruktur als aus einem Artefakt-Bilddetail ergeben haben werden. Diese anormalen Werte müssen entfernt werden, um ein Eiuführen anormaler Fehler zu verhindern. Eine gewöhnliche Situation, wo dies zutrifft, ist in Figur 4 dargestellt, wo Figur 4a einen typischen durchgangsbezogenen Zeilenstruktureffekt zeigt, gesehen bei einem Bild mit einem Objekt von merklich verschiedener Intensität gegenüber dem Hintergrund und mit plötzlichen Änderungen in der vertikalen Richtung. Figur 4b zeigt das gleiche Bild nach einem Glätten und Figur 4c zeigt den Effekt einer Anwendung des oben beschriebenen Algorithmus, um Fehlerwerte eij, zu erhalten. Es ist ersichtlich, daß bei den Grenzen des Objektes die abgeleiteten Fehlerwerte groß sind und daher würde die Verwendung der ungeänderten Fehlerwerte dazu tendieren, anormale Fehler in das Bild einzuführen, was es somit verschlechtert. Demgemäß schließt dieser zweite Algorithmus eine Filterfunktion ein, welche die Fehlerwerte eL auf einem Kanal unter Zugrundelegung des Kanals filtert, d.h. in welcher die berechneten Korrekturwerte für Zeilen, die einem besonderen Kanal entsprechen, nur von den Fehlerabschätzungen für diesen Kanal abhängen.
Figur 5 zeigt ein Beispiel, wo ein Dreipunkt-Medianwert-Filter 4 verwendet wird. Ein 'n'-Punkt-Medianwert-Filter, wie in der Ausführungsform verwendet, ist ein Filter, welcher jeden Eingabewert durch den Medianwert von n lokalen Eingabewerten ersetzt; so wird in dem vorliegenden Fall jeder Wert durch den Medianwert dieses Wertes und der unmittelbar benachbarten Werte für diesen Kanal ersetzt, wie in Figur 5 gezeigt ist. Durch Verwenden solch eines Filters werden aus einem Bilddetail herrührende, anormale Fehler, so wie derjenige, welcher in dem größeren Fehlerwert von Kanal Eins in dem dritten Durchgang der Figur dargestellt ist, entfernt. Daher werden irgendwelche, durch den Einschluß einer Hochfrequenz-Bildstruktur hervorgerufene, anormale Fehler, die gegen die sich allgemein glatt ändernden Durchgangsfehler hervortreten, durch das Medianwert-Filterverfahren entfernt.
Die abgeleiteten Korrekturwerte werden anschließend an die Korrekturfunktionseinheit 3 gegeben, Diese wendet dann die Korrekturwerte auf jede jeweilige Zeile des Bildes an, um das Artefakt-Bild zu beseitigen.
Die berechneten Korrekturwerte können entweder durch Analog- oder Digital- Mittel durch in der Technik wohlbekannte Verfahren angewendet werden. Ein Analog- Korrekturverfahren kann eine Proportional-Gleichstrom.Versetzung in dem Bildsignal für jede jeweilige Zeile einführen. Ein Digital-Verarbeitungsverfahren kann erfordern, daß die Korrekturen zu jeder Abtastung oder jedem Pixel auf jeder Zeile addiert werden. Ein schematisches Digitalsystem ist in Figur 6 dargestellt, in welchem die nicht korrigierten, digitalen Bilddaten an eine digitale Addiervorrichtung 5 gegeben werden. Die Korrekturwerte für jede Zeile werden in einem Speicher 6 gehalten und, Pixel für Pixel, zu den nicht korrigierten Daten in der Addiervorrichtung addiert in Abhängigkeit von der Zeile und/oder dem Kanal, zu der und/oder dem die Daten gehören, derart, daß die korrigierten Daten auf Leitung 7 ausgegeben werden. Eine Uhr 8 wird verwendet, um das System zu synchronisieren, und die Korrekturwerte werden in den Speicher 6 während eines anfänglichen Abtastvorgangs eingegeben. Diese Werte können, wenn erforderlich, aktualisiert werden. Bei einer Anwendung kann ein Korrekturwert für die erste Zeile zu jedem Pixel von dieser Zeile der Reihe nach addiert werden, ein zweiter Wert zu jedem Pixel der zweiten Zeile und so weiter.

Claims

1. Gerät zum Verarbeiten eines in Durchgängen abgetasteten Eingabebildes, wobei das Bild von der Art ist, die eine Vielzahl von Zeilen aufweist, welche zusammen eine Darstellung des Bildes schaffen, das abgetastet wird, indem jeweilige Gruppen von Zeilen zusammen in Durchgängen abgetastet werden, und das Eingabebild eine ideale Bildkomponente und eine Artefakt-Bildkomponente aufweist, wobei die Artefakt-Bildkomponente Abweichungen des Eingabebildes von der idealen Bildkomponente repräsentiert und die Artefakt-Bildkomponente eine durchgangsbezogene Komponente aufweist; gekennzeichnet durch Mittel (1) zum Ableiten eines ersten Satzes von Werten, wobei jeder Wert repräsentativ für die durchschnittliche Intensität einer Bildzeile ist; Mittel (2) zum Entfernen einer Niederfrequenz-Bildstruktur aus dem ersten Satz von Werten, um einen zweiten Satz von Werten zu erzeugen, wobei der zweite Satz von Werten im wesentlichen repräsentativ für die Artefakt-Bildkomponente ist; Mittel (2) zum Glätten des zweiten Satzes von Werten, um einen Satz von Korrekturwerten für ein Anwenden auf das Eingabebild zu erzeugen, und; Mittel (5) zum Anwenden der Korrekturwerte auf das Eingabebild, um so ein Ausgabebild (7) mit einer reduzierten Artefakt-Bildkomponente zu erzeugen.

2. Gerät nach Anspruch 1, worin das Mittel zum Ableiten der durchschnittlichen Intensität von jeder jeweiligen Zeile einen Akkumulator (1) aufweist, an welchen die Intensitätswerte von jedem Pixel innerhalb der Zeile gegeben werden.

3. Gerät nach irgendeinem der vorhergehenden Ansprüche, worin jeder jeweilige Wert des zweiten Satzes von Werten die Differenz zwischen jedem jeweiligen Wert des ersten Satzes von Werten und einem lokalen Durchschnittswert der durchschnittlichen Intensität über eine gewählte Anzahl benachbarter Zeilen ist.

4. Gerät nach Anspruch 3, worin das Mittel (2) zum Erzeugen des zweiten Satzes von Werten den lokalen Durchschnittswert über eine Anzahl von Werten, die gleich der Anzahl von Kanälen (q) innerhalb eines Durchgangs ist, berechnet.

5. Gerät nach Anspruch 3 oder 4, worin das Mittel (2) zum Ableiten des Satzes von Korrekturwerten angeordnet ist, um einen einzelnen Korrekturwert für jeden Kanal innerhalb des Durchgangs abzuleiten, und der einzelne Korrekturwert für jeden Kanal aus dem mittleren oder Medianwert der Werte des zweiten Satzes von Werten, die diesem Kanal entsprechen, abgeleitet wird.

6. Gerät nach irgendeinem der Ansprüche 1 bis 4, worin das Mittel zum Ableiten des Satzes von Korrekturwerten ein Mittel zum Filtern des zweiten Satzes von Werten (2) aufweist, um einen einzigen Korrekturwert für jede einzelne Zeile zu erhalten.

7. Gerät nach Anspruch 6, worin das Filtermittel (2) angeordnet ist, um eine Filterfunktion an dem zweiten Satz von Werten für jeden Kanal einzeln auszuführen.

8. Gerät nach Anspruch 6 oder Anspruch 7, worin das Filtermittel ein Dreipunkt- Medianwert-Filter ist.

9. Gerät nach irgendeinem der vorhergehenden Ansprüche, das als eine Vorwärtskoppelungsanordnung konfiguriert ist.