DE69634101T2

DE69634101T2 - Gerät und Verfahren zum Beseitigen des Offsets und der Schattierung eines Videosignals

Info

Publication number: DE69634101T2
Application number: DE69634101T
Authority: DE
Inventors: Dean L. Weideman; Harold J. Orlando
Original assignee: Northrop Grumman Corp
Current assignee: Northrop Grumman Corp
Priority date: 1995-10-27
Filing date: 1996-10-18
Publication date: 2005-06-16
Anticipated expiration: 2016-10-19
Also published as: DE69620465T2; EP0880859A1; DE69620465D1; WO1997016033A1; EP1168827A2; US5867211A; IL124157A; EP1168827A3; JPH11513863A; EP1168827B1; EP0880859A4; DE69634101D1; EP0880859B1

Description

Die Erfindung betrifft allgemein elektrooptische Sensoren und insbesondere eine Einrichtung und ein Verfahren zum Verarbeiten eines Videosignals aus einem elektrooptischen Sensor.
Ein elektrooptischer Sensor ist eine Vorrichtung, die Strahlungsenergie einer bestimmten Wellenlänge oder eines Wellenlängenbereichs in ein elektrisches Signal umsetzt. Ein Beispiel für einen elektrooptischen Sensor ist eine TV-Handkamera, die Bilder aus sichtbarem Licht in ein elektrisches Signal umsetzt, das man in einem elektronischen Speicher speichern oder auf einem Fernsehbildschirm darstellen kann. Ein weiteres Beispiel für einen elektrooptischen Sensor ist ein Forward Looking Infrared Sensor ("FLIR"), der Infrarotenergiebilder (d. h. Wärme), die für menschliche Augen nicht sichtbar sind, in ein elektrisches Signal umsetzt, das man für einen Betrachter darstellen kann. Da das FLIR "bei Nacht sehen" kann, wird es in der militärischen Navigation, in Zielsystemen und neuerdings auch in kommerziellen Sicherheitssystemen breit verwendet.
Die Fähigkeit eines elektrooptischen Sensors, die Einzelheiten eines Objekts aufzulösen, wird als "Auflösung" des Sensors bezeichnet. Eine höhere Auflösung erlaubt es dem Sensor, kleine Objekte auf größere Entfernungen zu erkennen. Eine hohe Auflösung erlaubt es dem FLIR, ein feindliches Ziel zu erkennen, bevor das Ziel zu nahe kommt.
Dunkeltönung und Offset vermindern die Auflösung des elektrooptischen Sensors und müssen daher beseitigt werden. Ist das Ziel klein, so muss die Sensorelektronik die Verstärkung und die Helligkeit auf ein hohes Niveau vergrößern, damit man die erforderlichen Einzelheiten im Ziel erkennen kann. Dadurch werden zwar die Einzelheiten des Ziels besser sichtbar, der Hintergrund wird jedoch durch interne Reflexionen und Temperaturgradienten verzerrt, die durch die Zunahme der Verstärkung und Helligkeit entstehen. Offset bezeichnet den mittleren Pegel der Helligkeit (Temperatur) über einem gesamten sichtbaren (Infrarot-)Sensor. Dunkeltönung bezeichnet Gradienten der Helligkeit (Temperatur) über dem Sensor. Diese Störungen erschweren das Unterscheiden des Ziels vom Hintergrund.
Die Dunkeltönung und der Offset verursachen zusätzliche Probleme beim Messen der Sensorauflösung. Eine Standardmessung für die Sensorauflösung ist die Modulation Transfer Function ("MTF"). Während der MTF-Messung wird dem Sensor ein sehr kleines Ziel (z. B. ein Schlitzziel) dargeboten, und die Datenabtastwerte des Sensor-Videosignals werden gesammelt. Nach dem Sammeln aller Abtastungen werden die Dunkeltönungen und Offsets manuell aus den Abtastwerten entfernt und eine Fourieranalyse wird durchgeführt. Dieses Vorgehen erfordert, dass eine Bedienperson den Offset und die Dunkeltönung von Hand aus Trends in den Daten bestimmt und anschließend den Offset und die Dunkeltönung von den Daten subtrahiert. Der Eingriff einer Bedienperson während der MTF-Prüfung ist jedoch unerwünscht. Die Bedienperson muss erfahren und geschult sein, um Trends in den Daten zu bestimmen. Die Bestimmungen sind jedoch auch dann noch subjektiv und fehleranfällig. Zudem benötigt die Bedienperson Zeit zum Bestimmen der Trends. Dies verhindert, dass die Prüfergebnisse in Echtzeit verfügbar sind.
Die EP 0565 861 offenbart eine Vorrichtung zur Signalverarbeitung, bei der die Korrektur der Dunkeltönung bzw. Schattierung und die MTF-Korrektur auf einem Bildsignal ausgeführt werden. Ein Signalspeichermittel, das mindestens einer Zeile entspricht, ist für die Dunkeltönungskorrektur und MTF-Korrektur vorhanden, und die für das Verarbeiten gespeicherten Daten werden der Genauigkeit, die für die verschiedenen Tätigkeiten benötigt wird, begrenzt.
Der erste Aspekt der Erfindung betrifft eine Vorrichtung zum Beseitigen der Schattierung und des Offsets eines Videosignals eines Bildsensors, wobei das Videosignal ein elektrisches Signal ist, das ein Bild darstellt, welches Bild einen Zielbereich umfasst, das eine optische Impulsfunktion simuliert, dadurch gekennzeichnet, dass die Vorrichtung folgendes aufweist: Mittel (28) zum Bestimmen der Breite desjenigen Teils des Videosignals, welches die optische Impulsfunktion simuliert; Mittel (28) zum Definieren einer Funktion mit ersten, zweiten und dritten Werten ungleich null, die mit Nullen aufgefüllt ist zwischen dem ersten und dem zweiten Wert sowie zwischen dem zweiten und dem dritten Wert, wobei der Abstand zwischen dem ersten und dem dritten Wert proportional zur Breite desjenigen Teils des Videosignals ist, der die optische Impulsfunktion darstellt; Mittel (28) zum Stülpen der so definierten Funktion über das Videosignal, um Schattierungen und Offset aus dem Videosignal zu entfernen.
Der zweite Aspekt der Erfindung betrifft ein Verfahren zum Beseitigen von Schattierungen und Offset aus einem Videosignal eines Bildsensors, wobei das Videosignal ein elektrisches Signal ist, das ein Bild darstellt, welches Bild einen Zielbereich beinhaltet, der eine optische Impulsfunktion simuliert, dadurch gekennzeichnet, dass das Verfahren umfasst: Bestimmen der Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt; Definieren einer Funktion mit ersten, zweiten und dritten Werten ungleich null, und die mit Nullen ausgefüllt ist zwischen dem ersten und dem zweiten Wert sowie zwischen dem zweiten und dem dritten Wert, wobei der Abstand zwischen dem ersten und dem dritten Wert proportional ist zur Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt; und Stülpen der so definierten Funktion auf das Videosignal, um Schattierungen und Offset aus dem Videosignal zu beseitigen.
Es zeigt:
1 eine Skizze eines elektrooptischen Sensors und einer Einrichtung zum Messen der Auflösung des Sensors gemäß der Erfindung;
2 ein Flussdiagramm der Schritte zum Entfernen von Offset und Dunkeltönung aus einem vom Sensor erzeugten Videosignal, wobei die Schritte von einem Filter ausgeführt werden, das einen Teil der Einrichtung in 1 bildet;
3 eine Kurve des Videosignals (mit durchgezogenen Linien) und eine Ableitung der Kurve (mit gestrichelten Linien);
4 eine Zeichnung einer Low Frequency Second Derivative, die im Filter verwendet wird; und
5 das Videosignal nach der Faltung mit der Low Frequency Second Derivative.
1 zeigt einen elektrooptischen Sensor 10 bei der Prüfung. Der elektrooptische Sensor 10 wandelt Licht einer bestimmten Wellenlänge oder eines Wellenlängenbereichs in ein Videosignal 12 um. So wie der Begriff hier verwendet wird, bedeutet Licht eine Strahlungsenergie, die Wellenlängen im elektromagnetischen Spektrum aufweist. Damit enthält Licht Infrarotstrahlung, sichtbares Licht, ultraviolette Strahlung und Röntgenstrahlung. Ein Sensor für langwelliges Infrarot ("LWIR") kann beispielsweise Licht mit Wellenlängen von 8 bis 12 Mikron in ein Videosignal umsetzen.
Die MTF des Sensors 10 wird gemessen, indem man Abtastwerte der Sensor-Impulsantwort in einer Richtung bestimmt, Dunkeltönung und Offset aus dem Videosignal 12 entfernt und die Größe (Modulus) der Fouriertransformierten aus dem gefilterten Videosignal berechnet. Den Sensorimpuls erhält man, indem man für den Sensor 10 ein optisches Impulsfunktions-Eingangssignal simuliert, z. B. ein Schlitzziel 14, und das Videosignal 12 direkt abtastet.
Das Schlitzziel 14 wird von einem Zielgenerator 16 erzeugt, der eine Schlitzzielmaske 18 und eine Hintergrundstrahlungsquelle 20 für die Maske 18 enthält. Die Schlitzzielmaske 18 enthält eine kleine rechteckig Öffnung, deren Breite proportional zum Sichtfeldwinkel eines einzigen Auflösungselements im Sensor 10 ist. Die Quelle 20 kann eine Nickromwicklung für den FLIR oder eine Wolframlampe mit Summierkugel für eine TV-Kamera sein. Fachleuten sind Zielgeneratoren 16 allgemein bekannt.
Das Schlitzziel 14 wird mit einer Kollimatoroptik 22 auf den Sensor 10 fokussiert. Die Kollimierung, die dadurch erreicht wird, dass man die Schlitzzielmaske 18 in der Brennebene der Kollimatoroptik 22 anordnet, erlaubt es, für praktisch umsetzbare Entfernungen vom Sensor 10 kleinere Schlitzziele 14 zu verwenden. Kollimatoroptiken 22 sind Fachleuten ebenfalls bekannt.
Der Sensor 10 setzt eine bestimmte Frequenzkomponente (z. B. LWIR) des Ziels 14 in das Videosignal 12 um. Das Videosignal 12 kann entweder ein analoges oder ein digitales Signal sein.
Ist das Videosignal 12 ein analoges Signal, so wird es in einem Analog-Digital-Umsetzer 24 in ein digitales Videosignal 12' umgesetzt. Ist das Videosignal bereits ein Digitalsignal, so ist nur eine digitale Schnittstelle für den Sensor 10 erforderlich.
Die MTF wird aus dem digitalen Videosignal 12' von einem digitalen Signalprozessor 26 abgeleitet, der ein Filter 28 zum Entfernen von Dunkeltönung und Offset enthält sowie ein Nachverarbeitungsmodul 30, das die Fourieranalyse des gefilterten digitalen Signals 12" vornimmt. Das Filter 28 entfernt den stationären Anteil (Gleichanteil) und mindestens die Frequenzkomponenten erster Ordnung aus dem digitalen Videosignal 12'. Die Dunkeltönung kann linear sein. Es kann sich jedoch auch um eine Funktion höherer Ordnung der internen Reflexionen und Temperaturgradienten im Sensor 10 handeln. Im Weiteren wird ein beispielhaftes Filter 28 zusammen mit 2 bis 5 beschrieben. Das Nachverarbeitungsmodul 30 bestimmt die diskrete Fouriertransformierte des gefilterten Videosignals 12" und berechnet die Größe der Transformierten. Das Nachverarbeitungsmodul 30 kann die entstehende reellwertige Folge auch auf Eins normieren, indem sie die Transformierte durch den größten Wert teilt.
Der digitale Signalprozessor 26 kann mit einem Personalcomputer implementiert werden, der einen Intel 486-Mikroprozessor und geeignete Programme für die Filterung und die diskrete Fouriertransformation enthält. Wahlweise kann der digitale Signalprozessor 26 in einem Finite Impulse Response Computer implementiert werden, der das Videosignal 12' filtert und die diskrete Fouriertransformation ausführt.
In 2 sind die Schritte 110 – 130 beschrieben, die das Filter 28 ausführt. Im Schritt 110 wird die Breite des Videosignals 12' bestimmt. Vom Videosignal 12', das der Sensor 10 als Antwort auf das Schlitzziel 14 liefert, wird erwartet, dass es einen Kurvenverlauf hat, der zwischen einer Gaußkurve und einem Synchronisierimpuls liegt. Ein schneller und einfacher Ansatz zum Bestimmen der Breite des Videosignals 12 besteht darin, den größten Wert der Kurve zu finden und die Breite an den Punkten zu ermitteln, an denen der Wert auf 50 Prozent des Maximalwerts abgefallen ist. Ein sorgfältigeres Verfahren zum Bestimmen der Breite des Videosignals 12' besteht darin, das Videosignal 12' mit Hilfe einer Tiefpassableitung zu differenzieren. Nimmt man an, dass das Videosignal 12' eine Gaußkurve (G) der Form
hat, wobei i der i-te Abtastwert ist, N die Größe des Abtastwerts und σ² die Standardabweichung, so kann man das Differential der Kurve (Gdif) bestimmen, indem man das Videosignal 12' gemäß der Gleichung Gdifj = Σderivcoeffm (Gj+m – Gj-m)verarbeitet, wobei derivcoeff_m die m-te Ableitung von Gdif ist. Die Breite des Videosignals 12' ist als der Abstand zwischen dem Maximum und dem Minimum der entstehenden Ableitung definiert. Die Kurve (durchgezogene Linien) und ihre Ableitung (gestrichelte Linien) sind in 3 graphisch dargestellt.
Im Schritt 120 wird eine Low Frequency Second Derivative L aus der Breite des Videosignals 12' abgeleitet. Die Low Frequency Second Derivative L besitzt drei von Null verschiedene Werte L0, L1 und L2, wobei die Werte L0 und L2 symmetrisch zum Wert L1 liegen. Die Werte L0 und L2 sind gleich –0,5, siehe 4, und der Wert L1 ist gleich 1,0. L0, L1 und L2 können jedoch irgendeinen beliebigen Wert haben, vorausgesetzt dass gilt L0 + L1 + L2 = 0 und L0 = L2. Der Abstand zwischen den Werten L0, L1 und L2 ist proportional zur Breite des interessierenden Bereichs, der gleich der Breite des Videosignals 12' multipliziert mit einem Anwendungsfaktor ist. Der Anwendungsfaktor wird empirisch bestimmt. Es hat sich gezeigt, dass ein Faktor von 3,2 für mehrere verschiedene LWIR-Sensoren gut geeignet ist.
Die Ableitung L hat zwischen den Werten L0 und L1 den Wert Null. In gleicher Weise ist die Ableitung L zwischen den Werten L1 und L2 mit Null aufgefüllt.
Im Schritt 130 wird das Videosignal 12' mit der Ableitung L gefaltet, um Dunkeltönung und Offset zu entfernen. Das entstehende gefilterte Videosignal 12" wird in das Nachverarbeitungsmodul 30 eingegeben. Das Nachverarbeitungsmodul 30 verwendet nur den interessierenden Bereich des Videosignals 12", der um den positiven Spitzenwert zentriert ist. 5 zeigt das gefilterte Videosignal 12".
Vor dem Filtern des Videosignals 12' im digitalen Signalprozessor 26 muss man möglicherweise noch das Rauschen aus dem Videosignal 12' entfernen, um seinen Signal/Rausch-Abstand zu vergrößern. Das Rauschen könnte vom digitalen Signalprozessor 26 entfernt werden, der ein bekanntes Verfahren dafür einsetzen kann, z. B. Bildmittelung.
Natürlich kann man diverse Änderungen und Abwandlungen vornehmen, ohne von der Erfindung abzuweichen. Beispielsweise könnte man dem Sensor anstelle eines Schlitzziels ein Balkendiagrammziel anbieten (vier Balken für FLIRS und drei Balken für N-Kameras). Die Abtastwerte der entstehenden sinusförmigen Antwort werden quer über die Balken entnommen und die MTF wird bei gewünschten Ortsfrequenzen berechnet. Weitere Beispiele umfassen den Einsatz eines analogen Signalprozessors anstelle eines digitalen Signalprozessors und eines Analog-Digital-Umsetzers und das Bestimmen der Breite des Videosignals durch das Multiplizieren des Spitzenwerts mit einer Konstanten.
Natürlich könnte man das Filter der Erfindung auch bei anderen Auflösungsmessungen anwenden, z. B. bei einer Optical Transfer Function.
Schließlich muss man beachten, dass der Gebrauch des Filters nicht auf Auflösungsmessungen beschränkt ist, und dass man das Filter in jeglicher Situation verwenden kann, in der es erwünscht ist, Offset und Dunkeltönung aus einem Videosignal zu entfernen. Es ist beispielsweise erwünscht, Offset und Dunkeltönung aus einem Videosignal zu entfernen, das direkt auf einem Bildschirm dargestellt wird, und es wäre ganz besonders erwünscht, Offset und Dunkeltönung vor der Verarbeitung für eine Zielerfassung aus einem Videosignal zu entfernen. Die Erfindung ist daher nicht auf die besondere Ausführungsform eingeschränkt, die hier beschrieben ist.

Claims

Vorrichtung zum Beseitigen der Schattierung und des Offsets eines Videosignals eines Bildsensors, wobei das Videosignal ein elektrisches Signal ist, das ein Bild darstellt, welches Bild einen Zielbereich umfasst, das eine optische Impulsfunktion simuliert, dadurch gekennzeichnet, dass die Vorrichtung folgendes aufweist: Mittel (28) zum Bestimmen der Breite desjenigen Teils des Videosignals, welches die optische Impulsfunktion simuliert; Mittel (28) zum Definieren einer Funktion mit ersten, zweiten und dritten Werten ungleich null, die mit Nullen aufgefüllt ist zwischen dem ersten und dem zweiten Wert sowie zwischen dem zweiten und dem dritten Wert, wobei der Abstand zwischen dem ersten und dem dritten Wert proportional zur Breite desjenigen Teils des Videosignals ist, der die optische Impulsfunktion darstellt; Mittel (28) zum Stülpen der so definierten Funktion über das Videosignal, um Schattierungen und Offset aus dem Videosignal zu entfernen.
Vorrichtung nach Anspruch 1, wobei das Mittel zum Bestimmen der Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt, Mittel zum Erhalten eines Differentials aus dem Videosignal aufweist und Mittel zum Messen der Trennung zwischen einem Maximum und einen Minimum des Differentials.
Vorrichtung nach Anspruch 1 oder 2, wobei das Mittel zum Messen der Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt, Mittel zum Messen der Breite eines Gauss-Signals beinhaltet.
Vorrichtung nach einem der vorstehenden Ansprüche, wobei der erste und der dritte Wert sich symmetrisch um den zweiten Wert herum befinden.
Vorrichtung nach einem der vorstehenden Ansprüche, wobei der zweite Wert ein Vorzeichen aufweist, das denjenigen des ersten und des dritten Werts entgegengesetzt ist.
Vorrichtung nach einem der vorstehenden Ansprüche, wobei die Summe von erstem, zweitem und drittem Wert gleich null ist.
Vorrichtung nach einem der vorstehenden Ansprüche, wobei der erste Wert gleich dem dritten Wert ist.
Vorrichtung nach einem der vorstehenden Ansprüche, die zudem einen Sensor aufweist zum Detektieren von Strahlungsenergie, so dass man das Videosignal erhält.
Vorrichtung nach einem der vorstehenden Ansprüche zur Verwendung bei der Zielbereichserfassung.
Verfahren zum Beseitigen von Schattierungen und Offsets aus einem Videosignal eines Bildsensors, wobei das Videosignal ein elektrisches Signal ist, das ein Bild darstellt, welches Bild einen Zielbereich beinhaltet, der eine optische Impulsfunktion simuliert, dadurch gekennzeichnet, dass das Verfahren umfasst: Bestimmen der Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt; Definieren einer Funktion mit ersten, zweiten und dritten Werten ungleich null, und die mit Nullen ausgefüllt ist zwischen dem ersten und dem zweiten Wert sowie zwischen dem zweiten und dem dritten Wert, wobei der Abstand zwischen dem ersten und dem dritten Wert proportional ist zur Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt; und Stülpen der so definierten Funktion auf das Videosignal, um Schattierungen und Offset aus dem Videosignal zu beseitigen.
Verfahren nach Anspruch 10, wobei der Schritt des Bestimmens der Breite desjenigen Teils des Videosignals, der die optische Impulsfunktion darstellt, das Erhalten eines Differentials des Videosignals und das Messen der Trennung zwischen einem Maximum und einem Minimum des Differentials beinhaltet.
Verfahren nach Anspruch 10 oder 11, wobei der zweite Wert in Bezug auf die ersten und dritten Werte ein entgegengesetztes Vorzeichen aufweist.
Verfahren nach Anspruch 12, wobei die Summe von erstem, zweitem und drittem Wert gleich null und der erste Wert gleich dem dritten Wert ist.