DE10340515B4

DE10340515B4 - Verfahren und Einrichtung zur Inhomogenitätskorrektur und Kalibrierung von optronischen Kameras mit Hilfe aufgenommener Bilder und Darstellen physikalischer Größen

Info

Publication number: DE10340515B4
Application number: DE10340515A
Authority: DE
Inventors: Uwe Adomeit; Wolfgang Wittenstein
Original assignee: Carl Zeiss Optronics GmbH
Current assignee: Hensoldt Optronics GmbH
Priority date: 2003-09-03
Filing date: 2003-09-03
Publication date: 2007-04-19
Anticipated expiration: 2023-09-04
Also published as: DE10340515A1

Abstract

Verfahren zur Inhomogenitätskorrektur und Kalibrierung von optronischen Kameras mit Hilfe aufgenommener Bilder und Darstellen physikalischer Größen, bei dem:
a) gleichzeitig oder in simultaner Nähe zueinander, eine Aufnahme der betrachteten Szene (16) und formatfüllend zwei Aufnahmen mit bestimmter aber unterschiedlicher Temperatur homogen beheizter Flächen (14/15) (Referenzaufnahmen) auf einem für elektromagnetische Strahlung empfindlichen Detektor (11) abgebildet werden,
b) die Signaldifferenz zwischen dem mit der Aufnahme der betrachteten Szene (16) erhaltenen Arbeitssignal und dem Signal einer der Referenzaufnahmen, sowie die Signaldifferenz der Signale der Referenzaufnahmen (14, 15) gebildet werden,
c) nach dem Algorithmus

das Verhältnis der beiden erhaltenen Signaldifferenzen gebildet wird, was gleichzeitig zum normierten Signal des Bildes [S*(L_eff)] der betrachteten Szene (16) und zur normierten effektiven Strahldichte [L_n(L_eff)] führt,
d) nach dem Algorithmus Leff = [Leff2 – Leff1]·S*(Leff) + Leff1 aufgrund des von der Aufnahmeeinrichtung gegebenen funktionellen Zusammenhangs zwischen effektiver Strahldichte und Temperatur eine Kalibrierung der betrachteten Szene in...

Description

Die Erfindung betrifft ein Verfahren und eine Einrichtung zur Inhomogenitätskorrektur und Kalibrierung von optronischen Kameras, mit Hilfe aufgenommener Bilder und Darstellen der physikalischen Größe.
Optronische Kameras arbeiten in vielen Fällen unkalibriert, d. h. das vom Detektor erzeugte Ausgangssignal (Ausgangsspannung, Digitalsignal o. ä.) ist proportional zur physikalischen Eingangsgröße (z. B. Leuchtdichte, Strahldichte, Temperatur o. ä.), aber es kann nicht direkt vom Signal auf den Absolutwert der Eingangsgröße geschlossen werden. Dies kann dazu führen, dass die Signale zweier Kameras nicht direkt vergleichbar sind. Ein höheres Ausgangssignal kann z. B. durchaus einer niedrigeren Eingangsgröße entsprechen. Erst durch eine Kalibrierung der Kameras ist eine Aussage möglich.
Eine spezielle Form dieses Problems liegt vor, wenn man optronische Systeme verwendet, die in mehr als einem Spektralbereich arbeiten. Arbeitet man im Infrarotbereich so unterscheidet man bei diesen sog. „multispektralen Kameras" zwischen Mehrfarbensystemen, bei denen ein Band des IR-Spektralbereichs (z. B. MW-IR, 3–5μm) in mehrere Einzelbereiche („Farben", z. B. 3–4μm und 4–5μm) unterteilt wird und Mehrbandsysteme, bei denen mehrere Bänder, z. B. MW-IR (3–5μm) und LW-IR (8–12μm) gleichzeitig aufgenommen werden. Dabei beschränken sich Mehrbandsysteme häufig nicht auf das IR sondern beziehen auch noch den Visuellen- bzw. NIR-Bereich mit ein.
Ein weiteres Problem bei der Arbeit mit optronischen Systemen ist die Korrektur der zeitinvarianten Inhomogenitäten eines Detektors. Im Folgenden als Inhomogenitätskorrektur bezeichnet.

Lösungen für dieses Problem sind nach dem Stand der Technik insbesondere für Kameras, die in einem Spektralbereich arbeiten, bekannt.

So zeigen die: DE 693 19 907 T2 „Vorrichtung zur Aufnahme eines Infrarotbildes", DE 197 15 983 C1 „ Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot Kamera", DE 101 18 628 C1 „ Verfahren zum Erkennen spektral selektiver Infrarot-Strahler", US 6 127 679 A „Thermal Sensing System Having a Fast Response Calibration Device", US 5 420 421 A „Wide Dynamic Range Compensation for Infrared Focal Plane Arrays" jeweils Lösungen auf, die für die Verwendung in nur einem Spektralbereich gedacht sind und sich für ein kalibriertes multispektrales System nicht eignen.

Die US 5,371,35 hingegen befasst sich mit der radiometrischen Kalibrierung bildgebender Multikanalspektrometer.

Der wesentliche Nachteil der vorhandenen Lösungen ist, dass wegen der unterschiedlichen Empfindlichkeit und Signalverarbeitung in den verschiedenen Spektralbereichen die Ausgangssignale nicht vergleichbar sind. D.h. das gleiche Signal in zwei oder mehr Spektralbereichen bedeutet nicht unbedingt gleiche Strahldichte, Temperatur o. ä..

Aus diesen unterschiedlichen Signalen ergibt sich als weiteres Problem, die Darstellung der Information für einen Beobachter z. B. auf einem Bildschirm. Dies kann bisher nur durch eine für jeden Spektralbereich getrennte Gain- und Offset- (bzw. Helligkeit- und Kontrast-) Einstellung umgangen werden. Allerdings ist dies in den bekannten Systemen nicht realisiert. Vielmehr wird hier die Möglichkeit geboten, die Integrationszeit für jeden Spektralbereich getrennt einzustellen. Dadurch kann die Empfindlichkeit so geregelt werden, dass die Signale unabhängig vom Spektralbereich in die gleiche Größenordnung fallen. Eine derartige Signalanpassung führt jedoch zu einer Leistungsverschlechterung, da alle Spektralbereiche auf die Leistung des unempfindlichsten angepasst werden müssen. Außerdem ist die richtige Wahl der Integrationszeiten sehr zeitaufwendig und die Übertragungsfunktionen unterscheiden sich weiterhin.

Aufgabe des erfindungsgemäßen Verfahrens und seiner technischen Ausführung ist es, messtechnisch verarbeitbare und vergleichbare Signale, d. h. ein gleiches Signal bedeutet unabhängig vom Spektralbereich ein gleiches Eingangssignal, für eine gleichzeitige Darstellung für einen Beobachter z. B. auf einem Bildschirm ohne vorherige Anpassung der Empfindlichkeit zu ermöglichen, wobei für alle Spektralbereiche eine Inhomogenitätskorrektur simultan mit erfolgt ist.

Die Lösung der Aufgabe gelingt mit einem Verfahren nach Anspruch 1 und einer Einrichtung wie sie im Nebenanspruch 2 angegeben ist. Die Erfindung wird durch Unteransprüche vorteilhaft weiter ausgebildet.

Neben der Aufnahme der Szene, werden erfindungsgemäß Aufnahmen homogener Flächen unterschiedlicher Temperatur eingeführt (Referenzaufnahmen); die zusammen mit der Aufnahme der Szene verarbeitet werden. Diese Verarbeitung kann dabei sowohl in der Kamera selbst, als auch nach der Aufnahme z. B. mit einem Framegrabber erfolgen. In einem ersten Schritt erhält man dadurch ein normiertes Bild. Dieses normierte Bild ist schon für die Darstellung auf dem Bildschirm geeignet, da die Signale der Kanäle in den gleichen Bereich fallen und auch näherungsweise direkt vergleichbar sind. Näherungsweise bedeutet hier, dass noch geringe Unterschiede in der Empfindlichkeit vorhanden sind und somit eine messtechnische Auswertung nur bedingt möglich ist. Gleichzeitig beinhaltet dieser Schritt aber schon eine Inhomogenitätskorrektur der Kanäle, die damit direkter Bestandteil des Verfahrens wird und kontinuierlich während des Betriebs erfolgt. Aufbauend auf dem normierten Bild wird in einem zweiten Schritt eine Kalibrierung der Signale durchgeführt. Diese kann sowohl in effektive Temperaturen, als auch in effektiven Strahldichten oder be liebigen anderen Größen erfolgen. Die Signale sind durch die Kalibrierung in physikalisch relevante Einheiten vergleichbar und damit messtechnisch einsetzbar.

Das Verfahren berücksichtigt interne Veränderungen der Kamera (z. B. Drift usw.) und ist daher langzeitstabil. Bei kontinuierlicher Anwendung wird der Einfluss des 1/f-Rauschens auf den zeitlichen Verlauf der Detektorinhomogenitäten vollständig kompensiert.

Nachfolgend wird die Erfindung unter Bezugnahme auf die Zeichnungen im einzelnen erläutert.
Es zeigen:
1a/b ein Flussdiagramm des erfindungsgemäßen Verfahrens;
2 eine Ausführungsform einer technischen Einrichtung nach der Erfindung im Blockschaltbild zur Durchführung des erfindungsgemäßen Verfahrens;
3 eine schematische Darstellung der Ausführungsform der Erfindung, nach Anspruch 4;
4 eine schematische Darstellung der Ausführungsform der Erfindung, nach Anspruch 5
Auf den in den 1a/b schematisch dargestellten Ablauf des Verfahrens in zwei Varianten bezogen, wird die Erfindung nachfolgend ausführlich beschrieben.
Vernachlässigt man Effekte, die sich aus der Abbildungsunschärfe der Kamera ergeben, d. h. betrachtet man das Signal, das sich bei der Abbildung einer ausgedehnten Fläche ergibt, dann gilt für ein dem Detektorelement i zugeordneten Signal: Si(T) = ai·∫τA(λ)·Lλ·(T)·Rn·(λ)·dλ + bi (1.1)wobei τ_A die Transmission der Atmosphäre², L_λ die spektrale Strahldichte in der Szene und R_n die normierte spektrale Empfindlichkeit der Kamera ist. a_i und b_i sind Konstanten, die i. a. von Detektorelement zu Detektorelement verschieden sind und deren Werte vom Detektor selbst und weiteren Randbedingungen der Kamera (z. B. Optik, Signalverarbeitung, Betriebstemperatur, etc.) abhängen. Der Wert unter dem Integral wird als effektive Strahldichte L_eff bezeichnet. Leff(T) = ∫Lλ(T)·Rn(λ)·dλ (1.2)
Das Signal ist also eine lineare Funktion der effektiven Strahldichte. Die Konstanten werden häufig als Gain (a_i) bzw. Offset (b_i) des Elements i bezeichnet. Si(T) = ai·Leff(T) + bi (1.3)
Dieser lineare Zusammenhang existiert bei realen Kameras allerdings nur innerhalb eines begrenzten Bereichs (linearer Bereich). So treten z. B. bei großen Strahldichten und/oder Integrationszeiten Sättigungseffekte (z. B. durch begrenzende Speicherkapazitäten im Chip) auf.
Der lineare Bereich einer Kamera kann über eine Messung der Signal-Transfer-Funktion (SiTF) bestimmt werden, wenn der Verlauf der effektiven Strahldichte als Funktion der Temperatur bekannt ist. L_eff(T) kann aus den Kameradaten berechnet werden. Kann wegen der Unkenntnis von L_eff(T) der lineare Bereich nicht exakt bestimmt werden, so kann er doch i. A. über eine oder mehrere SiTF bei unterschiedlichen Kameraeinstellungen abgeschätzt werden.
Inhomogenitätskorrektur und Normierung der Detektorsignale
Neben dem Arbeitssignal bei der Szenentemperatur T (entsprechend Gleichung 1.3) werden Bilder von ausgedehnten Schwarzkörpern (Referenzaufnahmen), die das gesamte Sehfeld (Field of View, FOV) der Kamera ausfüllen, bei zwei bekannten Temperaturen T₁ und T₂ aufgenommen. Diese werden im Folgenden als Korrektursignale bezeichnet. Für diese Korrektursignale gilt dann nach GI. (1.3): Si(T1) = ai·Leff(T1) + bi (1.4) Si(T2) = ai·Leff(T2) + bi (1.4)
Die Signaldifferenz, die man bei Subtraktion der Korrektursignale bzw. bei der Subtraktion eines der Korrektursignale vom Arbeitssignal erhält ist unabhängig vom Offset b_i. ΔSi(T, T1) = Si(T) – Si(T1) = ai·[Leff(T) – Leff(T1)] (1.5) ΔSi(T1, T2) = Si(T2) – Si(T1) = ai·[Le ff(T2) – Le ff(T1)] (1.5)
Bildet man das Verhältnis der beiden so erhaltenen Signale, ist das Ergebnis unabhängig vom jeweiligen Gain a_i.
Das Signal S*(T) hat bei den Referenztemperaturen T₁ und T₂ den Wert 0 bzw. 1. Es wird im weiteren als „normiertes Signal" bezeichnet. Gleiches gilt auch für die effektive Strahldichte, die mit den effektiven Strahldichten der Referenztemperaturen „normiert" wird. Das normierte Signal S*(T) entspricht damit der normierten effektiven Strahldichte L_n(T).
Die Normierung ist unabhängig von den individuellen Detektoreigenschaften. Der beschriebene Prozess führt damit auch zu einer Inhomogenitätskorrektur.
Bei der praktischen Anwendung kann zur besseren Darstellung der Bilder in einem vorgegebenen Dateiformat ein beliebiger Gain und/oder Offset zu dem normierten Signal hinzugefügt werden.
Kalibrierung der normierten Signale in effektive Strahldichten
Die bislang gezeigte Normierung erfolgt ausschließlich über die Manipulation der Signale selber, ohne Kenntnis der inneren Zusammenhänge. Auch die Temperaturen der Referenzstrahler müssen nicht bekannt sein. Schreibt man Gleichung (1.6) anders, so erhält man S*(T) = a*·Leff(T) + b* (1.7)
Das normierte Signal S*(T) ist also immer noch eine lineare Funktion der effektiven Strahldichte, mit neuem Gain a* und Offset b*:
Sind die effektiven Strahldichten für die Korrekturtemperaturen T₁ und T₂ bekannt, so können die Konstanten bestimmt werden und eine Kalibrierung der Bilder in Strahldichten ist sofort möglich.
bzw. einfacher, Leff(T) = [Le ff(T2) – Leff(T1)]·S*(T) + Le ff(T1) (1.11)
Ist ein funktioneller Zusammenhang zwischen effektiver Strahldichte und Temperatur bekannt, so ist auch eine Kalibrierung in effektiven Temperaturen möglich.
Eine Mögliche Ausführungsform einer Einrichtung zur Durchführung des Verfahrens zeigt 2. Die von einer Detektoreinheit 1 gemäß 3 oder 4 o. ä. gelieferten Bilder der Szene bzw. der Referenzen werden in einem Speicherbereich 3 zwischengespeichert. Dabei werden für jeden Spektralbereich (dargestellt sind zwei) des ein- oder multispektralen Detektors 3 Bildspeicher 4–6 benötigt. Die in 1a bzw. 1b vorgestellten Algorithmen sind in einem Programmspeicher zur Steuerung der CPU 7 als Programm implementiert und führen das Verfahren mit den zwischengespeicherten Daten und den, entweder bekannten oder von der Detektoreinheit 1 gemessenen, Temperaturen der Referenzen durch. Die berechneten Daten können anschließend auf einem Monitor 9 ausgegeben werden und/oder direkt auf einem Speichermedium 10, z. B. einer Harddisk, gespeichert werden. Bei der Ausgabe auf einen Monitor ist eine Bedieneinheit 8 vorzusehen, die es dem Anwender ermöglicht, die Darstellung seinen Wünschen entsprechend anzupassen. Die gesamte Einrichtung 2 kann dabei sowohl in einer Kamera integriert sein, als auch extern, z. B. in einem PC implementiert werden.
Zur Integration der homogenen Flächen bekannter Temperatur in den Strahlengang zum Detektor für elektromagnetische Strahlung sieht eine Ausgestaltung der Erfindung gemäß Anspruch 3 einen einschwenkbaren Shutter vor, der in zeitlich regelmäßigen Abständen, jeweils mit verschiedener Temperatur, in den Sichtbereich des Detektors eingeschwenkt wird. Diese Lösung ist einfach zu realisieren. Nachteilsweise ergibt sich aber das Problem eines zeitaufwendigen Heizens bzw. Kühlens des Shutters sowie die nicht kontinuierliche Arbeitsweise dieser Anordnung.
Eine weitere Ausgestaltung wird gemäß dem Anspruch 4 mit einem Rad vorgeschlagen, welches zwei homogenen Sektoren unterschiedlicher Temperatur und einen, einer Öffnung aufweist, wie es in der 3 dargestellt ist. Aus dieser Anordnung ergibt sich der Vorteil, eines mit Videofrequenz kontinuierlichen Einschaltens des erfindungsgemäßen Verfahrens in den laufenden Abbildungsprozess. Des Weiteren entfällt der Zeitaufwand für heizen bzw. kühlen.
Nachteilig stellt sich aber wegen der relativ Bewegung des Rades zum Gerätgehäuse, die Realisierung der elektrischen Verbindungen zu den homogenen Flächen für das Heizen und Kühlen und die Temperaturmessung dar.
Als bevorzugt anzuwendende Lösung wird die Ausgestaltung gemäß Anspruch 5 vorgeschlagen. Ein Drehspiegel der nacheinander die Szene bzw. zwei homogene Flächen unterschiedlicher Temperatur auf den Detektor abbildet. Eine schematische Darstellung erfolgt mit der 4.
Bezogen auf die Ausgestaltungen der Erfindung nach Anspruch 3 oder 4, ergeben sich die Vorteile, des mit Videofrequenz kontinuierlich eingeschalteten erfindungsgemäßen Verfahrens und des vermiedenen Aufwandes für Heizen bzw. Kühlen.
Versuche haben gezeigt, dass die Normierung nach dem erfindungsgemäßen Verfahren auch dann möglich ist, wenn statt beheizter/gekühlter homogener Flächen zwei Materialien unterschiedlicher Emissivität verwendet werden, die sich auf der gleichen Temperatur befinden.
Für den Fachmann versteht sich, dass die Erfindung auch für andere Wellenlängenbereiche als dem des IR benutzbar ist, wobei die Kamera auch nur einkanalig ausgeführt zu sein braucht.

2:

1: Detektoreinheit nach Figur 3 oder 4
2: Einrichtung zur Durchfüchrung des Verfahrens
3: Datenspeicher mit Bildspeicher für Szene (4) und Referenzaufnahmen (5, 6)
7: Recheneinheit in der das Verfahren als Programm implementiert ist
8: User-Interface für Ausgabe der verarbeiteten Daten auf einen Monitor
9: Monitor zur Datenausgabe
10: Speichermedium z. B. Harddisk

3:

11: Multispektraler Detektor (z. B. nach DE 100 37 103 A1 ) der ein Signal S ausgibt
12: Antriebseinheit für Korrekturrad (13)
13: Korrekturrad aufgeteilt in mindestens drei Bereiche
14: Homogene Fläche des Korrekturrades geheizt auf Temperatur T₁
15: Homogene Fläche des Korrekturrades geheizt auf Temperatur T₂
16: Freier Bereich des Korrekturrades zum Blick auf die Szene, der zur Balance des Rads auch aus einem transmitierendem Material bestehen kann.
: (Anm.: Zum Blick auf die Szene benötigt der Detektor natürlich in beiden Fällen eine Optik die hier nicht dargestellt ist.)

4:

(11): Multispektraler Detektor (z. B. nach DE 100 37 103 A1 ) der ein Signal S ausgibt
(12): Antriebseinheit für Spiegel (17)
(14): Homogene Fläche geheizt auf Temperatur T₁
(15): Homogene Fläche geheizt auf Temperatur T₂
(16): Blick auf Szene
(17): Spiegel
: (Anm.: Zum Blick auf die Szene benötigt der Detektor natürlich in beiden Fällen eine Optik die hier nicht dargestellt ist.)

Claims

Verfahren zur Inhomogenitätskorrektur und Kalibrierung von optronischen Kameras mit Hilfe aufgenommener Bilder und Darstellen physikalischer Größen, bei dem: a) gleichzeitig oder in simultaner Nähe zueinander, eine Aufnahme der betrachteten Szene (16) und formatfüllend zwei Aufnahmen mit bestimmter aber unterschiedlicher Temperatur homogen beheizter Flächen (14/15) (Referenzaufnahmen) auf einem für elektromagnetische Strahlung empfindlichen Detektor (11) abgebildet werden, b) die Signaldifferenz zwischen dem mit der Aufnahme der betrachteten Szene (16) erhaltenen Arbeitssignal und dem Signal einer der Referenzaufnahmen, sowie die Signaldifferenz der Signale der Referenzaufnahmen (14, 15) gebildet werden, c) nach dem Algorithmus
das Verhältnis der beiden erhaltenen Signaldifferenzen gebildet wird, was gleichzeitig zum normierten Signal des Bildes [S*(L_eff)] der betrachteten Szene (16) und zur normierten effektiven Strahldichte [L_n(L_eff)] führt, d) nach dem Algorithmus Leff = [Leff2 – Leff1]·S*(Leff) + Leff1 aufgrund des von der Aufnahmeeinrichtung gegebenen funktionellen Zusammenhangs zwischen effektiver Strahldichte und Temperatur eine Kalibrierung der betrachteten Szene in effektive Strahldichten berechnet wird, e) eine Ausgabe der erhaltenen Daten erfolgt.
Einrichtung für das Verfahren nach Anspruch 1, gekennzeichnet durch, a) eine Anordnung zur Abbildung einer zu betrachtenden Szene auf einem Detektor für elektromagnetische Strahlung (11), b) eine Anordnung zur formatfüllenden Abbildung homogen beheizter Flächen verschiedener Temperatur (14/15), c) eine Recheneinheit (7), die ein Computerprogramm gemäß dem Verfahren nach Anspruch 1 ausführt.
Einrichtung nach Anspruch 2, gekennzeichnet durch, einen in den Strahlengang zum Detektor für elektromagnetische Strahlung (11) einschwenkbaren Shutter, der in zeitlich regelmäßigen Abständen, jeweils mit verschiedener Temperatur, in den Sichtbereich des Detektors (11) eingeschwenkt wird.
Einrichtung nach Anspruch 2, gekennzeichnet durch, ein im Strahlengang zum Detektor für elektromagnetische Strahlung (11) angeordnetes drehbares Rad (13), bei dem homogen über seine dem Detektor zugewandten Oberfläche beheizbare Sektoren verschiedener Temperaturen (14/15) und ein offener, den Strahlengang von der betrachteten Szene zum Detektor (11) nicht unterbrechender Sektor, in den Sichtbereich des Detektors (11) zur formatfüllenden Abbildung rotieren.
Einrichtung nach Anspruch 2, gekennzeichnet durch, einen im Strahlengang zum Detektor für elektromagnetische Strahlung (11) angeordneten vorzugsweise planen Spiegel (17), mit einer Halte- und Antriebsachse zum Drehen des Spiegels (17), wobei der Spiegel gegen die Achse um einen Winkel so geschwenkt ist, dass mit sich wechselnder Blickrichtung des Spiegels (17), nacheinander die zu betrachtende Szene (16) und homogen dem Detektor (11) zugewandten beheizte Oberflächen verschiedener Temperaturen auf dem Detektor für elektromagnetische Strahlung (11) formatfüllend abgebildet werden.
Computerprogramm erstellt mit Programmcode-Mitteln, zur Durchführung des Verfahrens gemäß Anspruch 1, wenn das Programm auf einer Computereinrichtung ausgeführt wird.
Computerprogramm erstellt mit Programmcode-Mitteln gemäß Anspruch 6, die auf einem maschinenlesbaren Datenträger gespeichert sind.
Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln, um alle Verfahrensschritte gemäß dem Anspruch 1 durchzuführen, wenn das Programm auf einer Computereinrichtung ausgeführt wird.