DE102011121334B4

DE102011121334B4 - Messanordnung und korrespondierendes Bildaufbereitungsverfahren

Info

Publication number: DE102011121334B4
Application number: DE102011121334.5A
Authority: DE
Inventors: Jan-Friso Evers-Senne; Martin Stratmann; Matthias Schmieder; Jörg Lange
Original assignee: Testo SE and Co KGaA
Current assignee: Testo SE and Co KGaA
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2016-08-18
Anticipated expiration: 2031-12-17
Also published as: WO2013087184A1; CN204334775U; DE102011121334A1

Abstract

Messanordnung (1), umfassend eine in einem nicht-sichtbaren Spektralbereich aufnehmende Kamera (2), mit einem zur Aufnahme im nicht-sichtbaren Spektralbereich eingerichteten, ein Aufnahmefeld (4) mit einer Aufnahmebildauflösung bereitstellenden Detektor (3), und weiter umfassend eine Bildverarbeitungseinheit (5), welche zur Erzeugung eines SR-Bildes mit einer Ausgabebildauflösung durch Kombination von wenigstens zwei mit dem Detektor (3) mit der Aufnahmebildauflösung aufgenommenen Bildern (6, 7) einer Szene (15) eingerichtet ist, wobei die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist, wobei eine mechanisch und/oder elektrisch betreibbare Modalität (8) vorgesehen ist, mit welcher eine Lage der abgebildeten Szene (10, 11) in dem Aufnahmefeld (4) des Detektors (3) veränderbar ist, dadurch gekennzeichnet, dass die Modalität (8) ein in dem nicht-sichtbaren Spektralbereich optisch wirkendes Element (19) aufweist, dessen Vergrößerungsfaktor oder Brennweite mechanisch und/oder elektrisch veränderbar ist, und dass die Bildverarbeitungseinheit (5) eine Grobregistrierungseinheit (21) aufweist, welche zur Durchführung einer Grobregistrierung der Bilder (6, 7) aus der Menge von aufgenommenen Bildern (6, 7) eingerichtet ist, wobei mit der Grobregistrierung eine Zuordnungsvorschrift zwischen den zu kombinierenden Bildern (6, 7) bereitstellbar ist, welche einzelne Bildpixel der unterschiedlichen Bilder (6, 7) einander derart zuordnet, dass sich eine inhaltliche Übereinstimmung ergibt, wobei die Grobregistrierungseinheit (21) zur Ermittlung der inhaltlichen Übereinstimmung mit Hilfe einer Analyse des Bildinhalts durch eine Merkmalsanalyse und/oder durch Auswertung einer Korrelationsfunktion eingerichtet ist.

Description

Die Erfindung betrifft eine Messanordnung nach dem Oberbegriff von Anspruch 1, umfassend eine in einem nicht-sichtbaren Spektralbereich aufnehmende Kamera, mit einem zur Aufnahme im nicht-sichtbaren Spektralbereich eingerichteten, ein Aufnahmefeld mit einer Aufnahmebildauflösung bereitstellenden Detektor, und weiter umfassend eine Bildverarbeitungseinheit, welche zur Erzeugung eines SR-Bildes mit einer Ausgabebildauflösung durch Kombination von wenigstens zwei mit dem Detektor mit der Aufnahmebildauflösung aufgenommenen Bilder einer Szene eingerichtet ist, wobei die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist.
Die Erfindung betrifft weiter ein Bildaufbereitungsverfahren zur Verbesserung der Bildauflösung nach dem Oberbegriff von Anspruch 6, welches also die Schritte Abbilden einer Szene auf ein eine Aufnahmebildauflösung definierendes Aufnahmefeld eines Detektors einer in einem nicht-sichtbaren Spektralbereich aufnehmenden Kamera, Aufnehmen einer Menge von Bildern mit der Aufnahmebildauflösung und Erzeugen eines aufbereiteten SR-Bildes durch eine Kombination der aufgenommenen Bilder, wobei die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist, umfasst.
Es ist bekannt, dass die Auflösung von Bildern häufig durch die Aufnahmebildauflösung des aufnehmenden Detektors begrenzt ist. Dies gilt besonders dann, wenn der Detektor in einem nicht-sichtbaren Spektralbereich aufnehmen soll.
Es existieren Vorschläge, wie diese Auflösungsbegrenzung durchbrochen werden kann. Hierzu werden mehrere Bilder derselben Szene mit dem Detektor aufgenommen, und die aufgenommenen Bilder werden in einem Optimierungsverfahren zu einem SR-Bild mit einer höheren Ausgabebildauflösung kombiniert.
Die bisher entwickelten Vorschläge versagen jedoch dann, wenn die Kamera beziehungsweise der Detektor stationär aufgestellt werden sollen.
Aus FANNING, Jonathan D.; REYNOLDS, Joseph P.: Target Identification Performance of Superresolution versus Dither. Procs. of SPIE, Vol. 6941, pp. 69410N-1–69410N-11 ist ein Leistungsvergleich zwischen Superresolutions-Rekonstruktion und Microscan-Techniken bekannt, wobei eine Hardware zur gesteuerten Bewegung mit Subpixel-Genauigkeit zur Erfassung von aufeinanderfolgenden Bildern bei bekannter Subpixel-Verschiebung relativ zueinander eingerichtet ist.
Aus WILSTE, John M.; MILLER, John L.: Imagery Improvements in Staring Infrared Imagers by Employing Subpixel Microscan, Optical Engineering, Vol. 44(5), May 2005, 056401, pp. 056401-1–056401-9 sind eine Analyse von und Experimente mit IR-Bildgeräten mit Vier-Punkt-Microscans, bei welchen das Bild mechanisch um ein halbes Pixel in jeder Dimension verschiebbar ist, bekannt.
Aus KRAPELS, Keith et al.: Characteristics of Infrared Imaging Systems that Benefit from Superresolution Rekonstruktion, Applied Optics, Vol. 46, No. 21, 20 July 2007, pp. 4594–4603 sind Charakteristiken von IR-Abbildungssystemen, die aus Superresolutions-Rekonstruktion Nutzen ziehen, bekannt.
Aus SCHULER, J.; SCRIBNER, D.; KRUER, M.: Super Resolution Imagery from Multi-Frame Sequences with Random Motion, Pentagon Report A506004, Unclassified, Washington, DC: Naval Research Laboratory, 02. March 1998, 16 pages ist ein Verfahren bekannt, bei welchem Bilder mit einer unkontrollierten Bildbewegung, die zufällige Bildinstabilitäten aufweist, aufgenommen werden.
Aus SROUBEK, F.; CRISTOBAL, G.; FLUSSER, J.: A Unified Approach to Superresolution and Multichannel Blind Deconvolution, IEEE Transactions an Image Processing, Vol. 16, No. 9, September 2007, pp. 2322–2332 ist ein Verfahren zur Berechnung von Superresolutions-Bildern bekannt, bei welchen keine Vorabinformation über die Gestalt der degradierenden Unschärfen angenommen wird.
Aus der DE 198 16 003 C2 ist ein Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera bekannt, wobei in einem Speicher eines Bildverarbeitungssystems Korrekturkoeffizienten für jeden Bildpunkt abgelegt sind und die Korrekturkoeffizienten mit Hilfe eines dynamischen Korrekturverfahrens ständig verbessert werden.
Aus der DE 10 2008 034 979 B4 sind ein Verfahren und eine Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern bekannt, wobei Bildsequenzen der aufgenommenen Bilder niedriger Auflösung einer kombinierten Superresolution-Verarbeitung unterzogen werden, um fehlerreduzierte hochauflösende und kontrastverbesserte Bilder auf der Grundlage von in den Bildern niedriger Auflösung enthaltener redundanter und komplementärer Bildinformation zu erhalten, und wobei in einem ersten Fusionsschritt Bilder niedriger Auflösung zu einem oder mehreren Bildern mit erhöhtem Kontrast fusioniert werden und in einem zweiten Fusionsschritt die Bilder mit erhöhtem Kontrast zur Superresolutions-Verarbeitung verwendet werden.
Die Erfindung stellt sich daher die Aufgabe, auch für diese Fälle eine verbesserte Auflösung zu erreichen, welche die Aufnahmebildauflösung des Detektors überschreitet.
Zur Lösung der Aufgabe sind erfindungsgemäß bei einer Messanordnung die Merkmale des Anspruches 1 vorgesehen. Insbesondere ist somit bei der eingangs genannten Art eine mechanisch und/oder elektrisch betreibbare Modalität vorgesehen, mit welcher eine Lage der abgebildeten Szene in dem Aufnahmefeld des Detektors veränderbar ist. Unter einer Modalität wird hierbei eine Funktionseinheit der Messanordnung und insbesondere der Kamera verstanden. Die Erfindung bietet den Vorteil, dass eine in Bezug auf die Aufnahmebildauflösung des Detektors subpixelgenaue Verschiebung der auf den Detektor abgebildeten Szene zwischen den Aufnahmen ausführbar ist, ohne dass die Messanordnung oder die Szene bewegt werden muss. Dies ist besonders vorteilhaft dann verwendbar, wenn die Messanordnung und insbesondere die Kamera stationär aufgestellt ist und wenn statische Szenen betrachtet beziehungsweise gemessen werden.
Das Aufnahmefeld definiert eine zweidimensionale Pixelanordnung, durch welche die Aufnahmebildauflösung gegeben ist.
Zur Erzeugung der Bildverschiebung kann vorgesehen sein, dass die Modalität zur Erzeugung oder Anregung von mechanischen Schwingungen eingerichtet ist. Die aus den Schwingungen resultierte Bewegung der abgebildeten Szene in dem Aufnahmefeld des Detektors eignet sich besonders gut dazu, die für die Berechnung eines SR-Bildes mit erhöhter Ausgabebildauflösung erforderlichen Bildverschiebungen zu erzeugen.
Beispielsweise können diese mechanischen Schwingungen durch elektrische, insbesondere piezoelektrische, Mittel oder induktive Mittel, insbesondere mit wenigstens einer Tauchspule, oder auf mechanischem Weg, beispielsweise über Unwuchten oder Kurbelgetriebe an einem Motor, erzeugt werden.
Die Verwendung von mechanischen Schwingungen bietet den weiteren Vorteil, dass der Platzbedarf innerhalb der Messanordnung gering ist, da die Amplituden der Schwingungen klein gehalten werden können.
Bei einer Ausgestaltung der Erfindung kann vorgesehen sein, dass die Modalität ein in dem nicht-sichtbaren Spektralbereich optisch wirkendes Element aufweist, dessen optische Eigenschaften in dem nicht-sichtbaren Spektralbereich mechanisch und/oder elektrisch veränderbar sind. Dies kann beispielsweise dadurch erreicht werden, dass das optisch wirkende Element deformiert wird, um geänderte optische Eigenschaften wie Brennweite und dergleichen zu erreichen.
Es kann auch vorgesehen sein, dass die Modalität ein in dem nicht-sichtbaren Spektralbereich optisch wirkendes Element aufweist, dessen Lage in einem Strahlengang der Kamera, insbesondere bezüglich eines Gehäuseteils der Kamera, mechanisch und/oder elektrisch veränderbar ist. Somit kann auf einfache Weise die Größe und/oder die Bildposition, also allgemein die Lage der Szene in dem Aufnahmefeld des Detektors verändert werden, indem beispielsweise die Fokussierung und/oder ein Zoomfaktor und/oder eine andere Eigenschaft des optischen Systems der Kamera verändert wird.
Es kann auch vorgesehen sein, dass die Modalität zur Bewegung wenigstens eines Teils der Kamera eingerichtet ist. Dieser Teil kann beispielsweise der Detektor selbst sein. Auf diese Weise kann einfach erreicht werden, dass sich die Lage der abgebildeten Szene in dem Aufnahmebild des Detektors verändert, da der Detektor bezüglich der Szene bewegt wird.
Besonders günstig ist es, wenn die Modalität zur Ausführung eines unregelmäßigen Bewegungsablaufes eingerichtet ist. Der Bewegungsablauf kann somit nach Art, Richtung, Richtungssinn, Größe und/oder Verstellweg zufällig und/oder unkontrolliert eingerichtet sein und ausgeführt werden. Von Vorteil ist dabei, dass ein einfaches Verfahren durchführbar ist, mit welchem möglichst zufällige, subpixelgenaue Verschiebungen der abgebildeten Szene in Bezug auf das Aufnahmefeld des Detektors generierbar sind.
Die Erfindung bietet den Vorteil, dass die Bewegung nach Art, Richtung, Richtungssinn, Größe und/oder Verstellweg nicht bekannt sein muss. Somit sind aufwendige elektronische oder rechentechnische Maßnahmen zur Überwachung einer kontrollierten Verschiebung oder sonstigen Bewegung verzichtbar. Hierdurch kann die Energieeffizienz der erfindungsgemäßen Messanordnung und des erfindungsgemäßen Verfahrens nochmals gesteigert werden.
Um die aufgenommenen Bilder zu einem SR-Bild zusammensetzen zu können, kann vorgesehen sein, dass die Bildverarbeitungseinheit eine Grobregistrierungseinheit aufweist, welche zur Durchführung einer Grobregistrierung der Bilder aus der Menge von aufgenommenen Bildern eingerichtet ist. Hierbei wird unter einer Grobregistrierung ein Verfahren verstanden, bei welchem einander entsprechende Bildpixel von wenigstens zwei Bildern aufgrund der analysierten Bildinhalte einander so zugeordnet werden, dass die Bilder mit dieser Zuordnung zumindest näherungsweise inhaltlich zur Deckung bringbar sind.
Es kann auch vorgesehen sein, dass die Bildverarbeitungseinheit zur Durchführung eines Optimierungsverfahrens eingerichtet ist, wobei als ein Variationsparameter des Optimierungsverfahrens eine subpixelgenaue Verschiebung der Bilder relativ zueinander verwendbar ist. Beispielsweise kann das Optimierungsverfahren als Optimierungsfunktion eine Energiefunktion gemäß J. Flusser et al.: A unified approach to super resolution and multi-channel blind deconvolution, IEEE transactions an image processing, vol. 16, no. 9, September 2007, S. 2322–2332, verwendet werden. Vorzugsweise ist die Bildverarbeitungseinheit zur Durchführung eines Optimierungsverfahrens eingerichtet, welches der Grobregistrierung nachgelagert ist. In diesem Fall kann der Variationsparameter eine subpixelgenaue Verschiebung der bereits grobregistrierten Bilder relativ zueinander beschreiben.
Die zweistufige Aufteilung der Erzeugung des SR-Bildes in eine Grobregistrierung und ein nachgelagertes Optimierungsverfahren hat den Vorteil, dass die SR-Bilder mit vertretbarem Rechenaufwand und vertretbarer Rechenzeit erzeugbar sind.
Zur Lösung der genannten Aufgabe bei einem eingangs beschriebenen Bildaufbereitungsverfahren sind erfindungsgemäß die Merkmale von Anspruch 6 vorgesehen. Insbesondere wird somit vorgeschlagen, dass während und/oder zwischen den einzelnen Aufnahmen der Bilder mit einer mechanisch und/oder elektrisch betriebenen Modalität eine Lage der abgebildeten Szene im Aufnahmefeld verändert wird. Dem Benutzer ist somit eine Möglichkeit zur Hand gegeben, eine Bildverschiebung zwischen den Aufnahmen der Bilder, welche für die Erzeugung eines SR-Bildes mit erhöhter Ausgabebildauflösung erforderlich ist, gezielt zu erzeugen, selbst wenn die aufnehmende Kamera stationär angeordnet ist.
Beispielsweise kann die Lageveränderung der abgebildeten Szene dadurch erreicht werden, dass mit der Modalität eine mechanische Schwingung erzeugt oder angeregt wird. Hierbei ist es besonders günstig, wenn mit der Modalität eine unregelmäßige, insbesondere eine zufällige und/oder unkontrollierte, Bewegung ausgeführt wird, da sich in diesem Fall Interferenzeffekte besonders gut vermeiden lassen.
Zur Ausführung der Lageveränderung kann vorgesehen sein, dass mit der Modalität wenigstens eine optische Eigenschaft in dem nicht-sichtbaren Spektralbereich der Kamera eines in diesem nicht-sichtbaren Spektralbereich optisch wirkenden Elements mechanisch und/oder elektrisch betrieben verändert wird. Dies kann beispielsweise ein Vergrößerungsfaktor oder eine Brennweite oder die Position einer Bildebene, in welche scharf abgebildet wird, sein.
Alternativ oder zusätzlich kann vorgesehen sein, dass mit der Modalität wenigstens eine Lage in einem Strahlengang der Kamera eines in dem nicht-sichtbaren Spektralbereich optisch wirkenden Elements mechanisch und/oder elektrisch betrieben verändert wird.
Es kann auch vorgesehen sein, dass mit der Modalität wenigstens ein Teil der Kamera bewegt wird. Besonders günstig ist es dabei, wenn die Bewegung relativ zu einem Strahlengang der Kamera erfolgt. Beispielsweise kann der bewegte Teil der Kamera der Detektor sein. Von Vorteil ist dabei, dass bei festgehaltenen Verhältnissen im optischen Strahlengang auf einfache Weise eine Lagerveränderung der abgebildeten Szene im Aufnahmefeld erreichbar ist, da der Detektor unter der abgebildeten Szene bewegt wird.
Bei einer Ausgestaltung der Erfindung kann vorgesehen sein, dass die Bilder der Menge von Bildern in einer Grobregistrierungseinheit automatisch in eine Grobregistrierung gebracht werden. Im Ergebnis kann somit eine Zuordnungsvorschrift zwischen den zu kombinierenden Bildern bereitgestellt werden, welche einzelne Bildpixel der unterschiedlichen Bilder einander derart zuordnet, dass sich eine inhaltliche Übereinstimmung ergibt. Diese inhaltliche Übereinstimmung kann beispielsweise mit Hilfe einer Analyse des Bildinhalts, beispielsweise durch eine Merkmalsanalyse und/oder durch Auswertung einer Korrelationsfunktion, ermittelt werden.
Es kann auch vorgesehen sein, dass die aufgenommenen Bilder zur Kombination in einem Optimierungsverfahren verarbeitet werden, wobei als ein Variationsparameter des Optimierungsverfahrens eine subpixelgenaue Verschiebung der Bilder relativ zueinander verwendet wird. Vorzugsweise ist das Optimierungsverfahren einer Grobregistrierung nachgelagert, wobei die grobregistrierten Bilder subpixelgenau relativ zueinander verschoben werden. Hier ist es besonders günstig, wenn die bereits erwähnte Energiefunktion in dem Optimierungsverfahren optimiert wird.
Beispielsweise kann vorgesehen sein, dass in dem Optimierungsverfahren für jedes der Bilder aus der Menge von Bildern eine Faltung eines aus den Bildern probeweise erzeugten SR-Bildes mit einer den Variationsparameter charakterisierenden Punktspreizfunktion berechnet wird. Von Vorteil ist dabei, dass Punktspreizfunktionen besonders gut handhabbare Mittel darstellen, um subpixelgenaue Verschiebungen der Bilder relativ zueinander zu modellieren. Die Güte des probeweise erzeugten SR-Bildes kann einfach berechnet werden, indem die Abweichung des Ergebnisses der jeweiligen Faltung zu den einzelnen Bildern ermittelt wird. Das Optimierungsverfahren kann dann beispielsweise dasjenige SR-Bild ermitteln, für welches die Abweichungen für alle Bilder der Menge von Bildern minimal sind.
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist jedoch nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Schutzansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen der Ausführungsbeispiele.
Es zeigt:
1 eine erfindungsgemäße Messanordnung in einer dreidimensionalen Schrägansicht von vorne,
2 die Messanordnung gemäß 1 in einer dreidimensionalen Schrägansicht von hinten,
3 den Detektor einer erfindungsgemäßen Messanordnung in schematischer Darstellung zur Erläuterung des erfindungsgemäßen Bildaufbereitungsverfahrens,
4 den Detektor gemäß 3, wobei die Lage der abgebildeten Szene in dem Aufnahmefeld des Detektors verändert ist,
5 in einer Prinzipskizze eine weitere erfindungsgemäße Messanordnung,
6 die Messanordnung gemäß 5 mit erfindungsgemäß veränderter optischer Eigenschaft eines im nicht-sichtbaren Spektralbereich optisch wirkenden Elements und
7 die Messanordnung gemäß 5, wobei die Lage eines im nicht-sichtbaren Spektralbereich optisch wirkenden Elements in einem Strahlengang erfindungsgemäß verändert wird.
Eine in 1 und 2 im Ganzen mit 1 bezeichnete Messanordnung hat in an sich bekannter Weise eine Kamera 2, die zur Aufnahme in einem nicht-sichtbaren Spektralbereich eingerichtet ist.
In dem erläuterten Ausführungsbeispiel handelt es sich bei der Kamera 2 um eine Wärmebildkamera. In weiteren Ausführungsbeispielen ist die Kamera 2 als UV-Kamera, als THz-Kamera, als μm-Wellen-Kamera oder als allgemeine Kamera zur Aufnahme von Non-VIS-Bildern in einem nicht-sichtbaren Spektralbereich ausgebildet.
Die Kamera 2 weist in ihrem Inneren in an sich bekannter Weise einen Detektor 3 auf, welcher in dem nicht-sichtbaren Spektralbereich empfindlich ist und mit welchem in diesem nicht-sichtbaren Spektralbereich Bilder aufgenommen werden können.
3 zeigt beispielhaft einen derartigen Detektor 3.
Der Detektor 3 stellt ein zweidimensionales Aufnahmefeld 4 bereit, welches eine Aufnahmebildauflösung definiert.
Diese Aufnahmebildauflösung ist bei einem Detektor mit einer zweidimensionalen Feldanordnung von Sensorelementen durch die Anzahl und die Größe der Sensorelemente in der Feldanordnung und deren Abstand zueinander gegeben. Bei einem Detektor in Scanner-Technik ist die Aufnahmebildauflösung durch die Größe des Sensorelements und die Rasterung der Scanner-Mechanik gegeben.
Die Messanordnung 1 gemäß 1 und 2 weist weiter in ihrem Inneren eine Bildverarbeitungseinheit 5 auf.
Die Bildverarbeitungseinheit 5 ist hierbei als Datenverarbeitungseinrichtung so eingerichtet, dass eine vorgegebene Menge von Bildern, welche mit dem Detektor 3 jeweils mit der Aufnahmebildauflösung aufgenommen wurden, zu einem SR-Bild mit einer gegenüber der Aufnahmebildauflösung erhöhten Ausgabebildauflösung kombinierbar sind.
Um in der Bildverarbeitungseinheit 5 brauchbare Ergebnisse in Form eines SR-Bildes von ansprechender Qualität zu erzielen, benötigt die Bildverarbeitungseinheit 5 als Eingangsgröße Bilder 6 und 7, die von einer Szene, die zwischen den Aufnahmen im Wesentlichen unverändert geblieben ist.
Um aus den Bildern 6, 7 Informationen gewinnen zu können, die zu Bildabständen unterhalb des kleinsten Pixelabstands des Detektors 3 gehören, ist in der Messanordnung 1 eine Modalität 8 vorgesehen.
Die Modalität 8 weist nicht weiter dargestellte elektrisch betreibbare Aktuatoren auf, welchen in an sich bekannter Weise der Detektor 3 in wenigstens zwei Raumrichtungen mechanisch verschiebbar ist. Diese Aktuatoren werden durch elektronische Bauelemente 9 elektrisch angesteuert.
Durch diese Verschiebung wird die Lage der abgebildeten Szene 10, 11 in dem Aufnahmefeld 4 des Detektors 3 verändert.
Hierdurch erscheint die abgebildete Szene 10 in dem Bild 6 an einer anderen Bildposition als die abgebildete Szene 11 in dem Bild 7.
Da die abgebildete Szene 10, 11 zwischen den Aufnahmen im Wesentlichen unverändert bleibt, ist diese scheinbare Bildverschiebung zwischen den Bildern 6 und 7, die aus der Relativbewegung des Aufnahmefeldes 4 gegenüber der auf das Aufnahmefeld 4 projizierten oder abgebildeten Szene 10, 11 resultiert, gut erkennbar.
Die Aktuatoren der Modalität 8 bewirken somit eine mechanische Bewegung eines den Detektor 3 tragenden Teils 12 der Kamera 2 gegenüber einem weiteren Teil 13 der Kamera 2, welches beispielsweise fest mit dem Gehäuse 14 der Kamera 2 verbunden sein kann. Im Ausführungsbeispiel ist das Teil 13 eine Platine, welche die Bauelemente 9 oder weitere elektronische Bauelemente trägt. Ferner trägt die Platine den Detektor 13, der auf der Platine beweglich angeordnet ist.
Zur Verdeutlichung des Erfindungsprinzips sind die Teile 12, 13 nur schematisch und stark vereinfacht dargestellt. In den Ausführungsbeispielen der Erfindung weisen die Teile 12, 13 komplexere Formen auf.
Die Aktuatoren der Modalität 8 werden elektrisch so angesteuert, dass das Teil 12 mit dem Detektor 3 eine mechanische Schwingung ausführt, welche einen unregelmäßigen Bewegungsablauf aufweist. Der Detektor 3 führt somit eine unkontrollierte und zufällige Bewegung gegenüber dem Teil 13, der Platine, aus.
Die 5 bis 7 zeigen eine weitere erfindungsgemäße Möglichkeit, die Lage einer abgebildeten Szene im Aufnahmefeld 4 eines Detektors 3 zwischen den einzelnen Aufnahmen oder während der Aufnahme einer Bildfolge zu verändern.
In den stark vereinfachten Darstellungen gemäß 5 bis 7 ist eine Szene 15 gezeigt, welche ein Objekt A enthält. Das Objekt A strahlt in einem nicht-sichtbaren Spektralbereich elektromagnetische Strahlung aus, welche mit einer in diesem nicht-sichtbaren Spektralbereich optisch wirkenden Optikanordnung 17 erfasst und auf einen in diesem nicht-sichtbaren Spektralbereich empfindlichen Detektor 3 der Messanordnung 1 geleitet wird.
Die Optikanordnung 17 weist hierzu optisch wirkende Elemente 18, 19, 20 auf, welche die elektromagnetische Strahlung 16 in dem nicht-sichtbaren Spektralbereich in einem Strahlengang auf das Aufnahmefeld 4 des Detektors 3 der Messanordnung 1 führen.
Bei den Ausführungsbeispielen gemäß 5 bis 7 wird als elektromagnetische Strahlung 16 eine infrarote Strahlung erfasst, und die Kamera 2 der Messanordnung 1 ist als Wärmebildkamera ausgebildet. Bei weiteren Ausführungsbeispielen können jedoch auch andere Spektralbereiche gemessen werden.
Die Optikanordnung 17 ist so eingerichtet, dass die abgebildete Szene 10 an einer gewünschten Position auf das Aufnahmefeld 4 projiziert wird.
Um für die bereits erwähnte Generierung eines SR-Bildes weitere Informationen zu erfassen, soll die Lage der abgebildeten Szene 10 in dem Aufnahmefeld 4 gegenüber der dargestellten Position in 5 verändert werden.
Dies wird bei der in 6 gezeigten Variante dadurch erreicht, dass wenigstens eine optische Eigenschaft, beispielsweise eine Brechzahl oder eine optische Aktivität, wenigstens eines optisch wirkenden Elements 19 der Optikanordnung 17 variiert wird. Das Element 19 kann hierzu auch aus mehreren, gegeneinander verstellbaren Einzelelementen aufgebaut sein.
Hierdurch verändert sich der Strahlengang der Optikanordnung 17, und die elektromagnetische Strahlung 16 wird in veränderter Weise auf den Detektor 3 geleitet, so dass die abgebildete Szene 11 an einer veränderten Bildposition auf das Aufnahmefeld 4 projiziert wird.
Somit ergibt sich eine Veränderung der Lage der abgebildeten Szene 11 in dem mit dem Aufnahmefeld 4 aufgenommenen Bild.
In einer weiteren Variante wird zur Veränderung der Lage die Lage des optisch wirkenden Elements 19 in dem Strahlengang der Strahlung 16 verändert, so dass die Lage der abgebildeten Szene 11 in dem Aufnahmefeld 4 ebenfalls verändert wird.
Die Änderung der optischen Eigenschaften bzw. der Lage des Elements 19 erfolgt hierbei unkontrolliert und zufällig, so dass sich ein unregelmäßiger Bewegungsablauf ergibt, der nicht überwacht oder geregelt, sondern lediglich angeregt oder angestoßen wird.
Die Varianten gemäß 6 und 7 sind auch miteinander kombinierbar, und es ist bei weiteren Ausführungsbeispielen vorgesehen, dass ein Teil der optisch wirkenden Elemente 18, 19, 20 der Optikanordnung 17 mit einer Modalität 8 gemäß dem Prinzip von 6 ausgerüstet sind, während ein anderer Teil der optisch wirkenden Elemente 18, 19, 20 mit einer Modalität 8 ausgerüstet sind, welche nach dem Prinzip der 7 arbeitet.
Bei den dargestellten Ausführungsbeispielen gemäß 3 bis 7 wird somit die jeweilige Modalität 8 zwischen den einzelnen aufgenommenen Bildern 6, 7 betätigt, um eine Lageverschiebung der jeweils aufgenommenen Szenen 10, 11 in dem Aufnahmefeld 4 zu erreichen.
Die aufgenommenen Bilder 6, 7 werden im Anschluss einer Grobregistrierungseinheit 21 zugeführt, welche in die Bildverarbeitungseinheit 5 integriert ist.
In der Grobregistrierungseinheit 21 werden die Bilder 6, 7 in Grobregistrierung gebracht, so dass Bildpixel der Bilder 6, 7 zu Bildbereichen miteinander entsprechenden Bildinhalten gegenseitig zugeordnet werden.
Hierzu kann die Grobregistrierungseinheit ein Ansteuerungssignal oder ein Messsignal der Modalität 8 auswerten, um Rechenzeit bei der Grobregistrierung zu reduzieren.
Mit den grobregistrierten Bildern 6, 7 wird im Anschluss ein Optimierungsverfahren durchgeführt, bei welchem eine Energiefunktion minimiert wird. Bevorzugt wird hierbei eine Energiefunktion nach J. Flusser et al.: A unified approach to super resolution and multi-channel blind deconvolution, IEEE transactions an image processing, vol. 16, no. 9, September 2007, S. 2322–2332, verwendet.
Hierbei werden die aufgenommenen Bilder 6, 7 mit einer Punktspreizfunktion variiert, wobei die Punktspreizfunktion einen Variationsparameter enthält, welcher eine subpixelgenaue Verschiebung beschreibt.
In dem Optimierungsverfahren werden die Variationsparameter entsprechend variiert, bis die Energiefunktion einen optimalen Wert annimmt.
Das so berechnete SR-Bild kann anschließend an einer Anzeigeeinheit 21 angezeigt oder über eine Datenschnittstelle an einer Ausgabeeinheit 23 ausgegeben werden.
Bei den Ausführungsbeispielen gemäß 1 bis 7 sind die Bestandteile der Messanordnung 1 in das Gehäuse 14 der Kamera 2 integriert.
Bei anderen Ausführungsbeispielen können einzelne Bestandteile der Messanordnung 1 auch separat ausgebildet sein. Beispielsweise kann die Bildverarbeitungseinheit 5 in einem PC ausgebildet sein, welcher an die den Detektor 3 umfassende Kamera 2 zur Bildverarbeitung angeschlossen ist.
Bei der Messanordnung 1 mit einem im nicht-sichtbaren Spektralbereich aufnehmenden Detektor 3 einer Kamera 2 wird vorgeschlagen, mit einer elektrisch und/oder mechanisch betreibbaren Modalität 8 zwischen der Aufnahme von Bildern 6, 7 eine relative Verschiebung einer abgebildeten Szene 10, 11 in Bezug auf ein zweidimensionales Aufnahmefeld 4 des Detektors 3 auszuführen, um Bilder 6, 7 einer im Wesentlichen unveränderten Szene 15 zu erhalten, welche zu einem SR-Bild mit erhöhter Ausgabebildauflösung kombinierbar sind.

Claims

Messanordnung (1), umfassend eine in einem nicht-sichtbaren Spektralbereich aufnehmende Kamera (2), mit einem zur Aufnahme im nicht-sichtbaren Spektralbereich eingerichteten, ein Aufnahmefeld (4) mit einer Aufnahmebildauflösung bereitstellenden Detektor (3), und weiter umfassend eine Bildverarbeitungseinheit (5), welche zur Erzeugung eines SR-Bildes mit einer Ausgabebildauflösung durch Kombination von wenigstens zwei mit dem Detektor (3) mit der Aufnahmebildauflösung aufgenommenen Bildern (6, 7) einer Szene (15) eingerichtet ist, wobei die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist, wobei eine mechanisch und/oder elektrisch betreibbare Modalität (8) vorgesehen ist, mit welcher eine Lage der abgebildeten Szene (10, 11) in dem Aufnahmefeld (4) des Detektors (3) veränderbar ist, dadurch gekennzeichnet, dass die Modalität (8) ein in dem nicht-sichtbaren Spektralbereich optisch wirkendes Element (19) aufweist, dessen Vergrößerungsfaktor oder Brennweite mechanisch und/oder elektrisch veränderbar ist, und dass die Bildverarbeitungseinheit (5) eine Grobregistrierungseinheit (21) aufweist, welche zur Durchführung einer Grobregistrierung der Bilder (6, 7) aus der Menge von aufgenommenen Bildern (6, 7) eingerichtet ist, wobei mit der Grobregistrierung eine Zuordnungsvorschrift zwischen den zu kombinierenden Bildern (6, 7) bereitstellbar ist, welche einzelne Bildpixel der unterschiedlichen Bilder (6, 7) einander derart zuordnet, dass sich eine inhaltliche Übereinstimmung ergibt, wobei die Grobregistrierungseinheit (21) zur Ermittlung der inhaltlichen Übereinstimmung mit Hilfe einer Analyse des Bildinhalts durch eine Merkmalsanalyse und/oder durch Auswertung einer Korrelationsfunktion eingerichtet ist.
Messanordnung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Modalität (8) zur Erzeugung oder Anregung von mechanischen Schwingungen eingerichtet ist.
Messanordnung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Modalität (8) ein in dem nicht-sichtbaren Spektralbereich optisch wirkendes Element (19) aufweist, dessen Lage in einem Strahlengang der Kamera (2) mechanisch und/oder elektrisch veränderbar ist/.
Messanordnung (1) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Modalität (8) zur Bewegung wenigstens eines Teils (12) der Kamera (2), insbesondere des Detektors (3), eingerichtet ist und/oder dass die Modalität (8) zur Ausführung eines unregelmäßigen, insbesondere zufälligen und/oder unkontrollierten, Bewegungsablaufs eingerichtet ist.
Messanordnung (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (5) zur Durchführung eines vorzugsweise einer Grobregistrierung nachgelagerten Optimierungsverfahrens eingerichtet ist, wobei als ein Variationsparameter des Optimierungsverfahrens eine subpixelgenaue Verschiebung der vorzugsweise grobregistrierten Bilder (6, 7) relativ zueinander verwendbar ist.
Bildaufbereitungsverfahren zur Verbesserung der Bildauflösung, welches die Schritte Abbilden einer Szene (15) auf ein eine Aufnahmebildauflösung definierendes Aufnahmefeld (4) eines Detektors (3) einer in einem nicht-sichtbaren Spektralbereich aufnehmenden Kamera (2), Aufnehmen einer Menge von Bildern (6, 7) mit der Aufnahmebildauflösung und Erzeugen eines aufbereiteten SR-Bildes durch eine Kombination der aufgenommenen Bilder (6, 7), wobei die Ausgabebildauflösung größer als die Aufnahmebildauflösung ist, umfasst, wobei während und/oder zwischen den einzelnen Aufnahmen der Bilder (6, 7) mit einer mechanisch und/oder elektrisch betriebenen Modalität (8) eine Lage der abgebildeten Szene (10, 11) im Aufnahmefeld (4) verändert wird, dadurch gekennzeichnet, dass mit der Modalität (8) ein Vergrößerungsfaktor oder eine Brennweite in den nicht-sichtbaren Spektralbereich eines in dem nicht-sichtbaren Spektralbereich optisch wirkenden Elements (19) mechanisch und/oder elektrisch betrieben verändert wird und dass die Bilder (6, 7) der Menge von Bildern (6, 7) in einer Grobregistrierungseinheit (21) automatisch in eine Grobregistrierung gebracht werden, wobei im Ergebnis der Grobregistrierung eine Zuordnungsvorschrift zwischen den zu kombinierenden Bildern (6, 7) bereitgestellt wird, welche einzelne Bildpixel der unterschiedlichen Bilder (6, 7) einander derart zuordnet, dass sich eine inhaltliche Übereinstimmung ergibt, wobei diese inhaltliche Übereinstimmung mit Hilfe einer Analyse des Bildinhalts durch eine Merkmalsanalyse und/oder durch Auswertung einer Korrelationsfunktion ermittelt wird.
Bildaufbereitungsverfahren nach Anspruch 6, dadurch gekennzeichnet, dass mit der Modalität (8) eine mechanische Schwingung erzeugt oder angeregt wird und/oder dass mit der Modalität (8) eine unregelmäßige, insbesondere eine zufällige und/oder unkontrollierte, Bewegung ausgeführt wird.
Bildaufbereitungsverfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass mit der Modalität (8) eine Lage in einem Strahlengang der Kamera (2) eines in dem nicht-sichtbaren Spektralbereich optisch wirkenden Elements (19) mechanisch und/oder elektrisch betrieben verändert wird.
Bildaufbereitungsverfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass mit der Modalität (8) wenigstens ein Teil (12) der Kamera (2), insbesondere der Detektor (3), bewegt wird, insbesondere relativ zu einem Strahlengang.
Bildaufbereitungsverfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die aufgenommenen Bilder (6, 7) zur Kombination in einem vorzugsweise einer Grobregistrierung nachgelagerten Optimierungsverfahren verarbeitet werden, wobei als ein Variationsparameter des Optimierungsverfahrens eine subpixelgenaue Verschiebung der vorzugsweise grobregistrierten Bilder (6, 7) relativ zueinander verwendet wird.
Bildaufbereitungsverfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass in dem Optimierungsverfahren für jedes der Bilder (6, 7) aus der Menge von Bildern (6, 7) eine Faltung eines aus den Bildern (6, 7) probeweise erzeugten SR-Bildes mit einer den Variationsparameter charakterisierenden Punktspreizfunktion berechnet wird.