DE102005045036A1

DE102005045036A1 - Multispektralkamera und Verfahren zum Erzeugen von Bildinformation mit einer Multispektralkamera

Info

Publication number: DE102005045036A1
Application number: DE102005045036A
Authority: DE
Inventors: Alexander Hinz
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2005-09-21
Filing date: 2005-09-21
Publication date: 2007-03-22

Abstract

Die Erfindung betrifft eine Multispektralkamera 111 mit einer ersten Bildsignalerfassungseinheit 107 zur Erfassung eines Bildsignals in wenigstens zwei verschiedenen schmalbandigen Spektralbereichen. Die Kamera hat weiter eine zweite Bildsignalerfassungseinheit 108 zur Erfassung des Bildsignals in einem panchromatischen Spektralbereich, welcher die wenigstens zwei verschiedenen schmalbandigen Spektralbereiche abdeckt. Die erste Bildsignalerfassungseinheit 107 und die zweite Bildsignalerfassungseinheit 108 sind mit einer Bildsignalverarbeitungseinheit 109 verbunden. Diese Bildsignalverarbeitungseinheit 109 gibt auf einer Anzahl von Bildsignalausgabekanälen 112, 113, 114 Farbinformationen ab, welche der Anzahl der mittels der Bildsignalerfassungseinheiten erfassten schmalbandigen Spektralbereiche entspricht. Erfindungsgemäß normiert die Bildsignalverarbeitungseinheit 109 die Intensität Int (i) des Signals in dem i-ten erfassten Spektralbereich entsprechend dem Kanal nach folgender Vorschrift: DOLLAR F1 wobei eta¶pan¶ (lambda) die auf 1 normierte spektrale Empfindlichkeit des panchromatischen Signals und eta¶MS¶ (i, lambda) die auf 1 normierte spektrale Empfindlichkeit des dem i-ten erfassten Spektralbereich entsprechenden Kanals ist.

Description

Die Erfindung betrifft eine Multispektralkamera nach dem Oberbegriff des Anspruchs 1 und ein Verfahren zum Erzeugen von Bildinformation nach dem Oberbegriff des Anspruchs 8.

Eine Multispektralkamera der eingangs genannten Art, in der das Verarbeiten von Bildinformation mit einem Verfahren der eingangs genannten Art erfolgt, wird als Kamera DMC von der Firma ZI Imaging GmbH angeboten. Diese Kamera ist für Luftbildaufnahmen ausgelegt. In dieser Kamera wird ein hochaufgelöstes panchromatisches Bild eines Objektbereichs generiert, welches von einem CCD-Sensor im Spektralbereich von 350–900 nm aufgenommen wird und auf ca. 101 Mio. Pixeln basiert. Darüber hinaus werden Farbauszüge mittels vier weiterer CCD-Kameraeinheiten mit einer geringeren Auflösung von jeweils 6 Mio. Pixeln aufgenommen. Diese CCD-Kameraeinheiten sind mit Farbfiltern für die Bereiche Rot, Grün, Blau und Infrarot bestückt. Die Kamera hat damit einen hochaufgelösten panchromatischen Bildkanal und 4 niedrig aufgelöste schmalbandige Bildkanäle.

Die Farbauszüge der Multispektralkamera werden jeweils getrennt für die Kanäle „Rot", „Grün", „Blau" (RGB) für den Fall einer Farbdarstellung und die Kanäle „Infrarot", „Rot" und „Grün" (IRG) im Falle einer Falschfarbentastung bestimmt. Hierzu werden die Farbauszüge zunächst in einem niedrig aufgelösten Kanal berechnet und als Farbvektor mit einem bestimmten Helligkeitswert h und zwei Farbkomponenten u, v dargestellt. Mit diesem Farbvektor erfolgt dann ein „Resampling" in die höhere Auflösung des panchromatischen Kanals. Darauf wird Helligkeitsinformation des räumlich niedrig aufgelösten Multispektralraums durch die hochaufgelösten Werte des panchromatischen Kanals ersetzt. Hierdurch ergibt sich ein hochaufgelöstes Farbbild.

Dieses Verfahren wird auch für die Auswertung der Bildinformation von Satellitenkameras eingesetzt, die mehrere Multispektralkanäle haben können.

Bei einer solchen konventionellen Multispektralkamera besteht das Problem, dass beispielsweise Vegetationsszenen mit einem hohen Anteil an Grünpflanzen nur mit geringem Farbkontrast abgebildet werden. Der hohe Anteil von Chlorophyll in den Blättern von Grünpflanzen führt dazu, dass diese normales Sonnenlicht im grünen Spektralbereich vergleichsweise gering reflektieren, dagegen Licht im infraroten Spektralbereich mit einer Wellenlänge oberhalb von 750 nm um den Faktor 3 bis 10 stärker reflektieren. Verfügt bei entsprechenden Kameras der hochauflösende panchromatische Kanal über eine in das Infrarote ausgedehnte spektrale Empfindlichkeit, werden, wenn keine geeignete Bearbeitung der auf den Farbkanälen anliegenden Bildinformation erfolgt, die Vegetationszonen überbetont hell dargestellt. Die Folge ist, dass das erfasste Bild nur einen schlechten Kontrast hat. Zur Vermeidung dieses Problems ist es bekannt, den panchromatischen Kanal mit einem IR-Sperrfilter zu blockieren. Diese Maßnahme führt jedoch zu einem Verlust an räumlicher Auflösung von mit der Multispektralkamera erfasster Bildinformation.

Aufgabe der Erfindung ist es, eine Multispektralkamera und ein Verfahren zum Erzeugen von Bildinformation bereitzustellen, welche bei geringer Signalintensität in Bildkanälen mit schmalbandigem Spektralbereich und bei hoher Signalintensität in einem Bildkanal mit panchromatischem Spektralbereich eine hochaufgelöste Bilddarstellung mit gutem Kontrast ermöglicht.

Diese Aufgabe wird durch eine Multispektralkamera mit den Merkmalen des Anspruchs 1 und ein Verfahren zum Erzeugen von Bildinformation mit den Merkmalen des Anspruchs 8 gelöst. Hierbei können eine, zwei oder mehr Bilderfassungseinheiten zur Erfassung eines Bildsignals in zwei, drei oder mehr verschiedenen schmalbandigen Spektralbereichen vorgesehen sein, etwa dem roten, grünen, blauen und infraroten Spektralbereich. Weiter wird das Signal einer Bilderfassungseinheit zur Erfassung von Bildinformation mit hoher räumlicher Auflösung und einer Empfindlichkeit in einem breitbandigen Spektralbereich ausgewertet, der die schmalbandigen Spektralbereiche des oder der anderen Bildsignalerfassungseinheiten abdeckt. Indem ein schmalbandiger Spektralbereich wenigstens teilweise mit dem infraroten Spektralbereich überlappt, ist es möglich, Bildinformationen, deren Licht im nicht sichtbaren Spektralbereich liegt, mit gutem Kontrast sichtbar zu machen.

Eine solche Multispektralkamera kann beispielsweise in ein Mikroskop, ein Operationsmikroskop oder ein Luftbildaufnahmegerät integriert werden.

Vorteilhafte Ausführungsform der Erfindung sind in den Unteransprüchen angegeben und werden anhand der Zeichnungen nachfolgend beschrieben.

Es zeigen:

1 ein Mikroskop mit Multispektralkamera;

2 eine Bilderfassungseinheit der Multispektralkamera zur Erfassung von 4 schmalbandigen Spektralbereichen;

3 eine Bilderfassungseinheit der Multispektralkamera zu Erfassung eines panchromatischen Spektralbereichs;

4 die spektrale Empfindlichkeiten von Bilderfassungseinheiten der Multispektralkamera; und

5 ein Luftbildaufnahmegerät mit einer Multispektralkamera.

Das Mikroskop 100 in 1 hat ein Mikroskop-Hauptobjektiv 101, durch welches ein Objekt 102 auf einem Objektträger 103 mittels eines schematisch gezeigten optischen Strahlengangs 104 auf einer ersten Bildsignalerfassungseinheit 107 und einer zweiten Bildsignalerfassungseinheit 108 abgebildet wird. Um die Bildinformation des Objekts 102 der Bildsignalerfassungseinheit 107 und der Bildsignalerfassungseinheit 108 zuzuführen, sind im optischen Strahlengang 104 ein Strahlteiler 105 und ein Umlenkspiegel 106 vorgesehen.
Die erste Bildsignalerfassungseinheit 107 ist für Licht in vier schmalbandigen Spektralbereichen empfindlich, welche im grünen, blauen, roten und infraroten Wellenlängenspektrum liegen. Die zweite Bildsignalerfassungseinheit 108 ermöglicht das Detektieren eines Lichtsignals mit hoher räumlicher Auflösung bei einer Lichtempfindlichkeit in einem panchromatischen breitbandigen Spektralbereich.
Den Bildsignalerfassungseinheiten 107 und 108 in dem Mikroskop 100 ist eine Bildsignalverarbeitungseinheit 109 zugeordnet, welche ein verarbeitetes Bildsignal mit Bildsignalausgabekanälen 112, 113, 114 und 115, welche die Farbinformation des roten, grünen, blauen und infraroten Spektralbereichs tragen, auf eine Bildsignaldarstellungseinheit 110 abgeben.
2 zeigt den prinzipiellen Aufbau der ersten Bildsignalerfassungseinheit 200 zur Erfassung von Bildsignalen in vier verschiedenen schmalbandigen Spektralbereichen, welche im roten, blauen, grünen und infraroten Wellenlängenspektrum liegen.
Die erste Bildsignalerfassungseinheit 200 umfasst einen CCD-Sensor mit 6 Mio. Pixeln 201, 202, 203, 204 ..., welche jeweils mit einem grünen, roten, blauen und infraroten Farbfilter bestückt sind. Ein Ensemble von vier Pixeln dieses CCD-Sensors der Bildsignalerfassungseinheit 200 bildet eine Bildsignalgruppe 210, 220, 230. Die geometrischen Abmessungen der Bildsignalgruppen des CCD-Sensors legen die räumliche Auflösung des mit der Bilderfassungseinheit 200 bestimmbaren Bildinformation fest.
Die 3 zeigt eine Bildsignalerfassungseinheit 300 zur Erfassung eines Bildsignals im panchromatischen Spektralbereich. Diese Bildsignalerfassungseinheit hat 100 Mio. Detektorpixel 301, 302, 303, ..., welche für Lichtsignale in einem Spektralbereich zwischen 350 nm und 900 nm empfindlich sind.
Anhand von 4 ist die relative spektrale Empfindlichkeit S_r(λ) von Detektorpixeln in den Bildsignalerfassungseinheiten 200 und 300 aus 2 bzw. 3 erläutert.
Die relative spektrale Empfindlichkeit des Detektorpixels 301 in 3 entspricht der Kurve 400 in 4. Die relative spektrale Empfindlichkeit der Detektorpixel 201, 202, 203 und 204 in der Bildsignalerfassungseinheit 200 aus 2 entspricht aufgrund der vor den Pixeln angeordneten Filter für den roten, grünen, blauen und infraroten Spektralbereich den Kurven 401, 402, 403 und 404 in 4.
Die Bildsignalverarbeitungseinheit 109 in 1 verarbeitet die Bildsignalinformation der Bildsignalerfassungseinheit 107 und 108 nach folgender Vorschrift:
wobei Int (i) die Intensität des Signals in dem i. erfassten Spektralbereich ist, η_pan(λ) und η_MS(i, λ) jeweils für die auf 1.0 normierten spektralen Empfindlichkeitskurven des panchromatischen Kanals und der verschiedenen schmalbandigen Spektralkanäle stehen:
und ∫dλη_pan(λ)·η_MS(i, λ) das Integral über das Produkt von η_pan(λ) und η_MS(i, λ) bedeutet.
Die Bildsignalverarbeitungseinheit 109 führt ein „Resampling" in die höhere Auflösung des panchromatischen Kanals durch um dann die Bildinformation auf die Bilddarstellungseinheit 110 auszugeben.
Dies bewirkt, dass der Farbbeitrag des i-ten schmalbandigen Farbkanals der Bildsignalerfassungseinheit 107 „Farbbeitrag (i)" auf der Bilddarstellungseinheit 110 den folgenden Wert hat:
wobei J der Gesamtanzahl der schmalbandigen Farbkanäle entspricht, welche im vorliegenden Fall 4 beträgt.
Damit wird gewährleistet, dass sofern ein von Null verschiedenes Signal mit geringer Intensität auf einem schmalbandigen Farbkanal anliegt, dieses auf der Bilddarstellungseinheit 110 mit erhöhter Intensität zu sehen ist, wogegen ein Signal mit hoher Intensität auf einem schmalbandigen Farbkanal etwas abgeschwächt auf der Bilddarstellungseinheit 110 dargestellt wird.
Die 5 zeigt eine Luftbildaufnahmeeinheit 500 mit einer Multispektralkamera 511, welche eine erste Bildsignalerfassungseinheit 501 für den roten, grünen und blauen Spektralbereich, eine zweite Bildsignalerfassungseinheit 502 für den infraroten Spektralbereich und eine dritte Bildsignalerfassungseinheit 503 für den panchromatischen Spektralbereich aufweist. In der Multispektralkamera 5011 ist weiter eine Bildsignalverarbeitungseinheit 504 vorgesehenen, welche mit einer der oben angegeben Vorschrift entsprechenden Vorschrift die Bildsignale der Bildsignalerfassungseinheiten auswertet und die verarbeiteten Bildsignale einer Bildsignalspeichereinheit 505 zuführt.

Claims

Multispektralkamera (111, 511) – mit einer ersten Bildsignalerfassungseinheit (107, 501,502) zur Erfassung eines Bildsignals in wenigstens zwei verschiedenen schmalbandigen Spektralbereichen; – mit einer zweiten Bildsignalerfassungseinheit (108, 503) zur Erfassung des Bildsignals in einem panchromatischen Spektralbereich, welcher die wenigstens zwei verschiedenen schmalbandigen Spektralbereiche abdeckt; und – mit einer Bildsignalverarbeitungseinheit (109, 504), die mit der Bildsignalerfassungseinheit (107, 501, 502) zur Erfassung des Bildsignals in wenigstens zwei verschiedenen Spektralbereichen und mit der Bildsignalerfassungseinheit (108, 503) zur Erfassung des Bildsignals in dem panchromatischen Spektralbereich verbunden ist; – wobei die Bildsignalverarbeitungseinheit (109, 504) auf einer Anzahl von Bildsignalausgabekanälen (112, 113, 114, 115, 512, 513, 514, 515) Farbinformation abgibt, welche der Anzahl der mittels der Bildsignalerfassungseinheiten (107, 501, 502) erfassten schmalbandigen Spektralbereich (401, 402, 403, 404) entspricht, dadurch gekennzeichnet, dass – die Bildsignalverarbeitungseinheit (109, 504) die Intensität Int (i) des Signals in dem Kanal, welche dem i-ten erfassten Spektralbereich entspricht nach folgender Vorschrift normiert:
η_pan(λ) die auf 1 normierte spektrale Empfindlichkeit des panchromatischen Signals ist; η_MS (i, λ) die auf 1 normierte spektrale Empfindlichkeit des dem i-ten erfassten Spektralbereich entsprechenden Kanals ist; und ∫dλ I_pan(λ)·η_MS(i, λ) das Integral über das Produkt von η_pan(λ) und η_MS(i, λ) ist.
Multispektralkamera nach Anspruch 1, dadurch gekennzeichnet, dass eine Bildsignalerfassungseinheit (501) zur Erfassung eines Bildsignals in drei verschiedenen schmalbandigen Spektralbereichen (401, 402, 403) vorgesehen ist.
Multispektralkamera nach Anspruch 1, dadurch gekennzeichnet, dass eine Bildsignalerfassungseinheit (107) zur Erfassung eines Bildsignals in vier verschiedenen schmalbandigen Spektralbereichen (404, 401, 402, 403) vorgesehen ist.
Multispektralkamera nach Anspruch 2, dadurch gekennzeichnet, dass die drei verschiedenen Spektralbereiche (401, 402, 403) den blauen, grünen und roten Spektralbereich abdecken.
Multispektralkamera nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein schmalbandiger Spektralbereich (404) wenigstens teilweise mit dem infraroten Spektralbereich überlappt.
Mikroskop (100), insbesondere Operationsmikroskop mit einer Multispektralkamera nach einem der Ansprüche 1 bis 5.
Luftbildaufnahmegerät (500) mit einer Multispektralkamera (511) nach einem der Ansprüche 1 bis 5.
Verfahren zum Erzeugen von Bildinformation mit einer Multispektralkamera umfassend folgende Verfahrensschritte: – Bereitstellen einer ersten Bildsignalerfassungseinheit (107, 501, 502) zur Erfassung eines Bildsignals in wenigstens zwei verschiedenen schmalbandigen Spektralbereichen; – Bereitstellen einer zweiten Bildsignalerfassungseinheit (108, 503) zur Erfassung des Bildsignals in einem panchromatischen Spektralbereich, welcher die wenigstens zwei verschiedenen schmalbandigen Spektralbereiche abdeckt, – Ausgeben von Farbinformation auf einer Anzahl von Bildsignalausgabekanälen (112, 113, 114, 115, 512, 513, 514, 515) welche der Anzahl der mit der ersten Bildsignalerfassungseinheit (107, 501, 502) erfassten wenigstens zwei verschiedenen schmalbandigen Spektralbereiche entspricht. dadurch gekennzeichnet, dass – die Intensität Int (i) des im i-ten schmalbandigen Spektralbereich nach folgender Vorschrift normiert wird:
η_pan(λ) die auf 1 normierte spektrale Empfindlichkeit des panchromatischen Signals ist; η_MS (i, λ) die auf 1 normierte spektrale Empfindlichkeit des dem i-ten erfassten Spektralbereich entsprechenden Kanals ist; und ∫dλ η_pan(λ)·η_MS(i, λ) das Integral über das Produkt von η_pan(λ) und η_MS(i, λ) ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mit der ersten Bildsignalerfassungseinheit (107, 501, 502) Bildsignale in drei verschiedenen schmalbandigen Spektralbereichen (401, 402, 403) erfasst werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mit der Bildsignalerfassungseinheit (107) Bildsignale in vier verschiedenen schmalbandigen Spektralbereich (404, 401, 402, 403) erfasst werden.