DE102012212252A1

DE102012212252A1 - Bildsensor und Kamera für ein Mikroskop

Info

Publication number: DE102012212252A1
Application number: DE201210212252
Authority: DE
Inventors: Thorsten Blaetter
Original assignee: Leica Microsystems Schweiz AG
Current assignee: Leica Microsystems Schweiz AG
Priority date: 2012-07-12
Filing date: 2012-07-12
Publication date: 2014-01-16

Abstract

Die vorliegende Erfindung betrifft einen Bildsensor (10, 10L, 10R) mit einem photosensitiven Chip (11, 11L, 11R) und einem dem Chip vorgeschalteten Farbfilterarray (1, 1L, 1R) zur Erzeugung von Farbbildern, wobei jeweils ein Filterelement (2–5) des Farbfilterarrays (1, 1L, 1R) einem Pixel des Chips (11, 11L, 11R) zugeordnet ist, mehrere Filterelemente (2–5) einen Farbfilterblock (7) bilden und das Farbfilterarray (1 1L, 1R) durch Anordnung von Farbfilterblöcken (7) aufgebaut ist, wobei ein Farbfilterblock (7) mehrere Filterelemente (2–5) enthält, von denen zumindest ein Filterelement (5) ein Infrarot-Filter darstellt und die restlichen Filterelemente (2, 3, 4) visuelle Farbfilter darstellen. Außerdem betrifft die Erfindung eine Kamera mit einem Bildsensor sowie ein Mikroskop mit einer solchen Kamera und schließlich ein Verfahren zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen und aus dem infraroten Spektralbereich.

Description

Die vorliegende Erfindung betrifft einen Bildensor und eine Kamera mit einem solchen Bildensor für ein Mikroskop, insbesondere für ein Operationsmikroskop, sowie ein Bilderzeugungsverfahren gemäß den Oberbegriffen der unabhängigen Patentansprüche.
Stand der Technik
Die mikroskopische Untersuchung von Objekten erfolgt in der Regel visuell über das Mikroskopokular und/oder über eine angeschlossene Kamera. Besonders bei Fluoreszenzuntersuchungen liegt das aufgenommene Spektrum des Objekts nicht nur im visuellen Wellenlängenbereich (VIS, von etwa 380 nm bis etwa 780 nm), sondern auch im Infrarotbereich, insbesondere im Bereich des nahen Infrarot (NIR, etwa 780 nm bis 3,0 µm). Es existieren einerseits Kameras für den visuellen Bereich, andererseits Kameras für den Infrarotbereich.
Kamera-Chips für Farbkameras für den visuellen Bereich sind in der Regel mit einem sogenannten Bayer-Filter ausgestattet. Ein Bayer-Filter besteht aus einem Mosaik von in Zeilen und Spalten gleichmäßig angeordneten Farbfilterblöcken, wobei jeder Filterblock aus vier in einem Quadrat angeordneten Farbpixel-Filtern (Filterelementen) besteht. Es handelt sich in der Regel um einen roten, einen blauen und um zwei grüne Filterelemente, wobei die grünen Filterelemente in der Regel diagonal angeordnet sind, so dass innerhalb eines Blocks die erste Reihe beispielsweise aus einem roten (R) und grünen (G) Farbpixel-Filter und die untere Reihe aus einem grünen (G) und einem blauen (B) Farbpixel-Filter besteht. Da die Empfindlichkeitskurve geläufiger Kamera-Chips (CCD-Chips) sich vom visuellen Spektralbereich bis zum nahen Infrarotbereich erstreckt, können farbige Bilder nur durch das Vorschalten entsprechender Farbfilter vor den Kamera-Chip erzeugt werden. Der spektralen Empfindlichkeit des menschlichen Auges wird dadurch Rechnung getragen, dass 50% des Bayer-Filters aus grünen Farbfiltern, je 25% aus roten und blauen Farbfiltern besteht. Zur Berechnung der Farbe eines Bildpixels werden die durch die vier Farbpixel-Filter gelangenden Intensitäten verwendet, so dass der Bayer-Sensor (Bayer-Filter mit CCD-Chip) streng genommen nur ein Viertel der Auflösung besitzt, da jeweils vier Farbpixel für ein Bildpixel herangezogen werden müssen. Zur Erhöhung der Auflösung werden verschiedene Interpolationsverfahren eingesetzt, die vorliegend nicht näher diskutiert werden sollen.
Da – wie oben angesprochen – CCD-Chips auch im nahen Infrarotbereich empfindlich und die verwendeten Farbpixel-Filter jeweils zum Teil auch für Infrarotstrahlung durchlässig sind, rüstet man die entsprechenden Kameras für den visuellen Bereich mit Infrarot-Sperrfiltern aus. Auf diese Weise soll sichergestellt werden, dass die Farbinformationen nicht durch Anteile von infrarotem Licht verfälscht werden, die durch die einzelnen Farbpixel-Filter treten. Die Transmissionskurve typischer IR-Sperrfilter fällt im Bereich um 650 nm stark ab, während sie im visuellen Bereich darunter nahezu lichtdurchlässig sind.
Die WO 2005/032147 A1 betrifft einen Bildsensor mit Bayer-Filter und CCD-Array und eine spezielle Auslesetechnik der Reihen des CCD-Arrays.
Alternativen zum geschilderten Bayer-Filter verwenden beispielsweise Filterblöcke mit Cyan-, Gelb-, Grün- und Magenta-Farbpixel-Filtern oder mit Rot-, Grün-, Blau- und Gelb-Farbpixel-Filtern. Auch der Einsatz panchromatischer Zellen, die über den gesamten sichtbaren Bereich von 400 nm bis etwa 700 nm spektral empfindlich sind, wurde zur Erhöhung der Lichtempfindlichkeit vorgeschlagen (vgl. etwa US 2007/0024931 A1 ). Etwa zeitlich parallel wurde ein Filterblock mit einem Rot-, einem Grün- und einem Blau-Farbpixel-Filter sowie einem transparenten Pixel vorgeschlagen, um neben dem sichtbaren Bereich auch den nahen Infrarotbereich abzudecken.
Die vorhandenen Lösungen erlauben nicht, ein Bild im visuellen Spektralbereich (VIS) und ein Bild im nahen Infrarotbereich (NIR) aus ein und derselben Kamera gleichzeitig auszulesen.
Die US-Patentanmeldung, US 2007/0145273 A1 , geht von der klassischen Anordnung für CCD- oder CMOS-Bildsensoren aus, denen als Farbfilterarray beispielsweise ein Bayer-Filter vorgeschaltet ist. Die dort verwendeten Farbpixel-Filter führten jedoch zu einem Verlust von etwa 20% der visuellen spektralen Energie und ließen außerdem Energie im infraroten Spektralbereich durch, wodurch die betreffende Farbinformation verzerrt würde. Aus diesem Grunde werden – wie bereits oben geschildert – Infrarot-Sperrfilter vor ein Farbfilterarray geschaltet. Durch das IR-Sperrfilter kommt es jedoch zu einer zusätzlichen Intensitätsverringerung im visuellen Spektralbereich. Laut dieser Schrift stünden zur Signalverarbeitung durch den Kamera-Chip nur etwa ein Drittel der Intensität zur Verfügung, die ein Kamera-Chip ohne vorgeschaltetes IR-Sperrfilter und Farbfilterarray verwerten kann. Zur Lösung dieses Problems wird in dieser Patentschrift ein sogenannter virtueller Filter vorgeschlagen, wobei auf das IR-Sperrfilter verzichtet wird. Licht aus dem visuellen Spektralbereich und dem Infrarotbereich tritt zunächst durch ein spezielles Farbfilterarray. Bei diesem Farbfilterarray ist eines der Grün-Filterelemente des Bayer-Filters durch ein transparentes Element (W) ersetzt. Von dort trifft das Licht auf einen panchromatischen Bildsensor, der laut dieser Schrift Pixelsensoren aufweist, die sowohl im sichtbaren als auch im infraroten Spektralbereich empfindlich sind. Die einzelnen Sensoren erzeugen nun folgende Farbsignale: ein Signal R', das durch den Rotanteil und den Infrarotanteil bestimmt ist, der durch den Rotfilter tritt. Dementsprechend ein G'-Signal sowie ein B'-Signal und schließlich ein W'-Signal, das proportional zur gesamten Energie ist, die durch das transparente Element hindurchgetreten ist. Aus dem Farbvektor (R', G', B', W') wird der gewünschte Farbvektor (R, G, B) durch eine Matrixtransformation erzeugt, wobei die entsprechende Matrix als virtueller Filter bezeichnet ist. Die Matrixkoeffizienten lassen sich analytisch bestimmen, basierend auf bekannten oder gemessenen Transmissionskoeffizienten des Farbfilterarrays sowie den Umwandlungswerten der einzelnen Pixelsensoren des panchromatischen Bildsensors. Entsprechend dieses Vorgehens seien 85% der einfallenen spektralen Energie nutzbar anstelle der geringeren 32% des herkömmlichen Verfahrens.
Während in dieser Schrift eine Erhöhung der Empfindlichkeit für Farbbildkameras unter Verzicht auf einen IR-Sperrfilter angegeben ist, wird auch hier nicht eine gleichzeitige Darstellung von Bildern aus dem visuellen und dem nahen Infrarotbereich ermöglicht. Das vorgeschlagene Verfahren ist außerdem mathematisch aufwendig und sein Erfolg hängt in hohem Maße von der Genauigkeit der Bestimmung der Matrixkoeffizienten ab, die den virtuellen Filter darstellen.
Jüngere Operationsmikroskope (Leica FL800) der Anmelderin ermöglichen etwa bei der Gefäßchirurgie eine Beobachtung des Blutflusses mithilfe fluoreszierender Substanzen. Der dort verwendete Farbstoff Indocyanine Green (ICG) emittiert bei 835 nm. Diese Fluoreszenzstahlung wird aus dem visuellen Beobachtungsstrahlengang ausgekoppelt und einer speziellen NIR CCD-Kamera zugeführt. Das auf diese Weise erhaltene Bild kann dann dem im visuellen Spektralbereich erhaltenen Mikroskopbild überlagert oder getrennt von ihm betrachtet werden. Diese Technik setzt zwei Videoadapter für das Mikroskop, zwei Digitalkameras und ein entsprechendes System zur Bildwiedergabe bzw. Bildüberlagerung voraus.
Aufgabe vorliegender Erfindung ist es, ein einfacheres, insbesondere zur Aufnahme mikroskopischer Bilder geeignetes System anzugeben, mit dem gleichzeitig Bilder aus dem infraroten und dem visuellen Spektralbereich aufgenommen und betrachtet werden können.
Diese Aufgabe wird erfindungsgemäß durch einen Bildsensor, durch eine Kamera für ein Mikroskop sowie durch ein Verfahren zur Bilderzeugung gemäß den unabhängigen Patentansprüchen gelöst. Weitere Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
Der erfindungsgemäße Bildsensor weist einen photosensitiven Chip, wie einen CCD- oder CMOS-Chip, sowie einen den Chip vorgeschalteten Farbfilterarray zur Erzeugung von Farbbildern auf. Jeweils ein Filterelement des Farbfilterarrays ist einem Pixel des Chips zugeordnet, wobei mehrere Filterelemente einen Farbfilterblock bilden und das Farbfilterarray durch insbesondere gleichmäßige Anordnung von solchen Farbfilterblöcken aufgebaut ist. Bei einem solchen Bildsensor enthält ein Farbfilterblock nun mehrere Filterelemente, von denen zumindest ein Filterelement ein Infrarot-Filter darstellt und die restlichen Filterelemente visuelle Farbfilter darstellen.
Das Farbfilterarray kann hierbei insbesondere ein modifiziertes Bayer-Filter sein, wobei statt des oben geschilderten klassischen Bayer-Filters auch alternative Ausführungsformen verwendet werden können. Erfindungsgemäß muss zumindest ein Filterelement des Bayer-Filters ein Infrarot-Filter darstellen. Die übrigen Filterelemente sind dann beispielsweise ein Rot-Filter, ein Blau-Filter und ein Grün-Filter oder aber andere visuelle Farbfilter, panchromatische oder transparente Filter, wie sie bei den alternativen Ausführungsformen von Bayer-Filtern oben in der Beschreibungseinleitung erwähnt wurden. Insofern soll der Begriff "visuelle Farbfilter" auch die genannten panchromatischen oder transparenten Filter einschließen.
Das zumindest eine Infrarot-Filter stellt vorteilhafterweise ein Filter für das nahe Infrarotspektrum dar, der im Folgenden als NIR-Filter bezeichnet werden soll.
Mit dem erfindungsgemäßen Bildsensor kann somit pro Farbfilterblock ein Chippixel die vorhandene Infrarot-Intensität detektieren. Das IR-Filter ist zu diesem Zweck oberhalb von etwa 750 nm, vorzugsweise oberhalb von etwa 780 nm oder 800 nm, möglichst transparent, während es unterhalb dieser Wellenlängen möglichst undurchlässig ist. Als obere Grenze der Durchlässigkeit kann beispielsweise eine Wellenlänge von 1,0 µm oder aber 2,0 µm oder 3,0 µm gewählt werden. Die obere und untere Grenze der Wellenlänge bestimmt sich nach dem jeweiligen Anwendungsfall, also bei Fluoreszenzuntersuchungen insbesondere nach dem Emissionsspektrum des im infraroten emittierenden Farbstoffs.
Anhand der detektierten IR-Intensität eines Chippixels pro Farbfilterblock lässt sich ein IR-Bild aufnehmen. Die Auflösung des IR-Bildes ist streng genommen somit ein Viertel der durch das Farbfilterarray vorgegebenen maximalen Auflösung. Wiederum lässt sich durch Interpolationsverfahren die Bildqualität erhöhen.
Durch Auslesen der übrigen Filterelemente eines Farbfilterblocks, die visuelle Farbfilter darstellen, lassen sich die jeweiligen Intensitäten der entsprechenden auf die Chippixel gelangenden Intensitäten der zugehörigen Spektralbereiche bestimmen, aus denen sich in herkömmlicher Weise eine Farbinformation bestimmen lässt. Um der Empfindlichkeit des menschlichen Auges Rechnung zu tragen, lässt sich hierbei der detektierte Wert für den grünen Spektralbereich (soweit ein entsprechender Grün-Filter vorhanden) verdoppeln. Insofern ist beim erfindungsgemäßen Bildsensor keine Verschlechterung bei der Bestimmung der Farbintensität pro Farbfilterblock gegeben. Der große Vorteil besteht allerdings darin, dass zusätzlich zur Erzeugung eines Farbbildes nun auch die gleichzeitige Erzeugung eines IR-Bildes möglich ist.
Dieser Vorteil ist für die Mikroskopie sehr bedeutend. Während bisher aus einem Beobachtungsstrahlengang zwei Dokumentationsstrahlengänge auszukoppeln waren, die zur Erzeugung eines visuellen Farbbildes und eines IR-Bildes mittels den jeweils zugeordneten Videoadaptern auf entsprechende Kameras mit den entsprechenden Bildsensoren geleitet werden mussten, halbiert sich dieser Aufwand bei vorliegender Erfindung. Es genügt eine mit dem erfindungsgemäßen Bildsensor ausgestattete Kamera mit Videoadapter zur Erzeugung eines visuellen Farb- und IR-Bildes, wobei beide Bilder gleichzeitig erzeugt und anschließend entweder getrennt voneinander oder überlagert einem Beobachter präsentiert werden können.
Dem entsprechend betrifft die Erfindung weiterhin eine Kamera für ein Mikroskop, insbesondere ein Stereo- oder Operationsmikroskop, mit einem erfindungsgemäßen Bildsensor sowie ein Mikroskop mit einer solchen Kamera.
In einer ersten Ausführungsform weist das erfindungsgemäße Mikroskop eine durch ein Mikroskopobjektiv definierte Hauptachse, zu welcher parallel ein Beobachtungsstrahlengang verläuft, sowie eine Auskoppeleinrichtung auf, mittels derer zumindest ein Teil des Beobachtungsstrahlengangs als Dokumentationsstrahlengang auskoppelbar ist. Zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen Spektralbereich (VIS-Bild) und aus dem infraroten Spektralbereich (IR-Bild) ist dieser ausgekoppelte Dokumentationsstrahlengang der erfindungsgemäßen Kamera zuführbar. Bei dem betreffenden Mikroskop kann es sich um ein monoskopisches oder stereoskopisches Mikroskop handeln, wobei im Falle eines Stereomikroskops Mikroskope vom Teleskop-Typ oder vom Greenough-Typ umfasst sein sollen.
Bei der genannten Ausführungsform wird ein Dokumentationsstrahlengang aus einem Beobachtungsstrahlengang ausgekoppelt, so dass mittels der nachgeschalteten Kamera nur ein monoskopisches Bild, und zwar ein monoskopisches VIS-Bild und ein monoskopisches IR-Bild, zu betrachten ist.
Im Falle eines Stereomikroskops (Operationsmikroskope fallen hier in der Regel darunter) mit zwei Beobachtungskanälen, kann gemäß einer zweiten Ausführungsform mittels einer geeigneten Auskoppeleinrichtung, die dann beispielsweise zwei Videoadapter umfasst, aus jedem der beiden Beobachtungsstrahlengänge zumindest zum Teil jeweils ein Dokumentationsstrahlengang auskoppelbar sein, wobei zur gleichzeitigen Erzeugung eines VIS- und eines IR-Bildes für jeden Beobachtungskanal jeder dieser ausgekoppelten Dokumentationsstrahlengänge jeweils einer erfindungsgemäßen Kamera zuführbar ist. In diesem Falle erhält man somit für den linken und den rechten Beobachtungskanal jeweils ein Kamerabild, aus dem wiederum jeweils ein VIS- und ein IR-Bild erzeugbar sind. In diesem Fall lässt sich somit ein visuelles Farbbild dreidimensional darstellen. Gleichzeitig lassen sich die Datensätze der IR-Bilder der beiden Beobachtungskanäle als dreidimensionales Bild darstellen. Beide Bilder sind gleichzeitig erzeugt und können dem Betrachter getrennt voneinander oder überlagert dargeboten werden.
Als Alternative zur oben genannten zweiten Ausführungsform kann eine dritte Ausführungsform wie folgt angegeben werden: Bei dieser dritten Ausführungsform werden im Unterschied zur zweiten Ausführungsform beide ausgekoppelten Dokumentationsstrahlengänge parallel zueinander einer einzigen erfindungsgemäßen Kamera zugeführt, wobei die Größe des Bildsensors dieser Kamera so bemessen ist, dass auf einem Teil des Bildsensors ein "linkes" Bild und auf einem davon getrennten Teil des Bildsensors ein "rechtes" Bild erzeugbar ist. Die entsprechend dimensionierte Kamera erzeugt dann ein linkes und ein rechtes Bild entsprechend den beiden Beobachtungskanälen des Mikroskops. Aus dem rechten Bild lassen sich wiederum ein VIS- und ein IR-Bild erzeugen; gleiches gilt für das linke Bild. Auf diese Weise können wiederum dem Beobachter ein dreidimensionales VIS-Bild und ein dreidimensionales IR-Bild parallel oder überlagert dargeboten werden.
Wie bereits oben geschildert, umfasst die genannte Auskoppeleinrichtung einen oder mehrere Videoadapter.
Die Erfindung betrifft weiterhin ein Verfahren zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen Spektralbereich und dem infraroten Spektralbereich unter Verwendung eines erfindungsgemäßen Bildsensors. Durch Auslesen der Pixel des Chips, die den Infrarot-Filterelementen zugeordnet sind, wird ein Infrarot-Bild erzeugt, während durch Auslesen der Pixel des Chips, die den visuellen Farbfilterelementen zugeordnet sind, ein visuelles Farbbild (VIS-Bild) erzeugt wird. Dieses Verfahren wurde in den obigen Ausführungen bereits detailliert geschildert.
Zur Verbesserung der Bildqualität ist folgende Ausgestaltung vorteilhaft: Wie in der Beschreibungseinleitung bereits genannt, sind üblicherweise verwendete visuelle Farbfilterelemente mehr oder weniger für Strahlung aus dem infraroten Spektralbereich durchlässig. Da in der Regel die verwendeten photosensitiven Chips auch im infraroten Spektralbereich sensitiv sind, führt dieser Effekt zu einer Farbintensitätsverfälschung. Um dies zu korrigieren, werden im Stand der Technik die bereits in der Beschreibungseinleitung geschilderten Infrarot-Sperrfilter eingesetzt. Der Einsatz eines solchen IR-Sperrfilters würde jedoch bei vorliegender Erfindung dazu führen, dass das IR-Filterelement eines Farbfilterblocks obsolet würde, da vorhandene IR-Strahlung nicht zum IR-Filterelement vordringen könnte. Es wären daher – soweit technisch möglich – nur die restlichen visuellen Farbfilterelemente mit einem IR-Sperrfilter zu versehen, um eine Farbintensitätskorrektur vorzunehmen, bei der die störenden IR-Anteile subtrahiert werden.
Die vorliegende Erfindung eröffnet jedoch einen anderen, technisch leicht umsetzbaren und präzisen Weg der Korrektur störender IR-Anteile: Aus der bekannten Signalstärke, die ein Chippixel eines zugeordneten IR-Filterelements innerhalb eines Farbfilterblocks liefert, lässt sich nämlich der Infrarot-Anteil in der Signalstärke, die ein Pixel eines zugeordneten visuellen Farbfilterelements in demselben Farbfilterblock liefert, recht genau bestimmen. Beispielsweise kann nämlich die Infrarot-Intensität, die auf das IR-Filterelement fällt, anhand des entsprechenden Chippixelsignals bestimmt werden. Unter der Annahme, dass die gleiche IR-Intensität auf die benachbarten visuellen Farbfilterelemente desselben Farbfilterblocks fällt, lässt sich die von einem visuellen Farbfilterelement hindurch gelassene IR-Intensität berechnen und somit auch der entsprechende Anteil an der Signalstärke des entsprechenden Chippixels. Auf diese Weise ist eine relativ einfache Infrarot-Korrektur bei den benachbarten visuellen Farbpixel möglich. Selbstverständlich lassen sich durch Interpolationsverfahren wiederum noch genauere IR-Korrekturen angeben.
Somit stellt es bei vorliegender Erfindung einen weiteren großen Vorteil dar, dass ohne IR-Sperrfilter gearbeitet werden kann, wodurch der Prozentsatz der zur Verfügung stehenden spektralen Intensität deutlich erhöht wird. Dies ist insbesondere bei schwachen Signalen, wie sie in der Fluoreszenzmikroskopie häufig vorkommen, von entscheidendem Vorteil.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand eines Ausführungsbeispieles in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenbeschreibung
1 zeigt zwei Ausführungsformen eines erfindungsgemäßen Bildsensors;
2 zeigt wesentliche Teile eines Aufbaus zur Bilderzeugung mit einem erfindungsgemäßen Bildsensor;
3 zeigt einen ähnlichen Aufbau wie 2, jedoch mit einem linken und rechten Beobachtungskanal, wie sie bei Stereomikroskopen vorliegen;
4 zeigt eine alternative Ausführungsform zu 3; und
5 zeigt sehr schematisch ein Mikroskop mit Kamera gemäß Erfindung.
Die Figuren werden übergreifend erörtert; gleiche Bezugszeichen weisen auf gleiche Elemente hin.
1 zeigt zwei Ausführungsformen eines Farbfilterarrays 1, der aus gleichmäßig im Quadrat angeordneten Farbfilterblöcken 7 aufgebaut ist, wobei jeder Farbfilterblock 7 aus vier ihrerseits wieder quadratisch angeordneten Filterelementen besteht. In einem Farbfilterblock 7 ist in der Ausführungsform gemäß 1A ein R-Filterelement 2 neben einem IR-Filterelement 5 angeordnet, während unter dem R-Filterelement 2 ein G-Filterelement 3 und unterhalb dem IR-Filterelement 5 ein B-Filterelement 4 angeordnet ist. Diese Anordnung kann auch als (R, IR, G, B) bezeichnet werden. Da das Farbfilterarray 1 aus dem allgemeinen Bayer-Filter (RGGB) abgeleitet werden kann, indem ein G-Filterelement durch ein IR-Filterelement ersetzt wird, kann das Farbilterarray 1 gemäß 1A auch als "modifiziertes" Bayer-Filter bezeichnet werden.
Gleiche Betrachtungen können für das Farbfilterarray 1 gemäß 1B angestellt werden. Ein Filterblock 7 weist hier folgende Anordnung auf: R, G, IR, B. Auch dieses Farbfilterarray entspricht also einem modifizierten Bayer-Filter.
Beide Farbfilterarrays 1 gemäß 1A und 1B eignen sich ideal zur gleichzeitigen Darstellung eines VIS-Bildes und eines IR-Bildes, wie in der Beschreibung oben ausführlich erläutert.
2 zeigt schematisch einen Aufbau zur Erzeugung eines VIS- und eines IR-Bildes unter Einsatz eines Farbfilterarrays 1 gemäß 1. Dargestellt sind eine abbildende Optik 12, ein Bildsensor 10 umfassend ein Farbfilterarray 1 und einen (CCD- oder CMOS-)Chip 11 sowie ein Frame Grabber 14 mit entsprechender Software, der ein VIS-Bild 16 sowie ein IR-Bild 18 erzeugt. Der in 2A dargestellte Aufbau lässt sich besonders vorteilhaft in einem monoskopischen Mikroskop mit nur einem Beobachtungskanal 40 einsetzen. Alternativ kann dieser Aufbau aber auch in einem von zwei Beobachtungskanälen eines Stereomikroskops realisiert werden. Der dargestellte Aufbau entspricht im Wesentlichen auch dem Aufbau einer Kamera 30 zur Bildaufnahme, wobei die abbildende Optik 12 auch Bestandteil eines Videoadapters für ein Mikroskop sein kann. Die gestrichelte Linie in 2A deutet den aus einem Beobachtungsstrahlengang des Mikroskops ausgekoppelten Dokumentationsstrahlengang an. Dieser wird auf die Chipoberfläche abgebildet, wobei dem Chip ein Farbfilterarray 1, wie es anhand von 1 besprochen wurde, vorgeschaltet ist. Strahlung, die durch die visuellen Filterelemente 2, 3 und 4 tritt, liefert auf den entsprechenden Chippixel ein entsprechendes Signal, das die jeweilige Intensität im roten, grünen und blauen Spektralbereich angibt. Im Frame Grabber 14 wird mittels geeigneter Software anhand dieser Informationen ein VIS-Bild 16 erzeugt. Bei dieser Bilderzeugung kann beispielsweise die Information des G-Filterelements 3 eines Farbfilterblocks 7 gleichgesetzt werden mit der Information des für das VIS-Bild 16 nicht ausgewerteten IR-Filterelements 5 desselben Farbfilterblocks 7, so dass insgesamt ein klassischer Bayer-Filter nachgestellt wird. Im Übrigen können bekannte Interpolationsverfahren zur Erhöhung der Bildqualität herangezogen werden.
Aus den entsprechenden Informationen, die diejenigen Chippixel liefern, die den jeweiligen IR-Filterelementen 5 des Farbfilterarrays 1 nachgeschaltet sind, errechnet der Frame Grabber 14 ein IR-Bild 18. Wiederum kann die Bildqualität durch Interpolationsverfahren erhöht werden.
In 2B sind zwei Möglichkeiten der Darstellung der Bilder 16, 18 auf einem Monitor 20 dargestellt. Das VIS-Bild 16 kann parallel zum IR-Bild 18 angezeigt werden. Es besteht alternativ die Möglichkeit das VIS-Bild 16 und das IR-Bild 18 zu überlagern. Im ersteren Fall können beispielsweise die verschiedenen Informationsgehalte des VIS-Bildes und des IR-Bildes 18 getrennt voneinander betrachtet werden, im zweiten Fall kann durch Überlagerung der beiden Bilder beispielsweise einem Chirurgen gezeigt werden, wo Tumorzellen liegen. Hierzu wird mit einem Fluoreszenzmikroskop gearbeitet und ein Fluoreszenzfarbstoff verwendet, der sich in Tumorzellen anreichert, und der im infraroten Spektralbereich emittiert.
Bei der in 2 dargestellten Anordnung benötigt man nur ein optisches Linsensystem 12 zur Erzeugung der Abbildung auf dem Bildsensor 10. Bisher brauchte man zwei solche Linsensysteme oder eine Aufsplittung eines Strahlengang in zwei separate Strahlengänge, um beide Wellenlängenbereiche abzubilden. Dieser Vorteil gilt auch für die unten geschilderten Möglichkeiten bei Vorhandensein zweier Beobachtungskanäle.
3 zeigt einen für ein Stereomikroskop (Operationsmikroskop) geeigneten Aufbau mit zwei Beobachtungskanälen 40R und 40L. Für jeden der beiden Beobachtungskanäle wird bei dieser Ausführungsform ein Aufbau eingesetzt, wie er anhand von 2 bereits ausführlich geschildert wurde. Der rechte Beobachtungskanal 40R verfügt somit über eine abbildende Optik 12R, einen Bildsensor 10R mit Farbfilterarray 1R und Chip 11R, einen Frame Grabber 14R zur Erzeugung eines VIS-Bildes 16R und eines IR-Bildes 18R. Der linke Beobachtungskanal 40L enthält eine abbildende Optik 12L, einen Bildsensor 10L mit einem Farbfilterarray 1L und einem Chip 11L sowie einen Frame Grabber 14L zur Erzeugung eines VIS-Bildes 16L und eines IR-Bildes 18L. Dementsprechend kommen bei diesem Aufbau zwei Kameras 30R und 30L für jeden der beiden Kanäle zum Einsatz. Pro Kanal können gleichzeitig ein VIS-Bild und ein IR-Bild erzeugt werden. Die VIS-Bilder 16R, 16L aus den beiden Beobachtungskanälen können bei entsprechend ausgestalteten Anzeigetechniken auf einem Monitor 20 als dreidimensionales (3D) VIS-Bild angezeigt werden. Die IR-Bilder 18R, 18L können dementsprechend als 3D-IR-Bild auf einem Monitor 20 angezeigt werden. Wieder ergibt sich gemäß 3B die Möglichkeit der parallelen Anzeige oder der überlagerten Anzeige beider 3D-Bilder.
Schließlich zeigt 4 eine alternative Ausführungsform für ein zweikanaliges Mikroskop. Anstelle von zwei Kameras 30R und 30L wird hier nur eine Kamera 30 eingesetzt. Diese Kamera verfügt jedoch über einen entsprechend großen Bildsensor 10 (oder über zwei nebeneinander angeordneten Bildsensoren), mit dem die beiden Bilder aus dem rechten und linken Beobachtungskanal 40R, 40L auf einem Chip 11 aufgenommen werden können. Dementsprechend muss auch das Filterarray 1, das dem Chip 11 vorgeschaltet ist, dimensioniert sein. Die aus dem Chip 11 ausgelesenen Daten werden einem Frame Grabber 14 zugeführt, der für den rechten und den linken Kanal jeweils ein VIS-Bild und ein IR-Bild 16R, 16L bzw. 18R, 18L erzeugt. In gleicher Weise wie anhand von 3 erläutert, werden 3D-Bilder erzeugt und auf einem Monitor 20 entweder parallel oder überlagert dargestellt.
Zur Erhöhung der Bildqualität der gemäß den obigen Ausführungen erzeugten VIS-Bildern ist es vorteilhaft, denjenigen Signalanteil der Chippixel, die den visuellen Farbfilter-Elementen nachgeschaltet sind, herauszurechnen, der durch IR-Strahlung verursacht ist, die durch die visuellen Farbfilterelemente tritt. Diese Korrektur erfolgt beispielsweise von Filterblock 7 zu Filterblock 7, wobei angenommen wird, dass innerhalb eines Filterblocks 7 die Intensität der IR-Strahlung konstant und gleich der hinter dem IR-Filterelement 5 gemessenen ist. Anhand der Transmissionskurve eines visuellen Farbfilterelements und anhand der Empfindlichkeit der dahinter geschalteten Chippixel für den infraroten Spektralbereich kann beispielsweise der durch die IR-Strahlung verursachte Signalanteil bestimmt werden und vom Signal des betreffenden Chippixels abgezogen werden. Dies erlaubt eine schnelle und sehr genaue Korrektur der Farbintensitäten. Da dieses Verfahren ohne vorgeschalteten IR-Sperrfilter auskommt, der seinerseits auch Intensitäten aus dem visuellen Spektralbereich absorbiert, ist dieser Aufbau lichtempfindlicher als ein Aufbau mit IR-Sperrfilter. Dies hat große Vorteile in der Fluoreszenzmikroskopie, wenn mit niedrigen Intensitäten gearbeitet wird.
5 zeigt schließlich sehr schematisch eine Ausführungsform eines Mikroskops mit Kamera gemäß Erfindung. Das Mikroskop ist insgesamt mit 50 bezeichnet. Als wesentliche Elemente weist das Mikroskop ein Objektiv 51 sowie ein Zoomsystem 52 auf. Der Tubus und seine Optik ist mit 54 bezeichnet. Das Mikroskop 50 ermöglicht einen visuellen Einblick und erlaubt dem Betrachter eine vergrößerte Darstellung eines betrachteten Objektbereichs. Beispielsweise kann ein Hauptchirurg auf diese Weise das von ihm untersuchte Operationsfeld unmittelbar betrachten. Mittels eines Strahlteilers bzw. Auskoppeleinrichtung 53 wird ein Teil des vom Objekt in das Mikroskop 50 fallenden Beobachtungsstrahlengangs 55 ausgekoppelt als Dokumentationsstrahlengang 56. Der Strahlteiler bzw. Auskoppeleinrichtung 53 ist üblicherweise Bestandteil eines Videoadapters. Nachgeschaltet ist eine schematisch dargestellte Optik, die Bestandteil des Videoadapters oder der Kamera 30 sein kann. Die Kamera 30 umfasst als wesentliche Komponenten das oben behandelte Farbfilterarray 1 sowie einen Chip 11, die zusammen den Bildsensor 10 bilden.
Die vorliegende 5 dient zur Illustrierung der obigen Ausführungsbeispiele gemäß 1 bis 4 in Zusammenhang mit einem Mikroskop 50, wobei dieses Mikroskop 50 monoskopisch oder stereoskopisch ausgebildet sein kann.
Bezugszeichenliste

1, 1L, 1R: Farbfilterarray
2: R-Filterelement
3: G-Filterelement
4: B-Filterelement
5: IR-Filterelement
7: Farbfilterblock
10, 10L, 10R: Bildsensor
11, 11L, 11R: Chip
12, 12L, 12R: Optik
14, 14L, 14R: Frame Grabber
16, 16L, 16R: VIS-Bild
18, 18L, 18R: IR-Bild
20: Monitor
30, 30R, 30L: Kamera
40, 40R, 40L: Beobachtungskanal
50: Mikroskop
51: Objektiv
52: Zoomsystem
53: Strahlteiler, Auskoppeleinrichtung
54: Tubus

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2005/032147 A1 [0005]
US 2007/0024931 A1 [0006]
US 2007/0145273 A1 [0008]

Claims

Bildsensor (10, 10L, 10R) mit einem photosensitiven Chip (11, 11L, 11R) und einem dem Chip vorgeschalteten Farbfilterarray (1, 1L, 1R) zur Erzeugung von Farbbildern, wobei jeweils ein Filterelement (2–5) des Farbfilterarrays (1, 1L, 1R) einem Pixel des Chips (11, 11L, 11R) zugeordnet ist, mehrere Filterelemente (2–5) einen Farbfilterblock (7) bilden und das Farbfilterarray (1, 1L, 1R) durch Anordnung von Farbfilterblöcken (7) aufgebaut ist, dadurch gekennzeichnet, dass ein Farbfilterblock (7) mehrere Filterelemente (2–5) enthält, von denen zumindest ein Filterelement (5) ein Infrarot-Filter darstellt und die restlichen Filterelemente (2, 3, 4) visuelle Farbfilter darstellen.
Bildsensor nach Anspruch 1, dadurch gekennzeichnet, dass ein Farbfilterblock (7) vier Filterelemente (2–5) enthält, von denen ein Filterelement (5) ein Infrarot-Filter darstellt und die restlichen Filterelmente (2, 3, 4) visuelle Farbfilter darstellen.
Bildsensor nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Farbfilterblock (7) vier Filterelemente (2–5) enthält, die einen Infrarot-Filter (5), einen Rot-Filter (2), einen Blau-Filter (4) und einen Grün-Filter (3) darstellen.
Bildsensor nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Infrarot-Filter ein NIR-Filter für nahes Infrarot ist.
Kamera (30, 30R, 30L) für ein Mikroskop, insbesondere ein Stereo- oder Operationsmikroskop, mit einem Bildsensor (10, 10L, 10R) nach einem der Ansprüche 1 bis 4.
Mikroskop (50), insbesondere Stereo- oder Operationsmikroskop, mit einer Kamera (30, 30R, 30L) gemäß Anspruch 5.
Mikroskop nach Anspruch 6 mit einer durch ein Mikroskopobjektiv (51) definierten Hauptachse, zu welcher parallel ein Beobachtungsstrahlengang (55) verläuft, wobei mittels einer Auskoppeleinrichtung (53) zumindest ein Teil des Beobachtungsstrahlengangs (55) als Dokumentationsstrahlengang (56) auskoppelbar ist, und wobei zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen Spektralbereich (16, 16L, 16R) und aus dem infraroten Spektralbereich (18, 18L, 18R) dieser ausgekoppelte Dokumentationsstrahlengang (56) der Kamera (30, 30R, 30L) zuführbar ist.
Mikroskop nach Anspruch 6, das ein Stereo- oder Operationsmikroskop mit zwei Beobachtungskanälen (40R, 40L) ist, wobei mittels einer Auskoppeleinrichtung (53) aus jedem der beiden Beobachtungsstrahlengänge zumindest zum Teil jeweils ein Dokumentationsstrahlengang auskoppelbar ist, und wobei zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen Spektralbereich (16R, 16L) und aus dem infraroten Spektralbereich (18R, 18L) für jeden Beobachtungskanal jeder dieser ausgekoppelten Dokumentationsstrahlengänge jeweils einer Kamera (30R, 30L) gemäß Anspruch 5 zuführbar ist.
Mikroskop nach Anspruch 6, das ein Stereo- oder Operationsmikroskop mit zwei Beobachtungskanälen (40R, 40L) ist, wobei mittels einer Auskoppeleinrichtung (53) aus jedem der beiden Beobachtungsstrahlengänge zumindest zum Teil jeweils ein Dokumentationsstrahlengang auskoppelbar ist, und wobei zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen Spektralbereich (16L, 16R) und aus dem infraroten Spektralbereich (18L, 18R) für jeden Beobachtungskanal jeder dieser ausgekoppelten Dokumentationsstrahlengänge parallel zueinander einer einzigen Kamera (30) gemäß Anspruch 5 zuführbar ist.
Mikroskop nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Auskoppeleinrichtung (53) einen Videoadapter für ein Mikroskop (50) umfasst.
Verfahren zur gleichzeitigen Erzeugung eines Bildes aus dem visuellen und aus dem infraroten Spektralbereich unter Verwendung eines Bildsensors (10, 10R, 10L) gemäß einem der Ansprüche 1 bis 4, wobei durch Auslesen der Pixel des Chips (11, 11R, 11L), die den Infrarot-Filterelementen (5) zugeordnet sind, ein Infrarot-Bild (18, 18R, 18L) erzeugt und durch Auslesen der Pixel des Chips die den visuellen Farbfilterelementen (2, 3, 4) zugeordnet sind, ein Bild (16, 16L, 16R) aus dem visuellen Spektralbereich erzeugt wird.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass aus der bekannten Signalstärke, die ein Pixel eines zugeordneten Infrarot-Filterelements (5) innerhalb eines Farbfilterblocks (7) liefert, der Infrarotanteil in der Signalstärke, die ein Pixel eines zugeordneten visuellen Farbfilterelements (2, 3, 4) in diesem Farbfilterblock (7) liefert, bestimmt wird.