DE102010063959A1

DE102010063959A1 - Mikroskop mit einem Farbbildsensor sowie Mikroskopieverfahren mit einem Farbbildsensor

Info

Publication number: DE102010063959A1
Application number: DE102010063959A
Authority: DE
Inventors: Markus Cappellaro
Original assignee: Carl Zeiss MicroImaging GmbH; Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2010-12-22
Filing date: 2010-12-22
Publication date: 2012-06-28
Also published as: WO2012084530A1

Abstract

Es wird bereitgestellt ein Mikroskop mit
einem Farbbildsensor (7),
einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensor (7),
und einer Steuereinheit (6),
wobei der Farbbildsensor (7) eine Mehrzahl von in einer Ebene angeordneten Pixeln (10) sowie eine die Pixel (10) überdeckende Farbmaske (11) aufweist und die Farbmaske (11) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist,
wobei die Farbmaske (11) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und
wobei die Steuereinheit (6) basierend auf den Bilddaten des Farbbildsensors (7) ein Bild generiert.

Description

Die vorliegende Erfindung betrifft ein Mikroskop mit einem Farbbildsensor sowie ein Mikroskopierverfahren mit einem Farbbildsensor.
In der Mikroskopie müssen häufig farbige Präparate mit hoher Farbqualität sehr realitätsgetreu dokumentiert werden, um aus den Farbinformationen exakte Schlüsse ziehen zu können (z. B. Pathologie, Zytologie etc.).
Gleichzeitig besteht aber häufig die Anforderung, Fluoreszenzaufnahmen von transgenen, z. B. GFP gefärbten (GFP = green fluorescent protein) lebenden Zellen aufzunehmen. Dazu eignen sich monochrome Kameras deutlich besser, da sie eine höhere Empfindlichkeit als Farbkameras aufweisen, ein eventuell verwendeter Farbfilter einer Einzelchip-Farbkamera keine dramatische Reduktion der Auflösung verursacht und das Empfindlichkeitsspektrum nicht auf den sichtbaren Bereich des Lichtes beschränkt ist.
In der Praxis wird aus Kostengründen häufig nur in eine Kamera investiert, so daß mit dieser beide Aufnahmearten (mehrfarbige Aufnahme und Monochromaufnahme) durchzuführen sind, so daß dann eine Farbkamera angeschafft wird, mit der natürlich Farbbilder aufgezeichnet werden können. Für die Monochrom-Aufnahmen wird aus dem Farbbild die Farbinformation rechnerisch entfernt. Technisch bleibt die Kamera aber eine Farbkamera und erfordert nachteilige Kompromisse bei der Aufnahme von Fluoreszenzproben. Insbesondere bei der Abbildung von lebenden Zellen sind diese Kompromisse von Nachteil, da lebende Zellen oft sehr empfindlich sind. Da eine Farbkamera deutlich weniger lichtempfindlich ist als eine Monochrom-Kamera und daher längere Belichtungszeiten erfordert, ist eine verlängerte Bestrahlung mit Fluoreszenz-Anregungslicht notwendig, was den lebenden Zellen schadet und deren Lebensdauer verkürzt. Selbst eine nachträgliche Umwandlung des Farbbildes in ein Monochrombild über eine entsprechende Formel (z. B. gewichtete Summe aus RGB-Anteilen) kann diesen Nachteil nicht beheben, da die optisch spektralen Verhältnisse bereits bei der Aufnahme festgelegt waren.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Mikroskop mit einer Farbkamera bereitzustellen, mit dem unterschiedliche Aufnahmearten möglich sind und gleichzeitig die eingangs beschriebenen Schwierigkeiten möglichst vermieden werden können. Ferner soll ein entsprechendes Mikroskopierverfahren bereitgestellt werden.
Die Aufgabe wird gelöst durch ein Mikroskop mit einem Farbbildsensor, einer Abbildungsoptik zum vergrößernden Abbilden einer Probe auf den Farbbildsensor und einer Steuereinheit, wobei der Farbbildsensor eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist und die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wobei die Steuereinheit basierend auf den Bilddaten des Farbbildsensors ein Bild der Probe generiert.
Da der Farbbildsensor des erfindungsgemäßen Mikroskops neben den Farbzellen auch Transparenzzellen in der Farbmaske aufweist, können neben den Farbinformationen auch monochrome Bildinformationen aufgenommen werden, die nicht in nachteiliger Weise durch etwaige Farbfilter beeinflußt (z. B. abgeschwächt) sind. Ferner kann ein eventuell vorgesehener IR-Filter ausgeschwenkt werden, wodurch spektrale Einschränkungen aufgehoben sind. Somit ist es möglich, je nach gewünschter Art der Aufnahme die Bilddaten des Farbbildsensors geeignet auszuwerten und dadurch das gewünschte Bild zu erstellen. Insbesondere ist es möglich, mittels dem Farbbildsensor gleichzeitig ein Farbbild und ein Monochrom-Bild aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt.
Der Farbbildsensor kann auch als Multispektralsensor bezeichnet werden.
Das erfindungsgemäße Mikroskop kann eine Bewegungseinheit aufweisen, mit der der Farbbildsensor in der Ebene bewegbar ist. Damit ist es möglich, verschiedene Aufnahmen der Probe mit unterschiedlichen Positionen des Farbbildsensors durchzuführen. Diese verschiedenen Aufnahmen können dann zur Bilderzeugung genutzt werden. Damit läßt sich beispielsweise eine Steigerung der Auflösung und/oder der Empfindlichkeit erreichen.
Die Farbmaske kann einteilig oder mehrteilig sein. Insbesondere kann die Farbmaske im Bereich der Transparenzzellen transparent ausgebildet sein oder eine entsprechende Öffnung aufweisen.
Das erfindungsgemäße Mikroskop kann eine Steuereinheit enthalten, die dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe mittels dem Farbbildsensor die Bewegungseinheit so anzusteuern, daß der Farbbildsensor in der Ebene verschoben wird, b) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position auszulösen, und c) basierend auf den Aufnahmen ein Bild der Probe zu generieren.
Die Verschiebung kann beispielsweise so durchgeführt werden, daß stets um die Größe eines Pixels (Pixel-Verschiebung) verschoben wird. In diesem Fall liegt die volle Auflösung in jedem spektralen Teilbild vor. Alternativ ist es möglich, eine Verschiebung (Subpixel-Verschiebung) durchzuführen, die kleiner ist als die Größe eines Pixels. Damit können Zwischenpixelpositionen aufgenommen werden, so daß Bildinformationen aus Positionen zwischen den Pixeln aufgenommen werden, die sonst nicht zur Bildentstehung beitragen. Auch eine Kombination von Pixel- und Subpixelverschiebung ist möglich.
Die Steuereinheit kann ferner dazu ausgebildet sein, im Schritt c) im generierten Bild eine höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen im Vergleich zur Anzahl der entsprechenden Farb- bzw. Transparenzzellen.
Des weiteren kann die Steuereinheit dazu ausgebildet sein, im Schritt c) ein Farbbild zu generieren, bei, dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. Insbesondere können die Luminanzwerte der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Wenn die durch Transparenzzellen überdeckten Pixel sensitiv für Wellenlängen außerhalb des sichtbaren Spektrums sind, können auch diese Signale berücksichtigt werden.
Die Steuereinheit kann dazu ausgebildet sein, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors durchzuführen. Diese mehreren zweiten Aufnahmen können dann im Schritt c) bei der Generierung des Bildes berücksichtigt werden, insbesondere zur Verbesserung der Ortsauflösung. Insbesondere können Pixel- und Subpixelverschiebung kombiniert werden.
Die Steuereinheit kann des weiteren dazu ausgebildet sein, basierend auf den Bilddaten einer einzelnen Aufnahme oder eines einzelnen Aufnahmevorgangs ein Farbbild und ein Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
In einer Weiterbildung kann mittels der Steuereinheit das Mikroskop selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden. Für die Auswahl des entsprechenden Modus muß vorteilhafter Weise keine Änderung der Hardware des Mikroskops durchgeführt werden. Die Modi unterscheiden sich im wesentlichen durch die elektrische Ansteuerung des Farbbildsensors und/oder die Auswertung der bereitgestellten Bilddaten, um das gewünschte Farbbild oder Monochrombild zu generieren.
Natürlich können sowohl in dem Farbbildmodus als auch in dem monochromen Bildmodus mehrere Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors genutzt werden, um das gewünschte Bild zu generieren. Diese Durchführung der mehreren Aufnahmen kann in der beschriebenen Art und Weise erfolgen.
Ferner kann mittels der Steuereinheit das Mikroskop noch in einen Kombibildmodus geschaltet werden, in dem sowohl ein Farbbild als auch ein Monochrombild der Probe generiert wird, wobei bevorzugt für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Bei dem erfindungsgemäßen Mikroskop kann ein Infrarotsperrfilter im Strahlengang von der Probe bis zum Farbbildsensor angeordnet sein, um z. B. eine korrekte Farbwiedergabe zu gewährleisten. Insbesondere kann der Infrarotsperrfilter von einer Position im Strahlengang zu einer Position außerhalb des Strahlengangs und umgekehrt bewegt werden. Damit ist es möglich, selektiv einen Infrarotsperrfilter im Strahlengang vorzusehen, wenn dies gewünscht oder für farbechte Aufnahmen erforderlich ist.
Mit dem erfindungsgemäßen Mikroskop wird eine bisher unerreichte universell nutzbare Anwendbarkeit für Farb- und Fluoreszenz-Aufnahmen mit variabler Auflösung und Geschwindigkeit bereitgestellt, ohne daß zusätzliche Anforderungen an das Mikroskop, wie z. B. farbige Beleuchtung oder zusätzliche Komponenten im Strahlengang, gestellt werden müssen.
Das erfindungsgemäße Mikroskop ist somit in gleicher Weise für farbige Präparate (z. B. in der Pathologie) und für monochrome Fluoreszenzpräparate (z. B. bei der Aufnahme von lebenden Zellen) geeignet. All dies kann bei dem erfindungsgemäßen Mikroskop mit geringen Kosten und Aufwand erreicht werden.
Bei dem erfindungsgemäßen Mikroskop kann somit sehr flexibel auf die entsprechenden Anforderungen der jeweiligen Probe reagiert werden. Es muß lediglich ein geeigneter Aufnahmemodus (z. B. Farbbildmodus, Monochrombildmodus, Kombibildmodus) bzw. Kameramodus ausgewählt werden. Unter Kameramodus wird hier insbesondere die Kombination von der Durchführung der zumindest einen Aufnahme und der entsprechenden Bilderzeugung verstanden. Das erfindungsgemäße Mikroskop kann daher leicht an unterschiedliche Aufnahmebedingungen angepaßt werden. Es muß im wesentlichen die Ansteuerung des Farbbildsensors, der Scanning-Einheit und/oder die Auswertung der Bilddaten geändert werden.
Das erfindungsgemäße Mikroskop kann als Fluoreszenzmikroskop, als Mehrkanal-Fluoreszenzmikroskop, als Phasenkontrastmikroskop, als Durchlicht-, Auflicht- und/oder Hellfeld-Mikroskop oder auch als sonstiges Mikroskop ausgebildet sein. Natürlich können alle üblichen Kontrastverfahren realisiert sein, wie z. B. Hellfeld, Dunkelfeld, Phasenkontrast, Differential-Interferenzkontrast, Polarisation, Fluoreszenz, etc. und beliebige Kombinationen davon.
Die Steuereinheit bei dem erfindungsgemäßen Mikroskop kann als einzelne Steuereinheit oder auch aus zwei oder mehreren Steuersubmodulen aufgebaut sein.
Bei der Probe, die vergrößert abzubilden ist, kann es sich insbesondere um eine medizinische und/oder biologische Probe oder sonstige Materialien handeln. Es sind z. B. farbige, fluoreszierende oder nicht-farbige Materialproben (z. B. geschliffene Stähle) sehr gut mit dem erfindungsgemäßen Mikroskop untersuchbar.
Der Farbbildsensor kann insbesondere ein CCD-Sensor oder ein CMOS-Sensor sein und z. B. als HDTV-Sensor mit 1920×1080 Bildpixeln ausgebildet sein. Ferner kann der Farbbildsensor geeignet sein, ca. 50–60 Bilder pro Sekunde aufzunehmen und die entsprechenden Bilddaten auszugeben.
Es wird ferner bereitgestellt ein Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist.
Mit dem erfindungsgemäßen Mikroskopierverfahren ist es beispielsweise möglich, ein Farbbild und ein Monochrombild gleichzeitig aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Ferner können beispielsweise die Bilddaten der durch Transparenzzellen überdeckten Pixel bei der Generierung des Farbbildes berücksichtigt werden, um z. B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt werden, b) danach der Farbbildsensor in der Ebene verschoben werden, c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt werden, und d) basierend auf den Aufnahmen ein Bild der Probe generiert werden.
Ferner kann das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzellen im Vergleich zur Anzahl der entsprechenden Farb- bzw. Transparenzzellen generiert werden.
Bei dem erfindungsgemäßen Mikroskopierverfahren kann das Bild als Farbbild generiert werden, wobei bei der Bildgenerierung die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden, um z. B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern.
Ferner können bei dem erfindungsgemäßen Mikroskopierverfahren die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen.
Bei dem erfindungsgemäßen Mikroskopierverfahren können basierend auf den Bilddaten einer einzelnen. Aufnahme ein Farbbild und ein Monochrombild generiert werden, wobei für das Farbbild Bilddaten der durch. die Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere kann das erfindungsgemäße Mikroskop so weitergebildet werden, daß mit ihm Schritte des erfindungsgemäßen Mikroskopierverfahrens realisiert werden können. Auch das erfindungsgemäße Mikroskopierverfahren kann so weitergebildet werden, daß es Schritte aufweist, die mit dem erfindungsgemäßen Mikroskop durchführbar sind oder durchgeführt werden.
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
1 eine schematische Ansicht einer Ausführungsform des erfindungsgemäßen Mikroskops;
2 eine schematische Draufsicht eines Teils des Farbbildsensors 7 in 1;
3 eine schematische Draufsicht einer Ausführungsform der Bewegungseinheit 8 in 1;
4 eine weitere Ausführungsform der Bewegungseinheit 8;
5 eine schematische Darstellung eines Teiles der Probe;
6 eine schematische Darstellung zur Zuordnung der Filterzellen zu den Bildzellen der Probe;
7 eine schematische Darstellung mit einer weiteren Zuordnung der Filterzellen zu den Bildzellen der Probe;
8–10 Einheitszellen anderer Verteilungen der Filterzellen der Farbmaske;
11 und 12 mögliche Einheitszellen bei der Ausbildung der Filtermaske als Komplementärfiltermaske;
13 eine schematische Darstellung zur Erläuterung der Empfindlichkeit von Farb- und Transparenzpixeln, und
14 und 15 weitere Darstellungen zur Erläuterung der spektralen Empfindlichkeit von Farb- und Transparenzpixeln.
Bei der in 1 gezeigten Ausführungsform umfaßt das erfindungsgemäße Mikroskop 1 einen Probentisch 2, der eine Probe 3 trägt, eine Aufnahmeeinheit 4, die über ein schematisch dargestelltes Stativ 5 mit dem Probentisch 2 verbunden ist, sowie eine Steuereinheit 6.
Die Aufnahmeeinheit 4 enthält einen Farbbildsensor 7, eine Bewegungseinheit 8 zum Bewegen des Farbbildsensors 7 sowie eine Abbildungsoptik 9 zum vergrößernden Abbilden der Probe 3 bzw. eines Teils der Probe 3 auf den Farbbildsensor 7.
Der Abstand (in z-Richtung) zwischen der Abbildungsoptik 9 und dem Probentisch 3 und somit der Probe 2 ist mittels dem Stativ 5 unter Steuerung der Steuereinheit 6 einstellbar. Ferner kann der Probentisch 3 in x-Richtung und senkrecht zur Zeichenebene in y-Richtung bewegt werden, um die Probe 2 zu positionieren.
Wie der vergrößerten schematischen Draufsicht eines Teils des Farbbildsensors 7 in 2 zu entnehmen ist, weist der Farbbildsensor 7 eine Mehrzahl von in Zeilen und Spalten angeordneten Pixeln 10 (von denen in 2 schematisch nur drei gestrichelt dargestellt sind) sowie eine die Pixel 10 überdeckende Farbmaske 11 auf.
Die Farbmaske 11 umfaßt Filterzellen 12, die in gleicher Weise wie die Pixel 10 in Zeilen und Spalten angeordnet sind, wobei jeweils genau eine Filterzelle 12 einem Pixel 10 zugeordnet ist und dieses überdeckt. In 2 sind die Filterzellen 12 schematisch als Quadrate dargestellt, wobei die Filterwirkung durch den in jeder Filterzelle 12 enthaltenen Buchstaben beschrieben ist. Die Buchstaben dienen nur zur Beschreibung der Filterwirkung und sind in der tatsächlichen Filtermaske 11 natürlich nicht enthalten.
Die Buchstaben R, G und B stehen für Farbfilter, wobei der Buchstabe R den Rotkanal, der Buchstabe G den Grünkanal und der Buchstabe B den Blaukanal beschreibt. Die Filterzellen dieser drei Farbkanäle können als Farbzellen bezeichnet werden.
Die Filterzellen 12 mit dem Buchstaben W stehen für Filterzellen, in denen keine Farbfilterung stattfindet. Diese Filterzellen können daher auch als Transparenzzellen bezeichnet werden.
Die Farb- und Transparenzzellen sind in einem regelmäßigen Muster angeordnet, wobei bei der hier beschriebenen Ausführungsform eine Einheitszelle 13 von 4 × 4 Filterzellen 12 vorliegt, wie in 2 schematisch angedeutet ist. Die Einheitszelle 13 ist in x- und y-Richtung wiederholt angeordnet, so daß sich die in 2 angedeutete Filterzellenverteilung ergibt. In 2 ist nur ein Teil des Farbfilters 7 schematisch dargestellt, der hier als HDTV-Sensor mit 1920×1080 Pixeln 10 ausgebildet ist.
Wie der Darstellung in 2 zu entnehmen ist, sind die Hälfte der Filterzellen 12 Transparenzzellen und so angeordnet, daß eine Verschiebung des Farbbildsensors 7 in x- oder y-Richtung um genau eine Filterzelle 12 zu einer vollständigen Flächenabdeckung mit Transparenzzellen führt. Eine solche Verschiebung kann beispielsweise mittels der Bewegungseinheit 8 durchgeführt werden.
In 3 ist in Draufsicht schematisch eine Ausführungsform der Bewegungseinheit 8 dargestellt. Der Farbbildsensor 7 sitzt auf einem Träger 20, der über vier Piezoelemente 21, 22, 23 und 24 mit einem Rahmen 25 verbunden ist. Durch entsprechende Ansteuerung der jeweils gegenüberliegenden Piezoelemente kann dann die gewünschte Verschiebung in x- und y-Richtung durchgeführt werden. Werden beispielsweise die Piezoelemente 21 und 23 angesteuert, wird eine Verschiebung in y-Richtung erfolgen.
In 4 ist eine weitere Ausführungsform der Bewegungseinheit 8 schematisch dargestellt. Diese Ausführungsform unterscheidet sich im wesentlichen von der Ausführungsform von 3 dadurch, daß nur noch 2 Piezoelemente 21 und 22 notwendig sind. An den den Piezoelementen 21 und 22 gegenüberliegenden Seiten des Trägers 20 sind Federelemente 26 und 27 vorgesehen, über die der Träger 20 mit dem Rahmen 25 verbunden ist. Durch Ansteuerung des Piezoelementes 21 kann eine Verschiebung in x-Richtung durchgeführt werden. Für eine Verschiebung in y-Richtung wird das Piezoelement 22 angesteuert.
Im Betrieb des erfindungsgemäßen Mikroskops 1 wird der gewünschte Bereich der Probe 3 mittels der Abbildungsoptik 9 vergrößert auf den Farbbildsensor 7 abgebildet.
Der Farbbildsensor 7 nimmt das vergrößerte Bild auf und liefert die entsprechenden Bilddaten an die Steuereinheit 6.
Wenn nur eine Einzelaufnahme gemacht wird, kann beispielsweise die Intensitäts-Information der Pixel 10, die unter den Transparenzzellen liegen und nachfolgend auch als Transparenzpixel bezeichnet werden, zur Stützung bei einer Interpolation der Bilddaten der Pixel, die unter den Farbzellen liegen und nachfolgend auch als Farbpixel bezeichnet werden, dienen, um ein interpoliertes Farbbild zu erzeugen. Bei der Intensitätsinformation handelt es sich um die Intensität aus dem gesamten mit den Pixeln erfaßbaren Spektrum. Das interpolierte Farbbild kann z. B. einen gesteigerten Kontrastumfang, insbesondere in lichtarmen Bereichen aufweisen. Somit kann eine Verbesserung der Gesamtlichtempfindlichkeit des Farbbildes erreicht werden. Ferner können die Bilddaten der Transparenzpixel auch noch dazu genutzt werden, eine Monochromaufnahme zu generieren, die gleichzeitig mit der Farbaufnahme gemacht wurde.
Die Erzeugung der gewünschten Aufnahmen aus den Bilddaten erfolgt durch die Steuereinheit 6 oder durch einen nicht gezeigten Rechner, dem die Bilddaten des Farbbildsensors zugeführt werden.
Das erzeugte Bild bzw. die erzeugten Bilder können z. B. auf einer Ausgabeeinheit 15 (z. B. ein Bildschirm) dargestellt und/oder abgespeichert werden.
Ferner kann der Farbbildsensor 7 so betrieben werden, daß ein Livebild in Farbe und/oder ein Monochrom-Livebild erzeugt und z. B. auf dem Bildschirm 15 dargestellt werden bzw. wird. Es können z. B. 60 Aufnahmen pro Sekunde gemacht werden.
Ferner ist es möglich, zumindest zwei Aufnahmen so nacheinander durchzuführen, daß die einzelnen Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors 7 in der xy-Ebene durchgeführt werden. Dazu wird mittels der Bewegungseinheit 8 der Farbbildsensor in der xy-Ebene entsprechend verschoben. So kann beispielsweise eine Verschiebung des Farbbildsensors 7 zwischen den beiden. Aufnahmen um die Größe eines Pixels in x- oder y-Richtung durchgeführt werden. In diesem Fall wird mit den beiden Aufnahmen eine volle Auflösung im Monochromkanal und eine verbesserte Auflösung in den Farbkanälen mit gesteigertem Kontrastumfang erreicht. Unter einer vollen Auflösung wird hier insbesondere verstanden, daß basierend auf den zumindest zwei Aufnahmen eine Aufnahme zusammengesetzt werden kann, die Bilddaten desselben Pixeltyps (z. B. Transparenzpixel, rotes, grünes oder blaues Farbpixel) für alle Pixelpositionen des Farbbildsensors 7 aufweist. Es kann z. B. ein Monochrombild mit 1920×1080 Pixeln generiert werden.
Die volle Auflösung kann auch unter Bezug auf die Probe 3 wie folgt verstanden werden. In 5 ist ein Teil der Probe 3, der einer Einheitszelle 13 des Farbbildsensors 7 zugeordnet werden kann, schematisch dargestellt, wobei aufgrund der erwähnten Zuordnung der entsprechende Bereich der Probe 3 in 4 × 4 Bildzellen 30 aufgeteilt werden kann, die hier zur besseren Darstellbarkeit mit abgerundeten Ecken gezeigt sind.
In 6 ist dargestellt, wie die Zuordnung der Filterzellen 12 zu den Bildzellen 30 der Probe 3 bei einer ersten Position des Farbbildsensors 7 ist, wobei von der Farbmaske 11 eine Einheitszelle 13 und eine daran links angrenzende Spalte mit vier weiteren Filterzellen 12 dargestellt ist.
In 7 ist eine um eine Pixelbreite in x-Richtung versetzte Position (relativ zur Position gemäß 6) des Farbbildsensors 7 dargestellt. Wie aus den beiden 6 und 7 ersichtlich ist, sind durch die beiden in 6 und 7 gezeigten Positionen der Farbmaske 11 alle Bildzellen 30 durch Transparenzzellen W abgedeckt, so daß mit zwei Aufnahmen für alle Bildzellen 30 die entsprechenden Intensitätswerte mittels der von Transparenzzellen überdeckten Pixeln erfaßt werden können. Es liegt somit die erwähnte volle Auflösung vor.
Natürlich können auch mehr als zwei Aufnahmen mit unterschiedlichen Positionen durchgeführt werden. Damit ist es zum Beispiel möglich, eine identische Auflösung in allen drei Farbkanälen und insbesondere eine volle Auflösung in allen drei Farbkanälen zu erzielen.
Unter einer identischen Auflösung in allen drei Farbkanälen wird hier insbesondere verstanden, daß für die gleiche Anzahl von Bildzellen 30 Pixelwerte für jeden der drei Farbkanäle vorliegen oder daß die vorliegende Anzahl von Pixelwerten der einzelnen Farbkanäle dem Verhältnis der Farbfilter der Farbmaske 11 entsprechen. Dies würde bei der hier beschriebenen Farbfiltermaske bedeuten, daß die Pixelanzahl für rot und blau gleich ist und genau die Hälfte der Pixelanzahl für grün beträgt.
Ferner kann die Bewegungseinheit 8 auch eine Verschiebung in x- oder y-Richtung bewirken, die kleiner ist als die Größe eines Pixels 10. Damit werden Aufnahmen an Zwischenpositionen möglich, wodurch die Auflösung des aufgenommenen Bildes gesteigert werden kann. Es ist in diesem Fall eine Subpixelauflösung möglich.
Ferner kann die Abbildungsoptik 9 einen Infrarotsperrfilter 14 aufweisen, um zu verhindern, daß Infrarotstrahlung auf die Farbpixel 10 trifft, was die Farbaufnahme verfälschen würde, da die Pixel häufig auch im Infrarotbereich empfindlich sind.
Der Infrarotsperrfilter 14 ist insbesondere beweglich montiert und kann aus dem Strahlengang von der Probe 3 bis zum Farbbildsensor 7 entfernt werden. Damit kann bei einer Monochromaufnahme (bei der die Bilddaten der Monochrompixel ausgewertet werden) eine höhere Empfindlichkeit erreicht werden.
Die in 2 dargestellte Verteilung der Filterzellen 12 ist nur beispielhaft zu verstehen. Natürlich kann auch jede andere geeignete Verteilung gewählt werden. Beispiele sind in 8, 9 und 10 gezeigt. Aus diesen ist auch ersichtlich, daß die Einheitszelle 13 unterschiedlich groß sein kann.
Auch muß die Filtermaske 11 nicht als RGB-Filtermaske ausgebildet sein. Sie kann beispielsweise auch als CMY-Komplementärfiltermaske ausgebildet sein. In 11 und 12 sind Beispiele für CYGM- und CMYW-Filtermasken gezeigt, wobei wiederum nur eine Einheitszelle dargestellt ist, wobei C für cyan, Y für gelb, G für grün, M für magenta und W für eine Transparenzzelle steht.
Der bereits erläuterte Vorteil der Transparenzzellen gegenüber den Farbzellen soll an den beispielhaft in 13 eingezeichneten. Empfindlichkeitskurven verdeutlicht werden.
In 13 ist die relative Empfindlichkeit (y-Achse) über der Wellenlänge in nm (x-Achse) für Pixel, die von Farbzellen überdeckt sind (wobei hier noch ein Infrarotfilter vorgeschaltet ist), und für Pixel, die von Transparenzzellen überdeckt sind, dargestellt, wobei die Kurve 31 die relative Empfindlichkeit eines blauen Pixels (also eines von einem blauen Farbfilter überdeckten Pixels), die Kurve 32 die relative Empfindlichkeit eines grünen Pixels, die Kurve 33 die relative Empfindlichkeit eines roten Pixels und die Kurve 34 die relative Empfindlichkeit eines Transparenzpixels zeigt.
Aus der Darstellung von 13 kann entnommen werden, daß der Bereich der spektralen Empfindlichkeit bei einem Transparenzpixel viel breiter ist als bei Farbpixeln. So reicht der Bereich vom blauen Spektrum bei ca. 400 nm bis zum nahen Infrarot bei ca. 1000 nm.
Ferner ist der Quantenwirkungsgrad und damit die Detektionswahrscheinlichkeit für Photonen bei Transparenzpixeln im sichtbaren Wellenlängenbereich (400 nm–700 nm) höher und stetiger als bei den Farbpixeln.
Im Bereich über 700 nm sind die Farbpixel nicht sensitiv und können keine Photonen detektieren, während das Transparenzpixel noch ein Signal erzeugt.
Somit sind die Transparenzpixel den Farbpixeln für Fluoreszenzsignale überlegen. Das erfindungsgemäße Mikroskop kann daher sehr flexibel für unterschiedliche Aufnahmemodi mit ausgezeichneter Qualität eingesetzt werden.
In 14 und 15 ist der prinzipielle Unterschied zwischen Farb- und Transparenzpixeln quantitativ in der Art und Weise dargestellt, daß derselbe Sensor (einmal mit Farbfilter und einmal ohne Farbfilter) beleuchtet wurde und das Ausgangssignal gemessen wurde. Dabei zeigen die Balken 35, 36 und 37 das Ausgangssignal des Sensors mit Farbmaske und somit das Ausgangssignal eines Farbpixels bei der Beleuchtung mit unterschiedlichen Wellenlängen. Der Balken 35 zeigt die Signalantwort (in beliebigen Einheiten) bei 625 nm, der Balken 36 bei einer Beleuchtung mit 565 nm und der Balken 37 bei einer Beleuchtung mit 430 nm. Unmittelbar rechts daneben ist jeweils die Signalantwort ohne Farbfilter (bei gleicher Beleuchtungswellenlänge) dargestellt. Wie diesen Balken 38 bis 40 zu entnehmen ist, ist die Intensität stets deutlich höher. So beträgt die Signalantwort der Farbzelle nur 52 bis 66% der Signalantwort der Transparenzzelle.
In 15 sind die Signalantworten für den Fall gezeigt, daß die Beleuchtung mit einer weiß emittierenden Leuchtdiode durchgeführt wurde. Wie aus den Balken 35 bis 40 ersichtlich ist, erreicht ein Farbpixel im Rotkanal nur 27% der Aussteuerung des Transparenzpixels. Die starke Signalintensität des Transparenzpixels erklärt sich dadurch, daß das Transparenzpixel die gesamte über das Spektrum verteilte Energie empfängt, während ein Farbpixel nur den Energieanteil aus dem entsprechenden zugeordneten Wellenbereich in ein Signal wandeln kann.
Dies kann beispielsweise für sehr kurze Belichtungszeiten bei monochromen Aufnahmen mittels des erfindungsgemäßen Mikroskopes genutzt werden.
Das erfindungsgemäße Mikroskop 1 kann ferner noch eine nicht gezeigte Lichtquelle sowie weitere Elemente aufweisen, die zum Betrieb des Mikroskops 1 notwendig und dem Fachmann bekannt sind.

Claims

Mikroskop mit einem Farbbildsensor (7), einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensor (7), und einer Steuereinheit (6), wobei der Farbbildsensor (7) eine Mehrzahl von in einer Ebene angeordneten Pixeln (10) sowie eine die Pixel (10) überdeckende Farbmaske (11) aufweist und die Farbmaske (11) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, wobei die Farbmaske (11) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist und wobei die Steuereinheit (6) basierend auf den Bilddaten des Farbbildsensors (7) ein Bild generiert.
Mikroskop nach Anspruch 1, mit einer Bewegungseinheit (8), mit der der Farbbildsensor (7) in der Ebene bewegbar ist.
Mikroskop nach Anspruch 2, bei dem die Steuereinheit (6) dazu ausgebildet ist, a) nach einer ersten Aufnahme der Probe (3) mittels dem Farbbildsensor (7) die Bewegungseinheit (8) so anzusteuern, daß der Farbbildsensor (7) in der Ebene verschoben wird, b) eine zweite Aufnahme der Probe (3) mittels dem Farbbildsensor (7) in der verschobenen Position auszulösen, und c) basierend auf den Aufnahmen das Bild der Probe zu generieren.
Mikroskop nach Anspruch 3, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) im generierten Bild eine im Vergleich zur Anzahl der entsprechenden Farb- bzw. Transparenzzellen höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen.
Mikroskop nach Anspruch 3 oder 4, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind.
Mikroskop nach einem der Ansprüche 3 bis 5, bei dem die Steuereinheit (6) dazu ausgebildet ist, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors (3) durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors (7) durchzuführen.
Mikroskop nach einem der obigen Ansprüche, bei dem die Steuereinheit (6) dazu ausgebildet ist, basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Mikroskop nach einem der obigen Ansprüche, bei dem mittels der Steuereinheit (6) das Mikroskop (1) selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden kann.
Mikroskop nach einem der obigen Ansprüche, mit einem Infrarotsperrfilter (14) im Strahlengang von der Probe (3) bis zum Farbbildsensor (7), wobei der Infrarotsperrfilter (14) von der Position im Strahlengang zu einer Position außerhalb des Strahlegangs und umgekehrt bewegt werden kann.
Mikroskopierverfahren, bei dem eine Probe vergrößert auf einen Farbbildsensor abgebildet wird, wobei als Farbbildsensor ein Sensor verwendet wird, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist.
Mikroskopierverfahren nach Anspruch 10, bei dem a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt wird, b) danach der Farbbildsensor in der Ebene verschoben wird, c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt wird, und d) basierend auf den Aufnahmen ein Bild der Probe generiert wird.
Mikroskopierverfahren nach Anspruch 11, bei dem das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen im Vergleich zur Anzahl der entsprechenden Farb- bzw. Transparenzzellen generiert wird.
Mikroskopierverfahren nach Anspruch 11 oder 12, bei dem das Bild als Farbbild generiert wird, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.
Mikroskopierverfahren nach einem der Ansprüche 11 bis 13, bei dem die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen.
Mikroskopierverfahren nach einem der Ansprüche 10 bis 14, bei dem basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild generiert wird, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden.