-
Die
Erfindung betrifft ein Verfahren und ein System zum Auswerten monochromatischer
Bilder in der Fluoreszenzmikroskopie gemäß Oberbegriff des Patentanspruchs
1 bzw. 11. Der eingesetzte Bildsensor umfaßt dabei eine Vielzahl von
lichtempfindlichen Elementen, von denen jedes zum Bestimmen eines Helligkeitswertes
genau einer Farbe aus einer vorgegebenen Anzahl von mehr als einer
Farbe vorgesehen ist. Somit werden mit jedem Element Informationen
zu der jeweils zugeordneten Farbe erhalten. Die Erfindung betrifft
weiterhin Verwendungen des erwähnten
Systems sowie ein Computerprogramm und ein Computerprogrammprodukt.
-
Bekannte
ladungsgekoppelte Bildsensoren, sogenannte CCD-Bildsensoren (CCD: charge-coupled device),
haben aufgrund ihrer Herkunft aus dem Bereich der Videotechnik viel
von dieser Technik übernommen.
Um farbige Bilder erzeugen zu können,
werden die einzelnen Elemente eines Bildsensors üblicherweise mit farbigen Mikrofiltern
versehen, so daß jedes
Element nur Licht eines bestimmten, eine Farbe repräsentierenden
Wellenlängenbereichs erfaßt und somit
nur hinsichtlich des Helligkeitswertes dieser Farbe Informationen
liefert, d. h. ein entsprechendes elektrisches Signal anlegt.
-
Üblicherweise
sind Elemente für
die drei Grundfarben Rot, Grün
und Blau vorgesehen, die dabei in der Regel im sogenannten Bayer-Mosaik
angeordnet sind. Ein auffälliges
Merkmal dieses ist es, daß auf
je einen roten und einen blauen Filter zwei grüne Filter kommen. Daher erfassen
typische Sensoren 50% des grünen,
25% des blauen und 25% des roten Lichts.
-
Da
die Elektronik der Kamera für
jeden Bildpunkt bzw. jedes Pixel nur den exakten Helligkeitswert
für genau
eine Farbe erhält,
müssen
die beiden anderen Farben jeweils aus den Werten der angrenzend
liegenden Pixel durch Interpolation berechnet werden.
-
Aus
der Druckschrift
US
6 181 376 B1 ist bspw. ein Verfahren zum Bestimmen fehlender
Farbwerte für
Bildpunkte in einem Farbfilterarray bekannt. Bei dem Verfahren wird
eine Interpolation bekannter Farbwerte entlang diagonaler Linien
durchgeführt.
-
In
der Druckschrift
EP
0 720 387 A2 sind ein Verfahren und eine Vorrichtung zum
Erzeugen von Zeilensprungbildern von einem Sensor mit progressiver
Abtastung in einer elektronischen Kamera beschrieben. Hierbei wird
die erforderliche Taktrate herabgesetzt, während die Zeilensprungpixelwerte
für alle
Farben in demselben Bereich bereitgestellt sind.
-
Die
EP 0 572 325 A1 betrifft
die Bildgebung mittels CCD-Bildaufnehmer
beispielsweise bei einem Kopierer. Die Farbinformation einer farbigen
Vorlage wird mittels des CCD-Bildsensors
in Rot-, Grün-
und Blau-Farbinformation aufgeteilt und die entsprechenden Farbsignale
werden digitalisiert. Zur Erzeugung eines Schwarz-Weiß-Bildes
aus den einzelnen Farbpixeln des CCD-Bildsensors werden verschiedene Rechnungsmethoden
für das
Schwarz-Signal angegeben. Die Berechnung erfolgt unterschiedlich
je nach eingestellter Kopierstärke.
-
Die
Druckschrift
US 59 46
427 A behandelt ein Bildausleseverfahren und eine entsprechende Vorrichtung,
mit dem bzw. der ein mehrfarbiger als auch einfarbiger Bildauszug
möglich
ist. Bei einer mehrfarbigen Bildauslese wird das Objekt mit einer weißen Fluoreszenzlampe
beleuchtet, abgebildet und von einem Farbbildsensor detektiert.
Die Farbsignale für
rot, grün
und blau werden ausgelesen und zur Weiterverarbeitung an einen Computer
gegeben. Soll ein monochromatischer Auszug erstellt werden, wird
das Objekt mit einer weißen
Fluoreszenzlampe sowie mit einer grünen Fluoreszenzlampe beleuchtet,
wobei anschließend
nur das grüne
Farbsig-nal weiterverarbeitet wird, so dass der monochromatische
(grüne)
Farbauszug ein monochromatisches Abbild des Objektes darstellt.
-
Viele
Bildsensoren arbeiten im sogenannten Vollbildmodus und können nur
jeweils vollständig ausgelesen
werden. Problematisch dabei ist, daß dies bei einem großen Bildsensor
relativ lange dauern kann, so daß kein flüssiges Livebild zum Fokussieren
oder zur Bildausschnittsbestimmung durch eine Objektpositionierung
oder eine Vergrößerungsanpassung
angezeigt werden kann.
-
Andere
Bildsensoren arbeiten im klassischen Halbbildverfahren der Videotechnik.
Bei diesem Verfahren werden abwechselnd die geraden oder die ungeraden
Zeilen des Sensors belichtet und ausgelesen. Die Halbbilder werden
anschließend elektronisch
zu Vollbildern zusammengesetzt. Nachteilig da bei ist, daß dieser
Vorgang sequentiell ausgeführt
wird und daher komplizierte Verkämmungsalgorithmen
erforderlich sind, um das farbige Vollbild korrekt darzustellen.
-
Aufgabe
der vorliegenden Erfindung ist es daher, ein Verfahren und ein System
vorzuschlagen, die es erlauben, eine mittels eines Bildsensors erfaßte optische
Aufnahme schnell und einfach auszuwerten, um im Rahmen dessen bspw.
eine Fokussierung oder auch eine Objektpositionierung oder eine
Vergrößerungsanpassung
durchführen
zu können.
-
Zur
Lösung
der Aufgabe ist das erfindungsgemäße Verfahren zum Auswerten
monochromatischer Bilder in der Fluoreszenzmikroskopie unter Verwendung
eines Bildsensors, der eine Vielzahl von lichtempfindlichen Elementen
umfaßt
und jedes der Elemente zum Bestimmen eines Helligkeitswertes genau
einer Farbe aus einer vorgegebenen Anzahl von mehr als einer Farbe
vorgesehen ist, so daß mit jedem
Element Informationen zu der jeweils zugeordneten Farbe erhalten
werden, dadurch gekennzeichnet, daß die Farbe mit den meisten
Informationen aus der vorgegebenen Anzahl von Farben ausgewählt wird
und bei der Auswertung nur Informationen der Elemente berücksichtigt
werden, die für
diese ausgewählte
Farbe vorgesehen sind.
-
Es
wird somit nur ein Farbauszug, nämlich derjenige
mit den meisten Informationen, ausgelesen und der Rest verworfen.
Dadurch sinkt zwar die Auflösung
entsprechend, doch ist dies bei einem hochauflösenden Sensor kaum bemerkbar.
Die durch das Verfahren erzielte Zeitersparnis beim Auslesen des Sensors
bzw. beim Auswerten der erhaltenen Informationen ist hingegen erheblich.
Dazu kommt, daß die
Reduktion der Anzahl der Pixel bei vielen Anwendungen erwünscht ist.
Da die Interpolation entfällt, können außerdem rauschärmere Bilder
erzeugt werden.
-
Vorzugsweise
sind die Elemente des Bildsensors matrixförmig in Zeilen und Spalten
angeordnet. In diesem Fall bietet es sich an, daß wahlweise nur gerade oder
ungerade Zeilen des Bildsensors ausgelesen werden. Bei dem auf diese
Weise erzeugten Halbbild werden anschließend für die Auswertung nur die Informationen
der Elemente berücksichtigt,
die für
die ausgewählte
Farbe vorgesehen sind.
-
In
dieser Ausgestaltung des erfindungsgemäßen Verfahrens wird nur das
gewünschte
Halbbild ausgelesen und nur die benötigten Farbinformationen daraus
ausgelesen. Eine zeitaufwendige Farbinterpolation ist nicht erforderlich.
Folglich muß auch eine
durch die Interpolation bedingte Verringerung der Auflösung nicht
hingenommen werden. Die resultierenden Bilder liegen in der ausgewählten Farbe vor,
wobei eine schnellere und rauschärmere
Darstellung der Bildinformation möglich ist.
-
Bei
dem sogenannten Halbbildverfahren werden nicht rechte oder linke
Halbbilder, sondern gerade und/oder ungerade Zeilen in ein Shiftregister geladen.
-
Üblicherweise
sind die Elemente für
die drei Grundfarben Rot, Grün
und Blau vorgesehen, wobei die Elemente vorzugsweise in einem Bayer-Mosaik angeordnet
sind.
-
In
Ausgestaltung der Erfindung sind die Elemente mit Farbmikrofiltern
versehen. Diese stellen sicher, daß nur Licht eines bestimmten
Wellenlängenbereichs
transmittiert und somit von dem betreffenden Element absorbiert
werden kann, so daß jedes Element
nur Informationen zu der Helligkeit bzw. Intensität des Lichts
eines Wellenlängenbereichs
und somit zu einer Farbe liefert, d. h. für diese vorgesehen ist.
-
Die
Informationen der für
die ausgewählte Farbe
vorgesehenen Elemente werden üblicherweise
als Bild auf einer Anzeigeeinheit dargestellt.
-
Das
erfindungsgemäße Verfahren
erlaubt eine schnelle Fokussierung, Objektpositionierung und Vergrößerungsanpassung.
-
Das
erfindungsgemäße System
gemäß Anspruch
11 zeichnet sich dadurch aus, daß die dort vorgesehene Recheneinheit
ausgelegt ist, die Farbe mit den meisten Informationen aus der vorgegebenen
Anzahl von Farben auszuwählen
und bei der Auswertung nur Informationen der Elemente zu berücksichtigen,
die für
die ausgewählte
Farbe vorgesehen sind.
-
Die
Elemente des Bildsensors sind vorzugsweise matrixförmig in
Zeilen und Spalten angeordnet.
-
In
Ausgestaltung ist die Recheneinheit derart ausgelegt, daß diese
wahlweise nur gerade oder ungerade Zeilen des Bildsensors ausliest.
Diese Auswahl erfolgt bevorzugt ebenfalls durch die Recheneinheit.
-
Weiter
Ausgestaltungen des erfindungsgemäßen Systems ergeben sich aus
den Unteransprüchen.
-
In
der Mikroskopie ist häufig
nur ein monochromatisches Bild vorhanden, insbesondere bei der Fluoreszenz-Untersuchung
eines Objekts. Bei herkömmlichen
Verfahren werden mit vier Pixeln Farbinformationen aufgenommen.
Anschließend
wird dann für
jedes Pixel die Farbe anhand einer Interpolation mit den umliegenden
Pixelfarben berechnet. Dies ist zeitintensiv. Bei einem einfarbigen
Bild sind die übrigen
Pixel ohne Helligkeitsinformation und liefern daher nur Rauschen,
wodurch Bildverfälschungen
auftreten können.
Dies wurde bei herkömmlichen
Auslese- und Auswerteverfahren nicht berücksichtigt.
-
Durch
den Einsatz des erfindungsgemäßen Verfahrens
kann die Bildrate bei der Fokussierung von monochromatischen Bilder,
wie sie in der Fluoreszenz-Mikroskopie häufig angewandt wird, gegenüber einem
herkömmlichen
Verfahren praktisch verdoppelt werden, da eines der beiden Halbbilder überhaupt
nicht verwendet wird. Durch den Verzicht auf eine Farbinterpolation
kann die Darstellung des Farbauszuges gegenüber bekannten Verfahren darüber hinaus
beschleunigt werden.
-
Die
nicht zum gewählten
Farbauszug gehörenden
Farbpixel werden weggelassen und können somit nicht durch darin
enthaltene Rauschinformationen den Farbauszug stören. Das Ergebnis ist ein rauscharmes,
schnelles Graustufenbild zur optimalen Fokussierung und Bildausschnittsbestimmung.
-
Das
neue Verfahren kann durch Unterstützung von speziellen sogenannten
Readout-Modi bei der Ansteuerung eines CCD-Bildsensors bzw. einer digitalen Kamera
eingesetzt werden. Das Verfahren ist insbesondere bei hochauflösenden Bildsensoren zu
empfehlen, da bei diesen die durch das Verfahren bewirkte Reduzierung
der Auflösung
nicht ins Gewicht fällt.
Bei Livebild-Darstellungen ist sogar häufig eine Reduktion der Anzahl
der Pixel erwünscht,
um komfortabel den gewünschten
Bildausschnitt (field of view) bestimmen zu können.
-
Das
erfindungsgemäße Computerprogramm umfaßt Programmcodemittel,
um alle Schritte eines vorstehend beschriebenen Verfahrens auszuführen. Es
wird auf einem Computer oder einer entsprechenden Recheneinheit
ausgeführt.
-
Das
erfindungsgemäße Computerprogrammprodukt
ist auf einem computerlesbaren Datenträger gespeichert. Als geeignete
Datenträger kommen
EEPROMs und Flashmemories, aber auch CD-ROMs, Disketten sowie Festplattenlaufwerke
in Betracht.
-
Weitere
Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der
Beschreibung und der beiliegenden Zeichnung.
-
Es
versteht sich, daß die
vorstehend genannten und die nachstehend noch zu erläuternden Merkmale
nicht nur in der jeweils angegebenen Kombination, sondern auch in
anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne
den Rahmen der vorliegenden Erfindung zu verlassen.
-
Die
Erfindung ist anhand von Ausführungsbeispielen
in der Zeichnung dargestellt und wird im folgenden unter Bezugnahme
auf die Zeichnung ausführlich
beschrieben.
-
1 verdeutlicht
das bekannte Halbbildverfahren.
-
2 zeigt
schematisch eine Ausführungsform
des erfindungsgemäßen Verfahrens.
-
3 zeigt
schematisch eine weitere Ausführungsform
des erfindungsgemäßen Verfahrens.
-
4 zeigt
schematisch noch eine weitere Ausführungsform des erfindungsgemäßen Verfahrens.
-
5 zeigt
in schematischer Darstellung eine mögliche Anwendung des erfindungsgemäßen Verfahrens.
-
In 1 ist
zur Erläuterung
schematisch das herkömmliche
Halbbildverfahren wiedergegeben. Zu erkennen ist ein Bildsensor 10,
der eine Vielzahl von matrixförmig
in Zeilen und Spalten angeordneten lichtempfindlichen Elementen
aufweist, wobei Elemente 12 für die Farbe Grün, Elemente 14 für die Farbe
Rot und Elemente 16 für
die Farbe Blau vorgesehen sind. Die Elemente 12 sind somit
mit einem grünen
Farbmikrofilter, die Elemente 14 mit einem roten Farbmikrofilter
und die Elemente 16 mit einem blauen Farbmikrofilter versehen.
-
Zu
erkennen ist, daß die
Elemente 12, 14 und 16 für die drei
Grundfarben Rot, Grün
und Blau im sogenannten Bayer-Mosaik
angeordnet sind. Auf je einen roten und blauen Filter kommen dabei
zwei grüne
Filter.
-
Für die erste,
dritte, fünfte,
siebte und neunte Zeile, d. h. für
die ungeraden Zeilen des Bildsensors 10, wird ein erstes
Halbbild 18 und für
die zweite, vierte, sechste, achte und zehnte Zeile, d. h. für die geraden
Zeilen des Bildsensors 10, wird ein zweites Halbbild 20 erzeugt.
Dabei werden die beiden Halbbilder 18 und 20 dadurch
erzeugt, daß jeweils
die entsprechenden Zeilen zunächst
belichtet und dann ausgelesen werden.
-
Beim
Halbbildverfahren werden abwechselnd die geraden oder ungeraden
Zeilen des Bildsensors 10 ausgelesen. Die Halbbilder 18 und 20 werden
anschließend
typischerweise elektronisch zusammengesetzt.
-
In
den 2 bis 4 ist das erfindungsgemäße Verfahren
näher erläutert. Zu
erkennen ist wiederum ein Bildsensor 30, der eine Vielzahl
von matrixförmig
angeordneten Elementen 32, 34 und 36 aufweist,
wobei die Elemente 32 für
die Farbe Grün, die
Elemente 34 für
die Farbe Rot und die Elemente 36 für die Farbe Blau vorgesehen
sind.
-
Wie
in 2 zu erkennen ist, wird zunächst ein erstes Halbbild 38 erzeugt,
d. h. es werden nur die ungeraden Zeilen des Bildsensors 30 ausgelesen.
Dieses Halbbild 38 zeigt nur grüne und rote Bildpunkte. Anschließend werden
lediglich die Elemente 34 für die Farbe Rot berücksichtigt
und das Ergebnis in einem Bild 40, das einen roten Farbauszug
wiedergibt, dargestellt. Die Elemente 32 bzw. deren erhaltene
Informationen finden bei der weiteren Auswertung keine Berücksichtigung.
-
Die
Pixelzahl des Bildes 40 ist um Faktor 4 geringer als die
Pixelzahl des Sensors 30. Da aber keine Interpolationen
durchgeführt
werden müssen, kann
das Bild 40 schnell ermittelt werden. Mit diesem rauscharmen
Bild 40 ist anschließend
eine Fokussierung oder auch eine Bildausschnittsbewertung möglich.
-
In 3 ist
entsprechend ein zweites Halbbild 42 wiedergegeben, das
sich durch Auslesen der geraden Zeilen des Bildsensors 30 ergibt.
Aus diesem Halbbild 42 wird ein weiteres Bild 44,
das einen blauen Farbauszug wiedergibt, ermittelt, indem lediglich
die Elemente 36 für
die Farbe Blau berücksichtigt werden.
-
In 4 ist
das Halbbild 38 aus 2 wiederum
gezeigt. In diesem Fall wird aus dem Halbbild 38 ein Bild 46 erzeugt,
daß einen
grünen
Farbauszug wiedergibt.
-
Der
grüne Farbauszug
kann aus dem ersten Halbbild 38 oder dem zweiten Halbbild 42 gewonnen werden.
-
Bei
dem erfindungsgemäßen Verfahren
kann die Darstellung des Farbauszuges durch den Verzicht auf eine
Farbinterpolation gegenüber
herkömmlichen
Verfahren beschleunigt werden. Die nicht zum gewählten Farbauszug gehörenden Farbpixel
werden weggelassen und können
somit nicht durch darin enthaltene Rauschinformationen den Farbauszug stören.
-
In 5 ist
eine mögliche
Anwendung für das
erfindungsgemäße Verfahren
in schematischer Darstellung wiedergegeben. Zu erkennen ist ein
aufzunehmendes Objekt 50, ein Objektiv 52, ein
dichroitischer Strahlenteiler 54, ein Sperrfilter 56,
eine Tubuslinse 58, eine Mikroskopachse 60, eine
Bildebene bzw. ein Sensor 62, ein Anregungsfilter 64,
eine Kollektorllinse 66, eine Lichtquelle 68 und
eine Beleuchtungsachse 70.
-
In
der gezeigten Darstellung liegt ein fluoreszierendes Objekt 50 in
der Brennebene des Objektivs 52 und wird von diesem und
der Tubuslinse 58 auf den Sensor 62 abgebildet.
Zwischen dem Objektiv 52 und der Tubuslinse 58 bildet
sich eine Zone mit einem sogenannten parallelen Strahlengang. In
dieser Zone können
optional Zusatzelemente eingeschoben werden. In der Fluoreszenz-Mikroskopie
ist dies üblicherweise
der in 5 dargestellte Strahlenteiler 54 zur
Einkopplung einer Beleuchtung und der Sperrfilter 56.
-
Der
Sperrfilter 56 läßt nur Licht
mit der Wellenlänge
der von dem Objekt 50 emittierten Fluoreszenzstrahlung
passieren. Das kurzwellige Licht zur Fluoreszenzanregung wird von
dem Sperrfilter 56 nicht durchgelassen und kann folglich
auch nicht zur Bildentstehung beitragen.
-
Zur
Beleuchtung des Objekts 50 wird das Licht der Lichtquelle 68 von
der Kollektorlinse 66 gebündelt und von dem Strahlenteiler 54 in
Richtung des Objekts 50 reflektiert. Der Anregungsfilter 64 läßt lediglich
Licht der Wellenlänge
passieren, die zur Anregung der Fluoreszenz dient. Beleuchtungslicht
der Lichtquelle 68 der langwelligeren Fluoreszenzstrahlung
wird von dem Anregungsfilter 64 gesperrt und kann so die
Fluoreszenzstrahlung nicht überlagern und
deren Sichtbarkeit beeinträchtigen.
-
Zur
Steigerung der Lichteffizienz ist es dienlich, den Strahlenteiler 54 als
dichroitischen Strahlenteiler 54 auszubilden, da dieser
das kurzwellige Anregungslicht in hohem Maße reflektiert und für die langwellige
Fluoreszenzstrahlung eine hohe Transmission aufweist.
-
Mittels
dem in 5 gezeigten Aufbau wird ein monochromatisches
Bild erzeugt, daß gemäß dem erfindungsgemäßen Verfahren
ausgewertet werden kann.