DE102005049723A1

DE102005049723A1 - Bildverarbeitungsvorrichtung zur Erfassung des Intensitäts- / Zeitverlaufs fluoreszierender Farbstoffe

Info

Publication number: DE102005049723A1
Application number: DE200510049723
Authority: DE
Inventors: Joachim Dr. Ihlefeld; Oliver Dr. Vietze
Original assignee: Baumer Optronic GmbH
Current assignee: Baumer Optronic GmbH
Priority date: 2005-10-14
Filing date: 2005-10-14
Publication date: 2007-04-19
Also published as: WO2007042319A1

Abstract

Die Erfindung betrifft eine Bildverarbeitungsvorrichtung, insbesondere zur Erfassung des Intensitäts/Zeitverlaufs fluoreszierender Farbstoffe, DOLLAR A mit einer Impulslichtquelle und einem bildgebenden Sensor, wobei die Vorrichtung eingerichtet ist, DOLLAR A in einer definierten zeitlichen Folge, bezogen auf den Lichtimpuls, drei oder mehr Bilder des bildgebenden Sensors in einem Bildspeicher abzulegen DOLLAR A und DOLLAR A für zugeordnete Bildpunkte die zeitliche Folge der Abtastwerte mit einem oder mehreren vorgegebenen Intensitäts/Zeitverlauf eines zu detektierenden Farbstoffes zu korrelieren DOLLAR A und DOLLAR A die so ermittelten Korrelationswerte für vorzugsweise jeden Intensitäts/Zeitverlauf als Bildmatrix in einem Speicher abzulegen.

Description

Durch die Fluoreszenzanalyse und insbesondere die Fluoreszenzspektroskopie wurden wesentliche Fortschritte bei der Bildauswertung im Bereich der Medizin und Biologie, aber auch bei technischen Aufgabenstellungen erreicht. Insbesondere die Analyse der Intensitätsverteilungen der Phosphoreszenz im Zeit- und Spektralbereich gestattet durch den direkten Zusammenhang zwischen der unmittelbaren Umgebung des Fluophors und der Natur des Phosphoreszenzabfalls eine bildhafte Darstellung der Ortsverteilung bestimmter chemischer Verbindungen.

Das technische Verfahren wird anschaulich in dem Artikel "Development of a Time-Resolved Fluorometric Method for Observing Hybridization in Living Cells Using Fluorescence Resonance Energy Transfer, Akihiko Tsuji, Yoshihiro Sato, Masahiko Hirano, Takayuki Suga, Hiroyuki Koshimoto, Takeshi Taguchi, and Shinji Ohsuka", Biophys J, July 2001, p. 501–515, Vol. 81, No. 1 beschrieben.

Durch präzise, schnelle Laserimpulse werden Moleküle in lebenden Zellen zur Autofluoreszenz nach dem FRET – Verfahren (fluorescence resonance energy transfer) angeregt. Wenige Nanosekunden nach Ende der mit hoher Frequenz anliegenden Laserimpulse wird durch einen schnellen elektronischen Shutter mit einer programmierbaren Integrationszeit eine CCD-Kamera belichtet. Dieser Vorgang wird mit zwei unterschiedlichen Verzögerungen zu den Laserimpulsen wiederholt, so dass zwei Bilder entstehen, das Ergebnisbild wird aus dem Quotienten beider Bilder gewonnen. Mit der beschriebenen Anordnung ist es möglich, DNA-Abschnitte lebender Zellen zu visualisieren.

Im beschriebenen Stand der Technik wird ein stroboskopisches Verfahren eingesetzt. Der Sensor integriert repetierend mit einer sehr geringen Belichtungszeit, es wird nur ein geringer Teil der Belichtung verwendet. Deshalb werden Bildverstärker und gekühlte CCD-Kameras eingesetzt. Der Aufnahmevorgang ist langwierig. Ferner setzt das Verfahren sehr präzise gesteuerte und teure Laser voraus, damit der für die Integration auf dem Sensor verwendete Zeitbereich bezüglich des Anregungspulses exakt definiert werden kann. Ein weitere Nachteil besteht darin, dass das beschriebene Verfahren eine monoexponentielle Abklingfunktion der Phosphoreszenz voraussetzt. Diese Bedingung ist jedoch insbesondere bei technischen Anwendungen des Verfahrens durch gleichzeitig vorhandene Bindungen mit unterschiedlichen Energieniveaus nicht gegeben. In diesem Fall ergeben sich Überlagerungen von Abklingfunktionen der Phosphoreszenz mit unterschiedlichen Zeitkonstanten. Ferner besteht insbesondere für technische Anwendungen der Nachteil, dass das Objekt sich im Ruhezustand befinden muß.

Die Aufgabe der Erfindung besteht deshalb darin, eine einfache und robuste bildgebende Anordnung und einen Klassifikator für Phosphoreszenz mit multiexponentiellen Abklingfunktionen zu schaffen und gleichzeitig eine Erweiterung für toleranzbehaftete Impulslichtquellen und bewegte Objekte vorzunehmen.

Diese Aufgabe wird bereits in höchst überraschend einfacher Weise durch den Gegenstand der unabhängigen Ansprüche angegeben. Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Demgemäß sieht die Erfindung eine Bildverarbeitungsvorrichtung, insbesondere zur Erfassung des Intensitäts/-Zeitverlaufs fluoreszierender Farbstoffe vor, welche eine Impulslichtquelle und einen bildgebenden Sensor umfaßt und dazu eingerichtet ist, in einer definierten zeitlichen Folge bezogen auf den Lichtimpuls drei oder mehr Bilder des bildgebenden Sensors in einem Bildspeicher der Vorrichtung abzulegen und für zugeordnete Bildpunkte die zeitliche Folge der Abtastwerte mit zumindest einem vorgegebenen Intensitäts/-Zeitverlauf eines zu detektierenden Farbstoffes zu korrelieren und die so ermittelten Korrelationswerte für jeden Intensitäts/-Zeitverlauf als Bildmatrix in einem Speicher abzulegen.

Im Unterschied zu den bekannten Verfahren wird also keine stroboskopische Messung vorgenommen, sondern es werden zu dem Signal eines einzelnen Lichtimpulses bereits mehrere Aufnahmen in schneller Folge innerhalb des Zeitraums, in dem das Fluoreszenzsignal vollständig abklingt, abgespeichert. Überdies werden die Abtastwerte mit einem oder mehreren Modellen für das Abklingverhalten zu detektierender Farbstoffe verglichen, so daß auch unterschiedliche Abklingverhalten bedingt durch eine Überlagerung mehrerer Zeitkonstanten analysiert werden können. Auf diese Weise kann insbesondere auch die räumliche Verteilung mehrerer verschiedener Fluorophore ermittelt werden.

Der Nachteil der bisher eingesetzten, auf dem Stroboskopprinzip basierenden Lösungen besteht in der zwingenden Verwendung zeitlich hochkonstanter Impulslichtquellen. Ferner dürfen die Objekte während der gesamten Aufnahmephase nicht bewegt werden. Technisch einfacher und robuster und für viele Anwendungen ausreichend ist demgegenüber die Verwendung von Gasentladungslampen, wie z.B. von Xenon-Blitzlampen, die jedoch den Nachteil einer geringen zeitlichen Konstanz der Entladung aufweisen. Derartige Lampen können aber mittels der Erfindung ohne weiteres eingesetzt werden.

Erfindungsgemäß werden nun die Messwerte des Phosphoreszenzabfalls nach jedem Lichtimpuls vollständig ermittelt und in einer kurzen Messphase nach dem Lichtimpuls als Bildfolge in einem Speicher abgelegt. Dieser Speicher kann auch der bildgebende Sensor selbst sein.

Durch die zeitliche Korrelation sämtlicher Messungen verringert sich der Messfehler und reduziert sich auf einen für sämtliche Messwerte gleichen zeitlichen Offset. Aus dieser Bildfolge werden anschließend die zu einem Bildpunkt gehörenden Meßwerte in geordneter zeitlicher Reihenfolge ausgelesen und statistische Momente μ_nm berechnet. Danach wird die Wahrscheinlichkeit der Zugehörigkeit des betrachteten Pixel zu jedem der zu vergleichenden Modelle berechnet und in einem Farbvektor abgebildet. Für den Fall, dass eine automatische Segmentierung durchgeführt werden soll, kann die Wahrscheinlichkeit der Zugehörigkeit zu einer Sollklasse abgebildet und anschließend ausgewertet werden.

Für den Fall, dass als bildgebender Sensor ein CCD-Sensor verwendet wird, kann in besonders vorteilhafter Weise der Integrations- und Transportmechanismus so verkoppelt werden, dass in einem einzigen Ladungsbild die vollständige Information über den zeitlichen Verlauf der Phosphoreszenz abgebildet werden kann. In diesem Prozess wird die örtliche Auflösung teilweise in zeitliche Auflösung transponiert.

Hierzu kann zunächst das Gesichtsfeld der Kamera durch eine Feldblende so eingeschränkt werden, dass nur ein Streifen der lichtempfindlichen Fläche des Sensors belichtet wird. Für den Fall, dass ein nur kleines phosphoreszierendes Objekt auf dunklem Hintergrund abgebildet wird, kann die Feldblende auch entfallen.

Um die vollständige Information mehrerer nacheinander während des Abklingens der Fluoreszenz aufgenommener Einzelbilder in einem einzigen Ladungsbild abzuspeichern, kann gemäß einer Weiterbildung der Erfindung nach Ende des Lichtpulses die Ladung auf den Photodioden gelöscht und nach Ablauf eines ersten Zeitintervalls nach dem Löschen der Ladungen die in den Photodioden akkumulierte Ladung in die Transportregister übertragen und anschließend in schneller Folge über eine Vielzahl von n Zeilen geschoben werden. Nach Ablauf eines zweiten oder weiterer Zeitintervalle kann die in den Photodioden akkumulierte Ladung nochmals in die Transportregister übertragen und anschließend in schneller Folge über n Zeilen geschoben werden. Damit sind auf dem CCD-Chip nach Ende dieser Sequenz mehrere lateral verschobene Einzelbilder gespeichert.

Mit der Erfindung können auch mehrfache Belichtungen durchgeführt werden, um eine verbesserte Statistik zu erhalten. Insbesondere können die Fluoreszenzsignale mehrerer Lichtimpulse einer Lichtquelle auch in einem einzelnen Ladungsbild auf einem CCD-Sensor für die Weiterverarbeitung gespeichert werden. Eine Möglichkeit zur Realisierung dieser Ausführungsform der Erfindung basiert darauf, daß eine repetierend angesteuerte Impulsquelle eingesetzt wird, mit jedem Integrationsimpuls nach einem Lichtimpuls das Ladungsbild auf einem CCD-Sensor um eine Zeile geschoben wird und nach Ablauf einer festgelegten Anzahl Nz um exakt diese Anzahl von Zeilen in die entgegengesetzte Richtung geschoben, mit dem nächsten Lichtimpuls dieser beschriebene Prozeß erneut ausgeführt, und nach einer Anzahl von Lichtimpulsen das gesamte Ladungsbild in einem Bildspeicher ausgelesen wird.

Eine weitere besonders vorteilhafte Ausführung des bildgebenden Sensors kann durch eine vorzugsweise zeilenförmige Maske, beziehungsweise ein entsprechendes linienförmiges Gitter im Strahlengang erreicht werden. Hierbei werden beispielsweise in einem Zwischenbild oder auf dem CCD-Sensor selbst (N-1) Zeilen durch eine Maske abgedeckt und 1 Zeile geöffnet. Damit ist es möglich, N Abtastpunkte des Fluoreszenzabfalls zu erhalten, wenn nach jeder Übertragung eines Ladungsbilds das akkumulierte Bild in den Schieberegistern um jeweils um einen Bildpunkt in vertikaler Richtung verschoben wird.

Zur Verbesserung der Empfindlichkeit kann die Maske in vorteilhafter Ausgestaltung der Erfindung auch mit einem Zylinderlinsenarray gekoppelt werden.

Nach Belichtung des Objekts durch einen Lichtimpuls wird das Ladungsbild zunächst gelöscht. Anschließend wird nach einem ersten Integrationsintervall das Ladungsbild in die Schieberegister transportiert, danach werden n Takte geschoben und das zweite Ladungsbild generiert, anschließend wird dieses Bild ebenfalls übertragen.

Am Ende dieses Prozesses liegen m streifenförmige Bilder in der Schieberegisterstruktur der CCD-Transportregister vor. Sowohl Frame- als auch Interlinetransfer kann erfindungsgemäß eingesetzt werden.

Für die bildhafte Darstellung der Konzentrationsverteilung ausgewählter Fluophore wird eine Potentialfunktion über dem Bildfeld berechnet. Diese Potentialfunktion wird gebildet aus einem Modellvergleich des Phosphoreszenzabfalls jedes Pixels mit einem oder mehreren Modellen des Phosphoreszenzabfalls der verwendeten Farbstoffe. Zunächst soll die Potentialfunktion für ein Modell berechnet werden. Hierzu werden bevorzugt in einem FPGA zunächst für jeden Pixel eine in zeitlicher Reihenfolge geordnete Folge von N Messwerten in einen Vektor f_i, i = 1..N formatiert.

Von diesem Vektor werden die Momente μ_nm

in Echtzeit und die Modellparameter

vorab innerhalb eines Parametrierungsprozesses berechnet. Die Parameter x, y repräsentieren dabei die jeweiligen Ortskoordinaten eines Pixels oder des auf den Pixel abgebildeten Teils des beobachteten Objekts. Die Modellparameter Modell sind vorgegeben und beschreiben das Abklingverhalten eines bestimmten Fluorophors. Im Speziellen sind die Modellparameter Modell die zu erwartenden Intensitäten oder Helligkeiten eines Fluorophors zu den dem Index i zugeordneten Integrationszeiträumen.

Die Berechung der Momente μ₁₀(x, Y), μ₁₁(x, y) und μ₂₀(x, y) gemäß den oben angegebenen Gleichungen wird bevorzugt, da eine sichere Klassifizierung des Abklingverhaltens mit diesen Momenten und einer Potentialfunktion, wie etwa der Kreuzkorrelationsfunktion gelingt und die Berechnung dieser Momente äußerst schnell hardwaregestützt, insbesondere in einem FPGA durchgeführt werden kann.

Diese Modellparameter können insbesondere auch durch Messung an bekannten Fluorophoren bestimmt werden.

Aus den Momenten kann eine Potentialfunktion über der Bildmatrix berechnet werden, im Ausführungsbeispiel wurde hierfür die Kreuzkorrelationsfunktion CCF(x, y) gewählt. In Abhängigkeit von den konkreten zu klassifizierenden Zeitfunktionen sind auch andere Potentialfunktionen einsetzbar.

Insbesondere ist die Einbeziehung von Farbinformationen z.B. durch Multiplikation mit einem Farbabstandsmaß zur erwarteten Farbart sinnvoll, wenn sich die einzelnen Fluophore in ihrer Farbe unterscheiden.

Anschließend wird die CCF als Bild zur weiteren Verarbeitung gespeichert.

Zur schnelleren Berechnung der Potentialfunktionen ist es zweckmäßig, FPGA- gestützte Hardware einzusetzen. Dazu ist gemäß einer Weiterbildung der Erfindung vorgesehen, dass die Vorrichtung eine in einem FPGA realisierte Steuer- und Recheneinheit umfasst, welche eine Potentialfunktion des Ladungsbildes aus dem Bildspeicher bestimmt und in Echtzeit auswertet und klassifiziert.

Vorteilhaft ist in vielen Fällen die Verwendung mehrerer Modelle, die zeitlich sequentiell nach dem gleichen Verfahren ermittelt werden können. Anschließend können die Bilder zu einem (Falsch-) – Farbbild kombiniert werden.

Für eine automatische Auswertung kann das Bild mit bekannten Verfahren der Bildverarbeitung weiter verarbeitet werden, insbesondere sind hier Verfahren der Bildverbesserung sowie Segmentierungsverfahren zu nennen. In einem weiteren Ausführungsbeispiel kann die flächenhafte Verteilung von 2 unterschiedlichen Fluophoren durch 2 Bilder der jeweiligen Potentialfunktion CCF_1(x, y) und CCF_2(x, y) dargestellt werden.

Ein optimaler Kontrast zwischen beiden Fluorophoren wird in einem Bild des Typs image(x, y) = CCF_1(x, y)(1-CCF_2(x, y)) dargestellt. Das so ermittelte Digitalbild image(x, y) kann nachfolgend mit einem Mustererkennungsverfahren nachbearbeitet werden.

Besonders vorteilhaft ist auch der Einsatz von CMOS – Sensoren, die bei Bedarf mit Bildverstärkern gekoppelt werden können. Dazu kann in vorteilhafter Weiterbildung der Erfindung als bildgebender Sensor insbesondere eine CMOS-Sensor mit mehr als einem Ladungsspeicher pro Photodiode verwendet werden. In diesem Fall können die innerhalb der Integrationszeitintervalle auf jeder Photodiode generierten Ladungen in einfacher Weise sequentiell auf die zugeordneten Ladungsspeicher aufteilt und anschließend ausgelesen werden.

Die Erfindung wird nachfolgend anhand bevorzugter Ausführungsbeispiele und unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei verweisen gleiche Bezugszeichen auf gleiche oder ähnliche Teile Es zeigen:
1 eine typische Abklingkurve von mono- und multiexponentiellen Fluophoren
2 die optimale Integrationszeit als Funktion des Bildindex für monoexponentielles und multiexponentielles Abklingverhalten,
3 eine typische Signal/Zeitfunktion mit optimaler Integrationszeitsteuerung,
4 einen CCD-Sensor mit Maske,
5A einen CCD-Sensor mit linienförmiger Gittermaske,
5B in schematischer Ansicht eine Weiterbildung der in 5A gezeigten Ausführungsform mit einem Zylinderlinsen-Array,
6 ein Belichtungszeitdiagramm,
7 ein Ausführungsbeispiel der echtzeitfähigen Steuer- und Recheneinheit mit bildgebenden Sensor und Bildspeicher,
8 ein Schaltbild einer möglichen Realisierung einer Berechnungseinheit für eine Steuer- und Recheneinheit gemäß 7.
1 zeigt typische Abklingkurven eines monoexponentiellen (unten) und eines multiexponentiellen (oben) Fluophors. Die Zeitkonstanten der Abklingkurven können in einem weiten Zeitbereich von einigen Nanosekunden bis zu Millisekunden variieren. Es ist bekannt, dass ein enger Zusammenhang zwischen den in der Umgebung des Fluophors vorhandenen chemischen Bindungen und dem Signalverlauf besteht, so dass aus der Anwesenheit bestimmter Phosphoreszenz/Zeitverläufe und bestimmter Wellenlängenintervalle auf die Ortsverteilung bestimmter Verbindungen geschlossen werden kann.
In 2 ist die optimale Integrationszeit für eine typische Abklingfunktion als Funktion des Bildindex dargestellt. Die Integrationszeit steigt mit steigender Anzahl von Aufnahmen an. Um ein annähernd konstantes Bildsignal in den Einzelbildern zu erhalten, ist es gemäß einer Weiterbildung daher vorgesehen, eine an die typische Abklingfunktion angepasste Steuerung der Integrationszeit durchzuführen, so dass das Bildsignal für die typische Abklingfunktion in den Teil- oder Einzelbildern annähernd konstant ist.
Erfindungsgemäß wird eine Vorrichtung mit einer im benötigten Spektralbereich zur Anregung der Fluorophore strahlenden Impulslichtquelle, einem bildgebenden Sensor und einer Steuer- und Recheneinheit angewendet. Die Steuer- und Recheneinheit synchronisiert die Komponenten so, dass unmittelbar zu Beginn eines Lichtimpulses die Photodioden des Bildsensors gelöscht werden, unmittelbar nach Ende des Lichtimpulses wird die Integration freigegeben. Als Impulslichtquelle können Gasentladungslampen, LED' s oder Laser verwendet werden.
Zur Erkennung der Zeitstruktur der Phosphoreszenzverteilung wird diese mehrfach im Zeitbereich abgetastet. Hierbei ist eine auf die zu klassifizierenden Phophoreszenzverläufe optimierte zeitliche Abtastung erforderlich, 2. Auf der Abszisse sind die Bildaufnahmen mit dem Index 1 bis 10 aufgetragen, auf der Ordinate eine mit dem Abtastindex steigende Integrationszeit. Bei Verwendung programmierbarer optimaler Integrationsintervalle t_i entsteht für jeden Messpunkt ein Vektor mit N (im Beispiel 10) Abtastwerten. Die Integrationsintervalle wurden hierbei so gewählt, dass ein optimaler, möglichst rauscharmer Kontrast zwischen unterschiedlichen Vektoren entsteht.
Die Signalverarbeitung erfordert eine sichere Klassifizierung unterschiedlicher Signal/-Zeitprofile. Im Ausführungsbeispiel zeigen 1 und 3, dass die sehr ähnlichen Kurven in 1 durch eine optimale zeitliche Abtastung trotz ihrer Ähnlichkeit im linearen Zeitbereich zu an ihren Formen gut unterscheidbaren Messwertvektoren führen können.
Die Auswertung der Messwertvektoren erfolgt über einen Formvergleich. Hierzu kann vorteilhaft eine auf der Grundlage der Kreuzkorrelationsanalyse berechnete Potentialfunktion verwendet werden. Durch definierte Reagenzien ist das Signal/-Zeitverhalten meist vorbekannt. Deshalb können ein oder mehrer Modellvektoren erstellt werden, die die gesuchten Fluophore beschreiben.
Das Messwertprofil von N Abtastwerten eines Pixels stellt einen Vektor mit einer Folge von N Messwerten f_i(x, y), i = 1..N dar. Von diesem Vektor werden die Momente μ_nm
besonders bevorzugt in Echtzeit und die Modellparameter
vorab innerhalb eines Parametrierungsprozesses berechnet.
Aus den Momenten kann eine Potentialfunktion über der Bildmatrix berechnet werden, beispielsweise kann hierfür die Kreuzkorrelationsfunktion CCF(x, y) gewählt werden:
In Abhängigkeit von den konkreten zu klassifizierenden Zeitfunktionen sind auch andere Potentialfunktionen einsetzbar.
Aus der so erhaltenen Kreuzkorrelationsfunktion kann durch Verknüpfung mit dem Abstand zu erwarteten Werten, beispielsweise in Form eines Farbabstands zu einer erwarteten Sollfarbe eine Potentialfunktion berechnet werden:
Hierbei stellt [c1(x, y), (c2(x, y), (c3(x, y)] ein Farbbild mit den Koordinaten (x, y) dar, wobei die Parameter [c1_Model, c2_Model, c3_Model] den erwarteten Farbort des Fluophors beschreiben.
Die Potentialfunktion kann anschließend mit bekannten Verfahren der zweidimensionalen Bildverarbeitung vorverarbeitet und bei Bedarf segmentiert werden, so dass Merkmale des beobachteten Objekts gemessen oder erkannt werden können.
In 4 ist ein Ausführungsbeispiel eines CCD-Sensors 1 mit einer Feldblende oder Maske 20 dargestellt. Die Feldblende oder Maske 20 läßt einen Bereich 100 auf dem CCD-Chip frei, auf den das zu untersuchende Objekt abgebildet wird. Die Maske 20 läßt dabei einen Bereich einer Vielzahl von kleiner gleich n Zeilen frei. Zunächst wird dann bei der Bilderfassung nach Ende des Lichtpulses die Ladung auf den Photodioden gelöscht und nach Ablauf eines ersten Zeitintervalls nach dem Löschungszeitpunkt die akkummulierte Ladung der nicht abgedeckten Zeilen im Bereich 100 des Sensors 1 in die Transportregister übertragen und anschließend über n Zeilen in Richtung auf den durch die Maske 20 abgedeckten Bereich des Sensors geschoben. Anschließend wird dieser Prozeß ein- oder mehrmals wiederholt, so daß eine Abfolge nebeneinanderliegender Bilder auf dem CCD-Chip gespeichert ist. Nach Abschluß dieser Messung können die Teilbilder dann wie oben beschrieben unter Berechnung der Momente μ₁₀(x, Y), μ₁₁(x, y) und μ₂₀(x, y) ausgewertet werden. Das Verfahren kann auch für einen oder mehrere nachfolgende Lichtimpulse wiederholt werden, so daß die Fluoreszenzbilder mehrerer Lichtimpulse auf dem Sensor gespeichert werden.
5A zeigt eine andere Variante der Erfindung, bei welcher ein bildgebender CCD-Sensor 1 mit einer Maske teilweise abgedeckt wird. Auch diese Variante gestattet es unter anderem, die Fluoreszenzsignale gleich mehrerer Lichtimpulse in einem einzelnen Ladungsbild auf dem CCD-Sensor abzuspeichern. Die Maske 22 dieser Ausführungsform stellt ein linienförmiges Gitter dar, welches jeweils linienförmige Bereiche 221, 222, 223,..., 22N des bildgebenden Sensors 1 abdecken. Jeder dieser linienförmigen Bereiche deckt dabei N-1 Zeilen des bildgebenden Sensors ab, in den Bereichen 25 ist jeweils eine Zeile freigelassen. Bei der Vermessung eines Fluoreszenzabfalls werden dann durch sequentielles Belichten und Schieben des akkumulierten Bildes N Abtastpunkte des Fluoreszenzabfalls erhalten, wobei nach jeder Übertragung eines Ladungsbilds das akkumulierte Bild in den Schieberegistern um jeweils um einen Bildpunkt in vertikaler Richtung verschoben wird. Ein Beispiel eines Timing-Diagramms für die Aufnahme der einzelnen Teilbilder mit Bildindex i = 1 bis i = 5 = N nach dem Ende des Lichtpulses 30 ist in 6 dargestellt. Das Timing-Diagramm kann in gleicher Weise auch für eine Aufnahme mit einem bildgebenden Sensor 1 gemäß 4 angewendet werden. Die Aufnahme der Einzelbilder mit dem Bildindex i erfolgt jeweils nach dem auf den Zeitachsen dargestellten Rechteckimpuls.
In 5B ist in schematischer Ansicht eine Weiterbildung der in 5A gezeigten Anordnung dargestellt. Zusätzlich zu der in 5A gezeigten Anordnung sind über den Schlitzen in der linienförmigen Maske 22 ein Mikrolinsenarray mit Zylinderlinsen 27 angeordnet, welche das einfallenden Fluoreszenzlicht auf die nicht abgedeckten Zeilen 25 des Sensors 1 bündeln, um die Lichtempfindlichkeit der Anordnung zu verbessern.
7 zeigt ein Blockschaltbild eines Ausführungsbeispiels eines echtzeitfähigen Controllers 3 einer erfindungsgemäßen Vorrichtung, der das Ladungsbild des bildgebenden Sensors 1 verarbeitet. Je nach verwendetem bildgebenden Sensor stellt das Sensorinterface 4 der Measurement Engine 5 die Messwerte der Phosphoreszenzverteilung in digitalisierter Form zur Verfügung.
Die Measurement Engine 5 berechnet aus den aus dem Sensor zum Zeitpunkt i ausgelesenen Werten und den in einem Bildspeicher (2) bis zum Zeitpunkt i-1 abgelegten Zwischensummen der Momente μ_nm die neue Zwischensumme für den Zeitpunkt i. Für den Fall, dass i den Wert von N erreicht, erfolgt die Berechnung der CCF(x, y). Das Userinterface 6 stellt die Schnittstelle vom Controller 3 zur Anwendung dar und kann verschiedene Verfahren der Bildvorverarbeitung einschließlich der Segmentierung und Klassifizierung beinhalten. Das Lesen und Schreiben der Zwischensummen in den Bildspeicher 2 übernimmt der Speicherkontroller 7. Das Synchronisieren der unterschiedlichen Komponenten wird durch die Steuereinheit 8 realisiert.
In 8 ist eine mögliche Realisierung der Measurement Engine 5 gezeigt. Die Momente μ_nm werden aus den im Bildspeicher 2 bis zum Zeitpunkt i-1 abgelegten Zwischensummen und den aus dem bildgebenden Sensor 1 aktuell ausgelesenen Abtastwerten in einem Addierer 11 akkumuliert, in einem Register 12 abgetastet und dem Speicherkontroller 7 übergeben, der die aktualisierten Zwischensummen wieder im Bildspeicher 2 zurückspeichert. Ein Multiplexer 9 stellt dem Multiplizierer 10 die für die einzelnen Momente μ₁₀(x, y), μ₁₁(x, y), μ₂₀(x, y) benötigten Faktoren bereit.
Für den Fall, dass i den Wert N erreicht werden die Momente μ₁₀(x, y), μ₁₁(x, y), μ₂₀(x, y) in den entsprechenden Registern 13, 14 und 15 abgespeichert und daraus mit der Recheneinheit 16 die Kreuzkorrelationsfunktion CCF(x, y) berechnet. Eine Ablaufsteuerung 17 generiert für den Multiplexer 9 die entsprechenden Zeitlagen, stellt die für die Registern 12, 13, 14 und 15 benötigten Übernahmesignale bereit und wird aus der Steuereinheit 8 synchronisiert.
Es ist dem Fachmann ersichtlich, dass die Erfindung nicht auf die vorstehend beschriebenen beispielhaften Ausführungsformen beschränkt ist, sondern vielmehr in vielfältiger Weise variiert werden kann. Insbesondere können die Merkmale der einzelnen Ausführungsbeispiele auch miteinander kombiniert werden.

Claims

Bildverarbeitungsvorrichtung, insbesondere zur Erfassung des Intensitäts/-Zeitverlaufs fluoreszierender Farbstoffe, mit einer Impulslichtquelle und einem bildgebenden Sensor, dadurch gekennzeichnet, dass die Vorrichtung eingerichtet ist, in einer definierten zeitlichen Folge bezogen auf den Lichtimpuls drei oder mehr Bilder des bildgebenden Sensors in einem Bildspeicher abzulegen und für zugeordnete Bildpunkte die zeitliche Folge der Abtastwerte mit einem oder mehreren vorgegebenen Intensitäts/-Zeitverlauf eines zu detektierenden Farbstoffes zu korrelieren und die so ermittelten Korrelationswerte für vorzugsweise jeden Intensitäts/-Zeitverlauf als Bildmatrix in einem Speicher abzulegen.
Bildverarbeitungsvorrichtung nach Anspruch 1, gekennzeichnet dadurch dass als ein bildgebender Sensor ein CCD-Sensor verwendet wird, wobei nach Ende des Lichtpulses die Ladung auf den Photodioden gelöscht wird und nach Ablauf eines ersten Zeitintervalls nach dem Löschen der Ladungen die in den Photodioden akkumulierte Ladung in die Transportregister übertragen wird und anschließend in schneller Folge über n Zeilen geschoben wird und dass nach Ablauf eines zweiten oder weiterer Zeitintervalls die in den Photodioden akkumulierte Ladung nochmals in die Transportregister übertragen wird und anschließend in schneller Folge über n Zeilen geschoben wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, gekennzeichnet dadurch dass als bildgebender Sensor ein CMOS-Sensor mit mehr als einem Ladungsspeicher pro Photodiode verwendet wird und dass die innerhalb der Integrationszeitintervalle auf jeder Photodiode generierten Ladungen sequentiell auf die zugeordneten Ladungsspeicher aufgeteilt und anschließend ausgelesen werden.
Bildverarbeitungsvorrichtung nach einem der vorstehenden Ansprüche, gekennzeichnet dadurch dass, im Strahlengang vor dem bildgebenden Sensor eine Maske mit einem Gitter angeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 4, gekennzeichnet dadurch dass vor dem Gitter ein Mikrolinsenarray angeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 1 bis 5, gekennzeichnet dadurch dass ein oder mehrere Modelle der Abklingfunktionen der erwarteten Fluophore abgespeichert und in Vektorform dargestellt werden und dass aus der Bildfolge für jeden Pixel (x, y) der Vektor der Abklingfunktion f_i(x, y, t_i) gemessen wird und dass aus Modellvektor und dem dem jeweiligen Pixel zugeordneten Vektoren f_i(x, y, t_i) eine oder mehrere Potentialfunktionen berechnet und als Bild abgespeichert werden.
Bildverarbeitungsvorrichtung nach Anspruch 1 bis 6, gekennzeichnet dadurch dass eine an die typische Abklingfunktion angepasste Steuerung der Integrationszeit vorgenommen wird, so dass das Bildsignal für die typische Abklingfunktion in den betrachteten Teilbildern annähernd konstant ist.
Bildverarbeitungsvorrichtung nach Anspruch 4, gekennzeichnet dadurch dass eine repetierend angesteuerte Impulsquelle eingesetzt wird, und dass mit jedem Integrationsimpuls nach einem Lichtimpuls das Ladungsbild auf einem CCD-Sensor um eine Zeile geschoben wird und nach Ablauf einer festgelegten Anzahl Nz um exakt diese Anzahl von Zeilen in die entgegengesetzte Richtung geschoben wird und dass mit dem nächsten Lichtimpuls der beschriebene Prozeß erneut ausgeführt wird und dass nach einer Anzahl von Lichtimpulsen das gesamte Ladungsbild in einem Bildspeicher ausgelesen wird.
Bildverarbeitungsvorrichtung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung eine vorzugsweise in einem FPGA realisierte Steuer- und Recheneinheit umfasst, welche eine Potentialfunktion des Ladungsbildes aus dem Bildspeicher bestimmt und in Echtzeit auswertet und klassifiziert.
Bildverarbeitungssystem gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Vorrichtung zur Berechnung der Momente
eingerichtet ist.