DE102019000066A1

DE102019000066A1 - Verfahren zur Visualisierung von Fluoreszenz-Lifetime-Imaging-Daten

Info

Publication number: DE102019000066A1
Application number: DE102019000066.8A
Authority: DE
Inventors: Wolfgang Becker
Original assignee: Becker & Hickl GmbH
Current assignee: Becker & Hickl GmbH
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2020-07-09
Anticipated expiration: 2039-01-10
Also published as: DE102019000066B4

Abstract

Die Erfindung betrifft ein Verfahren zur Visualisierung von Fluoreszenz-Lifetime-Imaging-(FLIM)-Daten, von Serien von Fluoreszenzabklingkurven, oder von Zeitfunktionen anderer optischer Signale, das zum Ziel hat, charakteristische Unterschiede in den Fluoreszenzabklingfunktionen in den einzelnen Pixeln des FLIM-Bildes oder in den Fluoreszenzabklingkurven oder sonstigen Zeitfunktionen einer Serie von Messungen optischer Signale unabhängig von ihrer Lage im Bild oder ihrer Position innerhalb der Serie herauszuarbeiten und erkennbar zu machen. Das Verfahren beruht darauf, dass aus den Fluoreszenz-Abklingkurven der einzelnen Pixel oder Datenpunkten der Mess-Serie jeweils zwei gewichtete Momente mit unterschiedlichen Gewichtsfunktionen, die keine Sinus- oder Cosinus-Funktionen sind, gebildet werden, und diese als Punkte in einem Koordinatensystem eingetragen werden, dessen Koordinaten den Werten von jeweils einem der beiden Momente zugeordnet sind. Das Verfahren ist insbesondere zur Beurteilung von klinischen FLIM-Daten und von klinischen NIRS- (Near-Infrared Spectroscopy) und fNIRS- (functional Near-Infrared Spectroscopy) Daten geeignet.

Description

Thema
Die Erfindung betrifft ein Verfahren zur Visualisierung von Fluoreszenz-Lifetime-Imaging-(FLIM)-Daten, von Serien von Fluoreszenzabklingkurven, oder von Zeitfunktionen anderer optischer Signale, das zum Ziel hat, charakteristische Unterschiede in den Fluoreszenzabklingfunktionen in den einzelnen Pixeln des FLIM-Bildes oder in den Fluoreszenzabklingkurven oder sonstigen Zeitfunktionen einer Serie von Messungen optischer Signale unabhängig von ihrer Lage im Bild oder ihrer Position innerhalb der Serie herauszuarbeiten und erkennbar zu machen. Das Verfahren ist insbesondere zur Beurteilung von klinischen FLIM-Daten und von klinischen NIRS-(Near-Infrared Spectroscopy) und fNIRS- (functional Near-Infrared Spectroscopy) Daten geeignet.
Stand der Technik
Fluoreszenz-Lifetime Imaging (FLIM) liefert räumlich aufgelöste Daten, die in den einzelnen Pixeln die Fluoreszenz-Abklingfunktion der dort vorhandenen Fluorophore enthalten. Die Abklingfunktionen und daraus die ermittelten Parameter enthalten Information über die molekulare Umgebung der Fluorophor-Moleküle. In Biologischen Systemen lassen sich daraus molekulare Parameter, z.B. die Konformation und die Wechselwirkung von Proteinen, der Stoffwechselzustand, oder der Bindungszustand von biomechanisch relevanten Substanzen ableiten [1]. Anwendungen in der Dermatologie und in der Ophthalmologie sind in [2], [3], [4] und [5] beschrieben.
Zur Darstellung von FLIM-Daten werden die Parameter der Fluoreszenz-Abklingfunktionen in den einzelnen Pixeln des Bildes über eine Fit-Prozedur mit einer geeigneten Modellfunktion (gewöhnlich eine Summe von abklingenden Exponentialfunktionen) ermittelt. Aus diesen Daten werden Bilder aufgebaut, die den interessierenden Parameter der Abklingfunktion als Farbe darstellen. Fluoreszenz-Abklingzeiten können aus den beschriebenen Daten auch über die Berechnung des ersten oder zweiten Moments der Abklingkurven berechnet werden. Das Verfahren liefert eine hohe Genauigkeit, allerdings nur bei Annahme eines einfach-exponentiellen Abklingvorganges.
Eine andere Möglichkeit besteht in der Transformation der Abklingdaten in den Frequenzbereich. Die Abklingdaten in den einzelnen Pixeln werden anschließend in Form von Wertepaaren der Amplitude und der Phase des Signals auf der Wiederholfrequenz der optischen Anregung dargestellt. Die Wertepaare der einzelnen Pixel werden in einem Polardiagramm eingetragen. Pixel mit ähnlichen Abklingfunktionen bilden in diesem Diagramm Punktwolken, die identifiziert und rückwirkend im Intensitätsbild des Messobjektes markiert werden können. Ein Nachteil ist, dass aus der Lage eines Pixels im Polardiagramm nicht eindeutig auf die Parameter der Abklingfunktion geschlossen werden kann. Das Verfahren ist als „Phasor Plot“ bekannt [6].
In klinischen Anwendungen gibt es allerdings ein prinzipielles Problem. Ein klinischer Experte, der die Bilddaten auswertet, möchte verständlicherweise absolute Werte der Fluoreszenz-Abklingparameter präsentiert bekommen, um daraus medizinische Entscheidungen abzuleiten. Gerade diese Absolutwerte stehen aber in klinischen FLIM-Anwendungen nur mit unvollkommener Genauigkeit zur Verfügung. Grund dafür sind unvermeidbare Einflüsse wie z.B. ein variabler Abstand von der Messanordnung zum Patienten, oder variable Laufzeiten durch Streuung der Photonen aus verschiedener Tiefe des untersuchten Gebietes im Gewebe. Bereits wenige Millimeter Differenz in der optischen Weglänge führt zu Laufzeitunterschieden im Bereich von einigen 10 ps. Diese gehen in die gemessenen Werte der Abklingzeiten ein und sind nicht vollständig zu kompensieren. Die Unsicherheiten zwischen verschiedenen Datensätzen, insbesondere zwischen denen von verschiedenen Patienten, sind dadurch viel größer als die relativen Unsicherheiten innerhalb eines einzigen Datensatzes. Darüber hinaus gibt es Patientenspezifische Unterschiede in den absoluten Abklingzeiten, die nicht unbedingt pathologische Ursachen haben müssen. Die Verwendung von Absolutwerten führt somit zu unnötigen Unsicherheiten bei der Beurteilung der Daten und der daraus abgeleiteten Diagnose.
Ein weiteres Problem besteht darin, dass keines der bekannten Auswerteverfahren die gesamte in den FLIM-Daten enthaltene Information gleichzeitig und umfassend darstellt. In den typischen farbcodierten FLIM-Bildern kann immer nur ein Parameter der Abklingfunktion, z.B. die Abklingzeit einer Komponente, die Amplitude einer Komponente, oder eine mittlere Abklingzeit dargestellt werden. Im Phasor-Plot werden alle diese Parameter in die Amplitude und Phase des Phasors kombiniert, wobei sich Änderungen der Abklingfunktionen nicht notwendigerweise in klinisch interpretierbaren Änderungen ausdrücken. Darüber hinaus stellt keines der vorhandenen Auswerteverfahren Änderungen der Parameter der Abklingfunktionen über die Dauer der Messung bzw. über die Dauer einer Serie von Messungen in visuell interpretierbarer Weise dar. Solche Änderungen können durch das Anregungslicht oder durch zielgerichtete Stimulation der Probe induziert werden oder durch physiologische Vorgänge von selbst vorhanden sein. Die Information darüber ist in TCSPC-Rohdaten Daten enthalten [1, 2] oder sie kann mit speziellen TCSPC-Verfahren explizit aufgezeichnet werden [2, 8].
Beschreibung der Erfindung
Ziel der Erfindung ist ein Verfahren, das die Notwendigkeit von absolut genauen Werten der Fluoreszenz-Abklingparameter vermeidet, trotzdem aber dem Betrachter eine objektive Beurteilung des Gewebezustandes und eine objektiv begründete Diagnose ermöglicht. Weiterhin soll es möglich sein, innerhalb eines bestimmten Datensatzes schnell zwischen unterschiedlichen Auswerte-Funktionen bzw. Darstellungen umzuschalten, und die Ergebnisse in visuell interpretierbarer Weise zu kombinieren.
Diese Aufgabe wird erfindungsgemäß folgendermaßen gelöst:

Die FLIM Daten werden in einer Weise aufgezeichnet, dass in jedem Pixel des Bildes eine vollständige Fluoreszenz-Abklingkurve in Form von Photonenzahlen in aufeinanderfolgenden Zeitkanälen gebildet wird. Das ist z.B. durch TCSPC-FLIM möglich, wie in [1] oder [2] beschrieben.

Aus den Abklingdaten in jedem Pixel werden Momente der Abklingkurve berechnet. Das kann entweder durch direkte Datenoperationen in der Hardware geschehen [7], oder durch nachträgliche Verarbeitung der Daten durch entsprechende Software. Das Moment einer Kurve (oder, wie im vorliegenden Falle, einer Photonenverteilung) ist im allgemeinen Falle: $M = \frac{1}{N} \sum f (t) n (t)$
Dabei sind n(t) die Photonenzahlen in den aufeinanderfolgenden Zeitkanälen, N ist die Gesamtzahl der Photonen, und f(t) ist eine beliebig wählbare Gewichtsfunktion.
Erfindungsgemäß werden für jedes Pixel zwei Momente mit unterschiedlichen Gewichtsfunktionen f1(t) und f2(t) gebildet. Die erhaltenen Werten, M_f1(t) und M_f2(t), werden als Punkte in ein Diagramm eingetragen, das als Abszisse M_f1(t), als Ordinate aber M_f2(t) enthält (nachfolgend Momenten-Plot genannt). Werden die Funktionen f1(t) und f2(t) zweckentsprechend gewählt, bilden Pixel mit ähnlichen Abklingfunktionen Punktwolken im Momenten-Plot.
Die relative Lage der Punktwolken zueinander und ihre Form sind nur unwesentlich von der absoluten zeitlichen Lage der Abklingfunktionen, aber stark von den relativen Unterschieden in den Parametern der Abklingfunktionen abhängig. Dem Ziel der Erfindung entsprechend, können die Form und relative Lage der Punktwolken zur objektiven Beurteilung des Gewebezustandes dienen, ohne dass extreme Anforderungen an die Absolut-Genauigkeit der FLIM-Daten gestellt werden.
Durch die Wahl von verschiedenen Gewichtsfunktionen f1(t) und f2(t) kann ein und derselbe Datensatz in unterschiedlichen Darstellungen begutachtet werden. Durch die Wahl spezieller Gewichtsfunktionen können Änderungen in speziellen Fluoreszenzparametern und damit spezielle Krankheitsbilder oder Gewebeeigenschaften besonders hervorgehoben werden.
Für die Wahl der Gewichtsfunktionen f1(t) und f2(t) kommen insbesondere Funktionen in Betracht, die zueinander orthogonal sind. Die beiden Momente M_f1(t) und M_f2(t) spannen dann eine maximal große Fläche im Momenten-Plot auf. Orthogonalität bedeutet, dass das Integral des Produktes der beiden Funktionen Null ergibt. Es reicht dabei aus, wenn Orthogonalität über den Bereich der Signalperiode, T, des Fluoreszenzsignals gegeben ist, d.h. $\int_{t = 0}^{T} f_{1} (t) \cdot f_{2} (t) = 0$
Es gibt eine Vielzahl von Funktionen für die eine solche Orthogonalität erfüllt ist, z.B. Sinus- und Cosinus-Funktionen, Legendre-Polynome, Laguerre-Polynome, und Bessel-Funktionen. Für andere Funktionen, z.B. gewöhnliche Polynome, Summen und Differenzen von Exponentialfunktionen, oder Summen von Produkten von e-Funktionen und Winkelfunktionen oder e-Funktionen und Polynomen kann eine Orthogonalität über das Intervall T durch geeignete Wahl der Parameter erreicht werden. Es ist außerdem zweckmäßig, die Funktionen f₁(t) und f₂(t) so zu wählen, dass die Integrale über die Signalperiode Null ergeben, also $\int_{t = 0}^{T} f_{1} (t) = 0 und \int_{t = 0}^{T} f_{2} (t) = 0$
Unter dieser Bedingung hat ein möglicher Grundlinien-Offset der Abklingdaten keinen Einfluss auf die berechneten Momente.
Über die beschriebenen Eigenschaften hinaus bietet das Verfahren eine Reihe von weiteren vorteilhaften Möglichkeiten.
Interessant erscheinende Punktwolken können im Momenten-Plot selektiert werden, und rückwärts den entsprechenden Bildarealen zugeordnet werden. Der Betrachter hat damit die Möglichkeit, Strukturen im Momenten-Plot mit den Strukturen im Bild zu vergleichen, und zu entscheiden, ob die Ergebnisse histologisch plausibel sind. Damit wird die Objektivität des Betrachters verbessert.
Die Verbindung der FLIM-Daten zum Momenten-Plot kann zusätzlich verbessert werden, indem die Punkte im Momenten-Plot mit der gleichen Farbe wie das entsprechende Pixel im FLIM-Bild markiert werden.
Es ist auch möglich, aus den Abklingdaten ein weiteres Moment mit einer dritten von f₁(t) und f₂(t) verschiedenen Gewichtsfunktion f3(t) zu berechnen und die entweder als Farbe der Punkte oder als dritte Koordinate im einem quasi-dreidimensionalen Momenten-Plot darzustellen.
Die dritte Koordinate oder die Farbe können auch verwendet werden, um zeitliche Änderungen der Fluoreszenz-Abklingparameter über die Zeit der FLIM-Messung oder über eine Serie von FLIM-Messungen zu visualisieren. In diesem Falle wird ein Gradient, oder (im Falle von periodischen Änderungen) eine Periodendauer oder eine mittlere Amplitude der Änderungen berechnet und der dritten Koordinate oder der Farbe zugeordnet.
In jedem Falle können Abklingkurven bzw. Zeitfunktionen über eine im Momenten-Plot sichtbare Struktur summiert und auf konventionelle Weise durch den Fit mit einer Modellfunktion analysiert werden. Durch die hohe Zahl von Photonen in den summierten Kurven ist diese Analyse nicht nur mit hoher Präzision möglich, es können auch die eingangs beschriebenen Laufzeit-Effekte mit hoher Genauigkeit kompensiert werden. Absolut genaue Abklingparameter werden dabei zwar nicht für unabhängige Pixel, wohl aber für die selektierten Strukturen erhalten.
Über die beschriebene Anwendung zur FLIM-Analyse hinaus kann das Verfahren auch zur Analyse von Daten von diffus-optischen Verfahren der Nah-Infrarot-Spektroskopie (Near-Infrared Spectroscopy, NIRS) verwendet werden. Die Anwendung ist nicht auf Bilddaten beschränkt; das Verfahren kann genauso zur Analyse einer beliebigen Serie von Abklingkurven verwendet werden. Jede Einzelkurve liefert dann einen Punkt im Momenten-Plot. Ändern sich im Verlaufe einer Messserie die Fluoreszenz-Abklingparameter, drückt sich das über charakteristische Strukturen oder Trajektorien im Momenten-Plot aus. Es ist dabei unwesentlich, ob die entsprechenden Veränderungen gezielt herbeigeführt werden, oder durch endogene Effekte (auch solch stochastischer Natur) im Messobjekt selbst entstehen. Im biologischen und klinischen Bereich können die beschriebenen Änderungen durch Änderungen im Blutfluss, Änderung der Sauerstoffsättigung, durch den Herzschlag, die Gehirnaktivität, oder andere physiologische Vorgänge entstehen. Anwendungen liegen hier insbesondere im Bereich der „functional Near-Infrared Spectroscopy“ (fNIRS). In der molekularen Biologie ist das Verfahren zur Untersuchung von Konformations-Änderungen von fluoreszenzmarkierten Protein-Molekülen anwendbar. Bei allen diesen Anwendungen ist von Vorteil, dass die Gewichtsfunktionen der Momente frei wählbar, und deshalb an die Form der betreffenden Zeitfunktionen optimal anpassbar sind. Charakteristische räumliche oder zeitliche Änderungen können so besonders klar herausgearbeitet werden.
Die beschriebenen erfindungsgemäßen Realisierungen gehen damit weit über bekannte Anwendungen von Momenten von Zeitfunktionen optischer Signale hinaus. Die in bekannten Anwendungen benutzten Momente können als Spezialfälle der in Gleichung 1 beschriebenen allgemeinen Momente angesehen werden.
Spezialfälle von (1) sind z.B. das ,erste Moment‘, bei dem f(t) = t gilt, und das ,zweite Moment‘, mit f(t) = t²: $\begin{matrix} M_{1} = \frac{1}{N} \sum t n (t) & M_{2} = \frac{1}{N} \sum t^{2} n (t) \end{matrix}$
Eine Verwendung im Zusammenhang mit der hier beschriebenen erfindungsgemäßen Lösung ist nicht bekannt, wäre aber prinzipiell möglich. Optimal ist sie nicht, da die Funktionen f(t) = t und f(t) = t² nicht zueinander orthogonal sind.
Als Spezialfall der allgemeinen Formulierung des Momentes einer Zeitfunktion (1) können weiterhin die zur Berechnung von Phase und Amplitude der ‚Phasor‘-Werte im ‚Phasor Plot‘ verwendeten Gleichungen angesehen werden. Der Ordinatenwert des Phasors kann als Moment mit f(t) = cos(t), der Abszissenwert als Moment mit f(t) = sin(t) angesehen werden. Eine explizite Ausnutzung der Tatsache, dass die Phasor-Komponenten im mathematischen Sinne Momente sind, und dass es beliebig viele Momente mit unterschiedlichen Gewichtsfunktionen gibt, ist nicht bekannt.
Anwendungsbeispiel
Das Verfahren soll nachfolgend an einem Beispiel erläutert werden.
Es sei 1a ein FLIM Datensatz, bestehend aus einer Anzahl von Pixeln, x, y, von denen jedes eine Fluoreszenz-Abklingkurve in Form von Photonenzahlen, n(t), in einer Anzahl aufeinanderfolgender Zeitkanäle, t, enthält. Für jedes Pixel werden zwei gewichtete Momente, $\begin{matrix} M_{f 1 (t)} = \frac{1}{N} \sum f_{1} (t) n (t) & und & M_{f 2 (t)} = \frac{1}{N} \sum f_{2} (t) n (t) \end{matrix}$
mit unterschiedlichen Gewichtsfunktionen f1(t) und f2(t) berechnet. Die entsprechenden Wertepaare werden in ein Diagramm (1b, Momenten-Plot genannt) eingetragen, dessen Abszisse M_f1(t) und dessen Ordinate M_f2(t) darstellt.
Jeder Punkt im Momenten-Plot repräsentiert somit die Signatur eines Pixels im FLIM-Bild. Pixel von ähnlicher Signatur der in ihnen enthaltenen Abklingkurve (im Beispiel Pixel der Regionen 1 bzw. des Hintergrunds 2) ergeben jeweils Punkte ähnlicher Lage (1 bzw. 2) im Momenten-Plot. Die Lage des Punktes im Momenten-Plot ist unabhängig von der Lage des entsprechenden Pixels im FLIM-Bild.
Ein die Abklingfunktionen beeinflussender pathologischer Vorgang (z.B. in den mit 1 markierten Regionen) drückt sich im Momenten-Plot durch das Vorhandensein einer charakteristischen Punktwolke von bestimmter Form und bestimmter Lage aus. Diese ist verschieden von der Lage der Punktwolke der Hintergrund-Pixel (2), deren Abklingkurven nicht pathologisch beeinflusst sind.
Haben die Gebiete mit der Signatur 1 eine andere Form oder Lage im FLIM-Bild, entsteht trotzdem der gleiche Momenten-Plot. Das gilt auch, wenn die Pixel mit der Signatur 1 zufällig im Bild verteilt sind, siehe 2 a und b. Ist die Signatur 1 ein Kennzeichen für einen pathologischen Vorgang, so wird dieser durch den Momenten-Plot aus den umgebenden (pathologisch unauffälligen) Pixeln extrahiert.
Zur genauen Analyse der Abklingfunktion in den pathologisch auffälligen Pixeln kann die entsprechende Punktwolke im Momenten-Plot selektiert, die zugehörigen Pixel identifiziert, und deren Abklingkurven zu einer einzigen Kurve mit hohem Signal-Rausch-Verhältnis summiert werden (3). Diese lässt sich dann mit den üblichen Verfahren der FLIM-Lifetime-Analyse mit hoher Genauigkeit analysieren. Aus den erhaltenen Abklingparametern lässt sich näher bestimmen welcher Art der pathologische Vorgang ist und wie weit er fortgeschritten ist.

Claims

Verfahren zur Visualisierung von FLIM-Daten oder Serien von Fluoreszenzabklingkurven oder Zeitfunktionen von anderen optischen Signalen, dadurch gekennzeichnet, dass aus den Fluoreszenz-Abklingkurven bzw. Zeitfunktionen der einzelnen Pixel oder Datenpunkten der Mess-Serie mindestens zwei gewichtete Momente mit unterschiedlichen Gewichtsfunktionen, die keine Sinus- oder Cosinus-Funktionen sind, gebildet werden und diese als Punkte in einem Koordinatensystem, nachfolgend Momenten-Plot genannt, eingetragen werden, dessen Koordinaten den Werten von jeweils einem der beiden Momente zugeordnet sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die beiden Gewichtsfunktionen zueinander orthogonale Funktionen sind oder zumindest über den Bereich der Signalperiode bzw. des Beobachtungsintervalls der Fluoreszenzabklingfunktionen bzw. der optischen Signale orthogonal sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die beiden Gewichtsfunktionen Polynome sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die beiden Gewichtsfunktionen Summen oder Differenzen von Exponentialfunktionen sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die beiden Gewichtsfunktionen Produkte von Winkelfunktionen und Exponentialfunktionen oder von Winkelfunktionen und Summen oder Differenzen von Exponentialfunktionen sind.
Verfahren nach einem der Ansprüche 1-5, dadurch gekennzeichnet, dass die Punkte im Momenten-Plot mit der gleichen Farbe dargestellt werden, wie sie in einem zugehörigen FLIM-Bild zur Visualisierung eines ausgewählten Parameterwertes der Abklingfunktion bzw. Zeitfunktion der entsprechenden Pixel verwendet wird.
Verfahren nach einem der Ansprüche 1-5, dadurch gekennzeichnet, dass mindestens ein drittes Moment mit einer von denen der beiden ersten Momente verschiedenen Gewichtsfunktion berechnet wird, und dieses als Farbe der Punkte oder als dritte Koordinate des Momenten-Plots dargestellt wird.
Verfahren nach einem der Ansprüche 1-5, dadurch gekennzeichnet, dass mindestens ein dritter, die zeitlichen Änderungen der Fluoreszenzabklingfunktionen oder Zeitfunktionen bzw. der daraus ermittelten Momente beschreibender Parameter ermittelt wird und als Farbe der Punkte oder über als dritte Koordinate des Momenten-Plots dargestellt wird.
Verfahren nach einem der Ansprüche 1-8, dadurch gekennzeichnet, dass im Momenten-Plot Bereiche selektiert werden, und die entsprechenden Pixel rückwirkend in einem FLIM-Bild markiert werden.
Verfahren nach Anspruch 1, 2, 3 oder 4, bei dem im Momenten-Plot Bereiche selektiert werden und die entsprechenden Abklingkurven bzw. Zeitfunktionen zu einer einzigen Zeitfunktion aufsummiert werden.
Datenverarbeitungseinrichtung oder Datenträger, die oder der die zur Durchführung des Verfahrens nach 1, 2, 3, 4 oder 5 erforderlichen Datenverarbeitungsoperationen entweder ausführt oder die Ausführung derselben auf einer Datenverarbeitungseinrichtung ermöglicht.