DE102016212348A1

DE102016212348A1 - Verfahren zur quantitativen Auswertung von Mikroskopbilddaten, Mikroskop und Softwareprodukt

Info

Publication number: DE102016212348A1
Application number: DE102016212348.3A
Authority: DE
Inventors: Ingo Kleppe; Yauheni Novikau
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2016-07-06
Filing date: 2016-07-06
Publication date: 2018-01-11
Also published as: WO2018007341A1

Abstract

Die Erfindung betrifft ein Verfahren zur quantitativen Auswertung von Mikroskopbilddaten und ein Mikroskop, in dem das Verfahren ausgeführt wird. Das Verfahren umfasst folgende Schritte: – Einlesen eines Mikroskopbildes; – Ermitteln einer statistischen Verteilung eines Pixelwertes für jeden Bildpunkt zumindest eines Bildbereiches des Mikroskopbildes und Zuordnen der ermittelten statistischen Verteilungen zum Mikroskopbild; – Erzeugen einer Vielzahl weiterer Bilder aus dem Mikroskopbild durch Verwendung einer Monte-Carlo-Simulation und der ermittelten statistischen Verteilungen; – Bildverarbeitung aller Bilder unter Anwendung eines Bildverarbeitungsalgorithmus; – Ermittlung von Konfidenzintervallen für jeden Bildpunkt durch statistische Auswertung der Bildinformationen aller zuvor erzeugten Bilder, – Zuordnen der Konfidenzintervalle zu den Bildpunkten des Mikroskopbildes. – quantitative Auswertung des Einzelbildes.

Description

Die Erfindung betrifft ein Verfahren zur quantitativen Auswertung von Mikroskopbilddaten, ein Mikroskop und ein Softwareprodukt zur Durchführung des Verfahrens auf einem Computer oder Mikroskop.
In der Mikroskopie werden Fehlerbetrachtungen bei der Auswertung von Bildern bis auf wenige Ausnahmen nicht vorgenommen.
Auch andere Bildverarbeitungsvorgänge, wie sie zum Beispiel zur Auswertung pathologischer Befunde in der Medizin (MRI, Röntgen, Histologie) benötigt werden, machen eine quantitative Betrachtung bzw. Auswertung nach der Anwendung verschiedener nichtlinearer Signalverarbeitungsalgorithmen schwierig.
In der Fluoreszenzmikroskopie sind inhärent quantifizierende Methoden, wie Fluorescence Correlation Spectroscopy (FCS); https://de.wikipedia.org/wiki/Fluoreszenzkorrelationsspektrosk opie), Raster Image Correlation Spectroscopy (RICS), Nature Protocols 5, 1761–1774 (2010), oder die „Number and Brightness"-Verfahren bekannt (Jay R. Unruh and Enrico Gratton, Biophys. Journal 2008).
Ein weiteres Verfahren der Fluoreszenzmikroskopie, das inhärent quantifiziert, ist das Superauflösungsverfahren PhotoActivated Localization Microscopy (PALM). Hier werden einzelne Moleküle lokalisiert und die Lokalisationsgenauigkeit beispielsweise mittels statistischer Methoden ermittelt. Das Bild (Darstellung) wird mit Parametern dieser Lokalisationsgenauigkeit konstruiert und führt zu einem dramatischen Auflösungsgewinn gegenüber herkömmlichen Methoden (Betzig et al. Science 2006).
Auch in der Materialmikroskopie werden Strukturen auf Proben automatisiert vermessen und ausgewertet. Eine statistische Fehlerbetrachtung findet dabei in der Regel nicht statt.
Für eine statische Aussage bei der Bildanalyse müssten mehrere Aufnahmen (Experimente) gemacht und diese entsprechend ausgewertet werden. Dies ist zeitaufwendig und für bestimmte Proben (z.B. Lebendzellen) ohne Veränderung der Probe selbst nicht möglich. Das heißt die Varianz der Einzelmessungen wird mit der biologischen Varianz (Veränderung der Probe) überlagert.
Die WO 02/099763 A1 beschreibt ein Verfahren zur quantitativen Modellbildung biologischer Systeme unter Nutzung von Bilddaten. Mit Hilfe des Modells werden Vorhersagen für Bilddaten generiert und diese mit den aufgenommenen Bildern verglichen. Das Simulationsmodell wird anhand der Vergleiche angepasst. Weiterhin werden Rauschen und Messfehler im Bild durch Vorhersagen des Simulationsmodells reduziert.
Aus der WO 2006/102570 ist ein Verfahren zum Segmentieren röhrenartiger Strukturen aus Bilddaten bekannt. Hierbei werden ein statistisches Modell und bildbasierte Messungen kombiniert.
Die Aufgabe der Erfindung wird darin gesehen, ein Verfahren anzugeben, das es ermöglicht, eine quantitative Aussage zu mindestens einer Bildinformation eines prozessierten einzigen Mikroskopbildes oder weniger prozessierter Mikroskopbilder zu treffen. Hierbei wird quantitativ definiert als Messwert mit Konfidenzintervall. Ohne Beschränkung der Allgemeinheit kann beispielsweise das 95%-Konfidenzintervall als derjenige Bereich definiert werden, in dem der wahre Messwert mit einer Wahrscheinlichkeit von 95% liegt. Weiterhin soll ein Softwareprodukt bereitgestellt werden, dass die Ausführung des Verfahrens auf einem Mikroskop oder einem Computer erlaubt. Eine weitere Aufgabe kann darin gesehen werden, ein Mikroskop bereitzustellen, auf dem das Verfahren ausgeführt werden kann.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein Mikroskop mit den Merkmalen des Anspruchs 11 und durch ein Softwareprodukt mit den Merkmalen des Anspruchs 10 gelöst.
Vorteilhafte Ausgestaltungsvarianten der Erfindung sind in den Unteransprüchen angegeben.
Bei einem erfindungsgemäßen Verfahren zur quantitativen Auswertung von Bilddaten eines Mikroskopbildes wird zunächst ein Mikroskopbild eingelesen. Das Mikroskopbild kann dabei direkt von einem Mikroskop übermittelt werden oder auf einem Server oder anderem Datenträger oder Computer bereitgestellt sein Das Einlesen des Mikroskopbildes erfolgt in gewohnter Weise vorzugsweise in einen Bildverarbeitungsspeicher.
Dabei spielt das Mikroskopie-Verfahren (zum Beispiel Lichtmikroskopie, Laserscanningmikroskopie, SIM-Structured Illumination Microscopy, Elektronenmikroskopie, Röntgenmikroskopie) keine Rolle, so lange digitale Bilddaten entstehen, die mittels verschiedener Bildverarbeitungs-/Bildanalyseprozesse weiterverarbeitet und analysiert werden sollen und solange sich statistische Aussagen zur Verteilung oder zu Konfidenzintervallen beispielsweise empirisch aus Messungen ermitteln lassen und/oder aus Apriori-Wissen zu diesen Bildern pixelweise angeben oder sinnvoll schätzen lassen.
Das Mikroskopbild kann dabei auch eines von mehreren Zwischenbildern eines mit strukturierter Beleuchtung aufgenommenen und softwaretechnisch errechneten Mikroskopbbildes sein, wie später im Beispiel erläutert wird, oder ein Bildbereich (ROI einer Aufnahme).
Das Mikroskopbild kann dabei auch ein Einzelweitfeldbild einer kleinen Reihe (fünf bis zehn Bilder) von Aufnahmen sein.
In einer vorteilhaften Ausführungsform umfasst das Mikroskopbild Metadaten, zum Beispiel Angaben über das Mikroskop, das verwendete Objektiv, den Bildaufnahmesensor, Belichtungszeit und weitere aus der Bildverarbeitung bekannte Metadaten. Mittels dieser Metadaten oder aus anderen Quellen bekannter oder geschätzter Information werden für jeden Bildpunkt (Pixel) des Mikroskopbildes oder zumindest eines bestimmten Bildbereiches (ROI: Region Of Interest) eine statistische Verteilung, wie beispielsweise Konfidenzintervalle durch Messung, A-priori-Wissen (z.B. Herstellerangaben) oder Schätzung ermittelt und mit den Bilddaten beispielsweise in Form von Metadaten verknüpft werden. Die statistische Verteilung kann alternativ auch durch Ziehen und Zurücklegen aus einer kleinen Messreihe aus beispielsweise 10 Bildern ermittelt werden.
Nun wird mittels einer Monte-Carlo-Simulation eine Vielzahl von Bildern aus dem Mikroskopbild und der ermittelten statistischen Verteilung für jeden Bildpunkt zumindest eines Bildbereiches (ROI) erzeugt, welche vorzugsweise ebenfalls in den Bildverarbeitungsspeicher abgelegt werden.
Die Erzeugung der Vielzahl von Bildern kann in abgewandelten Ausführungsformen der Erfindung auch aus einer bestimmten kleinen Anzahl von Aufnahmen oder Teilbildern eines SIM-Mikroskopbildes oder einer kleinen Messreihe von wenigen (5–15) Bildern durch Ziehen und Zurücklegen erfolgen.
Die Anzahl der zu erzeugenden Bilder liegt in einer bevorzugten Ausführungsform der Erfindung zwischen 10 und 100 Bildern. Sie bestimmt die Genauigkeit der Statistik beim Resampling, da heißt, je mehr Bilder erzeugt werden, umso genauer die spätere statistische Aussage. Die Simulation kann also gestoppt warden, wenn eine vorgegebene Genauigkeit erreicht ist oder eine festgelegte Anzahl an Bildern, basierend auf praktischen Erfahrungen bezüglich der benötigten Rechenzeit, erzeugt wurden.
Bei der Monte Carlo Simulation werden durch Substituieren einer Reihe von Werten (zum Beispiel Pixelintensitäten, Farbwerte) der einzelnen Pixel im Bereich der Wahrscheinlichkeitsverteilung jeweils neue Bilder generiert.
Werden als statistische Verteilung Konfidenzintervalle benutzt, liegen alle neu generierten Bilder im Bereich der Konfidenzintervalle des ursprünglichen Mikroskopbildes liegen.
Es können verschiede Wahrscheinlichkeitsverteilungen verwendet werden, gewöhnlich wird die Normal- oder Glockenverteilung Anwendung finden, bei der eine Mittelwert und eine Standardabweichung um diesen Mittelwert herum definiert wird. Es können aber durchaus auch andere bekannte Wahrscheinlichkeitsverteilungen (Poisson, Lognormal, Uniform, Triangular, PERT, Discrete) in Abhängigkeit von den Bilddaten verwendet werden. Dies hängt im Wesentlichen davon ab, wie die Bildfehler zustande kommen, im schwierigsten Fall kann man auch eine gemessene unbekannte Verteilung (Stichprobe) zugrunde legen.
Der Fachmann wird entsprechend der Erfordernisse die am besten geeignete Variante auswählen.
Nun erfolgt die gewünschte Bildverarbeitung (z.B. Rauschverminderung, Kontrastverbesserung, Kantenglättung, Belichtungskorrektur, Mustererkennung, Histogrammausgleich oder andere bekannte Bildverarbeitungsverfahren) mit allen generierten Bildern unter Fortpflanzung der Wahrscheinlichkeitsverteilung.
Aus der Vielzahl der prozessierten Bilder oder Bildbereiche werden für jeden Bildpunkt wiederum Konfidenzintervalle ermittelt, indem beispielsweise der Mittelwert und die Standardabweichung für dieses Pixel aus allen prozessierten Bildern ermittelt wird. Diese Konfidenzintervalle werden nun jedem Bildpunkt des endgültigen Mikroskopbildes zugeordnet.
Der Wissenschaftler kann nun für bestimmte im Bild auszuwertende Bereiche oder Strukturen durch eine quantitative Auswertung des endgültigen Mikroskopbildes eine Aussage zur statistischen Signifikanz des Bereichs bzw. der Struktur machen.
Die Extraktion der gewünschten quantitativen Größen und deren Darstellung kann nun mittels des Einzelbildes vorgenommen werden.
Hierfür werden nachfolgend zwei Beispiele angegeben:
Beispiel 1: Intensitätvergleich in verschiedenen ROI’s (ROI = region of interest).
Der Nutzer wählt an einem Mikroskopbild die gewünschten Regionen (erste Region ROI 1, zweite Region ROI 2). Nun wird die mittlere Intensität in der ersten Region mit der mittleren Intensität in der zweiten Region ins Verhältnis gesetzt. Hier wird nun nicht nur die Schwankung der Pixelwerte (Mittelwerte) in der jeweiligen Region herangezogen, sondern auch ein Bildfehler der einzelnen Pixel mit berücksichtigt.
Damit kann dann auch weiterführende Statistik, wie testen von Hypothesen und Signifikanz bereits in der Einzelmessung sinnvoll angewendet werden.
Beispiel 2: Nachweis von Trennen verschiedener Strukturen bei einem mit strukturierter Beleuchtung erzeugten SIM-Mikroskopbild (SIM: structured illumination microscopy).
Dieses Beispiel ist nachfolgend anhand der Figuren näher erläutert.
Es zeigen:
1: Ein SIM-Mikroskopbild;
2: weitere, durch Monte-Carlo-Simulation erzeugte Bilder;
3: beispielhafte Linienprofile für die weiteren Bilder;
4: Das SIM-Mikrospbild nach der statistischen Auswertung;
5: Konfidenzlevel für das in 4 gezeigte Mikroskopbild entlang der dargestellten Linie.
1 zeigt beispielhaft ein in bekannter Weise mit strukturierter Beleuchtung (structured illumination) aufgenommenes SIM_Mikroskopbild. Die RAW-Daten diese SIM-Mikroskopbildes umfassen einen Z-Stapel mit 35 Ebenen, 5 Rotationen und 5 Phasen. Dargestellt ist nur die erste Phase der ersten Rotation einer zentralen Ebene des SIM-Mikroskopbildes.
Herkömmliche SIM-Daten sind in der Regel bereits durch eine Reihe von Bildverarbeitungsschritten gegangen.
2 zeigt beispielhaft vier weitere Bilder mit unterschiedlichen Rauschen einer größeren Anzahl von Bildern, welche durch Monte-Carlo-Simulation erzeugt wurden. in dem ersten der 4 Bilder ist durch eine Linie ein zu untersuchenden Profil dargestellt.
3 zeigt beispielhaft drei verschiedene Intensitätsverteilungen der generierten weiteren Bilder entlang der in 2 gezeigten Profillinie mit der statistischen Verteilung. Tatsächlich können mehrere Hundert oder Tausend von Bildern generiert werden.
Liegt das SIM-Mikroskopbild nun wie oben beschrieben mit den entsprechenden Verteilungen bzw. Konfidenzintervallen vor (4), so kann bei der Auswertung von Strukturen die „entdeckte“ Substruktur folgendermaßen statistisch „gesichert“ werden.
Der Wissenschaftler erstellt in der Regel ein Linienprofil der Struktur, in dem die Trennung in zwei Teile sichtbar wird. Das sind zwei „Maxima“ mit einem eindeutig zu identifizierendem Minimum dazwischen. Mit den nun zur Verfügung stehenden Konfidenzleveln (5) lässt sich zum Einen sofort visualisieren, ob das Profil sich außerhalb der Fehler der Einzelpixel bewegt oder die Kurve zum Beispiel komplett in den Fehlerbalken liegt. Die strichpunktierte untere Kurve ist die untere Grenze des Konfidenzintervalls entlang der Linie in 4. Die durchgezogene obere Kurve stellt die obere Grenze des Konfidenzintervalls dar. Die mittlere punktierte Linie ist der Durchschnittwert der rekonstruierten Pixelintensitäten.
Zum anderen können sich nun Hypothesentests anschließen, bei denen die Wahrscheinlichkeit berechnet wird, dass obwohl die unterliegende Struktur zusammenhängend ist, die Daten dennoch diesen Verlauf zeigen.
Bootstrapping oder Jackknife-Verfahren werden vorteilhafterweise bei theoretisch komplexen und unbekannten Verteilungen angewendet, die aber in empirischen Messungen (Stichproben) vorliegen.
Striated Sampling ist ein weiteres Verfahren das wirkungsvoll in dem erfindungsgemäßen Verfahren anwendbar ist. Dabei wird Apriori Wissen über die zugrunde liegende Verteilung genutzt, um mit möglichst wenig Stichproben die Grundgesamtheit repräsentativ zu spiegeln (Beispiel hierfür ist eine repräsentative Wahlumfrage). Bei der Bildverarbeitung kann man beispielsweise durch Bildanalyse schon vorher Hintergrund und Signal trennen und nur Variationen des Signal und der für die Bildverarbeitung genutzten Umgebung betrachten.
Ebenfalls lässt sich vorteilhafterweise die Größe bestimmen, ab der Pixelumgebungen als für die Bildverarbeitung unabhängig voneinander betrachtet werden können. Dadurch lässt sich der gesamte Verarbeitungsprozess massiv parallelisieren.
Das erfindungsgemäße Verfahren ermöglich erstmals in einer Reihe äußert komplexer Algorithmik auch fehlerbasierte/konfidenzgesteuerte Algorithmen sinnvoll einsetzen zu können (nonlinear least squares oder andere) und somit nicht „nur“ die Fehler im Ausgangsbild zu bestimmen, sondern auch unter Umständen deutlich leistungsstärkere Algorithmik in komplexen Bildverarbeitungsprozessen zu nutzen.
Die verwendete Bildverarbeitung sowie die Anzahl der Verrechnungsschritte sind variabel.
Darüber hinaus hängt die Wahl des Bootstrapping oder Jackknife von der Bildgröße und der zu prozessierenden Bildverarbeitung ab.
Die Erfindung ist selbstverständlich nicht auf das dargestellte Beispiel beschränkt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 02/099763 A1 [0008]
WO 2006/102570 [0009]

Zitierte Nicht-Patentliteratur

https://de.wikipedia.org/wiki/Fluoreszenzkorrelationsspektrosk opie [0004]
Raster Image Correlation Spectroscopy (RICS), Nature Protocols 5, 1761–1774 (2010) [0004]
„Number and Brightness“-Verfahren bekannt (Jay R. Unruh and Enrico Gratton, Biophys. Journal 2008) [0004]
Betzig et al. Science 2006 [0005]

Claims

Verfahren zur quantitativen Auswertung von Mikroskopbilddaten, folgende Schritte umfassend: – Einlesen eines Mikroskopbildes; – Ermitteln einer statistischen Verteilung eines Pixelwertes für jeden Bildpunkt zumindest eines Bildbereiches des Mikroskopbildes und Zuordnen der ermittelten statistischen Verteilungen zum Mikroskopbild; – Erzeugen einer Vielzahl weiterer Bilder aus dem Mikroskopbild durch Verwendung einer Monte-Carlo-Simulation und der ermittelten statistischen Verteilungen; – Bildverarbeitung aller Bilder unter Anwendung eines Bildverarbeitungsalgorithmus; – Ermittlung von Konfidenzintervallen für jeden Bildpunkt durch statistische Auswertung der Bildinformationen aller zuvor erzeugten Bilder, – Zuordnen der Konfidenzintervalle zu den Bildpunkten des Mikroskopbildes. – quantitative Auswertung des Einzelbildes.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erzeugen einer Vielzahl weiterer Bilder mittels eines Resampling-Verfahrens erfolgt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Resampling-Verfahren ein Bootstrap und/oder ein Jackknife-Verfahren ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet dass mehrere Mikroskopbilder oder Mikroskopteilbilder eingelesen werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Monte-Carlo-Simulation auf A-priori-Wissen beruht.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das A-priori-Wissen aus Herstellerangaben abgeleitet wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Bildverarbeitungsalgorithmus einen oder mehrere der Methoden Rauschverminderung, Kontrastverbesserung, Kantenglättung, Belichtungskorrektur, Mustererkennung, Histogrammausgleich umfasst.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Mikroskopbild eines von mehreren Zwischenbildern eines mit strukturierter Beleuchtung aufgenommenen Mikroskopbildes ist.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass es in einem Mikroskop implementiert ist.
Softwareprodukt zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9 auf einem Computer oder in einer Bildverarbeitungseinheit eines Mikroskopes.
Mikroskop mit einer Bildverarbeitungseinheit, in der ein Verfahren nach einem der Ansprüche 1 bis 9 ausgeführt wird.