DE102021114288A1

DE102021114288A1 - Synthetische fluoreszenzbilder mit proben-spezifischer referenz

Info

Publication number: DE102021114288A1
Application number: DE102021114288.1A
Authority: DE
Inventors: Gábor Csúcs; Matthias Eibl; Alexander Freytag; Rudolf Murai von Bünau; Ralf Wolleschensky
Original assignee: Eidgenoessische Technische Hochschule Zurich ETHZ; Carl Zeiss Microscopy GmbH
Current assignee: Eidgenoessische Technische Hochschule Zurich ETHZ; Carl Zeiss Microscopy GmbH
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2022-12-08
Also published as: CN115439400A

Abstract

Ein Vorhersagealgorithmus bestimmt synthetische Fluoreszenzbilder basierend auf Messbildern. Der Vorhersagealgorithmus kann trainiert werden basierend auf Referenzbildern, die während der Messung selbst erfasst werden. Es kann auch eine Validierung der synthetischen Fluoreszenzbilder basierend auf den Referenzbildern erfolgen.

Description

TECHNISCHES GEBIET
Verschiedene Beispiele der Offenbarung betreffen allgemein Techniken zur digitalen Nachbearbeitung von Messbildern, die mit einer mikroskopischen Bildgebungsmodalität erfasst werden. Insbesondere können synthetische Fluoreszenzbilder bestimmt werden.
HINTERGRUND
Die Fluoreszenzbildgebung wird in verschiedenen Bereichen der „grünen Wissenschaften“ (engl. Lifesciences) verwendet. Mittels Fluoreszenzbildgebung ist es möglich, Bereiche und Strukturen in biologischen Proben mit großer Sensitivität und Spezifität zu erkennen. Dabei wird die Spezifität erreicht durch Marker, die ausgebildet sind, um spezifisch an bestimmte Moleküle oder Zellstrukturen zu binden. Die Spezifität kann auch durch Marker erreicht werden, die nur in bestimmten chemischen Umgebungen aktiviert werden. Die Spezifität kann auch durch Marker erreicht werden, die in der Zelle selbst produziert werden. Dies kann zum Beispiel Autofluoreszenz betreffen, oder Marker nach einem geeigneten genetischen Manipulationsschritt. Die Sensitivität wird durch die Fluoreszenz der Marker bei bestimmten Wellenlängen erreicht. Dadurch kann das Signal im Spektralbereich gefiltert werden.
Typischerweise umfasst ein Marker Fluorophore oder besteht aus einem Fluorophor. Ein Fluorophor ist ein Molekül, dessen Elektronenhülle mittels Licht bei einer bestimmten Wellenlänge angeregt werden kann und dann Licht bei einer längeren Wellenlänge emittiert. Die Verwendung von Fluorophoren ermöglicht es, die Anregung und Lichtemission im Spektrum zu separieren. Dadurch kann ein Signal gemessen werden, welches nur einen geringen Anteil von Hintergrundlicht beinhaltet. Dadurch kann ein großes Signal-zu-Rausch-Verhältnis (SNR) erzielt werden.
Diese beiden Vorteile der Fluoreszenzbildgebung - das heißt Spezifität und Sensitivität - ermöglichen es, Zellstrukturen eines bestimmten Typs in einem entsprechenden Ensemble zu identifizieren, zum Beispiel den Zellkern. Eine weitere Anwendung betrifft zum Beispiel die Erkennung eines Tumors.
Bei der Verwendung einer mikroskopischen Fluoreszenzbildgebung können Nachteile auftreten. Zum Beispiel tritt ein sog. Fotobleichen aufgrund der Exposition mit Licht zur Anregung der Fluoreszenz auf. Ein Fluorophor verliert dabei die Fähigkeit zur Fluoreszenz. Die Verwendung von Licht zur Anregung der Fluoreszenz kann auch eine Foto-Toxizität bewirken. Das bedeutet, dass die Zellstrukturen einer entsprechenden Probe geschädigt werden können. Dadurch kann das Experiment verfälscht werden.
Insbesondere die Echtzeit-Bildgebung eines Ensembles von Zellstrukturen kann durch das Fotobleichen und die Foto-Toxizität negativ beeinträchtigt werden. Dies liegt daran, dass für die Echtzeit-Bildgebung typischerweise eine große Anzahl von Fluoreszenzbildern erfasst werden müssen, mit einer hohen Dichte im Zeitraum. Dadurch ist die Exposition mit Licht besonders groß. Dadurch wird der verfügbare Beobachtungszeitraum limitiert, zum Beispiel auf einige Stunden, weil danach die Zellstrukturen so beschädigt sind, dass das Experiment verfälscht wird.
Es sind folgende Publikationen bekannt: EP3553165A1 ; Wagner, Nils, et al. „Deep learning-enhanced light-field imaging with continuous validation.“ Nature Methods 18.5 (2021): 557-563.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Deshalb besteht ein Bedarf für verbesserte Techniken, um Fluoreszenzbilder zu erhalten.
Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
Einige hierin beschriebenen Beispiele beruhen allgemein auf der Erkenntnis, dass die klassische Hardware-basierte Fluoreszenzbildgebung durch die Verwendung von Licht zur Anregung der Fluoreszenz einen großen Einfluss auf das Verhalten der untersuchten Proben, insbesondere auf das Verhalten von Zellen haben kann. Andererseits beruhen die hierin beschriebenen Verfahren auf der Erkenntnis, dass andere Bildgebungsmodalitäten weniger invasiv sind, weil eine geringere Lichtexposition der Probe notwendig ist, um entsprechende Bilddaten zu erfassen. Die hierin beschriebenen Beispiele beruhen ferner auf der Kenntnis, dass auch bei solchen weniger invasiven Bildgebungsmodalitäten eine Korrelation zwischen dem Kontrast ansprechender Messbilder und einem Kontrast, der für entsprechende Fluoreszenzbilder erwartet werden würde, vorliegt. Deshalb ist es möglich, mittels einer wenig invasiven Bildgebungsmodalitäten - zum Beispiel herkömmlicher Durchlicht-Mikroskopie im Hellfeld - Messbilder zu erfassen, ohne die Integrität der Probe zu kompromittieren. Insbesondere können auch sehr viele Messbilder, zum Beispiel mit einer hohen Zeitauflösung, erfasst werden.
Einige hierin beschriebenen Beispiele beruhen ferner auf der Erkenntnis, dass bei der Verwendung eines Vorhersagealgorithmus zum Bestimmen von synthetischen Fluoreszenzbildern oftmals per se nicht oder nur schwer abschätzbar sein kann, wie zuverlässig der Vorhersagealgorithmus die synthetischen Fluoreszenzbilder bestimmt. Beispielsweise kann unklar sein, ob der in den synthetischen Fluoreszenzbildern beinhaltete Kontrast die Probe richtig charakterisiert oder artifizieller Natur ist. Das bedeutet, dass eine Belastbarkeit von in den synthetischen Fluoreszenzbildern beinhaltete Information unklar sein kann. Die Qualität der synthetischen Fluoreszenzbilder kann unklar sein.
Einige hierin beschriebenen Beispiele beruhen außerdem auf der Erkenntnis, dass manchmal eine Situation auftreten kann, bei der sich nach Beendigung eines biologischen Experiments herausstellt, dass ein Vorhersagealgorithmus keine guten Ergebnisse liefert. Das bedeutet, dass der Kontrast der synthetischen Fluoreszenzbilder die Probe nicht richtig oder nur eingeschränkt charakterisieren kann.
Nachfolgend werden Techniken beschrieben, die es ermöglichen, die synthetischen Fluoreszenzbilder bzw. den Vorhersagealgorithmus zu validieren. Die Qualität der synthetischen Fluoreszenzbilder kann ermittelt bzw. bewertet werden. Gemäß einigen hierin beschriebenen Beispielen kann es außerdem möglich sein, den Vorhersagealgorithmus durch Training anzupassen, z.B. wenn ein Ergebnis einer entsprechenden Validierung Ungenauigkeiten indiziert. Es ist ein Proben-spezifisches Training möglich.
In den verschiedenen hierin beschriebenen Beispielen kann es möglich sein, eine Abfolge von Messbildern während eines Beobachtungszeitraums zu erfassen. Dabei können die Messbilder mit einer Bildgebungsmodalität erfasst werden, die im Vergleich zu einer Fluoreszenzbildgebung eine geringere Lichtexposition der Probe bedingt. Während des Beobachtungszeitraums wird auch eine geringere Anzahl von Referenzbildern mittels der Fluoreszenzbildgebung erfasst.
Die Messbilder werden dann digital nachbearbeitet, mittels eines Vorhersagealgorithmus. Dieser kann synthetische Fluoreszenzbilder basierend auf den Messbildern bestimmen. Anhand der Referenzbilder kann der Vorhersagealgorithmus trainiert werden und/oder validiert werden.
Verschiedene Beispiele betreffen ein Computer-implementiertes Verfahren. Dieses umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung Messbilder einer Probe zu erfassen. Die Messbilder werden während eines Beobachtungszeitraums erfasst. Außerdem umfasst das Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Ferner umfasst das Verfahren das Durchführen eines Trainings von Parametern eines Vorhersagealgorithmus basierend auf zumindest einem Teil der Referenzbilder als Grundwahrheit und ferner basierend auf einem Teil der Messbilder. Das Verfahren umfasst auch das Bestimmen von synthetischen Fluoreszenzbildern basierend auf ein oder mehreren der Messbilder und unter Verwendung des Vorhersagealgorithmus nach Beendigung des Trainings.
Der Vorhersagealgorithmus kann also maschinengelernt sein.
Die Referenzbilder können in Bezug auf den Beobachtungszeitraum mit einer geringeren Ortsraumdichte und/oder mit einer geringeren Zeitraumdichte als die Messbilder erfasst werden.
Die Probe kann eine biologische Probe sein. Die Probe kann zum Beispiel ein Ensemble von Zellstrukturen umfassen. Die Zellstrukturen können einem biologischen Veränderungsvorgang ausgesetzt sein, welche über das Ensemble und den Beobachtungszeitraum verteilt auftritt.
Es wäre möglich, dass das Computer-implementierte Verfahren weiterhin das Synchronisieren des Bestimmens der synthetischen Fluoreszenzbilder mit dem Erfassen der Messbilder nach Beendigung des Trainings umfasst. Das Synchronisieren kann dabei eine zeitliche Abstimmung der beiden Vorgänge bezeichnen. Die synthetischen Fluoreszenzbilder können jeweils in Reaktion auf das Erfassen der Messbilder bestimmt werden. Derart kann eine digitale Kontrastnachbearbeitung für die Messbilder in Echtzeit ermöglicht werden.
Das Training kann basierend auf einem Verlustbeitrag zu einer Verlustfunktion durchgeführt werden. Der Verlustbeitrag kann auf einem Vergleich des semantischen Inhalts zumindest des Teils der Referenzbilder mit dem semantischen Inhalt zumindest des Teils der Messbilder basieren. Der semantische Inhalt kann biologische Strukturen quantifizieren.
Ein Computer-implementiertes Verfahren umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums Messbilder einer Probe zu erfassen. Außerdem umfasst das Computer-implementierte Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Das Computer-implementierte Verfahren umfasst ferner das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus. Das Computer-implementierte Verfahren umfasst ferner das Durchführen einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder und zumindest einem Teil der synthetischen Fluoreszenzbilder.
Beispielsweise könnte das Computer-implementierte Verfahren weiterhin das Anpassen von ein oder mehreren Parameterwerten des Vorhersagealgorithmus in Abhängigkeit von einem Ergebnis der Validierung umfassen. Zum Beispiel könnte, für einen maschinengelernten Vorhersagealgorithmus, dieser in Abhängigkeit von einem Ergebnis der Validierung wahlweise neu bzw. angepasst trainiert (engl. Re-Training) werden.
Es wäre auch möglich, dass das Computer-implementierte Verfahren in Abhängigkeit von einem Ergebnis der Validierung das Anpassen des Erfassens der Referenzbilder umfasst. Beispielsweise könnten bei fehlgeschlagener Validierung selektiv bzw. ondemand weitere Referenzbilder erfasst werden, um es derart zu ermöglichen, basierend auf diesen weiteren Referenzbildern den Vorhersagealgorithmus neu zu trainieren.
Die Validierung könnte auf einem Vergleich des semantischen Inhalts zumindest des Teils der Referenzbilder mit dem semantischen Inhalt zumindest des Teils der Messbilder basieren. Derart kann es entbehrlich sein, eine Registrierung der jeweiligen Messbilder mit den jeweiligen Referenzbildern durchzuführen. Es muss keine Pixelbasierte Korrespondenz vorliegen.
Es könnte aber auch ein Pixel-basierter Vergleich durchgeführt werden, für die Validierung.
Grundsätzlich können die Referenzbilder verschachtelt mit den Messbildern während des Beobachtungszeitraums erfasst werden.
Es wäre auch möglich, dass Referenzbilder jeweils in Reaktion auf ein Auslöseereignis erfasst werden.
Dabei sind grundsätzlich unterschiedliche Auslöseereignisse denkbar. Beispiele wären zum Beispiel ein Benutzerbefehl oder eine Veränderung im semantischen Inhalt der Messbilder oder die Ausgabe eines Objekterkennungsalgorithmus (dieser kann z.B. auf den Messbildern operieren).
Die mindestens eine Bildgebungsvorrichtung könnte angesteuert werden, um die Referenzbilder häufiger während mindestens einer Kalibrationsphase (kann auch als Kalibrationszeitraum bezeichnet werden) zu erfassen, die am Anfang und/oder am Ende des Beobachtungszeitraums oder in Bezug auf einen Erwartungszeitpunkt eines biologischen Veränderungsprozesses der Probe angeordnet ist. Insbesondere können die Referenzbilder während der Kalibrationsphase häufiger erfasst werden, als außerhalb der Kalibrationsphase.
Die mindestens eine Bildgebungsvorrichtung kann angesteuert werden, um die Referenzbilder in einem ersten Bereich der Probe zu erfassen. Die mindestens eine Bildgebungsvorrichtung kann auch angesteuert werden, um die Messbilder zumindest teilweise in einem zweiten Bereich der Probe zu erfassen, der verschieden ist vom ersten Bereich der Probe. Dabei können keine Referenzbilder im zweiten Bereich der Probe erfasst werden. Dadurch wird der zweite Bereich der Probe geschont.
Die mindestens eine Bildgebungsvorrichtung kann angesteuert werden, um die Referenzbilder mittels der mikroskopischen Fluoreszenzbildgebung mit einem ersten Wert eines Belichtungsparameters der mikroskopischen Fluoreszenzbildgebung zu erfassen. Die mindestens eine Bildgebungsvorrichtung kann angesteuert werden, um die Messbilder mittels der mikroskopischen Fluoreszenzbildgebung mit einem zweiten Wert des Beleuchtungsparameters der mikroskopischen Fluoreszenzbildgebung zu erfassen. Dabei kann der erste Wert eine erste Lichtbelastung der Probe und pro Referenzbild bewirken und der zweite Wert kann eine zweite Lichtbelastung der Probe und pro Messbild bewirken. Die zweite Lichtbelastung ist dabei kleiner als die erste Lichtbelastung.
Grundsätzlich können wesentlich weniger Referenzbilder im Beobachtungszeitraum als Messbilder erfasst werden. Zum Beispiel könnte die Anzahl der Referenzbilder im Beobachtungszeitraum nicht größer als 50 % (oder 5 % oder ein Prozent) der Anzahl der Messbilder im selben Beobachtungszeitraum sein.
Eine Vorrichtung umfasst einem Prozessor. Dieser ist eingerichtet, um mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums Messbilder einer Probe zu erfassen. Außerdem ist der Prozessor eingerichtet, um die mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Außerdem ist der Prozessor eingerichtet, um ein Training von Parametern eines Vorhersagealgorithmus durchzuführen, und zwar basierend auf zumindest einem Teil der Referenzbilder als Grundwahrheit und ferner basierend auf zumindest einem Teil der Messbilder. Der Prozessor ist auch eingerichtet, um nach Beendigung des Trainings synthetische Fluoreszenzbilder basierend auf ein oder mehreren der Messbilder und unter Verwendung des Vorhersagealgorithmus zu bestimmen.
Eine Vorrichtung umfasst einen Prozessor. Diese ist eingerichtet, um die folgenden Schritte auszuführen: Ansteuern mindestens eine Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums Messbilder einer Probe zu erfassen; und Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen; und Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus; und Durchführen einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder und zumindest einem Teil der synthetischen Fluoreszenzbilder.
Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Dieser kann von einem Prozessor geladen und ausgeführt werden. Dies bewirkt, dass der Prozessor ein Verfahren ausführt. Dieses umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung Messbilder einer Probe zu erfassen. Die Messbilder werden während eines Beobachtungszeitraums erfasst. Außerdem umfasst das Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Ferner umfasst das Verfahren das Durchführen eines Trainings von Parametern eines Vorhersagealgorithmus basierend auf zumindest einem Teil der Referenzbilder als Grundwahrheit und ferner basierend auf einem Teil der Messbilder. Das Verfahren umfasst auch das Bestimmen von synthetischen Fluoreszenzbildern basierend auf ein oder mehreren der Messbilder und unter Verwendung des Vorhersagealgorithmus nach Beendigung des Trainings.
Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Dieser kann von einem Prozessor geladen und ausgeführt werden. Dies bewirkt, dass der Prozessor ein Verfahren ausführt. Dieses umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums Messbilder einer Probe zu erfassen. Außerdem umfasst das Computer-implementierte Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Das Computer-implementierte Verfahren umfasst ferner das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus. Das Computer-implementierte Verfahren umfasst ferner das Durchführen einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder und zumindest einem Teil der synthetischen Fluoreszenzbilder.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
Figurenliste

1 illustriert ein System mit mindestens einer Bildgebungsvorrichtung und einer Vorrichtung zur digitalen Nachbearbeitung von Bildern, die von der mindestens einen Bildgebungsvorrichtung erfasst werden.
2 illustriert schematisch eine digitale Kontrastnachbearbeitung von Messbildern, die mit mindestens einer Bildgebungsvorrichtung erfasst werden.
3 ist ein Flussdiagramm eines beispielhaften Verfahrens.
4 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
5 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
6 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
7 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
8 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
9 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
10 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
11 illustriert beispielhaft und schematisch eine örtliche und zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Nachfolgend werden Techniken beschrieben, um den Kontrast von Messbildern von biologischen Proben digital nachzubearbeiten. Insbesondere kann es mittels der hierin beschriebenen Techniken möglich sein, Computer-implementiert synthetische Bilder zu erzeugen, die einen Kontrast einer bestimmten Bildgebungsmodalität nachbilden, ohne dass die entsprechende Bildgebungsmodalität tatsächlich angewendet werden müsste.
Gemäß verschiedenen hierin beschriebenen Beispielen ist es möglich, synthetische Bilder zu erzeugen, die die Bildgebung von gefärbten Proben nachbilden (engl. „virtual staining“). Bei einer solchen Bildgebung von gefärbten Proben wird die biologische Probe herkömmlicherweise mit einem entsprechenden Farbstoff gefärbt. Dies erfolgt in einem Färbeprozess. Dabei wird ein Farbstoff in Kontakt mit der Probe gebracht. Der Farbstoff beinhaltet ein oder mehrere Marker. Solche Marker erzeugen in der Bildgebung einen spezifischen Kontrast. Z.B. könnten die Marker spezifisch an bestimmte Zellteile binden, z.B. an den Zellkern oder Mitochondrien. Mittels der Marker könnte Tumorgewebe sichtbar gemacht werden. Es wären zum Beispiel Marker denkbar, die durch Beleuchtung mit einer bestimmten Wellenlänge aktiviert werden und dann Licht bei einer anderen Wellenlänge aussenden, das heißt Fluoreszenz-marker.
Als weitere allgemeine Regel können in den hierin beschriebenen Beispielen unterschiedlichste Arten von Proben untersucht werden. Es können biologische Proben untersucht werden. Beispielsweise wäre es möglich, lebende oder tote Zellen zu untersuchen, z.B. in einer Gewebeprobe. Es könnten zum Beispiel Zellkulturen untersucht werden. Die biologische Probe kann also ein biologisches Modellsystem bezeichnen, z.B. Zellen oder Spheroide (d.h. Cluster von allgemeinen Zellen, z.B. von Tumoren oder Nervenzellen) oder Organoide (d.h. Cluster organspezifischer Zellen). Die biologische Probe kann also insbesondere Zellen oder Gewebe umfassen. Es kann eine Zellkultur untersucht werden. Z.B. könnte eine primäre Zellkultur untersucht werden, d.h. aus einem Organismus gewonnene und am Leben gehaltene Zellen. Es könnten auch tote Zellen untersucht werden. Diese Probe umfasst also z.B. ein Ensemble von Zellstrukturen.
Nachfolgend werden insbesondere Techniken im Zusammenhang mit der Fluoreszenzbildgebung beschrieben. Diese Techniken ermöglichen die Bestimmung von synthetischen Fluoreszenzbildern. Fluoreszenzbilder weisen einen Kontrast auf, der bestimmte Zellstrukturen aus einer Vielzahl von Zellstrukturen mit hoher Spezifität und Sensitivität charakteristisch darstellt. Derart ist es möglich, Zellstrukturen eines bestimmten Typs von anderen Zellstrukturen anderen Typs zu unterscheiden.
Während nachfolgend verschiedene Techniken insbesondere im Zusammenhang mit der Färbung von Proben für die Fluoreszenzbildgebung beschrieben werden, wäre es in anderen Beispielen auch möglich, die Färbung für andere Anwendungsgebiete zu verwenden, z.B. der Histopathologie.
Nachfolgend werden Techniken beschrieben, welche klassische Messtechniken zur Fluoreszenzbildgebung, das heißt wellenlängenselektive Anregung der Fluoreszenz und wellenselektive Detektion der Fluoreszenz von Zellstrukturen mittels geeigneter Messhardware, kombinieren mit Techniken der digitalen Bildnachbearbeitung.
Durch eine solche Kombination von klassischen Hardware-basierten Messtechniken mit digitaler Bildnachbearbeitung ist es möglich, einerseits Fluoreszenzbilder mit hoher Qualität zu bestimmen und andererseits Effekte wie Fotobleichen und Foto-Toxizität, die durch die Anregung der Fluoreszenz durch Lichtexposition bewirkt werden, zu reduzieren. Insbesondere kann ein Optimum der Bildqualität - das heißt eine besonders hohe Zuverlässigkeit, dass die Fluoreszenzbilder die erforderliche Sensitivität und Spezifität in Bezug auf Zellstrukturen eines bestimmten Typs aufweisen - erreicht werden. Durch die Reduktion des Fotobleichens und Foto-Toxizität können außerdem längere Beobachtungszeiträume ermöglicht werden, zum Beispiel im Vergleich zu klassischen Hardware-basierten Techniken der Fluoreszenzbildgebung. Es kann auch eine höhere Zeitauflösung erreicht werden, d.h. mehr Bilder pro Zeiteinheit.
Mittels der hierin beschriebenen Techniken kann auch zuverlässig überprüft werden, ob synthetische Fluoreszenzbilder eine gewünschte Genauigkeit aufweisen. Insbesondere kann zum Beispiel überprüft werden, ob ein Vorhersagealgorithmus, der verwendet wird, um die synthetischen Fluoreszenzbilder zu bestimmen, ordnungsgemäße Vorhersagen trifft. Das bedeutet, dass eine Validierung der synthetischen Fluoreszenzbilder bzw. des Vorhersagealgorithmus ermöglicht wird.
Gemäß verschiedenen Beispielen werden während eines Beobachtungszeitraums mittels einer mikroskopischen Bildgebung eine Abfolge von Messbildern einer Probe erfasst. Dabei handelt es sich um eine biologische Probe. Die biologische Probe kann also ein biologisches Modellsystem bezeichnen, z.B. Zellen oder Spheroide (d.h. Cluster von allgemeinen Zellen, z.B. von Tumoren oder Nervenzellen) oder Organoide (d.h. Cluster organspezifischer Zellen).
Die biologische Probe kann also insbesondere Zellen oder Gewebe umfassen. Es kann eine Zellkultur untersucht werden. Z.B. könnte eine primäre Zellkultur untersucht werden, d.h. aus einem Organismus gewonnene und am Leben gehaltene Zellen. Es könnten auch tote Zellen untersucht werden. Diese Probe umfasst also z.B. ein Ensemble von Zellstrukturen. Während desselben Beobachtungszeitraums werden auch Referenzbilder mittels mikroskopischer Fluoreszenzbildgebung erfasst. Diese Referenzbilder werden zumindest für einen Teil der Probe erfasst.
Dann werden mittels eines Vorhersagealgorithmus und unter Berücksichtigung der Referenzbilder synthetische Fluoreszenzbilder für mehrere Messbilder erzeugt. Das bedeutet also, dass der Kontrast der Messbilder (d.h. die Pixelwerte, die z.B. Farbe und/oder Helligkeit kodieren) mittels des Vorhersagealgorithmus digital nachbearbeitet wird.
Grundsätzlich könnte der Vorhersagealgorithmus händisch parametrisiert werden, also zum Beispiel durch geeignetes Benutzervorwissen geeignet eingestellt werden. Es wäre aber auch denkbar, dass der Vorhersagealgorithmus maschinengelernt ist. Ein entsprechendes Training kann dann computerimplementiert durchgeführt werden. Hier können zum Beispiel künstliche neuronale Netzwerke (KNNs) verwendet werden. Ein KNN umfasst eine Vielzahl von Schichten, die verschiedene Operationen ausführen. Ein Beispiel für ein KNN ist ein Faltungsnetzwerk (engl. convolutional neural network), bei denen Faltungsschichten verwendet werden, die eine Faltung von Eingangswerten mit einem Kern durchführen. Die verschiedenen Schichten können über geeignete Gewichte miteinander verbunden werden. Nichtlineare Aktivierungen sind denkbar. Pooling-Operationen können durchgeführt werden: dort werden Informationen verworfen. Ein Beispiel ist das Max-Pooling, wo nur die stärksten Werte eines Bereichs (z.B. 2x2 Neuronen) beibehalten werden. KNNs können eine Feedforward-Architektur haben. Hier wird das Ergebnis einer Schicht immer nur an eine weitere Schicht weitergegeben. Wenn sog. Sprung-Verbindungen vorhanden sind, kann die Ausgabe einer Schicht an mehrere nachfolgende Schichten weitergegeben werden. Es können grundsätzlich unterschiedliche Arten von KNNs verwendet werden, z.B. insbesondere auch Generative Adversarial Networks (GANs) oder Autoencoder Netzwerke, z.B. variational Autoencoder Netzwerke.
Die Messbilder werden mittels der mikroskopischen Bildgebung derart erfasst, dass Effekte wie Fotobleichen und Foto-Toxizität pro Messbild vergleichsweise geringer ausfallen, als pro Referenzbild. Das bedeutet, dass die Bildgebungsmodalität der mikroskopischen Bildgebung, die zur Erfassung der Messbilder verwendet wird, vergleichsweise wenig invasiv ist.
Dabei können, als allgemeine Regel, in den verschiedenen hierin beschriebenen Beispielen unterschiedlichste Bildgebungsmodalitäten für die mikroskopische Bildgebung zur Erfassung der Messbilder während des Beobachtungszeitraums verwendet werden. Es können 2-D oder 3-D Bildgebungsmodalitäten verwendet werden. Grundsätzlich wäre es im Zusammenhang mit dem Erfassen der Messbilder denkbar, dass Messbilder jeweils in einer Schicht der Probe erfasst werden. Dies kann durch die Verwendung eines geeigneten Objektivs und Anordnung der zu erfassenden Schicht im Fokus des Objektivs erreicht werden. Es wäre auch möglich, dass ein sogenannter Z-Stapel mehrerer Probenebenen erfasst wird. Dies kann zum Beispiel durch Verschieben einer Probenbühne in Z-Richtung zwischen der Erfassung zweier Messbilder geschehen.
Zum Beispiel wäre es möglich, Messbilder mittels eines herkömmlichen Durchlichtmikroskops zu erfassen Es ist möglich, eine Hellfeld-Bildgebung zu verwenden. Es könnte auch eine Dunkelfeld-Bildgebung oder ein Phasenkontrast, zum Beispiel ein differentieller Phasenkontrast verwendet werden. Weitere Beispiele betreffend die Holographie-Bildgebung, die Holotomographie-, Quantitative Phasen-, Optische Kohärenztomographie, dynamische Optische Kohärenztomographie, Winkelselektive-Beleuchtungs-, Phasengradienten-, Strukturierte-Beleuchtungs-Bildgebung. Ein weiteres Beispiel betrifft die Erfassung der Messbilder mit einem hohen dynamischen Bereich durch Verwendung eines Burst-Modus (d.h. kurzer Zeitabstand zwischen Rohbildern einer Bilderserie, der insb. kleiner ist, als die Zeitskala der Dynamik der Probe) mit unterschiedlichen Belichtungszeiten (HDR-Bildgebung). Das bedeutet, dass pro Messbild mehrere Rohbilder erfasst werden können, die unterschiedliche Belichtungszeiten aufweisen und dann zu einem Messbild kombiniert werden können.
Die mikroskopische Bildgebung kann also eine andere Bildgebungsmodalität als Fluoreszenzbildgebung verwenden. Hier implementiert der Vorverarbeitungsalgorithmus einen Bild-zu-Bild (B2B) Vorhersagealgorithmus, der einen ersten Kontrast (z.B. Hellfeldbildgebung im Durchlicht) übersetzt in einen zweiten Kontrast (Fluoreszenz, z.B. einer mit einem Fluoreszenz-Marker gefärbten Probe oder Autofluoreszenz).
In manchen Beispielen wäre es möglich, dass für die Erfassung der Messbilder eine Autofluoreszenz-Bildgebungsmodalität verwendet wird. Hier kann ohne Einfärbung der biologischen Probe mit einem Marker erreicht werden, dass Fluoreszenz stattfindet. Dies kann bewirken, dass eine Veränderung der Physiologie der Probe durch den Marker oder eine Zeitveränderung eines Markers selbst vermieden wird.
In manchen Beispielen wäre es aber auch denkbar, dass auch für die Erfassung der Messbilder als Bildgebungsmodalität die Fluoreszenzbildgebung verwendet wird. Die für die Erfassung der Messbilder verwendeten Werte der Belichtungsparameter (z.B. Lichtstärke und/oder Belichtungszeit) der Fluoreszenzbildgebung können aber so eingerichtet sein, dass die Lichtbelastung bzw. Lichtexposition der Probe pro Messbild und pro Fläche der Probe geringer ist, als durch die Bildgebungsparameter der Fluoreszenzbildgebung, die für die Erfassung der Referenzbilder verwendet werden. Das bedeutet, anders formuliert, dass die Effekte Fotobleichen und Foto-Toxizität pro Messbild geringer sein können, als pro Referenzbild, obschon für die Erfassung sowohl der Messbilder, wie auch der Referenzbilder grundsätzlich dieselbe Bildgebungsmodalität der Fluoreszenzbildgebung verwendet wird. Z.B. wäre es auch denkbar, dass andere Marker aktiviert werden für die Erfassung der Messbilder, als für die Erfassung der Messbilder. Z.B. könnten für die Erfassung der Referenzbilder Marker verwendet werden, die mit einer geringeren Lichtmenge bzw. weniger invasiv aktiviert werden können. Es könnte aber auch grds. basierend auf einem ersten Fluoreszenzkontrast ein weiterer, zweiter Fluoreszenzkontrast vorhergesagt werden, sodass insgesamt die Lichtexposition reduziert werden kann. Z.B. könnte basierend auf einem „Green Fluorescent Protein“ (GFP) Marker und entsprechendem Fluoreszenzkontrast ein tdTomato Marker und entsprechender Fluoreszenzkontrast vorhergesagt werden.
Wird für das Erfassen der Messbilder auch Fluoreszenzbildgebung verwendet, die jedoch eine geringere Licht-Exposition bewirkt, so bedeutet dies typischerweise, dass die derart erhaltenen Fluoreszenz-Messbilder ein relativ geringes SNR aufweisen. In einem solchen Szenario können dann die synthetischen Fluoreszenzbilder ein erhöhtes SNR aufweisen im Vergleich zu den Messbildern. Deshalb wird in einem solchen Szenario der Vorhersagealgorithmus auch manchmal als Entrauschungs-Algorithmus (engl. denoising) bezeichnet.
Wie aus dem obenstehenden ersichtlich, werden also während des Beobachtungszeitraums sowohl Messbilder, wie auch Referenzbilder erfasst. Die Messbilder können abschließend erfasst werden. Der Beobachtungszeitraum definiert dabei die Messdauer. Der Beobachtungszeitraum kann insbesondere abgestimmt auf das zugrundeliegende biologische Verhalten der Probe sein. Das bedeutet, dass während des Beobachtungszeitraums ein oder mehrere biologische Veränderungsvorgänge an Zellstrukturen eines Ensembles von Zellstrukturen der Probe stattfinden können. Dabei ist es Aufgabe der Messung, solche biologischen Veränderungsvorgänge zu untersuchen. Insoweit werden also die Referenzbilder während der eigentlichen Messung erfasst (und nicht etwa in einer separaten Kalibrationsmessung).

Basierend auf den Messbildern können dann unter Verwendung des Algorithmus synthetische Fluoreszenzbilder bestimmt werden. Diese können im Vergleich zu den Messbildern einen (verstärkten) Fluoreszenzkontrast aufweisen. In diesem Zusammenhang können den Referenzbildern ein oder mehrere Funktionen zukommen, die nachfolgend im Zusammenhang mit TAB. 1 beschrieben sind.

	Funktion Referenzbilder	Beispielhafte Details
I	Training Vorhersagealgorithmus	Es ist möglich, dass der Vorhersagealgorithmus maschinengelernt ist. Z.B. könnte der Vorhersagealgorithmus als künstliches neuronales Netzwerk (KNN) implementiert sein.
		Dann kann es möglich sein, mittels der Referenzbilder oder zumindest eines Teils der Referenzbilder, den maschinengelernten Vorhersagealgorithmus zu trainieren. Das bedeutet, dass Parameterwerte, zum Beispiel Gewichte von verschiedenen Verbindungen zwischen Schichten oder Parameterwerte von Operatoren der verschiedenen Schichten bei einem KNN geeignet gesetzt werden können. Die Referenzbilder können als Grundwahrheit verwendet werden, d.h. anhand der Referenzbilder kann das KNN zur Erzielung einer Vorhersage in guter Übereinstimmung mit den Referenzbildern trainiert werden.
		Dadurch kann es möglich sein, den maschinengelernten Vorhersagealgorithmus spezifisch an der Probe, basierend auf den Referenzbildern, für eine Vorhersage der synthetischen Fluoreszenzbilder für dieselbe Probe zu trainieren. Das bedeutet, dass ein Proben-spezifisches Training stattfinden kann.
		Dabei kann es in manchen Beispielen möglich sein (es ist aber nicht unbedingt notwendig), dass der Vorhersagealgorithmus vortrainiert ist. Das bedeutet also, dass es denkbar wäre, dass der Vorhersagealgorithmus gänzlich ohne Aufgabenspezifisches Vorwissen initialisiert wird und dann basierend auf den Referenzbildern Proben-spezifisch trainiert wird.
		Derart kann eine besonders genaue Bestimmung der synthetischen Fluoreszenzbilder erfolgen. Eine separate Kalibrationsmessung entfällt.
II	Validierung Vohersagealgorithmus	Es ist möglich, dass die Ausgabe des Vorhersagealgorithmus, das heißt die synthetischen Fluoreszenzbilder, auf Grundlage der Referenzbilder bzw. zumindest eines Teils der Referenzbilder überprüft wird. Das bedeutet, dass die synthetischen Fluoreszenzbilder basierend auf einem Vergleich zumindest des Teils der Referenzbilder und zumindest eines Teils der synthetischen Fluoreszenzbilder validiert werden (das Validieren der synthetischen Fluoreszenzbilder entspricht einer Validierung des Vorhersagealgorithmus; beide Begrifflichkeiten, d.h. Validieren der synthetischen Fluorszenzbilder und Validieren des Vorhersagealgorithmus werden nachfolgend synonym verwendet).
		Werden zum Beispiel große Abweichungen zwischen den synthetischen Fluoreszenzbilder und den Referenzbildern festgestellt, so kann dies darauf hindeuten, dass der Vorhersagealgorithmus nur ungenaue oder sogar falsche Ergebnisse liefert in einem solchen Fall kann es erstrebenswert sein, bestimmte Gegenmaßnahmen zu ergreifen.
		Zum Beispiel wäre es denkbar, dass in Abhängigkeit von einem Ergebnis der Validierung ein oder mehrere Parameter des Vorhersagealgorithmus angepasst werden. Es könnte ein „Re-Training“ stattfinden, d.h. das Training kann mit vergrößerter Datenbasis und/oder einer neuen Trainingsmethode (etwa einer angepassten Verlustfunktion) neu angestoßen werden. Falls nötig, können dazu auch weitere Trainings-Referenzbilder erfasst werden.
		Alternativ oder zusätzlich zu einer solchen Parameteranpassung des Vorhersagealgorithmus, wäre es denkbar im Falle einer nicht erfolgten Validierung auf Grundlage schlechter Übereinstimmung der synthetischen Fluoreszenzbilder und der Referenzbilder das Erfassen der Referenzbilder anzupassen. Zum Beispiel könnte eine Zeitraumdichte und/oder eine Ortsraum-Dichte der Referenzbilder wahlweise erhöht werden, um derart eine genauere Referenz für das Validieren oder weitere Grundwahrheit für das Trainieren - vergleiche Beispiel I - zu erhalten.

TAB. 1: Verschiedene Möglichkeiten, um Referenzbilder, die während eines Beobachtungszeitraums erfasst werden, zu verwenden. Die verschiedenen Möglichkeiten können auch miteinander kombiniert werden. Zum Beispiel wäre es denkbar, dass ein Teil der Referenzbilder für das Training eines maschinengelernten Vorhersagealgorithmus gemäß Beispiel I verwendet wird (nachfolgend: Trainings-Referenzbilder), und ein anderer Teil der Referenzbilder für die Validierung verwendet wird (nachfolgend: Validierungs-Referenzbilder), gemäß Beispiel II.
Der Vorhersagealgorithmus kann eine Korrelation zwischen einem Bildkontrast der Messbilder und einem Bildkontrast von Fluoreszenzbilder ausnutzen.
Eine solche Technik kann auch als „virtuelles Einfärben“ (engl. virtual staining) bezeichnet werden, weil der Kontrast der Messbilder durch die digitale Nachbearbeitung mittels des Vorhersagealgorithmus verändert oder verstärkt wird, so dass das synthetische Fluoreszenzbild erhalten wird. Durch ein solches virtuelles Einfärben können verschiedene Vorteile erzielt werden, zum Beispiel eine reduzierte Belichtungszeit, eine reduzierte Zeit zum Scannen der Probe, ein erhöhtes SNR, eine reduzierte Foto-Toxizität, reduzierter experimenteller Aufwand, usw.
Verschiedene Techniken beruhen auf der Erkenntnis, dass Referenztechniken zum virtuellen Einfärben von Zellstrukturen bestimmte Nachteile aufweisen können. Solche Referenztechniken sind z.B. beschrieben in: Christiansen, Eric M., et al. „In silico labeling: predicting fluorescent labels in unlabeled images.“ Cell 173.3 (2018): 792-803; sowie Ounkomol, Chawin, et al. „Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy.“ Nature methods 15.11 (2018): 917-920. Bei solchen Referenztechniken wird das Parametrisieren des Vorhersagealgorithmus basierend auf einer Referenzmessung an einer separaten Probe bzw. vor der eigentlichen Messung durchgeführt. Dann wird der parametrisierte Vorhersagealgorithmus dazu verwendet, um basierend auf den Messbildern, die während des Beobachtungszeitraums der Messungen der eigentlichen Probe erfasst werden, die synthetischen Fluoreszenzbilder zu bestimmen. Während des Beobachtungszeitraums werden dann in den Referenztechniken aber keine weiteren Referenzbilder erfasst. Solche Referenztechniken weisen den Nachteil auf, dass die separate Referenzmessung notwendig ist. Dies kann zeitintensiv sein. Ein Benutzer muss einen separaten Arbeitsablauf zum Durchführen der Referenzmessung implementieren. Dies benötigt Zeit, Benutzerfähigkeiten und zusätzlichen Implementierungsaufwand. Solche Referenztechniken weisen weiterhin den Nachteil auf, dass oftmals Diskrepanzen zwischen der Referenzmessung und der eigentlichen Messungen der Probe auftreten können. Bei der Verwendung von unterschiedlichen Proben zur Parametrisierung des Vorhersagealgorithmus einerseits und zur Durchführung der Messung andererseits kann es vorkommen, dass die Parametrisierung des Vorhersagealgorithmus nicht zur Messung passt. Dies kann zum Beispiel aufgrund von unterschiedlicher Präparierung der Proben der Fall sein. Es könnte auch durch unterschiedliche Bildgebungsmodalitäten für das Erfassen der Messbilder in der Referenzmessung und der eigentlichen Messung der Fall sein. Werden zum Beispiel für maschinengelernte Vorhersagealgorithmen Techniken des überwachten Lernens eingesetzt, bedeutet dies, dass eine große Anzahl von Trainingsdaten erfasst und annotiert werden müssen. Das kann besonders aufwendig sein.
Bei Referenztechniken kann außerdem der Nachteil auftreten, dass eine Validierung der Qualität der Vorhersage des Vorhersagealgorithmus, das heißt eine Validierung der Qualität der synthetischen Fluoreszenzbilder, nicht oder nur eingeschränkt möglich ist. Das bedeutet, dass ein Benutzer den Informationsgehalt der synthetischen Referenzbilder nicht überprüfen kann. Dies könnte zum Beispiel bewirken, dass falsche Diagnosen oder falsche abgeleitete Messgrößen basierend auf den synthetischen Fluoreszenzbildern bestimmt werden. Dies kann auch einen Einfluss auf die Sicherheit entsprechender Verfahren haben, zum Beispiel wenn die nachfolgende Datenauswertung dadurch kompromittiert wird.
Die hierin beschriebenen Techniken ermöglichen es, solche Nachteile zu beheben oder zu lindern.
Gemäß verschiedenen Beispielen ist es insbesondere möglich, dass die Referenzbilder während des Beobachtungszeitraums mit einer geringeren Dichte im Zeitraum und/oder mit einer geringeren Dichte im Ortsraum erfasst werden, als die Messbilder. Das bedeutet also, dass zum Beispiel während des Beobachtungszeitraums eine geringere Anzahl von Referenzbildern erfasst wird, als Messbilder. Pro Probenvolumen der Probe können weniger Referenzbilder als Messbilder erfasst werden. Derart kann erreicht werden, dass die Belastung der Probe durch das Erfassen der Referenzbilder limitiert wird. Die Bildgebung wird (zumindest ganz überwiegend) auf Grundlage der Messbilder umgesetzt. Die im Zeitraum und/oder Ortsraum dünn abgetasteten Referenzbilder können vielmehr assistierende Funktionalität (Training und/oder Validierung) aufweisen.
1 illustriert schematisch ein System 100 gemäß verschiedenen Beispielen. Das System 100 umfasst eine Vorrichtung 101. Die Vorrichtung 101 könnte zum Beispiel ein Computer oder ein Server sein. Die Vorrichtung 101 umfasst einen Prozessor 102 und einen Speicher 103. Die Vorrichtung 101 umfasst auch eine Schnittstelle 104. Über die Schnittstelle 104 kann die Vorrichtung 101 Bilddaten, zum Beispiel Messbilder und/oder Referenzbilder, von ein oder mehreren Bildgebungsvorrichtungen 111, 112 empfangen. Der Prozessor 102 könnte auch Steuerdaten über die Schnittstelle 104 an die ein oder mehreren Bildgebungsvorrichtungen 111, 112 senden, um diese zur Erfassung von Bilddaten anzusteuern. Mittels der Steuerdaten könnte der Prozessor 102 auch die Werte von ein oder mehreren Bildgebungsparametern, zum Beispiel von Beleuchtungsparametern, einstellen.
Der Prozessor 102 kann, allgemein formuliert, eingerichtet sein, um Steueranweisungen aus dem Speicher 103 zu laden und auszuführen. Wenn der Prozessor 102 die Steueranweisungen lädt und ausführt, bewirkt dies, dass der Prozessor 102 Techniken ausführt, wie sie hierin beschrieben sind. Solche Techniken werden zum Beispiel das Ansteuern der Bildgebungsvorrichtung 111 und optional der Bildgebungsvorrichtung 112, um Bilddaten zu erfassen. Zum Beispiel könnte der Prozessor 102 eingerichtet sein, um die Bildgebungsvorrichtung 111 anzusteuern, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer Probe zu erfassen. Der Prozessor 102 kann auch eingerichtet sein, um die Bildgebungsvorrichtung 111 anzusteuern, um während desselben Beobachtungszeitraums mehrere Referenzbilder zumindest eines Teils der Probe zu erfassen. Die Referenzbilder können grundsätzlich mittels derselben Bildgebungsmodalität erfasst werden, wie die Messbilder. Je nach Fähigkeit der Bildgebungsvorrichtung 111 betreffend die Bildgebungsmodalität, die zur Erfassung der Referenzbilder verwendet wird, kann der Prozessor 102 auch die Bildgebungsvorrichtung 112 ansteuern, um die Referenzbilder zu erfassen.
Außerdem kann der Prozessor 102 basierend auf den Steueranweisungen aus dem Speicher 103 eingerichtet sein, um synthetische Fluoreszenzbilder basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus zu bestimmen. Das bedeutet, dass der Prozessor 102 ein virtuelles Einfärben oder andere Bild-zu-Bild Transformationen wie z.B. Entrauschung durchführen kann.
Außerdem kann der Prozessor 102 eingerichtet sein, um ein oder mehrere Techniken der Beispiele gemäß TAB. 1 durchzuführen, das heißt zum Beispiel basierend auf zumindest einem Teil der Referenzbilder den Vorhersagealgorithmus zu trainieren und/oder basierend auf zumindest einem Teil der Referenzbilder die synthetischen Fluoreszenzbilder als Ausgabe des Vorhersagealgorithmus zu validieren.
Entsprechende Techniken sind auch schematisch in 2 dargestellt.
2 illustriert schematisch Aspekte im Zusammenhang mit dem virtuellen Einfärben von Messbildern 201, die eine Probe abbilden, wobei die Probe ein Ensemble von Zellstrukturen umfasst. Ein Messbild 201 dient als Eingabe Vorhersagealgorithmus 205, der als Ausgabe ein synthetisches Fluoreszenzbild 202 liefert. Zum Training 6001 des Vorhersagealgorithmus 205 werden Trainings-Referenzbilder 251 verwendet (cf. TAB. 1: Beispiel I). Zur Validierung 6002 (cf. TAB. 1: Beispiel II) der synthetischen Fluoreszenzbilder 202 werden Validierungs-Referenzbilder 261 verwendet.
Grundsätzlich können die Trainings-Referenzbilder 251 sowie die Validierungs-Referenzbilder 261 mittels derselben Bildgebungsmodalität erfasst werden. Das bedeutet insbesondere, dass zum Zeitpunkt des Erfassens noch nicht festgelegt sein muss, ob ein entsprechendes Referenzbild als Trainings-Referenzbild oder als Validierungs-Referenzbild verwendet wird. Grundsätzlich könnte ein bestimmtes Referenzbild auch sowohl als Trainings-Referenzbild, wie auch als Validierungs-Referenzbild gewendet werden.
Der Vorhersagealgorithmus könnte z.B. durch ein KNN implementiert sein. Die Architektur des KNN könnte z.B. entsprechend Christiansen, Eric M., et al. „In silico labeling: predicting fluorescent labels in unlabeled images.“ Cell 173.3 (2018): 792-803; oder Ounkomol, Chawin, et al. „Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy.“ Nature methods 15.11 (2018): 917-920 umgesetzt sein.
Eine weitere Architektur könnte gemäß einem U-Netz implementiert sein, das Faltungsschichten und Sprungverbindungen aufweist, die bestimmte Schichten übergehen. Sh. z.B. Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham; wobei aber eine Grauwert-Regression als Ausgabe verwendet wird, statt einer Klassifikationsschicht (um eine Bild-zu-Bild-Vorhersage zu erhalten). Das U-Netz könnte auch mit zusätzlichem Adversarial Verlustbeitrag trainiert werden. Das wird auch als „Conditional Generative Adversarial Net“ bezeichnet.
Ein weiteres Beispiel wäre z.B. ein Autoencoder Netzwerke, z.B. variational Autoencoder Netzwerke.
Grundsätzlich kann es erstrebenswert sein, unterschiedliche Referenzbilder für das Training 6001 und die Validierung 6002 zu verwenden, damit diese Vorgänge unabhängig voneinander durchgeführt werden. Die Trainings-Referenzbilder 251 und die Validierungs-Referenzbilder 261 können deshalb zu unterschiedlichen Zeitpunkten während des Beobachtungszeitraums und/oder an unterschiedlichen Bereichen der Probe erfasst werden. Entsprechend Aspekte werden detailliert diskutiert im Zusammenhang mit 3.
3 ist ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren von einem Gerät mit einem Prozessor und einem Speicher ausgeführt werden, wenn der Prozessor Steueranweisungen vom Speicher lädt und ausführt. Zum Beispiel könnte das Verfahren gemäß 3 vom Gerät 101 aus 1 ausgeführt werden, insb. vom Prozessor 102 wenn dieser Programmcode aus dem Speicher 103 lädt. Optionale Blöcke sind in 3 mit gestrichelten Linien dargestellt.
In Box 3005 werden mehrere Messbilder (z.B. eine Zeitabfolge) während eines Beobachtungszeitraums in einer entsprechenden Messung erfasst. Die Messbilder bilden eine biologische Probe ab, die z.B. ein Ensemble von Zellstrukturen umfasst. Die Zellstrukturen können dabei einem biologischen Veränderungsvorgang ausgesetzt sein. Dieser biologische Veränderungsvorgang kann über das Ensemble und den Beobachtungszeitraum verteilt auftreten. Ziel der Messung kann es also sein, diesen biologischen Veränderungsvorgang abzubilden bzw. zu vermessen. Allgemeiner formuliert kann es Ziel der Messung zu sein, die biologische Probe zu charakterisieren.
Da der biologische Veränderungsvorgang im Zeitraum und im Ortsraum verteilt auftritt, das heißt an unterschiedlichen Orten zu unterschiedlichen Zeitpunkten zu beobachten ist, kann es hilfreich sein, die Messbilder mit einer hohen Wiederholungsrate zu erfassen. Das bedeutet, dass pro Zeiteinheit viele Messbilder erfasst werden. Alternativ oder zusätzlich können die Messbilder auch mit einer hohen Ortsraumdichte erfasst werden, d.h. es kann z.B. (wiederholt) ein Z-Stapel von Messbildern erfasst werden. Dadurch kann erreicht werden, dass der biologische Veränderungsvorgang abgebildet werden kann. Dies kann insbesondere dann hilfreich sein, wenn eine Zeitdauer jedes individuellen Auftretens des biologischen Veränderungsvorgangs viel kleiner ist als die zeitliche Streuung des Auftretens der biologischen Veränderungsvorgänge im Ensemble.
Zum Erfassen der Messbilder 3005 kann das Gerät eine entsprechende Bildgebungsvorrichtung geeignet ansteuern. Zum Beispiel könnte der Prozessor Steuerbefehle an die Bildgebungsvorrichtung senden. Die Steuerbefehle können indikativ für Zeitpunkte zum Auslösen der Belichtung und/oder Werte von ein oder mehreren Beleuchtungsparametern sein.
In Box 3010 werden Referenzbilder erfasst. Die Referenzbilder werden während desselben Beobachtungszeitraums erfasst, während welchem die Messbilder erfasst werden und während welchem z.B. die Zellstrukturen des Ensembles der Probe dem biologischen Veränderungsvorgang ausgesetzt sind.
Insbesondere erlaubt die typischerweise unabhängige Verteilung der Vorgänge in Zeit und Ort die Aufnahme der Referenzbilder auch verteilt entlang der zeitlich und/oder räumlichen Dimension. Denkbar wäre die Aufnahme von Referenzbildern als viele Einzelbildern unterschiedlicher Regionen, wobei die Probe über diese Regionen hinweg substantiell ähnlich ist. Alternativ oder zusätzlich können die Referenzbilder verteilt im Zeitraum erfasst werden.
Die Referenzbilder werden mittels einer mikroskopischen Fluoreszenzbildgebung als Bildgebungsmodalität erfasst. Das bedeutet, dass zum Erfassen der Referenzbilder eine Anregung der Zellstrukturen mittels geeigneten Lichts erfolgt, d.h. abgestimmt auf einen elektronischen Anregungszustand von Fluorophoren. Die Wellenlänge des Lichts ist abgestimmt auf die entsprechende Anregungsenergie von Fluorophoren. Vor dem Beobachtungszeitraum kann also ein Färben der Probe mit einem Marker erfolgen. Es könnte aber auch Autofluoreszenz angeregt werden (z.B. von Hämoglobin, das nativ in der Probe vorhanden ist).
In manchen Beispielen wäre es also möglich, dass für die Erfassung der Referenzbilder eine Autofluoreszenz-Bildgebungsmodalität verwendet wird. Hier kann ohne Einfärbung der biologischen Probe mit einem Marker erreicht werden, dass Fluoreszenz stattfindet. Dies kann bewirken, dass eine Veränderung der Physiologie der Probe durch den Marker oder eine Zeitveränderung eines Markers selbst vermieden wird. Dennoch ist aufnahmebedingt das Erfassen von Autofluoreszenz-Bildern probeninvasiv, sodass das Nachbilden durch ein virtuelles Autofluoreszenzsignal aus einer weniger invasiven Bildgebungsmodalität deutlich probenschonender wäre.
Grundsätzlich können zum Erfassen der Messbilder in Box 3005 andere Bildgebungsmodalitäten als Fluoreszenzbildgebung verwendet werden. Es könnte aber auch die Fluoreszenzbildgebung zum Erfassen der Messbilder verwendet werden, wobei dann andere Werte für ein oder mehrere Belichtungsparameter verwendet werden können, so dass die Lichtbelastung pro Messbild kleiner ist als die Lichtbelastung pro Referenzbild. Dann kann in Box 3015 ein Training des Vorhersagealgorithmus basierend auf zumindest einem Teil der Referenzbilder erfolgen, d.h. den Trainings-Referenzbildern. Das bedeutet, dass bestimmte Parameterwerte des Vorhersagealgorithmus geeignet gesetzt werden. Die Trainings-Referenzbilder werden dabei als Grundwahrheit verwendet. Das bedeutet, dass eine Ausgabe des Vorhersagealgorithmus in einem entsprechenden Trainingszustand verglichen wird mit einem entsprechenden Trainings-Referenzbild, wobei die Ausgabe des Vorhersagealgorithmus basierend auf einem zugehörigen Messbild bestimmt werden kann.
Zum Training des Vorhersagealgorithmus können Techniken des Maschinenlernens eingesetzt werden. Z.B. könnte ein KNN trainiert werden. Das bedeutet, dass zum Beispiel ein Gradientabstiegsverfahren eingesetzt werden kann, um ausgehend von einem Wert einer Verlustfunktion, die basierend auf einem Vergleich (zum Beispiel einem Bildpunkt-Vergleich) zwischen dem jeweiligen Trainings-Referenzbild und dem zugehörigen Messbild die Parameterwerte des Vorhersagealgorithmus anpasst. Es können unterschiedliche Verlustfunktionen verwendet werden, z.B. eine Summe über die Abweichungsquadrate zwischen Pixelwerten. Es kann eine sog. Rückwärtsanpassung (engl. Backpropagation) verwendet werden zur Anpassung der Parameterwerte verwendet werden.
Die Trainings-Referenzbilder dienen als Grundwahrheit für bestimmte Messbilder. Um die Paare zwischen Trainings-Referenzbildern und Messbildern zu bestimmen, die zum Ermitteln des Werts der Verlustfunktion basierend auf einem entsprechenden Vergleich verwendet werden, kann der Abstand zwischen den Trainings-Referenzbildern und Messbildern im Zeitraum und/oder Ortsraum berücksichtigt werden. Zum Beispiel könnte ein Trainings-Referenzbild als Grundwahrheit für ein Messbild dienen, wenn das Trainings-Referenzbild und das Messbild denselben Bereich der Probe abbilden und mit geringem Zeitabstand erfasst wurden. Ein geringer Zeitabstand kann einen solchen Zeitabstand bezeichnen, der so kurz ist, dass der biologische Veränderungsprozess nicht oder nur mit einer hinreichend geringen Wahrscheinlichkeit auftreten kann. Zum Beispiel kann es erstrebenswert sein, dass ein Zeitabstand zwischen dem Erfassen eins Messbildes und dem Erfassen eines Referenzbildes 251, 261 eines Paares 601, 602 nicht größer als 1 Sekunde ist, optional nicht größer als 500 ms, weiter optional nicht größer als 10 ms. Das beruht auf der Erkenntnis, dass solche Zeitskalen kurz genug sind, sodass keine signifikante Veränderung des Fluoreszenz-Kontrast zwischen dem Messbild und dem zugehörigen Referenzbild vorliegt.
Manchmal kann es möglich sein, dass das Referenzbild und das Messbild inhärent substantiell denselben Bereich der Probe mit derselben Pose abbilden. Dies kann der Fall sein, wenn dieselbe Bildgebungsoptik verwendet wird - das wäre zum Beispiel im Beispiel der 1 der Fall, wenn sowohl für das Erfassen der Referenzbilder, wie auch für das Erfassen der Messbilder ein bestimmtes Objektiv der der Bildgebungsvorrichtung 111 verwendet wird. Wenn unterschiedliche Bildgebungsoptiken verwendet werden, kann es erforderlich sein, die Paare von Referenzbildern jeweils aufeinander zu registrieren, das heißt eine Zuordnung von korrespondierenden Probenorten in den Bildern zu treffen.
Dabei ist es aber nicht in allen Beispielen notwendig, dass inhärent derselbe Bereich der Probe abgebildet wird oder eine Registrierung zwischen den Messbildern und den Trainings-Referenzbildern durchgeführt wird, um korrespondierende Probenorte zu identifizieren. In manchen Beispielen wäre es möglich, dass durch die geeignete Wahl einer entsprechenden Verlustfunktion, die beim Training berücksichtigt wird, grundsätzliche morphologische Eigenschaften des Kontrasts in den basierend auf den Messbildern rekonstruierten synthetischen Fluoreszenzbildern und den Trainings-Referenzbildern miteinander verglichen werden, unabhängig von den konkreten mikroskopischen Strukturen, die abgebildet werden. Insbesondere kann dies bei Verlustfunktion der Fall sein, die einen Verlustbeitrag ohne Pixel-basierten Vergleich zwischen den synthetischen Fluoreszenzbildern und den Trainings-Referenzbildern verwendet.
Nicht-registrierte Bilder können z.B. durch Verwendung von zyklischen Generative Adverserial Netzwerken miteinander verglichen werden. Dort wird ein nicht Pixel-bezogener Adverserial Verlustbeitrag bzw. Cycle Verlust in der Verlustfunktion beim Training berücksichtigt.
Als weiteres Beispiel für einen nicht Pixel-basierten Verlustbeitrag könnte z.B. ein semantischer Informationsgehalt der synthetischen Fluoreszenzbilder mit den Referenzbildern verglichen werden. Der semantische Informationsgehalt kann durch Auswertung der jeweiligen Bilder bestimmt werden. Der semantische Informationsgehalt kann z.B. eine biologische Eigenschaft der Probe beschreiben. Z.B. könnte der semantische Informationsgehalt ausgewählt sein aus folgender Gruppe: Anzahl oder Flächendichte bestimmter biologischer Strukturen; Durchschnittliche Größe oder Größenverteilung bestimmter biologischer Strukturen; Durchschnittlicher Abstand zwischen bestimmter biologischer Strukturen. Die biologischen Strukturen könnten z.B. Zellbestandteile sein, z.B. Zellkerne oder Mitochondrien. Z.B. könnten solche biologischen Eigenschaften mittels eines Objekterkennungsalgorithmus bestimmt werden. Dieser könnte z.B. wiederum durch ein KNN implementiert sein. Mittels des Trainings in Box 3015 können also Korrelationen zwischen den Mess- und Referenzbildern gelernt werden. Das Training in Box 3015 ist aber grundsätzlich optional. In verschiedenen Beispielen wäre es denkbar, dass eine Parametrisierung des Vorhersagealgorithmus bereits im Vorfeld der Erfassung der Messbilder 3005 stattgefunden hat. Dies könnte in einer entsprechenden Referenzmessung erfolgen. Es müssen außerdem nicht in allen Beispielen maschinengelernte Vorhersagealgorithmen verwendet werden. In einem solchen Fall könnte ein fix eingestellter klassischer Vorhersagealgorithmus erhalten werden.
In Box 3020 erfolgt dann das Bestimmen von synthetischen Fluoreszenzbilder basierend auf den Messbildern und unter Verwendung des Vorhersagealgorithmus. Wurde der Vorhersagealgorithmus zuvor in Box 3015 trainiert, so wird der entsprechende trainierte Vorhersagealgorithmus verwendet. Der Vorhersagealgorithmus erhält also als Eingabe jeweils eines der Messbilder und bestimmt ein zugeordnetes Fluoreszenzbild.
Optional wäre es denkbar, dass in Box 3025 ein Validieren der synthetischen Fluoreszenzbilder aus Box 3020 erfolgt. Dies kann auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder aus Box 3019 (Validierungs-Referenzbilder) und zunächst einen Teil der synthetischen Fluoreszenzbilder basieren. Zum Beispiel können einzelne Bildpunkte miteinander verglichen werden und eine Abweichung der entsprechenden Farb- oder Helligkeitswerte ermittelt werden. Wiederum kann es sinnvoll sein, die Paare von synthetischen Fluoreszenzbildern und Validierungs-Referenzbildern basierend auf einem Abstand im Zeitraum und/Ortsraum zu bestimmen, wie bereits voranstehend im Zusammenhang mit Box 3015 mit den Trainings-Referenzbildern erläutert. Es können solche Bilder für die Validierung miteinander verglichen werden, die einen besonders geringen Abstand im Zeitraum und/Ortsraum aufweisen. Sofern unterschiedliche Probenbereiche und/oder unterschiedliche Posen der Abbildungsoptik in Bezug auf einen Probenbereich verwendet werden, kann es wiederum hilfreich (aber nicht notwendig) sein, eine Registrierung zwischen den Messbildern und den Validierungs-Referenzbildern der Paare durchzuführen.
Als weiteres Beispiel für einen nicht Pixel-basierten Vergleich für die Validierung könnte z.B. ein semantischer Informationsgehalt der synthetischen Fluoreszenzbilder mit den Referenzbildern verwendet werden. Der semantische Informationsgehalt kann durch Auswertung der jeweiligen Bilder bestimmt werden. Der semantische Informationsgehalt kann z.B. eine biologische Eigenschaft der Probe beschreiben. Z.B. könnte der semantische Informationsgehalt ausgewählt sein aus folgender Gruppe: Anzahl oder Flächendichte bestimmter biologischer Strukturen; Durchschnittliche Größe oder Größenverteilung bestimmter biologischer Strukturen; Durchschnittlicher Abstand zwischen bestimmter biologischer Strukturen. Die biologischen Strukturen könnten z.B. Zellbestandteile sein, z.B. Zellkerne oder Mitochondrien. Z.B. könnten solche biologischen Eigenschaften mittels eines Objekterkennungsalgorithmus bestimmt werden. Dieser könnte z.B. wiederum durch ein KNN implementiert sein.
In optionaler Box 3030 könnte überprüft werden, ob die Validierung in Box 3025 erfolgreich war. In Abhängigkeit von dieser Überprüfung könnten - in einer entsprechenden Schleife 3099 - die Boxen 3010, 3015, 3020, und 3025 erneut ausgeführt werden. Das bedeutet, dass das Erfassen der Referenzbilder in Box 3010 in Abhängigkeit von einem Ergebnis der Validierung in Box 3025 angepasst und insbesondere verlängert werden kann. In anderen Worten können das Training in Box 3015 und die Validierung 3025 iterativ gemäß der Schleife 3099 durchgeführt werden. Beispielsweise könnten weitere Referenzbilder in Box 3010 erfasst werden, wenn die Validierung keine gute Qualität der synthetischen Fluoreszenzbilder indiziert. Eine erfolgreiche Validierung kann zum Beispiel dadurch definiert sein, dass eine Übereinstimmung (gemäß einer vorgegebenen Metrik) zwischen den synthetischen Fluoreszenzbilder und den Validierungs-Referenzbildern einen vorgegebenen Schwellenwert überschreitet. Das Training kann dann basierend auf den weiteren erfassten Referenzbildern in einer weiteren Installation der Box 3010 in Box 3015 weiter verfeinert werden.
Mittels des Verfahrens aus 3 können Nachteile behoben werden, wie sie voranstehend im Zusammenhang mit der klassischen, ausschließlich Hardware-basierten Fluoreszenzbildgebung beschrieben wurden. Ferner können Nachteile behoben werden, wie sie voranstehend im Zusammenhang mit Referenzimplementierungen für das virtuelle Einfärben beschrieben wurden.
Es können auch Nachteile von Referenztechniken im Zusammenhang mit der digitalen Kontrastnachbearbeitung zur Entrauschung gelindert werden, sh. z.B. Weigert, Martin, et al. „Content-aware image restoration: pushing the limits of fluorescence microscopy.“ Nature methods 15.12 (2018): 1090-1097; oder Prakash, Mangal, et al. „Removing Pixel Noises and Spatial Artifacts with Generative Diversity Denoising Methods.“ arXiv preprint arXiv:2104.01374 (2021).Insbesondere ist es möglich, dass die Probe oder zumindest Teile der Probe virtuell eingefärbt werden, das heißt das Ergebnis ist entsprechend dem Ergebnis der Referenztechniken für das virtuelle Einfärben mit einer separaten Referenzmessung. Trotzdem ist eine separate Referenzmessung entbehrlich, weil die Referenzbilder während des eigentlichen Beobachtungszeitraums erfasst werden.
Mittels der beschriebenen Techniken ist es möglich, die Probe mit einer hohen Bildauflösung abzubilden, wobei aber eine wenig invasive Bildgebungsmodalität zum Erfassen der Messbilder verwendet wird. Außerdem kann die Probe mit einer hohen Zeitauflösung abgebildet werden, weil die Lichtexposition pro Messbild bei der wenig invasiven Bildgebungsmodalität vergleichsweise gering ist.
Die Zuverlässigkeit der Vorhersage der synthetischen Fluoreszenzbilder kann auch validiert werden. Insbesondere können unabhängige Referenzbilder dazu verwendet werden, um die Qualität der Vorhersage zu bewerten.
Als nächstes wird ein konkretes Beispiel für die Anwendung des Verfahrens aus 3 gegeben. Das Beispiel betrifft ein Zeitraffer Experiment bei der Beobachtung von lebenden Zellkulturen. Dabei soll ein „Video“ aus einer Abfolge von synthetischen Fluoreszenzbildern erstellt werden, die über einen langen Beobachtungszeitraum erfasst werden, zum Beispiel mehrere Stunden oder sogar Tage. Die Zellkulturen sind mehreren biologischen Veränderungsvorgängen ausgesetzt, zum Beispiel den verschiedenen Schritten des Zellzyklus, wie insbesondere die Mitose. Dabei werden insbesondere die Organellen und Zellkerne und die DNA beobachtet. Entsprechende spezifische Marker sind bekannt. Die Zeitdauer der einzelnen Schritte des Zellzyklus oder andere Vorgänge innerhalb einer Zell sind aber besonders kurz im Vergleich zum Beobachtungszeitraum. So dauert der Mitosevorgang typischerweise nur wenige Minuten und Vesikelbewegungen können Zeitauflösungen von wenigen Sekunden erfordern. Da sich in manchen Szenarien die unterschiedlichen Zellen einer Zellkultur gleichverteilt in den unterschiedlichen Schritten des Zellzyklus befinden, kann der Zeitpunkt der Mitose über das Ensemble der Zellen wiederum gleichverteilt auftreten. Deshalb ist es grundsätzlich erstrebenswert, die Messbilder mit einer hohen Wiederholungsrate zu erfassen, das heißt die Abfolge der Messbilder sollte einen Abstand zwischen benachbarten Messbildern aufweisen, der in derselben Größenordnung liegt, wie die Zeitdauer der einzelnen Schritte des Zellzyklus.
Die klassische Hardware-basierte Fluoreszenzbildgebung bewirkt dabei eine sehr hohe Lichtexposition, die zu einer Beschädigung der Zellkultur führen kann, so dass die verschiedenen zu beobachtenden Schritte des Zellzyklus nicht mehr ohne Beeinflussung durch die Messung stattfinden. Die Foto-Toxizität und Fotobleichen kann nicht mehr vernachlässigbar sein. Deshalb kann es bei klassischen Hardware-basierten Techniken der Fluoreszenzbildgebung notwendig sein, eine Abwägung zwischen gegenläufigen Zielgrößen zu treffen: hohes Signal-zu-Rausch-Verhältnis der Fluoreszenzbilder; langer Beobachtungszeitraum; geringe Foto-Toxizität und Fotobleichen.
Ergänzend kann angemerkt werden, dass bestimmte biologische Veränderungsvorgänge nicht zeitlich gleich verteilt im Zeitraum während des Beobachtungszeitraums für die verschiedenen Zellen des Ensembles stattfinden müssen. Manchmal kann es möglich sein, durch Änderung der äußeren Umstände - z.B. durch Zugabe einer Chemikalie oder Änderung der Prozessbedingungen - bestimmte biologische Veränderungsvorgänge gezielt auszulösen, z.B. durch Verwendung einer sog. Zell-Synchronisierung. Anders formuliert könnten bestimmte biologische Veränderungsvorgänge gehäuft während eines bestimmten kürzeren Zeitintervalls im Beobachtungszeitraum stattfinden. Zum Beispiel können Zellkulturen so präpariert werden, dass ein Großteil der Zellen der Zellkultur der Probe nach einer kurzen Zeitspanne ab Beginn des Experiments, zB. nach 1h, in die Mitose-Phase eintreten. In der Zeit davor können dagegen lediglich wenige oder keine Veränderungsprozesse von Interesse stattfinden. Aber auch in solchen Szenarien kann es schwierig sein, mittels klassischer Hardware-basierter Fluoreszenzbildgebung eine genügend hohe Qualität der synthetischen Fluoreszenzbilder zu erzielen.
Deshalb kann mittels der voranstehend beschriebenen Techniken durch die Verwendung der geeigneten Bildgebungsmodalität zur Erfassung der Messbilder eine geringere Lichtexposition erreicht werden und damit die Foto-Toxizität und Fotobleichen reduziert werden. Dadurch wird wiederum eine höhere Zeitauflösung möglich. Insgesamt können wesentlich weniger Referenzbilder (Trainings-Referenzbilder und/oder Validierungs-Referenzbilder) mittels der Fluoreszenzbildgebung erfasst werden, als Messbilder. Zum Beispiel kann eine Anzahl der Referenzbilder im Beobachtungszeitraum nicht größer als 50%, optional nicht größer als 5 %, weiter optional nicht größer als 1 % der Anzahl der Messbilder im selben Beobachtungszeitraum sein. Das bedeutet, dass die Zeitraumdichte der Referenzbilder kleiner sein kann als die Zeitraumdichte der Messbilder. Derart kann sowohl der Vorhersagealgorithmus zielgerichtet basierend auf den Referenzbildern trainiert werden und/oder mittels des Vorhersagealgorithmus bestimmten synthetischen Fluoreszenzbilder validiert werden, wie auch eine hohe Zeitauflösung für die synthetischen Fluoreszenzbilder erreicht werden.
Alternativ oder zusätzlich zu einer solchen dünnen Abtastung im Zeitraum durch die Referenzbilder könnte auch eine dünne Abtastung der Probe im Ortsraum durch die Referenzbilder und in Bezug auf die Messbilder erfolgen.
Dabei gibt es als allgemeine Regel verschiedene Möglichkeiten, die Erfassung der Referenzbilder zu konfigurieren. Die Referenzbilder können an unterschiedlichen Zeitpositionen und/oder in unterschiedlichen Bereichen der Probe erfasst werden. Solche unterschiedlichen Implementierungen können sich in Bezug auf die Lichtbelastung der Probe, die Effizienz des Arbeitsablaufs, die Validität der Ergebnisse und die benötigte Zeit zum Durchführen der Messung unterscheiden. Einige unterschiedlichen Beispiele werden nachfolgend im Zusammenhang mit den weiteren 8 bis 11 im Detail diskutiert. Die verschiedenen Varianten der 4 bis 11 können auch miteinander kombiniert werden, um neue Varianten zu bilden.
4 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 für das Trainieren und das Erfassen von Validierungs-Referenzbildern 261 für das Validieren eines Vorhersagealgorithmus. Insbesondere illustriert 4 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung in Bezug auf einen Beobachtungszeitraum 301.
4 illustriert, dass während des Beobachtungszeitraums 301 eine Abfolge 200 der Messbilder 201 mit einer in etwa gleichen Abtastrate erfasst werden. Gleichzeitig werden die Trainings-Referenzbilder 251 lediglich während einer Kalibrationsphase 311, die am Anfang des Beobachtungszeitraums 301 angeordnet ist, erfasst. Während der Kalibrationsphase 311 werden auch die Messbilder 201 erfasst, so dass Paare 601 von entsprechenden Messbildern 201 und Trainings-Referenzbildern 251 gebildet werden können, die zum Training des Vorhersagealgorithmus - wie voranstehend im Zusammenhang mit Box 3015 des Verfahrens aus 3 beschrieben - verwendet werden können. Die Messbilder 201 und die Trainings-Referenzbilder 251 eines Paares 601 werden benachbart im Zeitraum erfasst.
Nach dem Training des Vorhersagealgorithmus 205 können dann die synthetischen Fluoreszenzbilder 202 basierend auf den Messbildern 201 bestimmt werden.
Diese synthetischen Fluoreszenzbilder 202 können dann validiert werden, auf Grundlage der Validierungs-Referenzbilder 261. Die Validierungs-Referenzbilder 261 werden mit einer vergleichsweise geringen Abtastrate während des gesamten Beobachtungszeitraums 301 erfasst. D.h. die Lichtexposition wird limitiert.
Mittels der Validierungs-Referenzbilder 261 kann die Verlässlichkeit der synthetischen Fluoreszenzbilder überprüft werden. Beispielsweise könnte ein Vergleich zwischen dem jeweiligen Validierungs-Referenzbild 261 und dem nächsten Nachbarn (Zeitraum) der Messbilder 201 bestimmt werden. Das wurde voranstehend in 3 im Zusammenhang mit Box 3025 beschrieben.
Im Beispiel der 4 wäre es grundsätzlich denkbar, dass das Training des Vorhersagealgorithmus noch während des Beobachtungszeitraums 301, nach Abschluss der Kalibrationsphase 311 stattfindet. Zum Beispiel könnte das Training zu einem Zeitpunkt 651 abgeschlossen sein. Dann wäre es möglich, im Anschluss an den Zeitpunkt 651, während des Beobachtungszeitraums nach dem Training, eine Echtzeit-Nachbearbeitung der Messbilder 201 durchzuführen und die synthetischen Fluoreszenzbilder 202 an einen Benutzer über einen entsprechenden Bildschirm auszugeben. Dies bedeutet, allgemeiner formuliert, dass das Bestimmen der synthetischen Fluoreszenzbilder unter Verwendung des dann trainierten Vorhersagealgorithmus 205 synchronisiert bzw. zeitgekoppelt mit dem Erfassen der Messbilder 201 erfolgen kann.
Im Beispiel der 4 ist ersichtlich, dass die Zeitraumdichte der Referenzbilder 261, 262 über den Beobachtungszeitraum 301 gemessen geringer ist, als die Zeitraumdichte der Messbilder 201.
5 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie von Validierungs-Referenzbildern 261. Insbesondere illustriert 5 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung im Beobachtungszeitraum 301.
Das Beispiel der 5 entspricht grundsätzlich dem Beispiel der 4. Im Beispiel der 5 ist die Kalibrationsphase 311 aber nicht am Anfang des Beobachtungszeitraums 301 angeordnet (vergleiche 4), sondern am Ende. Derart wird nach dem Ende der entsprechenden Messung eine digitale Nachbearbeitung der Messbilder 201 auf Grundlage des Vorhersagealgorithmus 205 bewirkt, wenn dieser trainiert ist.
Wiederum kann - gemäß dem Beispiel der 4 - eine Validierung des Vorhersagealgorithmus 205 basierend auf den Validierungs-Referenzbildern 261 erfolgen, die während des gesamten Beobachtungszeitraums 301 mit einer geringen Abtastrate erfasst werden.
Eine Anordnung der Kalibrationsphase 311 am Ende des Beobachtungszeitraums 301 bewirkt, dass die Lichtexposition während dem Großteil des Beobachtungszeitraums 301 vergleichsweise klein ist, zum Beispiel im Vergleich zu 4 wo die Lichtexposition zum Erfassen der Trainings-Referenzbilder 251 am Anfang des Beobachtungszeitraums 301 stattfindet.
6 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie von Validierungs-Referenzbildern 261. Insbesondere illustriert 6 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung im Beobachtungszeitraum 301.
Im Beispiel der 6 wird wiederum eine Kalibrationsphase 311 verwendet, während der die Trainings-Referenzbilder 601 erfasst werden. Im Beispiel der 6 ist die Kalibrationsphase 311 in Bezug auf einen Erwartungszeitpunkt des biologischen Veränderungsprozesses Zeitraum angeordnet.
Beispielsweise kann, wie obenstehend bereits beschrieben, anstatt einer statistischen Gleichverteilung des Auftretens eines biologischen Veränderungsprozesses über den gesamten Beobachtungszeitraum 301 hinweg eine entsprechende lokalisierte Verteilung 661 vorliegen. Diese Verteilung 661 der Häufigkeit des Auftretens des biologischen Veränderungsprozesses definiert den Erwartungszeitpunkt. Der Erwartungszeitpunkt kann also, allgemein formuliert, basierend auf Vorwissen bestimmt werden. Im Beispiel könnte der Erwartungszeitpunkt entsprechend einem Messprotokoll durch die Zugabe einer Chemikalie durch die Veränderung von Prozessbedingungen definiert sein.
Weil die Kalibrationsphase 311 und das Erfassen der Trainings-Referenzbilder 251 in Bezug auf den Erwartungszeitpunkt angeordnet ist, kann der Vorhersagealgorithmus 205 mit besonders aussagekräftigen Informationen trainiert werden.
In den Beispielen der 4, 5 und 6 wurde die Kalibrationsphase 311 jeweils in Bezug auf die Trainings-Referenzbilder 251 beschrieben. Alternativ oder zusätzlich zu einer solchen Kalibrationsphase 311, die ein Gating im Zeitraum in Bezug auf das Erfassen der Trainings-Referenzbilder 251 bewirkt, wäre es auch möglich, dass eine Kalibrationsphase für das Erfassen der Validierungs-Referenzbilder 251 verwendet wird. Beispielsweise wäre es denkbar, dass die Trainings-Referenzbilder 251 in einer Kalibrationsphase 311 erfasst werden, die am Anfang des Beobachtungszeitraums 301 angeordnet ist (vergleiche 4), während die Validierungs-Referenzbilder 251 in einer entsprechenden Kalibrationsphase erfasst werden, die am Ende des Beobachtungszeitraums 301 angeordnet ist.
Im Zusammenhang mit den Beispielen der 4, 5 und 6 wurde die Konzentration der Erfassung der Trainings-Referenzbilder 251 in der Kalibrationsphase 311 beschrieben. Das ist, allgemein formuliert, optional. Ein anderes Beispiel ist in 7 gezeigt.
7 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie das Erfassen von Validierungs-Referenzbildern 261. Insbesondere illustriert 7 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung im Beobachtungszeitraum 301.
Im dargestellten Beispiel der 7 werden die Trainings-Referenzbilder 251 und die Messbilder 201 zeitlich verschachtelt erfasst, und zwar in etwa gleichverteilt über den gesamten Beobachtungszeitraum 301 verteilt.
Beispielsweise könnte eine feste Wiederholrate (zum Beispiel ein Trainings-Referenzbild 251 für jedes N-te Messbild 201, wobei z.B. gilt N>=10) verwendet werden. Selbiges gilt grundsätzlich auch für die Validierungs-Referenzbilder 261.
Durch eine solche Verteilung der Trainings-Referenzbilder 251 über den gesamten Messzeitraum 301 kann ein zielgerichtetes Training des Vorhersagealgorithmus 205 verschiedener Phasen eines entsprechenden Experiments erzielt werden, was besonders hilfreich ist, wenn die entsprechenden biologischen Veränderungsprozesse nicht gleich verteilt über den Beobachtungszeitraum 301 stattfinden.
Voranstehend wurden Techniken beschrieben, wie die Erfassung der Referenzbilder 251, 261 zielgerichtet im Zeitraum erfolgt. Alternativ oder zusätzlich zu einer solchen Anordnung der Erfassung der Referenzbilder 251, 261 im Zeitraum, kann das Erfassen der Trainings-Referenzbilder 251 und/oder das Erfassen der Validierungs-Referenzbilder auch durch ein oder mehrere Ereignisse ausgelöst werden. Ein entsprechendes Beispiel ist in 8 dargestellt, hier für die Validierungs-Referenzbilder 261 (wobei ein entsprechendes Beispiel auch für die Trainings-Referenzbilder 251 verwendet werden könnte).
8 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie von Validierungs-Referenzbildern 261.
Im Beispiel der 8 werden die Validierungs-Referenzbilder als Reaktion auf ein Auslöseereignis erfasst. Alternativ oder zusätzlich könnten aber auch die Trainings-Referenzbilder 251 in Reaktion auf ein Auslöseereignis 681 erfasst werden.
Dabei sind grundsätzlich unterschiedliche Auslöseereignisse denkbar. Beispielsweise könnte ein Auslöseereignis durch einen Benutzerbefehl implementiert werden. Es könnte - alternativ oder zusätzlich - überwacht werden, ob eine Änderung im semantischen Inhalt der Messbilder erkannt wird. Alternativ oder zusätzlich könnte auch ein Objekterkennungsalgorithmus verwendet werden. Dazu werden nachfolgend Details erläutert.
Zum Beispiel könnte ein Objekterkennungsalgorithmus dazu verwendet werden, das Auftreten von bestimmten biologischen Veränderungsprozessen zu erkennen. Als Eingabe könnte der Objekterkennungsalgorithmus zum Beispiel die Messbilder 201 oder auch die synthetischen Fluoreszenzbilder 202 erhalten. Werden dann eine bestimmte Anzahl von biologischen Veränderungsprozessen durch den Objekterkennungsalgorithmus erkannt, kann das Auslöseereignis vorliegen und es kann ein entsprechendes Validierungs-Referenzbild 261 erfasst werden. Es könnten auch andere semantische Inhalte überwacht werden, z. B. Zellteilung, Vergrößerung oder Verkleinerung von Zellelementen, usw.. Derart kann sichergestellt werden, dass auch für vergleichsweise selten auftretende biologische Veränderungsprozesse jeweils ein Validierungs-Referenzbild 261 vorhanden ist.
Neben einem Ereignis-spezifischen Objekterkennungsalgorithmus können vergleichsweise einfache Implementierungen durchgeführt werden, die zum Beispiel überprüfen, ob sich der Bildkontrast in einem Messbild 201 schlagartig signifikant verändert.
Es wäre auch möglich, dass eine entsprechende Steueranweisung - betreffend das Auslösekriterium - über eine Benutzerschnittstelle empfangen wird.
9 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie von Validierungs-Referenzbildern 261.
Das Beispiel der 9 entspricht grundsätzlich dem Beispiel der 4. Im Beispiel der 9 erfolgt aber eine weitere Kalibrationsphase 311 am Ende des Beobachtungszeitraums 301. Dort werden weitere Trainings-Referenzbilder 251 erfasst. Beispielsweise kann das Durchführen der weiteren Kalibrationsphase 311 in Abhängigkeit von einem Ergebnis der Validierung basierend auf den zwischen den beiden Kalibrationsphasen 311 erfassten Validierungs-Referenzbildern 261 selektiv ausgeführt werden. Wird zum Beispiel basierend auf der Validierung basierend auf den Validierungs-Referenzbildern 261 eine schlechte Qualität der synthetischen Fluoreszenzbilder 202 festgestellt, so kann am Ende des Beobachtungszeitraums 301 ein erneutes (Re-)Training des Vorhersagealgorithmus 205 stattfinden, basierend auf weiteren Trainings-Referenzbildern 251, die während der späteren Kalibrationsphase 311 am Ende des Beobachtungszeitraums 301 erfasst werden. Allgemeiner formuliert, kann also in Abhängigkeit von einem Ergebnis der Validierung das Erfassen der Trainings-Referenzbilder 251 angepasst werden sowie ferner Parameterwerte des Vorhersagealgorithmus 205 angepasst werden, im Rahmen des (Re-)Trainings. Derart kann nicht nur eine bloße Validierung erfolgen, sondern auch eine geeignete Gegenmaßnahme eingeleitet werden. Die synthetischen Fluoreszenzbilder können dann basierend auf den Messbildern 201 noch einmal erneut nach Ende des Re-Trainings bestimmt werden. Bei Bedarf können also weitere Trainingsdaten erfasst werden.
Solche Techniken beruhen auf der Erkenntnis, dass sich die Zellkulturen einer entsprechenden Probe oft während des Beobachtungszeitraums 301 ändern können, zum Beispiel ausbleichen oder verfärben können. Eine solche Veränderung der Probe kann oftmals nicht von vorneherein absehbar sein. Trotzdem verliert dann der einmal trainierte Vorhersagealgorithmus 205 an Genauigkeit. Insbesondere nimmt die Genauigkeit weiter ab, die länger der Abstand zu entsprechenden Kalibrationsphase 311 ist. Deshalb kann es hilfreich sein, selektiv am Ende des Beobachtungszeitraums 301 noch einmal weitere Trainings-Referenzbilder 251 zu erfassen.
Mittels einer selektiven weiteren Kalibrationsphase 311 kann auch die Lichtexposition der Probe so gering wie möglich, aber so groß wie nötig eingestellt werden.
10 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 in das Erfassen von Trainings-Referenzbildern 251 sowie von Validierungs-Referenzbildern 261. Im Beispiel der 10 wird eine Kalibrationsphase 311 für das Erfassen von Trainings-Referenzbildern 251 verwendet und es wird auch eine Kalibrationsphase 312 für das Erfassen der Validierungs-Referenzbilder 261 verwendet. Im Beispiel der 10 sind die Kalibrationsphasen 311, 312 beide am Ende des Beobachtungszeitraums 301 angeordnet. Es wären aber auch andere Lösungen denkbar, wo zum Beispiel die Kalibrationsphase 311 am Anfang des Beobachtungszeitraums 301 angeordnet ist oder andersherum. Es wäre auch eine Kombination mit einem Beispiel gemäß 6 denkbar. Unterschiedliche Kombinationen für die Anordnung im Zeitraum sind denkbar.
In 10 ist auch die Schleife 3099 (cf. 3) dargestellt. Es ist optional möglich, dass - in Abhängigkeit von einem Ergebnis der Validierung - weitere Trainings-Referenzbilder 251 erfasst werden und erneut validiert wird, bis die Validierung erfolgreich ist. Das Erfassen der Trainings-Referenzbilder 251 kann also abhängigen von dem Ergebnis der Validierung.
Das Beispiel der 10 weist eine besonders geringe Lichtexposition der Probe bis zum Beginn der Kalibrationsphasen 311, 312 auf, so dass die Probenqualität besonders wenig durch die Messung kompromittiert wird.
Voranstehend wurden Bezug auf die Szenarien der 4 bis 10 Beispiel illustriert, bei denen einer Anordnung der Erfassung der Referenzbilder 251, 261 im Zeitraum variiert. Alternativ oder zusätzlich zu einer Variation der Anordnung der Erfassung der Referenzbilder 251, 261 im Zeitraum, gibt es auch eine Variationsbandbreite betreffend die Anordnung der Erfassung der Referenzbilder 251, 261 im Ortsraum. Eine entsprechende Technik ist im Zusammenhang mit 11 dargestellt.
11 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainings-Referenzbildern 251 sowie in Bezug auf das Erfassen von Validierungs-Referenzbildern 261. Insbesondere illustriert 11 Aspekte in Bezug auf eine Anordnung im Ortsraum (vertikale Achse) sowie im Zeitraum (horizontale Achse). In 11 ist dargestellt, dass die Messbilder 201 schichtweise erfasst werden können (manchmal auch als Z-Stapel bezeichnet). Wiederum ist es möglich, die Paare 601, 602 basierend auf einem möglichst geringen Abstand im Ortsraum und Zeitraum zu bilden, wie in 11 dargestellt.
Neben einer solchen 3-D Bildgebung basierend auf einem Z-Stapel von 2-D Messbildern, wäre auch eine echte 3-D Bildgebung mit entsprechenden Bildgebungsverfahren denkbar. Ein Beispiel ist die optische Kohärenztomografie oder die Holotomografie. Hierbei werden 3-D Bilddaten erhalten. In Kombination mit einer weiteren spezifischen Bildgebung zB Fluoreszenbildgebung, lassen sich wiederum die Messbilder 201 und die Referenzbilder 251, 261 ableiten. Zum Beispiel können entsprechend Schnittebenen im 3-D Volumen der 3-D Bilddaten bestimmt werden. Hier kann zum Beispiel eine Registrierung zwischen den Messbildern 201 und den Referenzbildern 251, 261 notwendig werden, um das Training Beziehung für sie die Validierung 6002 zu ermöglichen.
Das Beispiel gemäß 11 kann auch verallgemeinert auf andere Szenarien angewendet werden. Zum Beispiel wäre es denkbar, dass lateral mehrere 2-D Messbilder für unterschiedliche Sichtbereiche erfasst werden. Dann wäre es denkbar, dass die Referenzbilder 251, 261 jeweils nur für einen der mehreren lateral versetzten Sichtbereiche erfasst werden. Selbiges gilt auch für Multi-Well-Platten (MWP). Dort wäre es zum Beispiel denkbar, dass die Referenzbilder nur für einen Probenbereich der MWP erfasst werden, die Messbilder für mehrere Probenbereiche der MWP. Trotzdem können die synthetischen Fluoreszenzbilder für alle Probenbereiche der MWP bestimmt werden.
Zusammenfassend wurden voranstehend Techniken beschrieben, die es ermöglichen, Messbilder mit einer großen Dichte im Zeitraum und/oder Ortsraum zu erfassen; während andererseits Referenzbilder - die für eine Validierung von basierend auf den Messbildern digital nachbearbeiteten synthetischen Bildern und/oder für ein Training eines entsprechenden Vorhersagealgorithmus verwendet werden können - mit einer vergleichsweise geringen Dichte in Zeitraum und/Ortsraum zu erfassen. Weil das Erfassen der Referenzbilder typischerweise vergleichsweise invasiv ist - das heißt eine Beschädigung der Probe verursachen kann - kann durch solche Techniken eine schonendere Messung ermöglicht werden. Gleichzeitig kann aber die Zuverlässigkeit und Qualität des Vorhersagealgorithmus erhöht bzw. verifiziert werden.
Zusammenfassend wurden voranstehend Techniken beschrieben, um synthetische Fluoreszenzbilder durch digitale Nachbearbeitung von Messbildern zu bestimmen. Dabei wird eine Probe oder ein Teil einer Probe mit einem Marker gefärbt, wobei ein virtuelles Surrogat für die Fluoreszenz dieses Markers erhalten werden soll. Es wird dann eine Abfolge von Messbildern für diese Probe erfasst, entlang von ein oder mehreren Dimensionen (Zeit, Z-Position und/oder lateraler Versatz). Die Messbilder werden dabei mit einer vergleichsweise wenig invasiven Bildgebungsmodalität erfasst, das heißt einer Bildgebungsmodalität, die im Vergleich zu einer Fluoreszenzbildgebung, die den gewünschten Fluoreszenzkontrast bereitstellen würde, eine geringere Foto-Toxizität und/oder Fotobleichen bewirkt. Es werden aber auch Referenzbilder mit eben dieser Fluoreszenzbildgebung erfasst.
Dann können Paare von Messbildern und Referenzbildern gebildet werden, die einen möglichst geringen Abstand im Zeitraum und Ortsraum aufweisen. Gegebenenfalls kann eine Registrierung erfolgen, wenn zum Beispiel ein Versatz im Ortsraum vorliegt. Solche Paare können dann für das Training und/oder die Validierung eines Vorhersagealgorithmus verwendet werden, der die synthetischen Fluoreszenzbilder bestimmt. Das bedeutet, dass der Vorhersagealgorithmus eine Korrelation zwischen den Fluoreszenzbildern und den Messbildern ausnutzt, um die synthetischen Fluoreszenzbilder zu bestimmen. Der Vorhersagealgorithmus kann dann verwendet werden, um für alle erfassten Messbilder jeweils zugehörige synthetische Fluoreszenzbilder zu bestimmen.
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
Beispielsweise wurden voranstehend Techniken beschrieben, bei denen 2-D Messbilder digitalen Nachbearbeitung werden, um synthetische Fluoreszenzbilder zu erhalten. Dazu wird ein Vorhersagealgorithmus verwendet, der basierend auf den 2-D Messbildern operiert. Als allgemeine Regel wäre es auch denkbar, dass ein Vorhersagealgorithmus verwendet wird, der basierend auf 3-D Messbildern operiert.
Ferner wurden zusammen Techniken im Zusammenhang mit der digitalen Kontrastnachbearbeitung zur Emulation von Fluoreszenzkontrast beschrieben. Entsprechende Techniken könnten auch für die Emulation von anderen Bildgebungsmodalitäten oder Anwendungsszenarien eingesetzt werden.
Ferner wurden voranstehend Techniken beschrieben, bei denen synthetische Fluoreszenzbilder bestimmt werden, die einen Fluoreszenzkontrast emulieren, der durch einen Marker, mit dem eine Probe eingefärbt wird, entsteht. Entsprechend wäre es aber auch denkbar, dass ein Autofluoreszenzkontrast ohne Marker emuliert wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3553165 A1 [0007]

Claims

Computer-implementiertes Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) Messbilder (201) einer Probe zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (251) zumindest eines Teils der Probe zu erfassen, wobei die Referenzbilder (251) in Bezug auf den Beobachtungszeitraum (301) mit einer geringeren Ortsraumdichte und/oder einer geringeren Zeitraumdichte als die Messbilder (201) erfasst werden, - Durchführen (3015) eines Trainings (6001) von Parametern eines Vorhersagealgorithmus (205) basierend auf zumindest einem Teil der Referenzbilder (251, 261) als Grundwahrheit und ferner basierend auf einem Teil der Messbilder (201, und - nach Beendigung des Trainings (6001), Bestimmen (3020) von synthetischen Fluoreszenzbildern (202) basierend auf ein oder mehreren der Messbilder (201) und unter Verwendung des Vorhersagealgorithmus (205).
Computer-implementiertes Verfahren nach Anspruch 1, wobei das Computer-implementierte Verfahren weiterhin umfasst: - nach Beendigung des Trainings, Synchronisieren des Bestimmens der synthetischen Fluoreszenzbilder (202) mit dem Erfassen der Messbilder (201).
Computer-implementiertes Verfahren nach Anspruch 1 oder 2, wobei das Training basierend auf einem Verlustbeitrag zu einer Verlustfunktion durchgeführt wird, der basierend auf einem Vergleich des semantischen Inhalts zumindest des Teils der Referenzbilder (251, 261) mit dem semantischen Inhalt zumindest des Teils der Messbilder (201) basiert.
Computer-implementiertes Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) Messbilder (201) einer Probe zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (261) zumindest eines Teils der Probe zu erfassen, wobei die Referenzbilder (261) in Bezug auf den Beobachtungszeitraum (301) mit einer geringeren Ortsraumdichte und/oder einer geringeren Zeitraumdichte als die Messbilder (201) erfasst werden, - Bestimmen (3020) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern (201) und basierend auf einem Vorhersagealgorithmus (205), und - Durchführen (3025) einer Validierung (6002) der synthetischen Fluoreszenzbilder (202) basierend auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder (261) und zumindest einem Teil der synthetischen Fluoreszenzbilder (202).
Computer-implementiertes Verfahren nach Anspruch 4, wobei das Computer-implementierte Verfahren weiterhin umfasst: - in Abhängigkeit von einem Ergebnis der Validierung (6002): Anpassen von ein oder mehreren Parameterwerten des Vorhersagealgorithmus (205).
Computer-implementiertes Verfahren nach Anspruch 4 oder 5, wobei das Computer-implementierte Verfahren weiterhin umfasst: - in Abhängigkeit von einem Ergebnis der Validierung (6002): Anpassen des Erfassens der Referenzbilder (251, 261).
Computer-implementiertes Verfahren nach einem der Ansprüche 4 bis 6, wobei die Validierung basierend auf einem Vergleich des semantischen Inhalts zumindest des Teils der Referenzbilder (261) und des semantischen Inhalts zumindest des Teils der Messbilder (201) basiert.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Referenzbilder (251, 261) verschachtelt mit den Messbildern (201) während des Beobachtungszeitraums (301) zu erfassen.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) jeweils als Reaktion auf ein Auslöseereignis (681) angesteuert wird, um mindestens eines der Referenzbilder (251, 261) zu erfassen.
Computer-implementiertes Verfahren nach Anspruch 9, wobei das Auslöseereignis (681) aus folgender Gruppe ausgewählt ist: Benutzerbefehl; Veränderung im semantischen Inhalt der Messbilder; Ausgabe eines Objekterkennungsalgorithmus.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Referenzbilder (251, 261) häufiger während mindestens einer Kalibrationsphase (311, 312) als außerhalb der mindestens einen Kalibrationsphase (311,312) zu erfassen, wobei die Kalibrationsphase (311, 312) am Anfang und/oder am Ende des Beobachtungszeitraums (301) oder in Bezug auf einen Erwartungszeitpunkt eines biologischen Veränderungsprozesses der Probe angeordnet ist.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Referenzbilder (251, 261) in einem ersten Bereich der Probe zu erfassen, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Messbilder (201) zumindest teilweise in einem zweiten Bereich der Probe zu erfassen, der verschieden ist vom ersten Bereich der Probe.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Referenzbilder (251, 261) mittels der mikroskopischen Fluoreszenzbildgebung mit einem ersten Wert eines Belichtungsparameters der mikroskopischen Fluoreszenzbildgebung zu erfassen, wobei die mindestens eine Bildgebungsvorrichtung (111, 112) angesteuert wird, um die Messbilder (201) mittels der mikroskopischen Fluoreszenzbildgebung mit einem zweiten Wert des Belichtungsparameters der mikroskopischen Fluoreszenzbildgebung zur erfassen, wobei der erste Wert eine erste Lichtbelastung der Probe und pro Referenzbild bewirkt, wobei der zweite Wert eine zweite Lichtbelastung der Probe und pro Messbild bewirkt, wobei die zweite Lichtbelastung kleiner ist als die erste Lichtbelastung.
Computer-implementiertes Verfahren nach einem der voranstehenden Ansprüche, wobei eine Anzahl der Referenzbilder (251, 261) im Beobachtungszeitraum (301) nicht größer ist als 50% einer Anzahl der Messbilder (201) im Beobachtungszeitraum (301), optional nicht größer als 5%, weiter optional nicht größer als 1 %.
Vorrichtung (101), die einen Prozessor (104) umfasst, der eingerichtet ist, um die folgenden Schritte auszuführen: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) Messbilder (201) einer Probe zu erfassen, wobei in Bezug auf den Beobachtungszeitraum (301)die Referenzbilder (251, 261) mit einer geringeren Ortsraumdichte und/oder einer geringeren Zeitraumdichte als die Messbilder (201) erfasst werden, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (251, 261) zumindest eines Teils der Probe zu erfassen, - Durchführen (3015) eines Trainings von Parametern eines Vorhersagealgorithmus (205) basierend auf zumindest einem Teil der Referenzbilder (251, 261) als Grundwahrheit und ferner basierend auf zumindest einem Teil der Messbilder, und - nach Beendigung des Trainings, Bestimmen (3020) von synthetischen Fluoreszenzbildern (202) basierend auf ein oder mehreren der Messbilder (201) und unter Verwendung des Vorhersagealgorithmus (205).
Vorrichtung nach Anspruch 15, wobei der Prozessor eingerichtet ist, um das Computer-implementierte Verfahren nach Anspruch 1 auszuführen.
Vorrichtung (101), die einen Prozessor (104) umfasst, der eingerichtet ist, um die folgenden Schritte auszuführen: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) Messbilder (201) einer Probe zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (261) zumindest eines Teils der Probe zu erfassen, wobei in Bezug auf den Beobachtungszeitraum (301) die Referenzbilder (251, 261) mit einer geringeren Ortsraumdichte und/oder einer geringeren Zeitraumdichte als die Messbilder (201) erfasst werden, - Bestimmen (3020) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern (201) und basierend auf einem Vorhersagealgorithmus (205), und - Durchführen (3025) einer Validierung der synthetischen Fluoreszenzbilder (202) basierend auf einem Vergleich zwischen zumindest einem Teil der Referenzbilder (261) und zumindest einem Teil der synthetischen Fluoreszenzbilder (202).
Vorrichtung nach Anspruch 17, wobei der Prozessor eingerichtet ist, um das Computer-implementierte Verfahren nach Anspruch 2 auszuführen.