DE102021114307A1 - Digitale kontrastnachbearbeitung von mikroskopiebildern - Google Patents

Digitale kontrastnachbearbeitung von mikroskopiebildern Download PDF

Info

Publication number
DE102021114307A1
DE102021114307A1 DE102021114307.1A DE102021114307A DE102021114307A1 DE 102021114307 A1 DE102021114307 A1 DE 102021114307A1 DE 102021114307 A DE102021114307 A DE 102021114307A DE 102021114307 A1 DE102021114307 A1 DE 102021114307A1
Authority
DE
Germany
Prior art keywords
images
imaging
biological sample
fluorescence
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021114307.1A
Other languages
English (en)
Inventor
Rebecca Elsässer
Wibke Hellmich
Alexander Freytag
Volker Doering
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102021114307.1A priority Critical patent/DE102021114307A1/de
Priority to US17/830,607 priority patent/US20220392200A1/en
Publication of DE102021114307A1 publication Critical patent/DE102021114307A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Immunology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Ein Vorhersagealgorithmus bestimmt synthetische Fluoreszenzbilder basierend auf Messbildern. Es kann eine Validierung der synthetischen Fluoreszenzbilder basierend auf Referenzbildern erfolgen, die nach den Messbildern erfasst werden oder für eine separate Probe erfasst werden. Es kann alternativ oder zusätzlich ein Training des Vorhersagealgorithmus basierend auf Trainingsbildern erfolgen, die nach den Messbildern erfasst werden oder für eine separate Probe erfasst werden.

Description

  • TECHNISCHES GEBIET
  • Verschiedene Beispiele der Offenbarung betreffen allgemein Techniken zur digitalen Nachbearbeitung von Messbildern, die mit einer mikroskopischen Bildgebungsmodalität erfasst werden. Insbesondere können synthetische Fluoreszenzbilder bestimmt werden.
  • HINTERGRUND
  • Die Fluoreszenzbildgebung wird in verschiedenen Bereichen der „Lebens-Wissenschaften“ (engl. Lifesciences) verwendet. Mittels Fluoreszenzbildgebung ist es möglich, Bereiche und Strukturen in biologischen Proben mit großer Sensitivität und Spezifität zu erkennen. Dabei wird die Spezifität erreicht durch Marker, die ausgebildet sind, um spezifisch an bestimmte Moleküle oder Zellstrukturen zu binden. Die Spezifität kann auch durch Marker erreicht werden, die nur in bestimmten chemischen Umgebungen aktiviert werden. Eine äußere Aktivierung wäre möglich, beispielsweise durch Zugabe chemischer Stoffe oder Lichteinwirkung. Die Spezifität kann auch durch Marker erreicht werden, die in der Zelle vorhanden und/ oder selbst produziert werden. Dies kann zum Beispiel Autofluoreszenz betreffen, oder Marker nach einem geeigneten genetischen Manipulationsschritt. Die Sensitivität wird durch die Fluoreszenz der Marker bei bestimmten Wellenlängen erreicht. Dadurch kann das Signal im Spektralbereich gefiltert werden.
  • Typischerweise umfasst ein Marker Fluorophore oder besteht aus einem Fluorophor. Ein Fluorophor ist ein Molekül, dessen Elektronenhülle mittels Lichts bei einer bestimmten Wellenlänge angeregt werden kann und dann Licht bei einer längeren Wellenlänge emittiert. Die Verwendung von Fluorophoren ermöglicht es, die Anregung und Lichtemission im Spektrum zu separieren. Dadurch kann ein Signal gemessen werden, welches nur einen geringen Anteil von Hintergrundlicht beinhaltet. Dadurch kann ein großes Signal-zu-Rausch-Verhältnis (SNR) erzielt werden.
  • Diese beiden Vorteile der Fluoreszenzbildgebung - das heißt Spezifität und Sensitivität - ermöglichen es, Zellstrukturen eines bestimmten Typs und/oder spezifische Moleküle in einem entsprechenden Ensemble zu identifizieren, zum Beispiel den Zellkern oder DNA. Eine weitere Anwendung betrifft zum Beispiel die Erkennung eines Tumors.
  • Bei der Verwendung einer mikroskopischen Fluoreszenzbildgebung können Nachteile auftreten. Zum Beispiel tritt sog. Fotobleichen aufgrund der Exposition mit Licht zur Anregung der Fluoreszenz auf. Ein Fluorophor verliert dabei die Fähigkeit zur Fluoreszenz. Die Verwendung von Licht zur Anregung der Fluoreszenz kann auch eine Foto-Toxizität bewirken. Das bedeutet, dass die Zellstrukturen einer entsprechenden Probe geschädigt werden können. Dadurch kann das Experiment verfälscht werden. Außerdem kann es passieren, dass die Marker selbst über der Zeit degradieren, z.B. Ausbleichen. Dann kann als Funktion der Zeit eine Veränderung der Färbung auftreten, was das Messergebnis verfälschen kann.
  • Es sind Techniken bekannt, um einen Fluoreszenzkontrast durch digitale Kontrastnachbearbeitung von Mikroskopiebildern zu erzeugen. Dazu kann z.B. ein maschinengelernter Algorithmus eingesetzt werden. Solche Techniken weisen aber bestimmte Nachteile auf. Z.B. kann die Qualität der entsprechenden synthetischen Fluoreszenzbilder schlecht oder unbekannt sein.
  • Solche Nachteile wurden auch bei anderen Arten der digitalen Kontrastnachbearbeitung als bei der Erzeugung von synthetischen Fluoreszenzbildern beobachtet.
  • Es sind folgende Publikationen bekannt: EP3553165A1 ; Wagner, Nils, et al. „Deep learning-enhanced light-field imaging with continuous validation.“ Nature Methods 18.5 (2021): 557-563.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Deshalb besteht ein Bedarf für verbesserte Techniken zur digitalen Kontrastnachbearbeitung von Mikroskopiebildern.
  • Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
  • Einige hierin beschriebenen Beispiele beruhen allgemein auf der Erkenntnis, dass die klassische Hardware-basierte Fluoreszenzbildgebung durch die Verwendung von Licht zur Anregung der Fluoreszenz einen großen Einfluss auf das Verhalten der untersuchten Proben, insbesondere auf das Verhalten von Zellen haben kann. Andererseits beruhen die hierin beschriebenen Verfahren auf der Erkenntnis, dass andere Bildgebungsmodalitäten weniger invasiv sind, weil eine geringere Lichtexposition der Probe notwendig ist und/oder weniger schädliche Wellenlängen verwendet werden können, um entsprechende Bilddaten zu erfassen. Die hierin beschriebenen Beispiele beruhen ferner auf der Erkenntnis, dass auch bei solchen weniger invasiven Bildgebungsmodalitäten eine Korrelation zwischen dem Kontrast ansprechender Messbilder und einem Kontrast, der für entsprechende Fluoreszenzbilder erwartet werden würde, vorliegt. Deshalb ist es möglich, mittels wenig invasiven Bildgebungsmodalitäten - zum Beispiel herkömmlicher Durchlicht-Mikroskopie im Hellfeld - Messbilder zu erfassen, ohne die Integrität der Probe zu kompromittieren. Insbesondere können auch sehr viele Messbilder, zum Beispiel mit einer hohen Zeitauflösung, erfasst werden.
  • Mittels eines Vorhersagealgorithmus kann dann eine digitale Kontrastnachbearbeitung erfolgen. Es können basierend auf Messbildern und unter Verwendung des Vorhersagealgorithmus insbesondere synthetische Bilder erzeugt werden, die einen für eine bestimmte Bildgebungsmodalität - z.B. Fluoreszenzbildgebung - charakteristischen Kontrast aufweisen, ohne dass diese Bildgebungsmodalität selbst ausgeführt werden müsste.
  • Nachfolgend werden insbesondere verschiedene Beispiele im Zusammenhang mit der Bestimmung von synthetischen Fluoreszenzbildern beschrieben. Grundsätzlich können die offenbarten Techniken aber auch im Zusammenhang mit der Simulation von anderen Bildgebungsmodalitäten eingesetzt werden.
  • Einige hierin beschriebenen Beispiele beruhen ferner auf der Erkenntnis, dass bei der Verwendung eines Vorhersagealgorithmus zum Bestimmen von synthetischen Fluoreszenzbildern oftmals nicht oder nur schwer abschätzbar sein kann, wie zuverlässig der Vorhersagealgorithmus die synthetischen Fluoreszenzbilder bestimmt. Beispielsweise kann unklar sein, ob der in den synthetischen Fluoreszenzbildern beinhaltete Kontrast die Probe richtig charakterisiert oder aber artifizieller Natur ist. Das bedeutet, dass eine Belastbarkeit von in den synthetischen Fluoreszenzbildern beinhaltete Information unklar sein kann.
  • Einige hierin beschriebenen Beispiele beruhen außerdem auf der Erkenntnis, dass manchmal eine Situation auftreten kann, bei der sich nach Beendigung eines biologischen Experiments herausstellt, dass ein Vorhersagealgorithmus keine guten Ergebnisse liefert. Das bedeutet, dass der Kontrast der synthetischen Fluoreszenzbilder die Probe nicht richtig oder nur eingeschränkt charakterisieren kann.
  • Schließlich beruhen hierein beschriebene Techniken auf der Erkenntnis, dass ein basierend auf allgemeinen Trainingsdaten parametrisierter Vorhersagealgorithmus oftmals keine besonders guten Ergebnisse liefern kann, d.h. die synthetischen Fluoreszenzbilder weisen einen Kontrast auf, der signifikant von dem erwarteten Kontrast abweicht und bestimmte physische Eigenschaften der Probe nicht oder verfälscht wiedergibt.
  • Nachfolgend werden Techniken beschrieben, die es ermöglichen solche Nachteile zu beheben. Nachfolgend werden Techniken beschrieben, die es ermöglichen, die synthetischen Fluoreszenzbilder bzw. den Vorhersagealgorithmus zu validieren. Gemäß einigen hierin beschriebenen Beispielen kann es außerdem möglich sein, den Vorhersagealgorithmus anzupassen, wenn ein Ergebnis einer entsprechenden Validierung Ungenauigkeiten indiziert. Dadurch können synthetische Fluoreszenzbilder hoher Qualität bestimmt werden. Außerdem können synthetische Fluoreszenzbilder mit einer hohe Abtastrate bzw. Bildwiederholrate erfasst werden.
  • Ein Verfahren umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Das Verfahren umfasst außerdem das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels einer mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum während eines Kalibrationszeitraums mehrere Referenzbilder der biologischen Probe, die mit einem Marker eingefärbt ist, zu erfassen. Das Erfassen der mehreren Referenzbilder erfolgt also nachdem im Anschluss an den Beobachtungszeitraum ein Färbeprozess der biologischen Probe zum Einfärben der biologischen Probe mit dem Marker für die mikroskopische Fluoreszenzbildgebung durchgeführt wurde. Außerdem umfasst das Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums weitere Messbilder der biologischen Probe, die mit dem Marker eingefärbt ist, zu erfassen. Ferner umfasst das Verfahren das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus.
  • Das Verfahren kann Computer-implementiert sein.
  • Mittels der weiteren Messbilder und der Referenzbilder wäre es grundsätzlich möglich, die synthetischen Fluoreszenzbilder bzw. den Vorhersagealgorithmus zu validieren und/oder zu trainieren.
  • Für das Validieren wäre es möglich, dass weitere synthetische Fluoreszenzbilder basierend auf zumindest einem Teil der weiteren Messbilder und basierend auf dem Vorhersagealgorithmus bestimmt werden. Dann kann die Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern und den weiteren synthetischen Fluoreszenzbildern erfolgen.
  • Alternativ oder zusätzlich zu einer solchen Validierung wäre es auch möglich, dass der Vorhersagealgorithmus - der dann maschinengelernt wäre - trainiert wird. In einem solchen Fall können die für das Training verwendeten Referenzbilder auch als Trainingsbilder bezeichnet werden. Und es kann ein Training von Parametern des maschinengelernten Vorhersagealgorithmus basierend auf den Trainingsbildern als Grundwahrheit und zumindest einem entsprechenden Teil der weiteren Messbilder durchgeführt werden.
  • Grundsätzlich wäre es aber möglich, dass dedizierte Trainingsbilder erfasst werden, zum Beispiel auch während des Kalibrationszeitraums und die Probe abbilden, für die auch die Messbilder erfasst werden. Es wäre aber auch denkbar, dass Trainingsbilder für eine weitere Probe in einem weiteren Kalibrationszeitraum oder während des Beobachtungszeitraums erfasst werden.
  • Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Der Programmcode kann von einem Prozessor geladen und ausgeführt werden. Dies bewirkt, dass der Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Das Verfahren umfasst außerdem das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels einer mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum während eines Kalibrationszeitraums mehrere Referenzbilder der biologischen Probe, die mit einem Marker eingefärbt ist, zu erfassen. Das Erfassen der mehreren Referenzbilder erfolgt also nachdem im Anschluss an den Beobachtungszeitraum ein Färbeprozess der biologischen Probe zum Einfärben der biologischen Probe mit dem Marker für die mikroskopische Fluoreszenzbildgebung durchgeführt wurde. Außerdem umfasst das Verfahren das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums weitere Messbilder der biologischen Probe, die mit dem Marker eingefärbt ist, zu erfassen. Ferner umfasst das Verfahren das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus.
  • Ein Verfahren umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Außerdem umfasst das Verfahren auch das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder einer weiteren biologischen Probe zu erfassen, die mit einem Marker eingefärbt ist, mit dem die biologische Probe (für welche die Messbilder erfasst werden) nicht eingefärbt ist; die biologische Probe könnte aber mit einem anderen Marker eingefärbt sein. Außerdem umfasst das Verfahren auch das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums weitere Messbilder der weiteren biologischen Probe zu erfassen, die mit dem Marker eingefärbt ist. Das Verfahren umfasst das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus. Das Verfahren umfasst ferner das Bestimmen von weiteren synthetischen Fluoreszenzbildern basierend auf zumindest einem Teil der weiteren Messbilder und basierend auf dem Vorhersagealgorithmus.
  • Es wäre dann möglich, dass der Vorhersagealgorithmus basierend auf den weiteren synthetischen Fluoreszenzbildern validiert wird und/oder trainiert wird.
  • Das Durchführen einer Validierung der synthetischen Fluoreszenzbilder kann dabei basierend auf einem Vergleich zwischen den Referenzbildern und den weiteren synthetischen Fluoreszenzbildern erfolgen.
  • Alternativ oder zusätzlich könnte das Durchführen eines Trainings von Parametern eines dann maschinengelernten Vorhersagealgorithmus basierend auf den entsprechenden Referenzbildern (die dann als Trainingsbilder bezeichnet werden können) mit den weiteren synthetischen Fluoreszenzbildern erfolgen.
  • Ein Computerprogramm oder ein Computerprogramm-Produkt oder ein computerlesbares Speichermedium umfasst Programmcode. Der Programmcode kann von einem Prozessor geladen und ausgeführt werden. Dies bewirkt, dass der Prozessor ein Verfahren ausführt. Das Verfahren umfasst das Ansteuern mindestens einer Bildgebungsvorrichtung, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Außerdem umfasst das Verfahren auch das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder einer weiteren biologischen Probe zu erfassen, die mit einem Marker eingefärbt ist, mit dem die biologische Probe (für welche die Messbilder erfasst werden) nicht eingefärbt ist; die biologische Probe könnte aber mit einem anderen Marker eingefärbt sein. Außerdem umfasst das Verfahren auch das Ansteuern der mindestens einen Bildgebungsvorrichtung, um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums weitere Messbilder der weiteren biologischen Probe zu erfassen, die mit dem Marker eingefärbt ist. Das Verfahren umfasst das Bestimmen von synthetischen Fluoreszenzbildern basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus. Das Verfahren umfasst ferner das Bestimmen von weiteren synthetischen Fluoreszenzbildern basierend auf zumindest einem Teil der weiteren Messbilder und basierend auf dem Vorhersagealgorithmus.
  • Eine Vorrichtung umfasst einen Prozessor. Dieser ist eingerichtet, um mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Außerdem ist der Prozessor eingerichtet, um - nachdem im Anschluss an den Beobachtungszeitraum ein Färbeprozess der biologischen Probe zum Einfärben der biologischen Probe mit einem Marker für eine mikroskopische Fluoreszenzbildgebung durchgeführt wurde - die mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels der mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum während eines Kalibrationszeitraums mehrere Referenzbilder der biologischen Probe, die mit dem Marker eingefärbt ist, zu erfassen. Der Prozessor ist außerdem eingerichtet, um die mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums weitere Messbilder der biologischen Probe, die mit dem Marker eingefärbt ist, zu erfassen. Außerdem ist der Prozessor eingerichtet, um synthetische Fluoreszenzbilder basierend auf den Messbildern sowie basierend auf einem Vorhersagealgorithmus zu bestimmen. Der Prozessor ist auch eingerichtet, um weitere synthetische Fluoreszenzbilder basierend auf zumindest einem Teil der weiteren Messbilder und basierend auf dem Vorhersagealgorithmus zu bestimmen. Außerdem ist der Prozessor eingerichtet, um eine Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern und den weiteren synthetischen Fluoreszenzbildern durchzuführen.
  • Eine Vorrichtung umfasst einem Prozessor, der eingerichtet ist, um mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums mehrere Messbilder einer biologischen Probe zu erfassen. Die biologische Probe ist während des Beobachtungszeitraums nicht mit einem bestimmten Marker eingefärbt. Der Prozessor ist auch eingerichtet, um die mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums mehrere Referenzbilder einer weiteren biologischen Probe zu erfassen, die mit dem bestimmten Marker eingefärbt ist. Der Prozessor ist auch eingerichtet, um die mindestens eine Bildgebungsvorrichtung anzusteuern, um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums weitere Messbilder der weiteren biologischen Probe zu erfassen, die mit dem Marker eingefärbt ist. Der Prozessor ist auch eingerichtet, um synthetische Fluoreszenzbilder basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus zu bestimmen. Der Prozessor ist auch eingerichtet, um weitere synthetische Fluoreszenzbilder basierend auf den weiteren Messbildern und basierend auf dem Vorhersagealgorithmus zu bestimmen. Der Prozessor ist auch eingerichtet, um eine Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern und den weiteren synthetischen Fluoreszenzbildern durchzuführen.
  • Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
  • Figurenliste
    • 1 illustriert ein System mit mindestens einer Bildgebungsvorrichtung und einer Vorrichtung zur digitalen Nachbearbeitung von Bildern, die von der mindestens einen Bildgebungsvorrichtung erfasst werden.
    • 2 illustriert schematisch eine digitale Kontrastnachbearbeitung von Messbildern, die mit mindestens einer Bildgebungsvorrichtung erfasst werden.
    • 3 ist ein Flussdiagramm eines beispielhaften Verfahrens.
    • 4 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
    • 5 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
    • 6 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
    • 7 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
    • 8 illustriert beispielhaft und schematisch eine zeitliche Anordnung des Erfassens von Messbildern und des Erfassens von Referenzbildern.
  • DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
  • Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich werden. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
  • Nachfolgend werden Techniken beschrieben, um den Kontrast von Messbildern von biologischen Proben digital nachzubearbeiten. Insbesondere kann es mittels der hierin beschriebenen Techniken möglich sein, Computer-implementiert synthetische Bilder zu erzeugen, die einen Kontrast einer bestimmten Bildgebungsmodalität nachbilden, ohne dass die entsprechende Bildgebungsmodalität tatsächlich angewendet werden müsste.
  • Gemäß verschiedenen hierin beschriebenen Beispielen ist es möglich, synthetische Bilder zu erzeugen, die die Bildgebung von gefärbten Proben nachbilden (engl. „virtual staining“). Bei einer solchen Bildgebung von gefärbten Proben wird die biologische Probe herkömmlicherweise mit einem entsprechenden Farbstoff gefärbt. Dies erfolgt in einem Färbeprozess. Dabei wird ein Farbstoff in Kontakt mit der Probe gebracht. Der Farbstoff beinhaltet ein oder mehrere Marker. Solche Marker erzeugen in der Bildgebung einen spezifischen Kontrast. Z.B. könnten die Marker spezifisch an bestimmte Zellteile binden, z.B. an den Zellkern oder Mitochondrien. Mittels der Marker könnte Tumorgewebe sichtbar gemacht werden. Es wären zum Beispiel Marker denkbar, die durch Beleuchtung mit einer bestimmten Wellenlänge aktiviert werden und dann Licht bei einer anderen Wellenlänge aussenden, das heißt Fluoreszenzmarker.
  • Als weitere allgemeine Regel können in den hierin beschriebenen Beispielen unterschiedlichste Arten von Proben untersucht werden. Es können biologische Proben untersucht werden. Beispielsweise wäre es möglich, lebende oder fixierte Zellen zu untersuchen, z.B. in einer Gewebeprobe. Es könnten zum Beispiel Zellkulturen untersucht werden. Die biologische Probe kann also ein biologisches Modellsystem bezeichnen, z.B. Zellen oder Spheroide (d.h. Cluster von allgemeinen Zellen, z.B. von Tumoren oder Nervenzellen) oder Organoide (d.h. Cluster organspezifischer Zellen) oder auch Organismen oder ganze Organe. Die biologische Probe kann also insbesondere Zellen oder Gewebe umfassen. Es kann eine Zellkultur untersucht werden. Z.B. könnte eine primäre Zellkultur untersucht werden, d.h. aus einem Organismus gewonnene und am Leben gehaltene Zellen. Es könnten auch fixierte Zellen untersucht werden. Diese Probe umfasst also z.B. ein Ensemble von Zellstrukturen.
  • Nachfolgend werden insbesondere Techniken im Zusammenhang mit der Fluoreszenzbildgebung beschrieben. Diese Techniken ermöglichen die Bestimmung von synthetischen Fluoreszenzbildern. Fluoreszenzbilder weisen einen Kontrast auf, der bestimmte Zellstrukturen aus einer Vielzahl von Zellstrukturen mit hoher Spezifität und Sensitivität charakteristisch darstellt. Derart ist es möglich, Zellstrukturen eines bestimmten Typs von anderen Zellstrukturen anderen Typs zu unterscheiden.
  • Während nachfolgend verschiedene Techniken insbesondere im Zusammenhang mit der Färbung von Proben für die Fluoreszenzbildgebung beschrieben werden, wäre es in anderen Beispielen auch möglich, die Färbung für andere Anwendungsgebiete zu verwenden, z.B. der Histopathologie.
  • Nachfolgend werden Techniken beschrieben, welche klassische Messtechniken zur Fluoreszenzbildgebung, das heißt z.B. wellenlängenselektive Anregung der Fluoreszenz und wellenselektive Detektion der Fluoreszenz von Zellstrukturen mittels geeigneter Messhardware, kombinieren mit Techniken der digitalen Kontrastnachbearbeitung von Messbildern.
  • Durch eine solche Kombination von klassischen Hardware-basierten Messtechniken mit digitaler Kontrastnachbearbeitung ist es möglich, einerseits Fluoreszenzbilder mit hoher Qualität zu bestimmen und andererseits Effekte wie Fotobleichen und Foto-Toxizität, die durch die Anregung der Fluoreszenz durch Lichtexposition bewirkt werden, zu reduzieren. Insbesondere kann ein Optimum der Bildqualität - das heißt eine besonders hohe Zuverlässigkeit, dass die Fluoreszenzbilder die erforderliche Sensitivität und Spezifität in Bezug auf Zellstrukturen eines bestimmten Typs aufweisen - erreicht werden. Durch die Reduktion der Fotobleichen und Foto-Toxizität können außerdem längere Beobachtungszeiträume ermöglicht werden, zum Beispiel im Vergleich zu klassischen Hardware-basierten Techniken der Fluoreszenzbildgebung. Es kann auch eine höhere Zeitauflösung erreicht werden, d.h. mehr Bilder pro Zeiteinheit. Außerdem kann es möglich sein, Einflüsse auf die Physiologie der Probe zu reduzieren, sodass die Messergebnisse weniger beeinflusst bzw. verfälscht werden.
  • Mittels der hierin beschriebenen Techniken kann auch zuverlässig überprüft werden, ob synthetische Fluoreszenzbilder eine gewünschte Genauigkeit aufweisen. Insbesondere kann zum Beispiel überprüft werden, ob ein Vorhersagealgorithmus, der verwendet wird, um die synthetischen Fluoreszenzbilder zu bestimmen, ordnungsgemäße Vorhersagen trifft. Das bedeutet, dass eine Validierung der synthetischen Fluoreszenzbilder bzw. des Vorhersagealgorithmus ermöglicht wird.
  • Der Vorhersagealgorithmus kann eine Korrelation zwischen einem Bildkontrast der Messbilder und einem Bildkontrast von Fluoreszenzbilder ausnutzen. Eine solche Technik kann auch als „virtuelles Einfärben“ (engl. virtual staining) bezeichnet werden, weil der Kontrast der Messbilder durch die digitale Nachbearbeitung mittels des Vorhersagealgorithmus verändert oder verstärkt wird, so dass das synthetische Fluoreszenzbild erhalten wird. Durch ein solches virtuelles Einfärben können verschiedene Vorteile erzielt werden, zum Beispiel eine reduzierte Belichtungszeit, eine reduzierte Zeit zum Scannen der Probe, ein erhöhtes SNR, eine reduzierte Foto-Toxizität, reduzierter experimenteller Aufwand, usw.
  • Gemäß verschiedenen Beispielen werden während eines Beobachtungszeitraums mittels einer mikroskopischen Bildgebung eine Abfolge von Messbildern einer biologischen Probe erfasst. Dann wird mittels eines Vorhersagealgorithmus eine Abfolge von synthetischen Fluoreszenzbildern für die Abfolge der Messbilder erzeugt. Das bedeutet also, dass der Kontrast der Messbilder (d.h. die Pixelwerte, die z.B. Farbe und/oder Helligkeit kodieren) mittels des Vorhersagealgorithmus digital nachbearbeitet wird.
  • Dabei können in den verschiedenen offenbarten Beispielen unterschiedliche Arten von Vorhersagealgorithmen eingesetzt werden. Grundsätzlich könnte der Vorhersagealgorithmus z.B. händisch parametriert werden, also zum Beispiel durch geeignetes Benutzer Vorwissen geeignet eingestellt werden. Es wäre aber auch denkbar, dass der Vorhersagealgorithmus maschinengelernt ist. Ein entsprechendes Training kann dann computerimplementiert durchgeführt werden. Hier können zum Beispiel künstliche neuronale Netzwerke (KNNs) verwendet werden. Ein KNN umfasst eine Vielzahl von Schichten, die verschiedene Operationen ausführen. Ein Beispiel für ein KNN ist ein Faltungsnetzwerk (engl. convolutional neural network), bei denen Faltungsschichten verwendet werden, die eine Faltung von Eingangswerten mit einem Kern durchführen. Die verschiedenen Schichten können über geeignete Gewichte miteinander verbunden werden. Nichtlineare Aktivierungen sind denkbar. Pooling-Operationen können durchgeführt werden: dort werden Informationen verworfen. Ein Beispiel ist das Max-Pooling, wo nur die stärksten Werte eines Bereichs (z.B. 2x2 Neuronen) beibehalten werden. KNNs können eine Feedforward-Architektur haben. Hier wird das Ergebnis einer Schicht immer nur an eine weitere Schicht weitergegeben. Wenn sog. Sprung-Verbindungen vorhanden sind, kann die Ausgabe einer Schicht an mehrere nachfolgende Schichten weitergegeben werden. Es können grundsätzlich unterschiedliche Arten von KNNs verwendet werden, z.B. insbesondere auch Generative Adversarial Networks (GANs) oder Autoencoder Netzwerke, z.B. variational Autoencoder Netzwerke.
  • Gemäß verschiedenen Beispielen werden - zusätzlich zu den Messbildern - Referenzbilder sowie den Referenzbildern zugeordnete weitere Messbilder erfasst. Es werden also Paare von Referenzbildern und weiteren Messbildern erfasst.
  • Als allgemeine Regel wäre es möglich, aber nicht notwendig, dass die hierin beschriebenen Bildpaare, also z.B. umfassend die weiteren Messbilder und die Referenzbilder, in einem engen zeitlichen Kontext erfasst werden. Es wäre aber auch möglich, dass ein größerer zeitlicher Versatz zwischen den Bildern eines Paars vorliegt.
  • Die Referenzbilder werden dabei mittels Fluoreszenzbildgebung erfasst. Die Referenzbilder zeigen intrinsisch den Kontrast, der durch die synthetischen Fluoreszenzbilder emuliert wird bzw. werden soll. Diese Paare von Referenzbildern und weiteren Messbildern werden für eine Validierung der Messbilder verwendet. Diese Validierung der Messbilder kann auf einem Vergleich zwischen weiteren synthetischen Fluoreszenzbildern - die basierend auf den weiteren Messbildern und unter Verwendung des Vorhersagealgorithmus bestimmt werden - und den Referenzbildern erfolgen. Das bedeutet also, dass basierend auf dem Vergleich zwischen den weiteren synthetischen Fluoreszenzbildern und den Referenzbilder auf eine Qualität der synthetischen Messbilder zurückgeschlossen wird.
  • Als allgemeine Regel gibt es dabei unterschiedliche Möglichkeiten, die Referenzbilder in Bezug auf die Messbilder zu erfassen, und zwar in räumlicher Hinsicht und/oder zeitlicher Hinsicht. Zwei beispielhafte Varianten sind in TAB. 1 beschrieben. TAB. 1: Verschiedene Varianten für das Erfassen der Referenzbilder für die Validierung eines Vorhersagealgorithmus. Die beiden Beispiele I und II können auch miteinander kombiniert werden.
    Erfassung Referenzbilder zu Messbilder Beispielhafte Details
    I Zeitlich nachgelagert Die Referenzbilder können nach Abschluss der Messung, d.h. im Anschluss an einen Beobachtungszeitraum erfasst werden. Die Referenzbilder können also während eines dem Beobachtungszeitraum nachgelagerten Kalibrationszeitraums implementiert werden.
    Während des Kalibrationszeitraums können an derselben Probe, die auch Gegenstand der Erfassung der Messbilder im Beobachtungszeitraum war, die Referenzbilder erfasst werden, mittels Fluoreszenzbildgebung.
    Diese Referenzbilder können als Grundlage für eine Validierung der während des Beobachtungszeitraums erfassten Messbilder dienen. Dazu können während des Kalibrationszeitraums auch weitere Messbilder erfasst werden und es können weitere synthetische Fluoreszenzbilder basierend auf den weiteren Messbildern und dem Vorhersagealgorithmus bestimmt werden. Dann kann eine Validierung durchgeführt werden, basierend auf einem Vergleich der weiteren synthetischen Fluoreszenzbilder mit den Referenzbildern.
    Dazu kann zwischen dem Beobachtungszeitraum und dem Kalibrationszeitraum die Probe gefärbt werden, mit einem oder mehreren geeigneten Markern, die durch den Vorhersagealgorithmus emuliert werden. Grundsätzlich könnte auch mit einem anderen Marker gefärbt werden, der z.B. einen mit dem Kontrast des synthetischen Fluoreszenzbilds gut korrelierenden Kontrast bewirkt. Das bedeutet, dass die Probe erst im Anschluss an den Beobachtungszeitraum mit dem Marker gefärbt wird, die durch die Fluoreszenzbildgebung stimuliert werden. Das bedeutet, dass die Messbilder für das biologische Experiment komplett erfasst sein können, bevor die Probe gefärbt wird.
    II Örtliche Trennung In manchen Beispielen wäre es auch denkbar, dass die Referenzbilder zeitparallel zu den Messbildern erfasst werden, das heißt auch während des Beobachtungszeitraums. Das bedeutet, dass es möglich wäre, dass die Messbilder während des Beobachtungszeitraums für die Probe erfasst werden - und die Referenzbilder (zusammen mit weiteren Messbildern) an einer weiteren Probe während des Beobachtungszeitraums erfasst werden. Die weitere Probe kann dabei während des Beobachtungszeitraums mit einem Marker eingefärbt sein.
    Zum Beispiel wäre es denkbar, dass die weitere Probe und die Probe in unterschiedlichen Töpfen einer Multi-Topf-Platte (engl. multi-well plate) angeordnet sind, und damit während des Beobachtungszeitraums mittels einer Bildgebungsvorrichtung kontinuierlich sowohl die Messbilder der Probe, wie auch die Referenzbilder der weiteren Probe erfasst werden können. Zum Beispiel kann sowohl die Probe, wie auch die weitere Probe innerhalb eines Sichtfelds eines Mikroskops angeordnet sein.
    Die Probe und die weitere Probe können dasselbe biologische Experiment betreffen. Z.B. wäre es denkbar, dass die Probe und die weitere Probe beide Zellkulturen enthalten, die mit demselben Präparationsprozess erstellt wurden. Beispielsweise könnten die Probe und die weitere Probe fixierte Zellkulturen derselben Gewebeprobe beinhalten.
  • Grundsätzlich ist es also - wie in TAB. 1 beschrieben - möglich, das Erfassen der Messbilder und das Erfassen der Referenzbilder zeitlich und/oder örtlich voneinander zu trennen. Das hat mehrere Vorteile, die nachfolgend beschrieben werden.
  • Die Messbilder können mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums derart erfasst werden, dass Effekte wie Fotobleichen und Foto-Toxizität pro Messbild vergleichsweise geringer ausfallen, als pro Referenzbild. Das bedeutet, dass die Bildgebungsmodalität der mikroskopischen Bildgebung, die zur Erfassung der Messbilder verwendet wird, vergleichsweise wenig invasiv ist, insbesondere im Vergleich zur Fluoreszenzbildgebung, die für die Erfassung der Referenzbilder verwendet wird. Die Probe wird also während des Beobachtungszeitraums nicht stark belastet, die Physiologie weniger beeinflusst und das Experiment wird daher weniger verfälscht.
  • Außerdem kann es möglich sein, die Probe während des Beobachtungszeitraums nicht zu färben, das heißt das Färben mit einem bestimmten Marker findet ggf. erst im Anschluss an den Beobachtungszeitraum statt. Durch den Färbeprozess kann nämlich auch eine Beeinflussung der Probe resultieren, entweder durch den Marker selbst, und/oder durch ein mit dem Färben verbundenes Probenhandling. Beispielsweise wurde beobachtet, dass insbesondere bei Langzeitmessungen eine Wechselwirkung der Probe mit dem Marker stattfinden. Beispielsweise kann die Zell-Physiologie verändert oder gestört werden, durch den Färbeprozess und/oder den Marker. Invasive Schritte werden dadurch erst nach der Messung durchgeführt.
  • In manchen Beispielen könnte die Probe während des Beobachtungszeitraums auch gefärbt sein, beispielsweise mit einem anderen Marker, der weniger invasiv ist, das heißt keine oder nur eine geringere Veränderung der Struktur bzw. Physiologie der Probe bewirkt, als der für die Fluoreszenzbildgebung im Zusammenhang mit dem Erfassen der Referenzbilder verwendete Marker.
  • Zum Beispiel wäre es - als allgemeine Regel - möglich, Messbilder mittels eines herkömmlichen Durchlichtmikroskops zu erfassen. Es ist möglich, eine Hellfeld-Bildgebung zu verwenden. Es könnte auch eine Dunkelfeld-Bildgebung oder ein Phasenkontrast, zum Beispiel ein differentieller Phasenkontrast verwendet werden. Weitere Beispiele betreffend die Holographie-Bildgebung, die Holotomographie-, Quantitative Phasen-, Optische Kohärenztomographie, dynamische Optische Kohärenztomographie, Winkelselektive-Beleuchtungs-, Phasengradienten-, Strukturierte-Beleuchtungs-Bildgebung. Ein weiteres Beispiel betrifft die Erfassung der Messbilder mit einem hohen dynamischen Bereich durch Verwendung eines Burst-Modus (d.h. kurzer Zeitabstand zwischen Rohbildern einer Bilderserie, der insb. kleiner ist, als die Zeitskala der Dynamik der Probe) mit unterschiedlichen Belichtungszeiten (HDR-Bildgebung). Das bedeutet, dass pro Messbild mehrere Rohbilder erfasst werden können, die unterschiedliche Belichtungszeiten aufweisen und dann zu einem Messbild kombiniert werden können.
  • Die mikroskopische Bildgebung für die Messbilder kann also eine andere Bildgebungsmodalität als Fluoreszenzbildgebung verwenden. Hier implementiert der Vorverarbeitungsalgorithmus einen Bild-zu-Bild (B2B) Vorhersagealgorithmus, der einen ersten Kontrast (z.B. Hellfeldbildgebung im Durchlicht) übersetzt in einen zweiten Kontrast (Fluoreszenz).
  • In manchen Beispielen wäre es aber auch denkbar, dass auch für die Erfassung der Messbilder als Bildgebungsmodalität eine Fluoreszenzbildgebung verwendet wird - z.B. mit einem anderen Marker, als für die Referenzbilder, und/oder mit geringerer Anregung, und/oder ohne Marker mit Autofluoreszenz (z.B. Anregung von Hämoglobin, das nativ in der Probe vorhanden ist). Die für die Erfassung der Messbilder verwendeten Werte der Belichtungsparameter (z.B. Lichtstärke und/oder Belichtungszeit) der Fluoreszenzbildgebung können aber so eingerichtet sein, dass die Lichtbelastung bzw. Lichtexposition der Probe pro Messbild und pro Fläche der Probe geringer ist, als durch die Bildgebungsparameter der Fluoreszenzbildgebung, die für die Erfassung der Referenzbilder verwendet werden. Das bedeutet, anders formuliert, dass die Effekte Fotobleichen und Foto-Toxizität pro Messbild geringer sein können, als pro Referenzbild, obschon für die Erfassung sowohl der Messbilder, wie auch der Referenzbilder grundsätzlich dieselbe Bildgebungsmodalität der Fluoreszenzbildgebung verwendet wird. Z.B. wäre es auch denkbar, dass andere Marker aktiviert werden für die Erfassung der Messbilder, als für die Erfassung der Referenzbilder. Z.B. könnten für die Erfassung der Referenzbilder Marker verwendet werden, die mit einer geringeren Lichtmenge bzw. weniger invasiv aktiviert werden können. Es könnte aber auch grds. basierend auf einem ersten Fluoreszenzkontrast ein weiterer, zweiter Fluoreszenzkontrast vorhergesagt werden, sodass insgesamt die Lichtexposition reduziert werden kann. Z.B. könnte basierend auf einem „Green Fluorescent Protein“ (GFP) Marker und entsprechendem Fluoreszenzkontrast ein tdTomato Marker und entsprechender Fluoreszenzkontrast vorhergsagt werden. Z.B. könnte eine flächigere Färbung verwendet werden, um eine strukturell spezifischere Färbung zu erzeugen. Beispielhaft könnte eine Zytoskelettfärbung zur Vorhersage von „Focal adhesions“ verwendet werden.
  • Wird für das Erfassen der Messbilder auch Fluoreszenzbildgebung verwendet, die jedoch eine geringere Licht-Exposition bewirkt, so bedeutet dies typischerweise, dass die derart erhaltenen Fluoreszenz-Messbilder ein relativ geringes SNR aufweisen. Ein Beispiel wäre z.B. die Verwendung eines - z.B. vergleichsweise wenig invasiven - Markers für die Messbilder, der qualitativ denselben Fluoreszenzkontrast bereitsstellt, wie ein anderer Marker, der für die Referenzbilder verwendet wird; jedoch mit schlechterer Bildqualität. In einem solchen Szenario können dann die synthetischen Fluoreszenzbilder ein erhöhtes SNR aufweisen im Vergleich zu den Messbildern. Deshalb wird in einem solchen Szenario der Vorhersagealgorithmus auch manchmal als Entrauschungs-Algorithmus (engl. denoising) bezeichnet.
  • Der Beobachtungszeitraum - während dem die Messbilder abschließend erfasst werden können - kann insbesondere abgestimmt auf das zugrundeliegende biologische Verhalten der Probe sein. Das bedeutet, dass während des Beobachtungszeitraums ein oder mehrere biologische Veränderungsvorgänge an Zellstrukturen eines Ensembles von Zellstrukturen der Probe stattfinden können. Solche Veränderungsvorgänge können extern induziert sein oder durch die Probe selbst ausgelöst sein. Dabei ist es Aufgabe der Messung bzw. des Experiments, solche biologischen Veränderungsvorgänge zu untersuchen.
  • Es ist möglich, dass die ein oder mehreren biologischen Veränderungsvorgänge auch während eines nachgelagerten Kalibrationszeitraums noch aktiv sind (vgl. TAB. 1: Beispiel I). Die ein oder mehreren biologischen Veränderungsvorgänge können auch an der weiteren Probe während des Beobachtungszeitraums stattfinden (vgl. TAB. 1: Beispiel II). Insoweit können also die Referenzbilder und die weiteren Messbilder einerseits, wie auch die Messbilder andererseits, dasselbe Experiment abbilden.
  • Verschiedene Techniken beruhen auf der Erkenntnis, dass Referenztechniken zum virtuellen Einfärben von Zellstrukturen bestimmte Nachteile aufweisen können. Solche Referenztechniken sind z.B. beschrieben in: Christiansen, Eric M., et al. „In silico labeling: predicting fluorescent labels in unlabeled images.“ Cell 173.3 (2018): 792-803; sowie Ounkomol, Chawin, et al. „Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy.“ Nature methods 15.11 (2018): 917-920. Bei solchen Referenztechniken wird die Parametrisierung des Vorhersagealgorithmus basierend auf einer Referenzmessung an einer gänzlich separaten Probe bzw. vor der eigentlichen Messung durchgeführt. Dann wird der parametrisierte Vorhersagealgorithmus dazu verwendet, um basierend auf den Messbildern, die während des Beobachtungszeitraums der Messungen der eigentlichen Probe erfasst werden, die synthetischen Fluoreszenzbilder zu bestimmen. Während des Beobachtungszeitraums werden dann in den Referenztechniken aber keine weiteren Referenzbilder erfasst. Solche Referenztechniken weisen den Nachteil auf, dass die separate Referenzmessung notwendig ist. Dies kann zeitintensiv sein. Ein Benutzer muss einen separaten Arbeitsablauf zum Durchführen der Referenzmessung implementieren. Dies benötigt Zeit, Benutzerfähigkeiten und zusätzlichen Implementierungsaufwand. Solche Referenztechniken weisen weiterhin den Nachteil auf, dass oftmals Diskrepanzen zwischen der Referenzmessung und der eigentlichen Messungen der Probe auftreten können. Bei der Verwendung von unterschiedlichen Proben zur Parametrierung des Vorhersagealgorithmus einerseits und zur Durchführung der Messung andererseits kann es vorkommen, dass die Parametrierung des Vorhersagealgorithmus nicht zur Messung passt. Dies kann zum Beispiel aufgrund von unterschiedlicher Präparierung der Proben der Fall sein. Es könnte auch durch unterschiedliche Bildgebungsmodalitäten für das Erfassen der Messbilder in der Referenzmessung und der eigentlichen Messung der Fall sein. Werden zum Beispiel für maschinengelernte Vorhersagealgorithmen Techniken des überwachten Lernens eingesetzt, bedeutet dies, dass eine große Anzahl von Trainingsdaten erfasst und annotiert werden müssen. Das kann besonders aufwendig sein.
  • Bei Referenztechniken kann außerdem der Nachteil auftreten, dass eine Validierung der Qualität der Vorhersage des Vorhersagealgorithmus, das heißt eine Validierung der Qualität der synthetischen Fluoreszenzbilder, nicht oder nur eingeschränkt möglich ist. Das bedeutet, dass ein Benutzer den Informationsgehalt der synthetischen Referenzbilder nicht überprüfen kann. Dies könnte zum Beispiel bewirken, dass falsche Diagnosen oder falsche abgeleitete Messgrößen basierend auf den synthetischen Fluoreszenzbildern bestimmt werden. Dies kann auch einen Einfluss auf die Sicherheit entsprechender Verfahren haben, zum Beispiel wenn die nachfolgende Datenauswertung dadurch kompromittiert wird.
  • Die hierin beschriebenen Techniken ermöglichen es, solche Nachteile zu beheben oder zu lindern.
  • 1 illustriert schematisch ein System 100 gemäß verschiedenen Beispielen. Das System 100 umfasst eine Vorrichtung 101. Die Vorrichtung 101 könnte zum Beispiel ein Computer oder ein Server sein. Die Vorrichtung 101 umfasst einen Prozessor 102 und einen Speicher 103. Die Vorrichtung 101 umfasst auch eine Schnittstelle 104. Über die Schnittstelle 104 kann die Vorrichtung 101 Bilddaten, zum Beispiel Messbilder und/oder Referenzbilder, von ein oder mehreren Bildgebungsvorrichtungen 111, 112 empfangen. Der Prozessor 102 könnte auch Steuerdaten über die Schnittstelle 104 an die ein oder mehreren Bildgebungsvorrichtungen 111, 112 senden, um diese zur Erfassung von Bilddaten anzusteuern. Mittels der Steuerdaten könnte der Prozessor 102 auch die Werte von ein oder mehreren Bildgebungsparametern, zum Beispiel von Beleuchtungsparametern, einstellen.
  • Der Prozessor 102 kann, allgemein formuliert, eingerichtet sein, um Steueranweisungen aus dem Speicher 103 zu laden und auszuführen. Wenn der Prozessor 102 die Steueranweisungen lädt und ausführt, bewirkt dies, dass der Prozessor 102 Techniken ausführt, wie sie hierin beschrieben sind. Solche Techniken werden zum Beispiel das Ansteuern der Bildgebungsvorrichtung 111 und optional der Bildgebungsvorrichtung 112, um Bilddaten zu erfassen. Zum Beispiel könnte der Prozessor 102 eingerichtet sein, um die Bildgebungsvorrichtung 111 anzusteuern, um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums eine Abfolge von Messbildern einer Probe zu erfassen. Der Prozessor 102 kann auch eingerichtet sein, um die Bildgebungsvorrichtung 111 anzusteuern, um während desselben Beobachtungszeitraums oder während eines nachgelagerten Kalibrationszeitraums mehrere Referenzbilder der Probe zu erfassen (vgl. TAB. 1). Die Referenzbilder können grundsätzlich mittels derselben Bildgebungsmodalität erfasst werden, wie die Messbilder. Je nach Fähigkeit der Bildgebungsvorrichtung 111 betreffend die Bildgebungsmodalität, die zur Erfassung der Referenzbilder verwendet wird, kann der Prozessor 102 auch die Bildgebungsvorrichtung 112 ansteuern, um die Referenzbilder zu erfassen.
  • Außerdem kann der Prozessor 102 basierend auf den Steueranweisungen aus dem Speicher 103 eingerichtet sein, um synthetische Fluoreszenzbilder basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus zu bestimmen. Das bedeutet, dass der Prozessor 102 ein virtuelles Einfärben oder andere Bild-zu-Bild Transformationen wie z.B. Entrauschung durchführen kann.
  • Der Prozessor 102 kann schließlich eingerichtet sein, um basierend auf zumindest einem Teil der Referenzbilder den Vorhersagealgorithmus zu validieren. Optional könnte der Prozessor 102 auch eingerichtet sein, um basierend auf ein oder mehreren Trainingsbildern den Vorhersagealgorithmus zu trainieren.
  • 2 illustriert schematisch Aspekte im Zusammenhang mit dem virtuellen Einfärben von Messbildern 201, die eine Probe abbilden, wobei die Probe z.B. ein Ensemble von Zellstrukturen umfasst. Ein Messbild 201 dient als Eingabe Vorhersagealgorithmus 205, der als Ausgabe ein synthetisches Fluoreszenzbild 202 liefert. Zum (Re-)Training 6001 des Vorhersagealgorithmus 205 werden Trainingsbilder 251 verwendet; der Vorhersagealgorithmus 205 könnte aber auch bereits abschließend vortrainiert sein. Zur Validierung 6002 der synthetischen Fluoreszenzbilder 202 werden Referenzbilder 261 (cf. TAB. 1) verwendet.
  • Grundsätzlich können die Trainingsbilder 251 sowie die Referenzbilder 261 mittels derselben Bildgebungsmodalität erfasst werden. Das bedeutet insbesondere, dass zum Zeitpunkt des Erfassens noch nicht festgelegt sein muss, ob ein entsprechendes Bild als Trainingsbild oder als Referenzbild verwendet wird.
  • Der Vorhersagealgorithmus könnte z.B. durch ein KNN implementiert sein. Die Architektur des KNN könnte z.B. entsprechend Christiansen, Eric M., et al. „In silico labeling: predicting fluorescent labels in unlabeled images.“ Cell 173.3 (2018): 792-803; oder Ounkomol, Chawin, et al. „Label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy.“ Nature methods 15.11 (2018): 917-920 umgesetzt sein.
  • Eine weitere Architektur könnte gemäß einem U-Netz implementiert sein, das Faltungsschichten und Sprungverbindungen aufweist, die bestimmte Schichten übergehen. Sh. z.B. Ronneberger, 0., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham; wobei aber eine Grauwert-Regression als Ausgabe verwendet wird, statt einer Klassifikationsschicht (um eine Bild-zu-Bild-Vorhersage zu erhalten). Das U-Netz könnte auch mit zusätzlichem Adversarial Verlustbeitrag trainiert werden. Das wird auch als „Conditional Generative Adversarial Net“ bezeichnet.
  • Ein weiteres Beispiel wäre z.B. ein Autoencoder Netzwerke, z.B. variational Autoencoder Netzwerke.
  • 3 ist ein Flussdiagramm eines beispielhaften Verfahrens. Zum Beispiel könnte das Verfahren von einem Gerät mit einem Prozessor und einem Speicher ausgeführt werden, wenn der Prozessor Steueranweisungen vom Speicher lädt und ausführt. Zum Beispiel könnte das Verfahren gemäß 3 vom Gerät 101 aus 1 ausgeführt werden, insb. vom Prozessor 102 wenn dieser Programmcode aus dem Speicher 103 lädt.
  • In Box 3005 werden mehrere Messbilder während eines Beobachtungszeitraums in einer entsprechenden Messung erfasst. Die Messbilder werden mit ein oder mehreren Bildgebungsmodalitäten erfasst. Die Messbilder bilden eine biologische Probe ab, die z.B. ein Ensemble von Zellstrukturen umfasst. Die Zellstrukturen können dabei einem biologischen Veränderungsvorgang ausgesetzt sein. Dieser biologische Veränderungsvorgang kann über das Ensemble und den Beobachtungszeitraum verteilt auftreten. Ziel der Messung kann es also sein, diesen biologischen Veränderungsvorgang abzubilden bzw. zu vermessen. Allgemeiner formuliert kann es Ziel der Messung zu sein, die biologische Probe zu charakterisieren.
  • Während Box 3005 kann die biologische Probe ungefärbt sein. Die Probe könnte auch mit einem Marker eingefärbt sein, der einen anderen Fluoreszenzkontrast als den später in Box 3015 vorhergesagten Fluoreszenzkontrast ermöglicht.
  • Da der biologische Veränderungsvorgang im Zeitraum und im Ortsraum verteilt auftritt, das heißt an unterschiedlichen Orten zu unterschiedlichen Zeitpunkten zu beobachten ist, kann es hilfreich sein, die Messbilder mit einer hohen Wiederholungsrate zu erfassen. Das bedeutet, dass pro Zeiteinheit viele Messbilder erfasst werden. Alternativ oder zusätzlich können die Messbilder auch mit einer hohen Ortsraumdichte erfasst werden, d.h. es kann z.B. (wiederholt) ein Z-Stapel von Messbildern erfasst werden. Dadurch kann erreicht werden, dass der biologische Veränderungsvorgang engmaschig abgebildet werden kann. Dies kann insbesondere dann hilfreich sein, wenn eine Zeitdauer jedes individuellen Auftretens des biologischen Veränderungsvorgangs viel kleiner ist als die zeitliche Streuung des Auftretens der biologischen Veränderungsvorgänge im Ensemble.
  • Zum Erfassen der Messbilder 3005 kann das Gerät eine entsprechende Bildgebungsvorrichtung geeignet ansteuern. Zum Beispiel könnte der Prozessor Steuerbefehle an die Bildgebungsvorrichtung senden. Die Steuerbefehle können indikativ für Zeitpunkte zum Auslösen der Belichtung und/oder Werte von ein oder mehreren Beleuchtungsparametern sein.
  • In Box 3010 werden Referenzbilder erfasst. Die Referenzbilder können zum Beispiel nach dem Beobachtungszeitraum in einem separaten Kalibrationszeitraum erfasst werden, vergleiche TAB. 1: Beispiel I. Die Verteilung des Auftretens des Veränderungsvorgangs für das Zellensemble kann auch eine signifikante Häufigkeit im Kalibrationszeitraum aufweisen. Alternativ oder zusätzlich wäre es auch denkbar, dass die Referenzbilder zeitlich parallel zu den Messbildern erfasst werden, aber örtlich separiert, das heißt zum Beispiel an einer weiteren Probe; vergleiche TAB. 1: Beispiel II.
  • Außerdem werden in Box 3010 auch weitere Messbilder erfasst. Diese weiteren Messbilder werden als Paare mit den Referenzbildern erfasst. Das bedeutet, dass die weiteren Messbilder in unmittelbarer Abfolge mit den Referenzbildern während des Kalibrationszeitraums erfasst werden können (TAB. 1: Beispiel I); und/oder an der weiteren Probe in unmittelbarer Abfolge mit den Referenzbildern erfasst werden können (TAB. 2: Beispiel II).
  • Die weiteren Messbilder können mit derselben Bildgebungsmodalität erfasst, wie die Messbilder aus Box 3005. Z.B. kann derselbe optische Pfad verwendet werden.
  • Grundsätzlich können zum Erfassen der Messbilder in Box 3005 bzw. der weiteren Messbilder in Box 3010 andere Bildgebungsmodalitäten als Fluoreszenzbildgebung verwendet werden. Es könnte aber auch die Fluoreszenzbildgebung zum Erfassen der Messbilder bzw. der weiteren Messbilder verwendet werden, wobei dann andere Werte für ein oder mehrere Belichtungsparameter verwendet werden können, so dass die Lichtbelastung pro Messbild kleiner ist als die Lichtbelastung pro Referenzbild. Es könnte alternativ oder zusätzlich auch ein anderer Marker verwendet werden, der z.B. durch Licht mit anderer Wellenlänge aktiviert wird, als der Marker für die Referenzbilder: Die Referenzbilder werden nämlich mittels einer mikroskopischen Fluoreszenzbildgebung als Bildgebungsmodalität erfasst. Das bedeutet, dass zum Erfassen der Referenzbilder eine Anregung der Zellstrukturen mittels geeigneten Lichts erfolgt, d.h. abgestimmt auf einen elektronischen Anregungszustand von Fluorophoren in einem entsprechendem Marker. Die Wellenlänge des Lichts ist abgestimmt auf die entsprechende Anregungsenergie von Fluorophoren. Vor dem Kalibrationszeitraum (TAB. 1: Beispiel I) kann also ein Färben der Probe mit dem jeweiligen Marker erfolgen; bzw. die weitere Probe kann vor dem Beobachtungszeitraum gefärbt werden (TAB. 2: Beispiel II).
  • Es ist optional denkbar, dass in Box 3011 Trainingsbilder erfasst werden. Dies könnte z.B. während des Kalibrationszeitraums erfolgen, während welchem auch die Referenzbilder und die weiteren Messbilder erfasst werden (Box 3010; TAB. 1, Beispiel I). Die Trainingsbilder könnten auch an der weiteren Probe in einem entsprechenden Kalibrationszeitraum oder während des Beobachtungszeitraums erfasst werden (Box 3010; TAB. 1, Beispiel II). Zum Beispiel könnten solche Proben Zellkulturen aufweisen, die durch den selben Präparationsprozess gewonnen werden.
  • Die Trainingsbilder dienen als Grundwahrheit für zumindest einen Teil der weiteren Messbilder aus Box 3010 und können für ein Training eines maschinengelernten Vorhersagealgorithmus, z.B. eines KNNs, verwendet werden. Um die Paare zwischen Trainingsbildern und den weiteren Messbildern zu bestimmen, die zum Ermitteln des Werts der Verlustfunktion basierend auf einem entsprechenden Vergleich verwendet werden, kann der Abstand zwischen den Trainingsbildern und weiteren Messbildern im Zeitraum und/oder Ortsraum berücksichtigt werden. Zum Beispiel könnte ein Trainingsbild als Grundwahrheit für ein weiteres Messbild dienen, wenn das Trainingsbild und das weitere Messbild denselben Bereich der Probe oder weiteren Probe abbilden und mit geringem Zeitabstand erfasst wurden. Ein geringer Zeitabstand kann einen solchen Zeitabstand bezeichnen, der so kurz ist, dass der biologische Veränderungsprozess nicht oder nur mit einer hinreichend geringen Wahrscheinlichkeit auftreten kann. Zum Beispiel kann es erstrebenswert sein, dass ein Zeitabstand zwischen dem Erfassen eines weiteren Messbildes und dem Erfassen eines Trainingsbilds eines Paares nicht größer als 1 Sekunde ist, optional nicht größer als 500 ms, weiter optional nicht größer als 10 ms. Das beruht auf der Erkenntnis, dass solche Zeitskalen kurz genug sind, sodass keine signifikante Veränderung des Fluoreszenz-Kontrasts erwartet wird. Grundsätzlich wären aber auch deutlich längere Zeitabstände denkbar.
  • Manchmal kann es möglich sein, dass das Trainingsbild und das weitere Messbild inhärent substantiell denselben Bereich der Probe mit derselben Pose abbilden. Dies kann der Fall sein, wenn dieselbe Bildgebungsoptik verwendet wird - das wäre zum Beispiel im Beispiel der 1 der Fall, wenn sowohl für das Erfassen der Trainingsbilder, wie auch für das Erfassen der weiteren Messbilder ein bestimmtes Objektiv der der Bildgebungsvorrichtung 111 verwendet wird. Wenn unterschiedliche Bildgebungsoptiken verwendet werden, kann es erforderlich sein, die Bildpaare jeweils aufeinander zu registrieren, das heißt eine Zuordnung von korrespondierenden Probenorten in den Bildern zu treffen.
  • In Box 3012 kann dann der maschinengelernte Vorhersagealgorithmus basierend auf zumindest einem Teil der weiteren Messbildern und den Trainingsbildern trainiert werden. Zum Training des Vorhersagealgorithmus können Techniken des Maschinenlernens eingesetzt werden. Z.B. könnte ein KNN trainiert werden. Das bedeutet, dass zum Beispiel ein Gradientabstiegsverfahren eingesetzt werden kann, um ausgehend von einem Wert einer Verlustfunktion, die basierend auf einem Vergleich (zum Beispiel einem Bildpunkt-Vergleich) zwischen dem jeweiligen Trainingsbild und dem zugehörigen weiteren Messbild die Parameterwerte des Vorhersagealgorithmus anpasst. Es kann nicht überwachtes bzw. unüberwachtes Lernen eingesetzt werden. Es könnte auch überwachtes oder teilüberwachtes Lernen eingesetzt werden.
  • Überwachtes Lernen bedeutet, dass zugehörige Eingabebilder und Ausgabebilder vorhanden sind, bzw. das ein gegebenes Bild eindeutig der Menge der Eingabebilder oder der Menge der Ausgabebilder zugeordnet werden kann. Es impliziert aber nicht, dass ein Mensch während des überwachten Lernens irgendwie beitragen muss, etwa wie bei einer semantischen Segmentierung.
  • Es können unterschiedliche Verlustfunktionen verwendet werden, z.B. eine Summe über die Abweichungsquadrate zwischen Pixelwerten. Es kann eine sog. Rückwärtsanpassung (engl. Backpropagation) verwendet werden zur Anpassung der Parameterwerte verwendet werden.
  • Box 3011 und 3012 sind optional. Dies ist der Fall, weil es auch möglich wäre, dass der Vorhersagealgorithmus an einer gänzlich separaten Probe oder separaten Proben trainiert wird (d.h. diese separaten Proben betreffen andere Zellkulturen, sind anders präpariert, usw.), z.B. beim Hersteller.
  • In Box 3015 erfolgt eine Vorhersage, das heißt es werden synthetische Fluoreszenzbilder basierend auf den Messbildern aus Box 3005 bestimmt; außerdem werden weitere synthetische Fluoreszenzbilder basierend auf zumindest einem Teil der weiteren Messbilder aus Box 3010 bestimmt (dazu wird z.B. derjenige Teil der weiteren Messbilder verwendet, der nicht für das Training in Box 3012 verwendet wird). Dazu wird jeweils der Vorhersagealgorithmus verwendet. Der Vorhersagealgorithmus kann dazu gem. Box 3011 und Box 3012 trainiert sein.
  • Die Vorhersage der synthetischen Fluoreszenzbilder kann dabei grundsätzlich nach Beendigung des Experiments, das heißt insbesondere nach Abschluss eines entsprechenden Beobachtungszeitraums im Nachhinein durchgeführt werden. Es wäre aber optional auch möglich, dass die synthetischen Fluoreszenzbilder basierend auf dem Vorhersagealgorithmus im entsprechenden Trainingsstadium bereits während des Beobachtungszeitraums bestimmt werden. Beispielsweise könnte das Erfassen von Messbildern und das Bestimmen von synthetischen Fluoreszenzbildern basierend auf diesen Messbildern zeitabgestimmt erfolgen, das heißt dass das Verfügbarwerden eines Messbilds jeweils das Bestimmen des entsprechenden synthetischen Fluoreszenzbilds auslösen kann. Echtzeit-Vorhersage der synthetischen Fluoreszenzbilder wäre möglich.
  • In Box 3020 kann dann die Validierung der Messbilder aus Box 3005 bzw. der Funktionsweise des Vorhersagealgorithmus durchgeführt werden. Die weiteren synthetischen Fluoreszenzbilder werden dabei verglichen mit den Referenzbildern aus Box 3010. Das bedeutet, dass zum Beispiel eine Übereinstimmung zwischen den Referenzbildern und den jeweils zugehörigen weiteren synthetischen Fluoreszenzbildern bestimmt werden kann, jeweils für Paare von Referenzbildern und weiteren Messbildern.
  • Zum Beispiel können einzelne Bildpunkte miteinander verglichen werden und eine Abweichung der entsprechenden Farb- oder Helligkeitswerte ermittelt werden. Wiederum kann es sinnvoll sein, die Paare von weiteren synthetischen Fluoreszenzbildern und Referenzbildern basierend auf einem Abstand im Zeitraum und/Ortsraum zu bestimmen, wie bereits voranstehend im Zusammenhang mit Box 3012 mit den Trainingsbildern erläutert. Es können solche Bilder für die Validierung miteinander verglichen werden, die einen besonders geringen Abstand im Zeitraum und/Ortsraum aufweisen. Sofern unterschiedliche Probenbereiche und/oder unterschiedliche Posen der Abbildungsoptik in Bezug auf einen Probenbereich verwendet werden, kann es wiederum hilfreich sein, eine Registrierung zwischen den weiteren Messbildern und den Referenzbildern der Paare durchzuführen.
  • Grundsätzlich ist auch die Validierung in Box 3020 optional. Beispielsweise wären Szenarien denkbar, bei denen basierend auf entsprechenden Trainingsbildern lediglich in Box 3012 ein Training des Vorhersagealgorithmus durchgeführt wird, aber keine Validierung.
  • In der optionalen Box 3025 kann dann in Abhängigkeit von einem Ergebnis der Validierung aus Box 3025 ein erneutes Ausführen von Boxen 3011, 3015 und 3020 erfolgen. Eine entsprechende Schleife 3099 ist in 3 dargestellt. Das bedeutet, dass das Ansteuern einer Bildgebungsvorrichtung, um mittels der mikroskopischen Fluoreszenzbildgebung zusätzliche Trainingsbilder zu erfassen und außerdem zusätzliche weitere Messbilder zu erfassen, sowie das Durchführen des Trainings in Box 3021 iterativ durchgeführt werden kann, beispielsweise so lange, bis die Validierung in Box 3020 erfolgreich war. Eine erfolgreiche Validierung kann z.B. dadurch definiert sein, dass eine Übereinstimmung (gemäß einer vorgegeben Metrik) zwischen den weiteren synthetischen Fluoreszenzbildern und den Referenzbildern einen vorgegebenen Schwellenwert überschreitet. Es könnten auch andere Abbruchkriterien berücksichtigt werden, z.B. eine vorgegebene Anzahl von Iterationen usw..
  • Mittels des Verfahrens aus 3 können Nachteile behoben werden, wie sie voranstehend im Zusammenhang mit der klassischen, ausschließlich Hardware-basierten Fluoreszenzbildgebung beschrieben wurden. Ferner können Nachteile behoben werden, wie sie voranstehend im Zusammenhang mit Referenzimplementierungen für das virtuelle Einfärben beschrieben wurden.
  • Es können auch Nachteile von Referenztechniken im Zusammenhang mit der digitalen Kontrastnachbearbeitung zur Entrauschung gelindert werden, sh. z.B. Weigert, Martin, et al. „Content-aware image restoration: pushing the limits of fluorescence microscopy.“ Nature methods 15.12 (2018): 1090-1097; oder Prakash, Mangal, et al. „Removing Pixel Noises and Spatial Artifacts with Generative Diversity Denoising Methods.“ arXiv preprint arXiv:2104.01374 (2021).
  • Insbesondere ist es möglich, dass die Probe oder zumindest Teile der Probe virtuell eingefärbt werden, das heißt das Ergebnis ist entsprechend dem Ergebnis der Referenztechniken für das virtuelle Einfärben mit einer separaten Referenzmessung.
  • Mittels der beschriebenen Techniken ist es möglich, die Probe mit einer hohen Bildauflösung abzubilden, wobei aber eine wenig invasive Bildgebungsmodalität zum Erfassen der Messbilder verwendet wird. Außerdem kann die Probe mit einer hohen Zeitauflösung abgebildet werden, weil die Lichtexposition pro Messbild bei der wenig invasiven Bildgebungsmodalität vergleichsweise gering ist.
  • Die Zuverlässigkeit der Vorhersage der synthetischen Fluoreszenzbilder kann auch validiert werden. Insbesondere können unabhängige Referenzbilder dazu verwendet werden, um die Qualität der Vorhersage zu bewerten. Insbesondere kann überprüft werden, ob die Vorhersage des Vorhersagealgorithmus biologisch korrekt ist oder Artefakte üblicher Natur aufweist. Es kann überprüft werden, ob bestimmte Quantifizierungen von Eigenschaften der biologischen Probe möglich sind im Rahmen einer geforderten Konfidenz.
  • Es ist möglich, das Training des Vorhersagealgorithmus Proben-spezifisch zu gestalten.
  • Es kann also auf ein Einfärben der Probe vor dem Beobachtungszeitraum verzichtet werden. Dadurch verbleibt die Physiologie der Zelle ungestört während des Beobachtungszeitraums. Außerdem kann die Exposition der Probe gegenüber Licht, dass für die Fluoreszenzbildgebung benötigt wird, reduziert werden. Dadurch kann die Photon-Last signifikant reduziert werden und die Toxizität während des Beobachtungszeitraums kann herabgesetzt werden.
  • Es wäre schließlich denkbar, dass die Messbilder in Box 3005 mit einer besonders hohen Abtastrate erfasst werden, weil es nicht notwendig ist, zwischengeschoben Referenzbilder und/oder weitere Messbilder und/oder Trainingsbilder gemäß Box 3010 und Box 3011 zu erfassen. Trotzdem kann eine Validierung und/oder ein Training des Vorhersagealgorithmus direkt in Bezug auf die Probe erfolgen. Wenn nötig, kann zielgerichtet weitere Trainingsdatensätze durch Schleife 3099 erfasst werden.
  • 4 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Trainingsbildern 251 (optional) für das Trainieren und das Erfassen von Referenzbildern 261 für das Validieren eines Vorhersagealgorithmus. Insbesondere illustriert 4 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung in Bezug auf einen Beobachtungszeitraum 301. 4 ist eine beispielhafte Implementierung der Techniken gemäß Tab. 1: Beispiel I.
  • Alle Bilder werden in 4 an einer Probe 801 erfasst.
  • 4 illustriert, dass während des Beobachtungszeitraums 301 eine Abfolge 200 der Messbilder 201 mit einer in etwa gleichen Abtastrate für die Probe 801 erfasst werden. Gleichzeitig werden die Referenzbilder 261 an derselben Probe 801 für die Validierung ausschließlich während eines Kalibrationszeitraums 311 (könnte auch als Kalibrationsphase bezeichnet werden), nach dem Ende des Beobachtungszeitraums 301 angeordnet ist, erfasst. Zwischen dem Beobachtungszeitraum 301 und dem Kalibrationszeitraum 311 wird die Probe bei 399 gefärbt. D.h. es wird ein Marker eingeführt, der Fluoreszenzbildgebung zum Erfassen der Referenzbilder 261 ermöglicht.
  • Während des Kalibrationszeitraums 311 werden auch weitere Messbilder 271 erfasst, so dass Paare 602 von entsprechenden weiteren Messbildern 271 und Referenzbildern 261 gebildet werden können, die zum zur Validierung Vorhersagealgorithmus verwendet werden können.
  • Optional wäre es auch möglich, während des Kalibrationszeitraums 311 Trainingsbilder 251 zu erfassen und zugehörige weitere Messbilder 271. Dann könnte ein Training oder Re-Training des Vorhersagealgorithmus basierend auf den entsprechenden Paaren 601 erfolgen. Beispielsweise könnte der Vorhersagealgorithmus bereits grundsätzlich vortrainiert sein, z.B. anhand anderer Proben. Dann könnte im Rahmen des Re-Trainings eine Proben-spezifische Anpassung des Vorhersagealgorithmus erfolgen.
  • Indem die Referenzbilder 261 und optional die Trainingsbilder 251 sowie die weiteren Messbilder 271 während des Kalibrationszeitraums 311 erst nach Abschluss des Beobachtungszeitraums 301 erfasst werden, kann es außerdem möglich sein, die Abfolge 200 der Messbilder 201 mit einer besonders hohen Abtastrate zu erfassen, weil nicht zusätzlich die Erfassung der anderen Bilder 251, 261, 271 zwischengeschoben werden muss. Dadurch kann eine zeitliche Dynamik mit besonders hoher Zeitauflösung erfasst werden.
  • In 4 ist ersichtlich, dass der Kalibrationszeitraum 311 - insbesondere derjenige Teil des Kalibrationszeitraums 311, der für das Erfassen der Referenzbilder 261 verwendet wird - kürzer ist, als der Beobachtungszeitraum 301. Als allgemeine Regel könnte eine Länge des Kalibrationszeitraums 311 nicht größer als 50 %, optional nicht größer als 10 %, weiter optional nicht größer als ein Prozent der Länge des Beobachtungszeitraums 301 sein.
  • Durch eine solche vergleichsweise kurze Dimensionierung des Kalibrationszeitraums 311 kann erreicht werden, dass der Zeitraum zwischen dem Erfassen der Referenzbilder 261 und der weiteren Messbilder 271 und dem Zeitpunkt 399, zu dem gefärbt wird, vergleichsweise kurz ist. Dadurch kann wiederum erreicht werden, dass eine Degradation des Markers, zum Beispiel ein Ausbleichen von Fluorophoren im Marker, vermieden wird. Dadurch kann vermieden werden, dass die Fluoreszenzbildgebung, die zum Erfassen der Referenzbilder 261 eingesetzt wird, verfälscht wird. Dies kann insbesondere dann hilfreich sein, wenn Langzeitexperimente durchgeführt werden, bei denen der Beobachtungszeitraum 301 besonders lang ist, zum Beispiel in der Größenordnung von Stunden oder gar Tagen.
  • In manchen Beispielen kann es erstrebenswert sein, eine solche Zeitabhängigkeit der Marker, die für die Fluoreszenzbildgebung verwendet werden, zu erfassen. Ein entsprechendes Beispiel wird nachfolgend im Zusammenhang mit 5 diskutiert.
  • 5 illustriert Aspekte in Bezug auf das Erfassen von Messbildern 201 und das Erfassen von Referenzbildern 261 für das Validieren eines Vorhersagealgorithmus. Insbesondere illustriert 5 Aspekte in Bezug auf eine entsprechende zeitliche Anordnung in Bezug auf einen Beobachtungszeitraum 301. 4 ist eine beispielhafte Implementierung der Techniken gemäß TAB. 1: Beispiel II.
  • Im Beispiel der 5 werden die Referenzbilder 261 für die Validierung auch während des Beobachtungszeitraums 301 erfasst, das heißt insbesondere zeitparallel zu den Messbildern 201. Die Referenzbilder 261 werden für eine weitere Probe 802 erfasst. Z.B. könnten sich die Probe 801 und die weitere Probe 802 in benachbarten Töpfen einer Multi-Topf-Platte befinden. Die beiden Proben 801, 802 könnten gleiche Zellkulturen beinhalten, also z.B. Zellkulturen die mittels desselben Präparationsprozesses gewonnen werden und vom selben biologischen Material abgeleitet werden.
  • Es werden auch weitere Messbilder 271 für die weitere Probe 802 erfasst.
  • Insbesondere in der dargestellten Variante könnte eine Zeitabhängigkeit der Validierung berücksichtigt werden, d.h. die Validierung kann zeitaufgelöst (bzw. zeitabhängig) erfolgen. Das bedeutet also, dass je nach Zeitpunkt die Validierung unterschiedliche Ergebnisse liefern kann. Zum Beispiel könnte festgestellt werden, dass die Qualität der Validierung als Funktion der Zeit während des Beobachtungszeitraums 301 abnimmt. Dies könnte daran liegen, dass der Marker, mit dem die weitere Probe 802 zum Zeitpunkt 399 gefärbt wurde, während des (z.B. im Vergleich zum Kalibrationszeitraum 311 langen - Beobachtungszeitraums 301 ausbleicht.
  • Dann kann - trotz einer vergleichsweise schlechten Übereinstimmung zwischen den weiteren synthetischen Fluoreszenzbildern (basierend auf den weiteren Messbildern 271 bestimmt) und den Referenzbildern 261 zum Ende des Beobachtungszeitraums 301 hin - die Validierung als erfolgreich gewertet werden.
  • Die Beispiele der 4 und der 5 illustrieren die grundlegenden Varianten gemäß TAB. 1: Beispiel I und Beispiel II. Es wären auch Kombinationen denkbar. Beispielsweise illustriert 6 eine Kombination der Beispiele aus 4 und 5. Im Beispiel der 6 wird die Probe 801 zum Zeitpunkt 399-1 gefärbt und die Probe 802 wird zum Zeitpunkt 399-2 gefärbt. Ein solches Szenario ermöglicht eine besonders hohe Qualität der Validierung bzw. des Trainings. Im Beispiel der 7 werden auch die Trainingsbilder 251 für die Probe 802 erfasst. In 8 werden die Trainingsbilder 251 an der weiteren Probe 802 im Vorfeld des Beobachtungszeitraums 301 erfasst, während eines vorgelagerten Kalibrationszeitraums 312. Dadurch ist es möglich, bereits während des Beobachtungszeitraums 301 eine Vorhersage für die synthetischen Fluoreszenzbilder basierend auf den Messbildern 201 zu bestimmen.
  • Es sind auch noch weitere Variationen denkbar. Beispielsweise wäre es möglich, dass im Kalibrationszeitraum 311 erst Trainingsbilder 251 und dann Referenzbilder 271 für die Validierung erfasst werden. Es wäre auch denkbar, dass die Trainingsbilder 251 und die Referenzbilder 271 abwechselnd oder allgemein verschachtelt aufgenommen werden.
  • Zusammenfassend wurden voranstehend Techniken beschrieben, um einen Vorhersagealgorithmus zu validieren und/oder zu trainieren, ohne dass es notwendig wäre, die biologische Probe im Vorfeld eines Beobachtungszeitraums mit einem entsprechenden Marker für die Fluoreszenzbildgebung zu färben. Dazu werden zunächst Messbilder an einer ungefärbten (oder mit einem anderen Marker gefärbten) Probe erfasst, während des Beobachtungszeitraums; im Anschluss an den Beobachtungszeitraum erfolgt ein Erfassen von Referenzbildern und optional von Trainingsbildern. Die Referenzbilder könnten auch an einer weiteren Probe erfasst werden.
  • Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
  • Beispielsweise wurden voranstehend Techniken beschrieben, bei denen 2-D Messbilder digitalen Nachbearbeitung werden, um synthetische Fluoreszenzbilder zu erhalten. Dazu wird ein Vorhersagealgorithmus verwendet, der basierend auf den 2-D Messbildern operiert. Als allgemeine Regel wäre es auch denkbar, dass ein Vorhersagealgorithmus verwendet wird, der basierend auf 3-D Messbildern operiert.
  • Ferner wurden zusammen Techniken im Zusammenhang mit der digitalen Kontrastnachbearbeitung zur Emulation von Fluoreszenzkontrast beschrieben. Entsprechende Techniken könnten auch für die Emulation von anderen Bildgebungsmodalitäten oder Anwendungsszenarien eingesetzt werden.
  • Ferner wurden voranstehend Techniken beschrieben, bei denen mittels mikroskopischer Bildgebung Messbilder mit einer (einzelnen) Bildgebungsmodalität, z.B. Durchlicht, erfasst werden und dann basierend auf den mit dieser (einzelnen) Bildgebungsmodalität erfassten Messbilder synthetische Fluoreszenzbilder bestimmt werden. Manchmal kann es hilfreich sein, mehr Messbilder mit mehr als einer einzelnen Bildgebungsmodalität zur Bestimmung der synthetischen Fluoreszenzbilder zu erfassen, also z.B. Durchlicht und eine Fluoreszenzbildgebung.
  • Außerdem wurden voranstehend Techniken beschrieben, bei denen basierend auf Referenzbildern eine Validierung eines Vorhersagealgorithmus durchgeführt wird. Grundsätzlich wäre es denkbar, die Referenzbilder und die zugeordneten weiteren Messbilder anstatt für die Validierung für ein Training des Vorhersagealgorithmus zu verwenden (dann können die Referenzbilder als Trainingsbilder bezeichnet werden).
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 3553165 A1 [0008]

Claims (13)

  1. Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, - nachdem im Anschluss an den Beobachtungszeitraum (301) ein Färbeprozess der biologischen Probe (801) zum Einfärben der biologischen Probe (801) mit einem Marker für eine mikroskopische Fluoreszenzbildgebung durchgeführt wurde: Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum (301) während eines Kalibrationszeitraums (311) mehrere Referenzbilder (261) der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums (311) weitere Messbilder der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus (205), und - Bestimmen (3015) von weiteren synthetischen Fluoreszenzbildern basierend auf zumindest einem Teil der weiteren Messbilder (271) und basierend auf dem Vorhersagealgorithmus (205), und - Durchführen (3020) einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern (261) und den weiteren synthetischen Fluoreszenzbildern.
  2. Verfahren nach Anspruch 1, wobei der Vorhersagealgorithmus (205) maschinengelernt ist, wobei das Verfahren weiterhin umfasst: - Ansteuern (3011) der mindestens einen Bildgebungsvorrichtung (111, 112), um während des Kalibrationszeitraums (311) mittels der mikroskopischen Fluoreszenzbildgebung Trainingsbilder (251) zumindest der biologischen Probe (801), die mit dem Fluoreszenzmarker eingefärbt ist, zu erfassen, und - Durchführen (3012) eines Trainings von Parametern des maschinengelernten Vorhersagealgorithmus (205) basierend auf den Trainingsbildern (251) als Grundwahrheit und zumindest einem Teil der weiteren Messbilder (271).
  3. Verfahren nach Anspruch 2, wobei das Ansteuern (3011) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Fluoreszenzbildgebung die Trainingsbilder (251) und die weiteren Messbilder (271) der biologischen Probe (801), die mit dem Fluoreszenzmarker eingefärbt ist, zu erfassen und das Durchführen (3012) des Trainings in einer iterativen Schleife (3099) mit dem Durchführen (3020) der Validierung erfolgt, bis ein oder mehrere Abbruchkriterien erfüllt sind.
  4. Verfahren nach Anspruch 1, wobei der Vorhersagealgorithmus (205) maschinengelernt ist, wobei das Verfahren weiterhin umfasst: - Ansteuern der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Fluoreszenzbildgebung mehrere Trainingsbilder (251) einer weiteren Probe (802), die durch den Färbeprozess mit dem Marker für die mikroskopische Fluoreszenzbildgebung gefärbt ist, zu erfassen, - Ansteuern der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des weiteren Kalibrationszeitraums (312) mehrere weitere Messbilder zu erfassen, und - Durchführen eines Trainings von Parametern des maschinengelernten Vorhersagealgorithmus (205) basierend auf den Trainingsbildern als Grundwahrheit und den weiteren Messbildern (271), die während des weiteren Kalibrationszeitraums (312) erfasst sind.
  5. Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, wobei die biologische Probe (801) während des Beobachtungszeitraums (301) nicht mit einem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (261) einer weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums (301) weitere Messbilder der weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist. - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern (201) und basierend auf einem Vorhersagealgorithmus (205), - Bestimmen (3015) von weiteren synthetischen Fluoreszenzbildern basierend zumindest einem Teil der weiteren Messbilder (271) und basierend auf dem Vorhersagealgorithmus (205), und - Durchführen (3020) einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern (261) und den weiteren synthetischen Fluoreszenzbildern.
  6. Verfahren nach Anspruch 5, wobei die Validierung zeitaufgelöst in Abhängigkeit der Zeitposition im Beobachtungszeitraum (301) durchgeführt wird.
  7. Verfahren nach einem der voranstehenden Ansprüche, wobei die biologische Probe (801) während des Beobachtungszeitraums (301) ungefärbt ist oder mit einem weiteren Fluoreszenzmarker eingefärbt ist.
  8. Vorrichtung (101), die einen Prozessor (104) umfasst, der eingerichtet ist, um die folgenden Schritte auszuführen: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, - nachdem im Anschluss an den Beobachtungszeitraum (301) ein Färbeprozess der biologischen Probe (801) zum Einfärben der biologischen Probe (801) mit einem Marker für eine mikroskopische Fluoreszenzbildgebung durchgeführt wurde: Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum (301) während eines Kalibrationszeitraums (311) mehrere Referenzbilder (261) der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums (311) weitere Messbilder der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern und basierend auf einem Vorhersagealgorithmus (205), und - Bestimmen (3015) von weiteren synthetischen Fluoreszenzbildern basierend auf zumindest einem Teil der weiteren Messbilder (271) und basierend auf dem Vorhersagealgorithmus (205), und - Durchführen (3020) einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern (261) und den weiteren synthetischen Fluoreszenzbildern.
  9. Vorrichtung nach Anspruch 8, wobei der Prozessor eingerichtet ist, um das Computer-implementierte Verfahren nach Anspruch 1 auszuführen.
  10. Vorrichtung (101), die einen Prozessor (104) umfasst, der eingerichtet ist, um die folgenden Schritte auszuführen: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, wobei die biologische Probe (801) während des Beobachtungszeitraums (301) nicht mit einem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Referenzbilder (261) einer weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums (301) weitere Messbilder der weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist. - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern (201) und basierend auf einem Vorhersagealgorithmus (205), - Bestimmen (3015) von weiteren synthetischen Fluoreszenzbildern basierend zumindest einem Teil der weiteren Messbilder (271) und basierend auf dem Vorhersagealgorithmus (205), und - Durchführen (3020) einer Validierung der synthetischen Fluoreszenzbilder basierend auf einem Vergleich zwischen den Referenzbildern (261) und den weiteren synthetischen Fluoreszenzbildern.
  11. Vorrichtung nach Anspruch 8, wobei der Prozessor eingerichtet ist, um das Computer-implementierte Verfahren nach Anspruch 10 auszuführen.
  12. Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, - nachdem im Anschluss an den Beobachtungszeitraum (301) ein Färbeprozess der biologischen Probe (801) zum Einfärben der biologischen Probe (801) mit einem Marker für eine mikroskopische Fluoreszenzbildgebung durchgeführt wurde: Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Fluoreszenzbildgebung im Anschluss an den Beobachtungszeitraum (301) während eines Kalibrationszeitraums (311) mehrere Trainingsbilder (251) der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Kalibrationszeitraums (311) weitere Messbilder der biologischen Probe (801), die mit dem Marker eingefärbt ist, zu erfassen, - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern und basierend auf einem maschinengelernten Vorhersagealgorithmus (205), und - Durchführen (3012) eines Trainings von Parametern des maschinengelernten Vorhersagealgorithmus (205) basierend auf den Trainingsbildern (251) als Grundwahrheit und zumindest einem Teil der weiteren Messbilder (271).
  13. Verfahren, das umfasst: - Ansteuern (3005) mindestens einer Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Bildgebung während eines Beobachtungszeitraums (301) mehrere Messbilder einer biologischen Probe (801) zu erfassen, wobei die biologische Probe (801) während des Beobachtungszeitraums (301) nicht mit einem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels mikroskopischer Fluoreszenzbildgebung während des Beobachtungszeitraums (301) mehrere Trainingsbilder (261) einer weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist, -Ansteuern (3010) der mindestens einen Bildgebungsvorrichtung (111, 112), um mittels der mikroskopischen Bildgebung während des Beobachtungszeitraums (301) weitere Messbilder der weiteren biologischen Probe (802) zu erfassen, die mit dem Marker eingefärbt ist. - Bestimmen (3015) von synthetischen Fluoreszenzbildern (202) basierend auf den Messbildern (201) und basierend auf einem maschinengelernten Vorhersagealgorithmus (205), - Durchführen (3012) eines Trainings von Parametern des maschinengelernten Vorhersagealgorithmus (205) basierend auf den Trainingsbildern (251) als Grundwahrheit und zumindest einem Teil der weiteren Messbilder (271).
DE102021114307.1A 2021-06-02 2021-06-02 Digitale kontrastnachbearbeitung von mikroskopiebildern Pending DE102021114307A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021114307.1A DE102021114307A1 (de) 2021-06-02 2021-06-02 Digitale kontrastnachbearbeitung von mikroskopiebildern
US17/830,607 US20220392200A1 (en) 2021-06-02 2022-06-02 Digital contrast post-processing of microscopy images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021114307.1A DE102021114307A1 (de) 2021-06-02 2021-06-02 Digitale kontrastnachbearbeitung von mikroskopiebildern

Publications (1)

Publication Number Publication Date
DE102021114307A1 true DE102021114307A1 (de) 2022-12-08

Family

ID=84102002

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021114307.1A Pending DE102021114307A1 (de) 2021-06-02 2021-06-02 Digitale kontrastnachbearbeitung von mikroskopiebildern

Country Status (2)

Country Link
US (1) US20220392200A1 (de)
DE (1) DE102021114307A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553165A1 (de) 2016-12-06 2019-10-16 Fujifilm Corporation Zellbildauswertungsvorrichtung und zellbildauswertungssteuerungsprogramm
DE102020203290A1 (de) 2020-03-13 2021-09-16 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553165A1 (de) 2016-12-06 2019-10-16 Fujifilm Corporation Zellbildauswertungsvorrichtung und zellbildauswertungssteuerungsprogramm
DE102020203290A1 (de) 2020-03-13 2021-09-16 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zur Untersuchung von Mikroskopproben unter Verwendung optischer Marker

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTIANSEN, Eric M. [u.a.]: In Silico labeling: Predicting fluorescent labels in unlabeled images. In: Cell, Vol. 173, 2018, No. 3, S. 792-803. ISSN 1097-4172 (E); 0092-8674 (P). DOI: 10.1016/j.cell.2018.03.040.

Also Published As

Publication number Publication date
US20220392200A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
EP3540632B1 (de) Verfahren zum klassifizieren von gewebeproben
DE102018104616A1 (de) Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, Computerprogrammprodukt, computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist, und System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten
DE102009005953A1 (de) Verfahren und System zur Charakterisierung einer Probe mittels bildgebender Fluoreszenzmikroskopie
DE102020127320B3 (de) Verfahren und Fluoreszenzmikroskop zur Ortsbestimmung einzelner fluoreszierender Farbstoffmoleküle durch adaptive Abtastung
EP3598195A1 (de) Verfahren zur mikroskopischen auswertung
DE102011105182A1 (de) Verfahren zur Bereitstellung eines Vorhersagemodells für eine Rissdetektion und Verfahren zur Rissdetektion an einer Halbleiterstruktur
DE102020105697B3 (de) Computerimplementiertes Verfahren zum Auffinden möglicher Artefakte in einem virtuell eingefärbten Histologiebild
WO2021228894A1 (de) Bildauswertungsverfahren in der mikroskopie
WO2017158560A1 (de) Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes
DE102021114307A1 (de) Digitale kontrastnachbearbeitung von mikroskopiebildern
DE102021114288A1 (de) Synthetische fluoreszenzbilder mit proben-spezifischer referenz
DE102019204118A1 (de) Verfahren zum Übertragen eines Merkmals eines ersten Bilds an ein zweites Bild
DE102021122720A1 (de) Synthetische fluoreszenzbilder mit proben-schonender erfassung von referenzbildern
DE102021204805A1 (de) Bewertungsverfahren für Simulationsmodelle in der Mikroskopie
EP4016082A1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
DE10065783B4 (de) Verfahren, Anordnung und System zur Ermittlung von Prozessgrößen
DE102022114888A1 (de) Verfahren zum Bewerten einer Konsistenz einer virtuellen Verarbeitungsabbildung, Verfahren zum Trainieren eines Maschinenlernsystems mit einem Verarbeitungsmodell, Maschinenlernsystem, Computerprogrammprodukt, sowie Bildverarbeitungssystem
DE102005062673A1 (de) Verfahren zum Ermitteln eines Bewegungsparameters für Fluorochrome in einem Umgebungsmedium
DE102021114349A1 (de) Verfahren und Vorrichtung zur Aufnahme von Trainingsdaten
EP3488281A1 (de) Ermitteln eines gewebetyps eines gewebes eines tierischen oder menschlichen individuums
DE112021002030T5 (de) Individuelle Anpassung virtueller Färbung
DE102021114290A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114291A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102023100439A1 (de) Mikroskopiesystem und Verfahren zum Berechnen eines Ergebnisbildes durch ein ordinales Klassifikationsmodell
DE112022002756T5 (de) Informationsverarbeitungsvorrichtung, system zur beobachtung biologischer proben und bilderzeugungsverfahren

Legal Events

Date Code Title Description
R163 Identified publications notified