DE102020206088A1 - Bildauswertungsverfahren in der Mikroskopie - Google Patents

Bildauswertungsverfahren in der Mikroskopie Download PDF

Info

Publication number
DE102020206088A1
DE102020206088A1 DE102020206088.6A DE102020206088A DE102020206088A1 DE 102020206088 A1 DE102020206088 A1 DE 102020206088A1 DE 102020206088 A DE102020206088 A DE 102020206088A DE 102020206088 A1 DE102020206088 A1 DE 102020206088A1
Authority
DE
Germany
Prior art keywords
image
type
simulated
image recording
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020206088.6A
Other languages
English (en)
Inventor
Manuel Amthor
Daniel Haase
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102020206088.6A priority Critical patent/DE102020206088A1/de
Priority to PCT/EP2021/062539 priority patent/WO2021228894A1/de
Priority to CN202180034442.6A priority patent/CN115552462A/zh
Publication of DE102020206088A1 publication Critical patent/DE102020206088A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Bildauswertungsverfahren in der Mikroskopie, bei dem- mit einer ersten Bildaufnahmeart ein erstes Bild (IA) einer Probe aufgenommen wird und die Bildwerte gespeichert werden;- anhand der Bildwerte ein Bild (IA→B) der Probe in einer zweiten Bildaufnahmeart simuliert wird, und- ein zweites Bild (IB) mit der zweiten Bildaufnahmeart aufgenommen und gespeichert wird.Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass das simulierte Bild (IA→B) der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild (IB) miteinander verglichen werden um Unterschiede zwischen diesen aufzufinden, und aufgefundene Unterschiede erfasst, analysiert und bewertet werden.

Description

  • Die Erfindung betrifft ein Bildauswertungsverfahren in der Mikroskopie entsprechend dem Oberbegriff des unabhängigen Anspruchs.
  • Bildauswertungsverfahren werden in der Mikroskopie unter anderem zum Auffinden interessierender und/oder ungewöhnlicher Bereiche und von Unterschieden in Mikroskopbildern angewendet.
  • Beispielsweise können anhand von Unterschieden fehlerhafte Probenpräparationen erkannt oder eine untypische Reaktion (Anomalien) gewisser Probenbereiche erfasst werden. Bekannt sind dazu beispielsweise Ansätze wie Novelty Detection oder Autoencoder.
  • Aus dem Stand der Technik ist ebenfalls bekannt, dass auf der Grundlage von Bilddaten einer Bildaufnahmeart ein Bild der Probe in einer anderen Bildaufnahmeart simuliert werden kann. So beschreiben Ounkomol et al. (2018; Nature methods 11: 917) eine Simulation eines 3D-Fluoreszenbildes ausgehend von einem Durchlichtbild oder die Vorhersage eines Immunofluoreszenzbildes basierend auf einem Elektronenmikroskopiebild. Die Qualität der Simulationsergebnisse wird anhand des Grads der Übereinstimmung eines simulierten Bildes mit einem tatsächlichen Bild der anderen Bildaufnahmeart bewertet.
  • Der Erfindung liegt die Aufgabe zugrunde eine Möglichkeit vorzuschlagen, mittels der Abweichungen von Strukturen einer Probe und deren Abbildungen erkannt werden können.
  • Die Aufgabe wird mit einem Bildauswertungsverfahren in der Mikroskopie gelöst, bei dem mit einer ersten Bildaufnahmeart ein erstes Bild einer Probe aufgenommen wird und die Bildwerte gespeichert werden. Anhand der Bildwerte wird ein Bild der Probe beziehungsweise des gleichen Probenbereichs in einer zweiten Bildaufnahmeart vorhergesagt. Zudem wird ein zweites Bild der Probe beziehungsweise des gleichen Probenbereichs mit der zweiten Bildaufnahmeart aufgenommen und gespeichert.
  • Gekennzeichnet ist das Verfahren dadurch, dass das vorhergesagte (fortan auch: simulierte) Bild der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild miteinander verglichen werden, um Unterschiede zwischen diesen aufzufinden. Die aufgefundenen Unterschiede werden erfasst, analysiert und bewertet.
  • Das mit der ersten Bildaufnahmeart aufgenommene erste Bild dient als Ausgangsdatensatz für die Erzeugung eines vorhergesagten oder simulierten Bildes. Die Begriffe der Vorhersage oder Simulation werden im Zusammenhang mit der Erfindung gleichbedeutend im Sinne einer Abbildung oder einer virtuellen Projektion unter Anwendung einer mathematischen Funktion verstanden. Die Reihenfolge der Erfassung von erstem beziehungsweise zweitem Bild ist nicht entscheidend.
  • Es wurde erkannt, dass sich Unterschiede zwischen dem simulierten zweiten Bild und dem zweiten Bild besser oder sogar überhaupt erst erkennen lassen, wenn zwischen mindestens zwei Bildaufnahmearten bestehende Gemeinsamkeiten und Unterschiede ausgenutzt und berücksichtigt werden. Unterschiede können beispielsweise auf dem üblicherweise in der Bild- und Signalverarbeitung auftretendem Rauschen beruhen. Artefakte der Probenbehandlung, beispielsweise der Probenpräparation, der Probenfärbung oder der Probenmarkierung, stellen ebenfalls Unterschiede dar und werden auch als Anomalien bezeichnet. Anomalien sind zum Beispiel fehlerhaft gefärbte Zellen oder Zellstrukturen. Unterschiede (Anomalien) können auch daher rühren, dass Zellen oder Zellbestandteile in unerwünschter beziehungsweis in unerwarteter Weise Färbung angenommen beziehungsweise nicht angenommen haben. Ferner kann ein verwendeter Farbstoff ein unerwartetes Verhalten zeigen, wie dies beispielsweise durch das Bleichverhalten eines Fluoreszenzfarbstoffes gegeben sein kann.
  • Unterschiede können auch durch strukturell auffällige Probenbereiche, z. B. verformte Zellbereiche, bedingt sein. Wird das Vorhandensein beziehungsweise Nichtvorhandensein einer bekannten Struktur als Unterschied angesehen, so kann dies mittels des erfindungsgemäßen Verfahrens erkannt und erfasst werden. Dadurch unterscheidet sich das erfindungsgemäße Verfahren vorteilhaft von bekannten Methoden wie zum Beispiel Autoencodern oder One-Class-Classification.
  • Unterschiede können für den Nutzer von besonderem Interesse sein. Ein Bereich der Probe, in dem Unterschiede auftreten, kann daher auch als sogenannte ROI (region of interest) erkannt und gekennzeichnet werden. Im Rahmen dieser Beschreibung werden Anomalien und ROI vereinfachend als Unterschiede bezeichnet.
  • Die erste und die zweite Bildaufnahmeart können beispielsweise unterschiedliche Kontrastverfahren und/oder verschiedene Kanäle eines Kontrastverfahrens sein. Unterschiedliche Kanäle können beispielsweise Fluoreszenzkanäle sein, mittels denen unterschiedliche Strukturen abgebildet werden können. So kann beispielsweise ein Bild eines DAPI-Fluoreszenzkanals (DAPI ist die Abkürzung für einen Marker für AT-reiche Region der DNS) als simuliertes zweites Bild ausgehend von einem ersten Bild eines Fluoreszenzkanals erzeugt werden, der fluoreszenzmarkierte Mikrotubuli zeigt.
  • Die Bildaufnahmearten, von denen ausgehend die Simulation erfolgt, beziehungsweise die ein Ergebnis einer Simulation sind, können beispielsweise die Kontrastverfahren Hellfeld, Dunkelfeld, DIC (differentieller Interferenzkontrast) und Fluoreszenzverfahren sein. In Letzteren werden Strukturen der Probe spezifisch mit Fluoreszenzmarkern versehen und deren Fluoreszenzlicht detektiert.
  • Die Bilddaten der ersten und zweiten Bildaufnahmearten können zum Beispiel 2D-Daten, 3D-Daten und/oder Zeitreihen-Daten sein.
  • In einer weiteren Ausführungsmöglichkeit des Verfahrens kann ausgehend von dem ersten Bild ein (erstes) simuliertes Bild erzeugt und bereitgestellt werden. Zusätzlich kann ausgehend von dem Bild der zweiten Bildaufnahmeart ein (zweites) simuliertes Bild erzeugt und bereitgestellt werden. Dabei kann ausgehend von dem zweiten Bild der zweiten Bildaufnahmeart ein simuliertes Bild erzeugt werden, dass dem ersten Bild der ersten Bildaufnahmeart entspricht. Das erste simulierte Bild und das zweite simulierte Bild können auf das Bild der zweiten Bildaufnahmeart beziehungsweise auf das Bild der ersten Bildaufnahmeart abgebildet werden. In dieser Ausgestaltungsmöglichkeit des erfindungsgemäßen Verfahrens werden also ähnlich einer Kreuzkorrelation Analysen ausgehend von dem ersten Bild der ersten Bildaufnahmeart und ausgehend von dem zweiten Bild der zweiten Bildaufnahmeart durchgeführt.
  • Die Bilddaten der Bilder in den mindestens zwei Bildaufnahmearten können auch bereits als gespeicherte Daten vorgehalten und auf Anforderung abgerufen und verarbeitet werden. Das gleiche gilt für ein simuliertes Bild basierend auf dem Bild der ersten Bildaufnahmeart und optional für das simulierte Bild der zweiten Bildaufnahmeart. Die Bilddaten der Bilder in den mindestens zwei Bildaufnahmearten können beispielsweise genutzt werden, um, optional mittels machine learning, verbessert, rekonstruiert oder in einen anderen Kontrast überführt zu werden.
  • Für die Vorhersage respektive Simulation der Bilder können in weiteren Ausgestaltungen des Verfahrens Kontextinformationen beispielsweise zur Probenart, zur Probenfärbung, zur Kontrastmethode etc. mit einbezogen werden.
  • Für die Analyse und den Schritt der Ermittlung von Unterschieden kann neben dem Bild der zweiten Bildaufnahmeart und dem simulierten Bild optional auch das Bild der ersten Bildaufnahmeart berücksichtigt werden.
  • In weiteren Ausgestaltungen des Bildauswertungsverfahrens können auch mehr als zwei Bildaufnahmearten verwendet werden. Auf diese Weise wird die Wahrscheinlichkeit des Auffindens von Unterschieden, insbesondere von Anomalien und/oder interessierenden Bereichen vorteilhaft erhöht beziehungsweise kann durch eine gezielte Auswahl der genutzten Bildaufnahmearten das Vorhandensein spezifischer Anomalien überprüft werden.
  • Einer der Vorteile des erfindungsgemäßen Verfahrens besteht darin, dass die Probe zwischen den Aufnahmen der Bilder der unterschiedlichen Bildaufnahmearten verändert werden kann. So ist es möglich, dass die Probe zwischenzeitlich unterschiedlich, beispielsweise chemisch, (an-)gefärbt wird. Ein Beispiel kann eine solche Färbung mit Hämatoxylin-Eosin (HE-Färbung) erfolgen.
  • Werden im Zuge des Vergleichens Unterschiede aufgefunden, so können diese in einer Ausgestaltung des Verfahrens zuvor festgelegten Kategorien zugewiesen werden. Solche Kategorien sind beispielsweise Simulationsfehler; simulierte, jedoch im zweiten Bild nicht erfasste Strukturen; und/oder das Vorhandensein/Nichtvorhandensein wenigstens einer vorab definierten Struktur im zweiten Bild. Wenigstens eine Kategorie kann auch diejenigen Unterschiede beinhalten, die beispielsweise als Rauschartefakte eingeordnet werden und bei den weiteren Analysen nicht mehr berücksichtigt werden sollen.
  • Aus dem simulierten Bild der zweiten Bildaufnahmeart und dem mit der zweiten Bildaufnahmeart aufgenommenen zweiten Bild kann in einer weiteren Ausgestaltung des Verfahrens ein Differenzbild erzeugt und auf einer Anzeige, z. B. einem Monitor, angezeigt werden. Dieses Differenzbild kann von einem Nutzer hinsichtlich auftretender Unterschiede bewertet werden.
  • Von Vorteil ist jedoch eine automatisierte Analyse der aufgefundenen Unterschiede und/oder eine Kategorisierung aufgefundener Unterschiede mittels Bildanalyse, insbesondere mittels maschinellen Lernens (engl.: machine learning).
  • Auch die Vorhersage oder Simulation des simulierten Bildes kann unter Nutzung von Methoden des maschinellen Lernens erfolgen. Dazu können zum Beispiel aus dem Stand der Technik bekannt Bild-zu-Bild-Abbildungen genutzt werden. Eine solche Abbildung wird dabei auf Basis einer Anzahl N korrespondierender Bildpaare ((IA,1, IB,1), (IA,2, IB,2), ..., (IA,N, IB,N)) beider Bildaufnahmearten gelernt. Dabei bezeichnet IA ein Bild einer ersten Bildaufnahmeart und IB ein Bild einer zweiten Bildaufnahmeart. Ein auf der Basis eines Bildes IA simuliertes Bild wird nachfolgend auch mit dem Index IA->B bezeichnet. Das trainierte Modell für die Bild-zu-Bild-Abbildung kann anschließend üblicherweise die in den Trainingsdaten vorhandenen Korrespondenzen zwischen den beiden Bildaufnahmearten sehr gut nachahmen, die Vorhersage IA->B ist also sehr ähnlich dem wahrem Bild IB. Fälle, welche stark von diesen Trainingsdaten abweichen, können im Allgemeinen durch das Modell nicht mehr gut abgedeckt werden, und führen in der Folge zu einer Diskrepanz zwischen dem simulierten Bild IA->B und dem aufgenommenen Bild IB, was letztendlich die Grundlage des hier vorgestellten erfindungsgemäßen Verfahrens bildet.
  • Wie bereits ausgeführt, kann das Erkennen von Unterschieden, insbesondere von Anomalien, automatisch mittels Bildanalyse erfolgen. So kann ein Quantifizieren von einfachen Metriken zwischen simuliertem Bild IA->B und zweitem Bild IB beispielsweise anhand der Differenz, des Betrags, wenigstens einer Korrelation, der Varianz, der Anwendung von Schwellenwerten etc. erfolgen. Alternativ kann maschinelles Lernen eingesetzt werden, beispielsweise um Metriken für die Bildauswertung zu verwenden.
  • Beim maschinellen Lernen sind dabei Methoden des überwachten Lernens und des unüberwachten Lernens zu unterscheiden. Beim überwachten Lernen wird basierend auf einem Lerndatensatz bestehend aus wahren Bildern, (vorhergesagten) simulierten Bildern sowie entsprechenden Annotationen bezüglich vorhandener Unterschiede gelernt, diese und weitere Unterschiede zu erkennen. Dabei können Klassifikationsmodelle und/oder Segmentierungsmodelle verwendet werden. Es können außerdem Unterschiede anhand von Bilddaten oder rechnerisch erkannt werden.
  • Beispielsweise sind bei der Nutzung eines Klassifikationsmodells Vorhersagen zum Auftreten einer Anomalie/eines Unterschieds in einem Bild (Ja/Nein-Entscheidung) möglich. Es können auch Vorhersagen zur Art des Unterschieds (z. B. kein Unterschied; Typ 1; Typ 2; ...) getroffen werden.
  • Wird ein Segmentierungsmodell angewandt, sind beispielsweise Segmentierungen des Bildes in Bereiche ohne Unterschiede („normal“) und in Bereiche mit Unterschieden („abnormal“) möglich. Alternativ kann eine Segmentierung des Bildes in Bereiche erfolgen, die vorbestimmten Kategorien von Unterschieden / Anomalietypen zugeordnet sind (z. B. kein Unterschied; Typ 1; Typ 2; ...).
  • Unterschiede können als solche oder sogar mit einer feineren Granularität (Typ 1; Typ 2; ...) erkannt werden, wenn zur Auswertung die Bilddaten (Detektion) herangezogen und genutzt werden.
  • Rechnerisch kann ein Unterschied beispielsweise mittels Berechnung von Regressionen aufgefunden und gegebenenfalls weiter spezifiziert werden. Dabei können zum Beispiel der Anteil der Zellen, welche von einer Anomalie betroffen sind oder Bild-Koordinaten der Unterschiede genutzt werden.
  • Beim unüberwachten Lernen können zum Beispiel Clustering-Algorithmen oder eine „klassische“ Anomaliedetektion, z. B. durch Autoencoder, welcher als Eingabe das vorhergesagte als auch das wahre Bild verwendet, genutzt werden.
  • Für die machine-learning-basierten Verfahren können die Daten der simulierten Bilder IA->B und die Daten der zweiten Bilder IB als Eingabewerte dienen. Optional können außerdem die Daten der ersten Bilder IA sowie manuell oder automatisch ermittelte Kontextinformationen wie die Art der Probe und Informationen über die Kontrastmethoden (Art, verwendete Farbstoffe, Wellenlängen, etc.) und/oder Informationen über die Aufnahmebedingungen (Objektiv, Immersionsflüssigkeit, etc.) eingegeben werden.
  • Um das erfindungsgemäße Bildauswertungsverfahren ausführen zu können, ist ein Mikroskop ausreichend, das Bildaufnahmen mit mindestens zwei Kontrastarten beziehungsweise mit mindestens zwei Kanälen einer Kontrastart erlaubt. Außerdem wird eine Auswerteeinheit, beispielsweise in Form eines Rechners, benötigt, die zur Ausführung des erfindungsgemäßen Bildauswertungsverfahrens konfiguriert ist. Optional kann eine Anzeige (Bildschirm, Monitor, Display) vorhanden sein, auf der beispielsweise das Differenzbild angezeigt wird. Zusätzlich kann eine Möglichkeit zur Eingabe von Daten und Befehlen (Schnittstelle, Tastatur, etc.) vorhanden sein.
  • Die beschriebene Erfindung betrifft ein Verfahren, welches Anomalien bzw. interessierende Bereiche in Bildern einer Probe automatisch erkennen kann. Mit dem erfindungsgemäßen Verfahren können im Vergleich zu vorbekannten Anomaliedetektionsverfahren (z. B. Autoencoder, One-Class-Classification) beispielsweise auch Fehler im Anfärben der Probe erkannt werden. Das Auffinden und optionale Klassifizieren von Unterschieden wie Anomalien und/oder interessierenden Bereichen ist eine technische Herausforderung, welche aufgrund immer größer werdender Datenmengen in Zukunft noch an Relevanz gewinnen wird.
  • Die Erfindung wird nachfolgend anhand einer Figur beispielhaft erläutert.
    • Die 1 zeigt ein Mikroskop und einen schematischen Ablauf einer Ausgestaltung des erfindungsgemäßen Bildauswertungsverfahrens.
  • Mittels eines Mikroskops 1, das Bildaufnahmen in mindestens zwei Kontrastarten beziehungsweise zusätzlich oder alternativ in mindestens zwei Kanälen einer Kontrastart erlaubt, wird ein erstes Bild IA einer ersten Bildaufnahmeart, beispielsweise im Hellfeld, erfasst. Das Mikroskop 1 ist mit einer Auswerteeinheit 2 in Form eines Rechners und einem Monitor als Anzeige 3 verbunden. Die Auswerteeinheit 2 weist zusätzlich einen Datenspeicher (nicht gezeigt) auf und ist derart konfiguriert, dass diese ausgehend von dem ersten Bild IA ein Bild IA→B derart simuliert, als ob das simulierte Bild IA→B virtuell mit einer zweiten Bildaufnahmeart, beispielsweise mit einer zweiten Kontrastart wie z. B: als ein Fluoreszenzbild, aufgenommen worden wäre. Die Daten des simulierten Bildes IA→B werden gespeichert. In 1 ist angedeutet, dass die im ersten Bild IA vorhandenen Strukturen mit geringer Punktierung im simulierten Bild IA→B nicht mehr vorhanden sind. Die Entscheidungskriterien, die zum Weglassen dieser Strukturen führen, können auf einem machine-learning-Verfahren basieren.
  • Außerdem wird ein zweites Bild IB der Probe in der zweiten Bildaufnahmeart (z. B. Fluoreszenzbild) erfasst und gespeichert. Anschließend werden das simulierte Bild IA→B und das zweite Bild IB miteinander, beispielsweise mittels der entsprechend konfigurierten Auswerteeinheit 2, verglichen, um Unterschiede zwischen diesen aufzufinden. Aufgrund des Vergleichs wird beispielsweise ein Differenzbild IDiff erzeugt, in dem gegebenenfalls aufgefundene Unterschiede visualisiert sind.
  • Der im Differenzbild IDiff exemplarisch dargestellte Unterschied zwischen dem simulierten Bild IA→B und dem zweiten Bild IB ist eine mit einer netzartigen Schraffur versehene Struktur im rechten unteren Teil des Differenzbildes IDiff Diese Struktur wurde für das simulierte Bild IA→B vorhergesagt, kann aber in dem zweiten Bild IB tatsächlich nicht bestätigt werden.
  • Die den Unterschied verkörpernde Struktur ist beispielweise aufgrund mangelnder Probenpräparation nicht mit der zweiten Bildaufnahmeart detektierbar. Es könnte sich auch um einen Strukturtyp (in Bild IA dicht punktiert dargestellt) der Probe handeln, der sich mit der ersten Bildaufnahmeart nicht von anderen (in Bild IA ebenfalls dicht punktiert dargestellten) Strukturtypen unterscheiden lässt. Eine Kategorisierung des Unterschieds kann anhand vorhandener und abrufbar gespeicherter Vorinformationen und/oder anhand der Charakteristika der Bildaufnahmearten manuell oder - vorzugsweise - automatisiert erfolgen.
  • Der weitere Umgang mit dem aufgefundenen Unterschied kann in Abhängigkeit seiner Kategorisierung erfolgen. Beispielsweise kann der Unterschied in der weiteren Bildauswertung ignoriert werden, gewichtet in die weitere Auswertung eingehen oder explizit ausgewählt und als interessierender Bereich (ROI) behandelt werden.
  • Bezugszeichen
    • 1
    Mikroskop
    2
    Auswerteeinheit
    3
    Anzeige
    IA
    erstes Bild (erste Bildaufnahmeart)
    IB
    zweites Bild (zweite Bildaufnahmeart)
    IA->B
    simuliertes Bild
    IDiff
    Differenzbild

Claims (10)

  1. Bildauswertungsverfahren in der Mikroskopie, bei dem - mit einer ersten Bildaufnahmeart ein erstes Bild (IA) einer Probe aufgenommen wird und die Bildwerte gespeichert werden; - anhand der Bildwerte ein simuliertes Bild (IA→B) der Probe in einer zweiten Bildaufnahmeart vorhergesagt wird, und - ein zweites Bild (IB) mit der zweiten Bildaufnahmeart aufgenommen und gespeichert wird, dadurch gekennzeichnet, dass - das simulierte Bild (IA→B) der zweiten Bildaufnahmeart und das mit der zweiten Bildaufnahmeart aufgenommene zweite Bild (IB) miteinander verglichen werden, um Unterschiede zwischen diesen aufzufinden, und - aufgefundene Unterschiede erfasst, analysiert und bewertet werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand der Bildwerte des mit der zweiten Bildaufnahmeart aufgenommen zweiten Bildes (IB) ein zweites simuliertes Bild (IB→A) der Probe in der ersten Bildaufnahmeart vorhergesagt wird und das zweite simuliertes Bild (IB→A) auf das mit der ersten Bildaufnahmeart aufgenommene erste Bild (IA) abgebildet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Bilddaten der Bilder (IA;IB) in den mindestens zwei Bildaufnahmearten und/oder Bilddaten des simulierten Bildes (IA→B) und/oder des zweiten simulierten Bildes (IB→A) als gespeicherte Daten vorgehalten und auf Anforderung abgerufen und verarbeitet werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die aufgefundenen Unterschiede zuvor festgelegten Kategorien zugewiesen werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Kategorien Simulationsfehler, simulierte, jedoch im zweiten Bild (IB) nicht erfasste Strukturen und/oder das Vorhandensein wenigstens einer vorab definierten Struktur im zweiten Bild (IB) festgelegt sind.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bildaufnahmearten unterschiedliche Kontrastverfahren und/oder verschiedene Kanäle eines Kontrastverfahrens verwendet werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste simulierte Bild (IA→B) mit dem Bild (IB) der zweiten Bildaufnahmeart beziehungsweise das zweite simuliertes Bild (IB→A) mit dem Bild (IA) der ersten Bildaufnahmeart unter Berücksichtigung einer ausgewählten Metrik verglichen wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Analyse der Unterschiede und/oder eine Kategorisierung aufgefundener Unterschiede mittels maschinellen Lernens erfolgt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorhersage des ersten simulierten Bildes (IA→B) der zweiten Bildaufnahmeart und/oder des zweiten simulierten Bildes (IB→A) der ersten Bildaufnahmeart mittels maschinellen Lernens erfolgt.
  10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass eine Analyse und/oder Kategorisierung mittels mindestens eines Verfahrens aus einer Gruppe umfassend Klassifikation, Segmentierung, Detektion und Regression als Methoden des überwachten maschinellen Lernens und Cluster-Analyse und klassische Anomaliedetektion als Methoden des unüberwachten Lernens ausgeführt wird.
DE102020206088.6A 2020-05-14 2020-05-14 Bildauswertungsverfahren in der Mikroskopie Pending DE102020206088A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020206088.6A DE102020206088A1 (de) 2020-05-14 2020-05-14 Bildauswertungsverfahren in der Mikroskopie
PCT/EP2021/062539 WO2021228894A1 (de) 2020-05-14 2021-05-11 Bildauswertungsverfahren in der mikroskopie
CN202180034442.6A CN115552462A (zh) 2020-05-14 2021-05-11 显微镜中的图像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020206088.6A DE102020206088A1 (de) 2020-05-14 2020-05-14 Bildauswertungsverfahren in der Mikroskopie

Publications (1)

Publication Number Publication Date
DE102020206088A1 true DE102020206088A1 (de) 2021-11-18

Family

ID=76034612

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020206088.6A Pending DE102020206088A1 (de) 2020-05-14 2020-05-14 Bildauswertungsverfahren in der Mikroskopie

Country Status (3)

Country Link
CN (1) CN115552462A (de)
DE (1) DE102020206088A1 (de)
WO (1) WO2021228894A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022121543A1 (de) 2022-08-25 2024-03-07 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021204805A1 (de) * 2021-05-11 2022-11-17 Carl Zeiss Microscopy Gmbh Bewertungsverfahren für Simulationsmodelle in der Mikroskopie

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783603B2 (en) * 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIANSEN, Eric M., et al. In silico labeling: predicting fluorescent labels in unlabeled images. Cell, 2018, 173. Jg., Nr. 3, S. 792-803. e1-e19
LIU, Yi, et al. Global Pixel Transformers for Virtual Staining of Microscopy Images. arXiv preprint arXiv:1907.00941v3, 2019

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022121543A1 (de) 2022-08-25 2024-03-07 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zur Qualitätsüberprüfung eines maschinell gelernten Bildverarbeitungsmodells

Also Published As

Publication number Publication date
CN115552462A (zh) 2022-12-30
WO2021228894A1 (de) 2021-11-18

Similar Documents

Publication Publication Date Title
WO2021228894A1 (de) Bildauswertungsverfahren in der mikroskopie
EP3948688A1 (de) Training für künstliche neuronale netzwerke mit besserer ausnutzung der lern-datensätze
EP1797533A1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
DE102020126554A1 (de) Mikroskopiesystem und verfahren zum überprüfen von eingabedaten
DE102018104616A1 (de) Verfahren zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten, Computerprogrammprodukt, computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist, und System zum Aufteilen eines oder mehrerer Bilder einer Probe in nach Farbstoffen aufgeteilte Bilddaten
EP3529744A1 (de) Analyseverfahren für objektmarkierungen in bildern auf basis von modellen
EP3430565B1 (de) Verfahren zur untersuchung verteilter objekte unter segmentierung eines übersichtbildes
WO2022238343A1 (de) Bewertungsverfahren für simulationsmodelle in der mikroskopie
DE102019117680A1 (de) Automatisiertes segmentierungsverfahren für die qualitätsprüfung
EP4016081B1 (de) Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
DE102019213061A1 (de) Klassifizierung von KI-Modulen
DE602004001718T2 (de) Verfahren zur Echtzeitkorrektur nicht funktionierender Pixel in der digitalen Radiographie
DE102018133092B3 (de) Computer-implementiertes Verfahren zur Analyse von Messdaten aus einer Messung eines Objektes
DE102021114287A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102020212005B4 (de) Verfahren zur Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile
DE102021114291A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114290A1 (de) Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102022208384A1 (de) Verfahren zum Ermitteln eines Qualitätszustands eines Prüfobjekts
DE102022200557A1 (de) Verfahren zur komprimierten Erfassung und Verarbeitung von Bilddaten
DE102022200548A1 (de) Verfahren zum Erstellen eines Trainingsdatensatzes zum Anlernen eines maschinellen Lernsystems für eine Halbleiterwaferdefekterkennung
EP4099272A1 (de) Mikroskopiesystem und verfahren zum erzeugen stilisierter kontrastbilder
DE102022204623A1 (de) Objekterkennung durch neuronales Netz mit Unsicherheitsmaß
DE102022209113A1 (de) Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern
DE102022206892A1 (de) Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009600000

Ipc: G06V0030200000