DE102023100439A1

DE102023100439A1 - Mikroskopiesystem und Verfahren zum Berechnen eines Ergebnisbildes durch ein ordinales Klassifikationsmodell

Info

Publication number: DE102023100439A1
Application number: DE102023100439.5A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2023-01-10
Filing date: 2023-01-10
Publication date: 2024-07-11
Also published as: CN118334651A; US20240233341A1

Abstract

Ein Mikroskopiesystem zum Bilden eines Ergebnisbildes aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells (M) umfasst ein Mikroskop und eine Recheneinrichtung. Die Recheneinrichtung (10) enthält ein ordinales Klassifikationsmodell (M), welches mehrere Klassifikatoren (C1-C255) umfasst und durch ein wie folgt gestaltetes Training festgelegt wird: vorgegebene Mikroskopbilder (20) werden im Training in das ordinale Klassifikationsmodell (M) eingegeben (S1); zu jedem vorgegebenen Mikroskopbild (20) ist ein Zielbild (Z) vorgegeben, wobei aus jedem Zielbild (Z) durch Vergleich mit Pixelschwellwerten (P1-P255) Binärmasken (Z1-Z255) erzeugt werden (S2); die Binärmasken (Z1-Z255) werden im Training als Klassifikationsziele (T1-T255) der Klassifikatoren (C1-C255) verwendet (S3), wobei sich das Training verschiedener Klassifikatoren (C1-C255) darin unterscheidet, mit welchem Pixelschwellwert (P1-P255) die zugehörigen Klassifikationsziele (T1-T255) erzeugt sind; im Training der Klassifikatoren (C1-C255) werden Abweichungen der Klassifikationsmasken (K1-K255) zu den Binärmasken (Z1-Z255) reduziert (S4). Nach Abschluss des Trainings berechnet jeder Klassifikator (C1-C255) zu einem zu verarbeitenden Mikroskopbild (25) eine Klassifikationsmaske (K1-K255); diese Klassifikationsmasken (K1-K255) werden zu einem Ergebnisbild (60) kombiniert (S7).

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zum Berechnen eines Ergebnisbildes aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells.
HINTERGRUND
Bei modernen Mikroskopen spielt die Bildverarbeitung eine zunehmend wichtige Rolle. In steigendem Umfang werden maschinell gelernte Modelle für Bild-zu-Bild-Abbildungen eingesetzt, welche allgemein aus einem eingegebenen Mikroskopbild ein Ergebnisbild bzw. eine Ergebnismaske berechnen. Je nach Gestaltung des maschinell gelernten Modells können insbesondere die folgenden Wirkungen und Vorteile durch Bild-zu-Bild-Abbildungen erreicht werden:

- eine verbesserte Bildqualität, z.B. eine höhere Auflösung oder weniger Rauschen. Hierzu kann das Modell mit Trainingsdaten aus Paaren an zueinander registrierten Mikroskopbildern und Zielbildern trainiert werden, wobei die Zielbilder eine höhere Auflösung bzw. ein niedrigeres Rauschen als die Mikroskopbilder haben.
- eine Schonung der Probe, z.B. indem weniger Laserlicht zur Beleuchtung der Probe benötigt wird und/oder eine spezielle Probenpräparation entfallen kann. Trainingsdaten hierfür können Mikroskopbilder umfassen, die mit verhältnismäßig niedriger Beleuchtungsintensität aufgenommen sind. Als Zielbilder werden von denselben Probenbereichen aufgenommene Mikroskopbilder genutzt, welche mit anderer bzw. stärkerer Beleuchtung aufgenommen sind und/oder für welche die Probe in spezieller Weise behandelt wurde.

- eine verbesserte Darstellung von im Bild vorhandenen Strukturen, z.B. eine virtuelle Einfärbung vorgegebener Strukturtypen. Als Trainingsdaten werden Bildpaare verwendet, welche sich im Kontrastverfahren unterscheiden (z.B. ein Phasenkontrastbild und ein Fluoreszenzbild derselben Probe) und/oder in einer chemischen Färbung (z.B. Bildaufnahme bevor und nachdem eine Probe chemisch gefärbt wird).
- eine Zeitersparnis bei der Probenaufnahme, z.B. durch gröbere Abtastung oder kürzere Belichtungszeit. Entsprechende Trainingsdaten umfassen Bildpaare, die sich z.B. in der Abtastungsauflösung oder der Belichtungsdauer unterscheiden.

Für Bild-zu-Bild-Abbildungen umfassen maschinell gelernte Modelle häufig ein faltendes neuronales Netz (convolutional neural network, CNN) in einer U-Net Architektur oder einer Variation hiervon. Solche Modelle sind z.B. beschrieben in:

Ounkomol, Chawin, et al., „Label-free prediction of three-dimensional fluorescence images from transmitted light microscopy", Nat Methods. November 2018; 15(11): 917-920. doi: 10.1038/s41592-018-0111-2.
Weigert, Martin, et al., „Content-Aware Image Restoration: Pushing the Limits of Fluorescence Microscopy", bioRxiv, doi: https://doi.org/10.1101/236463; 03 Jul. 2018.
Rivenson, Yair, et al., „Deep Learning Microscopy", Optica, 20 Nov. 2017, Vol. 4, No. 11, 1437-1443.
Ronneberger, Olaf, et al., „U-Net: Convolutional Networks for Biomedical Image Segmentation", International Conference on Medical image computing and computer-assisted intervention (MICCAI) 18 Nov. 2015, Part III, LNCS 9351, pp. 234-241, 2015; DOI: 10.1007/978-3-319-24574-4_28.
Falk, Thorsten, et al., „U-Net - Deep Learning for Cell Counting, Detection, and Morphometry", Nature Methods, 2019 Jan; 16(1):67-70. doi: 10.1038/s41592-018-0261-2. Epub 17 Dec 2018.

In dem vorgenannten Artikel von M. Weigert et al. wird ein Entrauschen (Denoising) erzielt. Das gelernte Modell erzeugt ein Ergebnisbild, welches im Vergleich zum eingegebenen Mikroskopbild ein erhöhtes Signal-Rausch-Verhältnis (SNR) hat. Der genannte Artikel von Y. Rivenson beschreibt ein Modell zur Auflösungssteigerung (Superresolution). Bildsegmentierungen werden in dem vorgenannten Artikel von O. Ronneberger et al. und dem Artikel von Th. Falk et al. beschrieben. In dem vorgenannten Artikel von Ounkomol et al. wird ein maschinell gelerntes Modell zum virtuellen Einfärben eines Mikroskopbildes beschrieben.
Aus DE 10 2021 114 287 A1 ist ein U-Netz zum Berechnen eines detailreduzierten Kontrastbildes aus einem eingegebenen Mikroskopbild bekannt. US 9,971,966 B2 beschreibt ein maschinell gelerntes Bildregressionsmodell zum virtuellen Einfärben. In DE 10 2019 114 459 A1 wird unter anderem ein maschinell gelerntes Modell für ein sogenanntes Compressed Sensing beschrieben: Nur zu manchen Probenbereichen liegen Bilddaten vor und aus diesen Bilddaten schätzt das Modell Bilddaten zu benachbarten Probenbereichen, zu welchen keine Bilder aufgenommen wurden.
Für die genannten Beispiele zum Berechnen eines Ergebnisbildes werden Modelle eingesetzt, die eine Bildregression berechnen. Hierbei wird ein Ausgabewert (z.B. der Wert eines Bildpixel) als ein beliebiger Wert innerhalb eines Wertebereichs ausgegeben. Der Wertebereich kann z.B. von 0 bis 255 laufen und demensprechend 256 verschiedene Helligkeitsstufen umfassen.
Als Hintergrundinformation wird nachfolgend Literatur zu ordinalen Klassifikationsmodellen angegeben, bei welchen anstelle einer Regression eine Einschätzung einer Klassenzugehörigkeit berechnet wird. Ordinale Klassifikationsmodelle werden für eine Klasseneinstufung verwendet, wenn die möglichen Klassen eine logische Reihenfolge bilden. Klassen in einer Reihenfolge können z.B. die Größe eines interessierenden Objekts in einem Mikroskopbild angeben. Damit in einer ordinalen Klassifikation die Klassenreihenfolge berücksichtigt wird, können spezielle Hilfsklassen genutzt werden, wie beschrieben in: Frank, Eibe und Hall, Mark, „A Simple Approach to Ordinal Classification", Conference Paper in Lecture Notes in Computer Science, August 2001, DOI: 10.1007/3-540-44795-4_13. Spezielle ordinale Klassifikationsmodelle zur Verarbeitung von Mikroskopbildern wurden außerdem von der Anmelderin in der deutschen Patentanmeldung DE 10 2021 125 576 , Anmeldedatum 01.10.2021, beschrieben. Hierbei werden Hilfsklassen verwendet, welche unterschiedlich viele der gemäß der Reihenfolge aufeinanderfolgenden Klassen enthalten. Zum Beispiel kann die erste Hilfsklasse alle Klassen bis auf die erste Klasse umfassen, während die zweite Hilfsklasse alle Klassen bis auf die ersten zwei Klassen umfasst, eine dritte Hilfsklasse alle Klassen bis auf die ersten drei Klassen umfasst, usw. Die binären Klassifikatoren des ordinalen Klassifikationsmodells geben jeweils eine Schätzung der Zugehörigkeit des eingegebenen Mikroskopbildes zu der entsprechenden Hilfsklasse an.
Regressionsmodelle und Klassifikationsmodelle verwenden im Training in der Regel verschiedene Optimierer und verschiedene Metriken in der zu optimierenden Verlustfunktion. Ein Regressionsmodell kann z. B. eine Regressionsmetrik wie L1-Loss oder L2-Loss verwenden, während bei ordinalen Klassifikationsmodellen eine Klassifikationsmetrik wie z.B. ein Verlust auf Basis der binären Kreuzentropie (Binary Cross Entropy Loss) verwendet werden kann. Der Optimierer bestimmt, wie Modellparameterwerte zum Minimieren der Verlustfunktion verändert werden und hat einen großen Einfluss auf die resultierende Modellqualität oder Trainingsdauer. Bei Regressionsmodellen wird insbesondere der Adam-Optimierer verwendet (siehe z.B. vorgenannter Artikel von Ounkomol et al.), welcher jedoch im Vergleich zu einem Standard-Optimierer wie dem SGD-Optimierer (SGD: Stochastic gradient descent; stochastischer Gradientenabstieg), der insbesondere bei Klassifikationsmodellen eingesetzt wird, häufig eine schlechtere Lösung findet und zu einer geringeren Generalisierbarkeit führt.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche mit hoher Verarbeitungsqualität aus einem Mikroskopbild ein Ergebnisbild berechnet.
Diese Aufgabe wird durch das Mikroskopiesystem und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst.
Ein erfindungsgemäßes Mikroskopiesystem zum Bilden eines Ergebnisbildes aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells umfasst ein Mikroskop und eine Recheneinrichtung. Mit dem Mikroskop wird ein zu verarbeitendes Mikroskopbild aufgenommen, welches sodann von der Recheneinrichtung verarbeitet wird. Die Recheneinrichtung enthält ein ordinales Klassifikationsmodell, welches mehrere Klassifikatoren umfasst und durch ein wie folgt gestaltetes Training festgelegt wird: • vorgegebene Mikroskopbilder werden im Training in das ordinale Klassifikationsmodell eingegeben; • zu jedem vorgegebenen Mikroskopbild ist ein Zielbild vorgegeben, wobei aus jedem Zielbild durch Vergleich mit verschiedenen Pixelschwellwerten mehrere Binärmasken erzeugt werden; • diejenigen Binärmasken, die aus den Zielbildern mit Hilfe desselben Pixelschwellwerts erzeugt sind, werden im Training als Klassifikationsziele von einem der Klassifikatoren verwendet. Das Training verschiedener Klassifikatoren unterscheidet sich somit darin, mit welchem Pixelschwellwert die zugehörigen Klassifikationsziele erzeugt sind; • im Training eines der Klassifikatoren werden Abweichungen von Klassifikationsmasken, welche der Klassifikator aus vorgegebenen Mikroskopbildern berechnet, zu den als Klassifikationsziele verwendeten Binärmasken reduziert. Die Recheneinrichtung ist dazu eingerichtet, nach Abschluss des Trainings ein zu verarbeitendes Mikroskopbild dem ordinalen Klassifikationsmodell einzugeben, wobei jeder Klassifikator eine Klassifikationsmaske zu diesem Mikroskopbild berechnet. Die Recheneinrichtung ist außerdem dazu eingerichtet, die Klassifikationsmasken, die von den Klassifikatoren zu demselben zu verarbeitenden Mikroskopbild berechnet werden, zu einem Ergebnisbild zu kombinieren.
Ein erfindungsgemäßes computerimplementiertes Verfahren berechnet ein Ergebnisbild aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells. Das ordinale Klassifikationsmodell umfasst mehrere Klassifikatoren und wird durch ein wie folgt gestaltetes Training festgelegt: • vorgegebene Mikroskopbilder werden im Training in das ordinale Klassifikationsmodell eingegeben; • zu jedem vorgegebenen Mikroskopbild ist ein Zielbild vorgegeben, wobei aus jedem Zielbild durch Vergleich mit verschiedenen Pixelschwellwerten mehrere Binärmasken erzeugt werden; • diejenigen Binärmasken, die aus den Zielbildern mit Hilfe desselben Pixelschwellwerts erzeugt sind, werden im Training als Klassifikationsziele von einem der Klassifikatoren verwendet, womit sich das Training verschiedener Klassifikatoren darin unterscheidet, mit welchem Pixelschwellwert die zugehörigen Klassifikationsziele erzeugt sind; • im Training eines der Klassifikatoren werden Abweichungen von Klassifikationsmasken, welche der Klassifikator aus eingegebenen Mikroskopbildern berechnet, zu den als Klassifikationsziele verwendeten Binärmasken reduziert oder minimiert. Nach Abschluss des Trainings wird ein zu verarbeitendes Mikroskopbild dem ordinalen Klassifikationsmodell eingegeben und jeder Klassifikator berechnet zu diesem Mikroskopbild eine Klassifikationsmaske. Die Klassifikationsmasken, die von den Klassifikatoren zu demselben Mikroskopbild berechnet werden, werden zu einem Ergebnisbild kombiniert.
Die Erfindung betrifft außerdem ein Computerprogramm, welches auf einem nicht flüchtigen computerlesbaren Medium gespeichert sein kann und Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
Durch die Erfindung wird eine Bild-zu-Bild-Abbildung ermöglicht, welche anstelle einer Bildregression ordinale Klassifikationsergebnisse nutzt, um Pixelwerte zu berechnen. Das verwendete Modell kann insbesondere die von Regressionsmodellen bewährte U-Net Architektur nutzen, wobei jedoch der herkömmlicherweise abschließende Regressionsschritt ersetzt wird durch mehrere Klassifikationsberechnungen. Somit kann die Ausgabeschicht eines herkömmlichen Bildregressionsmodells, welche eine kontinuierliche Abbildung mittels einer pixelweisen Linearkombination der vorletzten Zwischenausgabeschicht des Modells erzeugt, ersetzt werden durch eine pixelweise ordinale Klassifikationsschicht.
Ausgabewerte im Ergebnisbild können z.B. Grauwerte von 0 bis 255 sein und liegen auf einer ordinalen Skala. Daher kann ein ordinales Klassifikationsmodell verwendet werden, das explizit von dem ordinalen Charakter der Ausgabewerte Gebrauch macht. Die Nutzung des ordinalen Charakters kann dazu führen, dass das Training stabiler und robuster ist. Außerdem werden weniger Trainingsdaten benötigt. Unsichere Vorhersagen können verhältnismäßig leicht erkannt werden, z.B. durch Berechnung von Konfidenzen bzw. Konfidenzintervallen. Dies erlaubt eine bessere Erkennung von Vorhersageproblemen bei der Verarbeitung von Mikroskopbildern, die im Training nicht gesehen wurden.
Optionale Gestaltungen
Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Klassifikationsmasken und Binärmasken im Training des ordinalen Klassifikationsmodells
Im Training eines herkömmlichen Regressionsmodells zur Bild-zu-Bild-Abbildung werden Abweichungen zwischen einem vom Modell berechneten Ausgabebild und einem vorgegebenen Zielbild in einer Verlustfunktion erfasst. Das Ausgabebild und das Zielbild enthalten mehrere Pixel, z.B. 256x256 Pixel, deren mögliche Werte in einem großen Bereich liegen, z.B. im Wertebereich 0 bis 255 oder größer. Im Gegensatz dazu können im Training des ordinalen Klassifikationsmodells Abweichungen zwischen einer Klassifikationsmaske, welche ein Klassifikator berechnet, und einer als wahr („ground truth“) angenommenen Binärmaske in der Verlustfunktion erfasst werden.
Eine Klassifikationsmaske gibt pro Pixel eine Klassenzugehörigkeit oder eine Wahrscheinlichkeit einer Klassenzugehörigkeit an. Eine Klassenzugehörigkeit wird durch zwei verschiedene Werte, z.B. 0 und 1, angegeben, womit sich die Ausgabemöglichkeiten auf diese beiden Werte beschränken. Wird eine Klassifikationswahrscheinlichkeit ausgegeben, liegen die möglichen Werte in einem Bereich von z.B. 0 bis 1 (bzw. in einem hierauf abzubildenden Wertebereich), wobei der maximale und der minimale Wert die beiden Fälle kennzeichnen, dass die entsprechende Klasse mit Sicherheit vorliegt bzw. nicht vorliegt.
Für ein Training des ordinalen Klassifikationsmodells umfassen Trainingsdaten mehrere Mikroskopbilder und Zielbilder. Paare aus einem Mikroskopbild und einem Zielbild können registriert sein, das heißt ein Probenpunkt hat in beiden Bildern dieselben Bildkoordinaten. Jeder Pixel eines der Zielbilder wird mit verschiedenen Pixelschwellwerten verglichen, um dem Pixel verschiedene Klasseneinteilungen abhängig von einem Über- oder Unterschreiten der Pixelschwellwerte zuzuordnen. In dieser Weise wird mit jedem Pixelschwellwert aus einem Zielbild eine Binärmaske erzeugt. Eine Binärmaske gibt dadurch für jeden Pixel des Zielbildes an, ob ein Wert des jeweiligen Pixels den Pixelschwellwert, der zum Berechnen dieser Binärmaske verwendet wurde, überschreitet oder nicht. Die Anzahl erzeugter Binärmasken pro Zielbild ist gleich der Anzahl verwendeter Pixelschwellwerte. Die Anzahl an Pixelschwellwerten ist größer oder gleich zwei und kann prinzipiell frei gewählt werden, zum Beispiel gleich oder um eins kleiner als die gewünschte Anzahl verschiedener Pixelwerte im Ergebnisbild.
Aufbau des ordinalen Klassifikationsmodells
Das ordinale Klassifikationsmodell umfasst mehrere Klassifikatoren. Jeder Klassifikator berechnet aus einem Mikroskopbild, das dem ordinalen Klassifikationsmodell eingegeben wird, eine Klassifikationsmaske. Ein Klassifikator kann dazu gestaltet sein, lediglich für eine einzige Klasse eine Zugehörigkeit zu schätzen, und wird daher vorliegend auch als binärer Klassifikator oder Einzelklassifikator bezeichnet.
Die Klassifikatoren können eine letzte Schicht (Ausgabeschicht) des ordinalen Klassifikationsmodells bilden; die Ausgaben des ordinalen Klassifikationsmodells sind folglich die Klassifikationsmasken. Das ordinale Klassifikationsmodell kann ein neuronales Netz umfassen, insbesondere ein faltendendes neuronales Netz wie ein U-Net. Ein U-Net oder U-Netz bezeichnet ein faltendes neuronales Netz mit einem kontrahierenden und einem darauffolgenden expandierenden Pfad. Im kontrahierenden Pfad werden Rechenoperationen ausgeführt, durch welche eine Bildpixelanzahl pro Kanal sinkt (z.B. durch eine Max-Pooling-Operation); zudem werden Bildfaltungen mit Filtern schrittweise steigender Kanalanzahl durchgeführt, so dass eine Anzahl an Bildkanälen steigt. Im Gegensatz dazu wird im expandierenden Pfad die Bildpixelanzahl wieder erhöht und die Kanalanzahl wird reduziert. Ein solches U-Net kann einen ersten Netzabschnitt des ordinalen Klassifikationsmodells bilden, auf welchen die Klassifikatoren direkt folgen. Alternativ können zwischen dem ersten Netzabschnitt und den Klassifikatoren auch mehrere „Heads“ ergänzt werden, das heißt verschiedene Verarbeitungspfade für die Ausgabe des ersten Netzabschnitts, ehe diese in verarbeiteter Form den Klassifikatoren zugeführt wird. Alternativ kann auch jeder Klassifikator ein komplett eigenes neuronales Netz bilden, ohne dass ein gemeinsamer Netzabschnitt für alle Klassifikatoren existiert. Das ordinale Klassifikationsmodell ist allgemein nicht auf neuronale Netze oder U-Nets beschränkt. Vielmehr kann ein beliebiges Bild-zu-Bild-Regressionsmodells abgewandelt werden, indem die letzte Modellschicht durch die beschriebenen Klassifikatoren ersetzt wird, um ein ordinales Klassifikationsmodell zu bilden. Insbesondere kann das ordinale Klassifikationsmodell oder ein erster Netzabschnitt des ordinalen Klassifikationsmodells durch einen Generator eines GAN (generativen adversiellen Netzwerks), z.B. eines StyleGAN, gebildet werden. So kann für eine Virtual Staining Anwendung von dem Generator eines herkömmlichen hierzu verwendeten GAN ausgegangen werden, wobei die Ausgabeschicht des Generators durch die beschriebene ordinale Klassifikationsschicht ersetzt wird.
Erhält jeder Klassifikator die (mehrkanalige oder prinzipiell beliebig viele Dimensionen umfassende) Ausgabe des ersten Netzabschnitts, so kann jeder Klassifikator dazu gestaltet sein, als Klassifikationsmaske eine Linearkombination aus der Ausgabe des ersten Netzabschnitts zu berechnen. Nach dem Training des ordinalen Klassifikationsmodells bzw. der Klassifikatoren unterscheiden sich die Klassifikatoren darin, wie die jeweilige Linearkombination gebildet wird. Im Übrigen können die Klassifikatoren gleich gebildet sein. Es können aber auch weitere Verarbeitungsschritte ergänzt sein, z.B. Aktivierungsfunktionen wie eine Sigmoid-, Tanh- oder ReLU-Funktion.
Es kann vorgesehen sein, dass im Training des ordinalen Klassifikationsmodells lediglich die aus den Zielbildern erzeugten Binärmasken verwendet werden, aber nicht die Zielbilder selbst. Das heißt in der Verlustfunktion, die im Training minimiert wird, werden Abweichungen der Modellausgaben zu den Binärmasken und nicht zu den Zielbildern berechnet, um Änderungen der Modellparameterwerte zu bestimmen, was später näher beschrieben wird.
Anwendungsgebiete des ordinalen Klassifikationsmodells
Das ordinale Klassifikationsmodell dient einer Bild-zu-Bild-Transformation, in welcher mindestens ein Mikroskopbild eingegeben wird. Eine Ausgabe des ordinalen Klassifikationsmodells sind Klassifikationsmasken, aus denen ein Ergebnisbild berechnet wird, oder das Ergebnisbild selbst.
Insbesondere kann das ordinale Klassifikationsmodell dazu dienen, dass aus mindestens einem eingegebenen Mikroskopbild zumindest eines aus Folgendem als Ergebnisbild berechnet wird:

• ein Ergebnisbild / Ausgabebild, in welchem dargestellte Objekte im Vergleich zum eingegebenen Mikroskopbild deutlicher sichtbar oder in höherer Bildqualität dargestellt sind, oder eine Darstellung bestimmter Strukturen unterdrückt wird. Die verbesserte Sichtbarkeit oder höhere Bildqualität kann allgemein dargestellte Objekte betreffen, wie z.B. im Fall einer Rauschreduzierung (Denoising), Auflösungssteigerung (Superresolution), Kontrastverbesserung (z.B. eine Anpassung des Gamma-Werts oder eine Kontrastspreizung) oder Entfaltung (Deconvolution). Die verbesserte Sichtbarkeit kann aber auch allein bestimmte Objekte betreffen, wie im Fall einer Transformation zwischen verschiedenen Kontrastarten, wodurch eine virtuelle Einfärbung (virtual staining) bestimmter Strukturen erreicht wird. Ein Unterdrücken von Strukturen kann z.B. durch eine Artefaktentfernung oder durch eine Detailreduzierung eines Hintergrunds erfolgen. Die Artefaktreduzierung muss sich nicht zwingend auf bereits vorhandene Artefakte in aufgenommenen Rohdaten beziehen, sondern kann auch Artefakte betreffen, die erst durch eine Bildverarbeitung entstehen, insbesondere bei einer Modellkompression. Durch eine Modellkompression wird ein maschinell gelerntes Modell vereinfacht, um den Speicher- oder Rechenbedarf des Modells zu reduzieren, wobei durch die Modellkompression die Modellgenauigkeit leicht reduziert sein kann und Artefakte auftreten können. Eine Bild-zu-Bild-Transformation zum Berechnen des Ausgabebildes kann auch ein Auffüllen von Bildbereichen (inpainting) betreffen, z.B. ein Auffüllen von Fehlstellen oder Lücken abhängig von umgebenden Bildinhalten. Das Ausgabebild kann weiterhin eine Dichtekarte dargestellter Objekte sein, z.B. indem Zell- oder Objektmittelpunkte markiert werden. Auch kann ein Weißabgleich, ein HDR-Bild, oder ein De-Vignetting berechnet werden. Durch einen Weißabgleich wird ein verfälschender Farbton aus dem eingegebenen Mikroskopbild entfernt, so dass farblose Objekte tatsächlich im Ausgabebild farblos dargestellt werden. In einem HDR-Bild ist eine Skala möglicher Helligkeitsunterschiede pro Farbkanal gegenüber dem eingegebenen Mikroskopbild erhöht. Bei einem De-Vignetting wird eine Randabschattung des eingegebenen Mikroskopbildes entfernt, oder allgemein auch andere zum Bildrand hin zunehmende Effekte, wie eine Farbänderung, Abbildungsfehler oder ein Bildschärfeverlust. Auch eine Signaltrennung („Unmixing“) ist möglich, in welcher ein oder mehrere Signalkomponenten extrahiert werden, z.B. um eine Extraktion eines Spektralbereichs aus einer Bildaufnahme zu schätzen.
• ein virtuell eingefärbtes Bild, wozu die im Training vorgegebenen Mikroskopbilder mit einer anderen Kontrastart als die Zielbilder aufgenommen sind. Beispielsweise kann die Transformation zwischen den Kontrastarten Hellfeld und DIC (Differentialinterferenzkontrast) erfolgen, oder zur Berechnung eines Fluoreszenzbildes aus einem Hellfeldbild. Alternativ oder zusätzlich zur verwendeten Kontrastart können sich ein Mikroskopbild und ein Zielbild auch in einer chemischen Färbung unterscheiden.
• eine Auflösungssteigerung (Super Resolution) des eingegebenen Mikroskopbildes, wozu im Training die Zielbilder eine höhere Auflösung haben als die vorgegebenen Mikroskopbilder.
• ein Entrauschen (Denoising) des eingegebenen Mikroskopbildes, wozu im Training die Zielbilder ein niedrigeres Bildrauschen haben als die vorgegebenen Mikroskopbilder.
• ein Ergebnisbild, in welchem Probenbereiche, die im eingegebenen Mikroskopbild nicht aufgenommen wurden, auf Basis benachbarter aufgenommener Probenbereiche im eingegebenen Mikroskopbild ergänzt sind (Compressed Sensing).
• eine Entfaltung (Deconvolution) des eingegebenen Mikroskopbildes, wozu im Training die Zielbilder eine entfaltete Fassung der vorgegebenen Mikroskopbilder sind.
• semantische Segmentierungsmaske mit ordinalen Klassen: Das ordinale Klassifikationsmodell eignet sich nicht nur für die vorgenannten Beispiele, in welchen aus Helligkeitswerten von Bildpunkten die ordinalen Klassen abgeleitet werden. Geeignet sind auch semantische Segmentierungen mit drei oder mehr ordinalen Klassen. Die für das Training vorgegebenen Zielbilder sind hierbei semantische Segmentierungen, welche für jeden Pixel durch den entsprechenden Pixelwert eine Zugehörigkeit zu einer der ordinalen Klassen angeben. Die ordinalen Klassen können beispielsweise eine lokale Defokussierung, eine Bildqualität, ein Rauschniveau, einen Verschmutzungsgrad, einen Probengefäßfüllstand, Objektgrößen oder Höhen abgebildeter Objekte bezeichnen. Es erfolgt eine pixelweise oder bereichsweise Klassifikation, wodurch für jeden Pixel oder Bildbereich eines eingegebenen Mikroskopbildes die zugehörige Klasse vorhergesagt wird. Beispielsweise können vier Klassen einer semantischen Segmentierung einen niedrigen / mittelhohen / hohen / sehr hohen Verschmutzungsgrad (oder alternativ: Rauschniveau etc.) angeben. Ein Zielbild der Trainingsdaten ist somit eine semantische Segmentierungsmaske, in welcher jeder Pixel durch seinen Wert eine der vier vorgenannten Klassen angibt. Durch Vergleich mit drei Pixelschwellwerten werden aus dieser semantischen Segmentierungsmaske drei Binärmasken erzeugt, welche angeben, ob der Verschmutzungsgrad > niedrig bzw. > mittelhoch bzw. > hoch ist. Mit solchen Binärmasken werden drei Klassifikatoren trainiert. Die Klassifikatoren berechnen jeweils eine Klassifizierungsmaske, die wiederum zu einem Ergebnisbild kombiniert werden, welches der semantischen Segmentierungsmaske entspricht.

Die Kenntnis eines lokalen Rauschniveaus innerhalb eines Mikroskopbildes kann zu Analysezwecken gewünscht sein oder zur Bewertung, ob ein Bildausschnitt für eine nachfolgende Bildverarbeitung geeignet ist. Ein lokales Rauschniveau kann oftmals nicht mit einfachen Mitteln aus einem Mikroskopbild berechnet werden, da allgemein nicht eindeutig zwischen Zellstrukturen und zufälligem Rauschen unterschieden werden kann. Hier schafft des ordinale Klassifikationsmodell Abhilfe. Zum Erzeugen von Trainingsdaten werden vom selben Probenbereich ein verrauschtes Mikroskopbild und ein weiteres (rauschfreies) Mikroskopbild bereitgestellt, welches mit geringerem Rauschen aufgenommen ist und/oder durch Korrekturen rauschreduziert ist. Durch einen Vergleich dieser beiden Bilder können mehrere Segmentierungen mit ordinalen Klassen erzeugt werden, welche die Rauschstärke relativ zum rauschfreien Mikroskopbild angeben.
Eine Defokussierung kann über ein Mikroskopbild hinweg variieren, weshalb die Schätzung einer lokalen Stärke der Defokussierung pro Pixel oder Bildbereich des Mikroskopbildes nützlich sein kann. Ein lokaler Verschmutzungsgrad kann ebenfalls innerhalb eines aufgenommenen Sichtfelds variieren, insbesondere auf einem Probenträger. Eine Schätzung von Probengefäßfüllständen ist insbesondere geeignet, wenn als Mikroskopbild ein Übersichtsbild aufgenommen wird, in welchem ein Probenträger mit mehreren Probengefäßen sichtbar ist, z.B. mehrere Töpfchen einer Multiwellplatte oder Kammern eines Objektkammerträgers. Eine Klassifizierung von Objektgrößen eignet sich insbesondere, wenn eine lokale Größe mehrerer im Mikroskopbild dargestellter Objekte ermittelt werden soll, beispielsweise die Größe von biologischen Zellen oder Zellorganellen. Eine Schätzung von Objekthöhen kann z.B. für Navigationskarten gewünscht sein, durch welche bei automatisierten Mikroskopen eine Kollision zwischen Probe und Objektiv oder anderen Mikroskopkomponenten vermieden werden soll. Eine Schätzung von Objekthöhen kann insbesondere bei einer Untersuchung von Gesteinsproben oder elektronischen Bauteilen vorteilhaft sein.
Ergebnisbilder können für weitere Anwendungen automatisiert ausgewertet werden, beispielweise zum Zählen von biologischen Zellen oder anderen Objekten oder zur Konfluenzschätzung, das heißt zur Schätzung eines von Zellen bedeckten Flächenanteils.
Detailreduzierung / Stilisierte Darstellung
Im Fall beispielsweise einer virtuellen Einfärbung (Virtual Staining) besteht prinzipiell das Risiko, dass Probenstrukturen durch das verwendete maschinell gelernte Modell hinzuerfunden werden. Oftmals genügt es jedoch, durch eine virtuelle Einfärbung eine Anzahl und Lage bestimmter Objekte im Mikroskopbild besser kenntlich zu machen, ohne dass Strukturdetails nötig wären. Insbesondere um in diesen Fällen ein Hinzuerfinden von Strukturdetails zu vermeiden, kann eine stärkere Quantisierung der Zielwerte genutzt werden. Ein Abstand der Pixelschwellwerte ist hierbei relativ groß und es werden entsprechend wenige Klassifikatoren gelernt. Insbesondere kann eine Anzahl an Pixelschwellwerten und somit eine Anzahl an Binärmasken, die aus demselben Zielbild erzeugt werden, zwischen 3 und 16 liegen, womit Ergebnisbilder, die aus den Klassifikationsmasken des ordinalen Klassifikationsmodells berechnet werden, im Vergleich zu den Zielbildern detailreduziert sind. Die möglichen Pixelwerte der Zielbilder entstammen einem größeren Bereich, der z.B. 8bit oder 16bit betragen kann.
Zielfunktion
Im Training des ordinalen Klassifikationsmodells wird mindestens eine Zielfunktion optimiert. Die Zielfunktion erfasst Abweichungen zwischen Klassifikationsmasken, die von den Klassifikatoren berechnet werden, und zugehörigen Binärmasken, die aus den vorgegebenen Zielbildern per Schwellwertvergleich erzeugt werden. Die Binärmasken stellen somit Klassifikationsziele dar, welchen die berechneten Klassifikationsmasken möglichst gleichen sollten.
Die Zielfunktion kann eine Verlustfunktion sein, welche im Training minimiert wird und einen umso größeren Wert ausgibt, je stärker Abweichungen zwischen den Klassifikationsmasken und den zugehörigen Binärmasken sind. Eine Verlustfunktion kann aber auch durch eine zu maximierende Gewinnfunktion (reward function) ersetzt werden. Abweichungen können pixelweise zwischen einer Klassifikationsmaske und der zugehörigen Binärmaske erfasst werden oder auch in prinzipiell bekannter Weise durch komplexere Metriken, welche z.B. die Form eines zusammenhängenden Gebiets in der Klassifikationsmaske bzw. Binärmaske berücksichtigen.
Die Optimierung der mehreren Klassifikatoren kann über dieselbe Zielfunktion erfolgen. Alternativ können verschiedene Zielfunktionen für verschiedene Klassifikatoren verwendet werden.
In die Zielfunktion können Binärmasken eingegeben werden, welche vorab aus den Zielbildern erzeugt wurden. Alternativ können aber auch die Binärmasken erst innerhalb der Zielfunktion aus den Zielbildern berechnet werden. In diesem Fall wird ein Zielbild in die Zielfunktion eingegeben, wobei jedoch nicht die Abweichung einer Klassifikationsmaske zu diesem Zielbild erfasst wird, sondern die Abweichung der Klassifikationsmaske zu einer aus dem Zielbild abgeleiteten Binärmaske.
In einem Trainingsschritt werden ein oder mehrere Mikroskopbilder dem ordinalen Klassifikationsmodell eingegeben und anhand der Abweichungen, die in der Zielfunktion/Verlustfunktion erfasst werden, wird eine Anpassung der Modellparameterwerte des ordinalen Klassifikationsmodells berechnet. In einem einzigen Trainingsschritt können die Klassifikationsmasken mehrerer bzw. aller Klassifikatoren in eine gemeinsame Verlustfunktion eingehen, das heißt, es wird ein gemeinsamer Verlust (loss) berechnet. Zur Modellparameteranpassung wird an jeden Klassifikator jedoch nur der Fehler zurückgegeben, der von diesem Klassifikator stammt. Der Fehler wird per Backpropagation weiter zurückgereicht, bis zu dem gemeinsamen ersten Netzabschnitt, welches z.B. durch den kontrahierenden und anschließend expandierenden Pfad eines U-Net gebildet sein kann.
Alternativ zu diesem gemeinsamen Training aller Klassifikatoren können auch die Klassifikatoren abwechselnd trainiert werden. In einem Trainingsschritt gehen allein Klassifikationsmasken von einem einzigen Klassifikator in die Verlustfunktion ein, woraufhin nur die Modellparameterwerte dieses Klassifikators sowie des vorhergehenden Netzabschnitts angepasst werden, während die übrigen binären Klassifikatoren konstant gehalten werden. In dieser Weise werden die Klassifikatoren abwechselnd trainiert.
Gewichtungsmaske
In der Zielfunktion können eine oder mehrere Gewichtungsmasken verwendet werden, um Abweichungen zwischen den Klassifikationsmasken und Binärmasken zu gewichten. Die Gewichtungsmaske weist somit jedem Pixel oder verschiedenen Bildbereichen jeweils ein Gewicht zu.
Insbesondere kann zu jeder Binärmaske eine Gewichtungsmaske berechnet werden, indem ein Gewicht in der Gewichtungsmaske umso größer gewählt wird, je weiter ein Pixelwert des Zielbildes, aus dem die Binärmaske berechnet wurde, von dem Pixelschwellwert entfernt ist, der zum Berechnen der Binärmaske verwendet wurde. Hierdurch wird dem Umstand Rechnung getragen, dass ein Klassifikator für einen Bildpunkt/Pixel, dessen Wert im Zielbild sehr weit vom Pixelschwellwert des Klassifikators abweicht, mit Sicherheit eine korrekte Klassifizierung vornehmen sollte und ein Fehler in diesem Fall als schwerwiegender angesehen wird. Nah am Pixelschwellwert werden hingegen fehlerhafte Klassifizierungen schwächer gewichtet, da diese z.B. auch durch ein Bildrauschen bedingt sein können und nicht unbedingt auf eine zu korrigierende Schwäche des Klassifikators hinweisen.
Für Bildbereiche des Zielbildes, in welchen sich keine Objekte befinden bzw. welche um einen Mindestabstand von bestimmten Objekten entfernt sind, kann eine Gewichtung reduziert oder auf null gesetzt sein. Alternativ oder zusätzlich kann eine Gewichtung von Bildbereichen erhöht sein, für die eine qualitativ ungenügende Bildverarbeitung festgestellt wurde.
Pixel um Objektmittelpunkte können stärker gewichtet werden als weiter von den Objektmittelpunkten entfernte Pixel. Die Objektmittelpunkte können vorab an den Mikroskopbildern und/oder Zielbildern ermittelt worden sein. Eine entsprechend gebildete Gewichtungsmaske gilt für eine bestimmtes Zielbild bzw. alle aus diesem Zielbild erzeugten Binärmasken.
Klassen und inverse Klassen
Jeder binäre Klassifikator bewertet an Hand eines eingegebenen Mikroskopbildes, ob für einen bestimmten Bildpixel in einem zu erzeugenden Ergebnisbild bzw. in der vom Klassifikator ausgegebenen Klassifikationsmaske eine bestimmte Klasse zutrifft. Dabei bezeichnet eine Klasse ein Intervall an Pixelwerten für das Ergebnisbild. Das Intervall läuft ab einem minimal möglichen Pixelwert (oder alternativ einem maximal möglichen Pixelwert) bis zu dem Pixelschwellwert, der zu dem Klassifikator gehört.
Für die Modellstabilität und Robustheit ist relevant, dass die Klassen, für welche die Klassifikatoren die jeweilige Zugehörigkeit schätzen, nicht nur einen einzigen Pixelwert angeben, sondern Intervalle an Pixelwerten. Verschiedene Klassen unterscheiden sich im Pixelschwellwert, stimmen jedoch im anderen Intervallende überein, so dass mehrere oder alle Klassen ab demselben minimal möglichen Pixelwert (oder alternativ ab demselben maximal möglichen Pixelwert) beginnen.
Während die Klassen, welche durch die Klassifikatoren unterschieden werden können, Pixelintervalle betreffen, werden in Ergebnisbildern oder Zielbildern andere Klassen angegeben, nämlich konkrete Pixelwerte. Zur begrifflichen Unterscheidung können die von den Klassifikatoren unterschiedenen Klassen auch als Hilfsklassen bezeichnet werden. Aus den Klassifikationen in Hilfsklassen kann für jeden Pixel eine Klasseneinteilung in eine der Klassen, die konkrete Pixelwerte angeben, berechnet werden. Die Anzahl an Pixelschwellwerten bzw. Hilfsklassen kann um eins niedriger gewählt sein als die Anzahl zu unterscheidender Klassen, die einen konkreten Pixelwert angeben. Beispielsweise können die zwei Pixelschwellwertvergleiche „>0" und „>1" genutzt werden, wenn die drei Klassen Pixelwert = „0“, „1“ oder „2“ unterschieden werden sollen.
Optional können zusätzlich zu den beschriebenen (Hilfs-)Klassen auch inverse (Hilfs-)Klassen genutzt werden, wobei für jede inverse Klasse ein zugehöriger Klassifikator ergänzt wird, welcher zur begrifflichen Unterscheidung als inverser Klassifikator bezeichnet wird. Die Binärmasken, welche als Klassifikationsziele für das Training der Klassifikatoren genutzt werden, werden durch einen „größer“-Vergleich oder „größer/gleich“-Vergleich der Zielbilder mit Pixelschwellwerten erzeugt, so dass eine Klassenzugehörigkeit eines Pixels bejaht wird, wenn der Pixelwert größer bzw. größer/gleich dem Pixelschwellwert ist. Die Binärmasken, welche als Klassifikationsziele für das Training der inversen Klassifikatoren genutzt werden, werden hingegen erzeugt, indem ein „kleiner“-Vergleich oder „kleiner/gleich"-Vergleich der Zielbilder mit den Pixelschwellwerten erfolgt. Binärmasken für das Training der inversen Klassifikatoren können auch durch Invertierung der Binärmasken für das Training der Klassifikatoren erzeugt werden. Die Ergänzung inverser Klassen erhöht die Stabilität des Modelltrainings.
Bilden eines Ergebnisbildes aus Klassifikationsmasken
Die Klassifikationsmasken, die von den Klassifikatoren zu demselben Mikroskopbild berechnet werden, werden zu einem Ergebnisbild kombiniert. Die Kombination kann pixelweise erfolgen, das heißt, jeweils örtlich übereinstimmende Pixel der verschiedenen Klassifikationsmasken werden kombiniert, um einen Pixelwert für den örtlich entsprechenden Pixel im Ergebnisbild zu bestimmen.
Das Kombinieren der Klassifikationsmasken kann durch eine pixelweise Addition erfolgen. Ein Pixelwert eines Pixels im Ergebnisbild stellt somit die Summe der Pixelwerte der örtlich entsprechenden Pixel der Klassifikationsmasken dar.
Die Klassifikationsmasken können Binärmaske mit den möglichen Werten 1 und 0 sein, welche eine Klassenzugehörigkeit bejahen bzw. verneinen. Für einen Pixelwert von N im Ergebnisbild muss somit in N Klassifikationsmasken der entsprechende Pixel einen Wert von 1 haben (das heißt eine Klassenzugehörigkeit bejahen).
Alternativ können die Klassifikationsmasken Wahrscheinlichkeitswerte für eine Klassenzugehörigkeit zwischen 0 und 1 angeben. Dadurch kann eine präzisere Ausgabe erhalten werden. Die pixelweise Summe der Wahrscheinlichkeitswerte der Klassifikationsmasken kann eine beliebige Kommazahl ergeben, welche auf einen ganzen Pixelwert gerundet oder abgebildet wird.
Das beschriebene Summieren ist eine spezielle Form der gemeinsamen Entscheidung durch alle Klassifikatoren. Statt des Summierens könnte auch pro Pixel der letzte binäre Klassifikator ermittelt werden, der noch eine 1 ausgibt (oder eine Wahrscheinlichkeit einer Klassenzugehörigkeit von >50% ausgibt), und dessen Pixelschwellwert (z.B. 112) wird als Pixelwert im Ergebnisbild benutzt.
Alternativ oder zusätzlich zu einer einfachen pixelweisen Addition kann ein maschinell gelerntes Modell (nachfolgend: Kombinationsmodell) dazu verwendet werden, aus den Klassifikationsmasken ein Ergebnisbild zu berechnen. Das Kombinationsmodell kann insbesondere ein ein-schichtiges Netz sein. Trainingsdaten des Kombinationsmodells umfassen als Eingabebilder die Klassifikationsmasken, welche aus einem Mikroskopbild von dem (insbesondere fertig trainierten) ordinalen Klassifikationsmodell berechnet werden; das zu diesem Mikroskopbild zugehörige Zielbild wird als Trainingsziel des Kombinationsmodells verwendet. Durch das fertig trainierte Kombinationsmodell kann eine Qualität der Klassifikatoren ermittelt werden: Gewichtet das Kombinationsmodell Ausgaben eines Klassifikators schwächer in der Berechnung von Pixelwerten des Ergebnisbildes, so kann auf eine niedrigere Qualität dieses Klassifikators geschlossen werden.
Das Training des Kombinationsmodells kann auch gleichzeitig mit dem Training des ordinalen Klassifikationsmodells erfolgen, wodurch unter Umständen eine Stabilitätserhöhung erzielt werden kann.
Zum leichteren Verständnis wird in verschiedenen Ausführungsvarianten die Erzeugung eines Graustufenbildes als Ergebnisbild beschrieben, welches aus den Klassifikationsmasken mehrerer Klassifikatoren erzeugt wird. Das Ergebnisbild kann aber auch beliebige weitere Kanäle (Farbkanäle) umfassen. Die Beschreibung der Erzeugung eines Graustufenbildes soll in diesem Sinn als Erzeugung der Bildwerte eines Kanals des Ergebnisbildes verstanden werden. Verschiedene Kanäle können z.B. den Rot/Grün/Blau-Kanälen typischer Farbaufnahmen entsprechen. Alternativ oder zusätzlich kann ein Ergebnisbild eine prinzipiell beliebige Anzahl an Fluoreszenzkanälen umfassen, welche sich in den Anregungs- und/oder Detektionswellenlängen unterscheiden. Für jeden Kanal des Ergebnisbildes werden eigene Klassifikatoren verwendet, für deren Training eigene Binärmasken genutzt werden. Die Klassifikatoren verschiedener Kanäle können optional denselben vorhergehenden Netzabschnitt haben, oder können sich in einem vorhergehenden Netzabschnitt unterscheiden. Beispielsweise kann vorgesehen sein, dass Klassifikatoren verschiedener Kanäle unterschiedliche Dekoder haben (z.B. separat trainierte expandierende Pfade eines U-Nets), während sie denselben Enkoder haben (z.B. denselben kontrahierenden/komprimierenden Pfad eines U-Nets, welcher dem Dekoder vorangeht).
Mikroskopbilder und Zielbilder
Als Mikroskopbild werden vorliegend Bilddaten verstanden, welche dem ordinalen Klassifikationsmodell eingegeben werden und von einem Mikroskop aufgenommen wurden oder durch Weiterverarbeitung von Rohdaten, die von einem Mikroskop aufgenommen wurden, gewonnen wurden.
Bei dem Zielbild kann es sich ebenfalls um Bilddaten handeln, welche von einem Mikroskop aufgenommen wurden oder durch Weiterverarbeitung von Rohdaten, die von einem Mikroskop aufgenommen wurden, gewonnen wurden.
Ein Mikroskopbild und ein Zielbild können 2D-Bilddaten sein, 3D-Bildstapel bzw. volumetrische Daten, oder alternativ auch Zeitreihendaten, bei welchen 2D- oder 3D-Bilddaten derselben Probe zu verschiedenen Zeiten aufgenommen wurden. Dabei müssen das Mikroskopbild und das zugehörige Zielbild nicht dergleichen Art entsprechen. Beispielsweise können das Mikroskopbild ein 2D-Bild sein und das Zielbild kann ein 3D-Bildstapel sein, so dass das ordinale Klassifikationsmodell lernt, aus einem eingegebenen 2D-Bild einen 3D-Bildstapel zu berechnen.
Ein Mikroskopbild und ein zugehöriges Zielbild können insbesondere durch verschiedene Mikroskope, verschiedene Mikroskopietechniken oder Kontrastverfahren, verschiedene Mikroskopeinstellungen oder verschiedene Probenpräparationen gewonnen sein. Konkrete Beispiele für Zielbilder sind im Abschnitt „Anwendungsgebiete des ordinalen Klassifikationsmodells“ beschrieben.
Mit dem Ausdruck „Mikroskopbild“ kann sowohl ein im Training verwendetes, vorgegebenes Mikroskopbild bezeichnet werden, als auch ein nach dem Training zu verarbeitendes Mikroskopbild.
Eine Maske kann vorliegend als Synonym zu einem Bild verstanden werden.
In einer einfachen Ausführung ist jedes Zielbild ein Graustufenbild, wobei aus jedem Zielbild durch den Vergleich mit den unterschiedlichen Pixelschwellwerten verschiedene Binärmasken gebildet werden. Das Ergebnisbild, das aus den Klassifikationsmasken der Klassifikatoren berechnet wird, kann dementsprechend ein Graustufenbild sein. Ein Zielbild kann aber auch anstelle eines einzigen Kanals mehrere Kanäle umfassen. Die Kanäle können Farbkanäle sein und beispielsweise ein RGB-Bild formen und/oder mehrere Fluoreszenzkanäle umfassen. Aus jedem Kanal können durch Vergleich mit Pixelschwellwerten mehrere Binärmasken erzeugt werden und hiermit Klassifikatoren des ordinalen Klassifikationsmodells trainiert werden. Alternativ können die Pixelwerte mehrerer Kanäle zu einem einzigen Wert zusammengefasst und erst anschließend mit den Pixelschwellwerten verglichen werden.
Es können auch verschiedenartige (insbesondere ein-kanalige) Zielbilder verwendet werden, um die Trainingsdaten für Klassifikatoren zu verschiedenen Kanälen eines mehrkanaligen Ergebnisbildes zu erzeugen. Beispielsweise können verschiedene Färbetechniken in der Probenpräparation eingesetzt werden, um verschiedene Zielbilder zu erzeugen, aus denen Trainingsdaten für Klassifikatoren zu verschiedenen Kanälen des Ergebnisbildes erzeugt werden. Ein Kanal des Ergebnisbildes (oder ein erster Satz an RGB-Kanälen des Ergebnisbildes) stellt sodann eine virtuelle Einfärbung gemäß einer ersten Färbetechnik dar, während ein anderer Kanal des Ergebnisbildes (oder ein zweiter Satz an RGB-Kanälen des Ergebnisbildes) eine virtuelle Einfärbung gemäß einer zweiten Färbetechnik darstellt.
Konfidenz eines Pixelwerts im Ergebnisbild
Für jeden Pixel im Ergebnisbild kann eine Konfidenz berechnet werden, welche eine Vertrauenswürdigkeit eines Pixelwerts dieses Pixels im Ergebnisbild angibt.
Die Konfidenz eines Pixels im Ergebnisbild wird anhand einer Konsistenz von Klassifikationsschätzungen zu diesem Pixel in den Klassifikationsmasken berechnet. Die Klassifikationsschätzungen geben Schätzungen der Klassifikatoren an, ob der zu diesem Klassifikator gehörende Pixelschwellwert überschritten ist oder nicht. Durch die verschiedenen Pixelschwellwerte werden Pixelintervalle definiert, wobei ein Pixelintervall stets vollständig (und nicht nur teilweise) in allen größeren Pixelintervallen enthalten ist. Beispielsweise können Pixelschwellwerte ... 32, 33, 34 ... betragen. Ein Pixelintervall „>34" liegt vollständig innerhalb der Pixelintervalle „>33" und „>32". Die Klassifikationsschätzungen zu einem Pixel sind konsistent, wenn im Fall, dass ein Klassifikator für diesen Pixel eine Klassenzugehörigkeit zu seinem Pixelintervall bejaht, auch alle anderen Klassifikatoren, deren Pixelintervalle das Pixelintervall des vorgenannten Klassifikators enthalten, die Klassenzugehörigkeit zu ihrem jeweiligen Pixelintervall bejahen. Beispielsweise liegt keine Konsistenz vor, wenn ein Klassifikator für einen Pixel die Klassenzugehörigkeit zu dem Pixelintervall „>34" bejaht, während für denselben Pixel ein anderer Klassifikator die Klassenzugehörigkeit zu dem Pixelintervall „>33" verneint. Je stärker solche Inkonsistenzen ausgeprägt sind oder je häufiger solche Inkonsistenzen zwischen den Klassifikationsschätzungen zu einem Pixel vorkommen, desto niedriger ist die Konfidenz für diesen Pixel im Ergebnisbild. In anderen Worten kann die Konfidenz für einen Pixelwert als umso niedriger bestimmt werden, je stärker Widersprüche zwischen den Klassifikationsschätzungen der Klassifikatoren zu diesem Pixel ausgeprägt sind.
Die Klassifikationsschätzungen der Klassifikatoren zu einem Pixel bilden eine Reihe gemäß den zugehörigen Pixelschwellwerten. Ein Verlauf der Reihe an Klassifikationsschätzungen zu einem Pixel kann zum Berechnen einer Konfidenz analysiert werden. Hierbei werden die Klassifikationsschätzungen vorzugsweise als kontinuierliche Wahrscheinlichkeiten und nicht nur als binäre Klassenangaben (ja/nein bzw. 1/0) angegeben. Idealerweise sollte der Verlauf der Klassifikationsschätzungen monoton sein und die Form einer punktsymmetrischen Sigmoidfunktion haben. Die Konfidenz zu einem Pixel kann als umso niedriger bestimmt werden, je stärker der Verlauf von einem monotonen Verlauf abweicht und/oder je stärker der Verlauf von einem punktsymmetrischen Verlauf abweicht und/oder je stärker der Verlauf von einer Sigmoidfunktion abweicht und/oder je höher eine Entropie des Verlaufs ist. Die informationstheoretische Entropie ist ein Maß für die Unordnung der Datenpunkte in dem Verlauf und ist verhältnismäßig gering, wenn die Datenpunkte auf der idealen Sigmoidfunktion liegen.
Das beschriebene Vorgehen zur Konfidenzbestimmung nutzt den ordinalen Charakter der Daten, wodurch die Zuverlässigkeit der Konfidenzaussage erhöht wird. Würden hingegen die für Regressionsmodelle oder „normale“ (d.h. nicht ordinale) Klassifikationsmodelle gängigen Konfidenzmaße verwendet, bliebe der ordinale Charakter unberücksichtigt, womit eine Aussagekraft sinkt.
Konfidenzmasken können in der Inferenz oder auch während dem Training berechnet werden. Im Training können auf Basis der Konfidenzmasken Mikroskopbilder oder Bereiche von Mikroskopbildern identifiziert werden, für welche eine Verarbeitung als qualitativ ungenügend eingestuft wird, nämlich wenn die Konfidenz ein vorgegebenes Mindestmaß nicht erreicht. Diese Mikroskopbilder oder Bereiche werden im Training häufiger verwendet oder stärker gewichtet, um die Eignung des ordinalen Klassifikationsmodells zum korrekten Verarbeiten dieser Mikroskopbilder zu verbessern.
Allgemeine Eigenschaften
Formulierungen wie „basierend auf“, „anhand“ oder „abhängig von“ sollen nichtabschließend verstanden werden, so dass weitere Abhängigkeiten bestehen können. Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Beispielsweise können genau ein oder mehr als ein Mikroskopbild gleichzeitig dem ordinalen Klassifikationsmodell eingegeben werden, um ein (oder mehrere) Ergebnisbilder zu berechnen.
Bei Objekten, die in einem Mikroskopbild dargestellt werden, kann es sich um eine Probe oder Probenteile handeln, z.B. Partikel, biologische Zellen, Zellorganellen, Viren, Bakterien oder Teile hiervon. Objekte können auch Deckgläser oder andere Teile eines Probenträgers sein. Anstelle der Pluralform „Objekte“ können sich die beschriebenen Ausführungen auch auf nur ein einziges Objekt beziehen.
Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst. Das Mikroskop kann ein Lichtmikroskop sein, welches eine Systemkamera und optional eine Übersichtskamera aufweist. Auch andere Arten von Mikroskopen sind möglich, beispielsweise Elektronenmikroskope, Röntgenmikroskope oder Rasterkraftmikroskope.
Die Recheneinrichtung des Mikroskopiesystems kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung von Mikroskopkomponenten eingerichtet sein. Eine dezentrale Gestaltung der Recheneinrichtung kann insbesondere genutzt werden, wenn ein Modell durch föderales Lernen mittels mehrerer voneinander getrennter Geräte gelernt wird.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.
Verschiedene Beschreibungen betreffen das Training des ordinalen Klassifikationsmodells. Varianten des erfindungsgemäßen Verfahrens ergeben sich einerseits daraus, dass die Durchführung des Trainings Teil des Verfahrens ist. In anderen Varianten wird ein fertig trainiertes ordinales Klassifikationsmodell verwendet, welches gemäß dem beschriebenen Training vorab erzeugt wurde.
KURZBESCHREIBUNG DER FIGUREN
Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Trainings eines maschinell gelernten Modells des Stands der Technik für eine Bild-zu-Bild-Abbildung;
2 zeigt schematisch ein Training eines ordinalen Klassifikationsmodells für eine Bild-zu-Bild-Abbildung gemäß Ausführungsbeispielen der Erfindung;
3 zeigt schematisch die Verwendung des ordinalen Klassifikationsmodells aus 2 in der Inferenz;
4-6 zeigen jeweils Klassifikationsschätzungen der Klassifikatoren zu einem Pixel, woraus eine Konfidenz des Pixelwerts ermittelt wird; und
7 zeigt schematisch ein Ausführungsbeispiel eines Mikroskopiesystems der Erfindung.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 1
1 zeigt schematisch ein Training eines herkömmlichen maschinell gelernten Regressionsmodells M' für eine Bild-zu-Bild-Abbildung.
Trainingsdaten umfassen mehrere vorgegebene Mikroskopbilder 20 und zugehörige Zielbilder 30. Dargestellt ist eines der vorgegebenen Mikroskopbilder 20, beispielhaft ein Phasenkontrastbild, und das zugehörige Zielbild 30, in diesem Beispiel ein Fluoreszenzbild.
Zur besseren Sichtbarkeit sind in allen Figuren Fluoreszenzbilder gegenüber einer üblichen Darstellung invertiert dargestellt (hell/dunkel vertauscht). Zudem ist der Bildkontrast in den Phasenkontrastbildern und den Fluoreszenzbildern erhöht. Im Übrigen können die Bilder echten Aufnahmen entsprechen.
Das Regressionsmodell M' soll dazu trainiert werden, aus einem Mikroskopbild ein Ergebnisbild zu berechnen, welches in seiner Art den Zielbildern gleicht, das heißt einer statistischen Verteilung der Zielbilder zu entstammen scheint. Im dargestellten Beispiel handelt es sich um eine virtuelle Einfärbung (virtual staining), wodurch Bildbereiche von Proben 21 stärker hervorgehoben werden.
Im Training wird ein vorgegebenes Mikroskopbild 20 dem Regressionsmodell M' eingegeben, welches hieraus ein Ergebnisbild 60' berechnet. Das Ergebnisbild 60' sowie das zu dem Mikroskopbild 20 gehörige Zielbild Z werden in eine Ziel- oder Verlustfunktion L' eingegeben, welche Unterschiede zwischen diesen Bildern erfasst. Mit Hilfe eines Optimierers werden Modellparameterwerte des Regressionsmodells M' angepasst, um iterativ die Verlustfunktion L' zu minimieren. Ein zu Ende des Trainings berechnetes Ergebnisbild 60' sollte dadurch nur noch geringfügig vom zugehörigen Zielbild Z abweichen.
Das Regressionsmodell M' umfasst einen ersten Netzabschnitt M1 mit einem faltenden neuronalen Netz (CNN) in einer U-Net Architektur. Auf den ersten Netzabschnitt M1 folgt eine letzte Schicht des Regressionsmodells M'. Die Ausgabe des ersten Netzabschnitts M1 stellt somit die Ausgabe der vorletzten Schicht des gesamten Regressionsmodells M' dar und ist ein mehrkanaliges Bild / Tensor, z.B. mit der Dimension 256x256x64 bzw. 64 Kanäle an 2D-Bildern mit 256 mal 256 Bildpunkten. Die letzte Sicht des Regressionsmodell M' kombiniert die Kanäle aus dem mehrkanaligen Bild, um als Ergebnisbild eine Annäherung an das Zielbild auszugeben. Im dargestellten Beispiel ist die letzte Schicht eine 1x1-Faltungsschicht für eine fullyconvolutional Umsetzung, wie auch in dem eingangs genannten Artikel von O. Ronneberger et al. sowie US 9,971,966 B2 beschrieben. Ein 1x1-Filter hat eine Kanalanzahl, welche der Kanalanzahl des eingegebenen Tensors entspricht, im genannten Beispiel also 64, so dass ein 1x1x64 Faltungsfilter vorliegt. In der 1x1-Faltung erfolgt eine punktweise Multiplikation zwischen dem eingegebenen Tensor und dem 1×1-Filter; darauf werden alle Multiplikationsergebnisse zusammenaddiert, um einen Pixelwert im Ergebnisbild zu formen. In 1 ist schematisch angedeutet, wie die Kanäle von einem Bildpunkt der Ausgabe der vorletzten Schicht durch die 1x1 - Faltung zu einem Pixelwert im Ergebnisbild 60' kombiniert werden. Wird ein einziger 1x1-Filter verwendet, hat im genannten Beispiel die Ausgabe der letzten Filterschicht, also das Ergebnisbild 60', die Größe 256x256x1.
Die letzte Schicht des Regressionsmodells M' kann eine fully-connected-Schicht darstellen, welche eine Linearkombination der vorletzten Schichtausgaben implementiert.
Erlaubte Werte eines Pixels im Ergebnisbild 60' liegen in einem vorgegebenen Bereich, welcher beispielsweise 256 verschiedene Werte umfasst. Dadurch kann ein Graustufenbild mit 256 verschiedenen Helligkeitsstufen erzeugt werden. In der Verlustfunktion L' kann eine Differenz zwischen dem Grauwert eines Pixels des Ergebnisbildes 60' und dem Grauwert des örtlich entsprechenden Pixels des Zielbildes Z erfasst werden. Dies sind die gewöhnlichen Vorgänge zum Trainieren bekannter Bild-zu-Bild-Regressionsmodelle. Die Erfindung unterscheidet sich wesentlich hiervon, wie nachstehend erläutert.
FIG. 2
2 zeigt schematisch ein Training eines ordinalen Klassifikationsmodells M gemäß einem Ausführungsbeispiel eines erfindungsgemäßen Verfahrens.
Trainingsdaten umfassen wiederum mehrere vorgegebene Mikroskopbilder 20 und zugehörige Zielbilder Z, welche den Bildern aus 1 gleichen können. Allerdings werden die Zielbilder Z nicht dazu verwendet, dass in einer Verlustfunktion L Abweichungen der Modellausgaben zu Pixelwerten der Zielbilder erfasst bzw. minimiert werden.
Vielmehr werden in Prozess P2 zunächst aus einem Zielbild Z durch Vergleich mit verschiedenen Pixelschwellwerten P1 bis P255 mehrere Binärmasken Z1 bis Z255 gebildet. Zur besseren Übersicht zeigt 2 nur einige der Binärmasken Z1 bis Z255. Abhängig von einem Über- oder Unterschreiten eines Pixelschwellwerts P1 bis P255 wird einem Pixel des Zielbilds Z in der zugehörigen Binärmaske Z1 bis Z255 ein Wert von 0 oder 1 zugeordnet. Der Pixelschwellwert P16 beträgt z.B. 16. Jeder Pixel im Zielbild Z, dessen Wert 16 oder mehr beträgt, wird in der Binärmaske Z16 zu einem Pixel mit Wert 1, während jeder Pixel im Zielbild Z mit einem Wert kleiner 16 zu einem Pixel mit Wert 0 in der Binärmaske Z16 wird. In einer Binärmaske gibt es folglich nur zwei mögliche Werte für jeden Pixel. Exemplarisch zeigt 2 die Binärmasken Z1, Z16, Z80, Z112 und Z255, welche mit Pixelschwellwerten 1, 16, 80, 112 bzw. 255 berechnet wurden. Mögliche Pixelwerte des Zielbilds Z liegen hierbei zwischen 0 und 255. Die Pixelschwellwerte P1 bis P255 werden so gewählt, dass sie den Bereich der möglichen Pixelwerte der Zielbilder Z abdecken. Die Binärmasken Z1-Z255 geben Klassenzugehörigkeiten zu Zielwertintervallen der Pixelwerte an; bspw. gibt die Binärmaske Z80 eine Klassenzugehörigkeit zu dem Zielwertintervall ≥80 an. Die Binärmasken Z1-Z255 geben also nicht Klassenzugehörigkeiten zu einzelnen Zielwerten (z.B. Pixelwert gleich 79, gleich 80, oder gleich 81) an. Dies ist wichtig, damit die Binärmasken Z1-Z255 eine Reihenfolge bilden, in welcher eine Binärmaske die Klassenzugehörigkeiten aller Binärmasken höherer Nummerierung enthält; beispielsweise enthält die Binärmaske Z80 alle Klassenzugehörigkeiten von Binärmasken, die mit den Schwellwerten ≥81 bis ≥255 berechnet wurden und eben zusätzlich die Klassenzugehörigkeiten, die durch Vergleich mit dem Schwellwert 80 hinzukommen, also Pixel des Zielbilds Z mit Wert 80. Hierdurch bleibt der ordinale Charakter der Skala an Pixelwerten in den Klassifizierungen erhalten.
Das ordinale Klassifikationsmodell M umfasst einen ersten Netzabschnitt M1, welcher wie zu 1 beschrieben gestaltet sein kann und ein CNN, insbesondere in der U-Net Architektur, enthalten kann. Indem der erste Netzabschnitt M1 in bekannter Weise gestaltet sein kann, kann die Erfindung leicht einsetzbar als Erweiterung für im Wesentlichen alle gängigen Bild-zu-Bild-Abbildungsmodelle im Mikroskopiekontext eingesetzt werden.
Das vorgegebene Mikroskopbild 20 wird dem ordinalen Klassifikationsmodell M eingegeben, das heißt in den ersten Netzabschnitt M1 eingegeben, und der erste Netzabschnitt M1 berechnet hieraus einen Ausgabetensor bzw. eine mehrkanalige Ausgabe M_out.
Als letzte Schicht umfasst das ordinale Klassifikationsmodell M mehrere binäre Klassifikatoren C1 bis C255, womit sich das ordinale Klassifikationsmodell M von herkömmlichen Regressionsmodellen unterscheidet. Jeder binäre Klassifikator C1 bis C255 erhält den Ausgabetensor M_out des ersten Netzabschnitts M1. Die Klassifikatoren C1 bis C255 sind jeweils einschichtig gebildet und berechnen eine Linearkombination aus den Kanälen des Ausgabetensors M_out. Die Ausgabe von einem der Klassifikatoren C1-C255 ist eine Klassifikationsmaske K1-K255, in welcher jeder Pixelwert eine Klassenzugehörigkeit (oder eine Wahrscheinlichkeit einer Klassenzugehörigkeit) des entsprechenden Pixels angibt. Eine Klassenzugehörigkeit wird im Sinne von „ja/nein“ durch zwei verschiedene Werte angegeben, z.B. 0 und 1, so dass eine Klassifikationsmaske eine Binärmaske sein kann. Wird stattdessen die Wahrscheinlichkeit einer Klassenzugehörigkeit angegeben, kann je nach gewünschter Abstufung ein Pixel einen Wert in einem beliebig vorgegebenen Intervall haben, welches von 0 bis 1 laufen kann oder auf ein Intervall 0 bis 1 umgerechnet werden kann, um leichter als Wahrscheinlichkeit interpretiert werden zu können.
Die aus dem Zielbild Z berechneten Binärmasken Z1 bis Z255 werden als Klassifikationsziele T1 bis T255 im Training des ordinalen Klassifikationsmodells M verwendet. In die Verlustfunktion L gehen somit die Binärmasken Z1 bis Z255 ein.
Die Klassifikatoren C1 bis C255 unterscheiden sich darin, mit welchem Pixelschwellwert P1 bis P255 die zugehörigen Binärmasken Z1 bis Z255 / Klassifikationsziele T1 bis T255 gebildet sind.
Beispielsweise gibt der Klassifikator C16 eine Klassifikationsmaske K16 aus, welche in der Verlustfunktion L mit der Binärmaske Z16 verglichen wird (Prozess S3). Aus Abweichungen zwischen der Klassifikationsmaske K16 und der Binärmaske Z16 berechnet ein Optimierer eine Modellparameteranpassung des Klassifikators C16 (nicht der übrigen Klassifikatoren), wobei durch Backpropagation auch eine Anpassung der Modellparameterwerte des ersten Abschnitts M1 erfolgt, Prozess S4. In gleicher Weise wird für die übrigen Klassifikatoren verfahren. Die Anpassung der Modellparameterwerte von einem der Klassifikatoren C1 bis C255 beruht somit allein auf den eigenen Fehlern des jeweiligen Klassifikators C1 bis C255. Iterativ wird das ordinale Klassifikationsmodell M in dieser Weise dazu angepasst, dass die Ausgaben der Klassifikatoren C1 bis C255 immer stärker den Binärmasken Z1-Z255 gleichen.
Jedem Klassifikator C1 bis C255 ist ein Pixelschwellwert P1 bis P255 zugeordnet. Die Klassifikationsmaske K1 des Klassifikators C1 gibt somit für jeden Bildpixel eine Klassifizierung an, ob der entsprechende Bildpixel größer/gleich dem Pixelschwellwert P1 an. Analog gibt jede der übrigen Klassifikationsmasken eine Klassifizierung an, ob der entsprechende Bildpixel größer/gleich dem Pixelschwellwert ist, der dem jeweiligen Klassifikator zugeordnet ist.
Die Klassifikatoren C1-C255 stellen dadurch ordinale Einzelklassifikatoren dar, welche aufgrund der Reihenfolge der Pixelschwellwerte (von P1 zu P255 immer aufsteigend oder alternativ immer absteigend) eine Reihenfolge haben.
Das Training der Klassifikatoren C1-C255 kann sich von dem in 1 gezeigten Training unter anderem im Optimierer und in der Metrik unterscheiden, die in der Verlustfunktion verwendet wird. Im Fall von 1 wird für jeden Pixel des vorhergesagten Ergebnisbildes 60' der Unterschied zum örtlich entsprechenden Ground-Truth-Pixelwert des Zielbildes Z anhand einer Regressionsmetrik (z.B. L1-Loss oder L2-Loss) erfasst; mittels eines geeigneten Optimierers (z.B. dem Adam-Optimierer) erfolgt eine Modellparameteranpassung zur Minimierung der Verlustfunktion. Im Gegensatz dazu werden bei 2 für jeden Pixel der Ausgaben der binären Klassifikatoren C1-C255 die Abweichungen zu den entsprechenden Binärmasken Z1-Z255 anhand einer geeigneten Klassifikationsmetrik (z.B. eines binären Kreuzentropieverlusts / Binary-Cross-Entropy-Loss) erfasst; eine Modellparameteranpassung zur Minimierung der Verlustfunktion erfolgt mittels eines geeigneten Optimierers wie dem SGD-Optimierer (SGD: stochastischer Gradientenabstieg / stochastic gradient descent).
Wie beschrieben unterscheiden sich 1 und 2 auch in der Aufbereitung der Trainingsdaten: Im Fall von 1 erfasst die Verlustfunktion die Abweichung zu Pixeln des Zielbilds Z, welche einen Wert in einem kontinuierlichen Bereich haben können. Hingegen werden im Fall von 2 jedem Pixel im Zielbild Z eine Anzahl von N binären Klassenzugehörigkeiten zugeordnet (wobei N die Anzahl an Pixelschwellwerten P1-P255 bzw. Klassifikatoren C1-C255 ist), wobei die Klassenzugehörigkeiten angeben, ob der kontinuierliche Zielwert des Zielbilds Z im Wertebereich des jeweiligen ordinalen Klassifikators C1-C255 liegt.
Ein weiterer Unterschied zwischen den Fällen der 1 und 2 besteht darin, dass im herkömmlichen Vorgehen der 1 die Modellausgabe (das Ergebnisbild 60') bereits das final gewünschte Ergebnis ist, nämlich ein Bild, welches den Zielbildern Z entspricht, während im Fall von 2 eine Weiterverarbeitung der Modellausgabe (der Klassifizierungsmasken K1-K255) nötig ist, damit ein Bild erzeugt wird, welches einem Zielbild Z entspricht. Im Training des ordinalen Klassifikationsmodells M ist eine solche Weiterverarbeitung nicht nötig und wird nachfolgend mit Bezug auf die folgende Figur erläutert, welche eine Verwendung des fertig trainierten Klassifikationsmodells M in der Inferenz zeigt.
FIG. 3
3 zeigt beispielhaft die Verwendung des ordinalen Klassifikationsmodells M aus der vorhergehenden Figur nach Abschluss des Trainings.
Ein zu verarbeitendes Mikroskopbild 25 wird in Prozess S5 dem ordinalen Klassifikationsmodell M eingegeben und in Prozess S6 berechnet jeder Klassifikator C1-C255 zu diesem Mikroskopbild 25 eine Klassifikationsmaske K1-K255.
In Prozess S7 werden die Klassifikationsmasken K1-K255, die von den Klassifikatoren C1-C255 zu demselben Mikroskopbild 25 berechnet werden, zu einem Ergebnisbild 60 kombiniert. Das Kombinieren der Klassifikationsmasken K1-K255 kann durch ein Summieren erfolgen. Die Werte von örtlich miteinander übereinstimmenden Pixeln der Klassifikationsmasken K1-K255 werden addiert. Geben beispielsweise für einen Pixel der Bildkoordinaten (x, y) die Klassifikationsmasken K1 bis K80 einen Wert von 1 an (in 3 als schwarzer Pixel dargestellt), während der Pixel dieser Bildkoordinaten (x, y) in allen übrigen Klassifikationsmasken einen Wert von 0 hat, so ergibt die Summe einen Wert bzw. Grauwert von 80. Durch die Summenbildung kann somit aus mehreren Binärmasken ein Graustufenbild erzeugt werden. Die Anzahl verschiedener Graustufen kann mit der Anzahl an Binärmasken übereinstimmen oder um 1 größer sein als die Anzahl an Binärmasken.
Das ordinale Klassifikationsmodell M kann dazu gestaltet sein, dass jeder Klassifikator pixelweise Klassifikationswahrscheinlichkeiten anstelle einer ja/nein-Klassifizierung ausgibt. Die Klassifikationswahrscheinlichkeiten können im Bereich 0 bis 1 liegen, wobei 1 eine sichere Klassenzugehörigkeit angibt (entsprechend einem schwarzen Pixel in 3). Auch in diesem Fall kann das Kombinieren der Klassifikationsmasken K1-K255 durch pixelweises Summieren erfolgen. Hierdurch können prinzipiell genauere Ergebnisse erzielt werden als durch das Summieren von binären 0/1-Klassifikationsergebnissen.
Das Summieren ist eine beispielhafte Umsetzung einer gemeinsamen Entscheidung auf Basis der Klassifikationsmasken K1-K255. Stattdessen kann auch für jeden Pixel die Klassifikationsmaske K1-K255 mit größten Pixelschwellwert ermittelt werden, welche für diesen Pixel noch eine Klassenzugehörigkeit bzw. eine Klassifikationswahrscheinlichkeit größer 50% angibt, und der Pixelschwellwert zu dieser Klassifikationsmaske wird als Pixelwert im Ergebnisbild 60 genutzt. Geben z.B. die Klassifikationsmasken K1-K112 zu einem bestimmten Pixel eine Klassenzugehörigkeit an (schwarzer Pixel in 3), während die in der Reihenfolge nachfolgenden Klassifikationsmasken bis K255 zu diesem Pixel keine Klassenzugehörigkeit angeben (weißer Pixel in der Figur), so wird der Pixelschwellwert 112 der Klassifikationsmaske K112 als Grauwert/Pixelwert des entsprechenden Pixels im Ergebnisbild 60 verwendet.
FIG. 4 bis 6
Die Klassifikationsmasken, die von den Klassifikatoren in der Inferenz berechnet werden, können hinsichtlich einer Konsistenz analysiert werden. Im Fall von logischen Widersprüchen zwischen den Klassifikationsmasken kann auf eine niedrige Konfidenz geschlossen werden. Die Klassifikationsmasken können pixelweise analysiert werden, wobei aus jeder Klassifikationsmaske jeweils ein Pixel mit denselben Bildkoordinaten betrachtet wird: Im Fall von logischen Widersprüchen zwischen diesen Pixelwerten (Klassifikationsschätzungen), kann für den örtlich entsprechenden Pixel im Ergebnisbild auf eine niedrige Konfidenz geschlossen werden. In dieser Weise kann für jeden Pixel des Ergebnisbildes eine Konfidenz berechnet werden.
Die 4, 5 und 6 zeigen jeweils ein Beispiel für die Pixelwerte bzw. Klassifikationsschätzungen S der Klassifikatoren zu einem bestimmten Pixel. In den dargestellten Fällen werden 19 Klassifikatoren C1-C19 verwendet. Die Figuren zeigen jeweils einen Graph mit den Klassifikationswahrscheinlichkeiten / Klassifikationsschätzungen S der Klassifikatoren C1-C19 zu einem Pixel ihrer jeweiligen Klassifikationsmaske. Aus jeder Klassifikationsmaske wird ein Pixel mit denselben Bildkoordinaten betrachtet, beispielsweise stets der erste Pixel oben links in jeder Klassifikationsmaske. Ein Verlauf V der Klassifikationsschätzungen S über die Reihe an Klassifikatoren C1-C19 gibt Aufschluss auf die Vertrauenswürdigkeit der Klassifikationsschätzungen S und somit des daraus berechneten Pixelwerts im Ergebnisbild. Die Klassifikatoren C1-C19 können analog zum Beispiel der 2 trainiert worden sein, womit ein Klassifikator Ci die Wahrscheinlichkeit für eine Klassenzugehörigkeit schätzt, dass ein Pixelwert im Ergebnisbild ≥i sein sollte. Im Beispiel der 4-6 läuft i von 1 bis 19. 4 zeigt einen idealen Verlauf V, welcher monoton fallend ist und eine Sigmoidform mit einer steil abfallenden Flanke F hat. Hingegen zeigen die Beispiele der 5 und 6 logische Widersprüche in den Klassifikationsschätzungen S: im Fall der 6 ist beispielsweise die Klassifikationsschätzung des Klassifikators C4 (welcher die Wahrscheinlichkeit angibt, dass der Pixelwert ≥4 sein soll) größer als die Klassifikationsschätzung des Klassifikators C1 (wonach der Pixelwert ≥1 sein soll). Solche Widersprüche deuten auf eine niedrige Konfidenz hin. Als Maß für die Konfidenz kann z.B. eine Abweichung der Klassifikationsschätzungen S von einem monotonen Verlauf berechnet werden. Alternativ kann eine sigmoidale Funktion an den Verlauf V gefittet werden und der Fitfehler wird als Maß der Konfidenz genutzt. Außerdem kann die Punktsymmetrie zu einem Mittelpunkt einer Flanke F im Verlauf V ermittelt werden. Im Beispiel der 4 liegt dieser Mittelpunkt beim Klassifikator C10. Je stärker der Verlauf V von einer Punktsymmetrie abweicht, desto niedriger ist die Konfidenz. Alternativ oder zusätzlich kann als Konfidenzmaß auch eine Flankenbreite Fw ermittelt werden, das heißt die Breite der Flanke F im sigmoidalen Verlauf V (siehe 4). Die Pixelschwellwerte der Klassifikatoren, welche den Beginn und das Ende der Flanke F bilden, stellen die Unter- und Obergrenze für eine Genauigkeit des Pixelwerts des Ergebnisbildes dar. Im Beispiel von 4 beginnt die Flanke F beim Klassifikator C9 (mit Pixelschwellwert 9) und endet beim Klassifikator C11 (mit Pixelschwellwert 11), so dass als Genauigkeit für den Pixelwert das Intervall 9-11 angegeben werden kann. Der Pixelwert selbst kann als Summe der Klassifikationsschätzungen S bestimmt werden, was im Beispiel der 4 in etwa 10 ergibt.
FIG. 7
7 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 9. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 9 Detektionslicht aus einem Bereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können beliebige Objekte, Fluide oder Strukturen sein. Zusätzlich oder anstelle der Mikroskopkamera 9 kann auch ein Okular 12 genutzt werden. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9A zum Aufnehmen eines Übersichtsbildes des Probenträgers 7. Ein Sichtfeld 9C der Übersichtskamera 9A ist größer als ein Sichtfeld der Mikroskopkamera 9. Im dargestellten Beispiel blickt die Übersichtskamera 9A über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden.
Als Mikroskopbild werden von dem Mikroskop aufgenommene Rohbilddaten oder hieraus weiterverarbeitete Daten verstanden. Insbesondere kann das Mikroskopbild ein Übersichtsbild der Übersichtskamera 9A oder ein Probenbild der Probenkamera/Systemkamera 9 sein. Aufgenommene Mikroskopbilder können für die oben beschriebenen Varianten des erfindungsgemäßen Verfahrens genutzt werden, entweder im Modelltraining oder in der Inferenz nach Trainingsabschluss. Auch die für das Modelltraining bereitgestellten Zielbilder können vom Mikroskop 1 aufgenommene Bilder oder hieraus gewonnene Bilder sein. Das Verfahren kann durch ein Computerprogramm 11 ausgeführt werden, welches Teil der Recheneinrichtung 10 ist.
Abwandlungen der beschriebenen Beispiele
Die beschriebenen Eigenschaften beispielhafter Ausführungsformen können miteinander kombiniert und insbesondere wie nachfolgend beschrieben modifiziert werden.
Die zu 3 genannte Kombination der Klassifikationsmasken K1-K255 in Prozess S7 kann auch durch ein maschinell gelerntes Modell (nachfolgend Kombinationsmodell) implementiert werden. Dem Kombinationsmodell werden im Training die Klassifikationsmasken K1-K255 eingegeben, die zu einem vorgegebenen Mikroskopbild 20 der Trainingsdaten des ordinalen Klassifikationsmodells M berechnet wurden. Als Ziel / ground truth wird im Training des Kombinationsmodells das Zielbild Z verwendet. Das Kombinationsmodell kann insbesondere einschichtig gestaltet sein und z.B. lediglich eine Linearkombination der Klassifikationsmasken K1-K255 berechnen. Ein Training des Kombinationsmodells kann gleichzeitig mit oder nach dem Training des ordinalen Klassifikationsmodells M erfolgen. Das Kombinationsmodell und das ordinale Klassifikationsmodell M können zum Bilden eines Gesamtmodells konkateniert werden, so dass im Gebrauch des Gesamtmodells nur noch Ergebnisbilder 60, nicht aber Klassifikationsmasken K1-K255, explizit ausgegeben werden.
In 2 werden aus einem Zielbild Z zunächst in einem separaten Vorgang Binärmasken Z1-Z255 erzeugt, welche anschließend in der Verlustfunktion L verwendet werden. Stattdessen ist es auch möglich, die Binärmasken Z1-Z255 erst innerhalb der Verlustfunktion L aus dem Zielbild Z zu berechnen. Der Vergleich mit Pixelschwellwerten zum Zuordnen einer Klassenzugehörigkeit erfolgt in diesem Fall erst innerhalb der Verlustfunktion L. Das Ergebnis der Verlustfunktion bleibt durch diese Modifikation unverändert, da weiterhin die Abweichungen zu den Klassenzugehörigkeiten, wie sie in den Binärmasken angegeben sind, erfasst wird. In dieser Modifikation müssen die Binärmasken Z1-Z255 nicht explizit ausgegeben oder gespeichert werden.
Die Anzahl an Pixelschwellwerten zum Bilden von Binärmasken ist gleich der Anzahl an Klassifikatoren und somit gleich der Anzahl an Klassifikationsmasken, die durch das ordinale Klassifikationsmodell zu einem eingegebenen Mikroskopbild berechnet werden. Die Anzahl möglicher Pixelwerte im Ergebnisbild, das aus den Klassifikationsmasken gebildet wird, kann gleich bzw. um 1 größer sein als die Anzahl an Pixelschwellwerten. Insbesondere im Fall eines pixelweisen Summierens der Klassifikationswahrscheinlichkeiten verschiedener Klassifikationsmasken kann aber eine erhöhte Genauigkeit erzielt werden, welche einer feineren Abstufung entspricht als die Abstände zwischen den Pixelschwellwerten. Daher kann die Anzahl möglicher Pixelwerte im Ergebnisbild auch erheblich höher sein, z.B. mindestens doppelt so hoch, wie die Anzahl an Pixelschwellwerten. Eine Schrittweite zwischen den Pixelschwellwerten kann jeweils 1 betragen (z.B. können die Pixelschwellwerte 1; 2; 3; ... 255 betragen) oder einen beliebigen größeren Wert; z.B. können durch eine Schrittweite von 2 die Pixelschwellwerte 2; 4; 6; ... 256 gebildet werden.
Eine Summe oder allgemein Kombination der Pixelwerte der Klassifikationsmasken kann auf einen anderen Wertebereich abgebildet werden. Wird z.B. die pixelweise Summe von 128 Klassifikationsmasken berechnet, liegt die Summe im Intervall 0 bis 128. Diese Summe kann beispielsweise durch Multiplikation mit dem Faktor 2 auf das Intervall 0 bis 256 abgebildet werden, was eine vollständige Nutzung einer 8-Bit Farbtiefe ermöglicht. Außerdem können durch die Abbildung der Summe auf einen größeren Zahlenbereich auch Kommazahlen, die aus der Summe von Klassifikationswahrscheinlichkeiten resultieren, auf verschiedene Pixelwerte abgebildet werden. Im vorgenannten Beispiel können z.B. die Summen 4,1 und 4,4 durch Multiplikation mit 2 auf die gerundeten Pixelwerte 8 und 9 abgebildet werden.
Die Pixelschwellwerte müssen keine äquidistante Schrittweite zueinander haben. Vielmehr kann beispielsweise ein Abstand zwischen aufeinanderfolgenden Pixelschwellwerten P mit größer werdendem Pixelschwellwert ansteigen, insbesondere exponentiell in der Art 2^P, also: 2; 4; 8; 16; 32; etc. Steht ein hoher Pixelwert für eine hohe empfangene Lichtmenge, kann hierdurch mit einer reduzierten Anzahl an Klassifikatoren sowohl für niedrige als auch hohe Detektionslichtintensitäten eine verhältnismäßig hohe Sensitivität bereitgestellt werden. Eine Summe der Pixelwerte von örtlich übereinstimmenden Pixeln der Klassifikationsmasken wird analog zur Bildung der Pixelschwellwerte auf einen Pixelwertebereich für das Ergebnisbild abgebildet; im vorgenannten Beispiel wird die Summe s gemäß 2^s+0,5 auf einen Pixelwert abgebildet. Eine Summe s=4,5 kann z.B. für einen Pixel vorliegen, wenn die Klassifikatoren zu den Schwellwerten 2; 4; 8 und 16 eine Wahrscheinlichkeit der Klassenzugehörigkeit von 1 angeben, der Klassifikator zum Schwellwert 32 eine Wahrscheinlichkeit von 0,5 angibt und alle übrigen Klassifikatoren eine Wahrscheinlichkeit von 0 angeben. Die Summe s=4,5 wird auf den Pixelwert 2^s+0,5 = 32 abgebildet.
Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: (Mikroskop-)objektiv
5: Beleuchtungseinrichtung
6: Probentisch / Mikroskoptisch
7: Probenträger
9: Mikroskopkamera
9A: Übersichtskamera
9B: Spiegel
9C: Sichtfeld der Übersichtskamera
10: Recheneinrichtung
11: Computerprogramm
12: Okular
20: vorgegebenes Mikroskopbild für das Training
21: Bildbereiche von Proben, z.B. biologischen Zellen
25: Mikroskopbild / zu verarbeitendes Mikroskopbild
60, 60': Ergebnisbild
100: Mikroskopiesystem
C1 - C255: Klassifikatoren
F: Flanke im Verlauf der Klassifikationsschätzungen der Klassifikatoren zu einem bestimmten Pixel
Fw: Breite der Flanke F
K1 - K255: Klassifikationsmasken, welche die Klassifikatoren C1 - C255 aus einem eingegebenen Mikroskopbild 20, 25 berechnen
L, L': Zielfunktion / Verlustfunktion
M: ordinales Klassifikationsmodell
M': Regressionsmodell des Stands der Technik
M1: erster Netzabschnitt des Modells M oder M'
M_out: mehrkanalige Ausgabe des ersten Netzabschnitts
P1 - P255: Pixelschwellwerte
S: Klassifikationsschätzungen der Klassifikatoren zu einem bestimmten Pixel
S1-S7: Prozesse eines beispielhaften Verfahrens der Erfindung
T1 - T255: Klassifikationsziele für das Training der Klassifikatoren C1 - C255
V: Verlauf der Klassifikationsschätzungen der Klassifikatoren zu einem bestimmten Pixel
Z: Zielbild zu einem vorgegebenen Mikroskopbild
Z1 - Z255: Binärmasken, aus einem Zielbild erzeugt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102021114287 A1 [0005]
US 9971966 B2 [0005, 0078]
DE 102019114459 A1 [0005]
DE 102021125576 [0007]

Zitierte Nicht-Patentliteratur

Ounkomol, Chawin, et al., „Label-free prediction of three-dimensional fluorescence images from transmitted light microscopy“, Nat Methods. November 2018; 15(11): 917-920. doi: 10.1038/s41592-018-0111-2 [0003]
Weigert, Martin, et al., „Content-Aware Image Restoration: Pushing the Limits of Fluorescence Microscopy“, bioRxiv, doi: https://doi.org/10.1101/236463; 03 Jul. 2018 [0003]
Rivenson, Yair, et al., „Deep Learning Microscopy“, Optica, 20 Nov. 2017, Vol. 4, No. 11, 1437-1443 [0003]
Ronneberger, Olaf, et al., „U-Net: Convolutional Networks for Biomedical Image Segmentation“, International Conference on Medical image computing and computer-assisted intervention (MICCAI) 18 Nov. 2015, Part III, LNCS 9351, pp. 234-241, 2015; DOI: 10.1007/978-3-319-24574-4_28 [0003]
Falk, Thorsten, et al., „U-Net - Deep Learning for Cell Counting, Detection, and Morphometry“, Nature Methods, 2019 Jan; 16(1):67-70. doi: 10.1038/s41592-018-0261-2. Epub 17 Dec 2018 [0003]
Frank, Eibe und Hall, Mark, „A Simple Approach to Ordinal Classification“, Conference Paper in Lecture Notes in Computer Science, August 2001, DOI: 10.1007/3-540-44795-4_13 [0007]

Claims

Ein Mikroskopiesystem zum Bilden eines Ergebnisbildes aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells (M), wobei das Mikroskopiesystem ein Mikroskop (1) zum Aufnehmen eines zu verarbeitenden Mikroskopbildes (25) und eine Recheneinrichtung (10) zum Verarbeiten des Mikroskopbildes (25) umfasst; wobei die Recheneinrichtung (10) ein ordinales Klassifikationsmodell (M) enthält, welches mehrere Klassifikatoren (C1-C255) umfasst und durch ein wie folgt gestaltetes Training festgelegt ist: • vorgegebene Mikroskopbilder (20) werden im Training in das ordinale Klassifikationsmodell (M) eingegeben (S1); • zu jedem vorgegebenen Mikroskopbild (20) ist ein Zielbild (Z) vorgegeben, wobei aus jedem Zielbild (Z) durch Vergleich mit verschiedenen Pixelschwellwerten (P1-P255) mehrere Binärmasken (Z1-Z255) erzeugt werden (S2); • diejenigen Binärmasken (Z1), die aus den Zielbildern (Z) mit Hilfe desselben Pixelschwellwerts (P1) erzeugt sind, werden im Training als Klassifikationsziele (T1-T255) von einem (C1) der Klassifikatoren (C1-C255) verwendet (S3), womit sich das Training verschiedener Klassifikatoren (C1-C255) darin unterscheidet, mit welchem Pixelschwellwert (P1-P255) die zugehörigen Klassifikationsziele (T1-T255) erzeugt sind; • wobei im Training eines der Klassifikatoren (C1-C255) Abweichungen von Klassifikationsmasken (K1-K255), welche der Klassifikator (C1-C255) aus vorgegebenen Mikroskopbildern (20) berechnet, zu den als Klassifikationsziele (T1-T255) verwendeten Binärmasken (Z1-Z255) reduziert werden (S4); wobei die Recheneinrichtung (10) dazu eingerichtet ist, nach Abschluss des Trainings ein zu verarbeitendes Mikroskopbild (25) dem ordinalen Klassifikationsmodell (M) einzugeben (S5), wobei jeder Klassifikator (C1-C255) eine Klassifikationsmaske (K1-K255) zu diesem Mikroskopbild (25) berechnet (S6); wobei die Recheneinrichtung (10) dazu eingerichtet ist, die Klassifikationsmasken (K1-K255), die von den Klassifikatoren (C1-C255) zu demselben zu verarbeitenden Mikroskopbild (25) berechnet werden, zu einem Ergebnisbild (60) zu kombinieren (S7).
Ein computerimplementiertes Verfahren zum Berechnen eines Ergebnisbildes aus einem Mikroskopbild unter Verwendung eines ordinalen Klassifikationsmodells (M), wobei das ordinale Klassifikationsmodell (M) mehrere Klassifikatoren (C1-C255) umfasst und durch ein wie folgt gestaltetes Training festgelegt wird: • vorgegebene Mikroskopbilder (20) werden im Training in das ordinale Klassifikationsmodell (M) eingegeben (S1); • zu jedem vorgegebenen Mikroskopbild (20) ist ein Zielbild (Z) vorgegeben, wobei aus jedem Zielbild (Z) durch Vergleich mit verschiedenen Pixelschwellwerten (P1-P255) mehrere Binärmasken (Z1-Z255) erzeugt werden (S2); • diejenigen Binärmasken (Z1), die aus den Zielbildern (Z) mit Hilfe desselben Pixelschwellwerts (P1) erzeugt sind, werden im Training als Klassifikationsziele (T1-T255) von einem (C1) der Klassifikatoren (C1-C255) verwendet (S3), womit sich das Training verschiedener Klassifikatoren (C1-C255) darin unterscheidet, mit welchem Pixelschwellwert (P1-P255) die zugehörigen Klassifikationsziele (T1-T255) erzeugt sind; • wobei im Training eines der Klassifikatoren (C1-C255) Abweichungen von Klassifikationsmasken (K1-K255), welche der Klassifikator (C1-C255) aus vorgegebenen Mikroskopbildern (20) berechnet, zu den als Klassifikationsziele (T1-T255) verwendeten Binärmasken (Z1-Z255) reduziert werden (S4); wobei nach Abschluss des Trainings ein zu verarbeitendes Mikroskopbild (25) dem ordinalen Klassifikationsmodell (M) eingegeben wird (S5) und jeder Klassifikator (C1-C255) eine Klassifikationsmaske (K1-K255) zu diesem Mikroskopbild (25) berechnet (S6); wobei die Klassifikationsmasken (K1-K255), die von den Klassifikatoren (C1-C255) zu demselben zu verarbeitenden Mikroskopbild (25) berechnet werden, zu einem Ergebnisbild (60) kombiniert werden (S7).
Das Verfahren nach Anspruch 2, wobei das ordinale Klassifikationsmodell (M) einen ersten Netzabschnitt (M1) mit einem faltenden neuronalen Netz umfasst, wobei das zu verarbeitende Mikroskopbild (25) dem ersten Netzabschnitt (M1) eingegeben wird, welches hieraus eine mehrkanalige Ausgabe (M_out) berechnet; wobei die mehrkanalige Ausgabe (M_out) des ersten Netzabschnitts (M1) jedem der Klassifikatoren (C1-C255) eingegeben wird, welche hieraus die Klassifikationsmasken (K1-K255) berechnen.
Das Verfahren nach Anspruch 3, wobei jeder Klassifikator (C1-C255) dazu gestaltet ist, eine Linearkombination aus der mehrkanaligen Ausgabe (M_out) des ersten Netzabschnitts (M1) zu berechnen, um die Klassifikationsmaske (K1-K255) zu bilden; und wobei sich die Klassifikatoren (C1-C255) nach dem Training darin unterscheiden, wie die jeweilige Linearkombination gebildet wird.
Das Verfahren nach einem der Ansprüche 2 bis 4, wobei lediglich die aus den Zielbildern (Z) erzeugten Binärmasken (Z1-Z255), aber nicht die Zielbilder (Z) selbst im Training des ordinalen Klassifikationsmodells (M) verwendet werden.
Das Verfahren nach einem der Ansprüche 2 bis 5, wobei die von den Klassifikatoren (C1-C255) berechneten Klassifikationsmasken (K1-K255) Binärmasken (Z1-Z255) sind oder pixelweise eine Klassifikationswahrscheinlichkeit angeben.
Das Verfahren nach einem der Ansprüche 2 bis 6, wobei jedes Zielbild (Z) ein Graustufenbild ist, aus dem durch den Vergleich mit den verschiedenen Pixelschwellwerten (P1-P255) die verschiedenen Binärmasken (Z1-Z255) gebildet werden, und wobei das Ergebnisbild (60), das aus den Klassifikationsmasken (K1-K255) der Klassifikatoren (C1-C255) berechnet wird, ein Graustufenbild ist.
Das Verfahren nach einem der Ansprüche 2 bis 6, wobei jedes Zielbild (Z) ein oder mehrere Kanäle aufweist, wobei für jeden Kanal durch Vergleich mit Pixelschwellwerten (P1-P255) mehrere Binärmasken (Z1-Z255) erzeugt werden und hiermit Klassifikatoren (C1-C255) des ordinalen Klassifikationsmodells (M) trainiert werden.
Das Verfahren nach einem der Ansprüche 2 bis 8, wobei im Training eine Zielfunktion (L) optimiert wird, welche die Abweichungen zwischen den Klassifikationsmasken (K1-K255) und den Binärmasken (Z1-Z255) erfasst, wobei die Binärmasken (Z1-Z255) innerhalb der Zielfunktion (L) aus den Zielbildern (Z) berechnet werden.
Das Verfahren nach einem der Ansprüche 2 bis 9, wobei zu jeder Binärmaske (Z1-Z255) eine Gewichtungsmaske berechnet wird, wobei ein Gewicht in der Gewichtungsmaske umso größer ist, je weiter ein Pixelwert des Zielbildes (Z), aus dem die Binärmaske (Z1-Z255) berechnet wurde, von dem Pixelschwellwert (P1-P255) entfernt ist, der zum Berechnen der Binärmaske (Z1-Z255) verwendet wurde, wobei im Training die Abweichungen zwischen den Klassifikationsmasken (K1-K255) und den Binärmasken (Z1-Z255) durch die Gewichtungsmasken gewichtet werden.
Das Verfahren nach einem der Ansprüche 2 bis 10, wobei die Klassifikationsmasken (K1-K255), die von den Klassifikatoren (C1-C255) zu demselben Mikroskopbild (25) berechnet werden, pixelweise addiert werden, um das Ergebnisbild (60) zu formen.
Das Verfahren nach einem der Ansprüche 2 bis 11, wobei ein maschinell gelerntes Modell dazu verwendet wird, aus den Klassifikationsmasken (K1-K255) das Ergebnisbild (60) zu berechnen, wozu Trainingsdaten des maschinell gelernten Modells als Eingabebilder die Klassifikationsmasken (K1-K255) umfassen, welche vom ordinalen Klassifikationsmodell (M) aus einem der vorgegebenen Mikroskopbilder (20) berechnet werden, und das zu diesem vorgegebenen Mikroskopbild (20) zugehörige Zielbild (Z) als Trainingsziel des maschinell gelernten Modells verwendet wird.
Das Verfahren nach einem der Ansprüche 2 bis 12, wobei das Ergebnisbild (60) durch eines oder mehreres aus Folgendem gebildet wird: • ein Ergebnisbild (60), in welchem dargestellte Objekte deutlicher sichtbar oder in höherer Bildqualität dargestellt sind, oder eine Darstellung bestimmter Strukturen unterdrückt wird; • ein virtuell eingefärbtes Bild, wozu die im Training vorgegebenen Mikroskopbilder (20) mit einer anderen Kontrastart als die Zielbilder (Z) aufgenommen sind; • eine Auflösungssteigerung des zu verarbeitenden Mikroskopbildes (25), wozu im Training die Zielbilder (Z) eine höhere Auflösung haben als die vorgegebenen Mikroskopbilder (20); • ein Entrauschen des zu verarbeitenden Mikroskopbildes (25); • ein Ergebnisbild (60), in welchem Probenbereiche, die im zu verarbeitenden Mikroskopbild (25) nicht aufgenommen wurden, auf Basis benachbarter aufgenommener Probenbereiche im zu verarbeitenden Mikroskopbild (25) ergänzt sind; • eine Entfaltung des zu verarbeitenden Mikroskopbildes (25), wozu im Training die Zielbilder (Z) eine entfaltete Fassung der vorgegebenen Mikroskopbilder (20) sind.
Das Verfahren nach einem der Ansprüche 2 bis 13, wobei eine Anzahl an Pixelschwellwerten (P1-P255) und somit eine Anzahl an Binärmasken (Z1-Z255), die aus demselben Zielbild (Z) erzeugt werden, zwischen 2 und 16 liegt, womit Ergebnisbilder (60), die aus den Klassifikationsmasken (K1-K255) des ordinalen Klassifikationsmodells (M) berechnet werden, im Vergleich zu den Zielbildern (Z) detailreduziert sind.
Das Verfahren nach einem der Ansprüche 2 bis 13, wobei die Zielbilder (Z) semantische Segmentierungen mit drei oder mehr ordinalen Klassen sind, wobei Pixelwerte der Zielbilder (Z) eine Zugehörigkeit zu den ordinalen Klassen angeben.
Das Verfahren nach Anspruch 15, wobei die ordinalen Klassen eine Defokussierung, ein Rauschniveau, einen Verschmutzungsgrad, einen Probengefäßfüllstand oder Objektgrößen bezeichnen.
Das Verfahren nach einem der Ansprüche 2 bis 16, wobei für jeden Pixel im Ergebnisbild (60) eine Konfidenz berechnet wird, welche eine Vertrauenswürdigkeit eines Pixelwerts des jeweiligen Pixels im Ergebnisbild (60) angibt; wobei die Konfidenz eines Pixels im Ergebnisbild (60) anhand einer Konsistenz von Klassifikationsschätzungen (S) zu diesem Pixel in den Klassifikationsmasken (K1-K255) berechnet wird.
Das Verfahren nach Anspruch 17, wobei die Konfidenz für einen Pixelwert als umso niedriger bestimmt wird, je stärker Widersprüche zwischen den Klassifikationsschätzungen (S) der Klassifikatoren (C1-C255) zu diesem Pixel ausgeprägt sind; oder wobei die Klassifikationsschätzungen (S) der Klassifikatoren (C1-C255) zu einem Pixel eine Reihe gemäß den zugehörigen Pixelschwellwerten (P1-P255) bilden; wobei ein Verlauf (V) der Reihe an Klassifikationsschätzungen (S) zu einem Pixel analysiert wird und die Konfidenz zu diesem Pixel als umso niedriger bestimmt wird, je stärker der Verlauf (V) von einem monotonen Verlauf abweicht oder je stärker der Verlauf (V) von einem punktsymmetrischen Verlauf abweicht oder je stärker der Verlauf (V) von einer Sigmoidfunktion abweicht oder je höher eine Entropie des Verlaufs (V) ist.
Ein Computerprogramm, umfassend Befehle, die auf einem nicht flüchtigen, computerlesbaren Medium gespeichert sind und bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 2 bis 18 auszuführen.