DE102022121545A1

DE102022121545A1 - Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten

Info

Publication number: DE102022121545A1
Application number: DE102022121545.8A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2024-03-07
Also published as: US20240070537A1; CN117635523A

Abstract

Bei einem computerimplementierten Verfahren wird ein maschinell gelerntes Modell (M) zum Verarbeiten von Mikroskopdaten mit Hilfe eines Datensatzes (D) trainiert, welcher Mikroskopdaten (F, G) enthält. Es wird eine Einbettung (E) des Datensatzes (D) in einen Merkmalsraum (Z) berechnet. Die Einbettung (E) wird analysiert, um Trainingsdesignangaben (50) für ein Training (25) des Modells (M) zu bestimmen. Das Training wird (25) in Abhängigkeit von den Trainingsdesignangaben (50) festgelegt und anschließend durgeführt, womit das Modell (M) dazu eingerichtet wird, aus zu verarbeitenden Mikroskopdaten (J) ein Verarbeitungsergebnis (60) zu berechnen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein computerimplementiertes Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten.
HINTERGRUND
In modernen Mikroskopiesystemen spielen maschinell gelernte Modelle eine zunehmend wichtige Rolle, insbesondere zur Bildverarbeitung und Datenauswertung. Beispielsweise werden maschinell gelernte Modelle zum automatischen Lokalisieren einer Probe genutzt oder zur Probenanalyse, beispielsweise um mittels einer Segmentierung eine von biologischen Zellen bedeckte Fläche zu messen oder eine Anzahl an Zellen automatisch zu zählen. Auch zur virtuellen Einfärbung von Probenstrukturen oder zur Bildverbesserung, z.B. zur Rauschreduzierung, zur Auflösungssteigerung oder zur Artefaktentfernung, werden gelernte Modelle genutzt.
In vielen Fällen trainiert ein Mikroskopnutzer selbst ein solches Modell mit eigenen Daten. Von der Anmelderin entwickelte Mikroskopiesoftware erlaubt es Nutzern, Trainingsvorgänge an eigenen Daten auch ohne Expertenwissen über maschinelles Lernen durchzuführen. Dies ist wichtig, damit das Modell für die Art der Bilder des Nutzers geeignet ist. Außerdem bestehen allgemein Bestrebungen, Trainingsvorgänge an neuen Mikroskopdaten möglichst automatisiert durchzuführen.
Die Durchführung des Trainings eines Modells hat eine große Auswirkung auf die resultierende Qualität. Beispielsweise wird die Qualität maßgeblich beeinflusst durch die gewählte Modellarchitektur oder -komplexität, Hyperparameter des Trainings, eine Aufbereitung des Datensatzes für das Training und eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten. Soll das Training möglichst weitgehend automatisiert erfolgen, müssen die genannten Faktoren möglichst automatisch in geeigneter Weise festgelegt werden. Bisher müssen jedoch manuell durch erfahrene Experten umfangreiche Tätigkeiten durchgeführt werden, um eine hohe Modellqualität zu erzielen.
Beispielsweise erfordert die manuelle Aufteilung eines Datensatzes in Trainings- und Validierungsdaten viel Erfahrung, womit aber qualitativ bessere Ergebnisse möglich sind als mit automatischen Aufteilungen, welche anhand einfacher Kriterien festgelegt werden, z.B. Verwenden jedes zehnten Bildes des Datensatzes als Validierungsbild. Durch solche simplen Aufteilungen kann es leicht zu einem Bias und einer Überanpassung im Modell kommen, ohne dass dies durch die Modellüberprüfung anhand der Validierungsdaten festgestellt wird. Als Beispiel sollen verschiedene Bakterientypen unterschieden werden. Pro Messtag werden zu einem dieser Bakterientypen Mikroskopbilder aufgenommen. Rauscheigenschaften aufgenommener Mikroskopbilder unterscheiden sich jedoch je nach Messtag. Es kann passieren, dass das Modell lernt, Bakterientypen anhand der Rauscheigenschaften der Bilder (und nicht basierend auf dem Aussehen der Bakterien) zu unterscheiden, weil durch die Rauscheigenschaften die Messtage und somit die Bakterientypen perfekt unterscheidbar sind. Werden die Validierungsdaten zufällig aus dem gesamten Datensatz gezogen, gibt die Validierung ein sehr gutes Ergebnis an, obwohl das Modell das falsche Konzept der Daten gelernt hat und es zu erwarten ist, dass das Modell Bakterientypen in anderen Mikroskopbildern (mit anderen Rauscheigenschaften) nicht korrekt identifizieren kann.
Eine Modellkomplexität wird meist manuell durch Experten festgelegt. Es sind zwar auch automatische Verfahren zur Festlegung der Komplexität und anderer Trainingsparameter bekannt, z.B. Auto-ML. Jedoch erfordern diese Verfahren kostenintensive und langwierige Probetrainingsdurchgänge, um verschieden trainierte Modellvarianten miteinander vergleichen zu können und so Trainingsparameter festzulegen. Näheres zu Auto-ML Verfahren ist beschrieben in: Xin He et al„ arXiv:1908.00709v6 [cs.LG] 16 Apr. 2021, „AutoML: A Survey of the State-of-the-Art“.
Eine Modellqualität kann auch durch Ausreißer in den Trainingsdaten beeinträchtigt sein. Beispielsweise kann bei einer Klassifikationsaufgabe ein Ausreißer ein Mikroskopbild mit falscher Klassenangabe sein. Häufig werden Ausreißer in den Trainingsdaten gar nicht ermittelt. Prinzipiell können Ausreißer nach dem Training ermittelt werden, indem eine Vorhersage und eine Ground-Truth-Annotation miteinander verglichen werden. Damit durch diesen Vergleich Ausreißer identifizierbar sind, ist es jedoch notwendig, dass das Modell die falsch annotierten Daten nicht bereits auswendig gelernt hat und diese dann fälschlicherweise wie annotiert vorhersagt. Daher ist die Identifizierung von Ausreißern oftmals nur mit hohem Aufwand und mit beschränkter Zuverlässigkeit möglich.
Als Hintergrundinformation wird verwiesen auf: X. Glorot et al. (2010): „Understanding the difficulty of training deep feedforward neural networks“. Hierin werden typische Schritte des Trainings und Validierens eines neuronalen Netzes beschrieben. Außerdem wird erläutert, wie geeignete Werte für z.B. die Lernrate sowie Gestaltungen und Parameter der Aktivierungsfunktionen eines Modells ermittelt werden können.
Bedeutsame Verbesserungen hinsichtlich einer Reduzierung der Anzahl zu lernender Modellparameter und hinsichtlich einer Unabhängigkeit der Modellparameter voneinander sind beschrieben in: HAASE, Daniel; AMTHOR, Manuel: „Rethinking depthwise separable convolutions: How intra-kernel correlations lead to improved MobileNets“, arXiv:2003.13549v3 [cs.CV] 13 Jul 2020.
Als Hintergrund wird auch verwiesen auf: Laurens van der Maaten, Geoffrey Hinton, „Visualizing Data using t-SNE" in Journal of Machine Learning Research 9 (2008) 2579-2605, sowie auf: Laurens van der Maaten, „Accelerating t-SNE using Tree-Based Algorithms" in Journal of Machine Learning Research 15 (2014) 1-21, und auf: Jörn Lötsch et al., „Current Projection Methods-Induced Biases at Subgroup Detection for Machine-Learning Based Data-Analysis of Biomedical Data", in Int. J. Mol. Sci. 2020, 21, 79; doi:10.3390/ijms21010079. In diesen Artikeln wird beschrieben, wie ein Datensatz leichter interpretierbar dargestellt werden kann. Dazu wird eine t-verteilte stochastische Nachbareinbettung (t-distributed Stochastic Neighbor Embedding) genutzt.
Ein Verfahren zur automatischen Datenaugmentierung ist beschrieben in Ekin D. Cubuk et al., „AutoAugment: Learning Augmentation Strategies from Data“, arXiv:1805.09501v3 [cs.CV] 11 Apr. 2019. Durch eine Augmentierung werden Bilder oder andere Daten eines Trainingsdatensatzes geringfügig verändert, um hieraus weitere Trainingsdaten zu erzeugen. In AutoAugment wird eine Augmentierungsstrategie anhand der vorliegenden Daten abgeleitet. Ein bekanntes Modell wird auf den vorliegenden Daten trainiert, um mit einem Reinforcement-Learning-Ansatz eine optimale Policy anhand einer Validierungsstichprobe zu lernen. Daher ergibt sich der gleiche Nachteil wie bei der Aufteilung des Datensatzes in Trainings- und Validierungsdaten, da hier ein potentieller Bias in der Validierung vorhanden sein kann. Außerdem ist ein direktes Ableiten der Strategie aus den Daten selbst nicht möglich, womit der Aufwand zur Datenaugmentierung möglicherweise hoch ausfällt.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche anhand eines gegebenen Datensatzes ein geeignetes Training für ein Modell ermitteln, so dass eine Verarbeitung aufgenommener Mikroskopdaten mit möglichst hoher Qualität und niedriger Fehlerquote erfolgt.
Diese Aufgabe wird durch das Mikroskopiesystem und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst.
Bei einem erfindungsgemäßen computerimplementierten Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten wird ein Datensatz, welcher Mikroskopdaten enthält, zum Trainieren des Modells erhalten. Es wird eine Einbettung des Datensatzes in einen Merkmalsraum berechnet, das heißt eine Einbettung der Mikroskopdaten selbst oder hieraus abgeleiteter Daten in einen niedrigdimensionalen Merkmalsraum. Die Einbettung wird analysiert, um Trainingsdesignangaben für ein Training des Modells zu bestimmen. Danach wird das Training des Modells in Abhängigkeit von den Trainingsdesignangaben festgelegt. Anschließend wird das Training durchgeführt, womit das Modell dazu eingerichtet wird, aus zu verarbeitenden Mikroskopdaten ein Verarbeitungsergebnis berechnen zu können.
Ein erfindungsgemäßes Mikroskopiesystem umfasst ein Mikroskop zur Bildaufnahme und eine Recheneinrichtung, die dazu eingerichtet ist, das erfindungsgemäße computerimplementierte Verfahren auszuführen. Das Mikroskop kann insbesondere dazu eingerichtet sein, die Mikroskopdaten aufzunehmen oder Rohdaten, aus denen die Mikroskopdaten gewonnen werden.
Ein erfindungsgemäßes Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
Durch die Erfindung werden für das Training relevante Faktoren anhand einer Einbettung von Trainingsdaten in einen niedrigdimensionalen Merkmalsraum bereits vor dem Training ermittelt, insbesondere automatisch.
Dies steht im Gegensatz zu den eingangs erwähnten Auto-ML Verfahren, bei denen mehrere verschieden trainierte Varianten eines Modells miteinander verglichen werden und somit aufwändige Trainingsdurchgänge nötig sind. Beispielsweise können durch die Erfindung Vorschläge zu Hyperparametern anhand des Datensatzes gemacht werden, während bei Auto-ML nur anhand von trainierten Modellen Vorschläge zu Hyperparametern ermittelt werden. Die Hyperparameteroptimierung durch Auto-ML kann deshalb an einem Bias in der Validierung leiden, insbesondere wenn eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten nicht ideal erfolgt ist. Außerdem können durch die Erfindung Vorschläge zur Aufbereitung der Trainingsdaten gemacht werden, insbesondere zu einer Aufteilung in Trainings- und Validierungsdaten, was durch Auto-ML nicht möglich ist. Im Gegensatz zu der vorliegenden Erfindung ist es durch Auto-ML auch nicht möglich, Ausreißer im Datensatz zu finden.
Optionale Gestaltungen
Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Datensatz
Der Datensatz umfasst Mikroskopdaten, von denen zumindest ein Teil als Trainings- und Validierungsdaten des Modells verwendet werden sollen.
Mikroskopdaten bezeichnen Messdaten eines Mikroskops oder hieraus berechnete Daten. Beispielsweise können Mikroskopdaten Mikroskopbilder sein, worunter allgemein Bilddaten verstanden werden können, insbesondere auch Bildstapel oder volumetrische Daten.
Mikroskopbilder oder allgemein Daten des Datensatzes werden als Eingabedaten für das zu trainierende Modell verwendet. Im Fall eines überwachten Trainings umfasst der Datensatz auch Annotationen, z.B. pro Mikroskopbild jeweils ein Zielbild, ein oder mehrere Klassenlabel oder eine Segmentierungsmaske. Die Annotationen werden als Berechnungsziel oder Ground Truth im Training verwendet. Es können auch Mikroskopdaten, die nur teilweise annotiert sind, für ein teilüberwachtes Training verwendet werden. Optional kann der Datensatz auch Kontextinformationen umfassen, welche später näher erläutert werden. Im Fall eines unüberwachten Trainings muss der Datensatz keine Annotationen umfassen.
Einbettung des Datensatzes
In der Einbettung können Mikroskopdaten des Datensatzes als z.B. Punktwolke in einem Merkmalsraum dargestellt werden. Ein Punkt im Merkmalsraum wird nachfolgend als eingebetteter Datenpunkt bezeichnet und repräsentiert ein Mikroskopbild des Datensatzes (oder allgemeiner ein Datenobjekt des Datensatzes). Optional können eine Annotation und/oder Kontextinformationen zu Mikroskopdaten, z.B. zu einem Mikroskopbild, des Datensatzes (und somit zu einem eingebetteten Datenpunkt) vorhanden sein. Die Annotationen und optional die Kontextinformationen brauchen nicht in der Berechnung der Einbettung berücksichtigt werden, womit sie keine direkte Auswirkung auf eine Lage eines eingebetteten Datenpunktes im Merkmalsraum haben.
Optional kann die Einbettung visualisiert werden, um eine semi-automatische Datenanalyse zu vereinfachen. Hierbei wird die Einbettung auf einem Bildschirm angezeigt und einem Nutzer wird eine Eingabemöglichkeit zum Auswählen von Datenpunkten geboten. Durch Auswählen eines Datenpunktes werden die zugehörigen Mikroskopdaten angezeigt. In der Visualisierung muss ein eingebetteter Datenpunkt nicht zwingend als ein Punkt dargestellt werden, vielmehr kann stattdessen auch z.B. eine Miniaturansicht eines zugehörigen Mikroskopbildes angezeigt werden. Ein eingebetteter Datenpunkt zeichnet sich daher durch seine Koordinaten im Merkmalsraum relativ zu den übrigen eingebetteten Datenpunkten aus, während eine optionale Darstellung in verschiedener Weise erfolgen kann.
Berechnen mindestens einer Einbettung des Datensatzes
Die Einbettung des Datensatzes im Merkmalsraum kann in prinzipiell bekannter Weise berechnet werden. Durch ein Dimensionsreduzierungsverfahren wird der hochdimensionale Datensatz in z.B. einen zwei- oder drei-dimensionalen Datensatz (Einbettung) umgewandelt. Durch die Dimensionsreduzierung soll der signifikante Inhalt der hochdimensionalen Daten möglichst weitgehend erhalten bleiben.
Optional kann das Berechnen der Einbettung in mehreren Schritten erfolgen, wobei aus einem Mikroskopbild oder allgemein aus einem Datenobjekt des Datensatzes zunächst ein Merkmalsvektor extrahiert wird. Anschließend erfolgt eine Einbettung der Merkmalsvektoren in einen (nochmals dimensionsreduzierten) Merkmalsraum.
Beispielsweise können Mikroskopbilder/Datenobjekte des Datensatzes zunächst einem maschinell gelernten Merkmalsextraktor eingegeben werden. Allgemein bildet ein Merkmalsextraktor eine Eingabe auf eine dimensionsreduzierte Ausgabe ab und berechnet folglich aus jedem Mikroskopbild einen Merkmalsvektor. Die Merkmalsvektoren können in dem Merkmalsraum dargestellt oder eingebettet werden. Der Merkmalsraum muss demnach nicht durch die Merkmalsvektoren aufspannbar sein, sondern kann eine niedrigere Dimension als die Merkmalsvektoren haben, was sich durch ein Einbettung ergibt. Durch tiefe neuronale Netze umgesetzte Merkmalsextraktoren sind in der Literatur hinlänglich beschrieben. Der Merkmalsextraktor (ein Extraktionsmodell) kann anhand des Datensatzes und/oder anhand anderer Daten trainiert sein und wird für jedes Datenobjekt des Datensatzes ausgeführt, um einen zugehörigen Merkmalsvektor zu berechnen. Zur Beschleunigung der Merkmalsextraktion können separierte Faltungskerne verwendet werden, wie als Blueprint Separable Convolutions beschrieben in dem eingangs genannten Artikel von HAASE, Daniel; AMTHOR, Manuel: „Rethinking depthwise separable convolutions: How intra-kernel correlations lead to improved MobileNets“, arXiv:2003.13549v3 [cs.CV] 13 Jul 2020.
Die Einbettung kann beispielsweise mittels einer stochastischen Nachbareinbettung (Stochastic Neighbor Embedding, SNE) berechnet werden, insbesondere mittels einer t-verteilten stochastischen Nachbareinbettung (t-Distributed Stochastic Neighbor Embedding, t-SNE). Eingabedaten der SNE können die Mikroskopdaten des Datensatzes sein, z.B. Mikroskopbilder, oder auch hieraus abgeleitete Merkmalsvektoren. Bei einer SNE werden zunächst Abstände (z.B. hochdimensionale Euklidische Abstände) zwischen Paaren an Mikroskopbildern bzw. zwischen den Merkmalsvektoren umgewandelt in bedingte Wahrscheinlichkeiten, welche Ähnlichkeiten zwischen dem Paar an Mikroskopbildern bzw. zwischen dem Paar an Merkmalsvektoren repräsentieren. Hierbei wird eine Wahrscheinlichkeitsverteilung genutzt, welche im Fall üblicher SNE die Form einer Gaußverteilung hat und im Fall einer t-SNE die Form einer Student-t-Verteilung hat. Die Ähnlichkeit zwischen einem ersten und zweiten Mikroskopbild oder Merkmalsvektor wird als bedingte Wahrscheinlichkeit angegeben, dass das erste Mikroskopbild/Merkmalsvektor als seinen Nachbarn das zweite Mikroskopbild/Merkmalsvektor aus einer Wahrscheinlichkeitsverteilung ziehen würde. Die Wahrscheinlichkeitsverteilung ist um das erste Mikroskopbild/Merkmalsvektor zentriert und wird umso kleiner, je größer ein Abstand eines Mikroskopbildes/Merkmalsvektors zu dem ersten Mikroskopbild/Merkmalsvektor ist. Daher ist die bedingte Wahrscheinlichkeit umso kleiner, je unähnlicher die beiden Mikroskopbilder/Merkmalsvektoren zueinander sind. Wird ein anderes Paar betrachtet, wird eine Wahrscheinlichkeitsverteilung verwendet, die um ein Mikroskopbild/Merkmalsvektor dieses Paares zentriert ist. In dem dimensionsreduzierten Merkmalsraum wird eine entsprechende bedingte Wahrscheinlichkeit zu den zugehörigen eingebetteten Datenpunkte definiert, wobei die Wahrscheinlichkeitsverteilung einen Abstand im dimensionsreduzierten Merkmalsraum angibt. Für ein Datenpaar soll der Wert dieser bedingten Wahrscheinlichkeit gleich sein wie der Wert der vorgenannten bedingten Wahrscheinlicht zu einer Nachbarschaft zweier Mikroskopbilder/Merkmalsvektoren. In SNE-Verfahren wird ein Fehler zwischen diesen beiden bedingten Wahrscheinlichkeiten minimiert, z.B. durch Minimierung der Summe der Kullback-Leibler-Divergenz, wodurch die Einbettung berechnet wird.
Beispielhafte Umsetzungen einer t-SNE und allgemeinerer SNE-Verfahren sind in den eingangs genannten Artikeln beschrieben, das heißt in: Laurens van der Maaten, Geoffrey Hinton, „Visualizing Data using t-SNE" in Journal of Machine Learning Research 9 (2008) 2579-2605; sowie Laurens van der Maaten, „Accelerating t-SNE using Tree-Based Algorithms“ in Journal of Machine Learning Research 15 (2014) 1-21. Der Inhalt dieser Artikel wird hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen. Der vorliegend verwendete Datensatz entspricht in den Artikeln dem Datensatz X = {x₁, x₂, ..., x_n}, womit die Mikroskopdaten des Datensatzes den Einträgen x₁, x₂, ..., x_n entsprechen. Die berechnete Einbettung wird in den Artikeln als Y = {y_1, y₂, ..., y_n} bezeichnet. Ein eingebetteter Datenpunkt entspricht daher einem der Werte y_1, y₂, ..., y_n. Die in den Schriften verwendete Abstandsnorm, insbesondere der Euklidische Abstand, ist beispielhaft zu verstehen und andere Abstandsnormen können stattdessen verwendet werden.
Der Merkmalsraum ergibt sich somit durch das Einbettungsverfahren, und kann prinzipiell eine beliebige Dimension haben, welche kleiner als eine Dimension der ursprünglichen Daten des Datensatzes ist. Für eine einfache Darstellbarkeit kann der Merkmalsraum zwei- oder dreidimensional gewählt sein.
Die Einbettung kann den gesamten Datensatz betreffen oder, insbesondere bei großen Datensätzen, auch nur einen Teil des Datensatzes.
Herkömmlicherweise wird eine t-SNE lediglich zur Visualisierung genutzt, woraufhin eine manuelle Interpretation nötig wäre. Durch die später näher beschriebenen Analysevorgänge kann die Erfindung hingegen Schlussfolgerungen für das Training des Modells ziehen, insbesondere Schlussfolgerungen zu einer optimalen Komplexität des zu verwendenden Modells, einer Datenaufteilung und einer Augmentierung. Auch Ausreißer können aus einer t-SNE Einbettung automatisiert ermittelt werden.
Eingabedaten für eine t-SNE oder ein anderes Einbettungsverfahren können die Mikroskopdaten des Datensatzes sein, insbesondere Pixelwerte von Mikroskopbildern. Alternativ können aus den Mikroskopdaten extrahierte Merkmale die Eingabedaten bilden. Eine Extraktion kann z.B. durch ein vortrainiertes CNN und/oder ein Fisher Vector Encoding erfolgen. Auch weitere Merkmale wie Segmentierungsmasken können extrahiert und weiter analysiert werden.
Anstelle einer SNE oder t-SNE können auch andere Verfahren zum Transformieren oder Projizieren der Eingabedaten in eine Einbettung genutzt werden. Beispielsweise kann ein Autoencoder oder ein anderes maschinell gelerntes Modell mit Flaschenhals-Struktur verwendet werden. Diese Modelle können an einem generischen Datensatz, an Daten, die einem Anwendungsgebiet des vorliegenden Datensatzes gleichen, oder prinzipiell auch an dem Datensatz selbst gelernt sein. Durch eine Flaschenhalsschicht wird eine komprimierte, niedrigdimensionale Darstellung der Eingabedaten erzeugt. Daher können die von der Flaschenhalsschicht ausgegebenen Daten als Einbettung verwendet werden. Alternativ kann auch eine Hauptachsenanalyse (Principal Component Analysis, PCA) oder eine Unabhängigkeitsanalyse (Independent Component Analysis, ICA) genutzt werden. Ebenfalls möglich ist eine Nonnegative Matrix Factorization (NMS), bei welcher eine Matrix durch ein Produkt aus Matrizen mit insgesamt weniger Parametern angenähert wird, womit ebenfalls eine Dimensionsreduzierung einhergeht. Auch allgemeine verlustfreie oder verlustbehaftete Kompressionsverfahren sind möglich, weil hierdurch die Datenmenge des Datensatzes an die tatsächliche Shannon-Entropie angenähert wird. Durch eine verlustbehaftete Kompression kann außerdem ein Rauschen herausgefiltert werden, welches in der Regel nicht zur Vorhersage des maschinell gelernten Modells beitragen sollte. Eine Ausgabe der vorstehend genannten Methoden kann eine Einbettung darstellen; alternativ können die vorstehend genannten Methoden auch als Merkmalsextraktor vor einer SNE oder t-SNE genutzt werden: Eingabedaten für eine der genannten Methoden, z.B. einem Kompressionsverfahren, sind die Mikroskopdaten, und die hieraus berechneten Ausgabedaten werden der SNE / t-SNE eingegeben, welche hieraus die Einbettung berechnet.
Festlegen von Trainingsdesignangaben durch Analyse der Einbettung
Anhand der mindestens einen Einbettung des Datensatzes werden Trainingsdesignangaben ermittelt, welche eine Gestaltung des Trainings des Modells betreffen, insbesondere eine Architektur oder Komplexität des Modells, eine Aufbereitung der Trainingsdaten, eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten oder eine Festlegung von Hyperparametern des Trainings. Die Singular- und Pluralform des Begriffs Trainingsdesignangaben kann vorliegend gleichbedeutend verstanden werden.
Die Trainingsdesignangaben werden über eine Analyse der Einbettung festgelegt. In der Analyse können insbesondere Cluster aus eingebetteten Datenpunkten identifiziert werden. Zudem kann eine Homogenitätsbeurteilung eines Clusters erfolgen. Die Homogenitätsbeurteilung kann sich auf ein Klassenlabel der Datenpunkte eines Clusters beziehen. Alternativ oder zusätzlich kann hierunter auch eine räumlich homogene Verteilung einer Datenpunktwolke aus eingebetteten Datenpunkten im Merkmalsraum verstanden werden.
Nachfolgend werden verschiedene Trainingsdesignangaben erläutert, sowie zugehörige Analysevorgänge, um diese Trainingsdesignangaben aus einer Einbettung zu ermitteln.
Datensatzaufteilung in Trainings- und Validierungsdaten anhand der Einbettung
Ein vorhandener Datensatz soll in Trainings- und Validierungsdaten geteilt werden, worunter verstanden wird, dass einige der Mikroskopdaten (z.B. Mikroskopbilder) des Datensatzes als Trainingsdaten für das Modell verwendet werden und andere der Mikroskopdaten als Validierungsdaten. Trainingsdaten werden zur iterativen Anpassung von Parameterwerten des Modells verwendet, z.B. durch Optimierung einer Zielfunktion, wobei über einen Gradientenabstieg eine Parameteränderung berechnet wird. Hingegen werden Validierungsdaten zur Bewertung einer Qualität des Modells verwendet, ohne dass anhand der Validierungsdaten eine Parameteränderung durch z.B. Gradientenabstiegsverfahren berechnet würde.
In herkömmlichen einfachen Abläufen erfolgt eine Aufteilung eines Datensatzes in Trainings- und Validierungsdaten zufällig oder gemäß einer vom Dateninhalt unabhängigen Regel, wonach z.B. jedes zehnte Mikroskopbild eines Datensatzes als Validierungsbild eingeteilt wird.
Hingegen kann durch die Erfindung als eine Trainingsdesignangabe eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten vorgeschlagen werden, wobei die Aufteilung anhand einer Anordnung von im Merkmalsraum eingebetteten Datenpunkten ermittelt wird. Optional umfassen die eingebetteten Datenpunkte Annotationen bzw. Klassenlabel. Durch Berücksichtigung einer Anordnung der eingebetteten Datenpunkte ist eine aussagekräftige und zuverlässige Validierung möglich.
Für die Bestimmung der Aufteilung kann das Analysieren der Einbettung umfassen, dass Cluster aus eingebetteten Datenpunkten identifiziert werden. Als Cluster kann eine Häufung oder Ansammlung mehrerer Datenpunkte verstanden werden, deren Abstand zueinander kleiner ist als ein Abstand dieser Datenpunkte zu anderen, nicht zum Cluster gehörenden Datenpunkten.
Es kann überprüft werden, ob die Cluster homogen aus Datenpunkten mit übereinstimmendem Klassenlabel gebildet sind. Unter homogen kann verstanden werden, dass mindestens 95% oder mindestens 98% aller Datenpunkte dieses Clusters dasselbe Klassenlabel haben. Pro Klasse können z.B. ein oder mehrere homogene Cluster vorhanden sein. Im Fall homogener Cluster werden aus mehreren Clustern oder aus jedem Cluster Datenpunkte für die Validierungsdaten ausgewählt, z.B. zufällig gezogen. Übrige Datenpunkte werden für die Trainingsdaten ausgewählt, so dass aus jedem der Cluster Datenpunkte für die Trainingsdaten ausgewählt werden. Insbesondere kann hiermit vermieden werden, dass alle Datenpunkte eines Clusters als Validierungsdaten gewählt würden und hierdurch ein gesamter Cluster (dessen Daten sich strukturell von den Daten anderer Cluster unterscheiden) nicht für die Anpassung der Modellparameterwerte zur Verfügung stünde. Werden aus jedem Cluster (oder aus z.B. mindestens 80% aller Cluster) Datenpunkte für die Validierungsdaten ausgewählt, ist hierdurch voraussichtlich eine besonders aussagekräftige Validierung möglich, weil die Validierung einen Großteil der strukturell verschiedenen Datenmengen abdeckt.
Unter einer Auswahl eines „Datenpunktes“ für die Trainings- oder Validierungsdaten bzw. unter einer Einteilung eines Datenpunktes zu Trainings- oder Validierungsdaten soll verstanden werden, dass die Mikroskopdaten, die zu diesem Datenpunkt gehören, als Trainings- oder Validierungsdaten ausgewählt werden. Dem Modell werden also nicht die eingebetteten Datenpunkte eingegeben, sondern die zugehörigen Mikroskopdaten.
Das heißt, im Fall homogener Cluster werden als Validierungsdaten solche Mikroskopdaten ausgewählt, dass zugehörige eingebettete Datenpunkte verschiedene Cluster oder alle Cluster abdecken. Als Trainingsdaten werden in diesem Fall solche Mikroskopdaten ausgewählt, dass zugehörige eingebettete Datenpunkte alle Cluster abdecken.
Hingegen kann eine andere Aufteilung in Trainings- und Validierungsdaten vorgeschlagen werden, wenn nicht homogene (inhomogene) Cluster festgestellt werden, das heißt, wenn die Datenpunkte eines Clusters unterschiedliche Klassenlabel haben. Ein solcher Fall kann z.B. entstehen, wenn Mikroskopdaten mit verschiedenen Mikroskopen aufgenommen wurden und sich die Mikroskopdaten verschiedener Mikroskope in struktureller Weise unterscheiden, z.B. durch ein anderes Rauschverhalten, andere Beleuchtungseigenschaften oder durch Komponenten wie Probenträger oder Probenträgerhalterungen, die in aufgenommenen Bildern sichtbar sind. Durch einen solchen Bias bilden die Mikroskopdaten verschiedener Mikroskope unterschiedliche Cluster. Der Datensatz kann möglicherweise dennoch für ein Training des Modells geeignet sein, wenn die Datenpunkte gemäß ihrem Klassenlabel innerhalb eines Clusters getrennt sind. Im Späteren werden unterschiedliche Fälle erläutert, bei denen inhomogene Cluster entweder geeignet oder nicht geeignet für ein Training sind. Dies ist abhängig von der Art und Wirkung eines Bias, welcher in manchen Fällen eine Klassenerkennung durch das Modell erschwert oder sogar unmöglich macht. Eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten kann im Fall nicht homogener Cluster so erfolgen, dass die Datenpunkte von einem der Cluster (insbesondere alle Datenpunkte dieses Clusters) als Validierungsdaten ausgewählt werden, während keine Datenpunkte dieses Clusters als Trainingsdaten ausgewählt werden. Aus mehreren anderen Clustern werden hingegen Datenpunkte nur für Trainingsdaten aber nicht für Validierungsdaten genutzt. Durch diese Datenaufteilung erlauben die Validierungsdaten eine sinnvolle Aussage über die Generalisierbarkeit des Modells. Wenn das Modell, das ohne die Daten eines bestimmten Clusters trainiert wurde, in der Validierung Klassenlabel zu diesem Cluster korrekt vorhersagen kann, so kann von einer guten Generalisierbarkeit ausgegangen werden und ein Einfluss des Bias (welcher bei zu untersuchenden Mikroskopdaten in der Inferenz unbekannt sein kann) scheint nicht die Klassenerkennung ungebührend zu beeinträchtigen. Beeinträchtigt hingegen der Bias die Klassenerkennung stark, kann an den Validierungsdaten eine entsprechend schlechtere Modellqualität festgestellt werden. Diese Validierungsaussage wäre bei anderer Aufteilung in Trainings- und Validierungsdaten nicht zuverlässig möglich: Würden beispielsweise die Trainingsdaten Datenpunkte aus jedem Cluster umfassen, so würde bei genügend langem Training der Bias der Trainingsdaten auswendig gelernt. Die Validierungsdaten würden stets eine hohe Modellgüte suggerieren. Es bliebe unerkannt, wenn der Bias tatsächlich eine starke Wirkung auf ein Klassifikationsergebnis des Modells hätte. Würden in der Inferenz Mikroskopdaten mit anderem Bias untersucht, käme es zu fehlerhaften Ergebnissen, obwohl an den Validierungsdaten eine hohe Modellgüte ermittelt wurde.
Eine Ermittlung einer geeigneten Aufteilung des Datensatzes in Trainings- und Validierungsdaten kann mit der nachfolgend beschriebenen Eignungsbestimmung des Datensatzes kombiniert werden.
Eignungsbestimmung des Datensatzes durch Analysieren der Einbettung
Anhand der Einbettung des Datensatzes kann eine Schätzung erfolgen, ob der Datensatz für ein Training des Modells geeignet ist. Eine ermittelte Eignungsangabe kann als eine Trainingsdesignangabe ausgegeben werden.
Zunächst werden in der Analyse der Einbettung Cluster von eingebetteten Datenpunkten mit Annotationen/Klassenlabeln identifiziert. Sodann wird überprüft, ob die Cluster homogen aus Datenpunkten mit übereinstimmendem Klassenlabel gebildet sind. Ist dies der Fall, wird eine Eignung des Datensatzes für ein Training des Modells bejaht.
Für inhomogene Cluster kann eine Eignung des Datensatzes verneint werden, wenn innerhalb eines Clusters Datenpunkte nicht gemäß ihrem Klassenlabel trennbar sind, d.h., wenn innerhalb eines Clusters Datenpunkte mit übereinstimmendem Klassenlabel nicht von Datenpunkten mit anderem Klassenlabel trennbar sind. In Bezug auf die Datenpunkte innerhalb eines Clusters kann unter „trennbar“ verstanden werden, dass pro Klassenlabel jeweils ein zusammenhängendes Gebiet im Merkmalsraum alle Datenpunkte dieses Klassenlabels einschließt. Dies ist beispielsweise nicht der Fall, wenn Datenpunkte verschiedener Annotation innerhalb eines Clusters durchmischt sind.
Alternativ oder zusätzlich kann in einem Fall, dass innerhalb von Clustern Datenpunkte gemäß ihrem Klassenlabel trennbar sind, eine Eignung abhängig von einer Generalisierbarkeit einer Klassentrennungsregel bejaht oder verneint werden. Die Eignung liegt vor, wenn eine Generalisierbarkeit einer Klassentrennungsregel bejaht wird. Beispielsweise kann aus den Datenpunkten mehrerer (aber nicht aller) Cluster eine Klassentrennungsregel zum Trennen von Datenpunkten gemäß ihrem Klassenlabel abgeleitet werden. Durch die Klassentrennungsregel werden somit verschiedene Bereiche im Merkmalsraum definiert, durch welche Datenpunkte mit übereinstimmendem Klassenlabel von Datenpunkten mit anderem Klassenlabel separiert werden. Eine Generalisierbarkeit wird bejaht, wenn die Klassentrennungsregel auch für Datenpunkte eines anderen der Cluster gültig ist, welcher nicht zum Bestimmen der Klassentrennungsregel verwendet wurde.
Anhand der Generalisierbarkeit kann unterschieden werden, ob ein Bias vorliegt, der eine Klassentrennung noch erlaubt, oder ob ein dominierender Bias vorliegt, durch welchen keine Trennung der Datenpunkte gemäß ihrer Klasse möglich ist.
Bewertung einer vorhandenen Aufteilung des Datensatzes in Trainings- und Validierungsdaten anhand der Einbettung
Eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten kann bereits vorhanden sein. Zum Beispiel kann eine Aufteilung manuell durch einen Nutzer oder durch ein automatisiertes Verfahren bestimmt worden sein. Eine Eignung der bereits vorhandenen Aufteilung des Datensatzes kann anhand der Einbettung überprüft oder bewertet werden.
Die Analyse der Einbettung kann so erfolgen, wie oben beschrieben mit Bezug auf die Ermittlung einer Aufteilung des Datensatzes anhand der Einbettung.
Insbesondere kann zunächst bestimmt werden, ob homogene Cluster vorliegen. Im Fall von homogenen Clustern aus Datenpunkten mit übereinstimmendem Klassenlabel wird eine Eignung der vorhandenen Aufteilung bejaht, wenn zu den Validierungsdaten Datenpunkte aus zumindest mehreren Clustern gehören, insbesondere aus allen Clustern, und wenn zu den Trainingsdaten Datenpunkte aus allen Clustern gehören.
Zusätzlich oder alternativ kann vorgesehen sein, dass im Fall inhomogener Cluster eine vorhandene Aufteilung abhängig davon als geeignet eingestuft wird, ob ein inhomogener Cluster vorhanden ist, dessen Datenpunkte allein für Validierungsdaten und nicht für Trainingsdaten ausgewählt sind. Es kann vorgesehen sein, dass in diesem Fall eine Eignung bejaht wird. Nähere Erläuterungen zur Eignung sind oben mit Bezug auf die Datensatzeinteilung anhand der Einbettung gegeben.
Bestimmung von Ausreißern des Datensatzes anhand der Einbettung
Unter Ausreißern werden fehlerhafte Daten verstanden, welche sich von korrekten, zu erwartenden Daten wesentlich unterscheiden. Ein Ausreißer kann durch einen Fehler in der Messung entstehen, beispielsweise wenn ein leeres Bild ohne eigentliches Messobjekt aufgenommen wird. Außerdem kann ein Ausreißer durch eine falsche Datenannotation entstehen, beispielsweise wenn ein Nutzer einem Mikroskopbild ein falsches Klassenlabel zuordnet.
Als Trainingsdesignangabe können ein oder mehrere Ausreißer des Datensatzes identifiziert und angeben werden. Beispielsweise können in einer Visualisierung der Einbettung diejenigen eingebetteten Datenpunkte, die als Ausreißer identifiziert wurden, markiert und ggf. aufgelistet werden.
Ausreißer können durch ein Analysieren der Einbettung identifiziert werden, wobei ein Datenpunkt abhängig von seiner Lage in der Einbettung als Ausreißer identifiziert wird. Die Identifizierung als Ausreißer kann auch abhängig von einer optionalen Annotation erfolgen. Insbesondere kann ein Datenpunkt dann als Ausreißer identifiziert werden, wenn sich der Datenpunkt von direkt benachbarten Datenpunkten weiter weg befindet als ein bestimmter Schwellwert. Der Schwellwert kann abhängig von Abständen zwischen übrigen Datenpunkten gewählt sein. Beispielsweise kann ein durchschnittlicher Abstand zwischen direkt benachbarten Datenpunkten in der Einbettung ermittelt werden und der Schwellwert kann auf ein vorgegebenes Vielfaches des durchschnittlichen Abstandes gesetzt werden. Sind Klassenlabel vorhanden, kann ein Datenpunkt mit einem bestimmten Klassenlabel dann als Ausreißer identifiziert werden, wenn sich der Datenpunkt von direkt benachbarten Datenpunkten mit demselben Klassenlabel weiter weg befindet als ein bestimmter Schwellwert.
Alternativ oder zusätzlich kann ein Datenpunkt mit einem bestimmten Klassenlabel als Ausreißer identifiziert werden, wenn er sich innerhalb eines (homogenen) Clusters aus Datenpunkten mit anderem Klassenlabel befindet. Ein Cluster kann als homogen eingestuft werden, wenn z.B. mindestens 95% oder 98% aller Datenpunkte des Clusters eine übereinstimmende Annotation haben. Innerhalb eines solchen homogenen Clusters können Datenpunkte mit anderer Annotation als Ausreißer eingestuft werden.
Ein identifizierter Ausreißer kann automatisch aus dem Datensatz entfernt werden bzw. nicht in Trainings- oder Validierungsdaten übernommen werden. Alternativ kann ein identifizierter Ausreißer einem Nutzer angezeigt werden, so dass beispielsweise eine manuell vergebene Annotation überprüft werden kann. Optional wird automatisch ein Vorschlag für eine geänderte Annotation erstellt, wobei als geänderte Annotation die Annotation benachbarter Datenpunkte vorgeschlagen wird. Ein solcher Vorschlag ist insbesondere sinnvoll, wenn durch manuelle Fehlannotation ein Datenpunkt innerhalb eines ansonsten homogenen Clusters liegt.
Festlegen von Trainingshyperparametern anhand der Einbettung
Als Trainingsdesignangaben können auch Hyperparameter über eine Analyse der mindestens einen Einbettung festgelegt werden.
Als Hyperparameter oder Trainingshyperparameter wird ein Parameter verstanden, welcher einen Trainingsablauf oder einen Modellaufbau betrifft. Im Gegensatz zu Modellgewichten dient ein Hyperparameter nicht der Verarbeitung eingegebener Daten. Bei herkömmlichen Verfahren zur Festlegung von Hyperparametern, wie in Auto-ML Verfahren bekannt, müssen mehrere rechen- und zeitintensive ProbeTrainingsdurchgänge durchgeführt werden. Demgegenüber ist eine Festlegung von Hyperparametern anhand der Einbettung zeitsparend.
Trainingshyperparameter können z.B. sein: eine Lernrate (das heißt ein Parameter, der festlegt, wie stark Werte von Modellgewichten bei einem Gradientenabstiegsverfahren verändert werden), eine Anzahl an Trainingsschritten bis zum Beenden des Trainings oder ein Abklingverhalten von Gewichten (Weight Decay). Bei einem Weight Decay beschreiben ein oder mehr Hyperparameter, wie stark gelernte Werte von Modellgewichten während das Trainings (z.B. jeweils nach einer bestimmten Anzahl an Trainingsschritten) betragsmäßig verkleinert werden. Hierdurch soll eine Überanpassung an die Trainingsdaten vermieden werden.
Als Trainingsdesignangaben kann auch eine Wertentwicklung oder ein Ablauf (schedule) von Trainingshyperparametern angegeben werden, z.B. ein Ablauf aus mehreren Lernraten, die im Verlauf des Trainings aufeinanderfolgend verwendet werden, beispielsweise nach einer bestimmten Anzahl an Trainingsschritten oder abhängig von einem Trainings- oder Validierungs-Loss.
Verschiedene Vorgehensweisen zum Festlegen von Hyperparametern werden im Folgenden erläutert.
Hyperparameter: Anzahl an Trainingsschritten
Als Trainingshyperparameter kann eine Anzahl an Trainingsschritten bis zu einem Beenden des Trainings festgelegt werden. Hierfür wird eine Komplexität und/oder Homogenität der eingebetteten Datenpunkte im Merkmalsraum ermittelt. Die Anzahl an Trainingsschritten wird umso höher gewählt, je höher die Komplexität ist bzw. je niedriger eine Homogenität ist.
Ein verhältnismäßig langes Training ist z.B. voraussichtlich nötig, wenn Cluster verschiedener Klassen sehr nahe beieinander liegen, wenn eine Trennung der Cluster eine stark nicht-lineare Form hat, wenn die Einbettung insgesamt komplex durch viele verteilte Cluster gebildet ist, und/oder wenn Cluster eine komplexe Form haben.
Festlegen einer Modellkomplexität oder Modellarchitektur anhand der Einbettung
Als Trainingsdesignangabe kann auch eine Modellarchitektur und/oder Modellkomplexität des zu trainierenden Modells vorgeschlagen werden. Das Modell kann einen Merkmalsextraktor umfassen, dem Mikroskopdaten eingegeben werden, und zumindest einen darauffolgenden Modellteil, welchem eine Ausgabe des Merkmalsextraktors eingegeben wird.
Zur Bestimmung einer geeigneten Modellkomplexität können unterschiedlich komplexe Merkmalsextraktoren verwendet werden. Ebenso können zur Bestimmung einer geeigneten Modellarchitektur mehrere Merkmalsextraktoren mit unterschiedlicher Architektur verwendet werden. Mit jedem Merkmalsextraktor wird aus den Mikroskopdaten des Datensatzes jeweils ein Satz an Merkmalsvektoren berechnet. Die unterschiedlich komplexen Merkmalsextraktoren können maschinell gelernte Netze sein, die sich z.B. in einer Anzahl an (Faltungs-)schichten oder allgemein einer Anzahl zu lernender Modellparameter unterscheiden. Ein Beispiel sind die als ResNet-10, ResNet-34 und ResNet-50 bekannten Netze, die sich in der Anzahl an Schichten unterscheiden.
Als Nächstes wird jeweils eine Einbettung aus jedem Satz an Merkmalsvektoren berechnet, also je eine Einbettung pro Merkmalsextraktor.
Die Einbettungen werden miteinander verglichen, um einen der Merkmalsextraktoren auszuwählen, basierend auf einer Trennung von eingebetteten Datenpunkten verschiedener Klassen und basierend auf einer Clusterbildung eingebetteter Datenpunkte. Es sollte ein Merkmalsextraktor ausgewählt werden, der eine ausreichende Klassentrennung ermöglicht, aber nicht unnötig komplex ist.
Der Merkmalsextraktor ist voraussichtlich nicht komplex genug, wenn Cluster verschiedener Klassen überlappen, Cluster diffuse räumlich unscharfe Begrenzungen haben und/oder Cluster verstreut sind. Bilden sich viele besonders kompakte Cluster ohne Überlappung, dann kann eine Überanpassung und somit eine zu hohe Komplexität des Merkmalsextraktors vorliegen. Eine angemessene Modellkomplexität liegt vor, wenn die Datenpunkte derselben Klasse jeweils wenige kompakte Cluster bilden, die nicht mit Clustern anderer Klassen überlappen.
Der ausgewählte Merkmalsextraktor wird zur Verwendung als Teil des Modells vorgeschlagen. Der Vorschlag kann automatisch übernommen werden oder beispielsweise erst nach Zustimmung durch einen Nutzer.
In einer Abwandlung der beschriebenen Ausführung wird zunächst ein einziger Merkmalsextraktor verwendet und die zugehörige Einbettung wird danach bewertet, ob der verwendete Merkmalsextraktor zu komplex, nicht ausreichend komplex oder hinsichtlich seiner Komplexität geeignet ist. Diese Bewertung kann wie oben beschrieben anhand der Cluster und anhand einer Klassentrennung erfolgen. Gibt die Bewertung eine unzureichende Komplexität an, wird als Nächstes ein komplexerer Merkmalsextraktor genutzt, und umgekehrt. Dieses Vorgehen wird wiederholt, bis ein Merkmalsextraktor mit geeigneter Komplexität gefunden wird.
Datenauswahl: Balancierung von Daten verschiedener Cluster
In Trainingsdaten ist eine Balance verschiedenartiger Daten wichtig, damit ein Training stabil durchgeführt werden kann. Im Fall einer Imbalance, beispielsweise wenn Daten mit einem bestimmten Klassenlabel unterrepräsentiert sind, kann es passieren, dass diese Klasse vom Modell schlechter gelernt oder sogar ignoriert wird.
Um eine Balance herzustellen, können bestimmte Mikroskopdaten aus dem Datensatz entfernt bzw. nicht für die Trainings- und Validierungsdaten ausgewählt werden. Eine Balance wird anhand der Einbettung überprüft: Verschiedene Cluster aus eingebetteten Datenpunkten sollten etwa gleich groß sein, wobei die Größe als Anzahl an Datenpunkten pro Cluster zu verstehen ist.
Im Fall unterschiedlich vieler Datenpunkte pro Cluster erfolgt eine Auswahl an Datenpunkten für die Trainingsdaten, so dass eine Anzahl ausgewählter Datenpunkte pro Cluster aneinander angenähert ist. Unter „angenähert“ soll verstanden werden, dass sich die Clustergrößen weniger unterscheiden als die ursprünglichen Clustergrößen, die durch alle Datenpunkte der Einbettung gegeben sind. Insbesondere kann die Größenannäherung so erfolgen, dass sich die Cluster in ihrer Anzahl an Datenpunkten höchstens um 10% oder 20% voneinander unterscheiden. Auch für die Validierungsdaten kann eine Auswahl getroffen werden, durch welche die Anzahl verwendeter Datenpunkte pro Cluster um höchstens 10% oder 20% zwischen den Clustern variiert.
Die Balancierung kann auch abhängig von der Anzahl an Clustern pro Klasse erfolgen. Die Anzahl an Datenpunkten pro Klasse sollte gleich sein, z.B. innerhalb einer Genauigkeit von +/- 20%. Bilden die Datenpunkte einer ersten Klasse mehr Cluster als die Datenpunkte einer zweiten Klasse, so sollten die Cluster der ersten Klasse weniger Datenpunkte enthalten als die Cluster der zweiten Klasse.
In Abwandlungen der beschriebenen Ausführungen wird eine Balancierung erreicht, indem anstelle einer speziellen Auswahl an Datenpunkten für die Trainingsdaten unterschiedliche Wahrscheinlichkeiten oder Häufigkeiten festgelegt werden, mit denen die Mikroskopdaten im Training verwendet werden. Anstelle einer Verkleinerung der Anzahl an Datenpunkten eines Clusters kann also diesen Datenpunkten eine kleinere Wahrscheinlichkeit oder Häufigkeit zugeordnet werden, mit welcher die zugehörigen Mikroskopdaten im Training verwendet werden.
Vorschlagen einer Erweiterung des Datensatzes anhand der Einbettung
Anhand einer Verteilung von Datenpunkten in der Einbettung kann vorgeschlagen werden, den Datensatz um neue Mikroskopdaten mit bestimmten Eigenschaften zu ergänzen, insbesondere Mikroskopdaten mit diesen Eigenschaften neu aufzunehmen. Die Eigenschaften können insbesondere Aufnahmeparameter wie eine Beleuchtung oder Detektionseinstellung betreffen, oder eine Kontrastart, Probenart oder Probenpräparationsart.
Eine Ergänzung des Datensatzes kann vorgeschlagen werden, wenn eine Anzahl an Datenpunkten in einem Cluster kleiner als ein bestimmter Mindestwert ist. In diesem Fall sind Mikroskopdaten dieses Clusters unterrepräsentiert und es kann vorgeschlagen werden, neue Mikroskopbilder aufzunehmen, welche in ihrer Klasse und optionalen Metainformationen mit denen der Datenpunkte des zu kleinen Clusters übereinstimmen.
Zusätzlich oder alternativ kann eine Ergänzung vorgeschlagen werden, wenn festgestellt wird, dass Datenpunkte einer Klasse mit demselben Klassenlabel mehrere voneinander beabstandete Cluster bilden und die Cluster mit einer Kontextinformation korreliert werden können, zu welcher bekannt ist, dass sie keine Trennung von Clustern bewirken sollte. In diesem Fall kann vorgeschlagen werden, weitere Mikroskopdaten dieser Klasse und mit anderem Wert der Kontextinformation bereitzustellen. Die genannte Korrelation ist so zu verstehen, dass abhängig von einem Unterschied in der Kontextinformation verschiedene Cluster vorliegen. Eine solche Trennung sollte z.B. nicht vorliegen, wenn die Kontextinformation einen Mikroskopnutzer angibt, der die Mikroskopdaten aufgenommen hat, oder einen Messtag, an dem die Mikroskopdaten aufgenommen wurden, vorausgesetzt, alle übrigen Kontextinformationen wie z. B. Probenart und Kontrastverfahren sind identisch.
Für den Vorschlag einer Ergänzung des Datensatzes kann auch ein Abstand zwischen Clustern berücksichtigt werden. Beispielsweise sollten im Fall verschiedener Messgeräte desgleichen oder ähnlichen Typs die zugehörigen Datenpunkte entweder einen gemeinsamen Cluster oder zumindest benachbarte bzw. nah beieinander liegende Cluster bilden. Bei hohem Clusterabstand kann deshalb vorgeschlagen werden, Mikroskopdaten weiterer Messgeräte zu ergänzen.
Zusätzlich oder alternativ kann eine Ergänzung vorgeschlagen werden, wenn eine Grenzregion zwischen Clustern verschiedener Klassen als diffus oder unscharf eingestuft wird. Diese Cluster können zwar jeweils homogen sein, wobei jedoch innerhalb der Grenzregion keine hinreichende Trennung der Klassen möglich ist. In diesem Fall kann vorgeschlagen werden, mehr Mikroskopdaten bereitzustellen, welche denen der Grenzregion ähneln. Falls bestimmte Kontextinformationen für die Datenpunkte der Grenzregion charakteristisch sind, wird vorgeschlagen, Mikroskopdaten mit dieser Kontextinformation zu ergänzen.
Eine Ergänzung des Datensatzes kann auch vorgeschlagen werden, wenn ein Cluster extrem kompakt ist, das heißt eine Abmessung des Clusters im Merkmalsraum kleiner als ein vorgegebener Mindestwert oder kleiner als ein vorgegebenes Verhältnis zu einer Durchschnittsgröße anderer Cluster ist.
Klassen oder Datenpunkte von Klassen, die in der Einbettung nicht hinreichend gut trennbar sind, können ermittelt und optional einem Nutzer angezeigt werden. Hierfür kann anhand einer Verteilung der Datenpunkte in der Einbettung ermittelt werden, ob ein Cluster aus Datenpunkten einer Klasse mit einem Cluster aus Datenpunkten einer anderen Klasse überlappt. In diesem Fall erfolgt eine Ausgabe zugehöriger Datenpunkte oder Klassen zusammen mit der Warnung, dass keine ausreichende Trennbarkeit vorliegt.
Vorschlag einer Datenaugmentierung anhand der Einbettung
Anhand einer Verteilung von Datenpunkten in der Einbettung kann eine Augmentierung vorgeschlagen oder bewertet werden. Eine Augmentierung bezeichnet Rechenvorgänge, durch welche aus Mikroskopdaten des Datensatzes neue Mikroskopdaten erzeugt werden. Ein Augmentierungsvorschlag kann sich auf bestimmte Datenpunkte und/oder eine Stärke der Augmentierung beziehen. Bei einer Augmentierung werden ein oder mehrere Rechenoperationen in festlegbarer Stärke durchgeführt, beispielsweise affine Transformationen wie eine Bilddrehung, Bildverzerrung oder Skalierung.
Sind Cluster in der Einbettung zu kompakt und vereinzelt, kann eine Augmentierung der Mikroskopdaten dieses Clusters vorgeschlagen werden, um eine Datenvarianz zu erhöhen und eine Überanpassung weniger wahrscheinlich zu machen.
Es kann auch zunächst eine Augmentierung in bekannter Weise erfolgen, um anschließend eine Einbettung zu berechnen, welche auch die durch Augmentierung erzeugten zusätzlichen Mikroskopdaten umfasst. Diese Einbettung wird untersucht, um eine Aussage über eine geeignete Augmentierung zu treffen, gemäß den vorgenannten Kriterien.
In einer Darstellung der Einbettung können durch Augmentierung erzeugte Daten gekennzeichnet sein, so dass ein Einfluss der Augmentierung auf die Cluster beurteilt werden kann. Wird die Ausdehnung der Cluster aufgrund der Augmentierung zu stark oder diffus, dann sollte eine Stärke der verwendeten Augmentierung reduziert werden.
Kontextinformationen / Metainformationen
Der Datensatz kann auch zu den Mikroskopdaten gehörende Kontextinformationen umfassen. Die Mikroskopdaten können insbesondere Mikroskopbilder sein, wobei zu mehreren oder jedem der Mikroskopbilder mindestens eine Kontextinformation vorhanden ist. Die Kontextinformationen können beispielsweise eines oder mehreres aus Folgendem betreffen bzw. angeben:

• ein Aufnahmedatum der Mikroskopdaten; ein zur Aufnahme der Mikroskopdaten verwendetes Mikroskopiesystem und verwendete Mikroskopeinstellungen; einen verwendeten Probenträger; eine Art einer untersuchten Probe; eine Probenpräparation einer in den Mikroskopdaten dargestellten Probe; Angaben zu einem Patienten, zu welchem Mikroskopdaten gehören;
• eine vorgegebene Aufteilung des Datensatzes in Trainings- und Validierungsdaten;
• eine Klassenzugehörigkeit; eine Segmentierungsmaske oder ein Bild, das zu Mikroskopdaten, die ein Mikroskopbild darstellen, registriert ist und sich vom Mikroskopbild in einer Aufnahme- oder Darstellungseigenschaft unterscheidet.

In den genannten Analyseschritten können die Kontextinformationen berücksichtigt werden. Beispielsweise kann eine Aufteilung der Datenpunkte homogener Cluster in Trainings- und Validierungsdaten so erfolgen, dass die Trainings- und Validierungsdaten jeweils Datenpunkte desselben homogenen Clusters mit unterschiedlichem Wert einer Kontextinformation enthalten, wobei der Wert der Kontextinformation z.B. verschiedene Patienten bezeichnen kann, zu denen Mikroskopbilder aufgenommen wurden. Hierdurch wird eine höhere Vielfalt der verwendeten Daten gewährleistet.
Sind zu den Mikroskopdaten des Datensatzes sowohl Annotationen als auch Kontextinformationen vorhanden, so kann eine Einbettung des Datensatzes danach analysiert werden, ob eingebettete Datenpunkte mit übereinstimmender Annotation abhängig von einem Wert einer bestimmten Kontextinformation verschiedene Cluster bilden. Ist dies der Fall, kann eine Anweisung ausgegeben werden, dass die bestimmte Kontextinformation zusammen mit Mikroskopdaten dem Modell eingegeben werden sollte (im Training und in der Inferenz). Beispielsweise kann die Kontextinformation einen Typen bzw. ein bestimmtes Modell einer verwendeten Mikroskopkomponente angeben, z.B. einen Typen eines verwendeten DIC-Schiebers (DIC: Differentialinterferenzkontrast) oder einer verwendeten Beleuchtungseinheit. Zeigt die Einbettung hingegen keine von der Kontextinformation abhängige Clusterbildung, so scheint diese Kontextinformation weniger relevant zu sein und muss nicht unbedingt im Training des Modells berücksichtigt werden.
Maschinell gelerntes Analysemodell zum Analysieren der Einbettung
Optional kann eine Einbettung einem maschinell gelerntes Analysemodell eingegeben werden, welches aus der eingegebenen Einbettung eine Trainingsdesignangabe berechnet. Bei den Trainingsdesignangaben kann es sich um die vorstehend erläuterten Beispiele handeln.
Das Analysemodell kann an Trainingsdaten (Analysemodell-Trainingsdaten) gelernt sein, welche als Eingabedaten Einbettungen enthalten und als zugehörige Zieldaten vorgegebene Trainingsdesignangaben enthalten. Beispielsweise können in den Trainingsdaten des Analysemodells Ausreißer markiert sein, so dass das Analysemodell lernt, in einer eingegebenen Einbettung bestimmte Datenpunkte als Ausreißer zu identifizieren. Die Trainingsdaten des Analysemodells können auch Kontext-/Metainformationen enthalten, so dass das Analysemodell lernt, solche Informationen zu berücksichtigen
Als Eingabedaten für das maschinell gelernte Analysemodell können verschiedene Darstellungen einer Einbettung dienen. Die Einbettung kann eine Datenpunktwolke aus eingebetteten Datenpunkten sein, dargestellt durch ein oder mehrere Bilder. Insbesondere kann eine 2D-Einbettung als Bild dargestellt werden, wobei Annotationen als zusätzliche Werte, z.B. als Farben oder Graustufe, dargestellt sind. Auch Kontextinformationen können als zusätzlicher Wert zu jedem Punkt einer (2D-)Einbettung vorhanden sein. Hierbei ist keine Beschränkung auf z.B. drei Farbkanäle gegeben, vielmehr kann eine beliebige Anzahl an Kanälen pro eingebettetem Datenpunkt vorhanden sein. Außer einer 2D-Einbettung kann auch ein beliebigdimensionaler Einbettungsraum verwendet werden.
Annotationen für die Trainingsdaten des Analysemodells müssen nicht manuell oder aus einer Einbettung ermittelt werden. Stattdessen können auch beispielsweise zu mehreren Datensätzen per AutoML-Verfahren jeweils Hyperparameter ermittelt und als Annotationen/Zieldaten im Training des Analysemodells verwendet werden. Als Vorteil kann hierdurch das Analysemodell nach Abschluss des Trainings mit verhältnismäßig wenig Rechenaufwand aus einer Einbettung Hyperparameter berechnen, was durch AutoML zu demselben Datensatz nur mit erheblich höherem Aufwand möglich wäre.
Trainingsdurchführung und Inferenz
Unter dem Festlegen des Trainings in Abhängigkeit von den Trainingsdesignangaben kann verstanden werden, dass die Trainingsdesignangaben automatisch übernommen, einem Nutzer vorgeschlagen oder vor einer automatischen Übernahme zunächst durch ein anderes Programm überprüft werden. Beispielsweise kann eine Anzahl an Trainingsschritten vorgeschlagen werden, wobei durch ein anderes Programm überprüft wird, ob diese Anzahl innerhalb akzeptabler Grenzen liegt.
Anschließend wird das Training mit den gegebenenfalls übernommenen Trainingsdesignangaben durchgeführt. Dadurch wird das Modell dazu eingerichtet wird, aus Mikroskopdaten ein Verarbeitungsergebnis zu berechnen.
Nach Abschluss des Trainings können dem Modell in der Inferenz zu verarbeitende Mikroskopdaten eingegeben werden, welche nicht Teil des Datensatzes waren. Verschiedene Gestaltungen des Modells werden nachfolgend näher beschrieben.
Modell / Bildverarbeitungsmodell
Das maschinell gelernte Modell kann ein Bildverarbeitungsmodell sein und die Mikroskopdaten, die dem Modell eingegeben werden, können Mikroskopbilder sein oder umfassen. Allgemein kann das Modell unter anderem zur Regression, Klassifikation, Segmentierung, Detektion und/oder Bild-zu-Bild-Transformation gestaltet sein. Insbesondere kann das Bildverarbeitungsmodell dazu eingerichtet sein, aus mindestens einem eingegebenen Mikroskopbild als Verarbeitungsergebnis zumindest eines aus Folgendem zu berechnen:

• eine Aussage, ob bestimmte Objekte im Mikroskopbild vorhanden sind. Hierunter kann auch eine Objekt- oder Instanz-Re-Identifizierung fallen, durch welche insbesondere überprüft wird, ob ein Objekt, ein Objekttyp oder eine Objektinstanz, welche in einem Mikroskopbild identifiziert wurde, auch in anderen Mikroskopbildern abgebildet ist.
• eine inverse Bildtransformation, durch welche eine Umkehrung einer bestimmten Bildtransformation geschätzt wird.
• geometrische Angaben zu dargestellten Objekten, z.B. eine Position, Größe oder Orientierung eines Objekts; eine Identifizierung, eine Anzahl oder Eigenschaften dargestellter Objekte. Insbesondere kann auch eine Konfluenz bestimmt werden, das heißt ein von Objekten eines bestimmten Typs bedeckter Flächenanteil des Mikroskopbildes.
• eine Warnung bezüglich Untersuchungsbedingungen, Mikroskopeinstellungen, Probeneigenschaften oder Bildeigenschaften. Mikroskopeinstellungen können z.B. die Beleuchtungsstärke oder andere Beleuchtungseinstellungen, Detektionseinstellungen oder eine Fokussierung betreffen.
• eine Anomalie- oder Neuheits-Detektion. Unterscheiden sich eingegebene Mikroskopdaten erheblich von denen des Trainings, wird eine Anomalie oder eine Neuheit gegenüber den Trainingsdaten festgestellt. Das Bildverarbeitungsmodell kann auch als Watchdog fungieren und eine Warnung im Fall vorab nicht näher festgelegter Abweichungen ausgeben.
• einen Steuerbefehl, einen Vorschlag für einen Steuerbefehl des Mikroskops bzw. einer Mikroskopkomponente, oder eine Anordnung / ein Vorschlag für eine anschließende Bildauswertung. Der Steuerbefehl kann z.B. eine Änderung der Beleuchtung, der Detektion, der Bildaufnahme, der Fokussierung, der Probentischposition, verwendeten Filtern oder des verwendeten Objektivs betreffen. Der Steuerbefehl kann auch verwendete Zusatzkomponenten wie eine Immersionseinrichtung oder eine adaptive Optik betreffen, insbesondere einen räumlichen Modulator für Licht (englisch: Spatial Light Modulator, SLM), wodurch eine Wellenfront modifiziert wird. Eine bestimmte Bildauswertung kann z.B. abhängig davon vorgeschlagen oder angeordnet werden, welche Objekte im Mikroskopbild ermittelt wurden. Weiterhin kann der Steuerbefehl eine AutoCorr-Einstellung betreffen, so dass ein Korrekturring des Objektivs eingestellt wird, um insbesondere Aberrationen auszugleichen.
• eine Bestimmung von Aufnahmeparametern, mit denen ein nachfolgendes Mikroskopbild aufgenommen werden soll.
• eine Parameterbestimmung für eine Kalibrierung, z.B. eine Lagebestimmung und/oder Ausrichtung von mindestens einer Kamera.
• eine Angabe über eine zukünftige Wartung (Predictive Maintenance). Insbesondere kann es sich hierbei um eine Angabe handeln, ob eine bestimmte Mikroskopkomponente Verschleiß erlitten hat und/oder eine Neukalibrierung nötig wird.
• ein Modellüberprüfungsergebnis, wodurch ein anderes Bildverarbeitungsmodell oder dessen Ausgabe überprüft wird, beispielsweise ein durch Auto-ML gestaltetes Modell. Dieses Modell kann einem der vorliegend beschriebenen Bildverarbeitungsmodelle entsprechen. Im Fall der Überprüfung einer Modellausgabe kann auch eine Korrektur der Modellausgabe vorgeschlagen werden.
• ein Ausgabebild, in dem z.B. dargestellte Objekte deutlicher sichtbar oder in höherer Bildqualität dargestellt sind, oder ein Ausgabebild, in dem eine Darstellung bestimmter Strukturen unterdrückt wird. Die verbesserte Sichtbarkeit oder höhere Bildqualität kann allgemein dargestellte Objekte betreffen, wie z.B. im Fall einer Rauschreduzierung (Denoising), Auflösungssteigerung (Superresolution), Kontrastverbesserung (z.B. eine Anpassung des Gamma-Werts oder eine Kontrastspreizung) oder Entfaltung. Die verbesserte Sichtbarkeit kann aber auch allein bestimmte Objekte betreffen, wie im Fall einer Transformation zwischen verschiedenen Kontrastarten, wodurch eine virtuelle Einfärbung (virtual staining) bestimmter Strukturen erreicht wird. Beispielsweise kann die Transformation zwischen den Kontrastarten Hellfeld und DIC (Differentialinterferenzkontrast) erfolgen. Ein Unterdrücken von Strukturen kann z.B. durch eine Artefaktentfernung oder durch eine Detailreduzierung eines Hintergrunds erfolgen. Die Artefaktreduzierung muss sich nicht zwingend auf bereits vorhandene Artefakte in aufgenommenen Rohdaten beziehen, sondern kann auch Artefakte betreffen, die erst durch eine Bildverarbeitung entstehen, insbesondere bei einer Modellkompression. Durch eine Modellkompression wird ein maschinell gelerntes Modell vereinfacht, um den Speicher- oder Rechenbedarf des Modells zu reduzieren, wobei durch die Modellkompression die Modellgenauigkeit leicht reduziert sein kann und Artefakte auftreten können. Eine Bild-zu-Bild-Transformation zum Berechnen des Ausgabebildes kann auch ein Auffüllen von Bildbereichen (inpainting) betreffen, z.B. ein Auffüllen von Fehlstellen oder Lücken abhängig von umgebenden Bildinhalten. Das Ausgabebild kann weiterhin eine Dichtekarte dargestellter Objekte sein, z.B. indem Zell- oder Objektmittelpunkte markiert werden. Auch kann ein Weißabgleich, ein HDR-Bild, oder ein De-Vignetting berechnet werden. Durch einen Weißabgleich wird ein verfälschender Farbton aus dem eingegebenen Mikroskopbild entfernt, so dass farblose Objekte tatsächlich im Ausgabebild farblos dargestellt werden. In einem HDR-Bild ist eine Skala möglicher Helligkeitsunterschiede pro Farbkanal gegenüber dem eingegebenen Mikroskopbild erhöht. Bei einem De-Vignetting wird eine Randabschattung des eingegebenen Mikroskopbildes entfernt, oder allgemein auch andere zum Bildrand hin zunehmende Effekte, wie eine Farbänderung, Abbildungsfehler oder ein Bildschärfeverlust. Auch eine Signaltrennung („Unmixing“) ist möglich, in welcher ein oder mehrere Signalkomponenten extrahiert werden, z.B. um eine Extraktion eines Spektralbereichs aus einer Bildaufnahme zu schätzen. Das Bildverarbeitungsmodell kann auch einen Generator eines GAN, z.B. eines StyleGAN, umfassen.
• ein Klassifikationsergebnis, welches abhängig von einem dargestellten Bildinhalt des Mikroskopbildes eine Einstufung in mindestens eine von mehreren möglichen Klassen angibt. Verschiedene Klassen können z.B. den Probentyp, Probenträgertyp oder Eigenschaften hiervon betreffen, z.B. eine Größe oder Anzahl an bestimmten Objekten oder Probenkomponenten. Auch das Vorhandensein von Objekten im Mikroskopbild oder in bestimmten Bildregionen kann überprüft werden. Objekte können z.B. Zellen, Viren, Bakterien, Teile hiervon oder Partikel umfassen. Zudem kann ein Objektstatus klassifiziert werden, z.B. ein Zellstadium, wobei insbesondere zwischen lebenden und toten Zellen unterschieden werden kann. Die Klassen können auch Mikroskopeigenschaften, Mikroskopkomponenten oder eine Aufnahmeart oder eine Eignung für nachfolgende Mess- und/oder Verarbeitungsschritte betreffen. Das Klassifikationsergebnis kann sich auch auf eine Punktwolke als Eingabe in das Modell beziehen. Die Punktwolke stellt Messergebnisse dar oder Merkmalsvektoren von Mikroskopbildern in einem dimensionsreduzierten Merkmalsraum. Weiterhin kann die Klassifikation eine Qualitätsbeurteilung sein, z.B. hinsichtlich der Bildaufnahme oder eines zuvor durchgeführten Bildverarbeitungsschritts. Eine Klassifikation kann optional als ordinale Klassifikation erfolgen, in welcher mehrere mögliche Klassen eine Reihenfolge bilden, z.B. bei einer Qualitätsbeurteilung von Probenträgern oder einer Größenschätzung dargestellter Objekte. Auch eine Ein-Klassen-Klassifizierung ist möglich, in welcher geschätzt wird, ob eine bestimmte Klasse vorliegt, ohne dass eine andere Klasse näher definiert wird. In allen Beispielen kann eine Wahrscheinlichkeit für eine Klassenzugehörigkeit angegeben werden. Insbesondere bei einer ordinalen Klassifikation kann auch ein Zwischenergebnis zwischen vorgegebenen Klassen geschätzt werden. Die genannten Klassifizierungen können optional durch eine „Open-Set-Klassifizierung“ erfolgen, in welcher erkannt wird, ob Eingabedaten einer Verteilung der Trainingsdaten entstammen und somit einer der bekannten Klassen zugeordnet werden können, oder ob es sich um eine neue Klasse handelt, welche nicht im Modelltraining berücksichtigt wurde.
• ein Regressionsergebnis, welches prinzipiell die zur Klassifikation genannten Beispiele betreffen kann, oder z.B. eine Füllstandsbestimmung von Probengefäßen, eine Fokusbestimmung, eine Bildqualitätsbestimmung oder eine Höhenbestimmung von Multiwellplatten, von anderen Probenträgern oder von anderen Objekten.
• eine Lichtfeldverrechnung, durch welche aus mindestens einem eingegebenen Mikroskopbild bzw. eingegebenen Bilddaten ein 3D-Bild der Probe geschätzt wird.
• eine Segmentierung, insbesondere eine semantische Segmentierung oder Instanzsegmentierung, oder eine Detektion bestimmter Strukturen, z.B. von: einem Probenbereich, verschiedenen Probentypen oder Probenteilen, einem oder mehreren verschiedenen Probenträgerbereichen, einem Hintergrund, einer Mikroskopkomponente (z.B. von Halteklammern oder anderen Teilen zum Halten eines Probenträgers) und/oder Artefakten. Eine Segmentierung kann durch eine interaktive Segmentierung erfolgen, in welcher ein Nutzer ein- oder mehrmals Punkte oder Bildbereiche im Mikroskopbild auswählt, welche zu einem zu segmentierenden Objekt gehören sollen oder nicht. Zudem kann die Segmentierung eine panoptische Segmentierung sein, in welcher eine Semantik und eine Instanz von segmentierten Objekten angegeben wird. Eine Detektion kann als Angabe, ob eine oder mehrere der genannten Strukturen im Bild vorkommen, verstanden werden, oder als Ortsangabe einer oder mehrerer der genannten Strukturen, wobei eine Ortsangabe durch Bildkoordinaten oder z.B. durch einen üblicherweise als Bounding-Box bezeichneten Rahmen um die entsprechende Struktur erfolgen kann. Auch Größenangaben oder andere geometrische Objekteigenschaften können durch die Detektion in einer Liste ausgegeben werden.

• eine Datenreduktion, wodurch eine komprimierte Darstellung des eingegebenen mindestens einen Mikroskopbildes erzeugt wird. Insbesondere kann die Datenreduktion im Sinne einer dünnbesetzten oder komprimierten Darstellung (compressed sensing) erfolgen.
• eine Modellkompression eines maschinell gelernten Modells, wodurch das Modell vereinfacht wird. Beispielsweise kann durch eine Parameterreduzierung eine Laufzeitverbesserung erreicht werden. Das zu komprimierende Modell kann insbesondere einem der hier beschriebenen Bildverarbeitungsmodelle entsprechen.
• eine Modellauswahl: Es wird ermittelt, welches von mehreren maschinell gelernten Modellen für eine folgende Analyse bzw. Bildverarbeitung verwendet werden soll.
• eine Bewertung eines maschinell gelernten Modells oder einer Modellarchitektur eines maschinell gelernten Modells, nach Abschluss eines Modelltrainings oder auch während einem noch laufenden Modelltraining (Training Observer).
• eine Bewertung einer Modellausgabe eines Bildverarbeitungsmodells, um durch ein kontinuierliches aktives Lernen (Continuous Active Learning) eine Verfeinerung von Modellparametern des Bildverarbeitungsmodells zu berechnen.
• Trainingsdaten für ein weiteres maschinell gelerntes Modell. Bei den Trainingsdaten kann es sich um jede der hier genannten Ausgaben handeln.
• ein Überwachungsergebnis eines Arbeitsablaufes eines Mikroskops. Es können Bilddaten danach ausgewertet werden, ob bestimmte Ereignisse eingetreten sind, z.B. ob ein allgemeiner oder bestimmter Probenträger oder ein Kalibrierobjekt auf einen Mikroskoptisch platziert wurde. Auch Spektrogrammdaten aufgenommener Audiodaten oder andere Darstellungen von Audiodaten können zur Überwachung eines Arbeitsablaufes ausgewertet werden.
• eine Konfidenzschätzung eines Bildverarbeitungsergebnisses eines anderen Bildverarbeitungsmodells, welches z.B. einem der vorliegend beschriebenen Bildverarbeitungsmodelle entsprechen kann.
• eine Auswahl von Bildern aus einem Bilddatensatz, wobei ausgewählte Bilder dem eingegebenen Mikroskopbild ähneln (Image Retrieval).

Eine Art der Trainingsdaten kann entsprechend den vorgenannten Funktionen gewählt sein. Bei einem überwachten Lernvorgang umfassen die Trainingsdaten außer Mikroskopdaten auch vorgegebene Zieldaten (ground truth Daten), welchen das berechnete Verarbeitungsergebnis möglichst gleichen sollte. Für eine Segmentierung sind die Zieldaten beispielsweise Segmentierungsmasken. Im Fall einer virtuellen Einfärbung sind die Zieldaten z.B. Mikroskopbilder mit chemischer Färbung, Fluoreszenzbilder oder allgemein Mikroskopbilder, die mit einer anderen Kontrastart als die einzugebenden Mikroskopbilder aufgenommen sind.
Architektur des Modells
Eine Architektur des Modells / Bildverarbeitungsmodells kann prinzipiell beliebig sein. Es kann ein neuronales Netz, insbesondere ein parametrisiertes Modell oder ein tiefes neuronales Netz umfassen, welches insbesondere faltende Schichten (convolutional layers) enthält. Das Modell kann z.B. eines oder mehreres aus Folgenden umfassen:

• Encoder-Netzwerke für eine Klassifikation oder Regression, z.B. ResNet oder DenseNet; • einen Autoencoder, welcher dazu trainiert wird, eine Ausgabe zu erzeugen, welche möglichst identisch zur Eingabe ist; • Generative Adversielle Netzwerke (englisch: Generative Adversarial Networks, GANs); • Encoder-Decoder-Netzwerke, z.B. U-Net; • Feature-Pyramid-Netzwerke; • vollständig faltende Netzwerke (englisch: Fully-Convolutional Networks, FCN), z.B. DeepLab; • Sequenzielle Modelle, z.B. RNN (rekurrente neuronale Netzte, englisch: recurrent neural network, RNN), LSTM (englisch: Long Short-Term Memory) oder Transformer; • Fully-Connected-Modelle, z.B. Multi-Layer Perceptron Netze (MLP).

Allgemeine Eigenschaften
Vorliegend beschriebene Verfahrensprozesse können automatisch erfolgen oder semi-automatisch. Beispielsweise kann vorgesehen sein, dass nach einer automatischen Bestimmung der Trainingsdesignangaben ein Nutzer manuell das Training in Abhängigkeit der Trainingsdesignangaben festlegt, z.B. vorgeschlagene Hyperparameter und eine vorgeschlagene Aufteilung des Datensatzes übernimmt, modifiziert übernimmt oder verwirft. Ein ermittelter Vorschlag kann in analoger Weise entweder automatisch, oder nach manueller Zustimmung oder nach Zustimmung durch ein anderes automatisch ausgeführtes Programm umgesetzt werden.
Klassenlabel: In verschiedenen Ausführungsvarianten werden Mikroskopdaten bzw. eingebettete Datenpunkte verwendet, welchen jeweils ein Klassenlabel zugeordnet ist. Allgemeiner können diese Varianten auch für Mikroskopdaten bzw. Datenpunkte verwendet werden, für welche andere Annotationen vorhanden sind. Übereinstimmende Klassenlabel entsprechen hierbei übereinstimmenden Annotationen. Beispielsweise kann als Annotation eine Konfluenz angegeben sein, das heißt eine von biologischen Zellen bedeckte Fläche in einem Mikroskopbild. Eine Übereinstimmung der Konfluenz oder einer anderen Annotation, welche Fließwerte annehmen kann und nicht auf diskrete Klassen beschränkt ist, kann angenommen werden, wenn eine Abweichung kleiner als ein vorgegebener Wert ist. Alternativ kann die Konfluenz oder andere Annotation über vorgegebene Intervallgrenzen in Klassen eingeteilt werden. Diese Klassen werden in der Analyse der Einbettung berücksichtigt und brauchen nicht beim Training des Modells Verwendung finden.
Formulierungen wie „basierend auf“, „anhand“ oder „abhängig von“ sollen nichtabschließend verstanden werden, so dass weitere Abhängigkeiten bestehen können. Wird beispielsweise eine Eignung eines Datensatzes für ein Training abhängig von einer ermittelten Eigenschaft bewertet, schließt dies nicht aus, dass auch weitere Eigenschaften ermittelt und für die Bewertung der Eignung berücksichtigt werden.
Die Ausdrücke „Gewichte“ oder „Modellgewichte“ können als gleichbedeutend mit „Modellparametern“ oder „Modellparameterwerten“ eines maschinell gelernten Modells verstanden werden.
Der Begriff „Validierungsdaten“ kann in der vorliegenden Bedeutung auch Testdaten umfassen. Testdaten werden nicht zur Ermittlung oder Auswahl von Hyperparametern verwendet. Vielmehr dienen Testdaten allein einer finalen Qualitätsbewertung eines fertig trainierten Modells.
Maschinell gelernte Modelle bezeichnen allgemein Modelle, die von einem Lernalgorithmus anhand von Trainingsdaten gelernt wurden. Die Modelle können beispielsweise ein oder mehrere faltende neuronale Netze (englisch: convolutional neural network, CNN) umfassen, wobei auch andere Modellarchitekturen eines tiefen neuronalen Netzes (englisch: deep neural network) möglich sind. Mit Hilfe eines Lernalgorithmus werden Werte von Modellparametern des Modells anhand der Trainingsdaten festgelegt. Hierzu wird eine vorgegebene Zielfunktion optimiert, z.B. eine Verlustfunktion minimiert. Zum Minimieren der Verlustfunktion werden die Modellparameterwerte verändert, was z.B. durch Gradientenabstieg und Backpropagation berechnet werden kann.
Das Mikroskop kann ein Lichtmikroskop sein, welches eine Systemkamera und optional eine Übersichtskamera aufweist. Auch andere Arten von Mikroskopen sind möglich, beispielsweise Elektronenmikroskope, Röntgenmikroskope oder Rasterkraftmikroskope. Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst.
Die Recheneinrichtung kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung von Mikroskopkomponenten eingerichtet sein. Eine dezentrale Gestaltung der Recheneinrichtung kann insbesondere genutzt werden, wenn ein Modell durch föderales Lernen mittels mehrerer voneinander getrennter Geräte gelernt wird.
Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Beispielsweise soll das vom Modell berechnete Verarbeitungsergebnis als mindestens ein Verarbeitungsergebnis verstanden werden. Optional können mehrere der hier genannten Verarbeitungsergebnisse gemeinsam vom Modell aus einer Eingabe berechnet werden. Auch das Berechnen einer Einbettung soll im Sinne mindestens einer Einbettung verstanden werden. Beispielsweise können aus demselben Datensatz in verschiedener Weise Einbettungen berechnet werden, wodurch gegebenenfalls sich ergänzende Informationen resultieren. Für verschiedene Einbettungen kann derselbe oder verschiedene Merkmalsextraktoren verwendet werden.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.
KURZBESCHREIBUNG DER FIGUREN
Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Mikroskopiesystems;
2 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
3 - 7 zeigen jeweils eine Einbettung von Mikroskopdaten gemäß Ausführungsbeispielen eines erfindungsgemäßen Verfahrens;
8 illustriert eine Einbettung von Mikroskopdaten gemäß Ausführungsbeispielen eines erfindungsgemäßen Verfahrens;
9 illustriert Prozesse von Ausführungsbeispielen eines erfindungsgemäßen Verfahrens;
10 illustriert Prozesse von Ausführungsbeispielen eines erfindungsgemäßen Verfahrens; und
11 illustriert Prozesse von Ausführungsbeispielen eines erfindungsgemäßen Verfahrens;

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 1
1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 9. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 9 Detektionslicht aus einem Bereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können beliebige Objekte, Fluide oder Strukturen sein. Zusätzlich oder anstelle der Mikroskopkamera 9 kann auch ein Okular 12 genutzt werden. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9A zum Aufnehmen eines Übersichtsbildes des Probenträgers 7. Ein Sichtfeld 9C der Übersichtskamera 9A ist größer als ein Sichtfeld der Mikroskopkamera 9. Im dargestellten Beispiel blickt die Übersichtskamera 9A über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden.
Als Mikroskopdaten werden vorliegend von dem Mikroskop aufgenommene Rohdaten oder hierauf weiterverarbeitete Daten verstanden. Insbesondere können Mikroskopdaten ein Mikroskopbild sein, das heißt ein Übersichtsbild der Übersichtskamera 9A oder ein Probenbild der Probenkamera/Systemkamera 9. Die Mikroskopdaten sollen durch ein maschinell gelerntes Modell / Bildverarbeitungsmodell verarbeitet werden. Dieses Modell kann durch ein Computerprogramm 11 ausgeführt werden, welches Teil einer Recheneinrichtung 10 ist. Für eine möglichst hohe Qualität des maschinell gelernten Modells ist die Trainingsgestaltung des Modells essentiell. Hierauf wird im Folgenden mit Bezug auf die weiteren Figuren eingegangen.
FIG. 2
2 illustriert schematisch Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Durch die dargestellten Prozesse werden Mikroskopdaten F, G in einen niedrigdimensionalen Merkmalsraum Z eingebettet. Die mit Bezug auf 1 erwähnte Recheneinrichtung 10 oder das Computerprogramm 11 sind zur Durchführung dieses Verfahrens gestaltet.
In Prozess P1 wird ein Datensatz D erhalten, z.B. mit einem Mikroskop aufgenommen oder aus einem Datenspeicher geladen. Der Datensatz D enthält Mikroskopdaten F, G, welche im dargestellten Beispiel aufgenommene Mikroskopbilder sind, aber auch durch andere Bilddaten oder hieraus abgeleitete Daten gebildet sein können, z.B. durch Segmentierungsmasken, Zeitreihen oder Karten identifizierter Zellmittelpunkte. Die Mikroskopdaten F, G sollen als Trainingsdaten eines maschinell gelernten Modells verwendet werden, worauf mit Bezug auf die späteren Figuren eingegangen wird.
Zunächst werden die Mikroskopdaten F, G einem Merkmalsextraktor 20 eingegeben, welcher in Prozess P2 zugehörige Merkmalsvektoren f, g berechnet. Zu jedem Mikroskopbild F, G wird ein Merkmalsvektor f, g berechnet, dessen Informationsgehalt im Wesentlichen mit dem des zugehöriges Mikroskopbildes übereinstimmen sollte. Im dargestellten Beispiel ist der Merkmalsextraktor ein vorab trainiertes, maschinell gelerntes Modell. Ein Merkmalsvektor f, g kann z.B. durch einen Tensor gebildet sein, dessen Dimensionalität kleiner als die der Mikroskopdaten F, G ist. Bei Mikroskopbildern kann unter Dimensionalität die Pixelanzahl verstanden werden.
Die Merkmalsvektoren f, g werden anschließend einer Einheit 30 oder Funktion zum Berechnen einer Einbettung E eingegeben. Im dargestellten Beispiel berechnet die Einheit 30 aus eingegebenen Merkmalsvektoren f, g eine t-verteilte stochastische Nachbareinbettung (t-Distributed Stochastic Neighbor Embedding, t-SNE), welche im allgemeinen Beschreibungsteil näher erläutert wurde. Während der Merkmalsextraktor 20 jedes Mikroskopbild separat zu einem Merkmalsvektor f, g umwandelt, werden zur Berechnung der t-SNE alle Merkmalsvektoren f, g zusammen berücksichtigt.
Die Einbettung E umfasst pro Merkmalsvektor f, g einen zugehörigen eingebetteten Datenpunkt F', G'. Im dargestellten Beispiel sind die Datenpunkte F', G' in einen zweidimensionalen Merkmalsraum Z abgebildet, wobei aber auch höher dimensionale Merkmalsräume möglich sind. Ein Abstand zwischen den Datenpunkten F', G' ist ein Maß für eine Ähnlichkeit der zugehörigen Mikroskopdaten F, G. Daher erlaubt eine Analyse der Einbettung E, insbesondere einer Lage der eingebetteten Datenpunkte F', G' zueinander, Rückschlüsse auf Eigenschaften der Mikroskopdaten F, G und auf eine Zusammensetzung des Datensatzes D.
FIG. 3 - 7
Einbettungen E zu verschiedenen Datensätzen sind in den 3 bis 7 schematisch gezeigt. In diesen Beispielen ist zu den Mikroskopdaten jeweils eine Annotation vorgegeben, z.B. jeweils ein Klassenlabel pro Mikroskopbild. Die Annotation zu einem Mikroskopbild gilt entsprechend für den zugehörigen eingebetteten Datenpunkt. In den 3 bis 7 werden schematisch zwei verschiedene Klassenlabel dadurch unterschieden, dass die entsprechenden Datenpunkte als leerer Kreis (F') oder gefüllt (G') dargestellt sind.
3 zeigt einen Idealfall, in dem die Datenpunkte F' einen Cluster C1 und die Datenpunkte G' einen Cluster C2 bilden. Unter einem Cluster wird eine Anhäufung beieinanderliegender Datenpunkte im Merkmalsraum Z verstanden. Die Cluster C1, C2 sind entsprechend dem Klassenlabel getrennt, das heißt der Cluster C1 besteht homogen allein aus Datenpunkten F' mit einem bestimmten Klassenlabel, während der Cluster C2 homogen nur aus Datenpunkten G' mit einem bestimmten anderen Klassenlabel besteht. Die Cluster C1, C2 sind deutlich voneinander getrennt. 3 entspricht einem vereinfachten Beispiel, wobei ein entsprechendes Beispiel an realen Daten gezeigt ist in aus: Laurens van der Maaten, „Accelerating t-SNE using Tree-Based Algorithms“ in Journal of Machine Learning Research 15 (2014) 1-21.
4 zeigt einen multimodalen Fall, in dem die Datenpunkte F' mit demselben Klassenlabel mehrere voneinander getrennte, kompakte Cluster C1 und C3 bilden. Ebenso bilden die Datenpunkte G', die ein gemeinsames Klassenlabel haben, mehrere Cluster C2 und C4. Die Cluster C1-C4 sind homogen und deutlich voneinander getrennt. Während das Beispiel von 4 vereinfacht ist, kann ein entsprechendes Beispiel an realen Daten gefunden werden in von Laurens van der Maaten, „Accelerating t-SNE using Tree-Based Algorithms“ in Journal of Machine Learning Research 15 (2014) 1-21.
5 zeigt eine Einbettung E, in welcher eine Anordnung der eingebetteten Datenpunkte F', G' mehrere Cluster C5-C7 bildet, die jedoch nicht homogen sind. Vielmehr umfasst jeder der Cluster C5-C7 Datenpunkte F' und G' mit verschiedenen Klassenlabeln. Eine solche Einbettung E kann durch einen Bias resultieren, das heißt einen systematischen Fehler oder eine Beeinflussung in den zugrundeliegenden Mikroskopdaten. Durch den Bias bilden die Datenpunkte F' eines Klassenlabels nicht einen einzigen Cluster, sondern mehrere zueinander verschobene oder getrennte Cluster, in diesem Beispiel drei Cluster. Der Bias kann beispielsweise durch verschiedene Messgeräte herrühren, welche zwar typgleich sein sollten, aber Unterschiede zueinander aufweisen können oder z.B. unter verschiedenen Umgebungsbedingungen betrieben werden. Trotz der mehreren Cluster C5-C7 können in diesem Beispiel die Datenpunkte F', G' abhängig von ihrer Lage im Merkmalsraum in zwei Gruppen getrennt werden, welche dem jeweiligen Klassenlabel entsprechen: Innerhalb eines der Cluster C5-C7 können die Datenpunkte F', G' gemäß ihrem Klassenlabel getrennt werden, hier vereinfacht durch eine horizontale Trennlinie als Klassentrennungsregel. Im dargestellten Beispiel kann diese Klassentrennungsregel generalisiert werden. Das heißt, die Klassentrennungsregel kann an z.B. den Clustern C5 und C6 ermittelt werden und anschließend wird verifiziert, ob die Klassentrennungsregel auch für den Cluster C7 korrekt die Datenpunkte F' und G' gemäß ihrem Klassenlabel trennt. Dies ist vorliegend für eine horizontale Linie als Klassentrennungsregel der Fall. Die negative Beeinträchtigung des Bias ist daher in diesem Beispiel nicht so stark, dass der Datensatz unbrauchbar wäre.
6 zeigt eine weitere Einbettung E, bei welcher die Datenpunkte F', G' mehrere inhomogene Cluster C8-C10 bilden. Im Unterschied zu 5 kann durch die Wirkung des Bias nicht mehr eine Lage eines Datenpunktes F' und G' im Merkmalsraum Z zuverlässig mit einem bestimmten Klassenlabel in Verbindung gebracht werden. Vielmehr überschattet der Bias die Unterschiede zwischen den Klassen in einer Weise und Stärke, dass es für einen einzigen Datenpunkt nicht möglich ist, aus seiner Lage im Merkmalsraums Z auf ein Klassenlabel zu schließen. Es ist nicht möglich, eine Klassentrennungsregel anhand einiger der Cluster aufzustellen (z.B. anhand der Cluster C8 und C9), welche für alle Cluster C8-C10 gelten würde.
7 zeigt schematisch eine Einbettung E, bei welcher die Datenpunkte F' und G' pro Klassenlabel einen homogenen Cluster C11, C12 bilden. Ein Cluster kann als homogen aufgefasst werden, wenn z.B. mindestens 95% seiner Datenpunkte dasselbe Klassenlabel haben. Der Cluster C12 weist einen Datenpunkt H2' auf, dessen Klassenlabel von denen der übrigen Datenpunkte G' dieses homogenen Clusters C12 abweicht. Ein solcher Fall kann z.B. durch ein fehlerhaftes Annotieren der Mikroskopdaten zustande kommen. Der Datenpunkt H2' kann aufgrund seines Klassenlabels und seiner Lage in der Einbettung E als Ausreißer identifiziert werden. Einen weiteren Ausreißer stellt der Datenpunkt H1' dar, welcher weit beabstandet zum nächsten Cluster ist. Ein solcher Fall kann durch eine fehlerhafte Datenaufnahme resultieren, z.B. wenn ein leeres Bild oder ein Bild an einer falschen Position aufgenommen wurde, oder durch eine fehlerhafte Bildverarbeitung, z.B. durch ein fehlerhaftes Zuschneiden eines aufgenommenes Bildes. Der Datenpunkt H1' kann durch seine Lage in der Einbettung E und optional unter Berücksichtigung seines Klassenlabels als Ausreißer identifiziert werden. Die Cluster C11 und C12 sind in diesem Beispiel zwar voneinander getrennt, bilden jedoch eine diffuse Grenzregion R. In der Grenzregion R ist es nicht möglich, ein Klassenlabel eines Datenpunktes zuverlässig allein aufgrund seiner Lage im Merkmalsraum Z vorherzusagen.
Die Mikroskopdaten des Datensatzes sollen für ein Training eines Modells verwendet werden. Durch eine Analyse der Einbettung des Datensatzes kann eine geeignete Gestaltung der Trainingsdurchführung oder des Aufbaus des Modells ermittelt werden. Dies wird im Folgenden beispielhaft für die Aufteilung des Datensatzes in Trainings- und Validierungsdaten und eine mögliche Ergänzung des Datensatzes erläutert.
Wird eine Einbettung entsprechend 3 festgestellt, so werden Mikroskopdaten zu einigen Datenpunkten von jedem der Cluster C1 und C2 als Validierungsdaten ausgewählt. Die übrigen Mikroskopdaten können als Trainingsdaten verwendet werden.
Im Fall von 4 werden ebenfalls Mikroskopdaten zu einigen Datenpunkten von jedem der Cluster C1-C4 als Validierungsdaten ausgewählt, z.B. zufällig gezogen. Außerdem werden Mikroskopdaten zu mehreren Datenpunkten von jedem der Cluster C1-C4 als Trainingsdaten ausgewählt. Indem die Trainingsdaten alle Cluster C1-C4 abdecken, wird sichergestellt, dass das Modell eine Verarbeitung der entsprechenden strukturell verschiedenen Daten lernt. Die Validierungsdaten sollten in diesem Fall alle Cluster abdecken, damit eine Qualitätsaussage anhand der Validierungsdaten alle Gruppierungen verschiedener Daten berücksichtigt. Im Fall einer hohen Anzahl von Clustern derselben Klasse kann es auch genügen, wenn die Validierungsdaten nur aus einigen der Clustern gezogen werden. Darüber hinaus können unterschiedlich große Cluster einander angenähert werden. Weichen die Cluster C1 und C3 (derselben Klasse) stark in ihrer Anzahl an Datenpunkten ab, könnte dieses Verhältnis dazu führen, dass eine korrekte Verarbeitung von Daten eines Clusters nicht gelernt würde oder in der Validierung eine inkorrekte Verarbeitung von Daten eines Clusters kaum ins Gewicht fallen würde. Daher kann für die Trainingsdaten und/oder die Validierungsdaten eine Auswahl von Messdaten, die zu Datenpunkten verschiedener Cluster derselben Klasse gehören, so erfolgen, dass eine Anzahl an Datenpunkten pro Cluster derselben Klasse aneinander angenähert ist, insbesondere dass pro Cluster dieselbe Anzahl an Datenpunkten ausgewählt ist. Im Gegensatz zu diesem Vorgehen könnte es bei einer simplen zufälligen Auswahl von Mikroskopdaten für die Validierungsdaten passieren, dass Mikroskopdaten zu einem Cluster überhaupt nicht oder nur unterrepräsentiert in den Validierungsdaten enthalten wären.
Werden in einer Analyse der Einbettung Cluster wie im Beispiel von 5 festgestellt, erfolgt hingegen eine andere Aufteilung in Trainings- und Validierungsdaten. In diesem Beispiel ist es wichtig, dass ein maschinell gelerntes Modell nicht durch den Bias, der in den Mikroskopdaten vorhanden ist, beeinträchtigt wird. Die Validierungsdaten sollen eine korrekte Aussage hierüber ermöglichen. Dazu ist es wichtig, dass die Trainings- und Validierungsdaten nicht Mikroskopdaten zu Datenpunkten F', G' aller Cluster C5-C7 enthalten. Denn in diesem Fall könnte eine Überanpassung des Modells nicht anhand der Validierungsdaten erkannt werden. Vorteilhafterweise sollten stattdessen die Mikroskopdaten zu Datenpunkten von einem der Cluster, z.B. die Mikroskopdaten zu Datenpunkten F', G' des Cluster C7 ausschließlich als Validierungsdaten und nicht als Trainingsdaten genutzt werden. Hierdurch erlauben die Validierungsdaten eine Aussage über eine Generalisierbarkeit des Modells und eine Anwendbarkeit des Modells auf Mikroskopdaten, die einen anderen oder unbekannten Bias haben, in dem zuvor genannten Beispiel etwa an einem anderen Mikroskop oder unter anderen Umgebungseigenschaften aufgenommen wurden. Anstelle einer konkreten Aufteilung in Trainings- und Validierungsdaten kann in einem Fall entsprechend 5 auch eine Angabe gemacht werden, welche Gruppen an Mikroskopdaten nicht auf Trainings- und Validierungsdaten verteilt werden sollten, sondern nur entweder als Trainings- oder als Validierungsdaten genutzt werden sollen. Die Angabe kann z.B. vorschreiben, dass Mikroskopdaten desselben Aufnahmetages nur entweder als Trainings- oder als Validierungsdaten verwendet werden sollen.
Wird eine Einbettung wie im Beispiel von 6 erkannt, könnte eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten wie zu 5 beschrieben erfolgen. Es ist jedoch zu erwarten, dass aufgrund des Bias keine Generalisierung des Modells möglich ist. Dies könnte durch die genannte Aufteilung anhand der Validierungsdaten festgestellt werden. In einem Fall entsprechend 6 kann aber auch alternativ oder zusätzlich zu der genannten Aufteilung des Datensatzes eine Warnung ausgegeben werden, dass mit dem vorliegenden Datensatz voraussichtlich kein qualitativ akzeptables Modell gelernt werden kann.
Im Beispiel von 7 kann eine Aufteilung in Trainings- und Validierungsdaten so gewählt werden wie zu 1 beschrieben. Jedoch kann zunächst eine Bereinigung des Datensatzes erfolgen, indem die Ausreißer (die Mikroskopdaten zu den Datenpunkten H1' und H2') entfernt werden oder einem Nutzer zur Kontrolle bzw. Annotationskorrektur angezeigt werden. Für Mikroskopdaten, deren Einbettung in der diffusen Grenzregion R liegt, ist eine erhöhte Fehleranfälligkeit eines maschinell gelernten Modells zu erwarten. Deshalb kann ein Hinweis ausgegeben werden, dass für ein Training weitere Mikroskopdaten ergänzt werden sollten, welche den Mikroskopdaten ähneln, die den Datenpunkten in der Grenzregion R entsprechen. Es können auch per Augmentierung aus den Mikroskopdaten zu Datenpunkten der Grenzregion R weitere Mikroskopdaten automatisch erzeugt werden. Mikroskopdaten, deren Einbettungen in der Grenzregion R liegen, können verstärkt im Training berücksichtigt werden, durch z.B. eine statistisch häufigere Verwendung dieser Mikroskopdaten im Training oder durch eine stärkere Gewichtung in der Verlustfunktion.
Auch optionale Kontextinformationen können berücksichtigt werden. Beispielsweise kann als Kontextinformation K4, K5 (siehe 4) angegeben werden, mit welchem Mikroskop die Mikroskopdaten aufgenommen wurden. In diesem Beispiel resultieren die verschiedenen Cluster C2, C4 zu Mikroskopdaten derselben Klasse demnach aus der Verwendung verschiedener Mikroskope. Verschiedene Mikroskope (mit gleichem oder ähnlichem Setup) sollten jedoch nicht zu erheblichen strukturellen Unterschieden der Mikroskopdaten führen, was anhand des Abstands der Cluster C2 und C4 eingeschätzt werden kann. Abhängig von einem Abstand bzw. einer Trennung der Cluster C2 und C4 kann deshalb ein Hinweis ausgegeben werden, dass weitere Mikroskopdaten ergänzt werden sollten, welche andere Werte der betroffenen Kontextinformation aufweisen. In anderen Beispielen kann die Kontextinformation verschiedene Aufnahmetage oder Umgebungseigenschaften wie Raumbeleuchtungen angeben. Allgemeiner kann ein Warnhinweis ausgegeben werden, wenn verschiedene Cluster C2, C4 mit einer Kontextinformation korrelieren, welche einen äußeren Einfluss angibt (z.B. einen Aufnahmetag). Hingegen wird kein Warnhinweis ausgegeben, wenn verschiedene Cluster C2, C4 mit einer Kontextinformation korrelieren, welche durch die Beschaffenheit der Daten zustande kommt, z.B. wenn die Kontextinformation einen verwendeten Fluoreszenzwellenlängenbereich angibt.
Neben den dargestellten Beispielen sind auch weitere Fälle möglich, z.B. Kombinationen der gezeigten Beispiele oder der Fall, dass Datenpunkte verschiedener Klassen überhaupt nicht im Merkmalsraum getrennt sind. In diesem Fall kann an den vorliegenden Mikroskopdaten voraussichtlich kein korrekt arbeitendes Klassifikationsmodell gelernt werden, und ein entsprechender Hinweis kann ausgegeben werden.
FIG. 8
Ein Beispiel eines tatsächlichen Datensatzes D mit zugehöriger Einbettung E ist in 8 gezeigt. Exemplarisch sind einige der Mikroskopdaten F und G des Datensatzes D dargestellt. Die Mikroskopdaten F zeigen einen bestimmten Bakterientyp, was durch ein Klassenlabel D1 angegeben ist. Hingegen zeigen die Mikroskopdaten G einen anderen Bakterientyp, was entsprechend durch ein Klassenlabel D2 vermerkt ist. Außerdem können Kontextinformationen K1, K2, ... vorhanden sein, welche z.B. den Aufnahmetag der jeweiligen Mikroskopdaten F, G angeben.
Die Einbettung E kann wie beschrieben über eine t-SNE berechnet werden. In der Einbettung sind die Datenpunkte F', welche den Mikroskopdaten F und somit einem ersten Bakterientyp entsprechen, durch jeweils einen grauen Punkt dargestellt. Hingegen sind die Datenpunkte G', welche den Mikroskopdaten G und somit einem zweiten Bakterientyp entsprechen, durch jeweils einen schwarzen Punkt dargestellt. Gestrichelte Rahmen umgrenzen diejenigen Datenpunkte, die am selben Aufnahmetag aufgenommen wurden, was durch entsprechende Kontextinformationen K1-K3 in den Daten angegeben ist. Aus der Einbettung E ist erkennbar, dass mit dem Aufnahmetag ein dominierender Bias verbunden ist, durch welchen die Datenpunkte nicht gemäß dem dargestellten Bakterientyp trennbar sind. Cluster aus Datenpunkten sind gemäß den Aufnahmetagen gebildet, während sich die verschiedenen Bakterientypen nicht in separierten Clustern widerspiegeln. Daher wird der Datensatz als nicht geeignet eingestuft, um hieran ein Modell zur Klassifikation dargestellter Bakterientypen zu lernen. Eine entsprechende Warnung wird ausgegeben. Optional kann auch eine Aufteilung in Trainings- und Validierungsdaten vorgeschlagen werden: Die Mikroskopdaten eines oder mehrerer bestimmter Aufnahmetage, z.B. die Mikroskopdaten mit den Kontextinformationen K1 und K2, werden ausschließlich als Validierungsdaten verwendet und nicht als Trainingsdaten. Hierdurch kann das Modell nicht den enthaltenen Bias der Aufnahmetage zu K1 und K2 auswendig lernen. Daher sind die Validierungsdaten aussagekräftig für die Frage, wie gut das Modell Mikroskopdaten eines anderen (zukünftigen) Aufnahmetages verarbeiten kann.
FIG. 9
9 illustriert Prozesse von erfindungsgemäßen Verfahren, in welchen aus einer Einbettung E verschiedene Trainingsdesignangaben 50 berechnet werden. Die Trainingsdesignangaben 50 werden in der Festlegung eines Trainings des Modells berücksichtigt.
Eine Einbettung E wird einem maschinell gelernten Analysemodell 40 eingegeben, welches in Prozess P4 die Einbettung analysiert, um als Prozess P5 eine oder mehrere Trainingsdesignangaben 50 auszugeben.
Beispielsweise kann als Trainingsdesignangabe 50 eine Aufteilung 51 in Trainingsdaten T und Validierungsdaten V berechnet werden. Hierzu wird z.B. analysiert, welchem der in den 3-8 gezeigten Fällen eine Einbettung entspricht. Abhängig hiervon wird die zu der jeweiligen Figur beschriebene Aufteilung gewählt. Optional können hierbei auch Kontextinformationen berücksichtigt werden.
Das Analysemodell 40 kann anhand von Analysemodell-Trainingsdaten gelernt sein, welche verschiedene Einbettungen als Eingabedaten für das Analysemodell 40 umfassen, und zugehörige Annotationen als Zieldaten des Trainings. Die Annotationen entsprechen gerade den Trainingsdesignangaben 50, also z.B. einer Aufteilung in Trainings- und Validierungsdaten. Anstelle eines maschinell gelernten Analysemodells 40 kann aber auch ein Analysealgorithmus ohne maschinelles Lernen die genannten Trainingsdesignangaben 50 berechnen.
Die Trainingsdesignangaben 50 können auch eine Angabe von Ausreißern 52 umfassen. Im gezeigten Beispiel werden die Datenpunkte H1' und H2', beziehungsweise zugehörige Mikroskopdaten, als Ausreißer identifiziert. Die Mikroskopdaten H1 entsprechen einem fehlerhaften Fall, in welchem die Bilddaten kein Bakterium zeigen, während der Datenpunkt H2' einer fehlerhaften Annotation entspricht.
Die Trainingsdesignangaben 50 können außerdem Hyperparameter 53 angeben, insbesondere eine Anzahl an Trainingsschritten 54 bis zum Beenden eines Trainings. Die Anzahl an Trainingsschritten 54 wird umso höher gewählt, je höher eine Komplexität der Anordnung der eingebetteten Datenpunkte ist, beispielsweise je höher eine Clusteranzahl (insbesondere pro Klasse) ist.
Weiterhin können die Trainingsdesignangaben 50 eine geeignete Modellarchitektur oder Modellkomplexität 55 angeben. Dies kann z.B. anhand einer Klassen- oder Clustertrennung in der Einbettung E ermittelt werden, insbesondere wenn die Einbettung auf Merkmalsvektoren beruht, die von einem Merkmalsextraktor berechnet wurden, wie zu 2 beschrieben. Sind Datenpunkte gemäß ihrem Klassenlabel nicht korrekt getrennt, war die Merkmalsextraktion voraussichtlich nicht komplex genug. Als Folge kann ein komplexerer Merkmalsextraktor verwendet werden, der z.B. mehr Faltungsschichten umfasst. Über diesen Merkmalsextraktor kann wieder eine Einbettung E berechnet werden, welche hinsichtlich der Klassentrennbarkeit bewertet wird. In dieser Weise kann ein für den Datensatz geeigneter Merkmalsextraktor ermittelt werden. Der ermittelte Merkmalsextraktor wird sodann als Teil des Modells verwendet. Ein entsprechendes Training des Modells wird mit Bezug auf die nächste Figur beschrieben.
FIG. 10
10 illustriert den Ablauf eines Trainings 25 eines Modells M.
Zunächst wird in Prozess P6 das Training 25 in Abhängigkeit der Trainingsdesignangaben festgelegt. Beispielsweise werden Mikroskopdaten F, G des Datensatzes D gemäß einer Aufteilung, die an einer Einbettung des Datensatzes ermittelt wurde, in Trainingsdaten T und Validierungsdaten V eingeteilt.
Sodann wird in Prozess P7 das Training 25 durchgeführt. Mikroskopdaten F, G der Trainingsdaten T werden dem Modell M eingegeben, welches hieraus ein Verarbeitungsergebnis 60 berechnet. Das Verarbeitungsergebnis 60 sollte mit vorgegebenen Annotationen zu den eingegebenen Mikroskopdaten F, G möglichst übereinstimmen. Bei den Annotationen handelt es sich hier um Klassenlabel D1, D2. Eine Verlustfunktion L erfasst Unterschiede zwischen den Verarbeitungsergebnissen 60 und den vorgegebenen Klassenlabeln D1, D2. Abhängig von einem Ergebnis der Verlustfunktion L werden über ein Gradientenabstiegsverfahren und Backpropagation Modellparameterwerte des Modells M iterativ angepasst. Nach Abschluss des Trainings ist das Modell M zur Klassifikation trainiert, das heißt ein Verarbeitungsergebnis 60 stellt eine Klassenangabe dar.
Die Validierungsdaten V werden während und/oder nach dem Training 25 verwendet, um einen Trainingsfortschritt während dem Training 25 bzw. eine Modellqualität nach Abschluss des Trainings 25 zu bewerten.
Das Modell M umfasst den Merkmalsextraktor 20. Hierbei wird die Komplexität und/der Architektur des Merkmalsextraktors 20 verwendet, wie sie anhand der Einbettung ermittelt wurde. Modellparameterwerte des Merkmalsextraktors 20 werden im Training 25 anhand der Trainingsdaten T (neu) angepasst. Prinzipiell ist es aber auch möglich, einen bereits vorab trainierten Merkmalsextraktor 20 unveränderlich zu verwenden und im Training 25 allein die übrigen Modellparameterwerte des Modells M anzupassen.
FIG. 11
11 zeigt die Verwendung des Modells M in der Inferenz, nach Abschluss des Trainings. In Prozess P8 werden zu verarbeitende Mikroskopdaten J dem Modell M eingegeben, welches hieraus in Prozess P9 ein Verarbeitungsergebnis 60 berechnet. Im dargestellten Beispiel handelt es sich bei den Mikroskopdaten J um ein Mikroskopbild und das Modell M ist ein Bildverarbeitungsmodell, welches ein Klassifikationsergebnis berechnet, das angibt, ob oder welche bestimmten Objekte im Mikroskopbild enthalten sind.
Je nach Annotationen, die im Training des Modells M verwendet wurden, sind andere Verarbeitungsergebnisse möglich, wie näher im allgemeinen Beschreibungsteil erläutert.
Die zu den verschiedenen Figuren beschriebenen Varianten können miteinander kombiniert werden. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: (Mikroskop-)objektiv
5: Beleuchtungseinrichtung
6: Probentisch / Mikroskoptisch
7: Probenträger
9: Mikroskopkamera
9A: Übersichtskamera
9B: Spiegel
9C: Sichtfeld der Übersichtskamera
10: Recheneinrichtung
11: Computerprogramm
12: Okular
20: Merkmalsextraktor
25: Training des Modells M
30: Einheit / Funktion zum Berechnen der Einbettung
40: Analysemodell
50: Trainingsdesignangaben
51: Aufteilung des Datensatzes in Trainings- und Validierungsdaten
52: Angabe von Ausreißern im Datensatz, ermittelt durch die Analyse der Einbettung
53: (Trainings-)Hyperparameter, vorgeschlagen durch die Analyse der Einbettung
54: Anzahl an Trainingsschritten, vorgeschlagen durch die Analyse der Einbettung
55: Modellarchitektur oder Modellkomplexität, vorgeschlagen durch die Analyse der Einbettung
60: Verarbeitungsergebnis, vom Modell berechnet
100: Mikroskopiesystem
C1-C12: Cluster aus eingebetteten Datenpunkten
D: Datensatz mit Mikroskopdaten zum Trainieren des Modells
D1, D2: Annotation, insbesondere Klasse / Klassenlabel
E: Einbettung des Datensatzes in einen niedrigdimensionalen Merkmalsraum
F, G: Mikroskopdaten / Mikroskopbilder
f, g: Merkmalsvektoren zu den Mikroskopdaten / Mikroskopbildern F, G
F', G': eingebettete Datenpunkte
H1: Mikroskopdaten / Mikroskopbild, welches einen Ausreißer darstellt
H1': eingebetteter Datenpunkt / Ausreißer
H2': eingebetteter Datenpunkt / Ausreißer
J: zu verarbeitende Mikroskopdaten / Mikroskopbild
K1-K5: Kontextinformation: z.B. verschiedene Aufnahmetage
L: Verlustfunktion beim Training des Modells M
M: maschinell gelerntes Modell / Bildverarbeitungsmodell
P1-P9: Prozesse erfindungsgemäßer Verfahren
R: Grenzregion zwischen Clustern
T: Trainingsdaten für ein Training des Modells M
V: Validierungsdaten für ein Training des Modells M
Z: Merkmalsraum

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Laurens van der Maaten, Geoffrey Hinton, „Visualizing Data using t-SNE“ in Journal of Machine Learning Research 9 (2008) 2579-2605 [0010]
Laurens van der Maaten, „Accelerating t-SNE using Tree-Based Algorithms“ in Journal of Machine Learning Research 15 (2014) 1-21 [0010]
Jörn Lötsch et al., „Current Projection Methods-Induced Biases at Subgroup Detection for Machine-Learning Based Data-Analysis of Biomedical Data“, in Int. J. Mol. Sci. 2020, 21, 79 [0010]
Geoffrey Hinton, „Visualizing Data using t-SNE“ in Journal of Machine Learning Research 9 (2008) 2579-2605 [0029]

Claims

Ein computerimplementiertes Verfahren zum Erzeugen eines maschinell gelernten Modells (M) zum Verarbeiten von Mikroskopdaten, umfassend: Erhalten (P1) eines Datensatzes (D) mit Mikroskopdaten (F, G) zum Trainieren des Modells (M); Berechnen (P3) einer Einbettung (E) des Datensatzes (D) in einen Merkmalsraum (Z); Analysieren (P4) der Einbettung (E) zum Bestimmen (P5) von Trainingsdesignangaben (50) für ein Training (25) des Modells (M); Festlegen (P6) des Trainings (25) in Abhängigkeit von den Trainingsdesignangaben (50); Durchführen (P7) des Trainings (25), womit das Modell (M) dazu eingerichtet wird, aus zu verarbeitenden Mikroskopdaten (J) ein Verarbeitungsergebnis (60) zu berechnen.
Das Verfahren nach vorstehendem Anspruch, wobei das Berechnen (P3) der Einbettung (E) umfasst, dass Mikroskopdaten (F, G) des Datensatzes (D) zunächst einem maschinell gelernten Merkmalsextraktor (20) eingegeben werden, welcher aus den Mikroskopdaten (F, G) zugehörige Merkmalsvektoren (f, g) berechnet (P2), und dass die Merkmalsvektoren (f, g) in dem Merkmalsraum (Z) dargestellt oder eingebettet werden.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei das Berechnen (P3) der Einbettung (E) mittels einer t-verteilten stochastischen Nachbareinbettung (t-SNE) erfolgt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei das Analysieren (P4) der Einbettung (E) umfasst, dass Cluster (C1-C12) aus eingebetteten Datenpunkten (F', G') ermittelt werden, wobei überprüft wird, ob die Cluster (C1-C12) homogene Cluster (C1-C4) aus Datenpunkten (F', G') mit übereinstimmendem Klassenlabel (D1, D2) sind.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei im Fall homogener Cluster (C1-C4) eine Eignung des Datensatzes (D) für das Training (25) des Modells (M) bejaht wird, wobei für inhomogene Cluster (C5-C10) eine Eignung des Datensatzes (D) für das Training (25) des Modells (M) verneint wird, wenn innerhalb eines inhomogenen Clusters (C5-C10) Datenpunkte (F', G') nicht gemäß ihrem Klassenlabel (D1, D2) trennbar sind.
Das Verfahren nach Anspruch 4 oder 5, wobei in einem Fall, dass innerhalb von Clustern (C1-C12) Datenpunkte (F', G') gemäß ihrem Klassenlabel (D1, D2) trennbar sind, eine Eignung abhängig von einer Generalisierbarkeit einer Klassentrennungsregel bejaht wird, wobei aus den Datenpunkten (F', G') mehrerer (C5-C6) der Cluster (C5-C7) eine Klassentrennungsregel zum Trennen von Datenpunkten (F', G') gemäß ihrem Klassenlabel (D1, D2) abgeleitet wird, und wobei die Generalisierbarkeit bejaht wird, wenn die Klassentrennungsregel auch für Datenpunkte (F', G') eines anderen (C7) der Cluster (C5-C7) gültig ist.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei als Trainingsdesignangabe (50) eine Aufteilung (51) des Datensatzes (D) in Trainings- und Validierungsdaten (T, V) vorgeschlagen wird, wobei die Aufteilung (51) anhand einer Anordnung von eingebetteten Datenpunkten (F', G') im Merkmalsraum (Z) ermittelt wird.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei das Analysieren (P4) der Einbettung (E) umfasst, dass Cluster (C1-C12) von eingebetteten Datenpunkten (F', G') identifiziert werden, wobei überprüft wird, ob die Cluster (C1-C12) homogen aus Datenpunkten (F', G') mit übereinstimmendem Klassenlabel (D1, D2) gebildet sind, wobei im Fall homogener Cluster (C1-C4) Datenpunkte (F', G') aus mehreren oder jedem Cluster (C1-C4) für die Validierungsdaten (V) ausgewählt werden und Datenpunkte (F', G') aus jedem Cluster (C1-C4) für die Trainingsdaten (T) ausgewählt werden.
Das Verfahren nach Anspruch 7 oder 8, wobei im Fall inhomogener Cluster (C5-C10) für die Aufteilung (51) Datenpunkte (F', G') von einem der Cluster (C7) für die Validierungsdaten (V) ausgewählt werden und keine Datenpunkte (F', G') dieses Clusters (C7) für die Trainingsdaten (T) ausgewählt werden.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei eine Eignung einer bereits vorhandenen Aufteilung des Datensatzes (D) in Trainingsdaten (T) und Validierungsdaten (V) anhand der Einbettung (E) überprüft wird, wobei im Fall von homogenen Clustern (C1-C4) aus Datenpunkten (F', G') mit übereinstimmendem Klassenlabel (D1, D2) eine Eignung der vorhandenen Aufteilung bejaht wird, wenn zu den Validierungsdaten (V) Datenpunkte (F', G') aus zumindest mehreren der Cluster (C1-C4) gehören und wenn zu den Trainingsdaten (T) Datenpunkte (F', G') aus allen Clustern (C1-C4) gehören.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei im Fall inhomogener Cluster (C5-C10) eine vorhandene Aufteilung abhängig davon als geeignet eingestuft wird, ob ein inhomogener Cluster (C7) vorhanden ist, dessen Datenpunkte (F', G') allein für Validierungsdaten (V) und nicht für Trainingsdaten (T) ausgewählt sind.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Trainingsdesignangaben (50) Ausreißer (52) des Datensatzes (D) angeben, wobei das Analysieren (P4) der Einbettung (E) umfasst, dass ein Datenpunkt (H1', H2') der Einbettung (E) abhängig von seiner Lage in der Einbettung (E) als Ausreißer (52) identifiziert wird, wobei ein Datenpunkt (H1', H2') als Ausreißer (52) identifiziert wird, wenn sich der Datenpunkt (H1') von benachbarten Datenpunkten (F', G') weiter weg befindet als ein bestimmter Schwellwert, oder wenn sich der Datenpunkt (H2') in einem Cluster (C6) aus Datenpunkten (G') mit anderem Klassenlabel (D2) befindet.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Trainingsdesignangaben (50) Trainingshyperparameter (53) angeben.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei als Trainingshyperparameter (53) eine Anzahl an Trainingsschritten (54) bis zu einem Beenden des Trainings (25) vorgegeben wird, wobei eine Komplexität der eingebetteten Datenpunkte (F', G') im Merkmalsraum (Z) ermittelt wird, und wobei die Anzahl an Trainingsschritten (54) umso höher gewählt wird, je höher die Komplexität ist.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei als Trainingsdesignangaben (50) eine Modellarchitektur oder Modellkomplexität (55) des zu trainierenden Modells (M) vorgeschlagen wird, durch: Verwenden unterschiedlicher Merkmalsextraktoren (20), um jeweils einen Satz an Merkmalsvektoren (f, g) aus den Mikroskopdaten (F, G) des Datensatzes (D) zu berechnen, wobei sich die Merkmalsextraktoren (20) in ihrer Komplexität oder Architektur unterscheiden; Berechnen jeweils einer Einbettung (E) aus jedem Satz an Merkmalsvektoren (f, g); Vergleichen der Einbettungen (E), um einen der Merkmalsextraktoren (20) auszuwählen, basierend auf einer Trennung von Clustern (C1-C12) aus eingebetteten Datenpunkten (F', G'); Vorschlagen des ausgewählten Merkmalsextraktors (20) zur Verwendung als Teil des Modells (M).
Das Verfahren nach einem der vorstehenden Ansprüche, wobei im Fall unterschiedlich vieler Datenpunkte (F', G') pro Cluster (C1-C12) eine Auswahl an Datenpunkten (F', G') für die Trainingsdaten (T) erfolgt, so dass für verschiedene Cluster (C1-C12) eine Anzahl ausgewählter Datenpunkte (F', G') aneinander angenähert ist.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei abhängig von einer Verteilung von Datenpunkten (F', G') in der Einbettung (E) vorgeschlagen wird, den Datensatz (D) um neue Mikroskopdaten zu ergänzen; wobei eine Ergänzung vorgeschlagen wird, • wenn eine Anzahl an Datenpunkten (F', G') in einem Cluster (C1-C12) kleiner als eine bestimmte Mindestanzahl ist; • wenn festgestellt wird, dass Datenpunkte (G') eines übereinstimmenden Klassenlabels (D2) mehrere voneinander beabstandete Cluster (C2, C4) bilden, wobei die Cluster (C2, C4) mit einer Kontextinformation (K4, K5) korrelierbar sind, zu welcher bekannt ist, dass sie keine Clustertrennung bewirken sollte; oder • wenn eine Grenzregion (R) zwischen Clustern (C11, C12) verschiedener Klassenlabel (D1, D2) als diffus eingestuft wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei anhand einer Verteilung von Datenpunkten (F', G') in der Einbettung (E) ermittelt wird, ob ein Cluster (C11) aus Datenpunkten (F') eines Klassenlabels (D1) mit einem Cluster (C12) aus Datenpunkten (G') eines anderen Klassenlabels (D2) überlappt, und in diesem Fall eine Warnung ausgegeben wird, dass keine ausreichende Trennbarkeit vorliegt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei anhand einer Verteilung von Datenpunkten (F', G') in der Einbettung (E) eine Augmentierung, durch welche aus Mikroskopdaten (F, G) des Datensatzes (D) neue Mikroskopdaten erzeugt werden, vorgeschlagen oder bewertet wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Einbettung (E) in ein maschinell gelerntes Analysemodell (40) eingegeben wird, welches aus der eingegebenen Einbettung (E) die Trainingsdesignangaben (50) berechnet, wobei das Analysemodell (40) an Analysemodell-Trainingsdaten gelernt ist, welche als Eingaben Einbettungen (E) enthalten und als zugehörige Zieldaten vorgegebene Trainingsdesignangaben (50) enthalten.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei der Datensatz (D) zu den Mikroskopdaten (F, G) gehörende Kontextinformationen (K1-K5) umfasst, wobei die Kontextinformationen (K1-K5) eines oder mehreres aus Folgendem betreffen: • ein Aufnahmedatum der Mikroskopdaten (F, G); ein zur Aufnahme der Mikroskopdaten (F, G) verwendetes Mikroskopiesystem und verwendete Mikroskopeinstellungen; einen verwendeten Probenträger (7); eine Art einer untersuchten Probe; eine Probenpräparation einer in den Mikroskopdaten (F, G) dargestellten Probe; oder Angaben zu einem Patienten, zu welchem Mikroskopdaten (F, G) gehören; • eine vorgegebene Aufteilung des Datensatzes (D) in Trainings- und Validierungsdaten (T, V); • Klassenlabel; eine Segmentierungsmaske; oder ein Bild, das zu Mikroskopdaten (F, G), die ein Mikroskopbild darstellen, registriert ist und sich vom Mikroskopbild in einer Aufnahme- oder Darstellungseigenschaft unterscheidet.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei der Datensatz (D) zu den Mikroskopdaten (F, G) gehörende Annotationen und Kontextinformationen (K1-K5) umfasst, wobei die Einbettung (E) des Datensatzes (D) danach analysiert wird, ob eingebettete Datenpunkte (F', G') mit übereinstimmender Annotation abhängig von einem Wert einer bestimmten Kontextinformation (K1-K5) verschiedene Cluster (C1-C12) bilden, und, wenn dies der Fall ist: Ausgabe einer Anweisung, dass die bestimmte Kontextinformation (K1-K5) zusammen mit Mikroskopdaten (F, G) dem Modell (M) eingegeben werden sollte.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei das maschinell gelernte Modell (M) ein Bildverarbeitungsmodell ist und die Mikroskopdaten (F, G) Mikroskopbilder sind, wobei das Bildverarbeitungsmodell dazu gestaltet ist, aus mindestens einem Mikroskopbild (20) als Verarbeitungsergebnis (60) zumindest eines aus Folgendem zu berechnen: • eine Aussage, ob bestimmte Objekte im Mikroskopbild vorhanden sind; • geometrische Angaben zu dargestellten Objekten; eine Identifizierung, eine Anzahl oder Eigenschaften dargestellter Objekte; • eine Warnung bezüglich Untersuchungsbedingungen, Mikroskopeinstellungen, Probeneigenschaften oder Bildeigenschaften; • einen Steuerbefehl oder Vorschlag für eine Mikroskopsteuerung oder anschließende Bildauswertung; • ein Ausgabebild, in welchem dargestellte Objekte deutlicher sichtbar oder in höherer Bildqualität dargestellt sind, oder eine Darstellung bestimmter Strukturen unterdrückt wird; • ein virtuell eingefärbtes Ausgabebild, welches einer Transformation zu einer Kontrastart entspricht, die verschieden ist zu einer Kontrastart des Mikroskopbildes (20); • ein Klassenlabel (D1, D2), welches abhängig von einem dargestellten Bildinhalt eine Einstufung in mindestens eine von mehreren möglichen Klassen angibt; • eine semantische Segmentierung, Instanz-Segmentierung oder Detektion bestimmter Strukturen.
Das Verfahren nach einem der vorstehenden Ansprüche, Eingeben (P8) von Mikroskopdaten (J) in das maschinell gelernte Modell (M), welches aus den eingegebenen Mikroskopdaten (J) ein Verarbeitungsergebnis (60) berechnet (P9).
Ein Mikroskopiesystem mit einem Mikroskop (1) zur Bildaufnahme; und einer Recheneinrichtung (10), die dazu eingerichtet ist, das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche auszuführen.
Ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 24 auszuführen.