DE102022121542A1

DE102022121542A1 - Mikroskopiesystem und Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells

Info

Publication number: DE102022121542A1
Application number: DE102022121542.3A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Ralf Wolleschensky
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2022-08-25
Filing date: 2022-08-25
Publication date: 2024-03-07
Also published as: US20240071057A1; CN117635525A

Abstract

Bei einem computerimplementierten Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells (M) wird das Bildverarbeitungsmodells (M) anhand von Trainingsdaten (T) trainiert, welche Mikroskopbilder (20) umfassen. Anhand der Trainingsdaten (T) wird außerdem ein generatives Modell (Gen) gebildet, welches ein generiertes Mikroskopbild (25) aus einem eingegebenen Parametersatz (P) erzeugen kann. Mit dem generativen Modell (Gen) wird eine Serie (24a-24z) an generierten Mikroskopbildern (25) erzeugt, wozu mindestens ein Parameter (Pa-Pz) des Parametersatzes (P) variiert wird. Mittels des Bildverarbeitungsmodells (M) wird aus jedem der generierten Mikroskopbilder (25) ein Bildverarbeitungsergebnis (R) berechnet. Anschließend wird anhand von Unterschieden zwischen den Bildverarbeitungsergebnissen (R) eine Sensitivität (S) des Bildverarbeitungsmodells (M) gegenüber dem mindestens einen Parameter (Pa-Pz) ermittelt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells.
HINTERGRUND
In modernen Mikroskopiesystemen spielen maschinell gelernte Bildverarbeitungsmodelle eine zunehmend wichtige Rolle, um aufgenommene Mikroskopbilder zu verarbeiten und zu analysieren. Beispielsweise werden maschinell gelernte Bildverarbeitungsmodelle zum automatischen Lokalisieren einer Probe genutzt, zur Klassifizierung einer Probenart, zum Ermitteln einer Konfluenz (d.h. einer von biologischen Zellen bedeckten Fläche) per Bildsegmentierung, oder zum automatischen Zählen einer Anzahl an Zellen in einem Mikroskopbild. Auch zur virtuellen Einfärbung von Probenstrukturen oder zur Bildverbesserung, z.B. zur Rauschreduzierung, zur Auflösungssteigerung oder zur Artefaktentfernung, werden gelernte Bildverarbeitungsmodelle genutzt.
In vielen Fällen trainiert ein Mikroskopnutzer selbst ein solches Modell mit eigenen Daten. Von der Anmelderin entwickelte Mikroskopiesoftware erlaubt es Nutzern, Trainingsvorgänge an eigenen Daten auch ohne Expertenwissen über maschinelles Lernen durchzuführen. Dies ist wichtig, damit das Modell für die Art der Bilder des Nutzers geeignet ist. Daneben bestehen allgemein Bestrebungen, Trainingsvorgänge an neuen Mikroskopdaten möglichst automatisiert durchzuführen. In all diesen Fällen ist nach Abschluss des Trainings des Bildverarbeitungsmodells eine Qualitätskontrolle des Bildverarbeitungsmodells unerlässlich.
Herkömmlicherweise erfolgt eine Qualitätskontrolle mit Hilfe von Validierungsdaten. Ein vorhandener Datensatz aus Mikroskopbildern wird in Trainingsdaten und Validierungsdaten eingeteilt. Die Mikroskopbilder der Trainingsdaten werden zur iterativen Anpassung von Modellgewichten des Bildverarbeitungsmodells genutzt. Nach Abschluss dieses Trainings werden die Mikroskopbilder der Validierungsdaten dem Bildverarbeitungsmodell eingegeben und hieraus berechnete Bildverarbeitungsergebnisse werden mit vorgegebenen Annotationen (Ground Truth Daten) verglichen. Eine Modellqualität wird als umso höher angenommen, je höher eine Übereinstimmung zwischen den Bildverarbeitungsergebnissen und den Annotationen ist.
Eine hohe Validierungsgenauigkeit alleine kann jedoch nicht gewährleisten, dass das Bildverarbeitungsmodell auch ordnungsgemäß Mikroskopbilder verarbeiten kann, die nicht Teil des Datensatzes sind, aus welchem die Trainings- und Validierungsdaten entnommen wurden. Ein Beispiel für diese Problematik wird nachfolgend anhand eines Bildverarbeitungsmodells erläutert, welches eine Probenklassifizierung berechnet. Das Modell soll unterscheiden können, zu welcher von mehreren Bakterienarten eine Probe, die in einem Mikroskopbild gezeigt ist, gehört. Für das Training wird ein Datensatz mit entsprechenden Mikroskopbildern und jeweils vorgegebener Klassifikationsangabe verwendet. Das Modell lernt, anhand bestimmter Merkmale eine Klassifikationsangabe zu berechnen. Dies wird anhand von 1 näher erläutert. 1 zeigt schematisch einen niedrigdimensionalen Merkmalsraum, welcher durch zumindest zwei Merkmale F1, F2 aufgespannt wird. Eine Repräsentation eines Mikroskopbildes der Trainingsdaten im Merkmalsraum wird als Merkmalsvektor 30 bezeichnet. Ein Merkmalsvektor 30 stellt einen Punkt dar, dessen Koordinaten Werte für die Merkmale F1, F2, ... angeben. Das Klassifikationsmodell sollte anhand der Merkmale F1, F2 lernen, eine korrekte Klassifikationsangabe zu vergeben. In 1 sind die Merkmalsvektoren 30 durch Kreise und Quadrate dargestellt, welche verschiedene vorgegebene Annotationen symbolisieren. In diesem Beispiel stehen Kreise und Quadrate für zwei verschiedene Bakterienarten. Die Mikroskopbilder wurden an verschiedenen Messtagen D1, D2, D3 aufgenommen, wobei durch ausgefüllte, leere und grau-schraffierte Kreise bzw. Quadrate zwischen den Messtagen D1, D2, D3 unterschieden wird. Schwarz gefüllte Kreise und Quadrate stehen beispielsweise für Merkmalsvektoren 30 zu Mikroskopbildern des Messtages D2, während leere Kreise und Quadrate Merkmalsvektoren 30 zu Mikroskopbildern des Messtages D1 darstellen. In diesem Beispiel stehen die Mikroskopbilder bzw. Merkmalsvektoren 30 der Messtage D1 und D2 für das Training und die Validierung zur Verfügung, wohingegen die Mikroskopbilder bzw. Merkmalsvektoren 30 des Messtages D3 erst nach Abschluss des Trainings, in der Inferenz, verarbeitet werden soll.
Wie in 1 ersichtlich, hat der Messtag D1, D2, D3 eine starke Wirkung auf die Merkmale F1, F2 eines Mikroskopbildes. Die Merkmalsvektoren 30 der Mikroskopbilder eines Messtages D1 formen dadurch eine Insel i1, die beabstandet ist zu einer Insel i2 oder i3 an Merkmalsvektoren 30 der Mikroskopbilder eines anderen Messtages D2 bzw. D3. Eine solche unerwünschte Korrelation mit dem Messtag kann z.B. vorliegen, wenn an den verschiedenen Messtagen D1-D3 unterschiedliche Umgebungsbeleuchtungen vorlagen. Der Messtag stellt hierdurch eine Beeinflussung (Bias) dar, wodurch es nicht mehr möglich ist, aus den Koordinaten eines Merkmalsvektors eine korrekte Klassifikationsangabe zuverlässig zu berechnen. In 1 zeigt die Lage der Merkmalsvektoren 30, dass die verschiedenen Bakterienarten sich zwar in den Merkmalen F1, F2 unterscheiden, wobei jedoch eine Beeinflussung durch den Bias „Aufnahmetag“ so stark ist, dass ohne Kenntnis der Beeinflussung durch den Aufnahmetag nicht auf eine bestimmte Bakterienart geschlossen werden kann. Werden aus dem Datensatz der Messtage D1 und D2 Trainingsdaten und Validierungsdaten für das Bildverarbeitungsmodell (Klassifikationsmodell) verwendet, so sollte idealerweise mit Hilfe der Validierungsdaten feststellbar sein, dass das Bildverarbeitungsmodell keine hohe Klassifizierungsgenauigkeit aufweist. Dies ist jedoch abhängig von der Einteilung in Trainings- und Validierungsdaten nicht der Fall. Beispielsweise kann vorgesehen sein, dass jedes zehnte Mikroskopbild dieses Datensatzes als Validierungsbild verwendet wird, während die übrigen Mikroskopbilder als Trainingsdaten verwendet werden. In diesem Fall werden Mikroskopbilder beider Inseln i1 und i2 sowohl für die Trainingsdaten als auch für die Validierungsdaten verwendet. Als Folge wird an den Validierungsdaten eine hohe Validierungsgenauigkeit festgestellt. Neue Messdaten eines zukünftigen Messtages, symbolisiert durch die Messdaten des Messtages D3, bilden jedoch eine neue Insel i3 im Merkmalsraum, welche sich in ihrer Lage von den Inseln i1-i2 des Trainings unterscheidet. Es wird nicht möglich sein, eine korrekte Klassifikationsangabe zuverlässig zu bestimmen. Prinzipiell könnte dieses Problem durch eine angepasste Einteilung des Datensatzes in Trainings- und Validierungsdaten erkannt werden. Hierzu müssten die Mikroskopbilder zu einer Insel, beispielsweise zur Insel i2 des Aufnahmetages D2, allein für Validierungsdaten verwendet werden und dürften nicht als Trainingsdaten verwendet werden. An solchen Validierungsdaten würde ein schlechte Validierungsgenauigkeit ermittelt werden, was die Modellqualität adäquat beschreibt. Eine solche Einteilung in Trainings- und Validierungsdaten erfordert jedoch großes Expertenwissen und kann häufig kaum automatisiert werden. Es müsste beispielsweise bekannt sein, welche der Unterscheidungseigenschaften der Mikroskopbilder entscheidungsrelevant sein sollen und welche nicht, und diese Unterscheidungseigenschaften müssten auch für die Trainingsdaten angegeben sein. Neben dem Aufnahmetag könnten ungewollte Inseln im Merkmalsraum auch durch zahlreiche andere Faktoren entstehen, beispielsweise durch Verwendung verschiedener Messgeräte, verschiedene Geräteeinstellungen, verschiedene Datenverarbeitungsschritte oder verschiedene Probenpräparationen oder Probenursprünge, insbesondere bei Proben verschiedener Patienten.
Durch eine herkömmliche Qualitätskontrolle basierend auf Validierungsdaten wird nicht offensichtlich, welche Dateneigenschaften für das Modell entscheidend in der Berechnung des jeweiligen Bildverarbeitungsergebnisses sind. Es wird lediglich die Richtigkeit des ausgegebenen Bildverarbeitungsergebnisses geprüft. Ob dies jedoch auf ungewünschte Eigenschaften der Daten zurückzuführen ist, beispielsweise auf den Messtag, bleibt offen.
Weiterhin wird durch eine Qualitätskontrolle basierend auf Validierungsdaten üblicherweise nicht geprüft, welchen Einfluss Störfaktoren haben, die zwar in der Realität zu erwarten sind, aber nicht repräsentativ durch die Validierungsdaten abgedeckt sind. Ein Beispiel hierfür ist ein Bildrauschen, welches sich in Realität statistisch relevant von dem Bildrauschen der Validierungsdaten unterscheiden kann. Die Validierungsdaten erlauben keine Aussage darüber, ob das Bildverarbeitungsmodell in solchen Fällen ein korrektes Bildverarbeitungsergebnis berechnen kann.
Als Hintergrundinformation wird verwiesen auf: X. Glorot et al. (2010): „Understanding the difficulty of training deep feedforward neural networks“. Hierin werden typische Schritte des Trainings und Validierens eines neuronalen Netzes beschrieben.
Bezüglich generativer gegnerischer Netze wird ein Trainingsvorgang beschrieben von: lan Goodfellow et al. (2014): „Generative Adversarial Nets“, arXiv:1406.2661 v1 [stat.ML] 10 Jun 2014.
Wünschenswert ist eine Erklärung, warum ein Modell eine bestimmte Ausgabe liefert. Herkömmlicherweise wird dies meist durch eine manuelle Analyse von Neuronen-Aktivierungen abgeleitet. Hierzu werden Bilder aus den Validierungsdaten verwendet. Es kann beispielsweise untersucht werden, welche Bildregionen eines bestimmten Eingabebildes entscheidungsrelevant sind und welche Modellparameter bei einem bestimmten Eingabebild aktiviert werden, siehe Zhou, E., et al., „Learning Deep Features for Discriminative Localization“, CVPR 2016. Es wird hierdurch aber nicht ermittelt, welche Faktoren oder in welchem Maße verschiedene Faktoren die Modellentscheidung verursacht haben. Ähnliches gilt für eine Untersuchung der Aktivierungen interner Ausgabeschichten, wodurch ermittelt wird, welche Merkmalskarten bei der Modellentscheidung eine wesentliche Rolle spielen, siehe Zeiler, M. D., et al., „Visualizing and Understanding Convolutional Networks" in D. Fleet et al. (Eds.): ECCV 2014, Part I, LNCS 8689, S. 818-833, 2014, Springer International Publishing Switzerland.
In DE 10 2021 100 444 A1 werden zum Überprüfen eines Bildverarbeitungsmodells aus einem Mikroskopbild der Validierungsdaten minimal abgewandelte Mikroskopbilder erzeugt, beispielsweise durch Verwackeln des Bildes. Aus jedem dieser Mikroskopbilder wird ein Bildverarbeitungsergebnis berechnet. Stimmen diese Bildverarbeitungsergebnisse nicht im Wesentlichen überein, deutet dies auf eine niedrige Modellrobustheit hin. Durch dieses Vorgehen kann zwar die allgemeine Robustheit des Bildverarbeitungsmodells eingeschätzt werden. Es kann aber nicht ein Bias in den Trainingsdaten, wie zu 1 veranschaulicht, aufgedeckt werden. Außerdem wird nicht ermittelt, welche Faktoren entscheidungsrelevant in der Berechnung von Bildverarbeitungsergebnissen sind.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche die Empfindlichkeit eines maschinell gelernten Bildverarbeitungsmodells zum Verarbeiten von Mikroskopbildern möglichst aussagekräftig ermitteln können.
Diese Aufgabe wird durch das Mikroskopiesystem und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst.
Bei einem computerimplementierten Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells wird das Bildverarbeitungsmodell anhand von Trainingsdaten, welche Mikroskopbilder umfassen, dazu trainiert, aus einem eingegebenen Mikroskopbild ein Bildverarbeitungsergebnis zu berechnen. Anhand der Trainingsdaten wird außerdem ein generatives Modell dazu gebildet, dass es aus einem eingegebenen Satz an Parametern ein generiertes Mikroskopbild erzeugen kann. Mit dem generativen Modell wird mindestens eine Serie an generierten Mikroskopbildern erzeugt, wozu mindestens ein Parameter variiert wird. Aus jedem der generierten Mikroskopbilder der Serie wird mittels des Bildverarbeitungsmodells ein jeweiliges Bildverarbeitungsergebnis berechnet. Anhand von Unterschieden zwischen den Bildverarbeitungsergebnissen wird eine Sensitivität des Bildverarbeitungsmodells gegenüber dem mindestens einen Parameter ermittelt, der für die Serie an generierten Mikroskopbildern variiert wurde.
Beispielsweise kann als Bildverarbeitungsergebnis eine Klassifikation berechnet werden. Durch die Erfindung wird ermittelt, welche Parameter einen wesentlichen Einfluss auf die berechnete Klassifikation haben. Während sich natürliche Mikroskopbilder üblicherweise in vielen Eigenschaften und somit in vielen Parametern gleichzeitig unterscheiden, können mit Hilfe des generativen Modells gezielt ein oder mehrere Parameter verändert und übrige Parameter konstant gehalten werden. Erst durch das generative Modell wird es daher möglich, die Auswirkung eines einzelnen Parameters auf das Bildverarbeitungsergebnis, z.B. auf eine Klassifikation, erfassen zu können. Die Kenntnis der Sensitivität des Bildverarbeitungsmodells gegenüber verschiedenen Parametern erlaubt eine überlegene Modellprüfung und die Ermittlung optionaler Maßnahmen zur Verbesserung der Modellgüte. Insbesondere kann analysiert werden, warum (nämlich basierend auf welchen Parametern) sich ein Bildverarbeitungsmodell für bestimmte Ausgaben entscheidet, z.B. für eine bestimmte Klassifikation. Außerdem kann anhand der ermittelten Sensitivität ein Bias in den Trainingsdaten, also ein unerwünschter Einflussfaktor in den Trainingsdaten, aufgezeigt werden. Die erfindungsgemäß ermittelte Sensitivität des Bildverarbeitungsmodells gibt daher Auskunft über die entscheidungsrelevanten Faktoren, wie es durch herkömmliche Überprüfungsmaßnahmen nicht möglich ist.
Die Erfindung betrifft außerdem ein Mikroskopiesystem mit einem Mikroskop zur Bildaufnahme und mit einer Recheneinrichtung. Die Recheneinrichtung ist dazu eingerichtet, das erfindungsgemäße Verfahren auszuführen.
Ein Computerprogramm der Erfindung umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
Optionale Gestaltungen
Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Zum besseren Verständnis werden zunächst Ausführungsbeispiele betreffend die Thematik beschrieben, wie ein generatives Modell aus einem eingegebenen Satz an Parametern ein generiertes Mikroskopbild erzeugt. Danach wird erläutert, wie die Sensitivität des Bildverarbeitungsmodells gegenüber diesen Parametern ermittelt wird. Im Anschluss werden Erfindungsbeispiele beschrieben, wie ermittelte Sensitivitäten genutzt werden können, um qualitativ höherwertige Bildverarbeitungsmodelle zu bilden.
Generatives Modell
Ein generatives Modell wird mit Hilfe von Mikroskopbildern gebildet, insbesondere geschätzt und/oder trainiert. Bei den Mikroskopbildern kann es sich um alle oder zumindest mehrere der Mikroskopbilder der Trainingsdaten des Bildverarbeitungsmodells handeln. Das generative Modell soll in der Lage sein, aus Eingabedaten ein generiertes Mikroskopbild zu erzeugen. Die Eingabedaten werden vorliegend als Eingabeparameter bezeichnet oder als ein Satz an Parametern, die in das generative Modell eingegeben werden. Diese Eingabedaten sind keine Mikroskopbilder oder verarbeiteten Bilddaten. Ein generiertes Mikroskopbild sollte den Mikroskopbildern der Trainingsdaten ähneln, z.B. sollte es einer statistischen Verteilung von Eigenschaften der Mikroskopbilder zu entstammen scheinen, so dass ein Diskriminierungsprogramm nicht sicher zwischen generierten Mikroskopbildern und den Mikroskopbildern der Trainingsdaten unterscheiden kann.
Das generative Modell kann anhand der Mikroskopbilder in prinzipiell bekannter Weise gebildet werden. Verschiedene Methoden zum Bilden des generativen Modells werden nachfolgend erläutert:

Für die Mikroskopbilder kann eine Zerlegung in (Basis-)Komponenten berechnet werden. Die Mikroskopbilder werden hierbei durch Kombinationen der Basis-Komponenten nachgebildet. Beispielsweise kann eine Hauptkomponentenanalyse (englisch: Principal Component Analysis, PCA) zur Zerlegung und Bestimmung der Basis-Komponenten genutzt werden. Die Parameter werden mit den Basis-Komponenten multipliziert und anschließend wird eine Summe gebildet, um ein Mikroskopbild zu generieren bzw. um ein Mikroskopbild der Trainingsdaten nachzubilden. Basis-Komponenten können auch durch ein Verfahren ermittelt werden, welches auf einer PCA aufbaut, beispielsweise durch Active Appearance Models (AAMs). Insbesondere können AAMs genutzt werden, wie sie beschrieben sind in: Xinbo Gao et al., „A Review of Active Appearance Models“, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS - PART C: APPLICATIONS AND REVIEWS, VOL. 40, NO. 2, MARCH 2010. Der Inhalt dieses Artikels, insbesondere die Gestaltung der AAMs, wird hiermit durch Bezugnahme aufgenommen. Basis-Komponenten können auch durch eine nicht negative Matrix-Faktorisierung (englisch: Non-Negative Matrix Factorization, NMF) gebildet werden. In einer NMF wird eine gegebene Matrix durch ein Produkt zweier (oder mehr) Matrizen angenähert. Die zwei Matrizen enthalten wesentlich weniger Parameter/Einträge als die gegebene Matrix. Auch eine Unabhängigkeitsanalyse (englisch: Independent Component Analysis, ICA) ist möglich, um Komponenten zu bestimmen, welche in Kombination ein Mikroskopbild nachbilden können.

Das generative Modell kann auch durch ein tiefes neuronales Netz gebildet werden, z.B. durch generative gegnerische Netze (englisch: Generative Adversarial Networks, GANs) oder durch ein Autoencoder-basiertes Modell, insbesondere durch den Decoder eines Autoencoders. Die Mikroskopbilder können für das Bilden eines generativen Modells vorverarbeitet werden. Dies kann beispielsweise eine Registrierung umfassen, wodurch Proben oder Probenstrukturen an gleicher Position und in gleicher Größe oder Vergrößerung in den Mikroskopbildern dargestellt sind.
Das generative Modell kann automatisch berechnet oder manuell erstellt sein. Eine manuelle Erstellung eignet sich beispielsweise, wenn die Mikroskopbilder sehr gut simuliert werden können, insbesondere wenn für die Bildverarbeitung Objekte relevant sind, welche in Mikroskopbildern keine markante Textur haben. Dies sind unter anderem Objekte, die nicht oder nur unzureichend vom Mikroskop aufgelöst werden können, z.B. Einzelmoleküle, Bakterien oder Beads, d.h. in Mikroskopbildern sichtbare Mikro-Kügelchen, welche mit spezifischen Antigenen beschichtet sein können. Insbesondere Einzelmoleküle sind effektiv Punktquellen und werden als Impulsantwort des Systems, d.h. als Punktspreizfunktion (PSF) im Mikroskopbild dargestellt. Die PSF ist meist glockenförmig und weist keine Texturen auf. Eine manuelle Erstellung des generativen Modells kann auch vorteilhaft sein, wenn die Bilddaten nicht alle Aspekte abdecken, mit denen das Bildverarbeitungsmodell zurechtkommen soll. Beispielsweise kann ein manuell gebildetes generatives Modell Artefakte, Rauschen oder Fehler simulieren, welche in den originalen Mikroskopbildern nicht vorhanden sind. Hierdurch kann anschließend die Sensitivität des Bildverarbeitungsmodells gegenüber dem Rauschen, den Artefakten oder anderen Fehlern untersucht werden. Ein manuelles Bilden des generativen Modells kann auch nützlich sein, wenn andernfalls eine semantische Interpretation der Parameter schwierig wäre, was später näher beschrieben wird.
Eine automatische und manuelle Gestaltung eines generativen Modells können auch kombiniert werden. Beispielsweise kann auf vorliegenden Mikroskopdaten zunächst ein generatives Modell angelernt werden. Anschließend wird das generative Modell um weitere Parameter manuell erweitert, welche z.B. weitere Rauschvariationen, Schärfevariationen oder optische Abbildungsfehler nachbilden.
Parameterkonfiguration
Unter einer Parameterkonfiguration oder einem festgelegten Parametersatz wird verstanden, dass für jeden der Eingabeparameter des generativen Modells ein bestimmter Wert festgelegt ist. Aus einer solchen Parameterkonfiguration kann das generative Modell ein bestimmtes generiertes Mikroskopbild berechnen. Jedes Mikroskopbild der Trainingsdaten kann durch eine bestimmte Parameterkonfiguration rekonstruiert werden.
Die Begriffe „Parametersatz“ und „Satz an Parametern“ werden synonym verwendet. Beschreibungen, wonach ein Parametersatz dem generativen Modell eingegeben werden, sollen so verstanden werden, dass bestimmte Werte der Parameter des Parametersatzes, d.h. eine bestimmte Parameterkonfiguration, dem generativen Modell eingegeben werden.
Das Variieren von einem Parameter bezieht sich auf einen Wert des Parameters in einer bestimmten Parameterkonfiguration. Somit werden mehrere Parameterkonfigurationen erzeugt, welche sich im Wert von mindestens einem Parameter unterscheiden, während die übrigen Parameter denselben Wert haben. Aus diesen Parameterkonfigurationen wird eine Serie an generierten Mikroskopbildern erzeugt.
Das Festlegen der Parameterkonfiguration, d.h. Werten des Parametersatzes, kann so erfolgen, dass aus diesem Parametersatz durch Eingabe in das generative Modell ein für die Trainingsdaten charakteristisches Mikroskopbild erzeugbar ist. Unter einem charakteristischen Mikroskopbild kann verstanden werden, dass es in seinen Bildeigenschaften innerhalb einer statistischen Verteilung von Bildeigenschaften der Mikroskopbilder der Trainingsdaten liegt.
Beispielsweise können zu mehreren oder allen der Mikroskopbilder der Trainingsdaten zugehörige Parameterkonfigurationen berechnet werden. Diese Parameterkonfigurationen können auch als Latent Code oder Latent Space Embedding/Darstellung der Mikroskopbilder im Merkmalsraum des generativen Modells bezeichnet werden. Wird ein Latent Code eines Mikroskopbildes in das generative Modell eingegeben, wird hieraus ein generatives Mikroskopbild erzeugt, welches das Mikroskopbild reproduziert oder zumindest möglichst nahe approximiert. Aus den Latent Code Darstellungen mehrerer oder aller Mikroskopbilder kann ein Schwerpunkt / eine Mittelung berechnet werden. Dieser Schwerpunkt gibt eine Parameterkonfiguration an, durch welche ein generiertes Mikroskopbild, das für die Trainingsdaten charakteristisch ist, erzeugt werden kann. Alternativ kann auch eine Latent Code Darstellung eines Mikroskopbildes der Trainingsdaten als Parameterkonfiguration verwendet werden, welche ein für die Trainingsdaten charakteristisches Mikroskopbild kodiert. Allgemeiner kann als Parameterkonfiguration oder festgelegter Parametersatz ein Merkmalsvektor im Merkmalsraum des generativen Modells gewählt werden, welcher innerhalb eines Bereichs im Merkmalsraum liegt, der durch Latent Code Darstellungen von Mikroskopbildern der Trainingsdaten aufgespannt wird.
Prinzipiell kann zunächst ein Mikroskopbild als charakteristisch ausgewählt und anschließend dessen Latent Code Darstellung als festgelegte Parameterkonfiguration verwendet werden. Die Auswahl eines der Mikroskopbilder kann in einem dimensionsreduzierten Merkmalsraum erfolgen, welcher von dem Merkmalsraum des generativen Modells verschieden ist. Beispielsweise kann aus den Mikroskopbildern der Trainingsdaten eine t-SNE (t-verteilte stochastische Nachbareinbettung, englisch: t-distributed stochastic neighbor embedding) berechnet werden. In der t-SNE wird jedes Mikroskopbild durch einen Punkt in einem Merkmalsraum dargestellt, wobei Abstände zwischen den Punkten umso größer sind, je unterschiedlicher die zugehörigen Mikroskopbilder sind. Ein in dieser Einbettung mittiger Punkt wird ausgewählt; das zugehörige Mikroskopbild wird als charakteristisch für die Trainingsdaten angesehen und eine Latent Code Darstellung dieses Mikroskopbildes kann als Parameterkonfiguration verwendet werden.
Variationsbereich eines Parameters
Es werden verschiedene Parametersätze erzeugt, aus denen das generative Modell eine Serie an generierten Mikroskopbildern erzeugt. Hierzu kann von einem Parametersatz ausgegangen werden und sodann werden ein einziger oder mehrere Parameter gleichzeitig variiert.
Durch das Variieren eines Parameters decken die Werte des variierten Parameters einen Bereich ab. Dieser Bereich liegt innerhalb eines (insbesondere vorab definierten) Variationsbereichs, welcher sich an der Parametervarianz, die in den Mikroskopbildern der Trainingsdaten vorliegt, orientieren sollte. Insbesondere bei einem maschinell gelernten Modell kann die Parametervarianz z.B. ermittelt werden, indem zu mehreren oder allen der Mikroskopbilder der Trainingsdaten eine jeweilige Projektion in den Merkmalsraum des generativen Modells berechnet wird, also ein jeweiliger Merkmalsvektor / Latent Code Repräsentation berechnet wird. Eine Varianz in den Werten eines bestimmten Parameters dieser Merkmalsvektoren gibt die vorgenannte Parametervarianz an.
Für die Erzeugung einer Serie an Mikroskopbildern kann ein Variationsbereich des mindestens einen Parameters auf einen Wert gesetzt werden, welcher mindestens 60% oder mindestens 70% einer in den Mikroskopbildern der Trainingsdaten vorliegenden Parametervariation abdeckt. Insbesondere kann der Variationsbereich auf 95%, 98% oder über 99% der in den Mikroskopbildern vorliegenden Parametervariation gesetzt werden. Prinzipiell sind auch Werte über 100% möglich, womit eine gewisse Unsicherheit einhergeht, wie realistisch generierte Mikroskopbilder noch aussehen. Je nach gewählter Parameterkonfiguration liegt der Variationsbereich nicht zwingend zentriert um den in der Parameterkonfiguration gewählten Parameterwert.
Die vorgenannte Bestimmung der Parametervarianz anhand rückprojizierter Merkmalsvektoren der Mikroskopbilder ist lediglich als Beispiel zu verstehen. So kann eine Parametervarianz gegebenenfalls direkter aus dem generativen Modell abgeleitet werden: Bei einer PCA liegt beispielsweise für jede geschätzte Hauptkomponente auch die durch diese Hauptkomponente erklärte Varianz der Mikroskopbilder vor. Hieraus kann ein Variationsbereich für den Parameter dieser Hauptkomponente abgeleitet werden.
Variieren mehrerer Parameter und Erzeugen mehrerer Serien an Mikroskopbildern
Mit dem generativen Modell können auch mehrere Serien an generierten Mikroskopbildern erzeugt werden. Die Serien unterscheiden sich darin, welche(r) der Parameter variiert wird oder wie mehrere Parameter gleichzeitig variiert werden. Insbesondere kann jeder Parameter einzeln variiert werden, so dass pro variiertem Parameter eine Serie an generierten Mikroskopbildern erzeugt wird.
Werden mehrere Parameter gleichzeitig variiert, so wird hierdurch eine zugehörige Parameterkonfiguration bzw. ein zugehöriger Merkmalsvektor im Merkmalsraum des generativen Modells in eine prinzipiell frei wählbare Richtung verändert. Um mehrere Sätze an generierten Mikroskopbildern zu erzeugen, kann allgemein gesagt der Merkmalsvektor in verschiedene Richtungen des Merkmalsraums verändert werden. Für jeden Satz an generierten Mikroskopbildern wird der Merkmalsvektor in eine Richtung des Merkmalsraums verschoben / geändert. Entspricht jede dieser Änderungsrichtungen einer Achse des Merkmalsraums, so wird für jede Serie jeweils genau ein Parameter variiert. Die Änderungen im Merkmalsraum können aber allgemein in beliebiger Richtung verlaufen, wobei für verschiedene Serien verschiedene (insbesondere zueinander senkrechte) Richtungen im Merkmalsraum gewählt werden. Somit ist es auch möglich, dass für jede Serie alle Parameter gleichzeitig variiert werden, wobei sich die Serien darin unterscheiden, wie die Parameter gleichzeitig variiert werden. Die Variation eines einzelnen Parameters eignet sich insbesondere, wenn der Merkmalsraum eine hohe Struktur hat, wie dies z.B. bei einem generativen Modell der Fall ist, das durch ein StyleGAN oder Alias-Free GAN erzeugt ist.
Geeignete Richtungen für eine Variation eines oder mehrerer Parameter einer Parameterkonfiguration können aus einer Verteilung der Latent Code Darstellungen der Mikroskopbilder der Trainingsdaten ermittelt werden. Eine Variationsrichtung (und Variationsschrittweite) ist geeignet, wenn die hieraus resultierende Parameterkonfiguration noch innerhalb der Verteilung der Latent Code Darstellungen im Merkmalsraum des generativen Modells liegt. Eine Variationsrichtung muss nicht eine Gerade sein, sondern kann entlang einer prinzipiell beliebig geformten Linie im Merkmalsraum verlaufen. Beispielsweise kann eine Variationsrichtung oder Variationsbahn ermittelt werden, indem eine Start- und eine Ziel-Parameterkonfiguration festgelegt werden, welche beide innerhalb der Verteilung der Latent Code Darstellungen der Mikroskopbilder der Trainingsdaten liegt, und anschließend die Start- und Ziel-Parameterkonfiguration durch eine Linie verbunden werden. Prinzipiell kann die Linie als Gerade im Merkmalsraum gewählt sein. Alternativ kann eine kürzeste Verbindung zwischen Start- und Ziel-Parameterkonfiguration mit einer Metrik berechnet werden, welche eine Dichte der Latent Code Darstellungen der Mikroskopbilder im Merkmalsraum berücksichtigt. Je höher die Dichte, desto kürzer ist ein Weg bzw. Abstand. Dadurch werden die Start- und die Ziel-Parameterkonfiguration durch eine Linie verbunden, welche im Merkmalsraum durch Bereiche verläuft, in denen besonders viele Latent Code Darstellungen angesiedelt sind. Dies gewährleistet eine Serie aus realistisch aussehenden generierten Mikroskopbildern. Die Start- und die Ziel-Parameterkonfiguration können Rückprojektionen zweier Mikroskopbilder sein. Hierbei können zwei Mikroskopbilder mit verschiedener Annotation, z.B. verschiedener Klassenangabe gewählt werden. Dadurch wird eine Serie an generierten Mikroskopbildern erzeugt, für welche das Bildverarbeitungsmodell stark unterschiedliche Bildverarbeitungsergebnisse (z.B. verschiedene Klassenangaben) berechnen sollte.
Alternativ oder zusätzlich können die Start- und Ziel-Parameterkonfiguration Rückprojektionen zweier Mikroskopbilder mit gleicher Annotation sein. Diese Start- und Ziel-Parameterkonfiguration können durch einen Pfad im Merkmalsraum verbunden werden, der entlang Merkmalsvektoren zu Mikroskopbildern der Trainingsdaten mit ebenfalls gleicher Annotation verläuft. Hierdurch wird eine Serie an generierten Mikroskopbildern erzeugt, welche zu im Wesentlichen gleichen Bildverarbeitungsergebnissen führen sollten, z.B. gleichen Klassenangaben.
Zur sprachlichen Vereinfachung werden Erfindungsvarianten häufig anhand mindestens eines variierten Parameters erklärt, wobei verschiedene Serien an generierten Mikroskopbildern erzeugt werden können, indem verschiedene Parameter variiert werden. Diese Erfindungsvarianten können auch so verstanden werden, dass für verschiedene Serien an Mikroskopbildern unterschiedliche Parametervariationsrichtungen im Merkmalsraum genutzt werden. Dabei können dieselben Parameter, insbesondere alle Parameter, für verschiedene Serien an Mikroskopbildern variiert werden, wobei jedoch die Parameterkonfiguration in unterschiedlichen Richtungen im Merkmalsraum variiert wird. Verschiedene Serien an Mikroskopbildern können von einer gemeinsamen Parameterkonfiguration ausgehen oder von verschiedenen Parameterkonfigurationen.
Die Bestimmung einer Parameterkonfiguration, eines Variationsbereichs und/oder einer Variationsrichtung im Merkmalsraum muss nicht zwingend automatisch erfolgen, sondern kann allgemein auch teilautomatisch oder rein manuell durchgeführt werden.
Identifizieren entscheidungsrelevanter Parameter
Werden mehrere Parameter untersucht, kann anschließend ermittelt werden, welche Parameter am entscheidungsrelevantesten für das Bildverarbeitungsmodell sind.
Zunächst werden mittels des generativen Modells mehrere Serien an generierten Mikroskopbildern erzeugt, wobei sich die Serien darin unterscheiden, welche der Parameter variiert werden bzw. wie mehrere Parameter variiert werden. Aus den generierten Mikroskopbildern aller Serien werden Bildverarbeitungsergebnisse berechnet. Die Bildverarbeitungsergebnisse einer Serie werden danach untersucht, wie stark sie sich unterscheiden. Je größer die Unterschiede, desto höher ist die Sensitivität des Bildverarbeitungsmodells gegenüber der zugehörigen Variation. Anhand der Sensitivitäten können diejenigen Parameter identifiziert werden, gegenüber denen das Bildverarbeitungsmodell eine größte Sensitivität aufweist. Diese Parameter haben somit die größte Auswirkung auf eine Ausgabe des Bildverarbeitungsmodells.
Parametersemantik
Anhand der generierten Mikroskopbilder einer Serie kann eine Wirkung des mindestens einen Parameters auf das Erzeugen generierter Mikroskopbilder ermittelt werden. Die Parameterkonfigurationen zu den generierten Mikroskopbildern einer Serie unterscheiden sich allein durch die durchgeführte Variation von mindestens einem Parameter, so dass die Wirkung oder Bedeutung dieser Variation aus den generierten Mikroskopbildern dieser Serie ersichtlich ist.
Daher kann eine Parametersemantik anhand der Serie an generierten Mikroskopbildern ermittelt werden. Die Parametersemantik gibt eine Mikroskopbildeigenschaft an, welche durch Variieren des mindestens einen Parameters verändert wird.
Die Parametersemantik kann z.B. eine geometrische Eigenschaft (beispielsweise Größe, Form oder Orientierung) einer dargestellten Probe sein. Ein entsprechender Parameter verändert somit die Größe, Form oder Orientierung einer dargestellten Probe. Die Parametersemantik kann auch eine Anzahl oder Position dargestellter Proben betreffen, eine Helligkeit oder Helligkeitsverteilung einer dargestellten Probe, oder eine Helligkeit oder einen Helligkeitsverlauf eines Hintergrunds, an dem sich keine Probe befindet.
Für jeden variierten Parameter kann automatisch ermittelt werden, ob die hieraus resultierenden Änderungen in generierten Mikroskopbildern einer aus mehreren vorgegebenen Parametersemantiken entsprechen. Beispielsweise kann automatisch ermittelt werden, welche(r) Parameter eine Hintergrundhelligkeit definiert und welche(r) Parameter geometrische Eigenschaften einer Probe vorgeben.
Eine Hintergrundhelligkeit und eine Probenhelligkeit können beispielsweise automatisiert ermittelt werden, indem zunächst eine Segmentierung eines generierten Mikroskopbildes gemäß den Klassen „Probe“ und „Hintergrund bzw. nicht Probe“ berechnet wird. Dies kann z.B. durch ein maschinell gelerntes Segmentierungsmodell erfolgen. Anschließend wird eine durchschnittliche Pixelhelligkeit für diejenigen Bereiche eines generierten Mikroskopbildes ermittelt, die in der Segmentierung als Hintergrund bzw. als Probe identifiziert wurden. Hierdurch sind die Hintergrundhelligkeit und Probenhelligkeit ermittelt. Ändert sich innerhalb einer Serie an generierten Mikroskopbildern im Wesentlichen allein die so berechnete Hintergrundhelligkeit, kann dem für diese Serie variierten mindestens einen Parameter die Semantik „Hintergrundhelligkeit“ zugeordnet werden. Geometrische Eigenschaften können ebenfalls automatisch über Segmentierungsmasken berechnet werden, so dass in analoger Weise eine entsprechende Parametersemantik ermittelt und vergeben werden kann.
Allgemeiner formuliert kann für mehrere bekannte Parametersemantiken jeweils hinterlegt sein, welche Auswirkung die bekannte Parametersemantik auf (generierte) Mikroskopbilder hat. Die bekannten Parametersemantiken können eines oder mehreres aus Folgendem betreffen: eine Probengröße, Probenform, Probenorientierung, Probenhelligkeit, Probenhelligkeitsverlauf, Probenposition, Probenanzahl, Probentextur, Hintergrundhelligkeit, Hintergrundhelligkeitsverlauf, dargestellte Hintergrundstrukturen, Artefakte, Verunreinigungen, Bildverzerrungen, Spiegelungen, oder geometrische Eigenschaften von Probenträgerkomponenten. Das Ermitteln einer Parametersemantik erfolgt, indem festgestellt wird, ob Unterschiede zwischen den generierten Mikroskopbildern derselben Serie gerade einer Auswirkung einer der bekannten Parametersemantiken entsprechen. Ist dies der Fall, kann die entsprechende bekannte Parametersemantik dem variierten mindestens einen Parameter zugeordnet werden.
Insbesondere kann pro Serie an generierten Mikroskopbildern eine Parametersemantik bestimmt werden.
In verschiedenen Ausführungsbeispielen wird beschrieben, dass eine Parametersemantik anhand generierter Mikroskopbilder einer Serie ermittelt wird. Dies soll beispielhaft verstanden werden und Abwandlungen sind möglich, in denen die Parametersemantik bereits vorab bekannt ist.
Sensitivität des Bildverarbeitungsmodells
Unter der Sensitivität des Bildverarbeitungsmodells gegenüber dem mindestens einen Parameter wird verstanden, dass eine Variation des mindestens einen Parameters eine Auswirkung auf Bildverarbeitungsergebnisse des Bildverarbeitungsmodells hat. Je höher die Auswirkung eines variierten Parameters auf die Ausgabe des Bildverarbeitungsmodells, desto höher ist die Sensitivität. Eingabedaten des Bildverarbeitungsmodells sind hierbei generierte Mikroskopbilder, die aus Parametersätzen berechnet wurden, welche durch Variieren des mindestens einen Parameters erzeugt wurden.
Zusammengefasst können Sensitivitäten berechnet werden durch: Variieren von Parametern, Erzeugen zugehöriger Serien an generierten Mikroskopbildern, Berechnen von Bildverarbeitungsergebnissen (z.B. Klassifikationsangaben) aus den generierten Mikroskopbildern, und Erfassen eines Unterschiedsgrads der Bildverarbeitungsergebnisse abhängig vom jeweils variierten Parameter.
Quantitativ kann die Sensitivität des Bildverarbeitungsmodells gegenüber dem mindestens einen Parameter als ein Unterschiedsgrad zwischen denjenigen Bildverarbeitungsergebnissen ermittelt werden, welche aus generierten Mikroskopbildern berechnet werden, die durch Variieren des mindestens einen Parameters erzeugt wurden. Der Unterschiedsgrad kann insbesondere in Abhängigkeit vom Wert des mindestens einen variierten Parameters erfasst werden.
Beispielsweise kann das Bildverarbeitungsmodell ein Klassifikationsmodell sein und als Bildverarbeitungsergebnis eine Wahrscheinlichkeit einer Klasseneinstufung berechnen, also die Wahrscheinlichkeit, dass ein (generiertes) Mikroskopbild einer bestimmten Klasse angehört. Wird aus den generierten Mikroskopbildern, die durch Variieren des mindestens einen Parameters erzeugt wurden, immer oder meist dieselbe Klasse berechnet, ist der Unterschiedsgrad null bzw. gering, so dass das Bildverarbeitungsmodell keine oder eine geringe Sensitivität bezüglich dieses Parameters hat. Hat hingegen der variierte Parameter eine starke Auswirkung auf die berechneten Klassenwahrscheinlichkeiten, so ist der Unterschiedsgrad groß und das Bildverarbeitungsmodell hat eine hohe Sensitivität gegenüber dem variierten Parameter.
Im Fall einer binären Klassifikation kann in dieser Weise für jeden variierten Parameter ein jeweiliger Unterschiedsgrad der Modellausgaben und somit eine Sensitivität berechnet werden. Bei Mehrklassenproblemen umfasst eine Modellausgabe mehrere Wahrscheinlichkeiten als Schätzungen der Zugehörigkeit zu verschiedenen Klassen. In diesem Fall kann der Unterschiedsgrad durch eine Trajektorie in einem mehrdimensionalen Ausgaberaum dargestellt werden. Alternativ kann bei einem Mehrklassenproblemen auch jeweils eine Kurve für jede Ausgabeklasse berechnet und optional angezeigt werden. Die Sensitivität kann dann bezüglich jeder Ausgabeklasse angegeben werden.
Bei einer Regression gibt das Bildverarbeitungsmodell mindestens eine Zahl aus, die einen beliebigen Wert haben kann, gegebenenfalls innerhalb eines bestimmten Zahlenbereichs. In diesem Fall kann ein Werteverlaufsgraph der Modellausgabe in Abhängigkeit des variierten Parameters dargestellt werden, oder eine Statistik hierrüber.
Im Fall einer Detektion detektiert das Bildverarbeitungsmodell mindestens einen vorgegebenen Objekttypen im (generierten) Mikroskopbild. Als Detektionsausgabe können insbesondere eine Anzahl, Position oder Größe detektierter Objekte ausgegeben werden. Als ein oder mehrere Unterschiedsgrade können Unterschiede in der Anzahl, Position und/oder Größe berechnet werden. Dieser mindestens eine Unterschiedsgrad wird in Abhängigkeit des variierten Parameters erfasst.
Bei einer Segmentierung kann als Unterschiedsgrad berechnet werden, wie stark Segmente in ihrer Form, Größe, Anzahl und Position sowie ihrem Randverlauf variieren.
Führt das Bildverarbeitungsmodell eine Bild-zu-Bild-Transformationen durch, wird als Unterschiedsgrad ermittelt, wie stark sich die ausgegebenen Bilder unterscheiden. Der Unterschied kann pixelweise ermittelt und optional dargestellt werden, wodurch ein pixelweiser Werteverlauf in Abhängigkeit des variierten Parameters berechnet wird. Alternativ kann ein einziger Unterschiedsgrad für den gesamten Inhalt der Bilder oder für einen Bildbereich aus mehreren Pixeln berechnet werden. Dieser Unterschied kann automatisch durch ein Bewertungsmodell quantifiziert werden. Es kann auch ein Unterschied zwischen räumlichen Mittelungen der Ausgabebilder berechnet werden. Die räumliche Mittelung kann einer mittleren Pixelhelligkeit eines Bildes entsprechen. Die mittleren Pixelhelligkeiten der Ausgabebilder oder eine Differenz der mittleren Pixelhelligkeiten wird gegen den mindestens einen variierten Parameter aufgetragen. Wird ein Unterschiedsgrad für einen Bildbereich ermittelt, können mehrere Unterschiedsgrade zu verschiedenen Bildbereichen, die z.B. ein NxN-Gitter bilden, berechnet werden. Alternativ kann ein Unterschiedsgrad zwischen Ausgabebildern durch eine strukturbasierte Analyse berechnet werden, z.B. durch eine Segmentierung relevanter Bereiche und anschließender Berechnung von Unterschieden zwischen Segmenten aus verschiedenen Bildern, wobei die Unterschiede im Hinblick auf Form, Größe, Anzahl, Position und/oder Randverlauf der Segmente erfasst werden können.
Die berechneten Sensitivitäten bzw. Unterschiedsgrade in Abhängigkeit der variierten Parameter können optional einem Nutzer angezeigt werden. Eine Visualisierung kann durch einen Graph des jeweils berechneten Unterschiedsgrades erfolgen, insbesondere als Funktion des Wertes des variierten mindestens einen Parameters, oder als Funktion einer Nummerierung der verwendeten generierten Mikroskopbilder. Die Nummerierung gibt eine Reihenfolge der generierten Mikroskopbilder beim Variieren des mindestens einen Parameters an.
Analyse der Sensitivität
Eine ermittelte Sensitivität kann prinzipiell manuell und/oder automatisch analysiert werden. In der Analyse kann optional eine ermittelte Parametersemantik berücksichtigt werden.
Zur Berücksichtigung der Parametersemantik kann zunächst eine beabsichtigte Sensitivität des Bildverarbeitungsmodells gegenüber Parametern einer vorgegebenen Parametersemantik festgelegt werden. Hierdurch wird eine beabsichtigte Auswirkung einer bestimmten Mikroskopbildeigenschaft auf das Berechnen von Bildverarbeitungsergebnissen festgelegt. Anschließend wird verglichen, ob eine ermittelte Sensitivität von einem oder mehreren Parametern, deren ermittelte Parametersemantik gleich der vorgegebenen Parametersemantik ist, mit der beabsichtigten Sensitivität übereinstimmt. Eine Warnung wird ausgegeben, wenn die ermittelte Sensitivität nicht mit der beabsichtigten Sensitivität übereinstimmt.
In einem konkreten Beispiel kann festgelegt werden, dass ein bestimmtes Bildverarbeitungsmodell Probentypen klassifizieren soll und das Klassifikationsergebnis nicht von einem Bildrauschverhalten, einer Hintergrundhelligkeit oder eventuell dargestellten Hintergrundstrukturen abhängen soll. In diesem Fall wird festgelegt, dass eine beabsichtigte Sensitivität des Bildverarbeitungsmodells gegenüber den vorgegebenen Parametersemantiken „Bildrauschverhalten“, „Hintergrundhelligkeit“ und „Hintergrundstrukturen“ möglichst null sein soll. Verschiedene Parameter werden variiert und anhand der zugehörigen Serien an generierten Mikroskopbildern werden Parametersemantiken der variierten Parameter ermittelt. Derjenige oder diejenigen Parameter werden identifiziert, deren ermittelte Parametersemantik mit einer der vorgegebenen Parametersemantiken „Bildrauschverhalten“, „Hintergrundhelligkeit“ oder „Hintergrundstrukturen“ übereinstimmt. Sensitivitäten des Bildverarbeitungsmodells gegenüber diesen Parametern werden ermittelt und mit den vorgegebenen Sensitivitäten verglichen. Im Fall einer Abweichung wird eine Warnung ausgegeben, welche in diesem Beispiel angibt, dass die Klassifikation ungewollt von dem Bildrauschverhalten, der Hintergrundhelligkeit oder Hintergrundstrukturen abhängt.
Eine Analyse einer Sensitivität oder ein Vergleich der Sensitivität mit einer beabsichtigten Sensitivität kann automatisch oder manuell erfolgen und kann sich insbesondere auf eine oder mehrere der folgenden Faktoren beziehen:

• Auffinden von (nicht-)linearen Änderungen einer Kurve, welche die Bildverarbeitungsergebnisse in Abhängigkeit des variierten Parameters angibt. Auch eine Anzahl an Wendepunkten dieser Kurve kann erfasst werden.
• Auffinden von abrupten Änderungen bzw. Sprüngen der vorgenannten Kurve, im Gegensatz zu einer glatten Kurve. Zudem können Steigungen der Kurven berücksichtigt und z.B. mit vorgegebenen Schwellwerten verglichen werden.
• Ermitteln, ob keine Änderungen oder periodische Änderungen zwischen Bildverarbeitungsergebnissen zu den Mikroskopbildern derselben Serie vorliegen.
• Ermitteln eines Symmetrieverhaltens der Bildverarbeitungsergebnisse unter der Parametervariation. Oftmals soll eine Änderung des Bildverarbeitungsergebnisses symmetrisch zu einer durch die Parametervariation hervorgerufenen Änderung im generierten Mikroskopbild sein. Beispielsweise sollte eine Verschiebung eines Bildinhalts bei generierten Mikroskopbildern in gleicher/ symmetrischer Weise zu einer Verschiebung in einer Segmentierungsmaske oder in einem Ausgabebild, welches als Bildverarbeitungsergebnis berechnet wird, führen.

Optional werden gemäß den obigen Kriterien einige der variierten Parameter vorselektiert und entweder automatisch weiter analysiert oder einem Nutzer zur manuellen Analyse vorgeschlagen werden. Ein variierter Parameter kann z.B. selektiert werden, wenn die Kurve, welche Unterschiede zwischen Bildverarbeitungsergebnissen in Abhängigkeit des zugehörigen variierten Parameters angibt, auffällige Abschnitte (beispielsweise Sprünge) aufweist oder sich über ein besonders großes Intervall ändert.
Für eine manuelle Analyse der Sensitivität kann die Kurve, welche Unterschiede zwischen Bildverarbeitungsergebnissen in Abhängigkeit des zugehörigen variierten Parameters angibt, zusammen mit den generierten Mikroskopbildern angezeigt werden, aus denen die Bildverarbeitungsergebnisse berechnet wurden. Optional kann eine interaktive Einstellmöglichkeit bereitgestellt werden, durch welche ein Nutzer einen Wert des variierten Parameters verändern kann. Mit dem generativen Modell und dem Bildverarbeitungsmodell werden unmittelbar das entsprechende generierte Mikroskopbild und das hieraus berechnete Bildverarbeitungsergebnis erzeugt und angezeigt.
Verifikation, dass das Bildverarbeitungsmodell auf bekannte diskriminierende Faktoren anspricht
Es können diskriminierende Faktoren bekannt sein, welche das Bildverarbeitungsergebnis bestimmen sollten. Ebenso können Faktoren bekannt sein, welche keine Auswirkung auf das Bildverarbeitungsergebnis haben sollten. Über die Sensitivität und Parametersemantik kann verifiziert werden, dass die bekannten diskriminierenden Faktoren auch tatsächlich die Einflussfaktoren/ Entscheidungsfaktoren sind, welche das Bildverarbeitungsergebnis bestimmen. Außerdem kann verifiziert werden, dass keine ungewollte Beeinflussung (Bias) durch bestimmte Faktoren erfolgt, welche bekanntermaßen keine Auswirkung haben sollten. Beispielsweise soll bei einer Zellzustandsklassifikation die Zellmorphologie den größten Einfluss haben, während die Hintergrundhelligkeit keinen oder zumindest kaum einen Einfluss auf die berechnete Klassifikation haben sollte.
Allgemeiner formuliert kann anhand der ermittelten Sensitivität eine Einstufung erfolgen, ob der zugehörige variierte Parameter ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses ist. Die Einstufung kann durch ein ja/nein oder durch eine beliebige Punktzahl erfolgen. Für variierte Parameter wird wie beschrieben eine jeweilige Parametersemantik ermittelt. Für verschiedene Parametersemantiken ist eine Angabe hinterlegt, ob ein zugehöriger Parameter ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses sein sollte. Es wird überprüft, ob ein Widerspruch zwischen einem als diskriminierender Faktor eingestuften Parameter und einer zu der entsprechenden Parametersemantik hinterlegten Angabe vorliegt. Im Fall eines Widerspruchs wird eine Warnung ausgegeben.
Die Parametersemantiken können z.B. eines oder mehreres aus Folgendem umfassen: eine Hintergrundhelligkeit; eine Bild- oder Hintergrundschärfe; ein Bildrauschen; eine Geometrie, Anzahl, Größe, Position und/oder Anordnung dargestellter Objekte; eine Textur dargestellter Objekte; Verschmutzungen, Artefakte oder Spiegelungen.
Für jede Parametersemantik ist hinterlegt, ob dies ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses sein sollte. Dies kann vom Bildverarbeitungsmodell abhängen. Beispielsweise kann in der Tumordiagnose die Form eines bestimmten Zelltyps ein diskriminierender Faktor sein, während die Form des Zelltyps kein oder ein nur schwach diskriminierender Faktor für ein Modell sein sollte, welches klassifiziert, ob überhaupt Zellen im Bild vorhanden sind.
Im Fall eines Widerspruchs zwischen einem als diskriminierender Faktor eingestuften Parameter und einer zu der entsprechenden Parametersemantik hinterlegten Angabe, kann eine Augmentierung der Trainingsdaten vorgeschlagen werden, wie später näher beschrieben.
Abhängigkeit der Sensitivität von der Varianz in generierten Mikroskopbildern
Anhand der Sensitivität kann verifiziert werden, dass Parameter, die in den (generierten) Mikroskopbildern weniger Varianz hervorrufen, auch das Bildverarbeitungsergebnis weniger beeinflussen. Beispielsweise sollte ein Bildverarbeitungsmodell in der Regel keine oder eine nur niedrige Sensitivität gegenüber Bildrauschen haben. Ein Parameter, welcher Bildrauschen betrifft, führt in den generierten Mikroskopbildern zu weniger Varianz als andere (entscheidungsrelevante) Parameter. Daher kann über die Varianz in leichter Weise eine automatisierte Analyse erfolgen.
Bei manchen generativen Modellen, z.B. wenn diese auf einer PCA beruhen, sind die Basis-/Hauptkomponenten bereits danach sortiert, wie groß der Anteil der Varianz der Mikroskopbilder der Trainingsdaten ist, der mit Hilfe der jeweiligen Basis-/Hauptkomponente erklärt wird. Daher sind bei diesen generativen Modellen die Parameter bereits in einer Reihenfolge sortiert, gemäß dem jeweiligen Beitrag zur Varianz in den Mikroskopbildern. Die Sensitivität sollte entsprechend dieser Reihenfolge immer weiter abnehmen. Ist dies nicht der Fall, kann eine Warnung ausgegeben werden.
In einer ähnlichen Ausführung wird zu jeder Serie an generierten Mikroskopbildern jeweils eine Varianz ermittelt, welche angibt, wie stark sich Bildinhalte zwischen den generierten Mikroskopbildern derselben Serie unterscheiden. Anhand der ermittelten Varianzen können anschließend diejenigen variierten Parameter ermittelt werden, welche zu den kleinsten Varianzen führen. Sodann wird überprüft, ob diejenigen variierten Parameter, welche zu den kleinsten Varianzen führen, auch nur eine kleinste Auswirkung auf das Bildverarbeitungsergebnis haben, d.h. eine kleinere Auswirkung als die (Mehrzahl der) anderen variierten Parameter.
Plausibilisierung von Bildverarbeitungsergebnissen
Ob plausible Bildverarbeitungsergebnisse erzeugt werden, kann anhand von Parametern mit gleichem Verhalten der Modellausgabe bei Parametervariationen abgeschätzt werden. Beispielsweise können die hierbei generierten Mikroskopbilder oder zugehörige Parametersemantiken automatisch miteinander verglichen werden oder für einen manuellen Vergleich nebeneinander angezeigt werden.
In anderen Worten können Parameter identifiziert werden, für welche eine gleichartige Sensitivität ermittelt wird. Eine Einschätzung einer Plausibilität der gleichartigen Sensitivität erfolgt anschließend durch einen Vergleich der Mikroskopbilder, welche beim Variieren der identifizierten Parameter erzeugt wurden.
Sensitivität gegenüber Strukturen oder einer Morphologie
Anhand der ermittelten Sensitivitäten kann untersucht werden, ob eher eine Struktur (Textur) oder eine Morphologie (Geometrie) für die Berechnung des Bildverarbeitungsergebnisses ausschlaggebend ist. Insbesondere kann ermittelt werden, ob die als diskriminierende Faktoren eingestuften Parameter eher Texturen oder Geometrien dargestellter Objekte in Mikroskopbildern vorgeben. Für diese Einteilung werden Unterschiede in den Mikroskopbildern einer Serie ermittelt. Betreffen die Unterschiede z.B. Positionen oder Formen dargestellter Objekte, handelt es sich um eine Morphologie/Geometrie-Eigenschaft. Sind innerhalb einer Serie hingegen diese Geometrie-Eigenschaften gleich und ein Unterschied liegt in der Textur innerhalb eines Objekts vor, so kodiert der entsprechende variierte Parameter Strukturen/Texturen. Diese Kenntnis ist besonders relevant, wenn bekannt ist, ob für die Aufgabenstellung des Bildverarbeitungsmodells eher die Struktur oder Morphologie relevant ist.
Augmentierung
In einer Augmentierung werden allgemein rechnerisch neue Mikroskopbilder erzeugt, welche den Trainingsdaten für ein neues Training hinzugefügt werden.
Eine Augmentierung kann abhängig von der ermittelten Sensitivität des Bildverarbeitungsmodells vorgeschlagen werden. Ein Vorschlag kann an einen Nutzer ausgegeben werden oder prinzipiell auch automatisiert umgesetzt werden.
Eine Augmentierung kann z.B. abhängig davon vorgeschlagen werden, ob ein Parameter als diskriminierender Faktor eingestuft wurde. Bildvariationen durch diskriminierende Faktoren sollten möglichst gut in den Trainingsdaten abgedeckt sein. Die Augmentierung kann auch abhängig von einer Varianz der Latent Code Darstellungen der Mikroskopbilder der Trainingsdaten vorgeschlagen werden, wobei die Varianz in der Richtung des als diskriminierender Faktor eingestuften Parameters im Merkmalsraum des generativen Modells berechnet ist. Anstelle der Varianz kann auch eine Anzahl oder Dichte der Latent Code Darstellungen der Mikroskopbilder entlang der Richtung des genannten Parameters im Merkmalsraum berücksichtigt werden. Für Bildvariationen, die auf entscheidungsrelevante Faktoren zurückgehen, sollte eine Dichte der Trainingsdaten möglichst hoch sein. Eine Augmentierung kann auch für eine Parameterkonfiguration vorgeschlagen werden, an welcher eine Parametervariation eine besonders große Änderung des Unterschiedsgrads zwischen resultierenden Bildverarbeitungsergebnissen hervorruft. In einem Bereich im Merkmalsraum um diese Parameterkonfiguration herum sollte eine Dichte an Trainingsdaten möglichst hoch sein. Daher können Parameterkonfigurationen innerhalb dieses Bereichs (zufällig) erzeugt und mit Hilfe des generativen Modells in generierte Mikroskopbilder überführt werden, welche sodann als zusätzliche Trainingsdaten des Bildverarbeitungsmodells verwendet werden.
Eine Augmentierung eignet sich auch, wenn ein Parameter als diskriminierender Faktor eingestuft wurde, aber zu der entsprechenden Parametersemantik hinterlegt ist, dass dies kein diskriminierender Faktor sein sollte. Parameter mit den Semantiken „Bildrauschen“ oder „Hintergrundhelligkeit“ sollten z.B. in der Regel keine diskriminierenden Faktoren sein. Es können mehrere generierte Mikroskopbilder erzeugt werden, welche sich allein in dem Parameter unterscheiden, der als diskriminierender Faktor des Bildverarbeitungsmodells eingestuft wurde, obwohl ein hochwertiges Bildverarbeitungsmodell nicht diskriminierend gegenüber diesem Parameter sein sollte. Für diese generierten Mikroskopbilder kann optional dieselbe Annotation vergeben werden. Die Annotationen werden als Zielergebnisse im Training des Bildverarbeitungsmodell verwendet und können z.B. eine Klassenangabe sein, welche für die genannten Mikroskopbilder identisch ist. Es kann sich bei der Annotation auch um z.B. eine Segmentierungsmaske handeln, welche manuell, automatisch oder teilautomatisch erstellt wird und sodann für alle der genannten Mikroskopbilder übernommen wird. Durch diese Augmentierung wird die Wahrscheinlichkeit erhöht, dass nach einem neuen Training die genannten Parameter nicht mehr diskriminierende Faktoren für das Bildverarbeitungsmodell sind.
Bildverarbeitungsmodell
Das zu überprüfende Bildverarbeitungsmodell kann unter anderem zur Regression, Klassifikation, Segmentierung, Detektion und/oder Bild-zu-Bild-Transformation gestaltet sein. Insbesondere kann das Bildverarbeitungsmodell dazu eingerichtet sein, aus mindestens einem Mikroskopbild zumindest eines aus Folgendem als Bildverarbeitungsergebnis zu berechnen:

• eine Aussage, ob bestimmte Objekte im Mikroskopbild vorhanden sind. Hierunter kann auch eine Objekt- oder Instanz-Re-Identifizierung fallen, durch welche insbesondere überprüft wird, ob ein Objekt, ein Objekttyp oder eine Objektinstanz, welche in einem Mikroskopbild identifiziert wurde, auch in anderen Mikroskopbildern abgebildet ist.
• eine inverse Bildtransformation, durch welche eine Umkehrung einer bestimmten Bildtransformation geschätzt wird.
• geometrische Angaben zu dargestellten Objekten, z.B. eine Position, Größe oder Orientierung eines Objekts; eine Identifizierung, eine Anzahl oder Eigenschaften dargestellter Objekte. Insbesondere kann auch eine Konfluenz bestimmt werden, das heißt ein von Objekten eines bestimmten Typs bedeckter Flächenanteil des Mikroskopbildes.
• eine Warnung bezüglich Untersuchungsbedingungen, Mikroskopeinstellungen, Probeneigenschaften oder Bildeigenschaften. Mikroskopeinstellungen können z.B. die Beleuchtungsstärke oder andere Beleuchtungseinstellungen, Detektionseinstellungen oder eine Fokussierung betreffen.
• eine Anomalie- oder Neuheits-Detektion. Unterscheidet sich das eingegebene Mikroskopbild erheblich von denen des Trainings, wird eine Anomalie oder eine Neuheit gegenüber den Trainingsdaten festgestellt. Das Bildverarbeitungsmodell kann auch als Watchdog fungieren und eine Warnung im Fall vorab nicht näher festgelegter Abweichungen ausgeben.
• einen Steuerbefehl, einen Vorschlag für einen Steuerbefehl des Mikroskops bzw. einer Mikroskopkomponente, oder eine Anordnung / ein Vorschlag für eine anschließende Bildauswertung. Der Steuerbefehl kann z.B. eine Änderung der Beleuchtung, der Detektion, der Bildaufnahme, der Fokussierung, der Probentischposition, verwendeten Filtern oder des verwendeten Objektivs betreffen. Der Steuerbefehl kann auch verwendete Zusatzkomponenten wie eine Immersionseinrichtung oder eine adaptive Optik betreffen, insbesondere einen räumlichen Modulator für Licht (englisch: Spatial Light Modulator, SLM), wodurch eine Wellenfront modifiziert wird. Eine bestimmte Bildauswertung kann z.B. abhängig davon vorgeschlagen oder angeordnet werden, welche Objekte im Mikroskopbild ermittelt wurden. Weiterhin kann der Steuerbefehl eine AutoCorr-Einstellung betreffen, so dass ein Korrekturring des Objektivs eingestellt wird, um insbesondere Aberrationen auszugleichen.
• eine Bestimmung von Aufnahmeparametern, mit denen ein nachfolgendes Mikroskopbild aufgenommen werden soll.
• eine Parameterbestimmung für eine Kalibrierung, z.B. eine Lagebestimmung und/oder Ausrichtung von mindestens einer Kamera.
• eine Angabe über eine zukünftige Wartung (Predictive Maintenance). Insbesondere kann es sich hierbei um eine Angabe handeln, ob eine bestimmte Mikroskopkomponente Verschleiß erlitten hat und/oder eine Neukalibrierung nötig wird.
• ein Modellüberprüfungsergebnis, wodurch ein anderes Bildverarbeitungsmodell oder dessen Ausgabe überprüft wird, beispielsweise ein durch Auto-ML gestaltetes Modell. Dieses Modell kann einem der vorliegend beschriebenen Bildverarbeitungsmodelle entsprechen. Im Fall der Überprüfung einer Modellausgabe kann auch eine Korrektur der Modellausgabe vorgeschlagen werden.
• ein Ausgabebild, in dem z.B. dargestellte Objekte deutlicher sichtbar oder in höherer Bildqualität dargestellt sind, oder ein Ausgabebild, in dem eine Darstellung bestimmter Strukturen unterdrückt wird. Die verbesserte Sichtbarkeit oder höhere Bildqualität kann allgemein dargestellte Objekte betreffen, wie z.B. im Fall einer Rauschreduzierung (Denoising), Auflösungssteigerung (Superresolution), Kontrastverbesserung (z.B. eine Anpassung des Gamma-Werts oder eine Kontrastspreizung) oder Entfaltung. Die verbesserte Sichtbarkeit kann aber auch allein bestimmte Objekte betreffen, wie im Fall einer Transformation zwischen verschiedenen Kontrastarten, wodurch eine virtuelle Einfärbung (virtual staining) bestimmter Strukturen erreicht wird. Beispielsweise kann die Transformation zwischen den Kontrastarten Hellfeld und DIC (Differentialinterferenzkontrast) erfolgen. Ein Unterdrücken von Strukturen kann z.B. durch eine Artefaktentfernung oder durch eine Detailreduzierung eines Hintergrunds erfolgen. Die Artefaktreduzierung muss sich nicht zwingend auf bereits vorhandene Artefakte in aufgenommenen Rohdaten beziehen, sondern kann auch Artefakte betreffen, die erst durch eine Bildverarbeitung entstehen, insbesondere bei einer Modellkompression. Durch eine Modellkompression wird ein maschinell gelerntes Modell vereinfacht, um den Speicher- oder Rechenbedarf des Modells zu reduzieren, wobei durch die Modellkompression die Modellgenauigkeit leicht reduziert sein kann und Artefakte auftreten können. Eine Bild-zu-Bild-Transformation zum Berechnen des Ausgabebildes kann auch ein Auffüllen von Bildbereichen (inpainting) betreffen, z.B. ein Auffüllen von Fehlstellen oder Lücken abhängig von umgebenden Bildinhalten. Das Ausgabebild kann weiterhin eine Dichtekarte dargestellter Objekte sein, z.B. indem Zell- oder Objektmittelpunkte markiert werden. Auch kann ein Weißabgleich, ein HDR-Bild, oder ein De-Vignetting berechnet werden. Durch einen Weißabgleich wird ein verfälschender Farbton aus dem eingegebenen Mikroskopbild entfernt, so dass farblose Objekte tatsächlich im Ausgabebild farblos dargestellt werden. In einem HDR-Bild ist eine Skala möglicher Helligkeitsunterschiede pro Farbkanal gegenüber dem eingegebenen Mikroskopbild erhöht. Bei einem De-Vignetting wird eine Randabschattung des eingegebenen Mikroskopbildes entfernt, oder allgemein auch andere zum Bildrand hin zunehmende Effekte, wie eine Farbänderung, Abbildungsfehler oder ein Bildschärfeverlust. Auch eine Signaltrennung („Unmixing“) ist möglich, in welcher ein oder mehrere Signalkomponenten extrahiert werden, z.B. um eine Extraktion eines Spektralbereichs aus einer Bildaufnahme zu schätzen. Das Bildverarbeitungsmodell kann auch einen Generator eines GAN, z.B. eines StyleGAN, umfassen.
• ein Klassifikationsergebnis, welches abhängig von einem dargestellten Bildinhalt des Mikroskopbildes eine Einstufung in mindestens eine von mehreren möglichen Klassen angibt. Verschiedene Klassen können z.B. den Probentyp, Probenträgertyp oder Eigenschaften hiervon betreffen, z.B. eine Größe oder Anzahl an bestimmten Objekten oder Probenkomponenten. Auch das Vorhandensein von Objekten im Mikroskopbild oder in bestimmten Bildregionen kann überprüft werden. Objekte können z.B. Zellen, Viren, Bakterien, Teile hiervon oder Partikel umfassen. Zudem kann ein Objektstatus klassifiziert werden, z.B. ein Zellstadium, wobei insbesondere zwischen lebenden und toten Zellen unterschieden werden kann. Die Klassen können auch Mikroskopeigenschaften, Mikroskopkomponenten oder eine Aufnahmeart oder eine Eignung für nachfolgende Mess- und/oder Verarbeitungsschritte betreffen. Das Klassifikationsergebnis kann sich auch auf eine Punktwolke als Eingabe in das Modell beziehen. Die Punktwolke stellt Messergebnisse dar oder Merkmalsvektoren von Mikroskopbildern in einem dimensionsreduzierten Merkmalsraum. Weiterhin kann die Klassifikation eine Qualitätsbeurteilung sein, z.B. hinsichtlich der Bildaufnahme oder eines zuvor durchgeführten Bildverarbeitungsschritts. Eine Klassifikation kann optional als ordinale Klassifikation erfolgen, in welcher mehrere mögliche Klassen eine Reihenfolge bilden, z.B. bei einer Qualitätsbeurteilung von Probenträgern oder einer Größenschätzung dargestellter Objekte. Auch eine Ein-Klassen-Klassifizierung ist möglich, in welcher geschätzt wird, ob eine bestimmte Klasse vorliegt, ohne dass eine andere Klasse näher definiert wird. In allen Beispielen kann eine Wahrscheinlichkeit für eine Klassenzugehörigkeit angegeben werden. Insbesondere bei einer ordinalen Klassifikation kann auch ein Zwischenergebnis zwischen vorgegebenen Klassen geschätzt werden. Die genannten Klassifizierungen können optional durch eine „Open-Set-Klassifizierung“ erfolgen, in welcher erkannt wird, ob Eingabedaten einer Verteilung der Trainingsdaten entstammen und somit einer der bekannten Klassen zugeordnet werden können, oder ob es sich um eine neue Klasse handelt, welche nicht im Modelltraining berücksichtigt wurde.
• ein Regressionsergebnis, welches prinzipiell die zur Klassifikation genannten Beispiele betreffen kann, oder z.B. eine Füllstandsbestimmung von Probengefäßen, eine Fokusbestimmung, eine Bildqualitätsbestimmung oder eine Höhenbestimmung von Multiwellplatten, von anderen Probenträgern oder von anderen Objekten.
• eine Lichtfeldverrechnung, durch welche aus mindestens einem eingegebenen Mikroskopbild bzw. eingegebenen Bilddaten ein 3D-Bild der Probe geschätzt wird.
• eine Segmentierung, insbesondere eine semantische Segmentierung oder Instanzsegmentierung, oder eine Detektion bestimmter Strukturen, z.B. von: einem Probenbereich, verschiedenen Probentypen oder Probenteilen, einem oder mehreren verschiedenen Probenträgerbereichen, einem Hintergrund, einer Mikroskopkomponente (z.B. von Halteklammern oder anderen Teilen zum Halten eines Probenträgers) und/oder Artefakten. Eine Segmentierung kann durch eine interaktive Segmentierung erfolgen, in welcher ein Nutzer ein- oder mehrmals Punkte oder Bildbereiche im Mikroskopbild auswählt, welche zu einem zu segmentierenden Objekt gehören sollen oder nicht. Zudem kann die Segmentierung eine panoptische Segmentierung sein, in welcher eine Semantik und eine Instanz von segmentierten Objekten angegeben wird. Eine Detektion kann als Angabe, ob eine oder mehrere der genannten Strukturen im Bild vorkommen, verstanden werden, oder als Ortsangabe einer oder mehrerer der genannten Strukturen, wobei eine Ortsangabe durch Bildkoordinaten oder z.B. durch einen üblicherweise als Bounding-Box bezeichneten Rahmen um die entsprechende Struktur erfolgen kann. Auch Größenangaben oder andere geometrische Objekteigenschaften können durch die Detektion in einer Liste ausgegeben werden.

• eine Datenreduktion, wodurch eine komprimierte Darstellung des eingegebenen mindestens einen Mikroskopbildes erzeugt wird. Insbesondere kann die Datenreduktion im Sinne einer dünnbesetzten oder komprimierten Darstellung (compressed sensing) erfolgen.
• eine Modellkompression eines maschinell gelernten Modells, wodurch das Modell vereinfacht wird. Beispielsweise kann durch eine Parameterreduzierung eine Laufzeitverbesserung erreicht werden. Das zu komprimierende Modell kann insbesondere einem der hier beschriebenen Bildverarbeitungsmodelle entsprechen.
• eine Modellauswahl: Es wird ermittelt, welches von mehreren maschinell gelernten Modellen für eine folgende Analyse bzw. Bildverarbeitung verwendet werden soll.
• eine Bewertung eines maschinell gelernten Modells oder einer Modellarchitektur eines maschinell gelernten Modells, nach Abschluss eines Modelltrainings oder auch während einem noch laufenden Modelltraining (Training Observer).
• eine Bewertung einer Modellausgabe eines Bildverarbeitungsmodells, um durch ein kontinuierliches aktives Lernen (Continuous Active Learning) eine Verfeinerung von Modellparametern des Bildverarbeitungsmodells zu berechnen.
• Trainingsdaten für ein weiteres maschinell gelerntes Modell. Bei den Trainingsdaten kann es sich um jede der hier genannten Ausgaben handeln.
• ein Überwachungsergebnis eines Arbeitsablaufes eines Mikroskops. Es können Bilddaten danach ausgewertet werden, ob bestimmte Ereignisse eingetreten sind, z.B. ob ein allgemeiner oder bestimmter Probenträger oder ein Kalibrierobjekt auf einen Mikroskoptisch platziert wurde. Auch Spektrogrammdaten aufgenommener Audiodaten oder andere Darstellungen von Audiodaten können zur Überwachung eines Arbeitsablaufes ausgewertet werden.
• eine Konfidenzschätzung eines Bildverarbeitungsergebnisses eines anderen Bildverarbeitungsmodells, welches z.B. einem der vorliegend beschriebenen Bildverarbeitungsmodelle entsprechen kann.
• eine Auswahl von Bildern aus einem Bilddatensatz, wobei ausgewählte Bilder dem eingegebenen Mikroskopbild ähneln (Image Retrieval).

Trainingsdaten des Bildverarbeitungsmodells können entsprechend den vorgenannten Funktionen gewählt sein. Die Trainingsdaten können Mikroskopbilder oder hieraus abgeleitete Bilder enthalten, welche als Eingabedaten für das Bildverarbeitungsmodell dienen. Bei einem überwachten Lernvorgang umfassen die Trainingsdaten außerdem vorgegebene Zieldaten (ground truth Daten), welchen das berechnete Bildverarbeitungsergebnis möglichst gleichen sollte. Für eine Segmentierung sind die Zieldaten beispielsweise Segmentierungsmasken. Im Fall einer virtuellen Einfärbung sind die Zieldaten z.B. Mikroskopbilder mit chemischer Färbung, Fluoreszenzbilder oder allgemein Mikroskopbilder, die mit einer anderen Kontrastart als die einzugebenden Mikroskopbilder aufgenommen sind.
Architektur des Bildverarbeitungsmodells
Eine Architektur des maschinell gelernten Bildverarbeitungsmodells kann prinzipiell beliebig sein. Es kann ein neuronales Netz, insbesondere ein parametrisiertes Modell oder ein tiefes neuronales Netz umfassen, welches insbesondere faltende Schichten (convolutional layers) enthält. Das Bildverarbeitungsmodell kann z.B. eines oder mehreres aus Folgenden umfassen:

• Encoder-Netzwerke für eine Klassifikation oder Regression, z.B. ResNet oder DenseNet; • Generative Adversielle Netzwerke (englisch: Generative Adversarial Networks, GANs) • Encoder-Decoder-Netzwerke, z.B. U-Net; • Feature-Pyramid-Netzwerke; • vollständig faltende Netzwerke (englisch: Fully-Convolutional Networks, FCN), z.B. DeepLab; • Sequenzielle Modelle, z.B. RNN (rekurrente neuronale Netzte, englisch: recurrent neural network, RNN), LSTM (englisch: Long Short-Term Memory) oder Transformer; • Fully-Connected-Modelle, z.B. Multi-Layer Perceptron Netze (MLP); • Entscheidungsbäume oder einen Random Forest aus mehreren unkorrelierten Entscheidungsbäumen; • eine Stützvektormaschine (Support Vector Machine).

Allgemeine Eigenschaften
Maschinell gelernte Modelle bezeichnen allgemein Modelle, die von einem Lernalgorithmus anhand von Trainingsdaten gelernt wurden. Die Modelle können beispielsweise ein oder mehrere faltende neuronale Netze (englisch: convolutional neural network, CNN) umfassen, wobei auch andere Modellarchitekturen eines tiefen neuronalen Netzes (englisch: deep neural network) möglich sind. Mit Hilfe eines Lernalgorithmus werden Werte von Modellparametern des Modells anhand der Trainingsdaten festgelegt. Hierzu wird eine vorgegebene Zielfunktion optimiert, z.B. eine Verlustfunktion minimiert. Zum Minimieren der Verlustfunktion werden die Modellparameterwerte verändert, was z.B. durch Gradientenabstieg und Backpropagation berechnet werden kann.
Das Mikroskop kann ein Lichtmikroskop sein, welches eine Systemkamera und optional eine Übersichtskamera aufweist. Auch andere Arten von Mikroskopen sind möglich, beispielsweise Elektronenmikroskope, Röntgenmikroskope oder Rasterkraftmikroskope. Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst.
Die Recheneinrichtung kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung von Mikroskopkomponenten eingerichtet sein. Eine dezentrale Gestaltung der Recheneinrichtung kann insbesondere genutzt werden, wenn ein Modell durch föderales Lernen mittels mehrerer voneinander getrennter Geräte gelernt wird.
Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Das Bildverarbeitungsergebnis, das vom Bildverarbeitungsmodell berechnet wird, soll demnach als mindestens ein Bildverarbeitungsergebnis verstanden werden. Beispielsweise kann ein Bildverarbeitungsmodell zum virtuellen Einfärben dazu gestaltet sein, aus einem eingegebenen Mikroskopbild mehrere verschieden eingefärbte Ausgabebilder zu berechnen. Ebenso kann ein Segmentierungsmodell dazu gestaltet sein, aus einem eingegebenen Mikroskopbild mehrere verschiedene Segmentierungsmasken zu berechnen. Beschreibungen von „einem/dem (variierten) Parameter“ sollen auch im Sinne von „mindestens ein (variierter) Parameter“ verstanden werden.
Ein Mikroskopbild kann durch Rohbilddaten, die von einem Mikroskop aufgenommen wurden, gebildet sein, oder durch Weiterverarbeitung der Rohbilddaten erzeugt sein. Eine Weiterverarbeitung kann z.B. Helligkeits- und Kontraständerungen, ein Image Stitching zum Zusammenfügen von Einzelbildern, eine Artefaktentfernung zum Entfernen von Störstellen aus den Bilddaten, oder eine Segmentierung zum Erzeugen einer Segmentierungsmaske umfassen. Außerdem können verschiedene Ausschnitte eines einzigen Rohbildes als mehrere kleinere Mikroskopbilder verwendet werden.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.
KURZBESCHREIBUNG DER FIGUREN
Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung einer Einbettung von Mikroskopbildern in einen Merkmalsraum;
2 ist eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Mikroskopiesystems;
3 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
4 illustriert Prozesse eines generativen Modells von Ausführungsbeispielen erfindungsgemäßer Verfahren;
5 illustriert Prozesse eines generativen Modells von Ausführungsbeispielen erfindungsgemäßer Verfahren;
6 illustriert einen Merkmalsraum des generativen Modells;
7 illustriert einen Merkmalsraum des generativen Modells;
8 illustriert Prozesse eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; und
9 illustriert weitere Prozesse von Ausführungsbeispielen erfindungsgemäßer Verfahren.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 2
2 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 9. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 9 Detektionslicht aus einem Bereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können beliebige Objekte, Fluide oder Strukturen sein. Zusätzlich oder anstelle der Mikroskopkamera 9 kann auch ein Okular 12 genutzt werden. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9A zum Aufnehmen eines Übersichtsbildes des Probenträgers 7. Ein Sichtfeld 9C der Übersichtskamera 9A ist größer als ein Sichtfeld der Mikroskopkamera 9. Im dargestellten Beispiel blickt die Übersichtskamera 9A über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden.
Als Mikroskopbilder werden vorliegend von dem Mikroskop aufgenommene Rohdaten oder hieraus weiterverarbeitete Bilddaten verstanden, welche von der Übersichtskamera 9A oder der Probenkamera/Systemkamera 9 stammen können.
Die Mikroskopbilder sollen durch ein maschinell gelerntes Bildverarbeitungsmodell verarbeitet werden. Dieses Modell kann durch ein Computerprogramm 11 ausgeführt werden, welches Teil einer Recheneinrichtung 10 ist. Die Wahl oder Gestaltung von Trainingsdaten eines Bildverarbeitungsmodells gibt maßgeblich die Funktion des Bildverarbeitungsmodells vor. Jedoch kann durch herkömmlicherweise verwendete Validierungsmaßnahmen nicht zufriedenstellend überprüft werden, anhand welcher Eigenschaften ein gelerntes Bildverarbeitungsmodell ein bestimmtes Ergebnis berechnet. Hat ein Bildverarbeitungsmodell an Validierungsdaten eine hohe Genauigkeit, kann nicht ohne Weiteres auf eine ausreichende Robustheit geschlossen werden. Daher soll überprüft werden, gegenüber welchen Eigenschaften der Mikroskopbilder das Bildverarbeitungsmodell eine hohe Sensitivität hat. Hierauf wird im Folgenden mit Bezug auf die weiteren Figuren eingegangen.
FIG. 3
3 illustriert schematisch Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Die mit Bezug auf 2 genannte Recheneinrichtung 10 oder das Computerprogramm 11 sind zur Durchführung dieses Verfahrens gestaltet.
Trainingsdaten T für ein Bildverarbeitungsmodell M umfassen mehrere Mikroskopbilder 20. Für einen überwachten oder teilüberwachten Lernvorgang sind zumindest zu einigen der Mikroskopbilder 20 Annotationen A vorhanden. Im dargestellten Beispiel sind als Annotationen A verschiedene Klassenangaben C1, C2 den Mikroskopbildern 20 zugeteilt. Die Klassenangaben C1, C2 können beispielhaft einen Probentyp (z.B. eine bestimmte Bakterienart oder Virenart), die in den Mikroskopbildern dargestellt ist, benennen.
Mit Hilfe der Trainingsdaten T wird ein Training V1 des Bildverarbeitungsmodells M in prinzipiell bekannter Weise durchgeführt. Nach Abschluss des Trainings V1 sollte das Bildverarbeitungsmodell M in der Lage sein, aus einem eingegebenen Mikroskopbild eine möglichst korrekte Klassenangabe zu berechnen. Das Bildverarbeitungsmodell M kann allgemein auch dazu trainiert werden, andere Bildverarbeitungsergebnisse auszugeben, wozu entsprechend andere Annotationen A verwendet werden, wie im allgemeinen Beschreibungsteil näher erläutert.
Ein Trainingserfolg kann durch eine Validierung V2 in wiederum prinzipiell bekannter Weise überprüft werden. In der Validierung V2 werden Mikroskopbilder 21, welche nicht im Training V1 verwendet wurden, dem Bildverarbeitungsmodell M eingegeben, welches hieraus Bildverarbeitungsergebnisse R berechnet, im vorliegenden Beispiel also Klassenangaben. Es wird eine Übereinstimmung zwischen den berechneten Klassenangaben und als korrekt vorgegebenen Klassenangaben der Mikroskopbilder 21 ermittelt. Je höher die Übereinstimmung, desto besser ist ein ausgegebenes Validierungsergebnis 50. In dieser bekannten Weise können jedoch verschiedene Probleme nicht aufgedeckt werden, durch welche das Bildverarbeitungsmodell M eine unzureichende Qualität haben kann, obwohl ein exzellentes Validierungsergebnis 50 berechnet wird. Mögliche Problemursachen wurden mit Bezug auf 1 erläutert. Beispielsweise könnte das Bildverarbeitungsmodell M lernen, eine Klassenangabe maßgeblich aufgrund einer ungeeigneten Bildeigenschaft zu vergeben, wenn sich die Mikroskopbilder verschiedener Klassen ungünstigerweise in dieser ungeeigneten Bildeigenschaft unterscheiden, z.B. im Rauschverhalten, der Bildschärfe oder einer Hintergrundhelligkeit. Entstammen die Validierungsdaten derselben Verteilung, kann das Bildverarbeitungsmodell M ebenfalls anhand des Rauschverhaltens, der Bildschärfe oder der Hintergrundhelligkeit eine korrekte Klassenangabe der Validierungsdaten schätzen, so dass ein gutes Validierungsergebnis 50 erzielt wird. Sobald jedoch Mikroskopbilder mit anderer Rauscheigenschaft, Bildschärfe oder Hintergrundhelligkeit zu klassifizieren sind, wird das Bildverarbeitungsmodell M eine erheblich reduzierte Genauigkeit erreichen.
Die vorliegende Erfindung ermöglicht es aufzuzeigen, welche Eigenschaften der Mikroskopbilder für das Bildverarbeitungsmodell M entscheidend in der Berechnung des Bildverarbeitungsergebnisses R sind. Dadurch kann erkannt werden, ob ein fertig trainiertes Bildverarbeitungsmodell M eine Klassifizierung anhand unerwünschter Eigenschaften (z.B. Hintergrundhelligkeit) oder aufgrund potentiell geeigneter Eigenschaften (z.B. Form eines dargestellten Objekts) berechnet. Die hierzu durchgeführten Vorgänge werden im Folgenden näher beschrieben.
In Vorgang V3 wird ein generatives Modell Gen anhand mehrerer oder aller Mikroskopbilder 20 der Trainingsdaten T gebildet. Dadurch ist das generative Modell Gen in der Lage, aus einem eingegebenen Parametersatz P, welcher mehrere Parameter Pa-Pz enthält, ein generiertes Mikroskopbild 25 zu berechnen. Dieses generierte Mikroskopbild 25 ähnelt den Mikroskopbildern 20, so dass idealerweise nicht oder kaum unterscheidbar ist, ob ein Bild ein Mikroskopbild 20 oder ein generiertes Mikroskopbild 25 ist. Die Gestaltung und das Bilden des generativen Modells Gen kann wiederum in prinzipiell bekannter Weise erfolgen. Beispiele auf Basis einer PCA oder NMF werden später näher beschrieben. Darüber hinaus kann das generative Modell Gen auch durch mindestens ein tiefes neuronales Netz gebildet sein, wie z.B. bei einem StyleGAN.
Bildeigenschaften eines generierten Mikroskopbildes 25 hängen von den Werten der Parameter Pa-Pz ab. Wird der Wert von mindestens einem der Parameter Pa-Pz variiert, kann dadurch eine Bildeigenschaft eines generierten Mikroskopbildes 25 geändert werden. In Vorgang V4 erzeugt das generative Modell Gen in dieser Weise eine Serie 24a an Mikroskopbildern 25, welche sich im Wert des Parameters Pa unterscheiden. Jeder der übrigen Parameter Pb-Pz hat für alle Mikroskopbilder 25 dieser Serie 24a denselben Wert. Durch solche Parametervariationen erzeugt das generative Modell Gen mehrere Serien 24a-24z an Mikroskopbildern 25; für jede Serie 24a-24z wird ein anderer der Parameter Pa-Pz variiert. Prinzipiell können für eine der Serien 24a-24z auch mehrere der Parameter Pa-Pz gleichzeitig variiert werden.
In dem dargestellten Beispiel beeinflusst der Parameter Pa maßgeblich eine Hintergrundhelligkeit in den generierten Mikroskopbildern 25. Auf eine dargestellte Probe, hier ein Bakterium, hat der Parameter Pa hingegen keinen oder nur einen minimalen Einfluss.
Der Parameter Pz beeinflusst beispielhaft eine Form dargestellter Objekte. Durch Variieren des Parameters Pz werden daher generierte Mikroskopbilder 25 erzeugt, welche sich in der Form des dargestellten Objekts / Bakteriums unterscheiden, während andere Bildeigenschaften im Wesentlichen unverändert sind.
In Vorgang V5 wird jedes der generierten Mikroskopbilder 25 dem Bildverarbeitungsmodell M eingegeben, welches in Vorgang V6 ein jeweils zugehöriges Bildverarbeitungsergebnis R berechnet. In diesem Beispiel werden als Bildverarbeitungsergebnisse R je eine Klassenangabe C für jedes der generierten Mikroskopbilder 25 berechnet. Die Klassenangabe C wird als eine Wahrscheinlichkeit einer Klassenzugehörigkeit ausgegeben. Im Fall einer binären Klassifizierung kann die Klassenangabe C z.B. einen beliebigen Wert zwischen einem Minimalwert und einem Maximalwert annehmen. Der Minimalwert gibt eine minimale Wahrscheinlichkeit des Vorliegens der ersten Klasse an (oder eine maximale Wahrscheinlichkeit des Vorliegens der zweiten Klasse). Ein steigender Wert bis zum Maximalwert gibt eine steigende Wahrscheinlichkeit für die erste Klasse und entsprechend eine schrumpfende Wahrscheinlichkeit für die zweite Klasse an.
In Vorgang V7 wird eine Sensitivität S des Bildverarbeitungsmodells M ermittelt:

Die berechneten Klassenangaben C bzw. Bildverarbeitungsergebnisse R, welche aus den Mikroskopbildern 25 der Serie 24a berechnet wurden, werden gegen den Parameter Pa aufgetragen, welcher zum Erzeugen der Mikroskopbilder 25 dieser Serie 24a variiert wurde. Die Bildverarbeitungsergebnisse R als Funktion des variierten Parameters Pa können als Graph dargestellt werden. Die Änderung der Bildverarbeitungsergebnisse R als Funktion des variierten Parameters Pa ist ein Maß für die Sensitivität S. Werden abhängig vom Wert des Parameters Pa sehr unterschiedliche Bildverarbeitungsergebnisse R berechnet, so ist das Bildverarbeitungsmodell M gegenüber diesem Parameter Pa sehr empfindlich oder sensitiv.

Im dargestellten Beispiel hat das Bildverarbeitungsmodell M gegenüber dem Parameter Pa eine hohe Sensitivität S: Das Bildverarbeitungsergebnis R hängt stark vom Wert des Parameters Pa ab. Für kleine Werte von Pa wird eine hohe Wahrscheinlichkeit zur Zugehörigkeit zur ersten Klasse berechnet, wobei diese Wahrscheinlichkeit mit wachsendem Wert des Parameters Pa monoton immer kleiner wird. Da der Parameter Pa die Hintergrundhelligkeit generierter Mikroskopbilder 25 bestimmt, bedeutet dies, dass eine Klassifizierung (hier eine Einteilung in eine von zwei Bakterienarten) stark abhängig von der Hintergrundhelligkeit erfolgt. Das Bildverarbeitungsmodell M hat offenbar anhand des falschen Konzepts gelernt, Mikroskopbilder 20, 21, 25 zu unterscheiden. Werden Mikroskopbilder eines anderen Datensatzes klassifiziert, ist die Hintergrundhelligkeit voraussichtlich kein geeignetes Kriterium.
Für jede Serie 24a, ... 24z an generierten Mikroskopbildern 25 wird die Sensitivität S des Bildverarbeitungsmodells M gegenüber dem bei dieser Serie variierten Parameter ermittelt. Beispielhaft ist die Sensitivität S gegenüber einer Variation des Parameters Pz gezeigt. Die berechnete Klassifikationsangabe C bzw. das Bildverarbeitungsergebnis R hängt nicht monoton vom Wert des Parameters Pz ab. Vielmehr schwankt die Klassifikationsangabe C und innerhalb hoher, aber nah beieinander liegender Wert von Pz wechselt die Klassifikationsangabe C abrupt zwischen den beiden Klassen. Eine extreme Änderung der geschätzten Klassenangabe C bei sehr ähnlich erscheinenden Mikroskopbildern 25 deutet darauf hin, dass eine fehlerhafte Abhängigkeit des Bildverarbeitungsergebnisses R vom Parameter Pz gelernt wurde. Insbesondere da der Parameter Pz die Form dargestellter Objekte/Bakterien kodiert, sollten keine mehrfachen Sprünge in der dargestellten Kurve der Sensitivität S erfolgen, insbesondere nicht innerhalb eines kleinen Wertebereichs des Parameters Pz.
Die beschriebenen Beispiele dienen der Veranschaulichung, dass die Sensitivität S ein vorteilhaftes Maß zur Bewertung oder Analyse eines fertig trainierten Bildverarbeitungsmodells M darstellt.
Anstelle des Bildverarbeitungsergebnisses R kann auch ein Unterschiedsgrad zwischen den Bildverarbeitungsergebnissen R, die zu den Mikroskopbildern 25 derselben Serie 24a berechnet wurden, genutzt werden. Das heißt, als Sensitivität S wird ein Unterschiedsgrad zwischen den Bildverarbeitungsergebnissen R in Abhängigkeit vom variierten Parameter ermittelt. Dies erleichtert den Vergleich komplexer Bildverarbeitungsergebnisse, z.B. Ausgabebildern, indem eine einzige Zahl als ein Unterschied oder Unterschiedsgrad zwischen zwei Ausgabebildern berechnet wird. Im Fall einer Klassifikationsangabe C als Bildverarbeitungsergebnis kann es hingegen austauschbar sein, ob die Bildverarbeitungsergebnisse R abhängig vom variierten Parameter Pa dargestellt werden, oder ob ein Unterschiedsgrad (z.B. das Bildverarbeitungsergebnis R minus dem Bildverarbeitungsergebnis zu einem Referenzwert von Pa) dargestellt wird.
Eine visuelle Anzeige ist nützlich, wenn eine Analyse der Sensitivität durch einen Nutzer erfolgt. Es kann jedoch auch eine automatische Analyse oder Bewertung der Sensitivität erfolgen und in diesem Fall kann auf eine visuelle Darstellung verzichtet werden.
FIG. 4
4 illustriert schematisch, wie das generative Modell aus 3 durch eine PCA (Hauptkomponentenanalyse) gebildet werden kann und wie anschließend generierte Mikroskopbilder erzeugt werden können.
Anhand der Mikroskopbilder der Trainingsdaten werden mit Hilfe der PCA mehrere Basen oder Basiskomponenten Ba bis Bz erzeugt. Jede Basiskomponente Ba-Bz ist ein Bild und eine (Linear-)Kombination der Basiskomponenten Ba-Bz erlaubt die Nachbildung eines der Mikroskopbilder der Trainingsdaten bzw. die Erzeugung eines neuartigen, generierten Mikroskopbildes. Beispielhaft sind Zahlenwerte für die Parameter Pa, Pb, Pc, ... angegeben. Die Zahlenwerte dieser Parameter Pa, Pb, Pc, .. werden mit den Basiskomponenten Ba, Bb, Bc, ... multipliziert und anschließend wird die Summe gebildet. Diese Summe ist ein generiertes Mikroskopbild 25. Die Pixelwerte der Basiskomponenten Ba-Bz werden im Rahmen der PCA anhand der vorhandenen Mikroskopbilder festgelegt.
Als eine Parameterkonfiguration oder ein Parametersatz können die Zahlenwerte der Parameter Pa, Pb, Pc, ... verstanden werden. Eine solche Parameterkonfiguration kodiert ein bestimmtes generiertes Mikroskopbild bzw. stellt eine Annäherung an eines der Mikroskopbilder der Trainingsdaten dar. Im Rahmen der PCA können die Parameterkonfigurationen ermittelt werden, welche die verschiedenen Mikroskopbilder der Trainingsdaten annähern.
Die Parametervariation, die in 3 zum Vorgang V4 beschrieben ist, kann von einer bestimmten (Start-)Parameterkonfiguration ausgehen. Als Start-Parameterkonfiguration kann eine Parameterkonfigurationen verwendet werden, welche eines der Mikroskopbilder der Trainingsdaten annähert, wie im Rahmen der PCA ermittelt. Von dieser Start-Parameterkonfiguration ausgehend, wird der Wert von mindestens einem der Parameter Pa, Pb, Pc, ... schrittweise verändert. Mit jedem Schritt wird eine neue Parameterkonfiguration erzeugt, zu welcher das generative Modell ein generiertes Mikroskopbild berechnet. Die Schritte können in positiver und negativer Richtung erfolgen, zentriert oder dezentriert um die Start-Parameterkonfiguration.
Anstelle einer PCA können auch andere Vorgehen zum Bilden des generativen Modells genutzt werden, wie mit Bezug auf die folgende Figur veranschaulicht.
FIG. 5
5 illustriert schematisch, wie das generative Modell aus 3 durch eine nicht negative Matrix-Faktorisierung (englisch: Non-Negative Matrix Factorization, NMF) gebildet werden kann und wie anschließend generierte Mikroskopbilder erzeugt werden können. Ähnlich wie bei der PCA wird hier ein generiertes Mikroskopbild 25 als Summe aus den Produkten der Zahlenwerte von Parametern Pa, Pb, Pc, ... mit jeweiliger Basiskomponente Ba-Bz erzeugt.
Die Beispiele einer PCA und NMF dienen lediglich der Veranschaulichung. Prinzipiell können beliebige andere Verfahren zum Bilden eines generativen Modells verwendet werden, insbesondere tiefe neuronale Netze. Beispielsweise kann mit Hilfe eines GAN ein Generator (generatives Modell) gelernt werden, welcher aus einem eingegebenen Parametersatz ein generiertes Mikroskopbild erzeugen kann, das vom Diskriminator des GAN nicht zuverlässig von einem Mikroskopbild der Trainingsdaten unterschieden werden kann.
Alle Arten von generativen Modellen haben gemein, dass ein einzugebender Parametersatz das hieraus generierte Mikroskopbild definiert. Die Parameter spannen zusammen einen Merkmalsraum auf, dessen Dimensionalität der Anzahl an Parametern entspricht. Ein Punkt im Merkmalsraum gibt konkrete Zahlenwerte eines Parametersatzes an. Hierauf wird mit Bezug auf die folgende Figur näher eingegangen.
FIG. 6
6 zeigt eine Einbettung 19 der Mikroskopbilder der Trainingsdaten in einen Merkmalsraum Z des generativen Modells aus 3. Das generative Modell kann in prinzipiell beliebiger Weise gebildet sein. Ein Punkt im Merkmalsraum Z wird vorliegend auch als Merkmalsvektor, Parametersatz oder Parameterkonfiguration bezeichnet. Die Mikroskopbilder der Trainingsdaten werden durch Merkmalsvektoren 20` angenähert, welche auch als Latent Code Darstellung oder Einbettung der Mikroskopbilder bezeichnet werden.
Die Merkmalsvektoren 20`, welche Projektionen der Mikroskopbilder der Trainingsdaten in den Merkmalsraum Z sind, bilden eine Punktwolke. Im Fall eines neuronalen Netzes als generatives Modell kann einer der Merkmalsvektoren 20` z.B. iterativ so ermittelt werden, dass ein Unterschied eines hieraus generierten Mikroskopbildes zu einem Mikroskopbild der Trainingsdaten minimiert wird.
Für die Parametervariation in Vorgang V4 aus 3 kann eine (Start-)Parameterkonfiguration ausgewählt werden, welche für die Trainingsdaten charakteristisch ist. Als charakteristisch kann einer der Merkmalsvektoren 20` aufgefasst werden. Alternativ kann unter charakteristisch verstanden werden, dass die Parameterwerte mehrerer Merkmalsvektoren 20` gemittelt werden, um einen Merkmalsvektor 22` als (Start-)Parameterkonfiguration zu bilden. Außerdem kann aus mehreren Merkmalsvektoren 20` ein mittiger Merkmalsvektor 22" als Start-Parameterkonfiguration ausgewählt werden. Diese Vorgehensweisen bieten den Vorteil, dass nicht-variierte Parameter einen in Realität häufig vorkommenden Wert haben, so dass hieraus generierte Mikroskopbilder innerhalb einer statistischen Verteilung der Mikroskopbilder der Trainingsdaten liegen.
Im unteren Bereich von 6 ist nochmals der Merkmalsraum Z des generativen Modells gezeigt, wobei eine Start-Parameterkonfiguration P eingezeichnet ist. Die Start-Parameterkonfiguration P wurde wie oben beschrieben ermittelt, z.B. durch den Merkmalsvektor 22` oder 22". Für die Parametervariation aus Vorgang V4 der 3 wird der Wert des Parameters Pa über einen Variationsbereich Var variiert, so dass mehrere (variierte) Parameterkonfigurationen P', P'', P''', P'''' erzeugt werden. In nichtvariierten Parametern, z.B. dem Parameter Pz, stimmen die Parameterkonfigurationen P, P' bis P'''' miteinander überein. Der Variationsbereich Var wird aus der Verteilung der Merkmalsvektoren 20` abgeleitet, also aus der Einbettung 19 der Mikroskopbilder der Trainingsdaten. Die dort gezeigte Varianz des Parameters Pa bzw. die in den Trainingsdaten vorliegende Parametervariation VarO bestimmt den Variationsbereich Var. Beispielsweise kann der Variationsbereich Var 90% der in den Trainingsdaten vorliegenden Parametervariation VarO betragen. Die Werte des Parameters Pa aller Parameterkonfigurationen P, P' bis P'''' liegt dann innerhalb dieses Parameterbereichs. Hierdurch wird gewährleistet, dass die generierten Mikroskopbilder natürlich erscheinen.
Es können auch mehrere Parameter gleichzeitig variiert werden. Dies ist insbesondere vorteilhaft, wenn die Verteilung von Merkmalsvektoren 20` ungleichmäßig ist. In diesem Fall kann ein Pfad durch den Merkmalsraum Z gewählt werden, für welchen mehrere oder prinzipiell auch alle der Parameter Pa-Pz variiert werden. Der Pfad kann entlang Bereichen hoher Dichte an Merkmalsvektoren 20` gewählt werden. Alternativ kann als Pfad eine Linie verwendet werden, welche eine Annäherung an die Punktwolke aus Merkmalsvektoren 20` ist.
FIG. 7
Mit Bezug auf 7 wird beispielhaft beschrieben, wie eine geeignete gemeinsame Variation mehrerer Parameter ermittelt werden kann. 7 zeigt eine Einbettung 19 der Mikroskopbilder der Trainingsdaten in den Merkmalsraum Z des generativen Modells. Merkmalsvektoren 20` und 20" der Mikroskopbilder werden durch die Annotation (z.B. Klassenangabe) der Mikroskopbilder unterschieden. Hat ein Mikroskopbild der Trainingsdaten eine erste Klassenangabe, so werden die zugehörigen Merkmalsvektoren 20` in 7 durch gefüllte Kreise dargestellt. Hat hingegen ein Mikroskopbild eine andere, zweite Klassenangabe, so werden die zugehörigen Merkmalsvektoren 20" in 7 durch nicht gefüllte Kreise dargestellt.
Es kann eine Trennlinie (oder Trenn-Hyperebene) 60 im Merkmalsraum Z ermittelt werden, durch welche die Merkmalsvektoren 20', 20" möglichst korrekt gemäß ihrer Klassenangabe getrennt werden. Dies kann mathematisch z.B. durch eine Diskriminanzanalyse (englisch: (linear) discriminant analysis, LDA) erfolgen. Ein Variationspfad kann quer oder senkrecht zur Trennlinie 60 festgelegt werden.
Insbesondere kann ein Variationspfad 65 durch den Merkmalsraum Z wie dargestellt so gewählt werden, dass der Variationspfad 65 die Verteilung der Merkmalsvektoren 20', 20" möglichst repräsentativ abfährt und dabei von den Merkmalsvektoren 20` einer Klasse zu den Merkmalsvektoren 20" der anderen Klasse verläuft.
Für einen solchen Variationspfad 65 werden mehrere der Parameter Pa-Pz gleichzeitig verändert. Mit mehreren Parameterkonfigurationen entlang des Variationspfads 65 werden generierte Mikroskopbilder erzeugt, welche eine Serie bilden. Weil innerhalb dieser Serie ein Klassenübergang erfolgt, sollte das Bildverarbeitungsmodell eine hohe Sensitivität gegenüber dieser Parametervariation haben. Indem die Klassenzugehörigkeit bei der Bestimmung des Variationspfades 65 berücksichtigt wird, kann gezielt eine Serie an generierten Mikroskopbildern erzeugt werden, für welche eine hohe Sensitivität des Bildverarbeitungsmodells festgestellt werden sollte. Ist dies nicht der Fall, kann eine Warnung ausgegeben oder das Bildverarbeitungsmodell als qualitativ ungenügend eingestuft werden.
FIG. 8
Mit Bezug auf 8 wird ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens beschrieben, welches eine Abwandlung der Ausführung von 3 ist. Im Unterschied zur 3 handelt es sich bei dem Bildverarbeitungsmodell M nicht um ein Klassifizierungsmodell, sondern ein Segmentierungsmodell. Außerdem werden die Modellausgaben zunächst miteinander verrechnet, um anschließend die Sensitivität des Bildverarbeitungsmodells M zu ermitteln. Im Einzelnen:
Die Mikroskopbilder 20 der Trainingsdaten T umfassen als Annotationen A Segmentierungsmasken. In den Segmentierungsmasken bezeichnen verschiedene Pixelwerte unterschiedliche Klassen, z.B. „Objekt“ und „Kein Objekt / Hintergrund“. Durch diese Trainingsdaten T lernt das Bildverarbeitungsmodell M, aus einem eingegebenen Mikroskopbild eine Segmentierungsmaske 35 als Bildverarbeitungsergebnis R zu berechnen.
Anhand der Mikroskopbilder 20 wird in Vorgang V3 ein generatives Modell Gen gelernt. In Vorgang V4 wird ausgehend von einem Parametersatz der Wert von mindestens einem Parameter variiert, um verschiedene Parametersätze zu erzeugen, die sodann dem generativen Modell Gen eingegeben werden, so dass eine Serie 24a an generierten Mikroskopbildern 25 erzeugt wird. Jedes der generierten Mikroskopbilder 25 der Serie 24a wird dem Bildverarbeitungsmodell M eingegeben, welches jeweils eine zugehörige Segmentierungsmaske 35 als Bildverarbeitungsergebnis R berechnet.
Als Nächstes wird ein Unterschiedsgrad D zwischen den Segmentierungsmasken 35 berechnet. Insbesondere kann der Unterschiedsgrad D zwischen jeweils zwei Segmentierungsmasken 35 berechnet sein und eine Zahl sein, z.B. indem die Summe der Pixelunterschiede zwischen den zwei Segmentierungsmasken 35 berechnet wird. Der Unterschiedsgrad D kann auch einen Unterschied in der Form, Größe, Fläche oder Randverlauf eines segmentierten Bereichs erfassen. Prinzipiell präzisere Berechnungen sind möglich, wenn jede Segmentierungsmaske 35 pro Pixel eine Wahrscheinlichkeit einer Klasseneinteilung angibt. Die Wahrscheinlichkeit kann einen beliebigen Wert in einem vorgegebenen Wertebereich haben, womit im Vergleich zu z.B. einer Binärmaske als Segmentierungsmaske 35 eine präzisere Aussage möglich ist.
Der Unterschiedsgrad D kann zwischen jeweils benachbarten Segmentierungsmasken 35 berechnet sein, das heißt zwischen Segmentierungsmasken 35, deren zugehörige Werte des mindestens einen variierten Parameters die kleinste Differenz haben. Alternativ kann der Unterschiedsgrad D auch stets zu einer als Referenz ausgewählten Segmentierungsmaske 35 berechnet sein, wobei prinzipiell eine beliebige der Segmentierungsmasken 35 als Referenz verwendet werden kann.
Als Sensitivität S wird in Vorgang V7 der Unterschiedsgrad D in Abhängigkeit des mindestens einen variierten Parameters Pa ermittelt. Optional erfolgt eine bildliche Darstellung, z.B. in Form eines Graphen, wie in 8 gezeigt. In diesem Beispiel ist der Unterschiedsgrad D zwischen den Segmentierungsmasken 35 nahe null, über den gesamten Wertebereich des variierten Parameters Pa. Das bedeutet, das Bildverarbeitungsmodell M berechnet die Segmentierungsmasken 35 unabhängig von dem Wert des Parameters Pa, also unabhängig von der Hintergrundhelligkeit in (generierten) Mikroskopbildern 20, 25.
Ob eine ermittelte Sensitivität S gegenüber einem bestimmten Parameter Pa-Pz gewünscht ist oder nicht, kann manuell durch einen Nutzer bewertet werden. Hierzu kann die ermittelte Sensitivität S zusammen mit den zugehörigen generierten Mikroskopbildern 25 der entsprechenden Serie 24a angezeigt werden. Anhand der Mikroskopbilder 25 kann der Nutzer die Wirkung des variierten Parameters Pa auf die generierten Mikroskopbilder 25 (nachfolgend: Parametersemantik) einschätzen. So kann der Nutzer bewerten, ob die ermittelte Sensitivität S für die jeweilige Parametersemantik gewünscht ist oder nicht.
Wie in Vorgang V8 der 8 symbolisiert, kann jedoch die Ermittlung einer Parametersemantik 40 auch automatisiert per Bildanalyse erfolgen. Hierzu wird ermittelt, worin sich die generierten Mikroskopbilder 25 einer Serie 24a voneinander unterscheiden. Für bekannte Parametersemantiken 41 ist hinterlegt, wie zugehörige Unterschiede in (generierten) Mikroskopbildern 25 in Erscheinung treten bzw. wie zu ermitteln ist, ob ein variierter Parameter Pa der bekannten Parametersemantik entspricht.
Beispielsweise kann eine bekannte Parametersemantik 41 eine Hintergrundhelligkeit angeben. Eine hinterlegte Vorschrift zur Bildanalyse sieht vor, dass eine durchschnittliche Pixelhelligkeit von Bildbereichen eines Mikroskopbildes 25, die mit hinreichend hoher Wahrscheinlichkeit als Hintergrund eingeschätzt werden, berechnet wird. Überschreitet ein Unterschied zwischen diesen durchschnittlichen Pixelhelligkeiten verschiedener generierter Mikroskopbilder 25 derselben Serie 24a einen vorgegebenen Mindestwert, wird darauf geschlossen, dass der variierte Parameter die Hintergrundhelligkeit beeinflusst.
Wird die Parametersemantik 40 für einen variierten Parameter Pa automatisch ermittelt, kann eine weiterführende automatische Analyse der Sensitivität S erfolgen. Es kann für die bekannten Parametersemantiken 41 hinterlegt sein, welche Sensitivität S akzeptabel ist oder ob eine Warnung auszugeben ist. Beispielsweise kann für eine bekannte Parametersemantik 41 hinterlegt sein, dass der Unterschiedsgrad D mit steigendem Parameter Pa steigen, fallen, sich monoton ändern, ein vorgegebenes Mindestintervall abdecken oder innerhalb vorgegebener Grenzen konstant sein sollte.
In Vorgang V9 wird die ermittelte Sensitivität S, das heißt der vom variierten Parameter Pa abhängige Unterschiedsgrad D, abhängig von der zugehörigen ermittelten Semantik 40 überprüft. Hierzu können für verschiedene bekannte bzw. vorgegebene Parametersemantiken 41 jeweils beabsichtigte Sensitivitäten vorhanden sein. Es wird verglichen, ob die Sensitivität S der ermittelten Semantik 40 mit der beabsichtigten Sensitivität übereinstimmt. Als Ergebnis der Überprüfung kann eine Qualität Q des Bildverarbeitungsmodells M ausgegeben werden. Die Qualität Q kann eine Eignung des Bildverarbeitungsmodells M angeben. Im dargestellten Beispiel wurde ermittelt, dass das Bildverarbeitungsmodell M eine Probensegmentierung unabhängig von der Hintergrundhelligkeit durchführt, wie es gewünscht ist. Wenn auch eine ermittelte Sensitivität gegenüber anderen variierten Parametern zusammen mit der zugehörigen Parametersemantik in Vorgang V9 ein positives Ergebnis liefert, wird auf eine insgesamt hohe Qualität Q des Bildverarbeitungsmodells M geschlossen. Andernfalls kann eine Warnung ausgegeben werden.
Die beschriebene Funktion des Bildverarbeitungsmodells M als Segmentierungsmodell ist lediglich beispielhaft gewählt. Andere Funktionen sind im allgemeinen Beschreibungsteil näher aufgelistet.
FIG. 9
9 zeigt Prozesse, die bei den bisher beschriebenen Ausführungsbeispielen ergänzt werden können.
In Vorgang V7 kann die Sensitivität S des Bildverarbeitungsmodells gegenüber Variationen der Mehrheit der, insbesondere aller, Parameter Pa-Pz ermittelt werden.
Anschließend wird ermittelt, gegenüber welchen der Parameter Pa-Pz die Sensitivität S maximal ist. Im vorliegenden Beispiel ist dies für die Parameter Pa und Pc der Fall. Diese Parameter Pa und Pc werden für eine weitere Analyse ausgewählt (Vorgang V10). Beispielsweise können die zugehörigen Mikroskopbilder 25 der entsprechenden Serie 24a bzw. 24c zusammen mit den Graphen der Unterschiedsgrade D auf einem Bildschirm angezeigt werden und/oder automatisch ausgewertet werden. Insbesondere kann überprüft werden, ob es sich bei diesen Parametern Pa, Pc um die bekanntermaßen diskriminierenden Faktoren für die Aufgabenstellung des Bildverarbeitungsmodells M handelt.
Die zu den verschiedenen Figuren beschriebenen Varianten können miteinander kombiniert werden. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: (Mikroskop-)objektiv
5: Beleuchtungseinrichtung
6: Probentisch / Mikroskoptisch
7: Probenträger
9: Mikroskopkamera
9A: Übersichtskamera
9B: Spiegel
9C: Sichtfeld der Übersichtskamera
10: Recheneinrichtung
11: Computerprogramm
12: Okular
19: Einbettung der Mikroskopbilder im Merkmalsraum des generativen Modells
20: Mikroskopbild, insbesondere der Trainingsdaten
20', 20": Merkmalsvektor, welcher einer Darstellung eines Mikroskopbildes im Merkmalsraum des generativen Modells entspricht
21: Mikroskopbild der Validierungsdaten
22', 22": gemittelter oder mittiger Merkmalsvektor als (Start-)Parameterkonfiguration für die Parametervariation
24a-24z: Serien an generierten Mikroskopbildern
25: generiertes Mikroskopbild
30: Merkmalsvektor eines Mikroskopbildes
35: Segmentierungsmaske, vom Bildverarbeitungsmodell M berechnet
40: Parametersemantik, welche anhand von Mikroskopbildern ermittelt wird
41: bekannte Parametersemantik
50: Validierungsergebnis
60: Trennlinie zwischen Merkmalsvektoren abhängig von ihrer Annotation/Klassenzugehörigkeit
65: Variationspfad durch den Merkmalsraum des generativen Modells
100: Mikroskopiesystem
A: Annotationen zu den Mikroskopbildern
Ba-Bz: Basiskomponenten eines generativen Modells
C: Klassenangabe als beispielhaftes Bildverarbeitungsergebnis des Bildverarbeitungsmodells
C1, C2: Klassenangaben als beispielhafte Annotationen
D: Unterschiedsgrad zwischen Bildverarbeitungsergebnissen
D1, D2, D3: Messtage
F1, F2: Merkmale
Gen: generatives Modell
i1, i2, i3: Inseln an Merkmalsvektoren in einem dimensionsreduzierten Merkmalsraum
M: Bildverarbeitungsmodell
P: Parametersatz / Parameterkonfiguration
P'-P'''': durch Variation mindestens eines Parameters erzeugte Parameterkonfigurationen
Pa - Pz: Parameter, die in das generative Modell Gen eingegeben werden
Q: Qualität eines Bildverarbeitungsmodells, ermittelt anhand der Sensitivität und mindestens einer Parametersemantik
R: Bildverarbeitungsergebnis, vom Bildverarbeitungsmodell aus einem (generierten) Mikroskopbild berechnet
S: Sensitivität
T: Trainingsdaten, welche Mikroskopbilder umfassen
V1 - V10: Vorgang / Prozess eines erfindungsgemäßen Verfahrens
Var: Variationsbereich eines variierten Parameters
VarO: in den Mikroskopbildern der Trainingsdaten vorliegende Parametervariation
Z: Merkmalsraum des generativen Modells

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102021100444 A1 [0012]

Zitierte Nicht-Patentliteratur

Zeiler, M. D., et al., „Visualizing and Understanding Convolutional Networks“ in D. Fleet et al. (Eds.): ECCV 2014, Part I, LNCS 8689, S. 818-833 [0011]

Claims

Ein computerimplementiertes Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells (M), umfassend: Trainieren (V1) des Bildverarbeitungsmodells (M) anhand von Trainingsdaten (T), welche Mikroskopbilder (20) umfassen, so dass das Bildverarbeitungsmodell (M) dazu eingerichtet ist, aus einem eingegebenen Mikroskopbild (20) ein Bildverarbeitungsergebnis (R) zu berechnen; Bilden (V3) eines generativen Modells (Gen) anhand der Trainingsdaten (T), so dass das generative Modell (Gen) zum Erzeugen eines generierten Mikroskopbildes (25) aus einem eingegebenen Parametersatz (P) eingerichtet ist; gekennzeichnet durch Erzeugen (V4) einer Serie (24a-24z) an generierten Mikroskopbildern (25) mit dem generativen Modell (Gen), wozu mindestens ein Parameter (Pa-Pz) des Parametersatzes (P) variiert wird; Berechnen (V6) von Bildverarbeitungsergebnissen (R) aus jedem der generierten Mikroskopbilder (25) mittels des Bildverarbeitungsmodells (M); Ermitteln (V7) einer Sensitivität (S) des Bildverarbeitungsmodells (M) gegenüber dem mindestens einen Parameter (Pa-Pz), anhand von Unterschieden zwischen den Bildverarbeitungsergebnissen (R).
Das Verfahren nach vorstehendem Anspruch, weiterhin umfassend: Festlegen einer Parameterkonfiguration (22', 22"), aus welcher durch Eingabe in das generative Modell (Gen) ein generiertes Mikroskopbild (25), das für die Trainingsdaten (T) charakteristisch ist, erzeugbar ist; wobei das Erzeugen einer Serie (24a-24z) an generierten Mikroskopbildern (25) umfasst, dass mindestens einer der Parameter (Pa-Pz) der ermittelten Parameterkonfiguration (22', 22") mehrmals variiert wird und so erzeugte Parametersätze (P'-P'''') in das generative Modell (Gen) eingegeben werden.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei als Parameterkonfiguration (22', 22") ein Merkmalsvektor (20`), welcher einer Darstellung eines der Mikroskopbilder (20) der Trainingsdaten (T) in einem Merkmalsraum (Z) des generativen Modells (Gen) entspricht, ausgewählt wird; oder wobei eine Mittelung von mehreren Merkmalsvektoren (20`), welche Darstellungen mehrerer Mikroskopbilder (20) der Trainingsdaten (T) im Merkmalsraum (Z) des generativen Modells (Gen) entsprechen, berechnet wird und diese Mittelung als Parameterkonfiguration (22', 22") verwendet wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei ein Variationsbereich (Var) des mindestens einen Parameters (Pa-Pz) auf einen Wert gesetzt wird, welcher mindestens 70% einer in den Mikroskopbildern (20) der Trainingsdaten (T) vorliegenden Parametervariation (VarO) abdeckt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei mittels des generativen Modells (Gen) mehrere Serien (24a-24z) an generierten Mikroskopbildern (25) erzeugt werden, wobei sich die Serien (24a-24z) darin unterscheiden, welche der Parameter (Pa-Pz) variiert werden, wobei Bildverarbeitungsergebnisse (R) aus den generierten Mikroskopbildern (25) aller Serien (24a-24z) berechnet werden; wobei anhand der Sensitivitäten (S) diejenigen Parameter (Pa-Pz) identifiziert werden, gegenüber denen das Bildverarbeitungsmodell (M) eine größte Sensitivität (S) aufweist.
Das Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend: Ermitteln einer Parametersemantik (40) anhand der Serie (24a-24z) an generierten Mikroskopbildern (25), wobei die Parametersemantik (40) eine Mikroskopbildeigenschaft angibt, welche durch Variieren des mindestens einen Parameters (Pa-Pz) verändert wird; und Überprüfen (V8) des Bildverarbeitungsmodells (M) anhand der Sensitivität (S) des Bildverarbeitungsmodells (M) gegenüber dem mindestens einen Parameter (Pa-Pz) und anhand der zugehörigen Parametersemantik (40).
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei für mehrere bekannte Parametersemantiken (41) jeweils hinterlegt ist, welche Auswirkungen auf generierte Mikroskopbilder (25) hieraus resultieren; wobei die bekannten Parametersemantiken (41) eines oder mehreres aus Folgendem betreffen: eine Probengröße, Probenform, Probenorientierung, Probenhelligkeit, Probenhelligkeitsverlauf, Probenposition, Probenanzahl, Probentextur, Hintergrundhelligkeit, Hintergrundhelligkeitsverlauf, dargestellte Hintergrundstrukturen, Artefakte, Verunreinigungen, Bildverzerrungen, Spiegelungen, oder geometrische Eigenschaften von Probenträgerkomponenten; wobei das Ermitteln einer Parametersemantik (40) erfolgt, indem festgestellt wird, ob Unterschiede zwischen den generierten Mikroskopbildern (25) derselben Serie (24a-24z) gerade Auswirkungen einer der bekannten Parametersemantiken (41) entsprechen.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei als die Sensitivität (S) des Bildverarbeitungsmodells (M) gegenüber dem mindestens einen Parameter (Pa-Pz) ein Unterschiedsgrad (D) zwischen denjenigen Bildverarbeitungsergebnissen (R) ermittelt wird, welche aus generierten Mikroskopbildern (25) berechnet werden, die durch Variieren des mindestens einen Parameters (Pa-Pz) erzeugt wurden.
Das Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend: Festlegen einer beabsichtigten Sensitivität des Bildverarbeitungsmodells (M) gegenüber Parametern (Pa-Pz) einer vorgegebenen Parametersemantik (41); Vergleichen, ob eine ermittelte Sensitivität (S) von einem oder mehreren Parametern (Pa-Pz), deren ermittelte Parametersemantik (40) gleich der vorgegebenen Parametersemantik (41) ist, mit der beabsichtigten Sensitivität übereinstimmt; Ausgeben einer Warnung, wenn die ermittelte Sensitivität (S) nicht mit der beabsichtigten Sensitivität übereinstimmt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei anhand der ermittelten Sensitivität (S) eine Einstufung erfolgt, ob der zugehörige variierte Parameter (Pa-Pz) ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses (R) ist; wobei für Parameter (Pa-Pz) eine jeweilige Parametersemantik (40) ermittelt wird, anhand der Serie (24a-24z) an generierten Mikroskopbildern (25), die mittels Variieren des entsprechenden Parameters (Pa-Pz) erzeugt werden; wobei für verschiedene bekannte Parametersemantiken (41) eine Angabe hinterlegt ist, ob ein zugehöriger Parameter (Pa-Pz) ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses (R) sein sollte; wobei überprüft wird (V9), ob ein Widerspruch zwischen einem als diskriminierender Faktor eingestuften Parameter (Pa-Pz) und einer zu der entsprechenden Parametersemantik (41) hinterlegten Angabe vorliegt; wobei im Fall eines Widerspruchs eine Warnung ausgegeben wird.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei die bekannten Parametersemantiken (41) eines oder mehreres aus Folgendem umfassen: eine Hintergrundhelligkeit; eine Bild- oder Hintergrundschärfe; ein Bildrauschen; eine Geometrie, Anzahl oder Größe dargestellter Objekte; eine Textur dargestellter Objekte; Verschmutzungen, Artefakte oder Spiegelungen; wobei für jede bekannte Parametersemantik (41) hinterlegt ist, ob dies ein diskriminierender Faktor für das Berechnen des Bildverarbeitungsergebnisses (R) sein sollte.
Das Verfahren nach einem der beiden unmittelbar vorstehenden Ansprüche, wobei in dem Fall, dass ein Widerspruch zwischen einem als diskriminierender Faktor eingestuften Parameter (Pa-Pz) und einer zu der entsprechenden Parametersemantik hinterlegten Angabe vorliegt, eine Augmentierung der Trainingsdaten (T) vorgeschlagen wird, welche den als diskriminierenden Faktor eingestuften Parameter (Pa-Pz) betrifft.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei ermittelt wird, ob ein als diskriminierender Faktor eingestufter Parameter (Pa-Pz) eher Texturen oder Geometrien dargestellter Objekte in generierten Mikroskopbildern (25) vorgibt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei abhängig von der Sensitivität (S) des Bildverarbeitungsmodells (M) eine Augmentierung der Trainingsdaten (T) vorgeschlagen wird.
Das Verfahren nach einem der vorstehenden Ansprüche, weiterhin umfassend: Verifizieren anhand der Sensitivität (S), dass Parameter (Pa-Pz), die in den generierten Mikroskopbildern (25) weniger Varianz hervorrufen, auch das Bildverarbeitungsergebnis (R) weniger beeinflussen; oder Identifizieren von Parametern (Pa-Pz), für welche eine gleichartige Sensitivität (S) ermittelt wird, und Schätzen einer Plausibilität der gleichartigen Sensitivität (S) durch einen Vergleich der generierten Mikroskopbilder (25), welche beim Variieren der identifizierten Parameter (Pa-Pz) erzeugt wurden.
Ein Mikroskopiesystem mit einem Mikroskop (1) zur Bildaufnahme; und einer Recheneinrichtung (10), die dazu eingerichtet ist, das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche auszuführen.
Ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 15 auszuführen.