DE102021125576A1 - Verfahren zur ordinalen Klassifizierung eines Mikroskopbildes und Mikroskopiesystem - Google Patents

Abstract

Ein computerimplementiertes Verfahren zur ordinalen Klassifizierung von mindestens einem Mikroskopbild (20) berechnet eine Klasseneinstufung (30) in eine von mehreren Klassen (K), welche bezüglich einer Bildeigenschaft eine Reihenfolge (R) bilden. Das mindestens eine Mikroskopbild (20) wird in ein maschinell gelerntes Modell (M) zur ordinalen Klassifizierung eingegeben. Das Modell (M) umfasst mehrere binäre Klassifikatoren (c), welche jeweils eine Schätzung (s) einer Zugehörigkeit des Mikroskopbildes (20) zu einer kumulierten Hilfsklasse (H) berechnen, wobei in den kumulierten Hilfsklassen (H) verschieden viele der in der Reihenfolge (R) aufeinanderfolgenden Klassen (K) zusammengefasst sind. Die Klasseneinstufung (30) wird aus den Schätzungen (s) der binären Klassifikatoren (c) berechnet Die Schätzungen (s) können zu einem Gesamtscore (S) zusammengefasst werden, wobei die Klasseneinstufung (30) durch Vergleich des Gesamtscores (S) mit anwendungsabhängig variabel festlegbaren Schwellwerten (G1, G2) erfolgt, oder Intervallgrenzen der Klassen (K) können so festgelegt werden, dass die Klassen (K) unterschiedlich breite Intervalle (i) bilden. Das Modell (M) zur ordinalen Klassifizierung kann auch weitere binäre Klassifikatoren für inverse Hilfsklassen (iH) umfassen.

Description

• TECHNISCHES GEBIET
• Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und auf computerimplementierte Verfahren zur ordinalen Klassifizierung eines Mikroskopbildes.
• HINTERGRUND
• In modernen Mikroskopiesystemen spielt eine automatische oder teilautomatische Auswertung aufgenommener Mikroskopbilder eine zunehmend wichtige Rolle. Die Auswertung erfolgt häufig mit maschinell gelernten Modellen, welche an Hand vorgegebener Trainingsdaten für eine bestimmte Bildauswertung oder Bildverarbeitung trainiert wurden. Eine weit verbreitete Art maschinell gelernter Modelle sind Klassifikationsmodelle (Klassifikatoren), welche eine Einstufung eines eingegebenen Mikroskopbildes in eine von mehreren vorgegebenen Klassen vornehmen. Ein binärer Klassifikator ist dazu gestaltet, zwischen zwei Fällen zu unterscheiden, nämlich der Zugehörigkeit des Mikroskopbildes zu einer bestimmten Klasse, und dem Fall, dass das Mikroskopbild nicht der bestimmten Klasse zugehört. Die Ausgabe eines binären Klassifikators, welche vorliegend als Schätzung bezeichnet wird, kann eine Wahrscheinlichkeitsangabe einer Zugehörigkeit des Mikroskopbildes zu der entsprechenden Klasse sein.
• Soll zwischen einer größeren Anzahl möglicher Klassen unterschieden werden, können mehrere binäre Klassifikatoren gelernt werden. Beispielsweise können zehn binäre Klassifikatoren gelernt werden, um für zehn verschiedene Klassen eine Aussage über eine Zugehörigkeit des Mikroskopbildes zu den entsprechenden Klassen zu treffen. Geeignet ist dieses Vorgehen z.B. für eine Klassifikation eines Probenträgertyps, um zwischen den Probenträgertypen: Mikrotiterplatte mit kreisförmigen Töpfchen, Kammerobjektträger mit rechteckigen Probenkammern, Objektträger mit quadratischem Deckglas und Petrischale zu unterscheiden. Für jeden dieser Probenträgertypen kann ein jeweiliger binärer Klassifikator gelernt werden.
• Die vorliegende Offenbarung betrifft eine ordinale Klassifikation, bei welcher die Klassen eine logische Reihenfolge bilden. Im vorgenannten Beispiel von Probenträgertypen existiert keine logische Reihenfolge zwischen z.B. Mikrotiterplatten, Kammerobjektträgern und Petrischalen. Hingegen liegt eine logische Reihenfolge z.B. bei einer Qualitätseinstufung vor, in welcher zwischen den Stufen: hohe Bildqualität (Probe gut sichtbar), mittlere Bildqualität (Probe eventuell hinreichend gut sichtbar) und schlechte Bildqualität (Sichtbarkeit der Probe unzureichend) unterschieden werden soll. Auch wenn die Klassifikation Zahlenwerte betrifft, liegt eine ordinale Klassifikation vor, beispielsweise im Fall der Klassen „weniger als fünf biologische Zellen im Mikroskopbild enthalten“; „fünf bis zehn Zellen enthalten“; oder „mehr als zehn Zellen enthalten“. Prinzipiell können zwar binäre Klassifikatoren für die entsprechenden Klassen genutzt werden, z.B. ein binärer Klassifikator zur Schätzung, ob eine hohe Bildqualität vorliegt, ein weiterer binärer Klassifikator für eine mittlere Bildqualität und ein dritter binärer Klassifikator zur Schätzung einer schlechten Bildqualität. Durch solche Klassifikatoren geht jedoch die Reihenfolge der Klassen unter. Im Fall einer Fehlklassifikation kann es leichter passieren, dass eine weit entfernte Klasse angenommen wird, z.B. eine schlechte Bildqualität, obwohl tatsächlich eine gute Bildqualität vorliegt. Um einen binären Klassifikator zum Erkennen einer mittleren Bildqualität zu trainieren, müssten Trainingsbilder verwendet werden, bei welchen sowohl Bilder hoher Qualität als auch Bilder schlechter Qualität dieselbe Annotation erhielten, nämlich: „nicht zur Klasse ,mittlere Bildqualität' gehörend“. Daher sind simple Klassifikationsmodelle für Aufgaben, bei denen eine Klassenreihenfolge existiert, nachteilig.
• Vorteile bietet die ordinale Klassifikation. Um Klassifikationsmodelle für eine ordinale Klassifikation so zu nutzen, dass die Klassenreihenfolge Berücksichtigung findet, ist die Nutzung spezieller Hilfsklassen bekannt. Ein entsprechendes Vorgehen ist beschrieben in:
• Frank E., Hall M., ‚A Simple Approach to Ordinal Classification‘, Conference Paper in Lecture Notes in Computer Science, August 2001, DOI: 10.1007/3-540-44795-4_13
• Die Hilfsklassen umfassen unterschiedlich viele der gemäß der Reihenfolge aufeinanderfolgenden Klassen. Zum Beispiel kann die erste Hilfsklasse alle Klassen bis auf die erste Klasse umfassen, während die zweite Hilfsklasse alle Klassen bis auf die ersten zwei Klassen umfasst, eine dritte Hilfsklasse alle Klassen bis auf die ersten drei Klassen umfasst, usw. Es können nun binäre Klassifikatoren gelernt werden, wobei jeder binäre Klassifikator als Ergebnis eine Schätzung der Zugehörigkeit der Eingabedaten (d.h. des Mikroskopbildes) zu der entsprechenden Hilfsklasse angibt.
• Die Zugehörigkeit zu einer bestimmten Klasse kann aus den Schätzungen der Zugehörigkeiten zu den Hilfsklassen berechnet werden. In dem vorgenannten Artikel, siehe z.B. 1 des Artikels, wird die Wahrscheinlichkeit einer Klassenzugehörigkeit als Differenz der Wahrscheinlichkeiten der Zugehörigkeiten zweier Hilfsklassen berechnet. Im Beispiel des genannten Artikels wird zwischen den Temperaturen kalt, mild und heiß unterschieden. Eine Hilfsklasse umfasst die Temperaturen „mild“ und „heiß“, während eine andere Hilfsklasse nur die Temperatur „heiß“ umfasst. Die Wahrscheinlichkeit für die Klasse „mild“ wird berechnet, indem die Differenz zwischen der Wahrscheinlichkeit der Hilfsklasse „mild/heiß“ und der Wahrscheinlichkeit der Hilfsklasse „heiß“ berechnet wird.
• Gegenüber gewöhnlichen Klassifikationen bietet eine ordinale Klassifikation mittels Hilfsklassen, die eine Klassenreihenfolge berücksichtigen, präzisere und robustere Ergebnisse. Es ist wünschenswert, die Zuverlässigkeit und die Anwendungsmöglichkeiten ordinaler Klassifikationen von Mikroskopbildern weiter zu erhöhen.
• KURZFASSUNG
• Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und Verfahren anzugeben, welche eine besonders präzise ordinale Klassifikation eines Mikroskopbildes für vielfältige Anwendungen ermöglichen.
• Diese Aufgabe wird durch das Mikroskopiesystem und die Verfahren der unabhängigen Ansprüche gelöst.
• Die Erfindung umfasst ein computerimplementiertes Verfahren zur ordinalen Klassifizierung von mindestens einem Mikroskopbild, um eine Klasseneinstufung in eine von mehreren Klassen zu berechnen, wobei die Klassen bezüglich einer Bildeigenschaft eine Reihenfolge bilden. Das mindestens eine Mikroskopbild wird in ein maschinell gelerntes Modell zur ordinalen Klassifizierung eingegeben. Das Modell zur ordinalen Klassifizierung umfasst mehrere binäre Klassifikatoren, welche jeweils eine Schätzung einer Zugehörigkeit des Mikroskopbildes zu einer kumulierten Hilfsklasse berechnen. In den kumulierten Hilfsklassen sind verschieden viele der in der Reihenfolge aufeinanderfolgenden Klassen zusammengefasst. Die Schätzungen der binären Klassifikatoren werden zu einem Gesamtscore zusammengefasst, insbesondere addiert. Die Klasseneinstufung erfolgt durch Vergleich des Gesamtscores mit variabel festlegbaren Schwellwerten. Die Schwellwerte können z.B. anwendungsabhängig variabel festgelegt werden.
• Die Erfindung umfasst zudem ein computerimplementiertes Verfahren zur ordinalen Klassifizierung von mindestens einem Mikroskopbild, um eine Klasseneinstufung in eine von mehreren Klassen zu berechnen, wobei die Klassen bezüglich einer Bildeigenschaft eine Reihenfolge bilden. Das mindestens eine Mikroskopbild wird in ein maschinell gelerntes Modell zur ordinalen Klassifizierung eingegeben. Das Modell zur ordinalen Klassifizierung umfasst mehrere binäre Klassifikatoren, welche jeweils eine Schätzung einer Zugehörigkeit des Mikroskopbildes zu einer kumulierten Hilfsklasse berechnen. In den kumulierten Hilfsklassen sind verschieden viele der in der Reihenfolge aufeinanderfolgenden Klassen zusammengefasst. Die Klasseneinstufung wird aus den Schätzungen der binären Klassifikatoren berechnet. Intervallgrenzen der Klassen werden so festgelegt, dass die Klassen unterschiedlich breite Intervalle bilden.
• Stellen die Klassen unterschiedlich breite Intervalle dar, kann eine Präzision um einen bestimmten Wertebereich erhöht werden. Gleichzeitig kann über einen besonders großen Wertebereich zumindest eine Einstufung in grobe Klassen erfolgen. Dadurch kann eine ordinale Klassifikation für eine große Bandbreite verschiedenartiger Mikroskopbilder erfolgen und gleichzeitig kann in einem interessierenden Wertebereich eine hohe Genauigkeit erzielt werden.
• Eine besonders große Flexibilität hinsichtlich verschiedener Anwendungen oder Zielsetzungen ist möglich, wenn ein Gesamtscore aus den Schätzungen der binären Klassifikatoren gebildet und zur Klasseneinstufung mit variabel festlegbaren Schwellwerten verglichen wird. Durch die Bildung eines Gesamtscores können die Aussagen aller Klassifikatoren in die Klasseneinstufung einfließen, im Gegensatz zu z.B. dem eingangs genannten Stand der Technik, wenn anstelle eines Gesamtscores eine Differenz zwischen zwei Klassifikator-Ergebnissen berechnet wird. Durch den Vergleich des Gesamtscores mit variabel festlegbaren Schwellwerten kann eine Klassifikationsempfindlichkeit verändert werden, ohne dass ein neues Training des ordinalen Klassifikationsmodells nötig wäre. Die Zuordnung eines Mikroskopbildes zu einer bestimmten Klasse lässt sich somit in einfacher Weise variieren, ohne die genutzten binären Klassifikatoren neu bzw. anders zu trainieren.
• Die Erfindung umfasst außerdem ein computerimplementiertes Verfahren zum Auswerten von mindestens einem zu untersuchenden Mikroskopbild mit Hilfe eines ordinalen Klassifikationsmodells. Das ordinale Klassifikationsmodell ist anhand von Mikroskopbildern trainiert, zu denen jeweils eine vorgegebene Klassenannotation angibt, welcher Klasse das jeweilige Mikroskopbild angehört. Die Klassen bilden bezüglich einer Bildeigenschaft eine Reihenfolge von einer ersten Klasse bis zu einer letzten Klasse. Es sind mehrere Hilfsklassen gebildet, die verschieden viele aufeinanderfolgende Klassen enthalten, und zumindest mehrere inverse Hilfsklassen sind dadurch gebildet, dass sie gerade diejenigen Klassen enthalten, welche in einer der Hilfsklassen nicht enthalten sind. Aus den Klassenannotationen zu jedem Mikroskopbild werden Hilfsklassenannotationen erzeugt, welche eine Zugehörigkeit des jeweiligen Mikroskopbildes zu den verschiedenen Hilfsklassen und den inversen Hilfsklassen bejahen oder verneinen. Das ordinale Klassifikationsmodell umfasst für jede der Hilfsklassen einen jeweiligen binären Klassifikator, welcher dazu trainiert wird, eine Schätzung einer Zugehörigkeit eines Mikroskopbildes zur entsprechenden Hilfsklasse zu berechnen. Außerdem umfasst das ordinale Klassifikationsmodell für jede der inversen Hilfsklassen einen jeweiligen binären Klassifikator, welcher dazu trainiert wird, eine Schätzung einer Zugehörigkeit eines Mikroskopbildes zur entsprechenden inversen Hilfsklasse zu berechnen. Das zu untersuchende Mikroskopbild wird dem ordinalen Klassifikationsmodell eingegeben. Die somit berechneten Schätzungen der binären Klassifikatoren der Hilfsklassen werden zu einem Gesamtscore zusammengefasst und/oder die somit berechneten Schätzungen der binären Klassifikatoren der inversen Hilfsklassen werden zu einem Gesamtscore zusammengefasst. Basierend auf dem Gesamtscore oder den beiden Gesamtscores wird ein Maß für die Bildeigenschaft bestimmt.
• Das Maß für die Bildeigenschaft kann insbesondere eine Klasseneinstufung sein oder auch ein präziser Wert in einem kontinuierlichen Wertebereich. Durch die Bildung eines Gesamtscore werden die Schätzungen aller binärer Klassifikatoren zu den Hilfsklassen bzw. den inversen Hilfsklassen genutzt. Dadurch kann eine prinzipiell bessere Vorhersage erfolgen als im Fall einer ordinalen Klassifikation, in welcher eine Klasseneinstufung allein durch z.B. die Schätzungen der beiden relevantesten binären Klassifikatoren erfolgt. Wird ein Gesamtscore gebildet, wurde in Vorarbeiten der Erfindung teilweise eine Vorzugsrichtung einer Abweichung zu den als ground truth vorgegebenen Werten der Trainingsdaten beobachtet. Wird das ordinale Klassifikationsmodell jedoch mit zwei Pfaden (heads) trainiert, wobei ein Pfad die binären Klassifikatoren zu den Hilfsklassen umfasst und der andere Pfad die binären Klassifikatoren zu den inversen Hilfsklassen umfasst, so wirken die beiden Pfade stabilisierend aufeinander. Dadurch kann ein allgemein überlegenes ordinales Klassifikationsmodell trainiert werden. In der Inferenz müssen daher nicht zwingend die Klassifikatoren beider Pfade genutzt werden, so dass das Maß für die Bildeigenschaft prinzipiell aus nur einem Gesamtscore bestimmt werden kann.
• Ein erfindungsgemäßes Mikroskopiesystem umfasst ein Mikroskop zur Bildaufnahme und eine Recheneinrichtung, die dazu eingerichtet ist, eines der computerimplementierten Verfahren auszuführen.
• Durch erfindungsgemäße Umsetzungen können die Flexibilität, die Qualität sowie die Robustheit ordinaler Klassifikationen vorteilhafterweise verbessert werden.
• Optionale Gestaltungen
• Varianten des erfindungsgemäßen Mikroskopiesystems und der erfindungsgemäßen Verfahren sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
• Die vorgenannten Verfahren können miteinander kombiniert werden. Insbesondere kann das oben genannte Verfahren, bei dem ein Gesamtscore mit variabel festlegbaren Schwellwerten verglichen wird, um die Merkmale des anderen oben genannten Verfahrens ergänzt werden, wonach Intervallgrenzen der Klassen so festgelegt werden, dass die Klassen unterschiedlich breite Intervalle bilden. Die Merkmale von einem oder von beiden dieser Verfahren können auch bei dem oben genannten Verfahren, welches inverse Hilfsklassen nutzt, ergänzt werden; das heißt zusätzlich zu den inversen Hilfsklassen können auch die Merkmale des Vergleichens des Gesamtscore mit variabel festlegbaren Schwellwerten und/oder die Merkmale von Klassen mit unterschiedlich breiten Intervallen ergänzt werden.
• Variabel festlegbare Schwellwerte zur Klasseneinstufung
• Die Schätzungen der binären Klassifikatoren können Wahrscheinlichkeitsergebnisse für die Zugehörigkeit zu einer Hilfsklasse darstellen. Ein Wahrscheinlichkeitsergebnis kann z.B. in einem Wertebereich von 0 bis 1 liegen. Dabei gibt der Wert 1 die höchste Sicherheit einer Zugehörigkeit zur Hilfsklasse an, die von dem entsprechenden Klassifikator geprüft wird. Die Wahrscheinlichkeitsergebnisse aller Klassifikatoren können zu einem Gesamtscore zusammengefasst, insbesondere addiert, werden. Der Gesamtscore wird mit einstellbaren Schwellwerten verglichen, womit die Einstufung in eine der Klassen erfolgt.
• Einem Nutzer kann insbesondere über einen Computerbildschirm die Möglichkeit geboten werden, einen oder mehrere der Schwellwerte variabel zu verstellen und hierdurch die Grenze zwischen benachbarten Klassen zu verschieben.
• Optional wird abhängig von der Klasseneinstufung eine Handlungsempfehlung an einen Nutzer ausgegeben. Beispielsweise können die Klasseneinstufungen verschiedene Bildqualitäten betreffen (z.B. Probe gut / mäßig / schlecht sichtbar; oder Bildrauschen niedrig / mittelhoch / hoch). Im Fall einer hohen Bildqualität kann vorgesehen sein, dass ein Arbeitsablauf automatisch fortgesetzt wird. Im Fall einer niedrigen Bildqualität kann vorgesehen sein, dass ein Arbeitsablauf automatisch abgebrochen wird oder dass die Handlungsempfehlung für einen Abbruch gegeben wird. Im Fall einer mittleren Bildqualität kann eine Warnung gegeben werden, woraufhin ein Nutzer manuell ein Fortführen oder Abbrechen auswählen muss.
• Ein Schwellwert kann automatisch angepasst werden, abhängig von einer Handlung des Nutzers. Wählt ein Nutzer beispielsweise im Fall einer mittleren Bildqualität häufiger ein Fortführen als einen Abbruch, so kann der Schwellwert verändert werden, durch welchen die Klassen „hohe Bildqualität“ und „mittlere Bildqualität“ getrennt werden. Dieser Schwellwert kann gesenkt werden, das heißt in Richtung des Schwellwerts, durch den die Klassen „mittlere Bildqualität“ und „niedrige Bildqualität“ unterschieden werden, verschoben werden. Dadurch wird künftig in Fällen, in denen der Nutzer manuell ein Fortführen gewählt hätte, häufiger die Klasse „hohe Bildqualität“ festgestellt, womit ein automatisches Fortführen erfolgt und der Aufwand für den Nutzer sinkt. Eine automatische Anpassung der Schwellwerte kann auch abhängig davon erfolgen, ob ein Nutzer die Handlungsempfehlung (wiederholt) missachtet. Ein Missachten liegt z.B. vor, wenn die Klasse „niedrige Bildqualität“ festgestellt und ein Abbruch des Arbeitsablaufs empfohlen wird, der Nutzer jedoch ein Fortführen des Arbeitsablaufs auswählt. Der Schwellwert wird in diesem Fall in diejenige Richtung verschoben, durch welche es seltener zu der Handlungsempfehlung kommt, die der Nutzer missachtet hat. Im genannten Beispiel wird also der Schwellwert so geändert, dass Mikroskopbildern eher eine mittlere als eine niedrige Bildqualität zugeordnet wird.
• Reihenfolge an Klassen; Hilfsklassen und inverse Hilfsklassen
• Die Reihenfolge der Klassen kann sich auf eine Bildeigenschaft oder eine Kombination von Bildeigenschaften beziehen, insbesondere einen Bildinhalt wie z.B. eine Anzahl dargestellter Objekte, eine Größe dargestellter Objekte, eine Ausrichtung bzw. Orientierung dargestellter Objekte und/oder eine Varianz dargestellter Objekte. Bei den Objekten kann es sich um die Probe oder Probenteile, z.B. biologische Zellen oder Zellorganellen, handeln, oder auch um ein Deckglas oder andere Teile eines Probenträgers. Anstelle der Pluralform „Objekte“ können sich die beschriebenen Ausführungen auch auf nur ein einziges Objekt beziehen.
• Die Bildeigenschaft kann auch eine aus dem Bildinhalt abgeleitete Eigenschaft betreffen, z.B. eine Höhenlage eines dargestellten Bildinhalts, wobei die Höhenlage insbesondere aus einer perspektivischen Verzerrung des Bildinhalts geschätzt werden kann (ein quadratisches Deckglas wird z.B. im Mikroskopbild je nach Betrachtungswinkel als Trapez dargestellt, dessen Winkel vom Betrachtungswinkel und somit von der Höhenlage des Deckglases abhängen).
• Die Bildeigenschaft kann auch unabhängig von dargestellten Objekten das Bild an sich betreffen, z.B. ein Bildrauschen, eine Bildhelligkeit und/oder eine Bildschärfe.
• Die Klassen bilden eine Reihenfolge bezüglich der Bildeigenschaft, so dass beispielsweise von einer ersten Klasse bis zu einer letzten Klasse ein der Bildeigenschaft entsprechender Wert immer größer wird, z.B. die Anzahl oder Größe dargestellter Objekte von der ersten zur letzten Klasse steigt oder das Bildrauschen von der ersten zur letzten Klasse immer weiter steigt. Die umgekehrte Reihenfolge ist ebenfalls möglich.
• Die Hilfsklassen werden so gebildet, dass in jeder Hilfsklasse eine oder mehrere der Klassen zusammengefasst sind. Es können Hilfsklassen so gebildet werden, dass von einer Hilfsklasse zur nächsten jeweils eine Klasse weniger hinzugehört. Beispielsweise kann die erste Hilfsklasse alle Klassen umfassen; die zweite Hilfsklasse kann alle Klassen bis auf die erste Klasse umfassen, die dritte Hilfsklasse kann alle Klassen bis auf die erste und zweite Klasse umfassen, usw. Die genannte erste Hilfsklasse kann optional entfallen. Ein Trainingsbild, das die Annotation „Zugehörigkeit zur zweiten Klasse“ besitzt, wird als zugehörig zur ersten und zweiten Hilfsklasse eingestuft, aber nicht zugehörig zu weiteren Hilfsklassen.
• Hilfsklassen können auch in umgekehrter Weise gebildet werden, so dass von einer Hilfsklasse zur nächsten jeweils eine Klasse mehr hinzugehört. Diese Hilfsklassen können auch als inverse Hilfsklassen bezeichnet werden. Beispielsweise kann eine erste (inverse) Hilfsklasse einer ersten Klasse der Reihenfolge entsprechen, eine zweite (inverse) Hilfsklasse entspricht der ersten und zweiten Klasse der Reihenfolge, eine dritte (inverse) Hilfsklasse entspricht der ersten bis dritten Klasse der Reihenfolge, usw. Auch in diesen Gestaltungen können aus Klassenannotationen entsprechende Hilfsklassenannotationen erzeugt werden. Die Hilfsklassenannotationen und zugehörige Mikroskopbilder werden zum Trainieren entsprechender binärer Klassifikatoren genutzt.
• Optional kann eine Hilfsklasse gebildet sein, die alle Klassen umfasst, und/oder es kann eine Hilfsklasse gebildet sein, die keine Klasse umfasst. Ebenso kann zusätzlich eine inverse Hilfsklasse gebildet sein, die alle Klassen umfasst, und/oder es kann eine inverse Hilfsklasse gebildet sein, die keine Klasse umfasst.
• In anderen Worten können mehrere Hilfsklassen gebildet sein, in denen verschieden viele aufeinanderfolgende Klassen in folgender Weise zusammengefasst sind: Eine erste Hilfsklasse umfasst alle Klassen. Jede weitere Hilfsklasse umfasst je eine Klasse weniger, gemäß der Reihenfolge und beginnend bei der ersten Klasse. Das heißt eine zweite Hilfsklasse umfasst bis auf die erste Klasse die gleichen Klassen wie die erste Hilfsklasse; eine dritte Hilfsklasse umfasst bis auf die zweite Klasse die gleichen Klassen wie die zweite Hilfsklasse, usw. Eine letzte Hilfsklasse umfasst allein die letzte Klasse. In analoger Benennung können mehrere inverse Hilfsklassen gebildet werden, in denen verschieden viele aufeinanderfolgende Klassen in folgender Weise zusammengefasst sind: Eine erste inverse Hilfsklasse umfasst allein die erste Klasse, jede weitere inverse Hilfsklasse umfasst je eine weitere Klasse gemäß der Reihenfolge. Das heißt die zweite inverse Hilfsklasse umfasst die Klasse(n) der ersten inversen Hilfsklasse und zusätzlich die zweite Klasse; die dritte inverse Hilfsklasse umfasst die Klassen der zweiten inversen Hilfsklasse und zusätzlich die dritte Klasse, usw. Eine letzte inverse Hilfsklasse umfasst alle Klassen. Auf die letzte inverse Hilfsklasse kann gegebenenfalls verzichtet werden.
• Ordinales Klassifikationsmodell
• Das Modell zur ordinalen Klassifikation (ordinales Klassifikationsmodell) kann mindestens ein neuronales Netz umfassen und anhand von Trainingsdaten gelernt sein. Es umfasst mehrere binäre Klassifikatoren, welche jeweils eine Schätzung einer Zugehörigkeit eines eingegebenen Mikroskopbildes zu einer der oben beschriebenen Hilfsklassen bzw. inversen Hilfsklassen ausgibt. Die durch das ordinale Klassifikationsmodell durchgeführte Klassifikation kann auch als ordinale Regression bezeichnet werden. Das ordinale Klassifikationsmodell kann insbesondere ein oder mehrere faltende neuronale Netze (convolutional neural nets, CNN) umfassen. Modellparameterwerte des ordinalen Klassifikationsmodells, beispielsweise Einträge von Faltungsmatrizen eines CNN, werden anhand der Trainingsdaten festgelegt, insbesondere mit Hilfe von Mikroskopbildern mit zugehörigen, vorgegebenen (Hilfs-)Klassenannotationen. Die Parameterfestlegung kann durch einen Lernalgorithmus iterativ erfolgen, beispielsweise durch ein Gradientenabstiegsverfahren und Backpropagation.
• Im Training des ordinalen Klassifikationsmodells können mehrere Mikroskopbilder als Eingabedaten verwendet werden, wobei pro Mikroskopbild für jeden der binären Klassifikatoren ein gewünschtes Ergebnis (ground truth) als Annotation vorgegeben sein kann. Die Annotation kann jeweils angeben, ob das Mikroskopbild zu der entsprechenden Hilfsklasse, die vom binären Klassifikator abgefragt wird, gehört oder nicht. Für jedes Mikroskopbild können daher mehrere Annotationen, entsprechend der Anzahl an binären (Einzel-)Klassifikatoren, genutzt werden. Diese Annotationen können aus einer einzigen Annotation, welche die Zugehörigkeit des Mikroskopbildes zu einer bestimmten Klasse angibt, automatisch ermittelt werden.
• Ein binärer (Einzel-)Klassifikator kann ein Programm sein, beispielsweise ein neuronales Netz oder ein Teil davon, welches unterscheidet, ob eine Eigenschaft vorliegt oder nicht, vorliegend ob der Fall „gehört zur Hilfsklasse“ oder der entgegengesetzte Fall „gehört nicht zur Hilfsklasse“ vorliegt. Die Ausgabe eines binären Klassifikators kann prinzipiell einer von zwei möglichen Werten sein, um die vorgenannten Fälle zu unterscheiden, z.B. durch die Werte 0 und 1. Alternativ ist die Ausgabe eine Schätzung bzw. Wahrscheinlichkeit für das Vorliegen der Eigenschaft, in diesem Fall der Eigenschaft „gehört zur Hilfsklasse“. Die Ausgabe kann jeden beliebigen Wert im Intervall 0 bis 1 annehmen, wobei ein größerer Wert eine höhere Wahrscheinlichkeit für die Zugehörigkeit zur entsprechenden Hilfsklasse angibt. Für jede Hilfsklasse ist ein binärer Klassifikator vorgesehen, wobei es insbesondere drei oder mehr Hilfsklassen und entsprechende binäre Klassifikatoren geben kann.
• Im Gesamtscore sind die Schätzungen aller binären Klassifikatoren (zu den Hilfsklassen oder zu den inversen Hilfsklassen) zusammengefasst, beispielsweise als Summe, wobei aber prinzipiell auch andere Rechenoperationen möglich sind.
• Durch den Gesamtscore kann eine Klasseneinstufung erfolgen, indem zunächst eine Rundung des Gesamtscore auf eine ganze Zahl erfolgt. In der obigen Nummerierung von Klassen und Hilfsklassen kann nun eine Klasseneinstufung in diejenige Klasse erfolgen, welche in ihrer Nummer der ganzen Zahl entspricht. Beträgt der Gesamtscore beispielsweise 5.8, so wird dieser Wert auf die ganze Zahl 6 gerundet und dementsprechend eine Einstufung in die sechste Klasse vorgenommen.
• In anderen Worten kann diejenige Hilfsklasse identifiziert werden, welche in ihrer Nummer der ganzen Zahl entspricht, auf welche der Gesamtscore gerundet wurde. Die Klasseneinstufung erfolgt in diejenige Klasse, welche ein Intervall abdeckt, das von einem Grenzwert der identifizierten Hilfsklasse bis zu einem Grenzwert der darauffolgenden Hilfsklasse läuft. Im vorgenannten Zahlenbeispiel wird der Gesamtscore von 5.8 auf 6 gerundet, womit diejenige Klasse ausgewählt wird, welche das Intervall zwischen dem Grenzwert der sechsten Hilfsklasse und dem Grenzwert der siebten Hilfsklasse abdeckt.
• Das ordinale Klassifikationsmodell muss nicht zwingend für eine Klasseneinstufung genutzt werden; vielmehr kann ein berechneter Gesamtscore auch auf eine stetige Variable der Bildeigenschaft umgerechnet werden, also auf einen beliebigen Wert in einem kontinuierlichen Wertebereich der Bildeigenschaft. Eine Umrechnung des Gesamtscore auf einen Wert in einem kontinuierlichen Wertebereich kann über eine Funktion erfolgen, durch welche eine Klassennummer bzw. Nummer einer Hilfsklasse auf einen Grenzwert der Klasse / Hilfsklasse abgebildet wird, wie nachfolgend näher beschrieben. Für die Klassen und somit auch für die Hilfsklassen sind Grenzwerte der Bildeigenschaft vorgegeben, welche benachbarte Klassen oder Hilfsklassen voneinander unterscheiden. Sind beispielsweise für die Bildeigenschaft „Objektgröße“ unter anderem die Grenzwerte 4.0 Pixel und 4.8 Pixel vorgegeben, so deckt eine der Klassen das Intervall von 4.0 bis 4.8 Pixel ab. Für Hilfsklassen geben diese Grenzwerte Mindestwerte an, das heißt eine Hilfsklasse deckt den Bereich „Objektgröße ≥ 4.0 Pixel“ ab und eine Hilfsklasse den Bereich „Objektgröße ≥ 4.8 Pixel“. Inverse Hilfsklassen können diese Grenzwerte als Obergrenzen nutzen, das heißt eine inverse Hilfsklasse deckt den Bereich „Objektgröße < 4.0 Pixel“ ab und eine Hilfsklasse den Bereich „Objektgröße < 4.8 Pixel“. Es kann eine Funktion vorgegeben sein oder (iterativ) ermittelt werden, welche die Nummer der Hilfsklasse auf die entsprechenden Grenzwerte abbildet. Die Grenzwerte können auch gerade durch diese Funktion ursprünglich festgelegt worden sein, das heißt, es werden die Werte 1, 2, 3 usw. in die Funktion eingesetzt, um die entsprechenden Grenzwerte zu definieren. Der Gesamtscore kann nun um 0.5 erhöht werden und in diese Funktion eingesetzt werden, um (anstelle eines Grenzwerts) den gesuchten Wert der Bildeigenschaft zu berechnen. Die Erhöhung um 0.5 resultiert daraus, dass an einem Grenzwert der entsprechende binäre Klassifikator eine hohe Unsicherheit und somit einen Wert von etwa 0.5 liefern sollte, während in der Festlegung des Grenzwerts eine ganze Zahl in die Funktion eingesetzt wurde.
• Der weitere Gesamtscore, welcher aus den Schätzungen der binären Klassifikatoren zu den inversen Hilfsklassen berechnet wird, sollte idealerweise gleich dem Gesamtscore der binären Klassifikatoren zu den Hilfsklassen sein. Eine Abweichung zwischen den beiden Gesamtscores weist auf Ungenauigkeiten in der Schätzung hin. In diesem Fall können die beiden Gesamtscores gemittelt werden. Optional kann in diesem Fall eine Rückmeldung oder Warnung über die Unsicherheit erzeugt werden.
• Die ordinale Klassifikation kann auch pixelweise für ein eingegebenes Mikroskopbild erfolgen. Dadurch kann eine semantische Segmentierung erzeugt werden, wobei zumindest einige der Klassen, die in der semantischen Segmentierung unterschieden werden, einer Ordnung unterliegen und so eine Reihenfolge bilden. Unter einer semantischen Segmentierung wird verstanden, dass jeder Pixel des Mikroskopbildes einer aus mehreren möglichen Klassen zugeordnet wird. Die Klassen können z.B. verschiedene Strukturen bezeichnen. In einem zu segmentierenden Übersichtsbild als Mikroskopbild kann eine Reihenfolge beispielsweise durch einen Abstand zur eigentlichen Probe gebildet sein. Verschiedene Klassen in einer Reihenfolge mit zunehmendem Abstand von der Probe können z.B. sein: „Probe“, „Deckglasbereich außerhalb der Probe“, Deckglaskanten", „transparenter Probenträgerbereich“, „Beschriftungsfeld auf dem Probenträger“, „Halteklammern, die den Probenträger halten“. Durch eine ordinale Klassifikation wird die Wahrscheinlichkeit von drastischen Fehlklassifikationen reduziert, beispielsweise dass manche Bildpixel als Klasse „Probe“ eingestuft werden, obwohl diese Bildpixel direkt benachbart und umschlossen von Pixeln sind, die als „Halteklammern, die den Probenträger halten“ eingestuft wurden.
• Klassen mit unterschiedlich breiten Intervallen
• Intervallgrenzen der Klassen können so festgelegt werden, dass die Klassen unterschiedlich breite Intervalle, das heißt unterschiedlich breite Wertebereiche, bilden. Die Grenzen und die Breite eines Intervalls können durch Zahlen angegeben werden, wozu die Bildeigenschaft, nach welcher sich eine Reihenfolge der Klassen richtet, in Zahlen ausgedrückt oder durch Zahlen repräsentiert wird. Als Zahl kann beispielsweise die Bildeigenschaft „Konfluenz“, angegeben werden, das heißt ein von Zellen bewachsener oder bedeckter Anteil des Mikroskopbildes, ausgedrückt in Prozent oder einer Pixelanzahl. Unterschiedlich breite Intervalle bedeuten, dass für verschiedene Intervalle die jeweilige Differenz zwischen der Intervalluntergrenze und der Intervallobergrenze des entsprechenden Intervalls unterschiedlich ist. Weniger breite Intervalle stellen eine höhere Auflösung bezüglich der Bildeigenschaft dar. Dadurch kann die ordinale Klassifizierung in einem bestimmten Wertebereich bezüglich der Bildeigenschaft eine höhere Auflösung bereitstellen als in anderen Wertebereichen. Durch breitere Intervalle kann ein insgesamt größerer Wertebereich von den Klassen abgedeckt werden, sodass unterschiedlich breite Intervalle den Vorteil einer hohen Auflösung in einem interessierenden Wertebereich mit dem Vorteil einer Aussage über einen besonders großen Wertebereich vereinen.
• Die Hilfsklassen werden durch die Klassen gebildet, so dass verschieden breite Intervalle der Klassen dazu führen, dass Grenzen zwischen den Hilfsklassen unterschiedlich weit voneinander entfernt sind. Je breiter ein Intervall einer bestimmten Klasse ist, desto weiter sind die Grenzen derjenigen beiden Hilfsklassen auseinander, für welche die genannte Klasse im einen Fall dazugehört und im anderen Fall nicht dazugehört.
• Eine Breite eines Intervalls einer der Klassen kann beispielsweise umso größer festgelegt werden, je größer eine Intervalluntergrenze dieser Klasse ist. In anderen Worten werden Intervalle mit zunehmendem Zahlenwert der Bildeigenschaft breiter. Insbesondere kann die Intervallbreite exponentiell vom Zahlenwert der Bildeigenschaft abhängen. Die Bildeigenschaft kann z.B. eine Länge oder Größe dargestellter Zellen oder anderer Objekte in Pixeln sein. Die Breite der Intervalle (oder die Intervallgrenzen zwischen den Klassen) können beispielsweise proportional zu 2^(s+c) sein, wobei im Exponenten s die Zellgröße in Pixeln angibt und c eine Konstante ist. Für die Grenzen der Hilfsklassen können sich in Pixeln px oder willkürlichen Einheiten die folgenden Grenzen ergeben: $$„\ge 1\text{px}“,„\ge 2\text{px}“,„\ge 4\text{px}“,„\ge 8\text{px}“,„\ge 16\text{px}“,„\ge 32\text{px}“$$

  
• Eine Breite der Intervalle kann umso größer festgelegt sein, je weiter die entsprechende Klasse von einem vorgegebenen Zielwert entfernt ist. Die Entfernung kann bezüglich derjenigen Intervallgrenze, die näher am Zielwert ist, bemessen sein. Die Klassen können z.B. eine geometrische Eigenschaft des Bildinhalts des Mikroskopbildes betreffen und der vorgegebene Zielwert kann ein Wunschwert / Zielwert der geometrischen Eigenschaft sein. Insbesondere kann die Bildeigenschaft, nach welcher sich die Klassenreihenfolge richtet, eine Objektgröße sein, und der Zielwert kann beispielsweise 10 Pixel betragen. Um einen Wert von 10 können schmale Klassen festgelegt werden, beispielsweise 6-9 Pixel, 9-11 Pixel und 11-14 Pixel, während für weiter entfernte Werte breitere Klassen festgelegt werden, beispielsweise 50-60 Pixel und 60-80 Pixel.
• Es kann ein Bildverarbeitungsalgorithmus vorgesehen sein, welcher das Mikroskopbild abhängig von der Klasseneinstufung oder abhängig vom Gesamtscore umrechnet, so dass die geometrische Eigenschaft dem vorgegebenen Zielwert angenähert wird. Beispielsweise kann die geometrische Eigenschaft eine Bildgröße dargestellter Objekte sein der Bildverarbeitungsalgorithmus kann eine Skalierung des Mikroskopbildes durchführen, so dass eine Objektgröße in Pixeln dem gewünschten Zielwert von z.B. 10 Pixeln angenähert wird. Dadurch wird eine folgende Bildanalyse erleichtert. Für die Bildanalyse kann z.B. ein weiteres maschinell gelerntes Modell verwendet werden, etwa zum Zählen von Zellen, wobei ein Training für dieses Modell wesentlich vereinfacht wird, wenn als Eingaben lediglich Bilder von Objekten mit einer einheitlichen Größe von etwa 10 Pixeln erwartet werden. Allgemeiner kann der vorgegebene Zielwert ein gewünschtes Ergebnis eines Bildverarbeitungsalgorithmus sein, welches der Bildverarbeitungsalgorithmus aus dem Mikroskopbild berechnet, wobei das Ergebnis eine geometrische Eigenschaft des Bildinhalts des Mikroskopbildes betrifft.
• Die Rechenoperation des Bildverarbeitungsalgorithmus kann von der Klasseneinstufung der ordinalen Klassifikation abhängen. Wird beispielsweise für eine Objektgröße die Klasse 50-60 Pixel berechnet und liegt der Zielwert bei 10 Pixeln, so kann der Bildverarbeitungsalgorithmus eine Skalierung vornehmen, durch welche die ermittelte Objektgröße auf den Zielwert skaliert wird, im genannten Zahlenbeispiel z.B. mittels Skalierung um den Faktor 10/55 bzw. um den Faktor „Zielwert dividiert durch Mittelwert der berechneten Klasse“. Wird anstelle einer Klasseneinstufung ein Wert der Bildeigenschaft in einem kontinuierlichen Wertebereich berechnet (z.B. eine Objektgröße von 53 Pixeln), so kann die Umrechnung des Mikroskopbildes mit Hilfe des kontinuierlichen Werts erfolgen, z.B. durch Skalierung um den Faktor 10/53.
• Für ein vom Bildverarbeitungsalgorithmus umgerechnetes Mikroskopbild kann eine neue Klasseneinstufung in der beschriebenen Weise erfolgen. Dies kann der Qualitätskontrolle dienen, um sicher zu stellen, dass durch den Bildverarbeitungsalgorithmus der Zielwert erreicht wurde, beispielsweise die Objektgröße tatsächlich 10 Pixel beträgt. Optional kann abhängig von der neuen Klasseneinstufung nochmals der Bildverarbeitungsalgorithmus das umgerechnete Mikroskopbild umrechnen, um die geometrische Eigenschaft weiter an den Wunschwert anzunähern. Wird beispielsweise festgestellt, dass nach der Skalierung die Objektgröße tatsächlich 11-13 Pixel beträgt, kann eine erneute Skalierung zur Annäherung an einen Wunschwert von 10 Pixeln erfolgen. Für dieses iterative Vorgehen sind Klassen verschiedener Breiten geeignet, um für einen besonders großen Wertebereich schlussendlich eine sehr präzise Annäherung an den Zielwert zu ermöglichen.
• Das Mikroskopbild kann als eines von mehreren Trainingsbildern dienen, an welchen maschinell ein Modell gelernt wird, das heißt das ordinale Klassifikationsmodell oder ein anderes Modell. Das Modell kann beispielsweise als CNN gestaltet sein. Insbesondere in solchen Fällen ist eine Daten-Augmentierung sinnvoll, in welcher aus dem Mikroskopbild ein oder mehrere neue Bilder berechnet werden, die ebenfalls als Trainingsbilder verwendet werden. Das Mikroskopbild und die neuen Bilder können sich in der oben genannten Bildeigenschaft voneinander unterscheiden, beispielsweise kann die Skalierung oder Rotation des Mikroskopbildes variiert werden, um die neuen Bilder zu erzeugen. Ein optional vorgegebenen Wert einer Bildeigenschaft eines im Training verwendeten Mikroskopbildes, oder alternativ die Klasseneinstufung oder der Gesamtscore, können in der Daten-Augmentierung berücksichtigt werden, so dass die neuen Bilder derselben Klasse angehören wie das Mikroskopbild. In weiteren Varianten erfolgt die Berücksichtigung so, dass kontrolliert neue Bilder anderer Klassen erzeugt werden. Für ein Training ist es wichtig, dass die Trainingsdaten verschiedene Klassen repräsentativ abdecken und nicht Bilder einer Klasse ungewollt stärker vertreten sind als Bilder einer anderen Klasse. Durch die (hilfs-)klassenerhaltende Daten-Augmentierung wird dies gewährleistet.
• Allgemeine Eigenschaften
• Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst. Unter einem Mikroskop kann insbesondere ein Lichtmikroskop, Röntgenmikroskop, Elektronenmikroskop oder Makroskop verstanden werden.
• Die Recheneinrichtung kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung von Mikroskopkomponenten eingerichtet sein.
• Verfahrensvarianten können optional das Aufnehmen mindestens eines Mikroskopbildes durch das Mikroskop umfassen, während bei anderen Verfahrensvarianten ein vorhandenes Mikroskopbild aus einem Speicher geladen wird.
• Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Beschreibungen, wonach ein Mikroskopbild dem ordinalen Klassifikationsmodell eingegeben wird, sollen beispielsweise die Möglichkeiten umfassen, dass genau ein oder mindestens ein Mikroskopbild verwendet wird. Eine gemeinsame Verarbeitung mehrerer Mikroskopbilder kann sich z.B. anbieten, wenn die Mikroskopbilder einen Bildstapel (z-stack) ausmachen, wodurch zueinander beabstandete Probenschichten derselben Probe gezeigt werden.
• Unter einem Mikroskopbild kann ein Bild verstanden werden, das von einem Mikroskop aufgenommen ist bzw. mit Hilfe von Messdaten eines Mikroskops berechnet ist. Insbesondere kann das Mikroskopbild durch ein oder mehrere Rohbilder oder bereits weiterverarbeitete Bilder des Mikroskops gebildet sein. Weiterhin kann das Mikroskopbild aus Messdaten einer Übersichtskamera am Mikroskop berechnet sein. Handelt es sich bei dem Mikroskop um ein Lichtmikroskop, kann das Mikroskopbild auch ein Probenbild sein, welches von einer Probenkamera aufgenommen wird, die zusätzlich zur Übersichtskamera vorhanden ist und ein Bild mit stärkerer Vergrößerung aufnimmt als die Übersichtskamera. Mikroskopbilder können auch durch andere Arten von Mikroskopen erzeugt sein, beispielsweise durch Elektronenmikroskope oder Rasterkraftmikroskope. Allgemeiner können unter einem Mikroskopbild auch aus mindestens einem Mikroskopbild abgeleitete Daten verstanden werden, beispielsweise ein Merkmalsvektor, der von einem neuronalen Netz aus dem mindestens einen Mikroskopbild berechnet wurde. Als Mikroskopbilder können prinzipiell auch simulierte bzw. künstlich erzeugte Bilder dienen, die nicht von einem Mikroskop aufgenommen wurden.
• Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten der erfindungsgemäßen Verfahren. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Während bei einigen Varianten ein fertig trainiertes Modell verwendet wird, ergeben sich weitere Erfindungsvarianten durch die Ausführung der entsprechenden Trainingsschritte, und umgekehrt.
• Figurenliste
• Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:
• 1 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskopiesystems gemäß der Erfindung;
• 2 zeigt schematisch mehrere Mikroskopbilder mit einer zugehörigen ordinalen Klassifizierung;
• 3 zeigt schematisch Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur ordinalen Klassifizierung;
• 4 zeigt schematisch Prozesse eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur ordinalen Klassifizierung;
• 5 zeigt schematisch ein auszuwertendes Mikroskopbild;
• 6 zeigt verwendete Klassen und daraus gebildete Hilfsklassen sowie inverse Hilfsklassen für eine beispielhafte ordinale Klassifizierung;
• 7 zeigt schematisch Prozesse eines weiteren Ausführungsbeispiels eines erfindungsgemäßen Verfahrens, welches ein ordinales Klassifikationsmodell nutzt;
• 8 zeigt schematisch ein auszuwertendes Mikroskopbild; und
• 9 zeigt schematisch ein umgewandeltes Mikroskopbild, das aus dem Mikroskopbild von 8 unter Nutzung einer ordinalen Klassifizierung berechnet wurde.
• DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
• Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
• FIG. 1
• 1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 8. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 8 Detektionslicht aus einem Probenbereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können prinzipiell beliebige Objekte, Fluide oder Strukturen sein oder umfassen. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9 zum Aufnehmen eines Übersichtsbildes einer Probenumgebung. Ein Sichtfeld 9A der Übersichtskamera 9 ist größer als ein Sichtfeld bei einer Aufnahme eines Probenbildes. Im dargestellten Beispiel blickt die Übersichtskamera 9 über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden. Abwandlungen dieser Ausführung verzichten auf den Spiegel oder sehen eine andere Anordnung des Spiegels oder eines anderen Umlenkelements vor. Die Recheneinrichtung 10 umfasst einen optionalen berührungsempfindlichen Bildschirm (Touchscreen) 12 und ein Computerprogramm 11 zum Verarbeiten von mindestens einem Mikroskopbild, d.h. einem Proben- oder Übersichtsbild. Hierauf wird nachfolgend mit Bezug auf die folgenden Figuren näher eingegangen.
• FIG. 2
• 2 zeigt schematisch mehrere Mikroskopbilder 20A-20C, bei denen es sich in diesem Beispiel um Übersichtsbilder handelt, die sich in der Bildqualität unterscheiden. Durch verschiedene Klassen K werden unterschiedliche Bildqualitäten angegeben. Im Mikroskopbild 20A sind ein Probenträger 7 mit einer Probe 21 gut sichtbar, was einer hohen Bildqualität (Klasse K3) entspricht. Das Mikroskopbild 20B zeigt ebenfalls einen Probenträger 7, wobei eine Probe 21 noch sichtbar ist, wenn auch nur ungenau. Dies entspricht einer mittleren Bildqualität (Klasse K2). Im Mikroskopbild 20C ist lediglich ein Probenträger 7 erkennbar, während eine Probe 21 kaum oder gar nicht sichtbar ist, was einer schlechten Bildqualität (Klasse K1) entspricht.
• Ein ordinales Klassifikationsmodell soll eine Klasseneinstufung der Mikroskopbilder 20A-20C in die Klassen K1-K3 vornehmen können. Bei den dargestellten Mikroskopbildern 20A-20C kann es sich um Trainingsbilder für das ordinale Klassifikationsmodell handeln, in welchem Fall die Klassen K1-K3 vorgegebene Klassenannotationen sind, die beispielsweise manuell vergeben wurden. Ist das ordinale Klassifikationsmodell fertig trainiert, kann es aus einem eingegebenen Mikroskopbild 20A-20C die jeweils zutreffende Klasse K1, K2 oder K3 ermitteln.
• Prinzipiell könnte ein Klassifikationsmodell für die drei Klassen K1-K3 drei binäre Klassifikatoren umfassen, die eine Wahrscheinlichkeit für eine Zugehörigkeit eines eingegebenen Mikroskopbildes zur ersten, zweiten bzw. dritten Klasse K1-K3 berechnen. Dadurch alleine würde aber nicht die logische Reihenfolge R der Klassen K1-K3 berücksichtigt, in welcher die Klasse K2, mittlere Bildqualität, zwischen den Klassen K1 und K3 für eine niedrige bzw. hohe Bildqualität eingereiht ist.
• Die Reihenfolge R der Klassen K wird durch Hilfsklassen berücksichtigt, wie näher mit Bezug auf die folgende Figur beschrieben.
• FIG. 3
• 3 zeigt schematisch ein Ausführungsbeispiel eines erfindungsgemäßen computerimplementierten Verfahrens der Erfindung. Das Verfahren kann durch das Computerprogramm aus 1 umgesetzt sein und/oder die Recheneinrichtung aus 1 kann zum Durchführen des Verfahrens eingerichtet sein.
• 3 zeigt schematisch ein ordinales Klassifikationsmodell M, welches ein Backbone M1, das heißt einen ersten Verarbeitungsabschnitt, und darauffolgende binäre Klassifikatoren c umfasst. In diesem Beispiel sind zwei binäre Klassifikatoren c1, c2 vorhanden, wobei je nach Klassenanzahl weitere binäre Klassifikatoren ergänzt sein können. Ein zu klassifizierendes Mikroskopbild 20 wird dem ordinalen Klassifikationsmodell M bzw. dessen Backbone M1 eingegeben. Das Backbone M1 berechnet aus dem Mikroskopbild 20 einen Merkmalsvektor, welcher den binären Klassifikatoren c1, c2 eingegeben wird.
• Jeder binäre Klassifikator c1, c2 berechnet die Wahrscheinlichkeit, dass das Mikroskopbild 20 einer zum binären Klassifikator c1, c2 gehörenden Hilfsklasse zuzuordnen ist. Die Hilfsklasse des Klassifikator c1 umfasst alle Klassen >K1 (in diesem Beispiel also die Klassen K2 und K3). Die Hilfsklasse des Klassifikators c2 umfasst alle Klassen >K2 (in diesem Beispiel also die Klasse K3). Wenn es weitere Klassen gibt, können entsprechend weitere Hilfsklassen gebildet werden, für die ein jeweiliger binärer Klassifikator ergänzt wird. Die Klassifikatoren c sind unabhängig voneinander, das heißt, kein Klassifikator erhält als Eingabe die Ausgabe eines anderen Klassifikators.
• Der Klassifikator c1 gibt als Ergebnis eine Schätzung s1 aus, welche eine Wahrscheinlichkeit angibt, dass das Mikroskopbild 20 in die Hilfsklasse >K1 gehört, oder in anderen Worten einen Grenzwert zwischen der Klasse K1 und der Klasse K2 überschreitet (in Richtung der Klasse K2 überschreitet). Die Schätzung s1 hat einen Wertebereich von 0 bis 1.
• Analog berechnet der Klassifikator c2 eine Schätzung s2, welche im Wertebereich von 0 bis 1 liegt und eine Wahrscheinlichkeit angibt, dass das Mikroskopbild 20 in die Hilfsklasse >K2 gehört. Allgemeiner gibt jeder Klassifikator c eine Schätzung s bezüglich einer zugehörigen Hilfsklasse aus.
• Als nächstes wird ein Gesamtscore S als Summe aller Schätzungen s1, s2 gebildet. In diesem Beispiel läuft der mögliche Wertebereich des Gesamtscore S von 0 bis 2, allgemeiner läuft der Wertebereich von 0 bis zur Anzahl der binären Klassifikatoren. Nur zur Vollständigkeit wird erwähnt, dass auch ein binärer Klassifikator ergänzt werden kann, dessen Hilfsklasse die Klassen ≥ K1 umfasst.
• Der Gesamtscore S wird mit Grenz- oder Schwellwerten G1, G2 verglichen, um eine Einstufung 30 in eine der Klassen K1-K3 vorzunehmen. Die Anzahl der Schwellwerte G1, G2 kann um eins kleiner als die Anzahl der Klassen K1-K3 sein.
• Der erste Schwellwert G1 kann einen Wert zwischen 0 und 1 haben (z.B. 0,5) und der zweite Schwellwert G2 kann einen Wert zwischen 1 und 2 haben (z.B. 1,5). Nach diesem Muster können weitere Schwellwerte festgelegt werden, falls weitere Klassen und entsprechend weitere Schwellwerte bestehen.
• Unterschreitet der Gesamtscore S den ersten Schwellwert G1, wird eine Einstufung des Mikroskopbildes 20 in die Klasse K1 vorgenommen. Liegt der Gesamtscore S zwischen den Schwellwerten G1 und G2, erfolgt eine Einstufung in die Klasse K2. Bei Überschreiten des Schwellwerts G3 wird die Klasse K3 angenommen.
• Konkrete Werte der Schwellwerte G1, G2 können variabel festgelegt werden. Dadurch können die Grenzen zwischen den Klassen K1-K3 variiert werden, ohne dass ein neues Training der binären Klassifikatoren s1, s2 bzw. des ordinalen Klassifikationsmodells M nötig wäre.
• Um bei einem herkömmlichen Klassifikationsmodell Klassengrenzen zu ändern, würde ein neues Training erfolgen: Es würden beispielsweise manche Klassenannotationen von im Training verwendeten Mikroskopbildern geändert werden, beispielsweise würde die Annotation eines Mikroskopbildes, in dem eine Probe zwar gut aber nicht sehr gut erkennbar ist, von K3 zu K2 geändert. Mit den geänderten Annotationen würde ein neues Training durchgeführt werden. Gerade bei einer CNN-Architektur und einer hohen Anzahl von Trainingsbildern, beispielsweise mehreren Zehntauschend Bildern, wäre dieser Aufwand jedoch hoch. Demgegenüber bietet die variable Festlegung der Schwellwerte G1, G2 eine große Zeitersparnis und eine verbesserte Flexibilität.
• Für einen Nutzer kann eine Auswahlmöglichkeit, beispielsweise ein am Computerbildschirm angezeigter Schiebebalken, bereitgestellt werden, durch welchen der Nutzer die Schwellwerte G1, G2 und dadurch die Sensitivität für die verschiedenen Klassen K1-K3 manuell verändern kann.
• Es kann auch eine automatische Anpassung der Schwellwerte G1, G2 nach Abschluss des Trainings des ordinalen Klassifikationsmodells M abhängig von einem Nutzerverhalten erfolgen: Im Fall einer Einstufung eines Mikroskopbildes in die Klasse K2 kann beispielsweise eine Warnung an einen Nutzer ausgegeben werden, wonach unsicher ist, ob das Mikroskopbild oder der momentane Aufbau für einen weiteren Arbeitsablauf geeignet ist, z.B. für eine weitere Verarbeitung des Mikroskopbildes oder eine Navigation zu einem Probenpunkt mit anschließender Bildaufnahme. Bricht der Nutzer bei Einstufungen in die Klasse K2 den Arbeitsablauf mehrfach ab, so kann der Schwellwert G1 erhöht werden, beispielsweise von 1,5 auf 1,7. Dadurch erfolgt eher eine Einstufung in die Klasse K1 als in die Klasse K2. Folglich stuft das ordinale Klassifikationsmodell M ein Mikroskopbild eher als ungeeignet (Klasse K1) ein, was das Nutzerverhalten widerspiegelt.
• Erachtet ein Nutzer Mikroskopbilder der Klasse K2 überwiegend als geeignet und fährt mit dem Arbeitsablauf fort, so kann automatisch der Schwellwert G2 reduziert werden, z.B. von 1,5 auf 1,3. Dadurch werden Mikroskopbilder eher als geeignet (Klasse K3) und seltener als unsicher (Klasse K2) eingestuft.
• Alternativ oder zusätzlich kann in dem Fall, dass ein Nutzer bei Einstufungen von Mikroskopbildern in die Klasse K1 (schlechte Qualität) dennoch wiederholt einen Arbeitsablauf mit den Mikroskopbildern fortsetzt, der Grenzwert G1 reduziert werden, so dass mit dem ordinalen Klassifikationsmodell M anstelle der Klasse K1 häufiger die Klasse K2 (mittlere Qualität) bestimmt wird.
• Eine Abwandlung der Ausführung von 3 wird mit Bezug auf die folgende Figur beschrieben.
• FIG. 4
• 4 zeigt schematisch ein weiteres Ausführungsbeispiel eines erfindungsgemäßen computerimplementierten Verfahrens der Erfindung.
• Wie zu 3 beschrieben, wird ein ordinales Klassifikationsmodell M verwendet, welches ein Backbone M1 und mehrere binäre Klassifikatoren c1-c2 umfasst, deren Schätzungen s1-s2 zu einem Gesamtscore S addiert werden.
• Im Unterschied zu 3 wird der vom Backbone M1 ausgegebene Merkmalsvektor aber auch weiteren binären Klassifikatoren c1 `-c2` zugeführt. Die weiteren binären Klassifikatoren c1 `-c2` berechnen ebenfalls eine Schätzung einer Zugehörigkeit des Mikroskopbildes 20 zu einer jeweiligen Hilfsklasse, welche nachfolgend als inverse Hilfsklasse bezeichnet wird. Die (inversen) Hilfsklassen der weiteren binären Klassifikatoren c1 ‚-c2‘ beginnen mit einem Trennen der Klassen K1-K3 in zwei Gruppen am anderen Ende als die binären Klassifikatoren c1-c2. Das heißt, der Klassifikator c1' gibt eine Schätzung s1' einer Zugehörigkeit des Mikroskopbildes 20 zu einer inversen Hilfsklasse an, welche die Klassen <K3 (also die Klassen K1 und K2) umfasst. Der nächste Klassifikator c2` gibt eine Schätzung s2` einer Zugehörigkeit des Mikroskopbildes 20 zu einer inversen Hilfsklasse an, welche die Klassen <K2 (also die Klasse K1) umfasst. Im Fall weiterer Klassen würden entsprechend weitere binäre Klassifikatoren gebildet, für welche die Trennung zwischen Klassen jeweils um eine Klasse reduziert wird.
• Ein weiterer Gesamtscore S' wird im Fall der vorliegenden Hilfsklasseneinteilung gebildet, indem die Summe aus den Schätzungen s1', s2' aller weiteren binären Klassifikatoren c1', c2' gebildet wird und diese Summe von der Gesamtzahl an weiteren binären Klassifikatoren (in diesem Beispiel 2) abgezogen wird. Der weitere Gesamtscore S' sollte idealerweise gleich dem Gesamtscore S der binären Klassifikatoren c1-c2 sein. Im Fall einer Abweichung kann diese als Genauigkeitsmaß genutzt werden.
• Ein Durchschnitt A aus dem Gesamtscore S und dem weiteren Gesamtscore S' ist in der Regel präziser als ein Gesamtscore S eines ordinalen Klassifikationsmodells, welches nicht die weiteren binären Klassifikatoren c1' ‚-c2‘ umfasst. Der Durchschnitt A kann z.B. als A=(S+S`)/2 berechnet werden. Der Durchschnitt A wird für die Einstufung 30 des Mikroskopbildes 20 in eine der Klassen K1-K3 in gleicher Weise verwendet, wie bezüglich des Gesamtscore S zu 3 beschrieben. Die Schwellwerte G1, G2 können wiederum variabel festlegbar sein oder auch konstant vorgegeben sein.
• In einer Abwandlung dieser Ausführung wird mit dem Gesamtscore S und dem weiteren Gesamtscore S' jeweils eine Einstufung 30 des Mikroskopbildes 20 in eine der Klassen K1-K3 vorgenommen. Wird in beiden Fällen dieselbe Klasse ermittelt, kann von einer hohen Zuverlässigkeit ausgegangen werden, während im Fall verschiedener ermittelter Klassen eine Warnung ausgegeben werden kann.
• In einem Training des ordinalen Klassifikationsmodells M aus 4 wird das Backbone M1 sowohl über den Pfad (head) der Klassifikatoren c1, c2 als auch über den Pfad der weiteren Klassifikatoren c1', c2' trainiert. Daher hat das Hinzufügen der weiteren Klassifikatoren c1', c2' direkt eine Auswirkung auf die im Training ermittelten Modellparameterwerte des Backbone M1 und auch eine Auswirkung auf die im Training ermittelten Modellparameterwerte der Klassifikatoren c1, c2. Insgesamt wirken die weiteren Klassifikatoren c1', c2' stabilisierend auf das Training und verbessern die Genauigkeit der Klassifikatoren c1, c2. Experimentell konnte beobachtet werden, dass ein wie dargestellt gestaltetes und trainiertes ordinales Klassifikationsmodell M auch dann präzise und zuverlässige Ergebnisse liefert, wenn nach dem Training nur der Gesamtscore S oder nur der weitere Gesamtscore S' berechnet und für eine Klasseneinstufung 30 verwendet wird. Daher muss das ordinale Klassifikationsmodell M in der Inferenz nicht zwingend beide Pfade über die Klassifikatoren c1, c2 und die weiteren Klassifikatoren c1', c2` nutzen, vielmehr genügt auch einer dieser Pfade.
• FIG. 5
• 5 zeigt schematisch ein weiteres Mikroskopbild 20, bei dem es sich um ein Probenbild handelt, das mit stärkerer Vergrößerung aufgenommen ist als die bisher beschriebenen Mikroskopbilder. Das Mikroskopbild 20 aus 5 zeigt mehrere Objekte 21, bei denen es sich um biologische Zellen handelt. Ein Ausschnitt 20' des Mikroskopbildes 20 ist vergrößert dargestellt. Eine typische Aufgabe einer Bildanalyse ist die Bestimmung der Größe der im Mikroskopbild 20 dargestellten Objekte 21 bzw. Zellen. Die Größe (Bildgröße) wird in Pixeln bestimmt und bezeichnet z.B. die größte Abmessung bzw. den Durchmesser eines Objekts 21 oder die Fläche in Pixeln eines Objekts 21. Eine Größenbestimmung kann für mehrere oder alle der dargestellten Objekte 21 gewünscht sein. Im Folgenden kann unter dem Begriff „Objektgröße“ auch ein Durchschnitt der Größen aller oder mehrerer Objekte 21 desselben Bildes verstanden werden.
• Die Größenbestimmung wird vorliegend durch ein ordinales Klassifikationsmodell durchgeführt, welches wie zu den vorhergehenden Figuren beschrieben gestaltet sein kann, jedoch eine größere Anzahl an Klassen nutzt. Dies wird nachstehend zu den nächsten Figuren beschrieben.
• FIG. 6
• 6 zeigt links eine Tabelle mit den Klassen K, wie sie für eine Größenklassifizierung der Objekte des Mikroskopbildes 20 aus 5 genutzt werden. In der Tabelle gibt die linke Spalte die jeweilige Nummer einer Klasse K an und die rechte Spalte das zugehörige Intervall i. Die erste Klasse K1 umfasst demnach Objekte mit einer Größe ab einer Intervalluntergrenze von einschließlich 3,4 Pixeln bis zu einer Intervallobergrenze von 4,0 Pixel, wobei die Intervallobergrenze nicht zum Intervall i hinzugehört. Die Klassen K bilden unterschiedlich breite Intervalle i, wobei die Breite eines Intervalls i als Differenz zwischen ihrer Intervallobergrenze und ihrer Intervalluntergrenze definiert sein kann. Eine Intervallbreite nimmt in diesem Beispiel mit zunehmender Objektgröße exponentiell zu. Allgemeiner formuliert steigt die Intervallbreite mit zunehmendem Wert der Bildeigenschaft, nach welcher die ordinalen Klassen K gebildet sind.
• Wie bereits beschrieben, nutzt ein ordinales Klassifikationsmodell nicht Klassifikatoren, welche Zugehörigkeiten zu diesen Klassen schätzen, sondern Klassifikatoren, welche eine Zugehörigkeit zu jeweils einer Hilfsklasse schätzen. Die Hilfsklassen sind in den weiteren Tabellen der 6 gezeigt.
• In der mittleren Tabelle von 6 sind Hilfsklassen H angegeben, die zu den Klassen K1-K17 der linken Tabelle gebildet sind. Zur jeweiligen Hilfsklasse H ist die entsprechende Intervallgrenze j angegeben. Die Hilfsklassen H1 bis H17 werden gebildet, indem die Intervallgrenzen der Klassen K als Intervalluntergrenzen der Hilfsklassen H verwendet werden, ohne dass Intervallobergrenzen dieser Hilfsklassen nötig sind. (Alternativ könnte eine Intervallobergrenze so festgelegt werden, dass alle Objekte hierunter fielen, beispielsweise eine Intervallobergrenze von 64 Pixeln oder mehr.) Die Hilfsklasse H2 umfasst beispielsweise alle Objektgrößen ab einschließlich 4,0 Pixeln, wobei es keine Intervallobergrenze gibt.
• In einer Erfindungsvariante werden allein die Hilfsklassen H1-H17 genutzt, wofür entsprechende binäre Klassifikatoren der Nummern 1-17 trainiert werden. Für das Training des binären Klassifikators Nr. 9 werden beispielsweise alle Mikroskopbilder, deren dargestellte Objekte eine mittlere Größe von größer oder gleich 13,5 Pixel haben, mit einer positiven Annotation versehen und alle übrigen Mikroskopbilder mit einer negativen Annotation. Alle binären Klassifikatoren werden mit den gleichen (allen) Mikroskopbildern trainiert, wobei sich die Annotationen unterscheiden.
• In der Inferenz (nach Abschluss des Trainings) wird dem ordinalen Klassifikationsmodell ein Mikroskopbild eingegeben und die Klassifikatoren geben jeweils eine Wahrscheinlichkeit der Zugehörigkeit zur entsprechenden Hilfsklasse an. Beispielsweise können die siebzehn Klassifikatoren für die Hilfsklassen 1 bis 17 die folgenden Schätzungen ausgeben: 0.97; 0.94; 0.95; 0.92; 0.90; 0.75; 0.12; 0.08; 0.04; 0.03; 0.03; 0.02; 0.02; 0.01; 0.01; 0.01; 0.01. Der Gesamtscore, also die Summe aller Schätzungen, ergibt in diesem Fall 5.81. Für eine Klasseneinstufung wird der Gesamtscore mit Schwellwerten verglichen. Die Schwellwerte können beispielsweise um -0.5 und +0.5 um die entsprechende Klassennummer liegen, so dass die Klasse Nr. 6 für einen Gesamtscore zwischen 5.5 und 6.5 ausgewählt wird. Im vorgenannten Beispiel mit einem Gesamtscore von 5.81 wird demnach die Klasse Nr. 6 ermittelt und es kann die zugehörige Klassengröße von [8.0 - 9.5) Pixel angegeben werden.
• Alternativ kann anstelle einer Klassenangabe auch eine Abbildung auf eine kontinuierliche Zahlenskala erfolgen, in diesem Beispiel auf eine kontinuierliche Pixelangabe der Zellgröße. Dazu wird auf eine Funktion zurückgegriffen, welche die Klassennummer auf die Hilfsintervallgrenzen abbildet. Im dargestellten Beispiel ergeben sich die Hilfsintervallgrenzen j aus den Klassennummern k durch: j=2^((k+6)/4), wobei k von 1 bis 17 läuft, um die Grenzen für die Hilfsklassen H1 bis H17 zu berechnen. Der Zusammenhang zwischen dem Gesamtscore S und der kontinuierlichen Objektgröße Y ist dann gegeben durch: Y=2^((S+0.5+6)/4) bzw. allgemeiner, indem j durch Y ersetzt wird und die Variable für die Klassennummer k ersetzt wird durch (S+0.5) oder durch S plus eine Zahl größer 0 und kleiner 1. Für den Gesamtscore S=5.81 ergibt sich somit die Objektgröße Y=2^((5.81+0.5+6)/4)=8.4. In dieser Weise kann mit Hilfe binärer Klassifikatoren ein Zahlenwert einer klassifizierten Bildeigenschaft auf einer kontinuierlichen Zahlenskala angegeben werden, womit eine präzisere Angabe möglich ist als allein durch Benennung des Intervalls einer Klasse.
• Werden ausschließlich Trainingsbilder verwendet, welche die Bedingung für die erste Hilfsklasse H1 erfüllen, so kann prinzipiell die erste Hilfsklasse auch entfallen.
• In einer Abwandlung der oben beschriebenen Ausführung werden weitere Hilfsklassen benutzt, welche als inverse Hilfsklassen iH bezeichnet werden und in der rechten Tabelle von 6 angegeben sind. Die inversen Hilfsklassen sind mit den Nummern iH18 bis iH34 versehen. Für jede der weiteren / inversen Hilfsklassen iH18-iH34 kann ein entsprechender weiterer binärer Klassifikator gelernt werden. Die Hilfsklassen H1-H17 wurden mit den Intervalluntergrenzen der 17 Klassen als Grenzen gebildet, wobei eine Zugehörigkeit zu einer Hilfsklasse jeweils bei Übersteigen der Grenze bejaht wird. Die inversen Hilfsklassen iH18-iH34 werden mit den Intervallobergrenzen der 17 Klassen als Grenzen gebildet, wobei eine Zugehörigkeit zu einer Hilfsklasse jeweils bei Unterschreiten der Grenze bejaht wird.
• Aus den Schätzungen der Klassifikatoren für die inversen Hilfsklassen iH18-iH34 kann ebenfalls eine Klasseneinstufung oder ein Wert in einem kontinuierlichen Wertebereich der Bildeigenschaft ermittelt werden. Übereinstimmende oder verschiedene Klasseneinstufungen durch die Klassifikatoren für die Hilfsklassen H1-H17 und die Klassifikatoren für die inversen Hilfsklassen iH18-iH34 geben Auskunft über die Verlässlichkeit der Klasseneinstufung. Werden kontinuierliche Werte berechnet, kann ein Durchschnitt als präzisere Angabe gebildet werden, wobei die Differenz zwischen den kontinuierlichen Werten ein Maß für die Genauigkeit ist.
• FIG. 7
• 7 illustriert ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens, welches die Klassen und Hilfsklassen aus 6 nutzt. Die Klassen bilden in diesem Beispiel eine Reihenfolge hinsichtlich der durchschnittlichen Größe dargestellter Objekte im Mikroskopbild.
• Ein auszuwertendes Mikroskopbild 20 wird dem ordinalen Klassifikationsmodell M eingegeben. Für jede der in 6 gezeigten Hilfsklassen H1-H17 umfasst das ordinale Klassifikationsmodell M einen jeweiligen binären Klassifikator c1-c17. Zudem ist für jede der inversen Hilfsklassen iH18-iH34 ein jeweiliger binärer Klassifikator c1'-c17` vorhanden. Für das Training von beispielsweise dem binären Klassifikator c4 wurden alle im Training verwendeten Mikroskopbilder, deren Objektgröße die Schwellwert-Bedingung „Objektgröße ≥ 5.7“ erfüllt, mit einer positiven Annotation (z.B. 1) versehen und alle übrigen Mikroskopbilder mit einer negativen Annotation (z.B. 0). Äquivalent hierzu ist, wenn für das Training des binären Klassifikators c4 alle Mikroskopbilder der Klassen K4-K17 mit einer positiven Annotation versehen werden, und alle Mikroskopbilder der Klassen K1-K3 mit einer negativen Annotation.
• Die Schätzungen s1-s17 der binären Klassifikatoren c1-c17 werden zu einem Gesamtscore S addiert. Optional kann zudem ein weiterer Gesamtscore S' gebildet werden, indem die Summe der Schätzungen s1 ‚-s17‘ der binären Klassifikatoren c1'-c17' gebildet und im Fall der vorliegenden Hilfsklasseneinteilung von der um eins erhöhten Anzahl an binären Klassifikatoren c1 ‚-c17‘ bzw. Klassen K1-K17 abgezogen wird, in diesem Beispiel also von 18. Die beiden Gesamtscores S und S' sollten übereinstimmen und eine Abweichung kann als Genauigkeitsmaß dienen. Als Nächstes erfolgt eine Umrechnung 35 von jeweils dem Gesamtscore S und S' oder von einem Mittelwert aus S und S' auf einen Wert x1 innerhalb eines kontinuierlichen Wertebereichs x der Bildeigenschaft, nach welcher die Klassen K1-K17 gebildet sind. Gegenüber einer Einstufung in diskrete Klassen kann der Wert x1 jeden beliebigen Wert im kontinuierlichen Wertebereich x annehmen. Der Wertebereich x betrifft hier die Objektgröße, welche beispielhaft zwischen 3.4 und 64 Pixeln liegen kann. Anstelle der Objektgröße können auch andere geometrische Eigenschaften die Bildeigenschaft darstellen, nach welcher die Klassen geordnet sind. Andere geometrische Eigenschaften sind z.B. eine Konfluenz, eine Orientierung eines dargestellten Objekts, beispielsweise eines Deckglases oder Probenträgers, oder ein Abstand eines dargestellten Objekts von einer Bildmitte. Weitere Bildeigenschaften können z.B. die Bildqualität, die Bildschärfe oder den Kontrast in einem bestimmten Bildausschnitt betreffen.
• Ein Bildverarbeitungsalgorithmus 40 verarbeitet nun das Mikroskopbild 20 abhängig vom berechneten Wert x1 der Bildeigenschaft und abhängig von einem vorgegebenen Zielwert x0 der Bildeigenschaft. Beispielsweise kann die Größe von Objekten (Zellen) im Mikroskopbild 20 zu einem Wert x1 = 11 Pixel berechnet sein, während der Zielwert x0 = 8 Pixel beträgt. Der Bildverarbeitungsalgorithmus 40 führt eine Umrechnung 45 des Mikroskopbildes 20 durch, um ein umgerechnetes Mikroskopbild 22 zu bilden, bei dem ein Wert der Bildeigenschaft näher am Zielwert x0 liegt. In diesem Beispiel kann die Umrechnung 45 als Skalierung um einen Faktor x0/x1 =8/11 erfolgen.
• Das umgerechnete Mikroskopbild 22 wird erneut dem ordinalen Klassifikationsmodell M eingegeben, um sicherzustellen, dass der Wert x1 für das umgerechnete Mikroskopbild 22 mit dem Zielwert x0 übereinstimmt. Andernfalls erfolgt erneut die Umrechnung 45.
• Ist der Zielwert x0 erreicht, kann das umgerechnete Mikroskopbild 22 einem weiteren Bildverarbeitungsprogramm zugeführt werden, welches für Mikroskopbilder mit einer Bildeigenschaft, welche gerade dem Zielwert x0 entspricht, gestaltet ist. Beispielsweise kann das Bildverarbeitungsprogramm zum Zählen von dargestellten Objekten gestaltet sein, wobei im Wesentlichen nur Objekte erkannt und gezählt werden, deren Größen in Pixeln mit dem Zielwert x0 übereinstimmen.
• FIG. 8 und 9
• Die 8 und 9 illustrieren ein weiteres Beispiel zur Anwendung eines erfindungsgemäßen Verfahrens, bei welchem ein ordinales Klassifikationsmodell genutzt wird.
• 8 zeigt ein Mikroskopbild 20, bei welchem es sich um ein Übersichtsbild handelt, das von einer Übersichtskamera an einem inversen Mikroskop aufgenommen wurde. Die Übersichtskamera blickt schräg auf einen Probenträger 7. Zudem ist ein Teil eines Kondensors 14 im Mikroskopbild sichtbar. Der Probenträger 7 ist in diesem Beispiel eine Mikrotiterplatte mit mehreren Töpfchen 7A, in welchen sich Proben befinden können. Per Bildverarbeitung soll eine automatische Segmentierung erfolgen, in welcher alle Töpfchen 7A erkannt werden. Eine automatisch erstellte Segmentierungsmaske kann beispielsweise als Navigationskarte dienen, wobei ein Nutzer ein Töpfchen in der Segmentierungsmaske auswählt und automatisch der Probentisch so verfahren wird, dass das ausgewählte Töpfchen auf der optischen Achse des Objektivs liegt. Wie aus 8 ersichtlich, liegt eine schräge Blickrichtung auf den Probenträger 7 vor, wodurch die kreisförmigen Töpfchen 7A perspektivisch verzerrt sind. Dies erschwert eine automatische Segmentierung. Daher soll zunächst eine Umwandlung (homographische Abbildung) des Mikroskopbildes 20 in eine Draufsicht erfolgen.
• 9 zeigt schematisch ein solches Mikroskopbild 25, welches einer Draufsicht auf den Probenträger 7 entspricht und aus dem Mikroskopbild 20 der 8 berechnet ist. In 9 wurde zudem bereits eine automatische Segmentierung berechnet, durch welche die Töpfchen 7A erkannt und markiert (in 9 schraffiert) wurden. Um die Umwandlung oder homographische Abbildung des Mikroskopbildes 20 in eine Draufsicht zu berechnen, muss eine Höhenlage des Probenträgers 7 bekannt sein bzw. geschätzt werden. Aus dem Mikroskopbild 20 der 8 kann prinzipiell eine Höhenlage der dargestellten Strukturen mit Hilfe eines trainierten Modells geschätzt werden. Beispielsweise kann dazu genutzt werden, dass die im Mikroskopbild 20 elliptisch erscheinenden Töpfchen tatsächlich eine Kreisform haben und eine Verzerrung der Kreisform zu einer Ellipse abhängig von der Höhenlage ist. Gleichermaßen bilden die Kanten des Probenträgers 7, welche im Mikroskopbild 20 als Trapezform erscheinen, tatsächlich eine Rechteckform oder Quadratform, und die perspektivische Verzerrung ist wiederum abhängig von der Höhenlage. Berechnungsmethoden, um bei Kenntnis der Höhenlage eine Draufsicht zu berechnen, wurden von der Anmelderin in DE 10 2020 101 191 beschrieben.
• Die Schätzung einer Höhenlage der im Mikroskopbild 20 dargestellten Strukturen kann mit Hilfe eines ordinalen Klassifikationsmodells erfolgen. Die zu ermittelnde Bildeigenschaft ist demnach die Höhenlage. Ordinale Klassen bilden eine Reihenfolge verschiedener Höhenlagen. Analog zu den vorhergehenden Beschreibungen kann ein ordinales Klassifikationsmodell gelernt werden, welches ein Mikroskopbild 20 als Eingabe erhält und einen Gesamtscore oder direkt eine Höhenlage als Ergebnis ausgibt. Die Klassen können verschiedene Breiten haben bzw. können Grenzen zwischen den Hilfsklassen verschieden große Abstände zueinander haben. Dadurch wird eine höhere Genauigkeit um eine bestimmte Höhenlage erzielt, während mit geringerer Genauigkeit ein besonders großer Höhenbereich abgedeckt werden kann.
• Die zu den verschiedenen Figuren beschriebenen Varianten können miteinander kombiniert werden. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
• Bezugszeichenliste

1

Mikroskop

2

Stativ

3

Objektivrevolver

4

(Mikroskop-)objektiv

5

Beleuchtungseinrichtung

6

Probentisch

7

Probenträger

7A

Töpfchen eines Probenträgers 7

8

Mikroskopkamera

9

Übersichtskamera

9A

Sichtfeld der Übersichtskamera

9B

Spiegel

10

Recheneinrichtung

11

Computerprogramm

12

berührungsempfindlicher Bildschirm

14

Kondensor

20, 20A-20C

Mikroskopbilder

20'

vergrößerter Ausschnitt eines Mikroskopbildes

21

Probe / Objekt(e)

22

umgerechnetes / skaliertes Mikroskopbild

25

Berechnete Draufsicht aus dem Mikroskopbild

30

Klasseneinstufung

35

Umrechnung des Gesamtscore in einen Wert der Bildeigenschaft

40

Bildverarbeitungsalgorithmus

45

Umrechnung / Skalierung des Mikroskopbildes

100

Mikroskopiesystem

A

Durchschnitt der Gesamtscores S und S'

c, c1-c17, c1 ‚-c17‘

binäre Klassifikatoren

G1, G2

Schwellwerte zur Klasseneinstufung

H, H1-H17

(kumulierte) Hilfsklassen

i

Intervall einer Klasse

iH, iH18-iH34

inverse Hilfsklassen

j

Intervallgrenze einer Hilfsklasse oder inversen Hilfsklasse

K, K1-K17

Klassen

M

Modell zur ordinalen Klassifikation (ordinales Klassifikationsmodell)

M1

Backbone des ordinalen Klassifikationsmodells

R

Reihenfolge der Klassen hinsichtlich einer Bildeigenschaft

s, s1-s17, s1'-s17'

Schätzungen der binären Klassifikatoren

S, S'

Gesamtscore aus den Schätzungen der binären Klassifikatoren

x

kontinuierlicher Wertebereich der Bildeigenschaft

x0

Zielwert der Bildeigenschaft

x1

aus dem Gesamtscore berechneter Wert der Bildeigenschaft

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102020101191 [0105]

Claims (15)

1. Ein computerimplementiertes Verfahren zur ordinalen Klassifizierung von mindestens einem Mikroskopbild (20), um eine Klasseneinstufung (30) in eine von mehreren Klassen (K) zu berechnen, welche bezüglich einer Bildeigenschaft eine Reihenfolge (R) bilden, wobei das Verfahren umfasst: Eingeben des mindestens einen Mikroskopbildes (20) in ein maschinell gelerntes Modell (M) zur ordinalen Klassifizierung, welches mehrere binäre Klassifikatoren (c, c1-c17) umfasst, welche jeweils eine Schätzung (s, s1-s17) einer Zugehörigkeit des Mikroskopbildes (20) zu einer kumulierten Hilfsklasse (H) berechnen, wobei in den kumulierten Hilfsklassen (H) verschieden viele der in der Reihenfolge (R) aufeinanderfolgenden Klassen (K) zusammengefasst sind, dadurch gekennzeichnet, dass die Schätzungen (s, s1-s17) der binären Klassifikatoren (c, c1-c17) zu einem Gesamtscore (S) zusammengefasst werden; dass die Klasseneinstufung (30) durch Vergleich des Gesamtscores (S) mit Schwellwerten (G1, G2) erfolgt, wobei die Schwellwerte (G1, G2) anwendungsabhängig variabel festgelegt werden.
2. Das computerimplementierte Verfahren nach Anspruch 1, wobei abhängig von der Klasseneinstufung (30) eine Handlungsempfehlung an einen Nutzer ausgegeben wird; wobei eine automatische Anpassung der Schwellwerte (G1, G2) abhängig davon erfolgt, ob ein Nutzer die Handlungsempfehlung missachtet.
3. Das computerimplementierte Verfahren nach Anspruch 1 oder 2, wobei Intervallgrenzen der Klassen (K) so festgelegt sind, dass die Klassen (K) unterschiedlich breite Intervalle (i) bilden.
4. Ein computerimplementiertes Verfahren zur ordinalen Klassifizierung von mindestens einem Mikroskopbild (20), um eine Klasseneinstufung (30) in eine von mehreren Klassen (K) zu berechnen, welche bezüglich einer Bildeigenschaft eine Reihenfolge (R) bilden, wobei das Verfahren umfasst: Eingeben des mindestens einen Mikroskopbildes (20) in ein maschinell gelerntes Modell (M) zur ordinalen Klassifizierung, welches mehrere binäre Klassifikatoren (c, c1-c17) umfasst, welche jeweils eine Schätzung (s, s1-s17) einer Zugehörigkeit des Mikroskopbildes (20) zu einer kumulierten Hilfsklasse (H) berechnen, wobei in den kumulierten Hilfsklassen (H) verschieden viele der in der Reihenfolge (R) aufeinanderfolgenden Klassen (K) zusammengefasst sind, wobei die Klasseneinstufung (30) aus den Schätzungen (s, s1-s17) der binären Klassifikatoren (c, c1-c17) berechnet wird; dadurch gekennzeichnet, dass Intervallgrenzen der Klassen (K) so festgelegt werden, dass die Klassen (K) unterschiedlich breite Intervalle (i) bilden.
5. Das computerimplementierte Verfahren nach Anspruch 3 oder 4, wobei eine Breite eines Intervalls (i) einer der Klassen (K) umso größer festgelegt wird, je größer eine Intervalluntergrenze dieser Klasse (K) ist.
6. Das computerimplementierte Verfahren nach Anspruch 3 oder 4, wobei eine Breite der Intervalle (i) umso größer festgelegt ist, je weiter die entsprechende Klasse (K) von einem vorgegebenen Zielwert (x0) entfernt ist.
7. Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 6, wobei die Klassen (K) eine geometrische Eigenschaft des Bildinhalts des Mikroskopbildes (20) betreffen und der vorgegebene Zielwert (x0) ein Zielwert der geometrischen Eigenschaft ist; wobei ein Bildverarbeitungsalgorithmus (40) das Mikroskopbild (20) abhängig von der Klasseneinstufung (30) umrechnet, so dass die geometrische Eigenschaft dem vorgegebenen Zielwert (x0) angenähert wird.
8. Das computerimplementierte Verfahren nach Anspruch 7, wobei die geometrische Eigenschaft eine Bildgröße dargestellter Objekte (21) ist, wobei der Bildverarbeitungsalgorithmus (40) eine Skalierung (45) des Mikroskopbildes (20) durchführt, durch welche die Bildgröße dargestellter Objekte (21) zu einer gewünschten Bildgröße hin skaliert wird.
9. Das computerimplementierte Verfahren nach Anspruch 7 oder 8, wobei für ein vom Bildverarbeitungsalgorithmus (40) umgerechnetes Mikroskopbild (22) eine neue Klasseneinstufung (30) erfolgt, wobei abhängig von der neuen Klasseneinstufung (30) der Bildverarbeitungsalgorithmus (40) das umgerechnete Mikroskopbild (22) nochmals umrechnet, um die geometrische Eigenschaft an den Zielwert (x0) anzunähern.
10. Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 9, wobei das Mikroskopbild (20) eines von mehreren Trainingsbildern ist, an welchen maschinell ein Modell (M) gelernt wird, wobei durch eine Daten-Augmentierung aus dem Mikroskopbild (20) ein oder mehrere neue Bilder berechnet werden, die ebenfalls als Trainingsbilder verwendet werden, wobei der aus den Schätzungen (s, s1-s17) der binären Klassifikatoren (c, c1-c17) bestimmte Gesamtscore (S) in der Daten-Augmentierung berücksichtigt wird, so dass die neuen Bilder derselben Klasse (K) angehören.
11. Ein computerimplementiertes Verfahren zum Auswerten von mindestens einem zu untersuchenden Mikroskopbild (20) mit Hilfe eines ordinalen Klassifikationsmodells (M), wobei das ordinale Klassifikationsmodell (M) anhand von Mikroskopbildern (20) trainiert ist, zu denen jeweils eine vorgegebene Klassenannotation angibt, welcher Klasse (K; K1-K17) das jeweilige Mikroskopbild (20) angehört, wobei die Klassen (K; K1-K17) bezüglich einer Bildeigenschaft eine Reihenfolge (R) von einer ersten Klasse (K1) bis zu einer letzten Klasse (K17) bilden; wobei mehrere Hilfsklassen (H1-H17) gebildet sind, die verschieden viele aufeinanderfolgende Klassen (K) enthalten; wobei zumindest mehrere inverse Hilfsklassen (iH18-iH34) dadurch gebildet sind, dass sie gerade diejenigen Klassen (K) enthalten, welche in einer der Hilfsklassen (H1-H17) nicht enthalten sind; wobei aus den Klassenannotationen zu jedem Mikroskopbild (20) Hilfsklassenannotationen erzeugt werden, welche eine Zugehörigkeit des jeweiligen Mikroskopbildes (20) zu den verschiedenen Hilfsklassen (H1-H17) und den inversen Hilfsklassen (iH18-iH34) bejahen oder verneinen; wobei das ordinale Klassifikationsmodell (M) für jede der Hilfsklassen (H1-H17) und inversen Hilfsklassen (iH18-iH34) einen jeweiligen binären Klassifikator (c; c1-c17; c1'-c17') umfasst, welcher dazu trainiert wird, eine Schätzung (s; s1-s17; s1'-s17') einer Zugehörigkeit eines Mikroskopbildes (20) zur entsprechenden Hilfsklasse (H1-H17) beziehungsweise zur entsprechenden inversen Hilfsklasse (iH18-iH34) zu berechnen; wobei das zu untersuchende Mikroskopbild (20) dem ordinalen Klassifikationsmodell (M) eingegeben wird und wobei die somit berechneten Schätzungen (s1-s17) der binären Klassifikatoren (c1-c17) der Hilfsklassen (H1-H17) zu einem Gesamtscore (S) zusammengefasst werden und/oder wobei die somit berechneten Schätzungen (s1'-s17') der binären Klassifikatoren (c1'-c17`) der inversen Hilfsklassen (iH18-iH34) zu einem Gesamtscore (S`) zusammengefasst werden; wobei basierend auf dem Gesamtscore (S) oder den beiden Gesamtscores (S, S') ein Maß für die Bildeigenschaft bestimmt wird.
12. Das computerimplementierte Verfahren nach Anspruch 11, wobei mehrere Hilfsklassen (H) gebildet sind, in denen verschieden viele aufeinanderfolgende Klassen (K) in folgender Weise zusammengefasst sind: - eine erste Hilfsklasse (H1) umfasst alle Klassen (K1-K17), - jede weitere Hilfsklasse (H) umfasst je eine Klasse (K) weniger, gemäß der Reihenfolge (R) und beginnend bei der ersten Klasse (K1), - eine letzte Hilfsklasse (H17) umfasst allein die letzte Klasse (K17), wobei mehrere inverse Hilfsklassen (iH18-iH34) gebildet sind, in denen verschieden viele aufeinanderfolgende Klassen (K) in folgender Weise zusammengefasst sind: - eine erste inverse Hilfsklasse (iH18) umfasst allein die erste Klasse (K1), - jede weitere inverse Hilfsklasse (iH) umfasst zusätzlich je eine weitere Klasse (K) gemäß der Reihenfolge (R), - eine letzte inverse Hilfsklasse (iH34) umfasst alle Klassen (K).
13. Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 12, wobei zur Klasseneinstufung (30) durch den Gesamtscore (S) zunächst eine Rundung des Gesamtscore (S) auf eine ganze Zahl erfolgt und sodann diejenige Hilfsklasse (H) identifiziert wird, welche in ihrer Nummer der ganzen Zahl entspricht, wobei die Klasseneinstufung (30) in diejenige Klasse (K) erfolgt, welche ein Intervall (i) abdeckt, das von einem Grenzwert der identifizierten Hilfsklasse bis zu einem Grenzwert der darauffolgenden Hilfsklasse läuft.
14. Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 13, wobei eine Umrechnung (35) des Gesamtscore (S) in einen Wert (x1) aus einem kontinuierlichen Wertebereich (x) der Bildeigenschaft erfolgt.
15. Ein Mikroskopiesystem mit einem Mikroskop (1) zur Bildaufnahme; und einer Recheneinrichtung (10), die dazu eingerichtet ist, das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche auszuführen.

Images