DE102020123505A1

DE102020123505A1 - Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes

Info

Publication number: DE102020123505A1
Application number: DE102020123505.4A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2022-03-10
Also published as: US20220078340A1; CN114236804A

Abstract

Ein Mikroskopiesystem umfasst ein Mikroskop (1) und eine Recheneinrichtung (20), welche eingerichtet ist, das Mikroskop (1) dazu anzusteuern, mit verschiedenen Aufnahmeparametern (P) mehrere Übersichtsrohbilder (11-15) aufzunehmen (S1), die jeweils eine Probenumgebung zeigen. Die Recheneinrichtung (20) umfasst ein mit Trainings-Übersichtsrohbildern (T) trainiertes Maschinenlernmodell (M), welches die Übersichtsrohbilder (11-15) als Eingaben erhält (S2) und hieraus eine Ausgabe erzeugt (S4), welche das Übersichtsbild (30) ist oder festlegt. Ein entsprechendes Verfahren zum Erzeugen eines Übersichtsbildes wird beschrieben.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zum Erzeugen eines Übersichtsbildes.
HINTERGRUND
In modernen Mikroskopiesystemen spielt eine Automatisierung eine zunehmend wichtige Rolle. Eine zu untersuchende Probe soll beispielsweise vom Mikroskopiesystem weitgehend automatisiert erfasst, angefahren und näher untersucht werden. Hierzu wird einem Nutzer eine Übersichts- oder Navigationskarte geboten, in welcher der Nutzer einen Ort auswählen kann, der sodann automatisch mit einem motorisierten Probentisch angefahren und mit stärkerer Vergrößerung untersucht werden kann. Eine automatische Probenerkennung kann auch dem Kollisionsschutz dienen, indem erlaubte Verfahrbereiche motorisierter Mikroskopkomponenten basierend auf der erkannten Probe bzw. dem erkannten Probenträger festgelegt werden. Eine Autofokussierung oder automatische Grobfokussierung ist ebenfalls wünschenswert.
Diese Aufgaben sollen maßgeblich mit Hilfe eines Übersichtsbildes verwirklicht werden. So umfasst ein gattungsgemäßes Mikroskopiesystem ein Mikroskop, welches dazu eingerichtet ist, ein Übersichtsrohbild von einer Probenumgebung aufzunehmen. Das Übersichtsrohbild kann entweder direkt, oder nach einer Bildverarbeitung als Übersichtsbild verwendet werden. Eine möglichst gute Bildqualität ist wichtig, um die vorgenannten Ziele mit einer möglichst hohen Zuverlässigkeit erreichen zu können. Dies wird insbesondere durch variable Umgebungs- und Messbedingungen erschwert.
Beleuchtungsverhältnisse können stark variieren, unter anderem durch Umgebungslicht, welches nicht von einer Lichtquelle des Mikroskopiesystems stammt. Verschiedenartige Probenträger und Proben können verwendet werden, die sich in ihrer Sichtbarkeit in einem Übersichtsrohbild stark unterscheiden.
Mikroskopiesysteme, die ein Übersichtsrohbild aufnehmen und weiterverarbeiten, wurden beispielsweise in DE 10 2017 109 698 A1 , DE 10 2013 006 994 A1 , DE 10 2019 113 540 , DE 10 2019 114 117 und DE 10 2019 131 678 von der Anmelderin beschrieben.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche die Bereitstellung eines qualitativ möglichst hochwertigen Übersichtsbildes einer Probenumgebung für verschiedene Umgebungs- oder Messbedingungen ermöglichen.
Diese Aufgabe wird durch das Mikroskopiesystem mit den Merkmalen des Anspruchs 1 und durch das Verfahren mit den Merkmalen des Anspruchs 13 gelöst.
Das Mikroskopiesystem der oben genannten Art umfasst erfindungsgemäß eine Recheneinrichtung, welche eingerichtet ist, das Mikroskop dazu anzusteuern, mit verschiedenen Aufnahmeparametern mehrere Übersichtsrohbilder aufzunehmen, die jeweils die Probenumgebung zeigen. Die Recheneinrichtung umfasst ein mit Trainings-Übersichtsrohbildern trainiertes Maschinenlernmodell, welches die Übersichtsrohbilder als Eingaben erhält und hieraus eine Ausgabe erzeugt, welche das Übersichtsbild ist oder festlegt.
Bei einem erfindungsgemäßen Verfahren zum Erzeugen eines Übersichtsbildes werden von einer Übersichtskamera eines Mikroskops mehrere Übersichtsrohbilder einer Probenumgebung mit verschiedenen Aufnahmeparametern aufgenommen. Die Übersichtsrohbilder werden an ein mit Trainings-Übersichtsrohbildern trainiertes Maschinenlernmodell eingegeben. Das Maschinenlernmodell erzeugt hiermit eine Ausgabe, welche das Übersichtsbild ist oder festlegt.
Geeignete Aufnahmeparameter können von zahlreichen Faktoren abhängen, beispielsweise von einer Probenart, einem Probenträger und Beleuchtungs- oder Umgebungsbedingungen. Weil diese Faktoren oftmals nicht vorab hinreichend präzise bekannt sind oder nur mit manuellem oder höherem apparativen Aufwand präzise berücksichtigt werden können, sind häufig geeignete Aufnahmeparameter nicht vorab bekannt. Durch eine Aufnahme mehrerer Übersichtsrohbilder mit verschiedenen Aufnahmeparametern kann auch in sehr unterschiedlichen Situation zumindest ein geeignetes Übersichtsrohbild gewonnen werden. Aufgrund der Vielfalt verschiedenartiger Übersichtsrohbilder ist eine automatisierte Auswahl oder Verarbeitung der Übersichtsrohbilder zum Ausgeben eines qualitativ hochwertigen Übersichtsbildes erschwert. Insbesondere können geeignete Bewertungskriterien anwendungsabhängig variieren. Demgegenüber bietet die erfindungsgemäße Nutzung eines Maschinenlernmodells, welches mit Trainings-Übersichtsrohbildern trainiert ist, bedeutsame Vorteile: Durch die Trainings-Übersichtsrohbildern kann ein breites Spektrum verschiedenartiger Übersichtsrohbilder abgedeckt werden, welche sich insbesondere hinsichtlich Probenart, Probenträger oder Beleuchtungs- oder Umgebungsbedingungen unterscheiden können. Geeignete Entscheidungskriterien werden im gelernten Modell durch die bereitgestellten Trainings-Übersichtsrohbilder ermittelt, ohne dass explizite Regeln für die Vielzahl beeinflussender Faktoren in der Programmierung einer Bildverarbeitung vorgegeben werden müssten. Dadurch können das Mikroskopiesystem und das Verfahren der Erfindung für ein breites Spektrum verschiedener Szenarien die aufgenommenen Übersichtsrohbilder bewerten oder verarbeiten, um ein qualitativ hochwertiges Übersichtsbild auszugeben.
Optionale Gestaltungen
Vorteilhafte Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Eingaben und Ausgaben des Maschinenlernmodells
Eine Ausgabe des Maschinenlernmodells kann das Übersichtsbild selbst sein oder eine Angabe, durch die das Übersichtsbild festgelegt wird. Diese Angabe kann insbesondere eine Auswahl sein, welches der Übersichtsrohbilder als Übersichtsbild verwendet werden soll, oder eine Angabe, wie aus mehreren Übersichtsrohbildern das Übersichtsbild mit einem vorgegebenen Algorithmus oder einer vorgegebenen Tabelle berechnet werden soll. Beispielsweise kann die Ausgabe eine Bewertung oder Punktzahl für jedes Übersichtsrohbild sein, woraufhin das Übersichtsrohbild mit der höchsten Punktzahl als Übersichtsbild ausgewählt wird. Alternativ können die Übersichtsrohbilder mit den höchsten Punktzahlen zu einem Übersichtsbild überlagert werden. Insbesondere ist daher in manchen Ausführungsvarianten das Maschinenlernmodell oder allgemein die Recheneinrichtung dazu gestaltet, eines der Übersichtsrohbilder als Übersichtsbild auszuwählen oder das Übersichtsbild durch Kombinieren von mindestens zwei der Übersichtsrohbilder zu erzeugen, bzw. indem mindestens zwei der Übersichtsrohbilder ausgewählt werden, die zu kombinieren sind.
Als Eingabe können die Übersichtsrohbilder jeweils einzeln eingegeben werden, beispielsweise wenn als Ausgabe eine Punktzahl für jedes der Übersichtsrohbilder berechnet werden soll. Alternativ können auch alle Übersichtsrohbilder gemeinsam die Eingabe bilden. Hierdurch kann das Maschinenlernmodell beispielsweise Punktzahlen der jeweiligen Übersichtsrohbilder miteinander vergleichen oder verrechnen und somit direkt das Übersichtsbild ausgeben. Bilden mehrere oder alle Übersichtsrohbilder gemeinsam die Eingabe, kann das Maschinenlernmodell alternativ auch ohne Berechnung von Punktzahlen direkt das Übersichtsbild berechnen und ausgeben. Durch Verarbeitung in einem neuronalen Netz des Maschinenlernmodells muss das ausgegebene Übersichtsbild nicht beispielsweise eine einfache Linearkombination eingegebener Übersichtsrohbilder sein, sondern kann auch in komplexerer Weise aus den eingegebenen Übersichtsrohbildern gebildet sein.
Aufnahmeparameter für Übersichtsrohbilder
Mehrere Übersichtsrohbilder werden mit verschiedenen Aufnahmeparametern erzeugt, worunter allgemein beliebige verschiedene Mikroskopeinstellungen oder Betriebsweisen verstanden werden können. Ein Aufnahmeparameter kann insbesondere betreffen:

- Lichtpolarisierung: Beispielsweise kann linear polarisiertes Beleuchtungslicht verwendet werden, wobei sich die Polarisationsrichtung je nach Übersichtsrohbild unterscheidet. Auch elliptisch oder zirkular polarisiertes Licht kann verwendet werden.
- Lichtwellenlängen von Beleuchtungs- und/oder Detektionslicht: Insbesondere mikroskopische Proben können verschiedene Bestandteile (z.B. biologische Zellen oder Zellorganellen, Elektronik- oder Halbleiterbauteile), umfassen, deren Sichtbarkeit stark wellenlängenabhängig ist.
- Beleuchtungseinstellungen, Beleuchtungsstärke, Beleuchtungswinkel und Farbstoffanregungen, insbesondere Fluoreszenz- oder Phosphoreszenzanregungen.
- Softwareeinstellungen: Die Übersichtsrohbilder können durch einen Algorithmus erzeugt werden. Beispielsweise können mehrere oder alle der Übersichtsrohbilder durch unterschiedliche Sensitivitäten erzeugt sein, wobei die Sensitivitäten allein durch unterschiedliche Parametrisierungen einer Verrechnung, aber mit unveränderten Hardwareeinstellungen erzeugt sind.
- Aufnahmemodalitäten oder Kontrastmethode: Die Übersichtsrohbilder können sich insbesondere in verwendeten Beleuchtungsmodalitäten unterscheiden, beispielsweise Weitfeld-, Gauss'sche Lichtblatt-, Bessel-Lichtblatt-, STED-Beleuchtungs- oder Konfokal-Aufnahmen.
- Kamerasensitivitäten, Belichtungsdauern oder verschiedene Sättigungsstufen können zu verschiedenen Bildhelligkeiten der Übersichtsrohbilder führen.

Eine Kenntnis der Aufnahmeparameter kann bei der Ermittlung verwendet werden, wie aus den Übersichtsrohbildern das Übersichtsbild ausgewählt oder gebildet wird. Dies wird später näher beschrieben.
Bewertung von Probenbereichen
Prinzipiell kann eine Entscheidung, welches der Übersichtsrohbilder in das Übersichtsbild eingeht, basierend auf dem gesamten Bildinhalt des jeweiligen Übersichtsrohbildes getroffen werden. Allerdings kommt in der Verwendung eines Übersichtsbildes im Mikroskopiesystem einem Probenbereich innerhalb eines Übersichtsbildes eine erhöhte Bedeutung zu. Ein Nutzer wird basierend auf der Darstellung des Probenbereichs Entscheidungen treffen. Manche Bildverarbeitungs- und Analyseschritte, beispielsweise eine Autofokussierung, können auf den Probenbereich gerichtet sein, womit die Bildqualität in diesem Teil des Übersichtsbildes besonders relevant ist. Hingegen kann für einen Bildhintergrund, beispielsweise ein Bereich außerhalb des Probenträgers oder außerhalb eines Deckglasbereiches, auch eine schlechtere Bildqualität akzeptabel sein. Eventuell kann für den Bildhintergrund sogar eine Unterdrückung von Bilddetails bevorzugt sein, beispielsweise durch eine gegenüber dem Probenbereich dunklere und/oder kontrastärmere Darstellung.
Insbesondere zu diesen Zwecken kann das Maschinenlernmodell dazu gestaltet sein, Probenbereiche in den Übersichtsrohbildern zu ermitteln. Das Maschinenlernmodell ist optional dazu gestaltet, durch eine Bewertung der jeweiligen Probenbereiche in den Übersichtsrohbildern eine Auswahl zu treffen, welches der Übersichtsrohbilder als Übersichtsbild oder für das Übersichtsbild verwendet wird. Die Bewertung der jeweiligen Probenbereiche kann insbesondere eine Bildqualität des jeweiligen Bildbereichs betreffen. Beispielsweise kann dasjenige Übersichtsrohbild als Übersichtsbild ausgewählt werden, dessen Probenbereich die höchste Bildqualität hat. Die Auswahl kann insbesondere allein auf den Probenbereichen beruhen. Ein Übersichtsrohbild, welches außerhalb des Probenträgers eine niedrige Bildqualität hat, beispielsweise übersteuert und damit kontrastarm ist, kann daher dennoch als Übersichtsbild ausgewählt werden, wenn sein Probenbereich eine höhere Bildqualität hat als die Probenbereiche in den übrigen Übersichtsrohbildern.
Zum Auffinden eines Probenbereichs kann das Maschinenlernmodell dazu gestaltet sein, eine Segmentierung in einem, mehreren oder allen der Übersichtsrohbilder durchzuführen. Ein Segmentierungsergebnis gibt an, welche Bildbereiche als Probenbereiche erkannt wurden. Beispielsweise kann das Segmentierungsergebnis eine Segmentierungs- oder Binärmaske sein, in welcher ein bestimmter Pixelwert eine Zugehörigkeit zu einem Probenbereich angibt und ein anderer Pixelwert angibt, dass der entsprechende Pixel nicht zu einem Probenbereich gehört. Eine Segmentierungsmaske muss nicht für jedes der Übersichtsrohbilder erneut berechnet werden, sondern kann auch nur einmalig berechnet und sodann für alle Übersichtsrohbilder gleichermaßen verwendet werden. Dabei kann die Segmentierung auch an Hand eines Eingabebildes ermitteltet werden, welches aus mehreren oder allen der Übersichtsrohbilder gebildet wird, beispielsweise indem die Übersichtsrohbilder addiert/überlagert werden. Die Segmentierung ist hier eine semantische Segmentierung, bei welcher einem Bereich einer Segmentierungsmaske eine bestimmte Bedeutung (Semantik) zugeordnet wird, insbesondere ob es sich um einen Probenbereich handelt oder nicht. Die Semantik kann weiter abgestuft verschiedene Probenarten unterscheiden. Beispielsweise können verschiedene Probenbestandteile, wie Zellorganellen, durch eine semantische Segmentierung unterschieden und anschließend verschieden bewertet oder gewichtet werden.
Das Maschinenlernmodell kann ein Segmentierungs-, Instanzsegmentierungs- oder Detektions-Maschinenlernmodell umfassen. Bei einem Instanzsegmentierungs-Maschinenlernmodell werden verschiedene Probenbereiche in demselben Bild voneinander unterschieden. Dadurch können die Probenbereiche verschieden voneinander bewertet oder gewichtet werden. Durch ein Detektions-Maschinenlernmodell kann detektiert werden, ob eine bestimmte Probenart im Übersichtsbild enthalten ist, deren Ort sodann ebenfalls festgestellt werden kann.
Die Recheneinrichtung bzw. das Maschinenlernmodell kann die Bewertung des jeweiligen Probenbereichs basierend auf einem Bewertungskriterium festlegen, welches z.B. eine Übersteuerung, eine Untersteuerung, ein Bildrauschen, eine Häufigkeitsverteilung von Helligkeitswerten und/oder einen Kontrast betrifft. Wird allein der Probenbereich bewertet, spielt es demnach keine Rolle, ob beispielsweise die häufig sehr hellen Deckglaskanten übersteuert sind oder in einem dunkleren Hintergrund ein Bildrauschen sehr hoch ist. Vielmehr kann dasjenige Übersichtsrohbild ermittelt werden, dessen Probenbereich die beste Qualitätsbewertung erhält.
Das Maschinenlernmodell kann optional Kontextinformationen beim Ermitteln des Übersichtsbildes aus den Übersichtsrohbildern nutzen. Die Kontextinformationen können auch beim Ermitteln und/oder Bewerten eines Probenbereiches in den Übersichtsrohbildern eingehen und eine oder mehrere der folgenden Eigenschaften beschreiben:

- eine Probenart oder Probenträgerart in den Übersichtsrohbildern: Beispielsweise können geometrische Informationen zu verschiedenen Probenarten oder Probenträgerarten vorbekannt sein, was für eine Segmentierung oder eine Objektdetektion in den Übersichtsrohbildern genutzt werden kann. Für verschiedene Probenarten kann auch vorbekannt sein, welche Beleuchtungs- oder Bildaufnahmeparameter geeignet sind, worüber eine Auswahl eines Übersichtsrohbildes als oder für das Übersichtsbild getroffen werden kann. Welche Probenart oder Probenträgerart in den Übersichtsrohbildern abgebildet ist, kann entweder vorbekannt sein oder zunächst ermittelt werden, beispielsweise durch das später näher beschriebene Klassifikations-(Maschinenlern-)Modell. Auch Ergebnisse anderer Messungen können Aufschluss über eine Probenart oder Probenträgerart geben, die in den Übersichtsrohbildern enthalten ist oder sein kann.
- eine Art eines Experiments, zu dem die Übersichtsrohbilder gehören:
- Kontextinformationen können das Experiment betreffen, in dessen Rahmen die Übersichtsrohbilder aufgenommen wurden. Das Experiment kann insbesondere nach Aufnehmen und Auswerten der Übersichtsrohbilder beginnen. Aus der Art des Experiments kann beispielsweise unter Umständen auf eine Probenart oder Probenträgerart geschlossen werden.
- Aufnahmeparameter: Zu jedem Übersichtsrohbild kann angegeben sein, mit welchen Aufnahmeparametern es aufgenommen wurde, wobei insbesondere die bereits oben genannten Aufnahmeparameter möglich sind. Die Kenntnis der Aufnahmeparameter gibt unter anderem Aufschluss über eine Darstellung verschiedener Probenarten in den Übersichtsrohbildern, was im Auffinden von Probenbereichen genutzt werden kann. Auch Filtereinstellungen oder Probentischeinstellungen können als Kontextinformationen berücksichtigt werden.

Erkennung der Probenart oder Probenträgerart
In der oben beschriebenen Bewertung von Probenbereichen oder auch unabhängig hiervon kann die Kenntnis der Probenart und/oder der Probenträgerart hilfreich sein. Das Maschinenlernmodell kann dazu gestaltet sein, aus einem oder mehreren der Übersichtsrohbilder eine Probenträgerart und/oder eine Probenart einer vom Probenträger gehaltenen Probe zu erkennen. Hierzu kann das Maschinenlernmodell ein trainiertes Klassifikationsmodell umfassen. Dem Klassifikationsmodell werden eines, mehrere oder eine Kombination der Übersichtsrohbilder zugeführt, oder ein Bildausschnitt hieraus oder ein Bildverarbeitungsergebnis hiervon, z.B. eine Segmentierungsmaske. Die Ausgabe ist ein Klassifikationsergebnis, welches bspw. zumindest zwischen flüssigen Proben und Gewebeschnitten oder zwischen einem gefärbten und einem ungefärbten Gewebeschnitt und/oder Elektronik- oder Halbleiterbauteilen unterscheidet. Hinsichtlich Probenträgerarten kann z.B. zumindest zwischen Kammerobjektträgern, Mikrotiterplatten, Objektträgern mit Deckglas oder Petrischalen unterschieden werden. Eine Lokalisierung der Probe oder des Probenträgers erfolgt in diesem Schritt in der Regel nicht.
Das Maschinenlernmodell oder die Recheneinrichtung kann dazu eingerichtet sein, abhängig von der erkannten Probenart oder Probenträgerart auszuwählen, ob oder wie die verschiedenen Übersichtsrohbilder als oder für das Übersichtsbild verwendet werden.
Die Recheneinrichtung ist optional dazu eingerichtet, auf eine vorgegebene Bewertungstabelle zuzugreifen, welche Bewertungen in Abhängigkeit von mindestens einem Aufnahmeparameter und der Probenart oder Probenträgerart enthält. Empfängt die Recheneinrichtung Informationen über Aufnahmeparameter der Übersichtsrohbilder und wird die Probenart oder Probenträgerart wie beschrieben ermittelt, so kann aus der Bewertungstabelle eine entsprechende Bewertung für jedes der Übersichtsrohbilder abgelesen werden. Anhand der Bewertungen wird ausgewählt, welches der Übersichtsrohbilder als oder für das Übersichtsbild verwendet wird.
Training des Maschinenlernmodells
Ein Training des Maschinenlernmodells kann als überwachter Lernvorgang erfolgen. Hierbei ist jedes der Trainings-Übersichtsrohbilder mit einer Annotation gekennzeichnet, welche eine Bewertung des jeweiligen Trainings-Übersichtsrohbildes angibt. Die Bewertung kann manuell vorgegeben sein und z.B. Punktzahlen innerhalb einer vorgegebenen Spanne, etwa von 1 bis 10, umfassen. Durch das Training kann ein (gegebener) Lernalgorithmus Modellparameterwerte des Maschinenlernmodells an Hand der Trainings-Übersichtsrohbilder anpassen. Dazu umfasst der Lernalgorithmus eine Optimierungsmethode und eine zu optimierende Zielfunktion, beispielsweise eine zu maximierende Gewinnfunktion oder eine zu minimierende Verlustfunktion. Die Verlustfunktion beschreibt eine Abweichung zwischen einer Ausgabe des Maschinenlernmodells, welche für eingegebene Trainings-Übersichtsrohbilder mit momentanen Modellparameterwerten berechnet wird, und den zugehörigen Annotationen. Abhängig von einem momentanen Ergebnis der Verlustfunktion werden die Modellparameterwerte iterativ durch die Optimierungsmethode verändert, z.B. durch Backpropagation und (stochastischen) Gradientenabstieg.
Wird dem fertig trainierten Maschinenlernmodell ein unbekanntes Übersichtsrohbild eingegeben, berechnet es hieraus eine Ausgabe, die den Annotationen der Trainings-Übersichtsrohbilder möglichst entspricht, insbesondere also eine Bewertung mit z.B. einer Punktzahl zwischen 1 und 10. Anschließend wird das Übersichtsbild anhand der Bewertungen aus den Übersichtsrohbildern gebildet. Beispielsweise wird das Übersichtsrohbild mit der höchsten Punktzahl ausgewählt, oder mehrere Übersichtsrohbild der höchsten Punktzahlen werden kombiniert. Die Punktzahlen können auch als Gewichtung beim Kombinieren dienen.
Alternativ kann das Maschinenlernmodell auch durch ein unüberwachtes Training gelernt werden. Hierbei werden Trainings-Übersichtsrohbilder ohne Annotation verwendet. Es können beispielsweise ausschließlich solche Übersichtsrohbilder als Trainings-Übersichtsrohbilder verwendet werden, welche von einem Nutzer als qualitativ hochwertig eingestuft wurden. Das Maschinenlernmodell lernt hierdurch, solche Bilder zu erkennen. Wird dem trainierten Maschinenlernmodell ein unbekanntes Übersichtsrohbild eingegeben, kann es als Ausgabe bewerten, ob oder inwiefern das unbekannte Übersichtsrohbild den qualitativ hochwertigen Trainings-Übersichtsrohbildern ähnelt.
Ein teilüberwachtes Training, in welchem nur ein Teil der Trainings-Übersichtsrohbilder annotiert ist, oder ein bestärkendes Training (englisch: reinforcement learning) können ebenfalls eingesetzt werden.
Allgemeine Eigenschaften
Als Mikroskopiesystem wird eine Vorrichtung verstanden, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst. Unter einem Mikroskop kann ein prinzipiell beliebiges vergrößerndes Messgerät verstanden werden, insbesondere ein Lichtmikroskop, Röntgenmikroskop, Elektronenmikroskop, Makroskop oder auch ein anders gestaltetes vergrößerndes Bildaufnahmegerät.
Die Recheneinrichtung kann physisch als Teil des Mikroskops gestaltet sein, separat in der Mikroskopumgebung angeordnet sein oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Die Recheneinrichtung kann auch dezentral gestaltet sein und über eine Datenverbindung mit dem Mikroskop kommunizieren. Sie kann allgemein durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung der Mikroskopkamera, der Bildaufnahme, der Probentischansteuerung und/oder anderer Mikroskopkomponenten eingerichtet sein.
Ein erfindungsgemäßes Computerprogramm umfasst Befehle, die bei Ausführung durch einen Computer die Ausführung einer der beschriebenen Verfahrensvarianten veranlassen. Insbesondere kann das Computerprogramm Befehle umfassen, durch welche die zur Recheneinrichtung beschriebenen Vorgänge umgesetzt werden können.
Das Maschinenlernmodell kann z.B. durch ein oder mehrere neuronale Netze gebildet sein und insbesondere ein CNN (englisch: convolutional neural network, faltendes neuronales Netz) umfassen. Modellparameterwerte umfassen dabei Einträge von Faltungsmatrizen. Andere Modellarchitekturen eines tiefen neuronalen Netzes (englisch: deep neural network) sind anstelle eines CNN möglich.
Eine Übersichtskamera zum Aufnehmen eines Übersichtsrohbildes kann zusätzlich zu einer Probenkamera vorhanden sein, mit welcher stärker vergrößerte Bilder eines Probenbereichs aufgenommen werden. Alternativ kann es sich hierbei aber auch um dieselbe Kamera handeln, wobei verschiedene Objektive oder Optiksysteme für die Aufnahme eines Übersichtsrohbildes und eines stärker vergrößerten Probenbildes verwendet werden. Ein Übersichtsrohbild kann direkt, wie es von einer Kamera aufgenommen wird, dem Maschinenlernmodell zugeführt werden, oder zunächst aus einem oder mehreren Bildern berechnet werden, bevor es dem Maschinenlernmodell zugeführt wird. Ein Übersichtsrohbild deckt einen Bereich um einen Ort ab, an dem eine Probe zu positionieren ist, was vorliegend als Probenumgebung bezeichnet wird. Die Übersichtsrohbilder können einem übereinstimmenden Sichtfeld entsprechen und insbesondere nacheinander mit derselben Kamera aufgenommen sein. Bei einem übereinstimmenden Sichtfeld deckt jedes Übersichtsrohbild denselben Bereich der Probenumgebung ab. Pixel, die in verschiedenen Übersichtsrohbildern dieselbe Position haben (z.B. die Pixel einer oberen linken Ecke jedes Übersichtsrohbildes) können wie beschrieben überlagert werden, um den örtlich entsprechenden Pixel des Übersichtsbildes zu formen. Die Übersichtsrohbilder können aber auch mit teilweise verschiedenen oder überlappenden Sichtfeldern aufgenommen sein. Unter Proben können vorliegend beliebige Objekte, Fluide oder Strukturen verstanden werden.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskopiesystem auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Insbesondere kann die Recheneinrichtung dazu eingerichtet sein, die beschriebenen Verfahrensvarianten durchzuführen und Steuerbefehle zur Ausführung von beschriebenen Verfahrensschritten auszugeben. Zudem kann die Recheneinrichtung das beschriebene Computerprogramm umfassen. In weiteren Ausführungsformen der Erfindung kann das Maschinenlernmodell durch einen klassischen Bildverarbeitungsalgorithmus ersetzt sein. Dieser kann insbesondere dazu gestaltet sein, eine Bewertung anhand der beschriebenen Bewertungskriterien wie Bildrauschen oder Kontrast zu berechnen.
Figurenliste
Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskopiesystems der Erfindung;
2 ist eine schematische Darstellung von Übersichtsrohbildern gemäß Ausführungsbeispielen der Erfindung;
3 ist eine schematische Darstellung von Prozessen eines Ausführungsbeispiels eines Verfahrens der Erfindung;
4 ist eine schematische Darstellung eines Trainings eines Maschinenlernmodells von Ausführungsbeispielen der Erfindung;
5 ist eine schematische Darstellung von Prozessen eines weiteren Ausführungsbeispiels eines Verfahrens der Erfindung;
6 ist eine schematische Darstellung von Prozessen eines weiteren Ausführungsbeispiels eines Verfahrens der Erfindung;
7 ist eine schematische Darstellung von Prozessen eines weiteren Ausführungsbeispiels eines Verfahrens der Erfindung; und
8 ist eine schematische Darstellung von Prozessen eines weiteren Ausführungsbeispiels eines Verfahrens der Erfindung.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 1
1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 20 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 5 mit einem Halterahmen 6 zum Halten eines Probenträgers 7 und eine Mikroskopkamera 8. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 8 Detektionslicht von einer oder mehreren Proben, die vom Probenträger 7 gehalten sind, um ein Probenbild aufzunehmen.
Das Mikroskop 1 umfasst außerdem eine Übersichtskamera 9 zum Aufnehmen eines Übersichtsbildes einer Probenumgebung. Das Übersichtsbild kann dadurch insbesondere den Probenträger 7 oder einen Teil hiervon zeigen. Ein Sichtfeld 9A der Übersichtskamera 9 ist größer als ein Sichtfeld bei einer Aufnahme eines Probenbildes. Im dargestellten Beispiel blickt die Übersichtskamera 9 über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden. In Abwandlungen dieser Ausführung kann der Spiegel oder ein anderes Umlenkelement auch an anderer Stelle angeordnet sein. Alternativ kann die Übersichtskamera 9 auch so angeordnet sein, dass sie ohne Spiegel 9B direkt auf den Probenträger 7 blickt. Prinzipiell kann auch die Mikroskopkamera 8 eine Übersichtskamera darstellen, wenn zur Aufnahme eines Übersichtsbildes ein anderes Objektiv, insbesondere ein Makroobjektiv, über den Objektivrevolver 3 ausgewählt wird.
Die Recheneinrichtung 20 soll basierend auf mehreren aufgenommenen Übersichtsrohbildern ein qualitativ hochwertiges Übersichtsbild ausgeben. Hierfür ist die Recheneinrichtung 20 dazu eingerichtet, das Mikroskop 1 zum Aufnehmen mehrerer Übersichtsrohbilder mit verschiedenen Aufnahmeparametern anzusteuern. Durch die verschiedenen Aufnahmeparameter, beispielsweise verschiedene Belichtungsdauern, Beleuchtungslichtstärken, Beleuchtungswellenlängen oder Filtereinstellungen, unterscheiden sich die Übersichtsrohbilder voneinander.
Das Berechnen des Übersichtbildes erfolgt durch ein von der Recheneinrichtung 20 ausgeführtes Computerprogramm 80, wie im Folgenden mit Bezug auf die weiteren Figuren näher beschrieben wird.
FIG. 2
2 illustriert schematisch verschiedene Übersichtsrohbilder 11-15. Diese zeigen jeweils dieselbe Probenumgebung und sind mit verschiedenen Aufnahmeparametern aufgenommen. Bezugszeichen sind zur besseren Darstellung nicht in allen der Übersichtsrohbilder 11-15 eingezeichnet, wobei aber jedes Übersichtsrohbild 11-15 im Sichtfeld übereinstimmt und somit dieselbe Szene zeigt. Die Übersichtsrohbilder 11-15 unterscheiden sich in Aufnahmeparametern, beispielsweise der Beleuchtungsstärke oder Belichtungsdauer, welche im Übersichtsrohbild 11 am größten ist und bis zum Übersichtsrohbild 15 stufenweise abnimmt. Jedes Übersichtsrohbild 11-15 zeigt in einem oder mehreren Probenbereichen 10 mikroskopische Proben, welche sich auf einem Probenträger 7 unter einem Deckglas befinden. Deckglaskanten 17 erscheinen hell in den Übersichtsrohbildern 11-15. Ein Bereich außerhalb des Deckglases wird als Hintergrund 16 bezeichnet, wobei auch ein Halterahmen 6 optional als Teil des Hintergrunds 16 angesehen werden kann.
Abhängig von der Probenart sind Proben häufig bei mittlerer oder hoher Beleuchtungsstärke am besten sichtbar, im dargestellten Beispiel im Übersichtsrohbild 12. Hingegen ist der Probenbereich 10 im besonders hellen Übersichtsrohbild 11 übersättigt/übersteuert, wodurch Details der Proben verloren sind. In den dunkleren Übersichtsrohbildern 13-15 sind Details in den Probenbereichen 10 nicht erkennbar und die Proben sind schlechter vom Probenträger 7 unterscheidbar. Die Deckglaskanten 17 erscheinen typischerweise in Übersichtsrohbildern wesentlich heller als die Probenbereiche 10 und übersteuern leicht, was insbesondere in den helleren Übersichtsrohbildern 11 und 12 der Fall ist. Am besten sind die Deckglaskanten 17 im dargestellten Beispiel im dunkelsten Übersichtsrohbild 15 sichtbar.
Eine Auswertung der Übersichtsrohbilder 11-15 wird im Folgenden mit Bezug auf die weiteren Figuren beschrieben.
FIG. 3
3 zeigt schematisch Abläufe eines beispielhaften erfindungsgemäßen Verfahrens, um ein Übersichtsbild 30 basierend auf mehreren Übersichtsrohbildern 11-15 zu erzeugen.
Zunächst werden in Schritt S1 vom Mikroskopiesystem 100 mehrere Übersichtsrohbilder 11-15 mit verschiedenen Aufnahmeparametern aufgenommen. In Schritt S2 werden die Übersichtsrohbilder 11-15 einem Maschinenlernmodell M eingegeben. Das Maschinenlernmodell M ist dazu trainiert, ein Übersichtsbild zu ermitteln, indem es als Schritt S3 zu jedem Übersichtsrohbild 11-15 eine Bewertung K1-K5 berechnet und die Bewertungen K1-K5 in Schritt S4 ausgibt.
Durch die Bewertungen K1-K5 wird vorgegeben, wie aus den Übersichtsrohbildern 11-15 ein Übersichtsbild erzeugt wird. Im dargestellten Beispiel wird hierzu in Schritt S5 die größte bzw. beste Bewertung aus K1-K5 ermittelt, in diesem Fall K2, welches zum Übersichtsrohbild 12 gehört. Als Übersichtsbild 30 wird nun das Übersichtsrohbild mit der besten Bewertung, also das Übersichtsrohbild 12, ausgewählt. In dieser Weise wird durch die Ausgabe des Maschinenlernmodells M eine Auswahl von einem der Übersichtsrohbilder 11-15 als Übersichtsbild 30 definiert.
Das Maschinenlernmodell M kann optional Kontextinformationen i berücksichtigen, welche entweder ein einzelnes der Übersichtsrohbilder 11-15 oder alle Übersichtsrohbilder 11-15 gleichermaßen betreffen. Die Kontextinformationen i können beispielsweise die Aufnahmeparameter, eine verwendete Probenart oder Probenträgerart betreffen.
Berechnungsschritte des Maschinenlernmodells M beruhen auf Modellparameterwerten, beispielsweise Einträgen von Faltungsmatrizen eines faltenden neuronalen Netzes des Maschinenlernmodells M. Die Modellparameterwerte werden an Hand von Trainingsdaten festgelegt, wie nachfolgend erläutert wird.
FIG. 4
4 zeigt schematisch einen überwachten Trainingsvorgang des Maschinenlernmodells M. Vorgegeben sind mehrere Trainings-Übersichtsrohbilder T, welche gleich zu den beschriebenen Übersichtsrohbildern sein können. Zu jedem Trainings-Übersichtsrohbild T ist eine Annotation A (manuell) vorgegeben, zum Beispiel eine Bewertung des jeweiligen Trainings-Übersichtsrohbildes T durch eine Punktzahl zwischen 1 und 10. Aus jedem der eingegebenen Trainings-Übersichtsrohbilder T berechnet das Maschinenlernmodell M basierend auf momentanen Werten seiner Modellparameter eine Ausgabe K. Die Ausgaben K und die entsprechenden Annotationen A werden einer Zielfunktion, hier einer Verlustfunktion L, zugeführt. Die Verlustfunktion L quantifiziert, wie stark die Ausgaben K von den Annotationen A abweichen. Eine Optimierungsfunktion O passt mit Hilfe der Verlustfunktion L die Werte der Modellparameter des Maschinenlernmodells M an, beispielsweise mittels Backpropagation und Gradientenabstieg. Bei Abschluss des Trainings erzeugt das Maschinenlernmodell M Ausgaben K, welche den Annotationen A stark ähneln.
Die Annotationen A können beispielsweise nach dem Bewertungskriterium gewählt sein, wie hoch eine Bildqualität im jeweiligen Probenbereich der Trainings-Übersichtsrohbilder T ist, während eine Bildqualität außerhalb des Probenbereichs unberücksichtigt bleibt. Als Maß der Bildqualität kann insbesondere eine Übersteuerung, eine Untersteuerung, ein Rauschen, eine Häufigkeitsverteilung von Helligkeitswerten und/oder einen Kontrast dienen. Anhand dieser Annotationen A erlernt das Maschinenlernmodell M, Übersichtsrohbilder ebenfalls so zu bewerten oder zu verarbeiten, dass im Wesentlichen auf Basis des jeweiligen Probenbereichs, welcher hierbei eigenständig vom Maschinenlernmodell M erfasst wird, die Ausgabe K berechnet wird.
Optional können dem Maschinenlernmodell M im Training außer den Trainings-Übersichtsrohbildern T auch Kontextinformationen i zugeführt werden, welche wie eingangs erläutert unter anderem die Probenart, Probenträgerart oder Aufnahmeparameter betreffen können. Bilden die Kontextinformationen i in dieser Weise einen Teil der Trainingsdaten, so wird eine Berücksichtigung von Kontextinformationen i durch die Modellparameterwerte gelernt.
FIG. 5
5 zeigt schematisch Abläufe eines weiteren beispielhaften erfindungsgemäßen Verfahrens, um ein Übersichtsbild 30 basierend auf mehreren Übersichtsrohbildern 11-15 zu erzeugen.
Von dem Beispiel der 3 unterscheidet sich diese Ausführung darin, wie vom Maschinenlernmodell M ausgegebene Bewertungen K1 bis K5 verwendet werden. Im Beispiel von 5 wird nicht das Übersichtsrohbild, zu dem die höchste Bewertung K1-K5 ermittelt wurde, als Übersichtsbild 30 ausgewählt. Vielmehr werden in Schritt S6 zwei oder mehr der Übersichtsrohbilder 11-15 zum Bilden des Übersichtsbildes 30 addiert oder überlagert, wobei die Bewertungen K1-K5 als Gewichte verwendet werden. Beispielsweise können die beiden Übersichtsrohbilder mit den zwei besten Bewertungen addiert werden, wobei ihre jeweiligen Bewertungen Gewichte darstellen.
FIG. 6
6 zeigt schematisch Abläufe eines weiteren beispielhaften erfindungsgemäßen Verfahrens, um ein Übersichtsbild 30 basierend auf mehreren Übersichtsrohbildern 11-15 zu erzeugen. In diesem Fall werden die Übersichtsrohbilder 11-15 gemeinsam dem Maschinenlernmodell M eingegeben und dieses gibt nicht etwa eine Bewertung aus, sondern direkt ein Übersichtsbild 30. Das Übersichtsbild 30 kann je nach Training des Maschinenlernmodells M entweder eine Auswahl von einem der Übersichtsrohbilder 11-15 sein, eine Linearkombination mehrerer der Übersichtsrohbilder 11-15 oder auch eine komplexere Verrechnung der Übersichtsrohbilder 11-15. Eine Architektur des Maschinenlernmodells M kann beispielsweise ein oder mehrere CNN umfassen, womit eine Abbildung mehrerer Eingabebilder auf ein Ausgabebild erzeugt wird.
FIG. 7
7 zeigt schematisch Abläufe eines weiteren beispielhaften erfindungsgemäßen Verfahrens, um ein Übersichtsbild 30 basierend auf mehreren Übersichtsrohbildern 11-15 zu erzeugen.
In diesem Beispiel umfasst das Maschinenlernmodell M zwei Maschinenlernmodelle M1 und M2. Das Maschinenlernmodell M1 ist ein Segmentierungsmodell, welches in Schritt S7 eines oder mehrere der Übersichtsrohbilder 11-15 erhält und hieraus eine Segmentierungsmaske 21 berechnet. Die Segmentierungsmaske 21 kennzeichnet Probenbereiche 10 innerhalb eines der Übersichtsrohbilder 11-15. Das Maschinenlernmodell M1 kann optional Kontextinformationen i nutzen.
Durch die Segmentierungsmaske 21 werden die Probenbereiche 10 der Übersichtsrohbilder 11-15 ausgewählt. Dies kann beispielsweise in Schritt S8 durch eine pixelweise Multiplikation der Segmentierungsmaske 21 mit jeweils einem der Übersichtsrohbilder 11-15 erfolgen, wobei in der Segmentierungsmaske 21 alle Pixel außerhalb von Probenbereichen 10 einen Wert von null haben.
Die in dieser Weise verarbeiteten Übersichtsrohbilder werden an das Maschinenlernmodell M2 gegeben, welches wie das Maschinenlernmodell M aus 3 oder 5 gestaltet sein kann. Im Unterschied zu den Fällen aus 3 oder 5 erhält das Maschinenlernmodell M2 jedoch nur Bildinformationen aus den Probenbereichen 10 der Übersichtsrohbilder 11-15. Hiermit berechnet das Maschinenlernmodell M2 in Schritt S9 Bewertungen K1-K5, welche dementsprechend allein auf den jeweiligen Probenbereichen 10 beruhen. Die Bewertungen K1-K5 werden in Schritt S4 ausgegeben, worauf der bereits beschriebene Schritt S5 folgen kann. In einer Abwandlung kann Schritt S5 durch den bereits beschriebenen Schritt S6 ersetzt werden.
FIG. 8
8 zeigt schematisch Abläufe eines weiteren beispielhaften erfindungsgemäßen Verfahrens, um ein Übersichtsbild 30 basierend auf mehreren Übersichtsrohbildern 11-15 zu erzeugen.
Eines oder mehrere der Übersichtsrohbilder 11-15 werden einem Maschinenlernmodell M3 zugeführt, welches ein Klassifikationsmodell ist und dazu trainiert ist, verschiedene Probenarten zu unterscheiden, beispielsweise einen gefärbten Gewebeschnitt von einem ungefärbten Gewebeschnitt. In Schritt S10 berechnet das Maschinenlernmodell M3 eine Angabe über die ermittelte Probenart R und gibt diese aus, Schritt S4. Die ermittelte Probenart R gilt für alle der Übersichtsrohbilder 11-15.
Die Aufnahmeparameter P1-P5, mit welchen die Übersichtsrohbilder 11-15 aufgenommen wurden, werden abgefragt oder aus den Übersichtsrohbildern 11-15 geschätzt.
Nun wird in Schritt S11 eine Bewertungstabelle B verwendet, in welcher für verschiedene Probenarten R_A bis R_N und Aufnahmeparameter P_A bis P_M jeweilige Bewertungen K_AA bis K_MN angegeben sind. Zu jedem der Übersichtsrohbilder 11-15 wird aus der Bewertungstabelle B durch den zugehörigen Aufnahmeparameter P1-P5 und die ermittelte Probenart R eine jeweilige Bewertung K1 bis K5 abgelesen. Anschließend kann gemäß den bereits beschriebenen Schritten S5 oder S6 verfahren werden, um das Übersichtsbild bereitzustellen.
Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich. Insbesondere können Bildverarbeitungsschritte vor, zwischen oder nach beschriebenen Schritten ergänzt werden. Beispielsweise können Übersichtsrohbilder zunächst verarbeitet werden, durch einen klassischen Bildverarbeitungsalgorithmus oder ein weiteres Maschinenlernmodell wie einen Merkmalsextraktor, bevor eine Eingabe in die beschriebenen Maschinenlernmodelle erfolgt.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: Mikroskopobjektiv
5: Probentisch
6: Halterahmen
7: Probenträger
8: Mikroskopkamera
9: Übersichtskamera
9A: Sichtfeld der Übersichtskamera
9B: Spiegel
10: Probenbereich
11-15: Übersichtsrohbilder
16: Hintergrund
17: Deckglaskante
20: Recheneinrichtung
21: Segmentierungsmaske
30: Übersichtsbild
80: Computerprogramm
100: Mikroskopiesystem
A: Annotation von Trainings-Übersichtsrohbildern
B: Bewertungstabelle
i: Kontextinformationen
K, K1-K5: Bewertungen
KAA-KMM: Bewertungen
L: Verlustfunktion
M, M1, M2: Maschinenlernmodell
M3: Maschinenlernmodell / Klassifikationsmodell
O: Optimierungsfunktion
P1-P5: Aufnahmeparameter
PA-PM: Aufnahmeparameter
R: Probenart
S1 -S11: Schritte von Verfahren
T: Trainings-Übersichtsrohbilder

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017109698 A1 [0005]
DE 102013006994 A1 [0005]
DE 102019113540 [0005]
DE 102019114117 [0005]
DE 102019131678 [0005]

Claims

Ein Mikroskopiesystem mit einem Mikroskop (1), welches dazu eingerichtet ist, ein Übersichtsrohbild (11-15) von einer Probenumgebung aufzunehmen; gekennzeichnet durch eine Recheneinrichtung (20), welche eingerichtet ist, das Mikroskop (1) dazu anzusteuern, mit verschiedenen Aufnahmeparametern (P) mehrere Übersichtsrohbilder (11-15) aufzunehmen (S1), die jeweils die Probenumgebung zeigen; wobei die Recheneinrichtung (20) ein mit Trainings-Übersichtsrohbildern (T) trainiertes Maschinenlernmodell (M) umfasst, welches die Übersichtsrohbilder (11-15) als Eingaben erhält (S2) und hieraus eine Ausgabe erzeugt (S4), welche das Übersichtsbild (30) ist oder festlegt.
Das Mikroskopiesystem nach vorstehendem Anspruch, wobei jedes der Trainings-Übersichtsrohbilder (T) mit einer Annotation (A) gekennzeichnet ist, welche eine Bewertung des jeweiligen Trainings-Übersichtsrohbildes (T) angibt, wodurch das Maschinenlernmodell (M) dazu gestaltet ist, zu jedem der eingegebenen Übersichtsrohbilder (11-15) eine jeweilige Bewertung (K1-K5) als Ausgabe zu erzeugen.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Maschinenlernmodell (M) dazu gestaltet ist, eines der Übersichtsrohbilder (11-15) als Übersichtsbild (30) auszuwählen.
Das Mikroskopiesystem nach Anspruch 1 oder 2, wobei das Maschinenlernmodell (M) dazu gestaltet ist, das Übersichtsbild (30) durch Kombinieren von mindestens zwei der Übersichtsrohbilder (11-15) zu erzeugen.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Maschinenlernmodell (M) dazu gestaltet ist, Probenbereiche (10) in den Übersichtsrohbildern (11-15) zu ermitteln (S7, S8) und eine Bewertung (K1-K5) der jeweiligen Probenbereiche (10) in den Übersichtsrohbildern (11-15) vorzunehmen (S9), wobei die Recheneinrichtung (20) oder das Maschinenlernmodell (M) dazu eingerichtet ist, anhand der Bewertungen (K1-K5) eine Auswahl zu treffen (S5), welches der Übersichtsrohbilder (11-15) als oder für das Übersichtsbild (30) verwendet wird.
Das Mikroskopiesystem nach dem unmittelbar vorstehenden Anspruch, wobei die Auswahl allein auf den Probenbereichen (10) beruht.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Maschinenlernmodell (M, M1) dazu gestaltet ist, eine semantische Segmentierung zum Auffinden der Probenbereiche (10) in den Übersichtsrohbildern (11-15) durchzuführen (S7).
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei die Recheneinrichtung (20) dazu eingerichtet ist, die Bewertung (K1-K5) des jeweiligen Probenbereichs (10) basierend auf einem Bewertungskriterium festzulegen, welches eine Übersteuerung, eine Untersteuerung, ein Rauschen, eine Häufigkeitsverteilung von Helligkeitswerten und/oder einen Kontrast betrifft.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei beim Ermitteln des Übersichtsbildes (30) aus den Übersichtsrohbildern (11-15), insbesondere beim Ermitteln und/oder Bewerten eines Probenbereiches (10) in den Übersichtsrohbildern (11-15), Kontextinformationen (i) zu einer oder mehreren der folgenden Eigenschaften genutzt werden: - eine Probenart (R) oder Probenträgerart; - eine Art eines Experiments, zu dem die Übersichtsrohbilder (11-15) gehören; - Aufnahmeparameter (P); - Informationen aus anderen der Übersichtsrohbilder (11-15); - Klassifikationsergebnisse ganzer Bildeigenschaften; und - Informationen aus anderen Aufnahmemodalitäten.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Maschinenlernmodell (M) dazu gestaltet ist, aus einem oder mehreren der Übersichtsrohbilder (11-15) eine Probenart (R) einer abgebildeten Probe zu erkennen; und wobei das Maschinenlernmodell (M) oder die Recheneinrichtung (20) dazu eingerichtet ist, abhängig von der erkannten Probenart (R) auszuwählen, welches der Übersichtsrohbilder (11-15) als oder für das Übersichtsbild (30) verwendet wird.
Das Mikroskopiesystem nach dem unmittelbar vorstehenden Anspruch, wobei das Maschinenlernmodell (M) zum Erkennen der Probenart (R) ein trainiertes Klassifikationsmodell (M3) umfasst.
Das Mikroskopiesystem nach einem der vorstehenden Ansprüche, wobei das Maschinenlernmodell (M, M3) dazu gestaltet ist, zu den eingegebenen Übersichtsrohbildern (11-15) eine Probenart (R) zu bestimmen; wobei die Recheneinrichtung (20) dazu eingerichtet ist: - auf eine vorgegebene Bewertungstabelle (B) zuzugreifen, welche Bewertungen (K_AA-K_MN) in Abhängigkeit von mindestens einem Aufnahmeparameter (P) und der Probenart (R) enthält; - Informationen über Aufnahmeparameter (P) der Übersichtsrohbilder (11-15) zu erhalten; - Bewertungen (K1-K5) der Übersichtsrohbilder (11-15) entsprechend ihrer Aufnahmeparameter (P) und der bestimmten Probenart (R) aus der Bewertungstabelle (B) abzulesen; und - anhand der abgelesenen Bewertungen (K1-K5) eine Auswahl zu treffen (S5, S6), welches der Übersichtsrohbilder (11-15) als oder für das Übersichtsbild (30) verwendet wird.
Ein Verfahren zum Erzeugen eines Übersichtsbildes, umfassend Aufnehmen (S1) von Übersichtsrohbildern (11-15) einer Probenumgebung mit verschiedenen Aufnahmeparametern (P) durch eine Übersichtskamera (9) eines Mikroskops (1); Eingeben der Übersichtsrohbilder (11-15) an ein mit Trainings-Übersichtsrohbildern (T) trainiertes Maschinenlernmodell (M), wobei das Maschinenlernmodell (M) hieraus eine Ausgabe erzeugt (S4), welche das Übersichtsbild (30) ist oder festlegt.
Ein Computerprogramm mit Befehlen, die bei Ausführung durch einen Computer die Ausführung des Verfahrens nach Anspruch 13 veranlassen.