DE102019114012A1

DE102019114012A1 - Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse

Info

Publication number: DE102019114012A1
Application number: DE102019114012.9A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2020-11-26
Also published as: US20200371333A1; CN111985292A

Abstract

Ein Mikroskopieverfahren zur Probenuntersuchung umfasst zumindest die folgenden Schritte: Aufnehmen von mindestens einem Mikroskopbild (10, 10A-10D); Zuführen des mindestens einen Mikroskopbildes (10, 10A-10D) zu einem Bildverarbeitungsalgorithmus (20), welcher ein Bildverarbeitungsergebnis (30, 30A-30D) ausgibt; Zuführen des Bildverarbeitungsergebnisses (30, 30A-30D) zu einem Verifikationsalgorithmus (40), welcher einen mit Referenzbildern (41A-41H) und zugehörigen Referenz-Verifikationsergebnissen (51, 52) angelernten Maschinenlernalgorithmus (45) umfasst; Ermitteln eines Verifikationsergebnisses (50, 50A-50D) durch den Verifikationsalgorithmus (40) mit Hilfe des angelernten Maschinenlernalgorithmus (45) und basierend auf dem zugeführten Bildverarbeitungsergebnis (30, 30A-30D); und Ausgeben des Verifikationsergebnisses (50, 50A-50D). Ein Computerprogramm umfasst einen entsprechenden Verifikationsalgorithmus, um in analoger Weise Bildverarbeitungsergebnisse von Mikroskopbildern zu überprüfen.

Description

Die vorliegende Erfindung bezieht sich auf Mikroskopieverfahren zur Probenuntersuchung nach dem Oberbegriff des Anspruchs 1. Außerdem betrifft die Erfindung ein Computerprogramm und ein Mikroskop zur Probenuntersuchung nach dem Oberbegriff des Anspruchs 14.
Bei einem gattungsgemäßen Mikroskopieverfahren zur Probenuntersuchung wird mindestens ein Mikroskopbild mit einem Mikroskop aufgenommen. Anschließend wird das mindestens eine Mikroskopbild einem Bildverarbeitungsalgorithmus zugeführt. Dieser verarbeitet das mindestens eine Mikroskopbild und gibt ein Bildverarbeitungsergebnis aus. Ein entsprechendes gattungsgemäßes Mikroskop umfasst: eine Strahlungsquelle, beispielsweise eine Lichtquelle, zum Bestrahlen einer Probe; einen Detektor / eine Kamera zum Aufnehmen von Mikroskopbildern; Optikelemente zum Leiten von nachzuweisender Strahlung, insbesondere Detektionslicht, von der Probe zum Detektor; und eine elektronische Steuer- und Auswerteeinheit, welche auch als Computer oder Teil eines Computers angesehen werden kann und zum Ausführen eines Bildverarbeitungsalgorithmus eingerichtet ist. Der Bildverarbeitungsalgorithmus ist dazu gestaltet, aus mindestens einem aufgenommenen Mikroskopbild ein Bildverarbeitungsergebnis zu berechnen und auszugeben.
Bei dem Mikroskop kann es sich um ein Lichtmikroskop, ein Röntgenmikroskop oder ein prinzipiell beliebiges anders gestaltetes Mikroskop handeln. Ein mit dem Mikroskop aufgenommenes Mikroskopbild wird typischerweise von einem oder mehreren verschiedenartigen Bildverarbeitungsalgorithmen automatisiert verarbeitet. Bildverarbeitungsalgorithmen werden beispielsweise dazu genutzt, Objekte in einem Mikroskopbild zu erkennen. Insbesondere kann ein Bildverarbeitungsalgorithmus dazu gestaltet sein, bestimmte Probenbereiche innerhalb des Mikroskopbildes zu identifizieren, welche daraufhin automatisiert angefahren und mit höherer Vergrößerung untersucht werden. Liefert der Bildverarbeitungsalgorithmus ein fehlerhaftes Bildverarbeitungsergebnis, könnte ein falscher Bereich innerhalb des Mikroskopbildes als Probenbereich identifiziert werden. Anschließend dazu aufgenommene Bilder sind dann nutzlos. Bei einer automatischen Mikroskopverstellung auf Basis eines fehlerhaften Bildverarbeitungsergebnisses kann es auch zu einer Kollision mit der Probe beziehungsweise einem Probengefäß oder einer Probenhalterung kommen. Infolgedessen könnte die Probe oder das Mikroskop selbst beschädigt werden.
Um die vorgenannten Probleme falscher Bildverarbeitungsergebnisse möglichst zu vermeiden, kann der Bildverarbeitungsalgorithmus prinzipiell dazu gestaltet sein, Konfidenzintervalle zu seinem ermittelten Bildverarbeitungsergebnis zu berechnen. Eine solche Funktionalität ist aber eng mit dem Bildverarbeitungsalgorithmus verknüpft und kann nur aufwändig zu bestehenden Bildverarbeitungsalgorithmen ergänzt werden. Bei einer Änderung des Bildverarbeitungsalgorithmus oder der Verwendung neuer Bildverarbeitungsalgorithmen muss die Konfidenzmaßbestimmung jeweils neu entwickelt werden. Diese Nachteile machen eine Verifikation von Bildverarbeitungsergebnissen durch Konfidenzintervalle in der Praxis mühsam. Darüber hinaus sind manche fehlerhaften Bildverarbeitungen für einen Menschen leicht zu erkennen, durch Konfidenzintervalle aber nur unsicher identifizierbar. Beispielsweise kann der Bildverarbeitungsalgorithmus dazu gestaltet sein, die Bildpunkte in einem aufgenommenen Mikroskopbild in die drei Kategorien „Probe“, „umgebender Probengefäßrand“ und „Rest“ einzuteilen. Typischerweise hat ein Probengefäßrand eine regelmäßige Form, beispielsweise kreisförmig oder rechteckig. Eine identifizierte Form, die extrem von solchen regelmäßigen Formen abweicht, kann von einem Menschen leicht als falsch erkannt werden, wobei aber das errechnete Konfidenzintervall unter Umständen eine hohe Qualität des falschen Bildverarbeitungsergebnisses suggeriert.
Eine grundsätzliche Überprüfung von Bildverarbeitungsergebnissen durch einen Nutzer ist unerwünscht und insbesondere unpraktisch im Falle einer großen Menge zu untersuchender Proben, beispielsweise Tausender oder Hunderttausender Proben.
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopieverfahren, ein Mikroskop und ein Computerprogramm anzugeben, mit denen eine nachteilige Weiterverwendung falscher Bildverarbeitungsergebnisse möglichst vermieden wird.
Diese Aufgabe wird durch Mikroskopieverfahren des Anspruchs 1, das Mikroskop des Anspruchs 14 und das Computerprogramm des Anspruchs 15 gelöst.
Vorteilhafte Erfindungsvarianten sind Gegenstand der abhängigen Ansprüche und werden außerdem in der folgenden Beschreibung erläutert.
Bei dem Mikroskopieverfahren der oben genannten Art wird erfindungsgemäß das Bildverarbeitungsergebnis einem Verifikationsalgorithmus zugeführt. Der Verifikationsalgorithmus umfasst einen mit Referenzbildern und Referenz-Verifikationsergebnissen angelernten Maschinenlernalgorithmus. Mit Hilfe des angelernten Maschinenlernalgorithmus und basierend auf dem zugeführten Bildverarbeitungsergebnis ermittelt der Verifikationsalgorithmus ein Verifikationsergebnis, welches sodann ausgegeben wird.
In entsprechender Weise ist bei dem Mikroskop der oben genannten Art erfindungsgemäß die elektronische Steuer- und Auswerteeinheit zum Ausführen eines Verifikationsalgorithmus eingerichtet. Der Verifikationsalgorithmus umfasst einen mit Referenzbildern und Referenz-Verifikationsergebnissen angelernten Maschinenlernalgorithmus. Zudem ist der Verifikationsalgorithmus dazu gestaltet, ein Verifikationsergebnis mit Hilfe des Maschinenlernalgorithmus und basierend auf dem Bildverarbeitungsergebnis zu ermitteln und auszugeben.
Das Computerprogramm der Erfindung umfasst Befehle, die bei der Ausführung des Programms durch einen Computer die Ausführung der folgenden Schritte veranlassen: Zuführen eines Bildverarbeitungsergebnisses eines Bildverarbeitungsalgorithmus zu einem Verifikationsalgorithmus, welcher einen mit Referenzbildern und Referenz-Verifikationsergebnissen angelernten Maschinenlernalgorithmus umfasst; und Ermitteln und Ausgeben eines Verifikationsergebnisses durch den Verifikationsalgorithmus mit Hilfe des Maschinenlernalgorithmus und basierend auf dem zugeführten Bildverarbeitungsergebnis.
Die Eingabe des Verifikationsalgorithmus ist somit das ausgegebene Bildverarbeitungsergebnis des Bildverarbeitungsalgorithmus. Bei dem Bildverarbeitungsergebnis kann es sich um ein Verarbeitungsbild oder einen Verarbeitungsbildstapel handeln. Als Verarbeitungsbildstapel werden mehrere Verarbeitungsbilder bezeichnet, die beispielsweise höhenversetzte Schnitte darstellen und zusammen ein 3D-Bild ergeben. Ein Verarbeitungsbild kann eine zweidimensionale Pixelmatrix sein, womit mehrere in Reihen und Spalten angeordnete Bildpunkte das Verarbeitungsbild ergeben. Ein Verarbeitungsbild kann auch durch geometrische Informationen gebildet sein, beispielsweise durch Definition von Objektgrenzen („bounding boxes“). Objektgrenzen können beispielsweise eine Kreis-, Ring- oder Polygonform bilden und deren Position innerhalb des Mikroskopbildes angeben. In diesem Fall muss das Verarbeitungsbild nicht durch einzelne Bildpunkte definiert sein, sondern kann durch eine Liste gefundener Segmente oder Objektgrenzen beschrieben sein.
Als ein Beispiel, auf welches zum leichteren Verständnis in der vorliegenden Offenbarung an diversen Textstellen eingegangen wird, sei die Deckglaskantenbestimmung genannt. In diesem Fall identifiziert der Bildverarbeitungsalgorithmus in einem Mikroskopbild Deckglaskanten. Das Bildverarbeitungsergebnis kann ein Verarbeitungsbild sein, in dem die jeweiligen Bildpixel des Mikroskopbildes, welche den Deckglaskanten entsprechen, markiert/identifiziert sind. Alternativ können als Bildverarbeitungsergebnis die Form und Lage einer Objektgrenze angegeben sein, beispielsweise Größe, Orientierung und Lage einer Quadratform im Falle eines quadratischen Deckglases.
Indem allein das Bildverarbeitungsergebnis dem Verifikationsalgorithmus zugeführt wird, muss die Funktionsweise des Bildverarbeitungsalgorithmus nicht bekannt sein oder berücksichtigt werden, um das Verifikationsergebnis zu ermitteln. Hierin unterscheidet sich der Verifikationsalgorithmus von einer Konfidenzintervallbestimmung, für welche einzelne Rechenoperationen des Bildverarbeitungsalgorithmus bekannt sein und berücksichtigt werden müssen. In dem vorgenannten Beispiel wird dem Verifikationsalgorithmus als Bildverarbeitungsergebnis die Form und Lage einer Objektgrenze zugeführt. Korrekte Bildverarbeitungsergebnisse können beispielsweise darin übereinstimmen, dass die ermittelten Deckglaskanten stets eine Quadratform darstellen oder eine durch die optische Abbildung möglicherweise verzerrte Quadratform. Bei falschen Bildverarbeitungsergebnissen hingegen könnten ermittelte Objektgrenzen ganz unregelmäßige Formen, ohne jegliche Ähnlichkeit zu einer Quadratform, bilden. Eine solche Form entspricht nicht dem vermutlich verwendeten quadratischen Deckglas und soll daher als falsches Bildverarbeitungsergebnis eingestuft werden.
Der Verifikationsalgorithmus unterscheidet sich von bekannten Bewertungsmethoden für Bildverarbeitungsergebnisse außerdem dadurch, dass ein mit Referenzbildern und Referenz-Verifikationsergebnissen angelernter Maschinenlernalgorithmus verwendet wird. Die Referenzbilder entsprechen den Bildverarbeitungsergebnissen und nicht etwa den Mikroskopbildern. Im vorgenenannten Beispiel werden also Referenzbilder berücksichtigt, bei denen die regelmäßige Quadratform des Deckglasrandes markiert ist. Aus diesen Referenzbildern lernt der Maschinenlernalgorithmus Regeln, um zu erkennen, ob im Bildverarbeitungsergebnis (also in dem vom Bildverarbeitungsalgorithmus ausgegebenen Bild mit markierten Deckglaskanten) eine hinreichend große Übereinstimmung zu den eingelernten Referenzbildern mit quadratischer Deckglaskantenform vorhanden ist, so dass die Aussage gemacht werden kann, dass im Bildverarbeitungsergebnis Deckglaskanten korrekt markiert sind. Die Zuverlässigkeit, fehlerhafte Bildverarbeitungsergebnisse zu erkennen, kann hierdurch wesentlich besser sein als bei bekannten Verfahren, welche Konfidenzintervalle oder andere aus dem Bildverarbeitungsalgorithmus selbst abgeleiteten Informationen über das Bildverarbeitungsergebnis nutzen. Die Referenzbilder können zusammen mit einem jeweiligen Referenz-Verifikationsergebnis eingelernt werden, welches Auskunft darüber gibt, wie das jeweilige Referenzbild (insbesondere von einem Menschen) eingestuft wurde, beispielsweise entweder als „korrektes Bildverarbeitungsergebnis“ oder „fehlerhaftes Bildverarbeitungsergebnis“. Den verwendeten Referenzbildern kann jeweils dasselbe Referenz-Verifikationsergebnis zugeordnet sein, wonach beispielsweise alle verwendeten Referenzbilder entweder als ein „korrektes Bildverarbeitungsergebnis“ eingestuft sind, oder alle als ein „fehlerhaftes Bildverarbeitungsergebnis“ eingestuft sind. Hierbei kann ein Maschinenlernalgorithmus des unüberwachten Lernens eingesetzt werden. Alternativ können den jeweiligen Referenzbildern auch verschiedene Referenz-Verifikationsergebnisse zugeordnet sein, wonach beispielsweise einige der Referenzbilder als korrekte Bildverarbeitungsergebnisse und andere als fehlerhafte Bildverarbeitungsergebnisse eingestuft sind. Hierbei kann ein Maschinenlernalgorithmus des überwachten Lernens eingesetzt werden.
Die Referenzbilder, mit denen der Maschinenlernalgorithmus trainiert wird, können vom Bildverarbeitungsalgorithmus stammen, also Bildverarbeitungsergebnisse zu Mikroskopbildern darstellen. Dabei wurde von einem Nutzer das passende Verifikationsergebnis, also das Referenz-Verifikationsergebnis, mit angegeben. Dies erlaubt es, den Verifikationsalgorithmus für beliebige Bildverarbeitungsalgorithmen zu nutzen, deren konkrete Berechnungsinhalte nicht bekannt oder näher berücksichtigt werden müssen. So kann der Verifikationsalgorithmus auch mit neuen, aktualisierten oder verschiedenen Bildverarbeitungsalgorithmen eingesetzt werden. Der Maschinenlernalgorithmus muss allein mit mehreren vom Bildverarbeitungsalgorithmus ausgegebenen Bildverarbeitungsergebnissen als Referenzbilder gefüttert werden. Dabei können für die jeweiligen Messsituationen passende Referenzbilder genutzt werden. Beispielsweise kann eine Messreihe durchgeführt werden, bei denen sich Proben in kreisförmigen Näpfchen von Mikrotiterplatten befinden. Hierbei sollen die Probengefäßränder, also kreisförmige Näpfchenränder, vom Bildverarbeitungsalgorithmus erkannt werden. Als Referenzbilder werden demgemäß Bildverarbeitungsergebnisse zugeführt, in denen die kreisförmigen Ränder identifiziert wurden - im Gegensatz zum zuvor beschriebenen Fall, in dem ein quadratischer Deckglasrand erkannt werden soll und dementsprechend Referenzbilder verwendet würden, in denen Quadratformen markiert wurden.
Ein Anlernen ausschließlich mit Referenzbildern, denen das gleiche Referenz-Verifikationsergebnis zugeordnet ist, kann beispielsweise vorteilhaft sein, wenn ein Bildverarbeitungsalgorithmus bereits mit einer sehr hohen Zuverlässigkeit arbeitet. In diesem Fall liegen einem Nutzer unter Umständen allein korrekte Bildverarbeitungsergebnisse vor, welche als Referenzbilder zum Anlernen verwendet werden können. Der Maschinenlernalgorithmus ermittelt dann Gemeinsamkeiten der Referenzbilder und gibt anschließend für zu überprüfende Bildverarbeitungsergebnisse ein positives Verifikationsergebnis aus, wenn genügend hohe Gemeinsamkeiten zu den Referenzbildern ermittelt werden. Andernfalls wird ein negatives Verifikationsergebnis ausgegeben, wobei auch Abstufungen des Verifikationsergebnisses auf mehr als zwei Werte möglich sind.
Der Verifikationsalgorithmus kann dazu gestaltet sein, das Verifikationsergebnis basierend auf dem zugeführten Bildverarbeitungsergebnis zu ermitteln, ohne dass ihm das oder die Mikroskopbild(er) zugeführt würden. Indem der Verifikationsalgorithmus keine spezielle Verarbeitung der Mikroskopbilder durchführen muss, kann eine Vielzahl ganz unterschiedlicher Mikroskopbilder und Bildverarbeitungsalgorithmen mit demselben Verifikationsalgorithmus eingesetzt werden.
Alternativ ist es aber auch möglich, dass dem Verifikationsalgorithmus zusätzlich das mindestens eine Mikroskopbild zugeführt wird und der Verifikationsalgorithmus das Verifikationsergebnis auch abhängig vom zugeführten Mikroskopbild ermittelt. Hierbei können die Trainingsdaten des Maschinenlernalgorithmus auch Mikroskopbilder umfassen. Insbesondere können die Trainingsdaten Triplets sein, mit: 1) Mikroskopbildern; 2) durch den Bildverarbeitungsalgorithmus daraus berechneten Bildverarbeitungsergebnissen (Referenzbildern) und 3) Referenz-Verifikationsergebnissen, insbesondere eine durch einen Nutzer angegebene Klassifizierung der Referenzbilder in korrekte oder falsche Bildverarbeitungsergebnisse. Der Maschinenlernalgorithmus kann hierdurch insbesondere Informationen im Mikroskopbild nutzen, die vom Bildverarbeitungsalgorithmus unzutreffend verarbeitet wurden oder unberücksichtigt blieben. Beispielsweise können die Mikroskopbilder Übersichtsbilder sein, in denen ein Objektträger oder eine Mikrotiterplatte mit mehrere Näpfchen sichtbar ist. Auf dem Objektträger oder der Mikrotiterplatte kann eine Beschriftung oder ein Aufkleber vorhanden sein, beispielsweise eine Herstellerbezeichnung. Die Lage der Beschriftung oder Herstellerbezeichnung kann sich beispielsweise stets an derselben Position relativ zu den Näpfchen oder der Probe / den Proben befinden oder auch Aufschluss darüber geben, wie viele Näpfchen oder Probenbereiche im Übersichtsbild vorhanden sein sollten. Die Beschriftungen können zusätzliche Informationen liefern, mit denen der Verifikationsalgorithmus ermitteln kann, ob ein Bildverarbeitungsergebnis (beispielsweise die Positionen und die Anzahl von Mikrotiter-Näpfchen in einem Übersichtsbild) korrekt ist. Die Mikroskopbilder können in solchen Fällen auch dazu dienen, im Lernvorgang ein Kriterium aufzustellen, in dessen Abhängigkeit sich korrekte Bildverarbeitungsergebnisse unterscheiden (beispielsweise dass im Fall eines bestimmten Herstellerlogos im Übersichtsbild kreisförmige Mikrotiter-Näpfchen vorhanden sein sollten, während bei einem anderen oder keinem Herstellerlogo im Übersichtsbild quadratische Mikrotiter-Näpfchen vorhanden sein sollten).
Der Bildverarbeitungsalgorithmus kann in prinzipiell beliebiger Weise dazu gestaltet sein, aus einem oder mehreren Mikroskopbildern ein oder mehrere Bilder zu berechnen, welche hier als Bildverarbeitungsergebnisse bezeichnet werden. Beispielsweise kann der Bildverarbeitungsalgorithmus dazu gestaltet sein, durch Denoising (Entrauschen) oder Deconvolution (Entfaltungsberechnungen) eine Verbesserung der Bildqualität zu erreichen. Alternativ oder zusätzlich kann der Bildverarbeitungsalgorithmus auch für Mikroskopie-spezifische Verrechnungen gestaltet sein, wie sie beispielsweise bei SIM (Structured Illumination Microscopy) oder PALM (Photoactivated Localization Microscopy) eingesetzt werden. Bei SIM berechnet der Bildverarbeitungsalgorithmus aus mehreren Mikroskopbildern ein einziges Bild als Bildverarbeitungsergebnis, wobei sich die Mikroskopbilder in der verwendeten Beleuchtung hinsichtlich Orientierung und Phase einer strukturierten Beleuchtung unterscheiden.
Der Bildverarbeitungsalgorithmus kann insbesondere einen Segmentierungsalgorithmus umfassen, welcher ein Mikroskopbild in verschiedene Segmente einteilt. Dies kann der Objektklassifizierung dienen, beispielsweise zum Klassifizieren von Probenbereichen und probenfreien Bereichen innerhalb des aufgenommenen Mikroskopbildes oder zum Klassifizieren eines Probenträger-, Deckglas- oder Probengefäßrandes innerhalb des aufgenommenen Mikroskopbildes. Zu diesen Zwecken kann der Bildverarbeitungsalgorithmus alternativ auch ein Detektionsalgorithmus sein, welcher Objektgrenzen bestimmt. Das Bildverarbeitungsergebnis kann, wie oben beschrieben, entweder Koordinaten der Objektgrenze(n) angeben oder für jeden Bildpixel des Mikroskopbildes eine bestimmte Klasse angeben. Eine beispielhafte Anwendung kann die Bestimmung der Anteile von Gesteinsarten in Mikroskopbildern von Bohrkernschnitten sein. Die Klassifizierung betrifft in diesem Fall verschiedene Gesteinsarten. Das mindestens eine Mikroskopbild wird durch einen Mikroskopbildstapel gebildet, also durch mehrere Mikroskopbilder, die verschiedenen Schnitten desselben Bohrkerns entsprechen. Eine andere Anwendung ist das Zählen von (biologischen) Zellen in einem Mikroskopbild. Dabei werden beispielsweise als Objektgrenzen die Zellwände/-membranen ermittelt, wobei die Anzahl solcher jeweils geschlossener Objektgrenzen die interessierende Größe ist.
Das Bildverarbeitungsergebnis ist hierbei nicht die Anzahl der Zellen, sondern ein Bild, in dem die Zellwände/-membranen markiert sind. Durch die regelmäßige Form von Zellen, beispielsweise oval oder kreisförmig im Querschnitt, ist für eine Verifikation der Ergebnisse ein Maschinenlernalgorithmus geeignet.
Der Verifikationsalgorithmus kann auch dazu gestaltet sein, einem Nutzer die Eingabe von anwendungsspezifischen Zusatzinformationen zu ermöglichen, beispielsweise über die Häufigkeitsverteilung von zu erwartenden Objekten. Werden zum Beispiel biologische Zellen identifiziert, kann als Zusatzinformation angegeben werden, wie viele Zellen typischerweise oder maximal vorkommen. Diese Zusatzinformation benutzt der Verifikationsalgorithmus zusätzlich, um ein Bildverarbeitungsergebnis zu bewerten. Im Beispiel von Segmentierungen kann als Zusatzinformation auch eine Objektform von einem Nutzer angegeben werden, beispielsweise eine Kreisform oder Quadratform, wenn der Bildverarbeitungsalgorithmus Deckglaskanten oder Probengefäßkanten finden soll.
Je nach eingesetztem Bildverarbeitungsalgorithmus können bestimmte Artefakte typischerweise auftreten, also Fehler im errechneten Bild, die keine Objektstrukturen darstellen, sondern auf die Rechenoperationen des Bildverarbeitungsalgorithmus zurückgehen. Bei Faltungsberechnungen kann dies beispielsweise vorkommen. Ein bekannter Fall von Bildartefakten sind auch durch eine JPG-Komprimierung erzeugte wellenartige Muster im Bereich von Kanten, also neben sprunghaften Bildhelligkeitsänderungen im Mikroskopbild. Der Maschinenlernalgorithmus kann nun mit Referenzbildern trainiert sein, welche unerwünschte Artefakte enthalten, wobei zugehörige Bewertungen dieser Referenzbilder (Referenz-Verifikationsergebnisse) von beispielsweise einem Menschen angegeben wurden. Der Verifikationsalgorithmus ermittelt nun, ob das zugeführte Bildverarbeitungsergebnis unerwünschte Artefakte enthält, und gibt ein hiervon abhängiges Verifikationsergebnis aus. Bildartefakte sind ein weiteres Beispiel von Fehlern, welche oftmals durch Konfidenzintervalle oder andere herkömmliche Rechenmethoden zum Ermitteln der Genauigkeit des Bildverarbeitungsergebnisses nicht sicher erkannt werden können. Hingegen kann der Verifikationsalgorithmus bei der Erfindung einen Maschinenlernalgorithmus umfassen, der gezielt auf die Erkennung solcher Artefakte trainiert wurde. Wie auch zuvor angemerkt, benötigt der Maschinenlernalgorithmus hierfür keinerlei Informationen darüber, wie der Bildverarbeitungsalgorithmus funktioniert oder wodurch es bei diesem zu Artefakten kommt.
Oftmals weisen die Mikroskopbilder aus einer Messreihe Ähnlichkeiten auf, wodurch es sinnvoll sein kann, den Maschinenlernalgorithmus auf die vorliegende Messreihe zu trainieren. Zum Beispiel kann die Messreihe eine Gruppe an Übersichtsbildern umfassen, welche jeweils eine Mikrotiterplatte mit mehreren kreisförmigen Näpfchen zeigen. Der Bildverarbeitungsalgorithmus soll hier beispielhaft alle Näpfchenränder identifizieren. Korrekte Bildverarbeitungsergebnisse stimmen dann darin überein, dass kreis- bzw. ringförmige Näpfchenränder in übereinstimmender Größe, angeordnet in Reihen und Spalten, ermittelt wurden. Allgemeiner kann ein für eine Gruppe an Mikroskopbildern individualisiertes Anlernen durchgeführt werden, wobei der Bildverarbeitungsalgorithmus zu jedem Mikroskopbild der Gruppe ein jeweiliges Bildverarbeitungsergebnis berechnet, und anschließend einem Nutzer eine Eingabemöglichkeit bereitgestellt wird, einen Anteil dieser Bildverarbeitungsergebnisse als Referenzbilder auszuwählen und ihnen (jeweils) ein Referenz-Verifikationsergebnis zuzuordnen. Im vorgenannten Beispiel wählt der Nutzer demnach einige Bildverarbeitungsergebnisse aus, in denen aus Sicht des Nutzers mehrere Näpfchenränder einer Mikrotiterplatte korrekt identifiziert wurden. Anschließend verwendet der Verifikationsalgorithmus den ausgewählten Anteil an Bildverarbeitungsergebnissen zum Anlernen des Maschinenlernalgorithmus und berechnet danach für die verbleibenden Bildverarbeitungsergebnisse mit dem angelernten Maschinenlernalgorithmus ein jeweiliges Verifikationsergebnis. Als ein wesentlicher Vorteil kann hierdurch der Maschinenlernalgorithmus mit einer Vielzahl verschiedener Bildverarbeitungsalgorithmen eingesetzt werden, ohne dass eine Rechenoperation des Bildverarbeitungsalgorithmen bekannt sein müsste, um damit einen Rechenschritt des Verifikationsalgorithmus festzulegen. Dennoch kann der Verifikationsalgorithmus für die vorliegende Gruppe an Mikroskopbildern und die gewählte Bildverarbeitung angepasst werden, ohne dass dem Nutzer anspruchsvolle Aufgaben aufgebürdet würden. Die Eingabemöglichkeit für den Nutzer zur Auswahl eines Anteils der Bildverarbeitungsergebnisse als Referenzbilder kann beispielsweise so gestaltet sein, dass mehrere Bildverarbeitungsergebnisse in reduzierter Bildauflösung nebeneinander auf einem Bildschirm dargestellt werden und der Nutzer eine variable Anzahl dieser Bilder durch Anklicken auswählen kann. Wie an anderer Stelle näher beschrieben, kann es entweder vorgesehen sein, dass der Nutzer nur korrekte oder nur fehlerhafte Bildverarbeitungsergebnisse markiert, womit keine Angabe eines Referenz-Verifikationsergebnisses durch den Nutzer zu jedem ausgewählten Bildverarbeitungsergebnis erforderlich ist. Alternativ kann dem Nutzer eine Eingabeoption für Referenz-Verifikationsergebnisse geboten werden, beispielsweise ob das jeweils ausgewählte Bildverarbeitungsergebnis korrekt oder fehlerhaft ist.
Der Verifikationsalgorithmus kann dazu gestaltet sein, abhängig vom Verifikationsergebnis verschiedene weitere Schritte durchzuführen, was nachfolgend näher beschrieben wird:

Bei manchen Erfindungsvarianten ist der Verifikationsalgorithmus dazu gestaltet, abhängig vom Verifikationsergebnis das Mikroskop für nachfolgende Bildaufnahmen zu steuern. Beispielsweise kann vorgesehen sein, dass ein geplanter Messablauf nur fortgeführt wird, wenn das Verifikationsalgorithmus angibt, dass das Bildverarbeitungsergebnis korrekt ist. Insbesondere kann das Mikroskopbild ein Übersichtsbild sein, in dem der Bildverarbeitungsalgorithmus einen Probenbereich für eine darauffolgende Detailuntersuchung identifiziert. Diese Detailuntersuchung wird aber nur dann durchgeführt, wenn der Verifikationsalgorithmus das Bildverarbeitungsergebnis für korrekt befindet.

Der Verifikationsalgorithmus kann auch dazu eingerichtet sein, abhängig vom Verifikationsergebnis eine Warnmeldung an einen Nutzer auszugeben und/oder zum Zwecke einer späteren Fehleranalyse das Bildverarbeitungsergebnis gemeinsam mit einem Fehlervermerk zu speichern. Der Verifikationsalgorithmus kann auch dazu gestaltet sein, bei einem negativen Verifikationsergebnis einen Internetkommunikationsdienst zu starten und Informationen an einen entfernten Server, beispielsweise des Mikroskopherstellers, zu senden. Die gesendeten Informationen können das Bildverarbeitungsergebnis und optional das zugehörige Mikroskopbild und eine vom Verifikationsalgorithmus erzeugte Fehlermeldung umfassen.
Der Verifikationsalgorithmus kann auch dazu gestaltet sein, abhängig vom Verifikationsergebnis ein korrigiertes Bildverarbeitungsergebnis zu berechnen und auszugeben. Ist der Maschinenlernalgorithmus des Verifikationsalgorithmus beispielsweise auf die Erkennung von Artefakten trainiert, welche aber nicht das gesamte Bild unbrauchbar machen, so kann der Verifikationsalgorithmus die Bildbereiche der Artefakte verändern und ein entsprechend korrigiertes Bildverarbeitungsergebnis ausgeben.
Weiterhin kann der Verifikationsalgorithmus dazu gestaltet sein, bei einem Verifikationsergebnis, welches eine fehlerhafte Bildverarbeitung angibt, ein erneutes Ausführen des Bildverarbeitungsalgorithmus, aber mit veränderten Bildverarbeitungsparametern, zu veranlassen. Bildverarbeitungsparameter können beispielsweise die Empfindlichkeit der Kantenidentifizierung betreffen; ein Schärfen/Weichzeichnen insbesondere vor weiteren Verarbeitungsschritten; eine Bildkontraständerung insbesondere vor weiteren Verarbeitungsschritten; eine Glättung von ermittelten Kanten; oder eine Empfindlichkeit, mit welcher verschieden helle Bildbereiche als dasselbe Objekt identifiziert werden.
Alternativ oder zusätzlich kann der Verifikationsalgorithmus auch dazu gestaltet sein, bei einem Verifikationsergebnis, welches eine fehlerhafte Bildverarbeitung angibt, ein erneutes Aufnehmen eines Mikroskopbildes mit anschließender Bildverarbeitung durch den Bildverarbeitungsalgorithmus und Verifikation durch den Verifikationsalgorithmus zu veranlassen. Die erneute Aufnahme eines Mikroskopbildes kann insbesondere dann veranlasst werden, wenn zuvor ein wiederholtes Ausführen des Bildverarbeitungsalgorithmus mit veränderten Bildverarbeitungsparametern nach wie vor ein Bildverarbeitungsergebnis geliefert hat, das vom Verifikationsalgorithmus als fehlerhaft eingestuft wurde. Die erneute Aufnahme eines Mikroskopbildes kann mit geänderten Mikroskop-Parametern erfolgen. Die geänderten Parameter können beispielsweise die Bestrahlungsintensität oder -dauer der Probe, die Belichtungszeit des Kamerachips oder verwendete Filter im Mikroskopstrahlengang betreffen.
Der Verifikationsalgorithmus kann auch dazu gestaltet sein, bei einem Verifikationsergebnis, welches eine fehlerhafte Bildverarbeitung angibt, das zugehörige Mikroskopbild und das zugehörige Bildverarbeitungsergebnis auf einem Bildschirm anzuzeigen und dem Nutzer mit einem Eingabewerkzeug die Möglichkeit zu bieten, das fehlerhafte Bildverarbeitungsergebnis zu korrigieren. Das Mikroskopbild und das zugehörige Bildverarbeitungsergebnis können beispielsweise nebeneinander oder überlagert auf dem Bildschirm angezeigt werden. Im Fall der Objektidentifizierung kann dem Nutzer beispielsweise die Möglichkeit geboten werden, über das Eingabewerkzeug eine Objektgrenze im Mikroskopbild oder im Bildverarbeitungsergebnis einzuzeichnen. Anschließend wird die vom Nutzer eingezeichnete Objektgrenze anstelle der vom Bildverarbeitungsalgorithmus ermittelten Objektgrenze weiterverwendet, beispielsweise für das Zählen von Objekten oder für das Anfahren und die vergrößerte Bildaufnahme von eingegrenzten Objekten. Es kann vorgesehen sein, dass diese Anzeige auf dem Bildschirm nur erfolgt, wenn das Bildverarbeitungsergebnis als fehlerhaft eingestuft wurde. Andernfalls kann zu einem nächsten geplanten Verfahrensschritt fortgeschritten werden, insbesondere eine Mikroskopsteuerung abhängig vom Bildverarbeitungsergebnis, zum Beispiel ein vergrößertes Aufnehmen eines ermittelten Bildausschnitts oder ein Ermitteln einer geeigneten Fokussiereinstellung an einem durch den Bildverarbeitungsalgorithmus festgelegten Ort.
Das beschriebene Computerprogramm kann insbesondere auf einem Computer ausgeführt werden, der mit einem Mikroskop bzw. dem beschriebenen Mikroskop wirkungsmäßig verbunden ist oder Teil dieses Mikroskops ist. Insbesondere kann die elektronische Steuer- und Auswerteeinheit des Mikroskops zum Ausführen des Computerprogramms eingerichtet sein. Der beschriebene Bildverarbeitungsalgorithmus kann Teil des Computerprogramms sein. Alternativ kann das Computerprogramm als Eingabe das Ergebnis des Bildverarbeitungsalgorithmus empfangen. Das Computerprogramm kann auch zur Auswertung von früher aufgenommenen Mikroskopbildern dienen und muss demnach nicht auf einem Computer ausgeführt werden, welcher mit dem Mikroskop verbunden ist oder mit diesem zusammenwirkt.
Die elektronische Steuer- und Auswerteeinheit kann durch prinzipiell beliebige elektronische Komponenten gestaltet sein, wobei ihre Funktionen in Software, Hardware oder einer Mischung aus Software und Hardware programmiert sind. Die elektronische Steuer- und Auswerteeinheit kann lokal am Ort der übrigen Mikroskopkomponenten angeordnet sein. Alternativ kann die elektronische Steuer- und Auswerteeinheit oder Teile von ihr auch auch an einem entfernten Ort angeordnet sein und über eine Datenverbindung mit übrigen Mikroskopkomponenten zusammenwirken. Für ein besonders schnelles oder effizientes Ausführen des Verifikationsalgorithmus kann die elektronische Steuer- und Auswerteeinheit bzw. der Computer auch eine Grafikkarte umfassen. Mit der Grafikkarte werden der Maschinenlernalgorithmus oder bestimmte Rechenschritte des Verifikationsalgorithmus, beispielsweise das Anlernen des Maschinenlernalgorithmus oder die Bewertung der Bildverarbeitungsergebnisse, ausgeführt.
Der Maschinenlernalgorithmus kann einen Algorithmus des überwachten oder unüberwachten Lernens umfassen, wie auch oben erwähnt. Beim überwachten Lernen ermittelt der Maschinenlernalgorithmus aus den Referenzbildern und den dazu angegebenen Referenz-Verifikationsergebnissen eine Abbildungsfunktion, welche sodann verwendet wird, um ein Bildverarbeitungsergebnis auf ein Verifikationsergebnis abzubilden. Das Verifikationsergebnis kann ein Gütemaß darstellen, welches zwei Werte oder auch eine beliebige Anzahl diskreter oder kontinuierlicher Werte haben kann. Beim unüberwachten Lernen muss kein jeweiliges Referenz-Verifikationsergebnis angegeben werden, wobei durch die Auswahl der Referenzbilder (beispielsweise nur korrekte Bildverarbeitungsergebnisse) alle Referenzbilder demselben (Referenz-)Verifikationsergebnis entsprechen, beispielsweise nur einem korrekten Verifikationsergebnis. Der Maschinenlernalgorithmus leitet nun aus einem Bildverarbeitungsergebnis ein Verifikationsergebnis oder Gütemaß ab, basierend auf Abweichungen zwischen dem Bildverarbeitungsergebnis und den Referenzbildern. Für den Maschinenlernalgorithmus kann auch ein Deep-Learning-Algorithmus oder ein anderer prinzipiell bekannter Lernalgorithmus eingesetzt werden. Beispielsweise kann ein Convolutional Neural Network (CNN, faltendes neuronales Netzwerk) eingesetzt werden, insbesondere zur Klassifikation oder Regression von einzelnen Bildregionen oder eines vom Bildverarbeitungsalgorithmus ausgegebenen Gesamtbilds in eine Güteklasse oder auf ein Gütemaß. Alternativ können auch Segmentierungs-CNN eingesetzt werden, welche eine Segmentierung durch den Bildverarbeitungsalgorithmus bewerten und gegebenenfalls ändern, optional basierend auf den Mikroskopbildern. Auch kann ein Detektions-CNN verwendet werden, welches als problematisch erkannte Regionen markiert. Für das unüberwachte Lernen kann beispielsweise ein Deep-Autoencoder-Algorithmus verwendet werden, welcher Abweichungen von einem Bildverarbeitungsergebnis zu Referenzbildern als Unsicherheitsmaß interpretiert.
Als Mikroskopbild wird ein mit dem Mikroskop aufgenommenes Bild bezeichnet. Dieses Bild kann auch durch nacheinander ablaufende Messungen errechnet sein, beispielsweise bei einem Probenscan. Die zu untersuchende Probe befindet sich zwar in der Regel in der beleuchteten Ebene, welche scharf auf den Detektor abgebildet wird, um ein Mikroskopbild aufzunehmen. Allerdings muss die Probe nicht zwingend im Mikroskopbild sichtbar sein, etwa weil sie in einem Übersichtsbild zu klein ist oder wenn zunächst durch das Mikroskopbild Positions- oder Fokussiereinstellungen ermittelt werden sollen, ehe mit veränderter Beleuchtungseinstellung die Probe untersucht wird.
Ein Verifikationsergebnis kann sich auf das komplette vom Bildverarbeitungsalgorithmus ausgegebene Bild beziehen. Alternativ kann das Verifikationsergebnis auch mehrere Teilergebnisse für verschiedene Regionen des vom Bildverarbeitungsalgorithmus ausgegebene Bildes umfassen. Hierdurch ist eine Differenzierung möglich, wonach manche Bildregionen als korrekt verarbeitet und andere Bildregionen als fehlerhaft verarbeitet eingestuft werden können. Als Verifikationsergebnis kann auch ein Bild ausgegeben werden, in dem die als fehlerhaft identifizierten Bereiche markiert sind.
Ein vom Nutzer vorgegebenes Referenz-Verifikationsergebnis beim überwachten Lernen kann folgendes umfassen: eine Bezeichnung, beispielsweise „korrekt“ und „fehlerhaft“; ein numerischer Wert zur Qualitätsbewertung, beispielsweise eine Zahl zwischen 0 und 100; eine Fehlerpositionsangabe im Referenzbild, optional mit zugehöriger Bezeichnung oder numerischer Qualitätsbewertung; und/oder ein manuell korrigiertes Bildverarbeitungsergebnis, beispielsweise eine geänderte Bildsegmentierung. Bei einem Maschinenlernalgorithmus des unüberwachten Lernens werden hingegen nur die Referenzbilder, optional mit zugehörigen Mikroskopbildern, aus denen der Bildverarbeitungsalgorithmus die Referenzbilder berechnet hat, verwendet; dabei wird für alle Referenzbilder das gleiche Referenz-Verifikationsergebnis angenommen, beispielsweise „korrekte Bildverarbeitung“.
Die beschriebenen optionalen Erfindungsmerkmale können Teil des erfindungsgemäßen Verfahrens, Mikroskops oder Computerprogramms sein. Das Mikroskop kann insbesondere dazu eingerichtet sein, die erfindungsgemäßen Verfahrensvarianten auszuführen. Umgekehrt ergeben sich Varianten des erfindungsgemäßen Verfahrens durch die bestimmungsgemäße Verwendung von Ausführungsformen des erfindungsgemäßen Lichtmikroskops. Das Computerprogramm kann insbesondere Befehle umfassen, durch die der beschriebene Verifikationsalgorithmus und optional auch der Bildverarbeitungsalgorithmus und die vom Verifikationsergebnis abhängige Steuerung ausgeführt werden, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung des Ablaufs eines erfindungsgemäßen Verfahrens;
2 zeigt schematisch Referenzbilder, wie sie zum Trainieren des Maschinenlernalgorithmus des erfindungsgemäßen Mikroskops oder Computerprogramms verwendet werden;
3 zeigt schematisch ein erfindungsgemäßes Mikroskop.

Gleiche und gleich wirkende Bestandteile sind in den Figuren in der Regel mit denselben Bezugszeichen gekennzeichnet.
1 zeigt schematisch die Schritte eines Ausführungsbeispiels des Mikroskopieverfahrens gemäß der Erfindung.
Mit einem Mikroskop aufgenommene Bilder, nachfolgend Mikroskopbilder 10, 10A-10D, werden einem Bildverarbeitungsalgorithmus 20 zugeführt. Der Bildverarbeitungsalgorithmus 20 kann in prinzipiell bekannter Weise gestaltet sein und beispielsweise dazu dienen, eine Segmentierung der Mikroskopbilder 10, 10A-10D vorzunehmen. Dabei erkennt und klassifiziert der Bildverarbeitungsalgorithmus 20 verschiedene Objekte in den Mikroskopbildern 10, 10A-10D. In dem dargestellten Beispiel wurden Mikroskopbilder 10, 10A-10D in einer Messsituation aufgenommen, bei welcher sich eine zu untersuchende Probe zwischen einem Objektträger und einem Deckglas befand. Der Bildverarbeitungsalgorithmus 20 soll in den Mikroskopbildern 10, 10A-10D jeweils einen Deckglasrand 31, einen Deckglasbereich 32, unter dem sich die Probe befinden kann, und eine restliche Umgebung 33 identifizieren. Der Bildverarbeitungsalgorithmus 20 gibt ein Bildverarbeitungsergebnis 30, 30A-30D aus, welches ein verarbeitetes Bild ist. Im vorliegenden Beispiel hat der Bildverarbeitungsalgorithmus 20 zu jedem Mikroskopbild 10, 10A-10D ein Bildverarbeitungsergebnis 30, 30A-30D erstellt, in dem ein identifizierter Deckglasbereich 32, ein identifizierter Deckglasrand 31 und der übrige Hintergrund 33 unterschiedlich markiert sind.
Im Mikroskopbild 10D konnte der Bildverarbeitungsalgorithmus 20 ein rechteckiges Deckglas korrekt erkennen; das zugehörige Bildverarbeitungsergebnis 30D zeigt zutreffend die quadratische Form des Deckglasrands 32. Innerhalb des Bereichs des Deckglasrands 31 wurde der Deckglasbereich / die Probe 32 korrekt erkannt, während der Deckglasrand 31 korrekt von einem Hintergrund 33 umgeben ist.
Hingegen konnte der Bildverarbeitungsalgorithmus 20 im Mikroskopbild 10B das Deckglas nicht zutreffend erkennen: Im zugehörigen Bildverarbeitungsergebnis 30B ist ein Deckglasrand in einer in der Praxis nicht vorkommenden Form markiert; zudem ist der Deckglasrand unterschiedlich dick und nicht durchgängig.
Auch im Bildverarbeitungsergebnis 30C ist die Segmentierung in Deckglasbereich, Deckglasrand und Hintergrund nicht korrekt. So ist zwar das rechteckige Deckglas erkannt worden, aber danebenliegende Bereiche sind fälschlicherweise ebenfalls als Deckglasbereich und Deckglaskante markiert.
Das Mikroskopbild 10A wurde wiederum korrekt verarbeitet und im zugehörigen Bildverarbeitungsergebnis 30A sind der Deckglasbereich, Deckglas-/Probengefäßrand und Hintergrund korrekt angegeben.
Während herkömmliche Verfahren nicht zufriedenstellend falsche Bildverarbeitungsergebnisse 30B, 30C erkennen können, wird dies bei der Erfindung durch einen Verifikationsalgorithmus 40 ermöglicht. Dem Verifikationsalgorithmus 40 werden die Bildverarbeitungsergebnisse 30, 30A-30D zugeführt. Er umfasst einen Maschinenlernalgorithmus 45, welcher dazu trainiert ist, aus dem jeweiligen Bildverarbeitungsergebnis 30, 30A-30D ein Verifikationsergebnis 50 zu berechnen. Für die Bildverarbeitungsergebnisse 30B, 30C gibt das zugehörige Verifikationsergebnis 50B, 50C an, dass die Bildverarbeitung fehlerhaft war. Hingegen geben die Verifikationsergebnisse 50A, 50D an, dass die zugehörigen Bildverarbeitungsergebnisse 30A, 30D korrekt sind. Im dargestellten Beispiel geben die Verifikationsergebnisse lediglich zwei verschiedene Werte „richtig“ oder „falsch“ an. Bei anderen Ausführungen können aber auch andere oder eine größere Anzahl verschiedener Verifikationsergebnisse möglich sein.
Abhängig vom vorliegenden Verifikationsergebnis 50, 50A-50D führt eine Steuereinrichtung 60 eine Steuerung 62, 63 oder Informationsausgabe 61 durch, was später näher beschrieben wird.
Zunächst wird mit Bezug auf 2 darauf eingegangen, wie der Maschinenlernalgorithmus 45 des Verifikationsalgorithmus 40 trainiert ist. So werden dem Maschinenlernalgorithmus 45 als Trainingsdaten verschiedene Bildverarbeitungsergebnisse zugeführt, die der Bildverarbeitungsalgorithmus 20 aus aufgenommenen Mikroskopbildern berechnet hat. Die für das Training genutzten Bildverarbeitungsergebnisse werden vorliegend als Referenzbilder 41A-41H bezeichnet. Im dargestellten Beispiel wurden die Referenzbilder 41A-41H von einem Bildverarbeitungsalgorithmus errechnet, der einen Segmentierungsalgorithmus umfasst und in jedem Mikroskopbild Bereiche in verschiedene Klassen eingeteilt hat, hier in „Deckglasbereich“ 32, „Deckglasrand“ 31 und „Hintergrund“ 33. Es können auch weitere Klassen vorgesehen sein; so wurden beispielsweise durch den Bildverarbeitungsalgorithmus im Referenzbild 41B zwei Bereiche innerhalb des Deckglasbereichs als „Probe“ erkannt und klassifiziert.
Zu jedem Referenzbild 41A-41H wird ein zugehöriges Verifikationsergebnis vorgegeben, welches als Referenz-Verifikationsergebnis 51, 52 bezeichnet wird. Das Referenz-Verifikationsergebnis kann durch einen Menschen vorgegeben sein. Für die Referenzbilder 41A-41D wurde als Referenz-Verifikationsergebnis 51 „Bildverarbeitung richtig“ angegeben. Den Referenzbildern 41E-41H wurde hingegen als Referenz-Verifikationsergebnis 52 „Bildverarbeitung fehlerhaft“ zugeordnet. Gerade bei der beispielhaft gezeigten Bildverarbeitung, also einer Segmentierung oder Klassifizierung von Bilddaten, können Menschen oftmals leicht erkennen, ob ein Bildverarbeitungsergebnis korrekt sein kann oder etwa die detektierte Deckglasform nicht in Realität vorkommt. Bekannte Bildverarbeitungsalgorithmen beinhalten keine zufriedenstellenden Überprüfungs- oder Bewertungsschritte, um das ermittelte Ergebnis zuverlässig zu kontrollieren. Um dies zu erreichen, wird der Maschinenlernalgorithmus 45 genutzt: Durch die Referenzbilder 41A-41H und die zugehörigen Referenz-Verifikationsergebnisse 51, 52 wird er angelernt, Kriterien aufzustellen, nach denen er einem unbekannten Bildverarbeitungsergebnis 30, 30A-30D eines der (Referenz-)Verifikationsergebnisse 51 oder 52 zuordnet. In anderen Worten bestimmt der Maschinenlernalgorithmus 45 eine Hypothese, das heißt eine Abbildung, die jedem Bildverarbeitungsergebnis ein Verifikationsergebnis zuordnet. Hierbei ist wichtig, dass die zum Anlernen verwendeten Referenzbilder nicht etwa aufgenommene Mikroskopbilder, sondern daraus mit dem Bildverarbeitungsalgorithmus verarbeitete Bilder sind, welche hier als Bildverarbeitungsergebnisse bezeichnet werden.
In einer Abwandlung der gezeigten Ausführung kann der Maschinenlernalgorithmus 45 auch allein mit Referenzbildern, welchen dasselbe Referenz-Verifikationsergebnis zugeordnet ist, angelernt sein, beispielsweise nur mit den Referenzbildern 41A-41D.
Ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskops 100 wird nun mit Bezug auf 3 beschrieben. Das Mikroskop 100 umfasst eine Lichtquelle 70, welche Beleuchtungslicht 71 in Richtung einer Probe 80 aussendet. Die Lichtquelle 70 kann beispielsweise eine oder mehrere LEDs oder Laser umfassen. Das Beleuchtungslicht 71 wird über Optikelemente 72-76 zur Probe geleitet. Die Optikelemente können optional einen Scanner 73 und ein Objektiv 76 zum Fokussieren des Beleuchtungslichts 71 auf eine bestimmte Probenebene umfassen. Das von der Probe ausgehende Licht wird nachfolgend als Detektionslicht 81 bezeichnet. Es kann sich hierbei um Strahlung handeln, die nach einer Anregung eines Moleküls durch Absorption des Beleuchtungslichts beim Übergang in einen niederenergetischen Molekülzustand ausgesendet wird, wie beispielsweise bei Fluoreszenzlicht. Alternativ kann es sich auch um reflektiertes oder gestreutes Beleuchtungslicht oder bei anderen Aufbauten um transmittiertes Beleuchtungslicht handeln. Das Detektionslicht 81 wird über Optikelemente 72-79 auf einen Lichtdetektor 85 geleitet. Im dargestellten Beispiel wird über die Optikelemente 72-76 sowohl Beleuchtungslicht 71 als auch Detektionslicht 81 geleitet. Das Element 72 ist ein Strahlteiler, welcher für Detektionslicht 81 oder Beleuchtungslicht 71 reflektiv ist und für das entsprechend andere Licht 71 oder 81 transmissiv ist. Anstelle einer solchen descanned-Auflichtanordnung kann auch in Durchlicht oder mit einer Dunkelfeldbeleuchtung gemessen werden, wobei das Beleuchtungslicht 71 und Detektionslicht 81 nicht über dieselben optischen Elemente geleitet werden müssen. Der Lichtdetektor 85 kann einen Kamerachip umfassen, mit dem Mikroskopbilder aufgenommen werden, wie zu den vorherigen Figuren beschrieben.
Das Mikroskop 100 umfasst eine elektronische Steuer- und Auswerteeinheit 90, welche den bereits beschriebenen Bildverarbeitungsalgorithmus 20 und den Verifikationsalgorithmus 40 mit dem Maschinenlernalgorithmus 45 enthält. Mikroskopbilder 10 werden vom Detektor 85 zum Bildverarbeitungsalgorithmus 20 gesendet, welcher zu jedem Mikroskopbild 10 ein zugehöriges Bildverarbeitungsergebnis 30 an den Verifikationsalgorithmus 40 ausgibt. Dieser berechnet zu jedem Bildverarbeitungsergebnis 30 ein Verifikationsergebnis 50, welches an eine Steuereinrichtung 60 der elektronischen Steuer- und Auswerteeinheit 90 ausgegeben wird. Die Steuereinrichtung 60 führt abhängig vom Verifikationsergebnis 50 verschiedene Schritte durch: Beispielsweise kann sie den Bildverarbeitungsalgorithmus 20 dazu ansteuern, Mikroskopbilder 10, zu denen das ermittelte Bildverarbeitungsergebnis 30 in einem negativen Verifikationsergebnis 50 resultierte, erneut zu verarbeiten. Dabei werden geänderte Bildverarbeitungsparameter gewählt. Alternativ kann die Steuereinrichtung 60 bei einem negativen Verifikationsergebnis die Lichtquelle 70 oder den Detektor 85 ansteuern, um Beleuchtungs- bzw. Detektionsparameter zu ändern und von demselben Probenbereich erneut ein Mikroskopbild aufzunehmen. Insbesondere können für die erneute Aufnahme eines Mikroskopbildes Lateralkoordinaten des abgebildeten Probenbereichs gleich bleiben, aber die Beleuchtungsintensität, Beleuchtungsdauer, Beleuchtungswellenlänge oder Belichtungs- bzw. Integrationszeit des Detektors 85 verändert werden. Auch kann die Steuereinrichtung 60 dazu eingerichtet sein, abhängig vom Verifikationsergebnis 50 das Objektiv 76, einen Probentisch zum Bewegen der Probe 80 und/oder den Scanner 73 anzusteuern und zu verstellen, insbesondere um bei positivem Verifikationsergebnis 50 mit einer Probenuntersuchung bei geänderten Mikroskopeinstellungen fortzufahren. Die verschiedenen Steuerschritte, die von der Steuereinrichtung 60 ausgeführt werden können, sind in 1 mit den Bezugszeichen 61-63 gekennzeichnet. Steuerschritt 61 kennzeichnet hierbei eine Informationsausgabe des Verifikationsergebnisses an einen Nutzer. Es kann vorgesehen sein, dass dies nur für negative Verifikationsergebnisse 50B, 50C erfolgt, wobei einem Nutzer das zum negativen Verifikationsergebnis 50B, 50C gehörende Mikroskopbild 10B, 10C neben oder teiltransparent überlagert mit dem Bildverarbeitungsergebnis 30B, 30C angezeigt wird. Dem Nutzer wird die Möglichkeit geboten, die Bildverarbeitungsergebnisse 30B, 30C zu verändern, beispielsweise mit einem Markierwerkzeug am Bildschirm andere Objektgrenzen oder Segmentierungen einzuzeichnen. Korrigierte Bildverarbeitungsergebnisse werden sodann in gleicher Weise wie Bildverarbeitungsergebnisse mit korrekten Verifikationsergebnissen 50A, 50D weitergenutzt, beispielsweise indem nachfolgende Probenbilder basierend auf den Bildverarbeitungsergebnissen aufgenommen werden, insbesondere vergrößerte Aufnahmen von markierten Bildausschnitten.
In Abwandlungen des dargestellten Ausführungsbeispiels wird anstelle des Lichtmikroskops ein anderes Mikroskop verwendet, welches die Probe nicht mit sichtbarer Strahlung bestrahlt. Die Lichtquelle kann dann durch eine Strahlungsquelle, beispielsweise eine Röntgenquelle ersetzt sein. Der Detektor ist für die verwendete Strahlung sensitiv. Als Optikelemente werden für die jeweilige Strahlung geeignete Fokussier- und/oder Ablenkelemente verwendet, beispielsweise (metallische) Spiegel mit optional gekrümmter Oberfläche oder Magnete zur Fokussierung oder Ablenkung von Strahlung. Außer Licht- oder Röntgenquellen kommen auch Strahlungsquellen in Frage, die einen Elektronen- oder lonenstrahl aussenden.
Ein Ausführungsbeispiel des erfindungsgemäßen Computerprogramms umfasst den in Bezug auf 1 beschriebenen Verifikationsalgorithmus 40 mit dem Maschinenlernalgorithmus 45. Dabei werden Referenzbilder wie zu 2 beschrieben verwendet. Der zu 1 beschriebene Bildverarbeitungsalgorithmus und die Funktionen der Steuereinrichtung 60 können optional auch Teil des Computerprogramms sein. Der Computer zum Ausführen des Computerprogramms kann durch die Steuer- und Auswerteeinheit 90 gebildet sein.
Durch die beschriebene Überprüfung der Ergebnisse von Bildverarbeitungen aufgenommener Mikroskopbilder kann eine zuverlässige Automatisierung bereitgestellt werden. Das Risiko, dass ganze Mesreihen aufgrund eines fehlerhaft ausgewerteten Mikroskopbildes falsch aufgenommen oder ausgewertet werden, wird reduziert. Auch ist die Gefahr von Schäden minimiert, die beispielsweise durch eine Kollision des Objektivs 76 mit der Probe 80 aufgrund einer Mikroskopansteuerung basierend auf einer fehlerhaften Bildverarbeitung drohen.
Bezugszeichenliste

10, 10A-10D: Mikroskopbild
20: Bildverarbeitungsalgorithmus
30, 30A-30D: Bildverarbeitungsergebnisse
31: im Mikroskopbild identifizierter Probenträger-, Deckglas- oder Probengefäßrand
32: im Mikroskopbild identifizierter Deckglasbereich, unter dem sich eine Probe befinden kann
33: im Mikroskopbild identifizierter Hintergrund oder probenfreier Bereich
40: Verifikationsalgorithmus
41A-41H: Referenzbilder
45: Maschinenlernalgorithmus
50, 50A-50D: Verifikationsergebnisse
51, 52: Referenz-Verifikationsergebnisse
60: Steuereinrichtung
61-63: von der Steuereinrichtung 60 veranlasste Schritte
70: Lichtquelle
71: Beleuchtungslicht
72-79: Optikelemente
80: Probe
81: Detektionslicht
85: Kamera
90: elektronische Steuer- und Auswerteeinheit
100: Mikroskop

Claims

Mikroskopieverfahren zur Probenuntersuchung, welches zumindest die folgenden Schritte umfasst: - Aufnehmen von mindestens einem Mikroskopbild (10, 10A-10D); und - Zuführen des mindestens einen Mikroskopbildes (10, 10A-10D) zu einem Bildverarbeitungsalgorithmus (20), welcher ein Bildverarbeitungsergebnis (30, 30A-30D) ausgibt; gekennzeichnet durch - Zuführen des Bildverarbeitungsergebnisses (30, 30A-30D) zu einem Verifikationsalgorithmus (40), welcher einen mit Referenzbildern (41A-41H) und zugehörigen Referenz-Verifikationsergebnissen (51, 52) angelernten Maschinenlernalgorithmus (45) umfasst; - Ermitteln eines Verifikationsergebnisses (50, 50A-50D) durch den Verifikationsalgorithmus (40) mit Hilfe des angelernten Maschinenlernalgorithmus (45) und basierend auf dem zugeführten Bildverarbeitungsergebnis (30, 30A-30D); und - Ausgeben des Verifikationsergebnisses (50, 50A-50D).
Mikroskopieverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzbilder (41A-41H), mit denen der Maschinenlernalgorithmus (45) angelernt ist, vom Bildverarbeitungsalgorithmus (20) erzeugt sind.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Maschinenlernalgorithmus (45) mit Referenzbildern (41A-41H) angelernt ist, welchen jeweils das gleiche Referenz-Verifikationsergebnis (51) zugeordnet ist.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Bildverarbeitungsergebnis (30, 30A-30D) ein Verarbeitungsbild oder Verarbeitungsbildstapel ist.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass dem Verifikationsalgorithmus (40) zusätzlich das Mikroskopbild (10, 10A-10D) zugeführt wird und der Verifikationsalgorithmus (40) das Verifikationsergebnis (50, 50A-50D) auch abhängig vom zugeführten Mikroskopbild (10, 10A-10D) ermittelt.
Mikroskopieverfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der Verifikationsalgorithmus (40) das Verifikationsergebnis (50, 50A-50D) basierend auf dem zugeführten Bildverarbeitungsergebnis (30, 30A-30D), ohne dass ihm das mindestens eine Mikroskopbild (10, 10A-10D) zugeführt wird, ermittelt.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, - dass ein für eine Gruppe an Mikroskopbildern (10, 10A-10D) individualisiertes Anlernen durchgeführt wird, in welchem - der Bildverarbeitungsalgorithmus (20) zu jedem Mikroskopbilder (10, 10B, 10C) der Gruppe ein jeweiliges Bildverarbeitungsergebnis (30, 30A-30D) berechnet und - einem Nutzer eine Eingabemöglichkeit bereitgestellt wird, einen Anteil dieser Bildverarbeitungsergebnisse (30A, 30B, 30D) als Referenzbilder (41A, 41D, 41E) auszuwählen und ihnen ein jeweiliges oder gemeinsames Referenz-Verifikationsergebnis (51, 52) zuzuordnen, - dass der Verifikationsalgorithmus (40) den ausgewählten Anteil an Bildverarbeitungsergebnissen (30A, 30B, 30D) zum Anlernen des Maschinenlernalgorithmus (45) verwendet und anschließend für die verbleibenden Bildverarbeitungsergebnisse (30, 30C) mit dem angelernten Maschinenlernalgorithmus (45) ein jeweiliges Verifikationsergebnis (50, 50C) berechnet.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Maschinenlernalgorithmus (45) mit Referenzbildern, welche unerwünschte Artefakte enthalten, und zugehörigen Referenz-Verifikationsergebnissen (52) angelernt ist, dass der Verifikationsalgorithmus (40) ermittelt, ob das zugeführte Bildverarbeitungsergebnis (30, 30A-30D) unerwünschte Artefakte enthält, und ein hiervon abhängiges Verifikationsergebnis (50, 50A-50D) ausgibt.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Bildverarbeitungsalgorithmus (20) ein Segmentierungsalgorithmus zur Objektklassifizierung ist, insbesondere zum Klassifizieren von Probenbereichen (32) und probenfreien Bereichen (33) innerhalb des aufgenommenen Mikroskopbildes (10, 10A-10D) oder zum Klassifizieren eines Probenträger-, Deckglas- oder Probengefäßrandes (31) innerhalb des aufgenommenen Mikroskopbildes (10, 10A-10D), oder dass der Bildverarbeitungsalgorithmus (20) ein Detektionsalgorithmus zur Objektgrenzenbestimmung ist, insbesondere zur Bestimmung von Proben-, Probenträger-, Deckglas- und/oder Probengefäßgrenzen (31).
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine elektronische Steuer- und Auswerteeinheit (60) abhängig vom Verifikationsergebnis (50, 50A-50D) das Mikroskop (100) für nachfolgende Bildaufnahmen steuert.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Verifikationsalgorithmus (40) bei einem Verifikationsergebnis (50B, 50C), welches eine fehlerhafte Bildverarbeitung angibt, ein erneutes Ausführen des Bildverarbeitungsalgorithmus (20), aber mit veränderten Bildverarbeitungsparametern, veranlasst.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Verifikationsalgorithmus (40) bei einem Verifikationsergebnis (50B, 50C), welches eine fehlerhafte Bildverarbeitung angibt, ein erneutes Aufnehmen eines Mikroskopbildes (10, 10A-10D) mit anschließender Bildverarbeitung durch den Bildverarbeitungsalgorithmus (20) und Verifikation durch den Verifikationsalgorithmus (40) veranlasst.
Mikroskopieverfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Verifikationsalgorithmus (40) bei einem Verifikationsergebnis (50B, 50C), welches eine fehlerhafte Bildverarbeitung angibt, das zugehörige Mikroskopbild (10B, 10C) und das zugehörige Bildverarbeitungsergebnis (30B, 30C) einem Nutzer auf einem Bildschirm anzeigt und dem Nutzer mit einem Eingabewerkzeug die Möglichkeit bietet, das fehlerhafte Bildverarbeitungsergebnis (30B, 30C) zu korrigieren.
Mikroskop, umfassend: - eine Strahlungsquelle (70), insbesondere Lichtquelle, zum Bestrahlen einer Probe (80); - einen Detektor (85) zum Aufnehmen von Mikroskopbildern (10, 10A-10D); - Optikelemente (72-79) zum Leiten von Detektionsstrahlung (81), insbesondere Detektionslicht (81), von der Probe (80) zum Detektor (85); und - eine elektronische Steuer- und Auswerteeinheit (90), welche zum Ausführen eines Bildverarbeitungsalgorithmus (20) eingerichtet ist; - wobei der Bildverarbeitungsalgorithmus (20) dazu gestaltet ist, aus mindestens einem aufgenommenen Mikroskopbild (10, 10A-10D) ein Bildverarbeitungsergebnis (30, 30A-30D) zu berechnen und auszugeben; dadurch gekennzeichnet, dass - die elektronische Steuer- und Auswerteeinheit (90) zum Ausführen eines Verifikationsalgorithmus (40) eingerichtet ist; - der Verifikationsalgorithmus (40) einen mit Referenzbildern (41A-41H) und Referenz-Verifikationsergebnissen (51, 52) angelernten Maschinenlernalgorithmus (45) umfasst; und - der Verifikationsalgorithmus (40) dazu gestaltet ist, ein Verifikationsergebnis (50, 50A-50D) mit Hilfe des angelernten Maschinenlernalgorithmus (45) und basierend auf dem Bildverarbeitungsergebnis (30, 30A-30D) zu ermitteln und auszugeben.
Computerprogramm, umfassend Befehle, die bei Ausführung des Programms durch einen Computer diesen veranlassen, die folgenden Schritte auszuführen: - Zuführen eines Bildverarbeitungsergebnisses (30, 30A-30D) von einem Bildverarbeitungsalgorithmus (20) zu einem Verifikationsalgorithmus (40), welcher einen mit Referenzbildern (41A-41H) und Referenz-Verifikationsergebnissen (51, 52) angelernten Maschinenlernalgorithmus (45) umfasst; - Ermitteln und Ausgeben eines Verifikationsergebnisses (50, 50A-50D) durch den Verifikationsalgorithmus (40) mit Hilfe des angelernten Maschinenlernalgorithmus (45) und basierend auf dem zugeführten Bildverarbeitungsergebnis (30, 30A-30D).