DE102022115989A1

DE102022115989A1 - Mikroskopiesystem und Verfahren zur Farbkorrektur von Mikroskopbildern

Info

Publication number: DE102022115989A1
Application number: DE102022115989.2A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Thomas Ohrt
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2022-06-27
Filing date: 2022-06-27
Publication date: 2023-12-28
Also published as: CN117310965A; US20230418042A1

Abstract

Bei einem computerimplementierten Verfahren zur Farbkorrektur von Mikroskopbildern wird ein Objekt (24), das einem vorgegebenen Objekttyp (23) bekannter Farbe (28A, 28B) entspricht, in einem Mikroskopbild (20) mittels eines Bildverarbeitungsprogramms (M) lokalisiert. Anhand eines Bildbereichs (25A, 25B) des lokalisierten Objekts (24) wird eine Farbkorrektur (27; 27A, 27B) ermittelt, durch welche eine Farbe (26A, 26B) des lokalisierten Objekts (24) im Bildbereich (25A, 25B) in Übereinstimmung mit der bekannten Farbe (28A, 28B) gebracht wird. Die Farbkorrektur (27; 27A, 27B) wird auf zumindest einen Ausschnitt des Mikroskopbildes (20) oder eines anderen Mikroskopbildes (20') angewandt, oder in einer Aufnahme eines weiteren Mikroskopbildes genutzt.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zur Farbkorrektur von Mikroskopbildern.
HINTERGRUND
In Mikroskopbildern erscheinen farbige oder farblose (z.B. weiße) Objekte nicht immer farbtreu. Beispielsweise kann die während der Bildaufnahme genutzte Beleuchtung eine Auswirkung auf die Farbe in aufgenommenen Mikroskopbildern haben. Eine tatsächlich weiße Struktur erscheint hierdurch eine Farbe zu haben, was von einem kühlen blauen Farbton bis zu einem warmen roten Farbton reicht. Üblicherweise wird eine Farbtemperatur in Kelvin genutzt, um auszudrücken, in welchem Farbton eine tatsächlich weiße Struktur erscheint. Die Farbe in Mikroskopbildern kann jedoch ein entscheidendes Kriterium für eine Charakterisierung oder Einordnung einer Mikroskopieprobe sein, beispielsweise in der Diagnose einer Patientenprobe. Um einen unerwünschten Farbstich zu vermeiden, ist daher ein Weißabgleich (englisch: „white balance“ oder „color balance“) nötig.
Bei Glühlampen ist durch das rotlastige Lichtspektrum ein Weißabgleich zwingend, um einen Rotstich aufgenommener Bilder zu vermeiden. Auch durch eine Dimmung von LED-Lampen oder durch Umgebungsbedingungen am Mikroskop kann ein Farbstich in aufgenommenen Bildern vorliegen. Bei den Bildern kann es sich um Probenbilder handeln, die über das Mikroskopobjektiv und die Systemkamera aufgenommen werden, oder um Übersichtsbilder, die insbesondere von einer separaten Übersichtskamera aufgenommen werden, wie in DE102017111718A1 oder DE102019131693A1 beschrieben.
In der digitalen Mikroskopie erfolgt die Einstellung des Weißabgleichs häufig manuell durch den Nutzer. Dazu wählt der Nutzer am Mikroskop eine Stelle ohne mikroskopische Probe aus, an welcher zum Beispiel speziell für den Weißabgleich eine farblose Karte platziert wird. Diese Stelle wird als weißer (oder grauer) Bereich definiert und für diesen Bereich wird der Weißabgleich durchgeführt. Anschließend kann die mikroskopische Probe wieder in das Bildfeld gebracht und aufgenommen werden. Ein solcher Ablauf für einen Weißabgleich an einer farblosen Referenzkarte ist zum Beispiel in den Spalten 47-49 aus US10917543B2 beschrieben. Ein Weißabgleich an einem Bildbereich, den ein Nutzer außerhalb der untersuchten Probe manuell vorgibt, ist in JP2004086031A beschrieben.
Aufgrund der manuell durchzuführenden Schritte ist der Weißabgleich subjektiv durch den Mikroskopnutzer geprägt. Manchen Nutzern ist auch nicht bekannt, oder es wird vergessen, dass ein (manueller) Weißabgleich durchgeführt werden sollte. Eine statistische Auswertung aufgenommener Probenbilder ist dadurch eingeschränkt bzw. liefert subjektiv beeinflusste Ergebnisse. Außerdem gibt es je nach Detektor und Lichtquelle unterschiedliche Einstellungen, die ergänzend angepasst werden könnten, um einen noch besseren Weißabgleich zu erzielen. Hierdurch wird der Weißabgleich aber gerade für unerfahrene Nutzer mühsam. In der Praxis erfolgt ein manueller Weißabgleich meist nur durch erfahrene Spezialisten, nicht aber von Nutzern mit eher beschränkter Erfahrung. Selbst für Spezialisten stellt der Weißabgleich einen erheblichen Zeitaufwand und damit einen Effizienzverlust dar, zumal idealerweise für jede Probe erneut ein Weißabgleich erfolgen sollte.
Denkbar ist ein automatisierter Weißabgleich aus einer globalen Bildstatistik. Beispielsweise kann aus den summierten RGB-Werten aller Bildpunkte (das heißt die Summen aller Werte von roten, grünen bzw. blauen Pixeln) abgeleitet werden, wie die RGB-Werte verändert werden sollen, so dass die summierten RGB-Werte aller Bildpunkte weiß entsprechen. Ein solcher automatisierter Weißabgleich aus einer globalen Bildstatistik funktioniert jedoch nur eingeschränkt und schlägt beispielsweise fehl, wenn nur kleine Regionen relevant sind. Digitale Systeme verfügen mittlerweile in der Regel über einen einfachen, automatisch durchgeführten Weißabgleich, welcher jedoch keine Farbtreue sicherstellen kann.
Prinzipiell ist auch ein Weißabgleich mittels Kalibriermustern möglich. Hierfür muss das Muster jedoch definiert platziert werden und/oder vom Nutzer im Bild manuell lokalisiert werden. Außerdem ist ein Weißabgleich am Kalibriermuster nicht auf die untersuchte Probe referenziert, so dass für separat an der Probe aufgenommene Bilder schlussendlich nicht unbedingt ein passender Weißabgleich vorliegt.
Vorkalibrierte Kameras sind zwar möglich, bieten jedoch keine Flexibilität und weisen häufig beträchtliche Fehler im Weißabgleich auf. Allgemein ist die Vielfalt an Proben sowie an Einbettungs- und Färbemethoden im Lifesciences-Bereich zu groß, um durch vorkalibrierte Kameras einen Weißabgleich sicherzustellen.
Wünschenswert ist eine Automatisierung von Abläufen eines Weißabgleichs, so dass ein Weißabgleich weniger subjektiv ist und ohne Aufwand für einen Nutzer zuverlässig ein qualitativ hochwertiges Ergebnis liefert.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche einen Weißabgleich bzw. eine Farbkorrektur für Mikroskopbilder zuverlässig, qualitativ hochwertig und ohne Mühen für einen Nutzer ermöglichen.
Diese Aufgabe wird durch das Verfahren und das Mikroskopiesystem mit den Merkmalen der unabhängigen Ansprüche gelöst.
Bei einem erfindungsgemäßen computerimplementierten Verfahren zur Farbkorrektur von Mikroskopbildern wird mindestens ein Mikroskopbild erhalten. Mittels eines Bildverarbeitungsprogramms, das zum automatischen Lokalisieren vorgegebener Objekttypen bekannter Farbe eingerichtet ist, wird im Mikroskopbild mindestens ein Objekt lokalisiert, das einem vorgegebenen Objekttyp bekannter Farbe entspricht. Zumindest anhand eines Bildbereichs des lokalisierten Objekts wird eine Farbkorrektur ermittelt, durch welche eine Farbe des lokalisierten Objekts im Bildbereich in Übereinstimmung mit der bekannten Farbe gebracht wird. Die Farbkorrektur wird auf zumindest einen Ausschnitt des Mikroskopbildes oder eines anderen Mikroskopbildes angewendet, oder in einer Aufnahme eines weiteren Mikroskopbildes genutzt.
Ein erfindungsgemäßes Mikroskopiesystem umfasst ein Mikroskop zur Bildaufnahme und eine Recheneinrichtung, die dazu eingerichtet ist, das erfindungsgemäße computerimplementierte Verfahren auszuführen.
Ein erfindungsgemäßes Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
Durch die Erfindung kann ein Weißabgleich bzw. eine Farbkorrektur prinzipiell ohne manuelle Schritte umgesetzt werden. Es werden automatisiert geeignete Bildstrukturen lokalisiert, zu denen eine tatsächliche Farbe bekannt ist. Damit wird eine subjektive Beeinflussung aufgrund einer Bildbereichsauswahl durch einen Nutzer vermieden. Es können auch mehrere Bildbereiche für die Ermittlung der Farbkorrektur genutzt werden oder es kann für eine große Anzahl an Mikroskopbilder eine jeweilige Ermittlung der Farbkorrektur umgesetzt werden, ohne dass ein Aufwand für einen Nutzer steigt.
Optionale Gestaltungen
Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Farbkorrektur / Weißabgleich
Eine Farbkorrektur kann insbesondere aufgrund der Beleuchtung am Mikroskop sinnvoll sein. Es kann eine passive Beleuchtung durch z.B. Umgebungslicht oder Raumlicht und/oder eine aktive Beleuchtung durch z.B. eine Übersichtsbeleuchtungseinrichtung oder eine Probenkammer-Beleuchtungseinrichtung erfolgen. Eine aktive Beleuchtung kann auch probenspezifisch variieren.
Als Farbkorrektur wird eine Änderung verstanden, durch welche eine Farbe eines Objekts in einem Mikroskopbild näher an eine tatsächliche Farbe des Objekts gebracht wird. Bei einem tatsächlich farblosen Objekt (also einem weißen, grauen oder schwarzen Objekt) wird durch eine Farbkorrektur die Darstellung des Objekts in einem Mikroskopbild farblos oder zumindest weniger farbintensiv. Die Ermittlung der Farbkorrektur kann an einem Bildbereich eines farbigen oder farblosen Objekts erfolgen. Bei einer Ermittlung der Farbkorrektur an einem farblosen Objekt kann die Farbkorrektur auch als Weißabgleich bezeichnet werden. Wird von einer „Farbkorrektur“ gesprochen, kann dies somit als „Weißabgleich“ aufgefasst werden, wobei jedoch nicht zwingend ist, dass die Ermittlung der Farbkorrektur an farblosen Objekten erfolgt.
Ein Weißabgleich kann insbesondere eine Bearbeitungsvorschrift für einen Prozessor darstellen und vorgeben, welche Messwerte neutralem Weiß oder Grau entsprechen sollen. Durch den Weißabgleich kann ein Kamerasensor auf das bei der Bildaufnahme vorherrschende Licht eingestellt werden, das heißt die Kamera kann an die Lichtverhältnisse, insbesondere eine Farbtemperatur einer aktiven Beleuchtung oder von Umgebungslicht, angepasst werden. Die Bearbeitungs- bzw. Anpassungsvorgänge können durch Komponenten der Kamera erfolgen oder als nachträgliche Bearbeitung eines aufgenommenen Bildes, ohne dass eine Beeinflussung der Kamera selbst erfolgt.
Die genannte Farbkorrektur kann daher eine Rechenvorschrift sein, welche besagt, wie Farbwerte eines Bildpunktes eines Mikroskopbildes zu ändern sind. Beispielsweise kann die Farbkorrektur Faktoren angeben, mit welchen RGB-Werte eines Bildpunktes (das heißt die Werte des Rot-, Grün- und Blauanteils des Bildpunktes) multipliziert werden sollen. Andere Farbkanäle anstelle von RGB-Kanälen sind möglich.
Eine Farbkorrektur kann an einem Bildausschnitt eines Objekts bekannter Farbe ermittelt werden und angeben, wie die RGB-Werte von Pixeln im Bildausschnitt zu ändern sind, um die Farbe des Objekts im Mikroskopbild mit der bekannten Farbe in Übereinstimmung zu bringen. Die Farbe des Objekts im Mikroskopbild und die bekannte Farbe können z.B. durch einen Farbton, eine Farbsättigung und eine Helligkeit angegeben sein. Die durch die Farbkorrektur erreichte Übereinstimmung in der Farbe kann allein den Farbton oder zusätzlich auch die Farbsättigung und optional auch die Helligkeit betreffen. Ist die Übereinstimmung auf den Farbton und optional die Farbsättigung beschränkt, ohne die Helligkeit zu umfassen, so hat die durchgeführte Farbkorrektur weniger oder keinen Einfluss auf die gesamte Bildhelligkeit, was wünschenswert sein kann.
Die Farbkorrektur kann alternativ oder zusätzlich zu einer Veränderung aufgenommener Pixelwerte auch Einstellungsänderungen: für das Mikroskop angeben, durch welche Farben in später aufgenommenen Mikroskopbildern beeinflusst werden. Dies wird im Späteren näher beschrieben.
Vorgegebene Objekttypen bekannter Farbe
Unter einer bekannten Farbe kann verstanden werden, dass Reflektionseigenschaften oder allgemeiner Abstrahleigenschaften eines Objekttyps vorab bekannt sind. Auch kann unter einer bekannten Farbe verstanden werden, dass Farbwerte für diesen Objekttyp hinterlegt sind, z.B. RGB-Werte oder Verhältnisse von Rot-, Grün- und Blauanteilen eines Bildpunkts. Diese Farbwerte geben an, in welcher Farbe ein Objekt dieses Objekttyps in einem Mikroskopbild dargestellt werden sollte. Die bekannte Farbe kann auch durch einen Farbton, eine Farbsättigung und eine Helligkeit angegeben sein.
Ein Objekttyp bezeichnet eine Klasse an Objekten, welche im Mikroskopbild gesucht werden sollen und für welche die Farbe vorab bekannt ist.
Das Objekt, welches zum Ermitteln der Farbkorrektur genutzt wird, kann speziell für den Zweck des Weißabgleiches aufgebracht sein, oder ein Objekt sein, das nicht speziell für den Weißabgleich vorhanden ist, aber sich trotzdem hierfür eignet.
Die Farbkorrektur kann an einem einzigen Objekt ermittelt werden, an mehreren Objekten desselben Objekttyps oder auch an mehreren Objekten verschiedener Objekttypen, deren jeweilige Farbe bekannt ist und welche insbesondere verschiedene Farben haben können. Ein Objekt kann einfarbig sein oder prinzipiell mehrere bekannte Farben umfassen, z.B. im Fall eines mehrfarbigen Aufklebers oder mehrfarbigen Herstellerlogos auf einem Probenträger. Unter einer bekannten Farbe kann ein spezieller Farbwert oder auch eine erlaubte Spanne an Farbwerten verstanden werden.
Ein Objekt kann insbesondere sein:

▪ eine Kalibrierpalette oder -markierung, z.B. ein Aufkleber oder Aufdruck auf einem Probenträger.
▪ ein Beschriftungsfeld, beispielweise ein (Papier-)Aufkleber oder Mattglasbereich auf einem Objektträger oder einem anderen Probenträger.
▪ eine Beschriftung auf einem Probenträger. Die Beschriftung kann gedruckt oder handgeschrieben sein. Handgeschriebene Beschriftungen eignen sich, wenn eine Farbe eines verwendeten Stifts bekannt ist. Allgemein können die Beschriftungen farbig oder farblos sein. Auch tatsächlich schwarze, insbesondere gedruckte, Beschriftungen sind geeignet, da diese in aufgenommenen Mikroskopbildern in der Regel grau dargestellt werden, so dass ein unerwünschter Farbstich durch eine Abweichung von einer grauen Darstellung ersichtlich ist.
▪ ein Mikroskopbauteil, das im Übersichtsbild zumindest teilweise sichtbar ist. Das Mikroskopbauteil kann z.B. ein Halterahmen für einen Probenträger sein, ein Mikroskoptisch, an welchem eine Probe anzuordnen ist, ein Gehäuse einer Mikroskopkomponente, oder eine Beleuchtungskomponente. Beispielsweise werden bei weit verbreiteten Mikroskopmodellen der Anmelderin Übersichtsbilder aufgenommen, bei welchen die zur Beleuchtung verwendeten LEDs bzw. die Lichtquellen-Gehäuse sichtbar sind. Die LEDs sind entweder durch einen transparenten Probenträger hindurch sichtbar und/oder in einem Bildbereich außerhalb des Probenträgers.
▪ eine Probe oder ein Probenteil bekannter Art. Die Ermittlung der Farbkorrektur an der Probe selbst kann beispielsweise bei Materialproben praktikabel sein, bei welchen bestimmte Materialien und ihre Farben bekannt sind. Ein Probenteil kann auch eine Leiterplatte (PCB, englisch: printed circuit board) sein, für welche ein typischerweise grüner Farbton bekannt ist. Insbesondere bei biologischen Proben können ein oder mehrere Farbstoffe zum Einfärben einer Probe bekannt sein. Beispielsweise ist in der Histologie eine HE-Färbung (Hämatoxylin-Eosin-Färbung) verbreitet, durch welche bestimmte Strukturen rosa eingefärbt werden. Die durch die HE-Färbung resultierende Farbe oder ein resultierender möglicher Farbbereich kann vorab bekannt sein.

Ein Ort des Objekts, welches zum Ermitteln der Farbkorrektur genutzt wird, kann prinzipiell beliebig sein, solange das Objekt in einem aufgenommenen Mikroskopbild sichtbar ist. Beispielsweise kann sich das Objekt an einem Probenträger, einem Mikroskoptisch oder einem Einlegerahmen eines Mikroskoptisches befinden. Das Objekt kann sich auch in einem im Mikroskopbild sichtbaren Bereich hinter dem Probenträger befinden. „Hinter dem Probenträger“ ist in Bezug auf die Blickrichtung einer verwendeten Kamera zu verstehen, welche auf den Probenträger blickt. Ein Bereich hinter dem Probenträger kann im Mikroskopbild sichtbar sein, wenn das Mikroskopbild übersichtsartig nicht nur einen Teil des Probenträgers, sondern auch einer Umgebung neben dem Probenträger aufnimmt. Außerdem kann ein Bereich hinter dem Probenträger sichtbar sein, wenn ein transparenter Probenträger, z.B. ein Objektträger aus Glas, verwendet wird.
Die bekannte Farbe eines vorgegebenen Objekttypen kann auch eine mögliche Farbspanne sein. Die Farbspanne kann als Rahmenbedingung beim Ermitteln der Farbkorrektur berücksichtigt werden. Beispielsweise kann eine HE-Färbung biologischer Proben eine probenabhängig leicht variierende Farbe haben, die innerhalb einer bekannten HE-Farbspanne liegt. Eine Farbkorrektur wird an einem oder mehreren Bildbereichen weiterer Objekte so ermittelt, dass hierbei die Rahmenbedingung eingehalten wird. Für die HE-Färbung heißt dies, dass ein Bildbereich der Probe mit der HE-Färbung in Folge der Farbkorrektur eine Farbe erhält, die innerhalb der bekannten HE-Farbspanne liegt.
Eine Farbkorrektur kann auch ausschließlich anhand von lokalisierten Objekten erfolgen, die vorgegebenen Objekttypen entsprechen, zu denen eine mögliche Farbspanne vorgegeben ist. Jede Farbspanne resultiert in einem erlaubten Farbkorrekturbereich, das heißt z.B. eine obere und untere Grenze für eine Änderung eines jeweiligen Farbkanals. An jedem lokalisierten Objekt wird ein erlaubter Farbkorrekturbereich ermittelt und eine Überlappung dieser erlaubten Farbkorrekturbereiche bestimmt die schlussendliche Farbkorrektur. Beispielsweise kann die Farbkorrektur als Mittelwert des überlappenden Intervalls der erlaubten Farbkorrekturbereiche berechnet werden.
Lokalisieren eines Objekts
Das Lokalisieren eines Objekts im Mikroskopbild erfolgt mittels eines Bildverarbeitungsprogramms, das zum automatischen Lokalisieren vorgegebener Objekttypen eingerichtet ist. Das Bildverarbeitungsprogramm kann ein oder mehrere maschinell gelernte Modelle umfassen. Ein solches Modell kann z.B. an Trainingsbildern gelernt sein, welche Objekte eines bestimmten Objekttyps zeigen. Die Trainingsbilder können mit Annotationen versehen sein, welche die Positionen der Objekte angeben. Prinzipiell kann das Bildverarbeitungsprogramm aber auch ohne maschinell gelernte Modelle gestaltet sein.
Das Lokalisieren eines Objekts kann je nach Design des Bildverarbeitungsprogramms in unterschiedlicher Weise eine Objektposition angeben. Beispielsweise können Bildkoordinaten eines Objektmittelpunktes angegeben werden. Es kann auch ein Rahmen (Bounding-Box) angegeben werden, welcher ein lokalisiertes Objekt oder zumindest einen Teil des Objekts umschließt. Maschinell gelernte Modelle, welche Bounding-Boxes ausgeben, werden auch als Detektionsmodelle bezeichnet. Außerdem kann das Bildverarbeitungsprogramm ein Segmentierungsmodell sein oder umfassen. Ein Segmentierungsmodell gibt eine pixelweise Klassifikation eines Mikroskopbildes an, wobei die erlaubten Klassen zumindest unterscheiden, ob ein vorgegebener Objekttyp vorliegt oder nicht. Durch ein Segmentierungsmodell kann somit jeder zum Objekt gehörende Pixel identifiziert werden.
Das Lokalisieren durch das Bildverarbeitungsprogramm kann in mehreren Stufen erfolgen. Beispielweise kann zunächst eine binäre Klassifikation berechnet werden, welche angibt, ob ein Objekt eines bestimmten Objekttyps im Mikroskopbild vorhanden ist oder nicht. Ergibt die Klassifikation, dass ein Objekt eines bestimmten Objekttyps im Mikroskopbild vorhanden ist, kann anschließend die Position des Objekts ermittelt werden, z.B. per Segmentierung.
Ein genauer Objekttyp kann optional auch erst ermittelt werden, nachdem ein Objekt einer allgemeineren Objekttypgruppe im Mikroskopbild identifiziert wurde. Beispielsweise kann eine Objekttypgruppe allgemein zu untersuchende Proben bezeichnen. Somit wird zunächst ein Probenbereich in einem Mikroskopbild identifiziert. Anschließend wird ermittelt, um was für einen Probentyp es sich handelt, wobei z.B. zwischen verschiedenen Farbstoffen unterschieden wird. Ein Objekttyp bekannter Farbe wird in diesem Beispiel somit erst ermittelt, nachdem bereits ein Ort und eine Objekttypgruppe ermittelt wurden.
Der Bildbereich eines lokalisierten Objekts, an welchem eine Farbkorrektur ermittelt wird, kann alle Bildpixel des lokalisierten Objekts umfassen, oder auch nur einen Teil aller Bildpixel des Objekts, insbesondere allein einen mittigen Bereich des Objekts ohne Randpixel des Objekts. Randpixel können durch eine nicht perfekte Lokalisierung ungeeigneter sein oder auch durch natürliche Eigenschaften, beispielweise durch Randabschattungen oder durch Lichtbrechung in Randbereichen rundlicher Objekte. Im Fall einer Objektlokalisierung per Segmentierung sind alle Bildpixel des lokalisierten Objekts bekannt, so dass in leichter Weise entweder alle Bildpixel oder ein Teil der Bildpunkte des Objekts verwendet werden können. Erfolgt die Objektlokalisierung durch Bestimmung der Bildkoordinaten eines Objektmittelpunktes, so kann als Bildbereich, an welchem eine Farbkorrektur ermittelt wird, eine Fläche um den Objektmittelpunkt genutzt werden. Bei Kenntnis oder Schätzung einer Objektgröße kann eine Größe des Bildbereichs um den Objektmittelpunkt entsprechend festgelegt werden. Im Fall einer Bounding-Box kann z.B. ein mittiger Bereich, welcher einem vorgegebenen Anteil der Bounding-Box entsprechen kann, als Bildbereich, an dem die Farbkorrektur ermittelt wird, verwendet werden.
Eignung von Objekten für eine Farbkorrektur
Für jedes im Mikroskopbild lokalisierte Objekt, bzw. für einen Bildbereich eines lokalisierten Objekts, kann ein Eignungsgrad für das Ermitteln einer Farbkorrektur berechnet oder angegeben werden. Wurden mehrere Objekte lokalisiert, kann abhängig von ihren Eignungsgraden entschieden werden, welches oder welche der mehreren lokalisierten Objekte für das Ermitteln einer Farbkorrektur genutzt werden. Beispielsweise kann aus mehreren lokalisierten Objekten zumindest das lokalisierte Objekt mit dem geringsten Eignungsgrad unberücksichtigt bleiben.
Die Eignungsgrade können auch zur Gewichtung genutzt werden. So kann an Bildbereichen mehrerer lokalisierter Objekte jeweils eine Farbkorrektur berechnet werden. Anschließend werden die mehreren berechneten Farbkorrekturen gemittelt, wobei die berechneten Eignungsgrade als Gewichte in der Mittelung verwendet werden. Je höher der berechnete Eignungsgrad eines Objektes ist, desto stärker trägt eine Farbkorrektur bei, die am Bildbereich dieses Objekts ermittelt wurde.
Ein Eignungsgrad kann für einen bekannten Objekttyp vorgegeben sein und/oder abhängig von einer Darstellung eines Objekts berechnet werden. Beispielsweise kann für einen Objekttyp „weißer Aufkleber als Beschriftungsfeld auf einem Probenträger“ ein höherer Eignungsgrad vorgegeben sein als für einen Objekttyp „Mattglasbereich als Beschriftungsfeld auf einem Probenträger“, weil im Mikroskopbild eine Farbe eines (moderat transparenten) Mattglasbereiches auch durch einen Hintergrund geringfügig beeinflusst sein kann.
Der Eignungsgrad kann insbesondere basierend auf Objekteigenschaften berechnet werden, welche eines oder mehreres aus Folgendem angeben:

▪ eine Objektgröße. Je mehr Bildpunkte ein Objekt im Mikroskopbild einnimmt, desto höher ist sein Eignungsgrad.
▪ Rückstrahleigenschaften oder eine Mattheit einer Objektoberfläche bzw. eine Materialart. Je matter, also weniger reflektierend die Oberfläche eines Objekts ist, desto weniger wird die Objektfarbe im Mikroskopbild durch eine Umgebung beeinflusst. Daher ist der Eignungsgrad umso höher, je stärker eine Mattheit eines Objekts ausgeprägt ist. Zudem kann der Eignungsgrad umso geringer sein, je stärker eine Transparenz eines Objekts ist, da andere Strukturen hinter dem Objekt zur Farbe der Bildpunkte im Mikroskopbild beitragen. Durch eine Materialart kann neben diesen Rückstrahleigenschaften auch eine Zuverlässigkeit der Farbwiedergabe berücksichtigt werden: Beispielsweise kann materialabhängig eine altersbedingte Verfärbung einsetzen, etwa eine Vergilbung von weißem Papier, während im Mikroskopbild sichtbare Mikroskopkomponenten (z.B. Gehäuseteile) kaum mit zunehmendem Alter in der Farbe variieren.
▪ eine Lage des Objekts relativ zu einer verwendeten Kamera, insbesondere ein Winkel einer Objektoberfläche relativ zur Blickrichtung der Kamera. Je stärker eine Blickrichtung von einer senkrechten Aufsicht auf die Objektoberfläche abweicht, desto geringer ist der Eignungsgrad.
▪ ein Farbeindruck oder eine Reinheit des Objekts oder Beeinträchtigungen einer Darstellung des Objekts. Der Eignungsgrad ist umso geringer, je intensiver oder großflächiger eine Beeinträchtigung ist. Bei den Beeinträchtigungen kann es sich z.B. um eine Verdeckung, eine Verschmutzung, eine Reflektion oder ein Artefakt handeln. Der Farbeindruck kann z.B. eine Farbhomogenität oder Struktur der Objektoberfläche betreffen: Beispielsweise kann ein ursprünglich weißes Beschriftungsfeld aufgrund von Putzmittel verfärbt und dadurch weniger geeignet für einen Weißabgleich sein. Die Farbe der Bildpixel allein ist hier kein geeigneter Maßstab, da zunächst unbekannt ist, ob die Farbe der Bildpixel den zu korrigierenden Darstellungsunterschied zu einem tatsächlich weißen Beschriftungsfeld angeben oder ob die Farbe der Bildpixel einem in Wirklichkeit durch Putzmittel verfärbten (nicht mehr weißen) Beschriftungsfeld entsprechen. Diese Fälle können durch eine Farbhomogenität oder Farbstruktur unterschieden werden, da Verfärbungen durch Putzmittel z.B. an einer Fleckenbildung oder Wischstreifen erkannt werden können. Auch ölige Bereiche, welche durch Lichtbrechung oder -interferenz mehrfarbig erscheinen, können identifiziert und für die Farbkorrektur ausgeschlossen werden.

Herausfiltern von nicht zu einem erkannten Objekt gehörenden Bildinformationen
Ein prinzipiell für die Ermittlung einer Farbkorrektur geeigneter Bildbereich kann durch Störungen beeinträchtigt sein, z.B. durch Staubkörner oder Kratzer, die durch Lichtbeeinflussung eine dargestellte Farbe ändern. Daher können einzelne Bildpunkte identifiziert und für die Ermittlung der Farbkorrektur ausgeschlossen werden.
Allgemeiner können innerhalb eines Bildbereichs eines lokalisierten Objekts Bildpunkte ermittelt werden, welche als nicht zum Objekt gehörig eingeschätzt werden. Diese Bildpunkte werden daraufhin beim Ermitteln der Farbkorrektur ignoriert oder durch Umgebungsinformationen aufgefüllt. Eine Schätzung, dass ein Bildpunkt nicht zum Objekt gehört, kann in einer einfachen Umsetzung anhand einer stark abweichenden Farbe des Bildpunkts von einer durchschnittlichen Farbe des Bildbereichs des lokalisierten Objekts erfolgen. Weicht die Farbe um mehr als einen vorgegebenen Schwellwert von der durchschnittlichen Farbe ab, wird der Bildpunkt ignoriert. Zusätzlich oder alternativ kann auch ein maschinell gelerntes Modell genutzt werden, welches innerhalb eines Bildbereichs eines lokalisierten Objekts Artefakte erkennt. Artefakte können z.B. Staubkörner, Kratzer, Spiegelungen, Fingerabdrücke, Fussel, Haare, Tröpfchen oder Schmutz sein. Das Modell kann anhand von Trainingsdaten gelernt sein, welche diese Artefakte zeigen. Bildpixel von Artefakten können für die Bestimmung der Farbkorrektur ignoriert werden. Alternativ kann das Modell dazu trainiert sein, Bildpixel von Artefakten durch Informationen benachbarter Bildpixel aufzufüllen (Inpainting).
Mikroskopbild
Das mindestens eine Mikroskopbild, an welchem die Farbkorrektur ermittelt wird, kann eine zu untersuchende mikroskopische Probe zeigen. Dies steht im Gegensatz zu verschiedenen herkömmlichen Vorgehensweisen für einen Weißabgleich, bei welchen anstelle eines Bilds von der Probe ein separates Bild eines Referenzobjekts (z.B. einer farblosen Karte) für den Weißabgleich aufgenommen und analysiert wird.
Allgemein kann ein Mikroskopbild ein Übersichtsbild oder ein Probenbild sein. Als Übersichtsbild wird vorliegend ein Bild verstanden, welches außer der eigentlichen Probe auch eine Umgebung zeigt, insbesondere einen Probenträger oder einen Ausschnitt hiervon. Zur Aufnahme eines Übersichtsbildes kann eine Übersichtskamera vorhanden sein, welche zusätzlich zu der eigentlichen Systemkamera (Probenkamera) des Mikroskops genutzt wird. Im Fall eines Lichtmikroskops wird ein Probenbild hingegen von der Systemkamera über ein Mikroskopobjektiv mit stärkerer Vergrößerung als ein Übersichtsbild aufgenommen. Ein Mikroskopbild kann ein unbearbeitetes Rohbild sein oder bereits per Bildverarbeitung modifiziert sein.
Kontextinformationen
Kontextinformationen können beim Ermitteln der Farbkorrektur und/oder beim Lokalisieren eines Objekts berücksichtigt werden. Die Kontextinformationen können eine Beleuchtungsart, eine Probenart, eine Mikroskopart, verwendete Filter und/oder andere verwendete Optikkomponenten betreffen. Beispielsweise zeigen manche Lichtquellen eine intensitätsabhängige Farbschwankung. Ist die verwendete Lichtquelle bekannt, ist hierrüber ebenfalls bekannt, wie eine Farbe der Beleuchtung ungewollt variieren kann, was über die Farbkorrektur kompensiert werden kann. Die Probenart, Mikroskopart, Filter und andere Optikkomponenten haben eine Auswirkung darauf, welche vorgegebenen Objekttypen wahrscheinlich auftreten, so dass diese zuverlässiger identifiziert werden können. Beispielsweise werden manche Probenträgertypen mit eventuellen Beschriftungsfeldern oder Aufklebern abhängig von der Probenart und/oder der Mikroskopart verwendet.
Anwenden / Nutzen der Farbkorrektur
Die Farbkorrektur kann eine Berechnungsvorschrift sein, durch welche Farbwerte von Bildpixeln geändert werden. In diesem Fall kann die Farbkorrektur auf zumindest einen Ausschnitt eines Mikroskopbildes, an welchem die Farbkorrektur ermittelt wurde, angewandt werden. Zusätzlich oder alternativ kann die Farbkorrektur auch auf zumindest einen Ausschnitt eines anderen Mikroskopbildes angewandt werden, welches nicht in der Bestimmung der Farbkorrektur berücksichtigt wurde. Werden beispielsweise mehrere Mikroskopbilder mit gleichen Beleuchtungseigenschaften aufgenommen, kann eine Farbkorrektur an einem dieser Bilder ermittelt und anschließend an anderen dieser Bilder angewandt werden.
Zusätzlich oder alternativ kann die Farbkorrektur auch angeben, wie eine Mikroskopeinstellung zu ändern ist. In diesem Fall wird die Farbkorrektur in einer Aufnahme eines weiteren Mikroskopbildes genutzt. Beispielsweise kann die Farbkorrektur angeben, wie eine Helligkeit einer Lichtquelle zu ändern ist, falls sich das Spektrum der Lichtquelle helligkeitsabhängig ändert. Die Farbkorrektur kann auch angeben, wie Verstärkungen der verschiedenen Farbkanäle einer verwendeten Kamera zu ändern sind. Beispielsweise kann die Kamera Sensorelemente für drei verschiedene Farbkanäle aufweisen, um z.B. rote, grüne und blaue Bildpunkte aufzunehmen. Wurde erkannt, dass ein Objekt eines bestimmten Objekttyps bekannter Farbe in einem Mikroskopbild einen Blaustich hat, so kann die Verstärkung der Kamera für blaue Bildpunkte reduziert werden, womit in anschließend aufgenommenen Mikroskopbildern der Blaustich verringert oder vollständig vermieden wird.
Regionsabhängige Farbkorrektur
Die Farbkorrektur kann als regionsabhängige Farbkorrektur ermittelt wird, durch welche verschiedene Bildbereiche unterschiedlich farbkorrigiert werden. Das Ermitteln der regionsabhängigen Farbkorrektur erfolgt an mehreren Bildbereichen, welche entweder zu demselben lokalisierten Objekt oder zu verschiedenen lokalisierten Objekten gehören.
Eine regionsabhängige Farbkorrektur kann insbesondere vorteilhaft sein, wenn ein unerwünschter Farbstich zum Bildrand hin zunimmt, ähnlich wie bei Vignettierungen, die eine reduzierte Helligkeit zum Bildrand hin betreffen. Die Verfälschung zum Bildrand hin kann durch eine aktive Beleuchtung oder durch das abbildende optische System bedingt sein und kann symmetrisch um einen Bildmittelpunkt sein.
Ein zum Bildrand hin zunehmender Farbstich kann anhand eines Farbverlaufs eines einzigen lokalisierten Objekts automatisch erkannt und kompensiert werden. Ob die Farbkorrektur regionsabhängig sein soll oder nicht, kann daher ebenfalls automatisch dadurch entschieden werden, ob ein lokalisiertes Objekt einen Farbverlauf aufweist, insbesondere in einer Richtung vom Bildmittelpunkt nach außen. Konkret kann ein Bildausschnitt eines lokalisierten Objekts in mindestens zwei verschiedene Bildbereiche unterteilt werden, welche unterschiedlich weit von einem Bildmittelpunkt entfernt sind. Zu jedem Bildbereich wird eine zugehörige Farbkorrektur ermittelt. Diese Farbkorrekturen werden kombiniert, um die regionsabhängige Farbkorrektur zu bilden, welche einen Bildbereich abhängig von seinem Abstand zum Bildmittelpunkt in verschiedener Weise farbkorrigiert. Beispielsweise kann ein im Mikroskopbild dargestelltes Textfeld, welches bekanntermaßen einfarbig (z.B. weiß) ist, in mehrere Bildbereiche unterteilt werden, für welche jeweils ein Weißabgleich (eine Farbkorrektur) ermittelt wird. Diese Farbkorrekturen werden zu einer abstandsabhängigen Farbkorrektur zusammengefasst, welche zum Vermeiden von Sprüngen in der Farbkorrektur eine stetige, glatte Funktion des Abstands zum Bildmittelpunkt ist.
Alternativ kann die regionsabhängige Farbkorrektur abhängig von erkannten Objekten sein, so dass verschiedene Objekte unterschiedlich farbkorrigiert werden. Beispielsweise kann ein Beschriftungsfeld anders in seiner Farbe korrigiert werden als ein Probenbereich. Dieses Vorgehen eignet sich insbesondere, wenn ein Farbstich inhomogen und nicht symmetrisch zum Bildmittelpunkt ist.
Livebild
Das Anwenden der Farbkorrektur kann in Echtzeit für fortlaufend aufgenommene Mikroskopbilder erfolgen. Bei Digitalmikroskopen erfolgt häufig eine fortlaufende Aufnahme von Mikroskopbildern, welche als Video direkt auf einem Bildschirm angezeigt werden. Indem die Farbkorrektur automatisch erfolgt, ohne manuelle Schritte durch einen Nutzer, ist es möglich, dass beispielsweise mehrere Mikroskopbilder pro Sekunde automatisiert von der Farbkorrektur profitieren können. Hierbei muss nicht für jedes Mikroskopbild erneut eine geeignete Farbkorrektur ermittelt werden. Vielmehr kann eine einmal ermittelte Farbkorrektur für mehrere nacheinander aufgenommene Mikroskopbilder verwendet werden.
Eine Aktualisierung der Farbkorrektur kann nach vorgegebenen Kriterien erfolgen, z.B. nach einer bestimmten Anzahl aufgenommener Bilder oder nach Feststellung einer Änderung. Die Änderung kann den dargestellten Bildinhalt, Mikroskopeinstellungen wie die Beleuchtung, oder die Probe betreffen, z.B. einen Probenwechsel. Es können zumindest einige der fortlaufend aufgenommenen Mikroskopbilder danach ausgewertet werden, ob eine Änderung eingetreten ist, wobei im Fall einer eingetretenen Änderung eine erneute Ermittlung einer Farbkorrektur erfolgt. Die in Mikroskopbildern festgestellte Änderung kann eine Beleuchtungsänderung sein, insbesondere eine Änderung von Umgebungslicht und/oder eine Änderung einer Lichtquelle des Mikroskops.
Allgemeine Eigenschaften
Das Bildverarbeitungsprogramm zum Lokalisieren eines Objekts kann ein maschinell gelerntes Modell sein oder umfassen. Es kann aber auch ein klassisches Programm ohne maschinell gelernte Modelle sein. Die nachfolgende Bestimmung mindestens einer Farbkorrektur kann durch dasselbe Bildverarbeitungsprogramm oder durch ein anderes Bildverarbeitungsprogramm umgesetzt werden.
Gelernte Modelle bezeichnen allgemein Modelle, die von einem Lernalgorithmus anhand von Trainingsdaten gelernt wurden. Die Modelle können beispielsweise ein oder mehrere faltende neuronale Netze (englisch: convolutional neural network, CNN) umfassen, wobei auch andere Modellarchitekturen eines tiefen neuronalen Netzes (englisch: deep neural network) möglich sind. Die Modelle erhalten als Eingabe Bilddaten, z.B. das Mikroskopbild oder Ausschnitte hiervon. Mit Hilfe eines Lernalgorithmus werden Modellparameter des Modells anhand der Trainingsdaten festgelegt. Hierzu wird eine vorgegebene Zielfunktion optimiert, z.B. eine Verlustfunktion minimiert. Zum Minimieren der Verlustfunktion werden die Modellparameterwerte verändert, was z.B. durch Gradientenabstieg und Backpropagation berechnet werden kann.
Das Mikroskop kann ein Lichtmikroskop sein, welches eine Systemkamera und optional eine Übersichtskamera aufweist. Aber auch andere Arten von Mikroskopen möglich sind, beispielsweise Elektronenmikroskope, Röntgenmikroskope oder Rasterkraftmikroskope. In diesen Fällen kann eine Übersichtskamera vorhanden sein, deren Bilder durch die Farbkorrektur in erfindungsgemäßer Weise bearbeitet werden. Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst.
Die Recheneinrichtung kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung von Mikroskopkomponenten eingerichtet sein.
Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Beispielsweise soll die Bestimmung einer Farbkorrektur an einem Mikroskopbild so verstanden werden, dass zumindest ein Mikroskopbild ausgewertet wird. Optional werden weitere Mikroskopbilder ausgewertet, so dass eine ermittelte Farbkorrektur nicht nur auf einem einzigen Bild basiert. Dies kann vorteilhaft sein, wenn mehrere Mikroskopbilder unter gleichen Beleuchtungsbedingungen aufgenommen werden und die farbkorrigierten Mikroskopbilder möglichst keinen Farbunterschied zueinander aufweisen sollen, z.B. wenn die Mikroskopbilder per Image Stitching zu einem Gesamtbild zusammengefügt werden. In diesem Fall sollte eine einheitliche Farbkorrektur auf alle Mikroskopbilder angewandt werden, wobei für möglichst präzise Ergebnisse die Farbkorrektur idealerweise an mehreren oder allen dieser Mikroskopbilder ermittelt werden sollte.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Mikroskopiesystems;
2 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
3 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
4 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; und
5 illustriert Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 1
1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 9. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 9 Detektionslicht aus einem Bereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können beliebige Objekte, Fluide oder Strukturen sein. Zusätzlich oder anstelle der Mikroskopkamera 9 kann auch ein Okular 12 genutzt werden. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9A zum Aufnehmen eines Übersichtsbildes des Probenträgers 7. Ein Sichtfeld 9C der Übersichtskamera 9A ist größer als ein Sichtfeld der Mikroskopkamera 9. Im dargestellten Beispiel blickt die Übersichtskamera 9A über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden. Abwandlungen dieser Ausführung verzichten auf den Spiegel oder sehen eine andere Anordnung des Spiegels oder eines anderen Umlenkelements vor. Im gezeigten Beispiel blickt die Übersichtskamera 9A von oben auf den Probentisch 6. Alternativ kann die Übersichtskamera 9A auch so angeordnet sein, dass sie von unten zum Probentisch 6 blickt.
Als Mikroskopbild werden vorliegend ein Übersichtsbild der Übersichtskamera 9A oder ein Probenbild der Probenkamera/Systemkamera 9 bezeichnet. Für eine hohe Bildqualität soll ein Weißabgleich bzw. eine Farbkorrektur aufgenommener Mikroskopbilder erfolgen. Die Farbkorrektur wird mit Hilfe eines Computerprogramms 11 umgesetzt, welches Teil einer Recheneinrichtung 10 ist. Prozesse zur Farbkorrektur werden im Folgenden mit Bezug auf die weiteren Figuren näher beschrieben.
FIG. 2
2 illustriert schematisch Abläufe eines erfindungsgemäßen Verfahrens, wie es durch die Recheneinrichtung oder das Computerprogramm aus 1 ausgeführt werden kann.
Zunächst wird in Prozess P1 ein Mikroskopbild 20 erhalten, z.B. von einem Datenspeicher oder direkt von der Übersichts- oder Systemkamera des Mikroskops. In diesem Beispiel ist das Mikroskopbild 20 ein Übersichtsbild, welches einen Probenträger 7, Teile einer Halterung 8 für den Probenträger 7 und Bereiche 22 hinter dem Probenträger 7 zeigt. Bei dem Probenträger 7 handelt es sich beispielhaft um einen Objektträger mit einer Probe 7B und einem Beschriftungsfeld 7A. In dem Bereich 22 hinter dem Probenträger 7 sind Beleuchtungskomponenten 5A erkennbar, bei welchen es sich um Gehäuseteile einer LED-Beleuchtung handelt.
Die Probe 7B, das Beschriftungsfeld 7A und die Beleuchtungskomponenten 5A werden nachfolgend als Objekte 24 bezeichnet.
Ohne weitere Maßnahmen würden Farben im Mikroskopbild nicht zuverlässig den tatsächlichen Farben dargestellter Strukturen entsprechen. Farblose Strukturen, das heißt weiße oder graue Strukturen, können einen Farbstich im Mikroskopbild aufweisen. Dies kann beispielsweise an Umgebungslicht oder einer verwendeten aktiven Beleuchtung liegen.
Aus diesem Grund erfolgt ein Weißabgleich bzw. eine Farbkorrektur. Ein Weißabgleich bezeichnet die Ermittlung einer Farbanpassung an einem Bildausschnitt, welcher eine farblose Struktur zeigt, so dass nach der Korrektur die Struktur auch im Mikroskopbild farblos dargestellt wird. Anstelle einer farblosen Struktur kann auch eine Struktur bekannter Farbe analysiert werden, weshalb allgemeiner von einer Farbkorrektur gesprochen wird. Herkömmlicherweise erfordert ein qualitativ hochwertiger Weißabgleich einen verhältnismäßig hohen manuellen Aufwand, wobei jedoch ein Ergebnis des Weißabgleichs in der Regel nutzerabhängig ist. Dies wird mit Hilfe eines Bildverarbeitungsprogramms M vermieden, welches zu einer automatischen Farbkorrektur beiträgt.
Das Bildverarbeitungsprogramm M ist in diesem Beispiel ein maschinell gelerntes Modell, welches dazu trainiert ist, in einem eingegebenen Mikroskopbild 20 Objekte zu lokalisieren, welche vorgegebenen Objekttypen bekannter Farbe entsprechen. Hierzu kann das Bildverarbeitungsprogramm M beispielsweise an Trainingsbildern trainiert sein, welche Mikroskopbilder mit annotierten Objektpositionen umfassen. Optional können die Annotationen auch zugehörige Farbangaben und eine Semantik/Benennung des entsprechenden Objekttyps umfassen.
Das Mikroskopbild 20 wird dem Bildverarbeitungsprogramm M eingegeben, welches hieraus in Prozess P2 Objekte 24 im Mikroskopbild 20 lokalisiert. Die Lokalisierung kann z.B. per Segmentierung oder Detektion erfolgen. Im dargestellten Fall gibt das Bildverarbeitungsprogramm M Koordinaten von Bildbereichen 25A, 25B, 25C aus, welche jeweils einen Ausschnitt eines Objekts 24 darstellen. Indem die Bildbereiche 25A, 25B, 25C nur einen Ausschnitt eines Objekts 24 zeigen, ohne Umgebung neben dem jeweiligen Objekt 24, sind die Farben der Bildpunkte im Ausschnitt repräsentativ für das entsprechende Objekt 24. Zu illustrativen Zwecken ist in 2 eine Überlagerung 21 des Mikroskopbildes 20 mit Rahmen der lokalisierten Bildbereiche 25A, 25B, 25C gezeigt. Es genügt aber, wenn das Bildverarbeitungsprogramm M die Bildbereiche 25A, 25B, 25C oder Koordinaten der Bildbereiche 25A, 25B, 25C angibt.
Zu dem Bildbereich 25A, welches einen Ausschnitt des Beschriftungsfelds 7A zeigt, wird eine Farbe 26A ermittelt. Die Farbe 26A kann z.B. als RGB-Wert dargestellt werden und durch Mittelung der RGB-Werte aller Pixel im Bildbereich 25A berechnet werden. Optional kann die Berechnung der Farbe 26A auch weitere Prozesse umfassen. Beispielsweise können möglicherweise vorhandene Beschriftungen im Bildbereich 25A identifiziert und die entsprechenden Bildpunkte aus dem Bildbereich 25A entfernt werden, so dass allein Bildpunkte des Beschriftungsfelds 7A ohne Beschriftung für die Bestimmung der Farbe 26A genutzt werden. Außerdem können RGB-Werte derjenigen Pixel herausgefiltert werden, die am stärksten von einem durchschnittlichen RGB-Wert des Bildbereichs 25A abweichen. Die stark abweichenden Farbpunkte könnten Artefakte oder Verunreinigungen des Objekts darstellen. Beispielsweise sollte das Beschriftungsfeld 7A einfarbig sein und stark abweichende Farbwerte können durch Schmutz, Spiegelungen oder nicht korrekt erkannte Beschriftungen verursacht sein.
Zu dem Objekttyp „Beschriftungsfeld eines Objektträgers“ ist eine Farbe 28A bzw. ein Farbwert vorgegeben, welcher beispielhaft an anderen Mikroskopbildern ermittelt wurde. Die Farbe 28A kann z.B. weiß oder hellem grau entsprechen. Als Prozess P3 wird eine Farbkorrektur 27A ermittelt, durch welche die Farbe 26A in Übereinstimmung mit der bekannten Farbe 28A gebracht wird. Optional kann hierbei eine Bildhelligkeit konstant gehalten werden, das heißt, das Verhältnis der RGB-Anteile der Farbe 26A wird so angepasst, dass es mit dem Verhältnis der RGB-Anteile der Farbe 28A übereinstimmt. Dies kann durch prinzipiell bekannte Abläufe eines Weißabgleichs umgesetzt werden.
Als konkretes Beispiel kann die Farbe 26A durch die RGB-Werte (r1, g1, b1) = (200, 205, 220) definiert sein und die vorgegebene Farbe 28A durch die RGB-Werte (r, g, b) = (220, 220, 220). Die Farbkorrektur 27A kann als Quotient hieraus berechnet sein: (r, g, b) / (r1, g1, b1) = (220/200, 220/205, 220/220). Um einen Farbstich im Mikroskopbild 20 zu entfernen, werden die RGB-Werte von jedem Bildpunkt mit diesem Quotienten multipliziert. Im genannten Zahlenbeispiel wird hierdurch der Rotanteil erhöht, der Grünanteil wird geringfügig erhöht und der Blauanteil bleibt unverändert. Um die Bildhelligkeit konstant zu halten, kann in der Multiplikation optional ein Normierungsfaktor ergänzt werden, welcher dem Verhältnis der Helligkeiten der Farben 26A und 28A entspricht, das heißt (r1+g1+b1)/(r+g+b) = (200+205+220)/(220+220+220). Die Farbkorrektur 27A ist somit eine Multiplikation mit dem Faktor (r, g, b) / (r1, g1, b1) * (r1+g1+b1)/(r+g+b). Es können auch andere Farbräume genutzt werden, welche durch andere Farbkanäle definiert sind, oder physiologische Aspekte der Farbwahrnehmung in der Berechnung der Farbkorrektur 27A berücksichtigt werden.
Eine Farbkorrektur kann zusätzlich oder alternativ auch am Bildbereich 25B des Objekts „Beleuchtungskomponente 5A“ ermittelt werden. Hierzu wird in analoger Weise eine Farbe 26B im Bildbereich 25B ermittelt und es wird in Prozess P3' eine Farbkorrektur 27B berechnet, durch welche die Farbe 26B mit einer Farbe 28B, die für den Objekttyp „Beleuchtungskomponente“ vorgegeben ist, in Übereinstimmung gebracht wird.
Werden mehrere Objekte 24 im Mikroskopbild 20 lokalisiert, so kann zu mehreren oder jedem dieser Objekte 24 eine Farbkorrektur 27A, 27B berechnet werden. Anschließend können die mehreren Farbkorrekturen 27A, 27B zu einer endgültigen Farbkorrektur 27 zusammengefasst werden, z.B. durch Mittelung der mehreren Farbkorrekturen 27A, 27B. In der Mittelung der Farbkorrekturen 27A, 27B kann ein Eignungsgrad 29A, 29B der zugrundeliegenden Objekte 24 bzw. ihrer Bildbereiche 25A, 25B berücksichtigt werden. Der Eignungsgrad 29A, 29B kann von der Größe der Bildbereiche 25A, 25B abhängen. Im gezeigten Beispiel ist der Bildbereich 25A größer als der Bildbereich 25B, so dass ihm ein größerer Eignungsgrad zugewiesen wird. Außerdem kann der Eignungsgrad 29A, 29B von einer Homogenität der Farbe und/oder Helligkeit im Bildbereich 25A, 25B abhängen. Je höher die Homogenität ist, desto höher ist der Eignungsgrad des entsprechenden Bildbereiches. Im dargestellten Beispiel ist der Eignungsgrad 29A größer als der Eignungsgrad 29B, so dass die Farbkorrektur 27A stärker als die Farbkorrektur 27B gewichtet wird, um die gemittelte Farbkorrektur 27 zu berechnen.
Eine optionale Erweiterung der Ermittlung der Farbkorrektur 27 nutzt auch den Bildbereich 25C der Probe 7B. Es ist entweder vorab bekannt oder kann durch Bildverarbeitung ermittelt werden, dass die Probe 7B mit einem bestimmten Farbstoff eingefärbt ist. Im dargestellten Beispiel wird ein HE-Farbstoff verwendet, durch welchen die Probe 7B rosa eingefärbt ist. Eine durch den verwendeten Farbstoff mögliche Farbspanne ist bekannt. Je nach Probe wird aber nicht exakt dieselbe Farbe durch den Farbstoff erzielt. Die Probe 7B stellt somit ein Objekt 24 dar, welches einem vorgegebenen Objekttyp bekannter Farbe entspricht, wobei aber die bekannte Farbe kein exakter Farbwert ist, sondern durch eine erlaubte Farbspanne definiert ist. In der beschriebenen Ermittlung der Farbkorrektur 27A (und/oder 27B oder 27) wird die erlaubte Farbspanne der Probe 7B als Rahmenbedingung berücksichtigt. Würde eine Farbe der Probe 7B im Mikroskopbild 20 durch eine Farbkorrektur so geändert werden, dass die Farbe der Probe 7B außerhalb der erlaubten Farbspanne läge, so wird dies durch die Rahmenbedingung verhindert und die Farbkorrektur wird dahingehend angepasst, dass noch die erlaubte Farbspanne eingehalten wird. Die Anpassung der Farbkorrektur kann für das gesamte Bild gelten oder alternativ nur für einen Bildausschnitt, der die Probe 7B zeigt.
In einer weiteren Abwandlung der bisher beschriebenen Ausführung kann die kombinierte Farbkorrektur 27, die aus den Farbkorrekturen 27A, 27B berechnet wird, ersetzt werden durch mehrere Gültigkeitsregionen für die verschiedenen Farbkorrekturen 27A, 27B. Jede Farbkorrektur 27A, 27B, die an einem Bildbereich 25A, 25B ermittelt wurde, wird somit für einen Teil des Mikroskopbildes verwendet. Dieser Teil wird als Gültigkeitsregion bezeichnet und enthält den jeweiligen Bildbereich 25A, 25B. Beispielsweise kann eine Gültigkeitsregion präzise alle Bildpunkte des Beschriftungsfeldes 7A umfassen, während der zugehörige Bildbereich 25A nur ein kleinerer Ausschnitt hiervon ist.
Die Anwendung der Farbkorrektur 27 wird mit Bezug auf die nächste Figur näher beschrieben.
FIG. 3
3 zeigt das Mikroskopbild 20, an welchem die Farbkorrektur 27 berechnet wurde. In Prozess P4 wird die Farbkorrektur 27 auf das Mikroskopbild 20 (oder allgemeiner auf zumindest einen Ausschnitt des Mikroskopbildes 20) angewandt, wodurch ein farbkorrigiertes Mikroskopbild 30 berechnet wird. In einer möglichen Umsetzung wird jeder Pixel des Mikroskopbildes 20 mit dem Faktor der Farbkorrektur 27 multipliziert. In einer Abwandlung hiervon soll eine durch die Farbkorrektur 27 resultierende Übersättigung eines Farbanteils vermieden werden, welche eine Farbverfälschung bewirken könnte. Beispielsweise könnte die Multiplikation mit dem Faktor der Farbkorrektur 27 dazu führen, dass der Rot-, Grün- oder Blauanteil einen möglichen Maximalwert überschreitet (z.B. wenn bei einer 8bit Farbtiefe, die einer Skala von 0-255 entspricht, der Rotanteil größer als 255 würde) und infolgedessen auf den Maximalwert, hier 255, beschränkt würde. Die Beschränkung würde den entsprechenden Farbanteil verfälschen. Um dies zu vermeiden, kann im Fall der beschriebenen Sättigung vorgesehen sein, dass die übrigen RGB-Anteile des Bildpunkts gleichermaßen gesenkt werden; hierdurch wird der Farbton in gewünschter Weise korrigiert, während die Helligkeit des Pixels beschränkt wird.
Die Farbkorrektur kann alternativ oder zusätzlich auch auf ein Mikroskopbild 20' angewandt werden, um ein farbkorrigiertes Mikroskopbild 30' zu berechnen, wobei es sich bei dem Mikroskopbild 20' nicht um das Mikroskopbild 20 handelt, an dem die Farbkorrektur ermittelt wurde. Dies bietet sich insbesondere an, wenn mehrere Mikroskopbilder 20, 20' unter gleichen Beleuchtungseigenschaften aufgenommen werden.
Weiterhin kann die Farbkorrektur für Livebilder des Mikroskops genutzt werden. Häufig sollen Mikroskopbilder20" mit einer Kamera des Mikroskops pausenlos aufgenommen und möglichst ohne Zeitverzug auf einem Bildschirm dargestellt werden. Da diese Mikroskopbilder 20" direkt aufeinander aufgenommen werden, sind Beleuchtungseigenschaften und Bildinhalte meist sehr ähnlich. Eine ermittelte Farbkorrektur kann daher für mehrere nacheinander aufgenommene Livebilder (Mikroskopbilder 20") genutzt werden, um farbkorrigierte Mikroskopbilder 30" in Echtzeit zu berechnen. Die Livebilder können automatisch danach untersucht werden, ob sich Beleuchtungseigenschaften oder Bildinhalte wesentlich geändert haben, so dass anschließend eine neue Ermittlung der Farbkorrektur am aktuellen Livebild erfolgt. Eine wesentliche Änderung liegt beispielsweise vor, wenn ein Unterschied zwischen einer durchschnittlichen Pixelhelligkeit in einem Mikroskopbild 20" und einer durchschnittlichen Pixelhelligkeit im Mikroskopbild 20, an dem die Farbkorrektur ermittelt wurde, einen Schwellwert überschreitet.
Eine Ausführungsvariante, bei welcher eine über das Mikroskopbild variierende Farbkorrektur erfolgt, wird mit Bezug auf die folgende Figur beschrieben.
FIG. 4
4 zeigt ein Mikroskopbild 20, bei welchem eine zu korrigierende Farbverfälschung über das Mikroskopbild 20 variiert. Beispielsweise erzeugen manche Lichtquellen zum Rand der für die Aufnahme des Mikroskopbildes beobachteten Region hin eine schwächere oder farblich andere Beleuchtung. In dem gezeigten Beispiel wird als Objekt 24 ein Beschriftungsfeld 7A lokalisiert, das in Wirklichkeit einfarbig ist, aber nicht einfarbig im Mikroskopbild 20 dargestellt wird. Vielmehr nimmt eine Verfälschung der Farbe zum Bildrand zu. Daher werden für mehrere Bildbereiche 25, 25' in der bereits beschriebenen Weise Farbkorrekturen 27A, 27A' berechnet. Die Bildbereiche 25, 25' liegen in diesem Beispiel in einem Bildausschnitt 24A desselben lokalisierten Objekts 24. Der Bildbereich 25A weist einen Abstand d1 von einem Bildmittelpunkt c auf, während der Bildbereich 25A' einen anderen Abstand d2 zum Bildmittelpunkt c hat. Jede Farbkorrektur 27A, 27A' hat für ihren zugehörigen Abstand d1, d2 Gültigkeit.
Erfolgt nun eine Farbkorrektur eines Mikroskopbildes, so werden verschiedene Ausschnitte des Mikroskopbildes abhängig von ihrem Abstand zum Bildmittelpunkt entweder gemäß der Farbkorrektur 27A oder 27A` korrigiert.
In einer Abwandlung hiervon werden die Farbkorrekturen 27A und 27A' zu einer Farbkorrektur 27 zusammengefasst, welche vom Abstand zum Objektmittelpunkt c abhängt und daher auch als regionsabhängige Farbkorrektur 27' bezeichnet werden kann. Für Abstände, die zwischen d1 und d2 liegen, erfolgt eine Mittelung aus den Farbkorrekturen 27A und 27A`, so dass ein stufenloser Übergang von der Farbkorrektur 27A am Abstand d1 zu der Farbkorrektur 27A` am Abstand d2 resultiert. Für Abstände kleiner d2 kann die Farbkorrektur 27A` gelten. Für Abstände größer d1 kann die Farbkorrektur 27A gelten, oder alternativ eine Extrapolation des stufenlosen Übergangs zwischen 27A und 27A`.
Die Abstände d1, d2 können auch zu einem anderen Bezugspunkt, z.B. zu einem Bildrand, definiert werden.
Eine weitere Ausführungsvariante wird mit Bezug auf die folgende Figur beschrieben.
FIG. 5
5 zeigt schematisch Prozesse eines Ausführungsbeispiels eines weiteren erfindungsgemäßen Verfahrens.
Zunächst wird in Prozess P1 ein Mikroskopbild erhalten, in welchem anschließend in Prozess P2 mindestens ein Objekt lokalisiert wird.
Die Lokalisierung erfolgt mit einem Bildverarbeitungsprogramm, welches in der Lage ist, Objekte zu lokalisieren, die vorgegebenen Objekttypen 23 bekannter Farbe entsprechen. Indem verschiedene Objekttypen 23 bekannter Farbe vorgegeben sind, wird die Wahrscheinlichkeit erhöht, dass zumindest ein Objekt im Mikroskopbild gefunden werden kann, das für eine Ermittlung der Farbkorrektur geeignet ist. Die vorgegebenen Objekttypen 23 können beispielhaft sein: eine eingefärbte Probe 23A, ein Beschriftungsfeld 23B auf einem Probenträger, eine Beleuchtungskomponente 23C, ein Kalibriermuster 23D am Probenträger oder am Halterahmen, und/oder eine Beschriftung/Aufdruck 23E auf einem Probenträger.
Verschiedene Objekttypen 23 können auch verschiedene Beschriftungsfeldtypen angeben, beispielsweise die Beschriftungsfeldtypen: „Beschriftungsfeld aus weißem Papier“, „gelbes Beschriftungsfeld“ oder „Mattglas als Beschriftungsfeld“.
Ebenso können verschieden eingefärbte Proben verschiedene Objekttypen 23 darstellen, die sich im verwendeten Farbstoff unterscheiden.
Ein Aufdruck 23E kann beispielsweise ein Herstellerlogo in einem bekannten Farbton sein. Allgemein ist zu jedem vorgegebenen Objekttyp 23 auch mindestens eine zugehörige Farbe vorgegeben. Je nach Objekttyp 23 können auch mehrere Farben vorgegeben sein, beispielsweise im Fall eines mehrfarbigen Aufdrucks 23E oder eines Kalibriermusters 23D mit verschiedenfarbigen Bereichen. In diesen Fällen kann zu einem vorgegebenen Objekttyp 23 auch angegeben sein, welcher Objektbereich welche Farbe hat.
Beim Lokalisieren von Objekten in einem Mikroskopbild können auch Kontextinformationen K genutzt werden. Die Kontextinformationen K können z.B. den verwendeten Probenträgertyp betreffen. Abhängig von den Kontextinformationen K kann beispielsweise ausgeschlossen werden, dass bestimmte vorgegebene Objekttypen 23 im vorliegenden Mikroskopbild auftreten können, z.B. der Objekttyp „Beschriftungsfeld auf einem Objektträger“, wenn die Kontextinformationen K eine Mikrotiterplatte als verwendeten Probenträger angeben. Die Kontextinformationen K können auch die Probenart betreffen und beispielsweise einen Gewebeschnitt zur Tumoruntersuchung angeben, was als Hinweis auf möglicherweise verwendete Farbstoffe und Probenträgertypen genutzt werden kann.
Der Prozess P5, in dem Eignungsgrade 29A, 29B zu Bildbereichen 25A, 25B bestimmt werden, und die Prozesse P3, P3', in denen eine Farbkorrektur anhand der Bildbereiche 25A, 25B lokalisierter Objekte berechnet wird, können in prinzipiell beliebiger Reihenfolge oder auch gleichzeitig erfolgen. Außerdem können die Prozesse in einen einzigen Berechnungsschritt zusammengefasst werden.
Die schlussendlich ermittelte Farbkorrektur wird anschließend in Prozess P4 auf mindestens ein Mikroskopbild angewandt, wie bereits beschrieben.
Die zu den verschiedenen Figuren beschriebenen Varianten können miteinander kombiniert werden. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: (Mikroskop-)objektiv
5: Beleuchtungseinrichtung
5A: Beleuchtungskomponente (Komponente der Beleuchtungseinrichtung)
6: Probentisch / Mikroskoptisch
7: Probenträger
7A: Beschriftungsfeld des Probenträgers 7
7B: Probe am Probenträger 7
8: Halterung / Einlegerahmen für einen Probenträger
9: Mikroskopkamera
9A: Übersichtskamera
9B: Spiegel
9C: Sichtfeld der Übersichtskamera
10: Recheneinrichtung
11: Computerprogramm
12: Okular
13: Kondensor
20: Mikroskopbild
20': weiteres Mikroskopbild
20'': fortlaufend aufgenommene Mikroskopbilder
21: Überlagerung des Übersichtsbildes 20 mit ermittelten Einrahmungen von Bildbereichen, die lokalisierte Objekte 24 enthalten
22: Bereich hinter dem Probenträger
23: vorgegebener Objekttyp bekannter Farbe
23A: eingefärbte Probe
23B: Beschriftungsfeld
23C: Beleuchtungskomponente
23D: Kalibriermuster
23E: Beschriftung/Aufdruck
24: Objekt, das einem vorgegebenen Objekttyp bekannter Farbe entspricht
24A: Bildausschnitt in einem Mikroskopbild, welcher das Objekt 24 zeigt
25A-25C: Bildbereiche von lokalisierten Objekten
25A': weiterer Bildbereich eines lokalisierten Objekts
26A, 26B: Farben von lokalisierten Objekten im Mikroskopbild
27, 27A, 27A', 27B: Farbkorrektur
27': regionsabhängige Farbkorrektur
28A, 28B: bekannte Farben vorgegebener Objekttypen
29A, 29B: Eignungsgrad eines Objekts für eine Ermittlung der Farbkorrektur
30, 30', 30": farbkorrigierte Mikroskopbilder
100: Mikroskopiesystem
c: Bildmittelpunkt
d1, d2: Abstände der Bildbereiche 25A, 25A' zu einem Bildmittelpunkt c
K: Kontextinformationen
M: Bildverarbeitungsprogramm, Bildverarbeitungsmodell
P1-P5: Prozesse von erfindungsgemäßen Verfahren

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111718 A1 [0003]
DE 102019131693 A1 [0003]
US 10917543 B2 [0004]
JP 2004086031 A [0004]

Claims

Ein computerimplementiertes Verfahren zur Farbkorrektur von Mikroskopbildern, umfassend: Erhalten (P1) eines Mikroskopbildes (20); Lokalisieren (P2) eines Objekts (24), das einem vorgegebenen Objekttyp (23) bekannter Farbe (28A, 28B) entspricht, im Mikroskopbild (20) mittels eines Bildverarbeitungsprogramms (M), das zum automatischen Lokalisieren vorgegebener Objekttypen (23) bekannter Farbe (28A, 28B) eingerichtet ist; Ermitteln (P3, P3`) einer Farbkorrektur (27; 27A, 27B) zumindest anhand eines Bildbereichs (25A, 25B) des lokalisierten Objekts (24), durch welche eine Farbe (26A, 26B) des lokalisierten Objekts (24) im Bildbereich (25A, 25B) in Übereinstimmung mit der bekannten Farbe (28A, 28B) gebracht wird; Anwenden (P4) der Farbkorrektur (27; 27A, 27B) auf zumindest einen Ausschnitt des Mikroskopbildes (20) oder eines anderen Mikroskopbildes (20'), oder Nutzen der Farbkorrektur (27; 27A, 27B) in einer Aufnahme eines weiteren Mikroskopbildes.
Das computerimplementierte Verfahren nach vorstehendem Anspruch, wobei das Mikroskopbild (20), an welchem die Farbkorrektur (27; 27A, 27B) ermittelt wird, eine zu untersuchende mikroskopische Probe (7B) zeigt.
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei das Objekt (24), welches zum Ermitteln der Farbkorrektur (27; 27A, 27B) genutzt wird, zumindest eines aus Folgendem ist: ▪ eine Kalibrierpalette oder -markierung; ▪ ein Beschriftungsfeld (7A) auf einem Probenträger (7); ▪ eine Beschriftung auf einem Probenträger (7); ▪ ein Mikroskopbauteil oder eine Beleuchtungskomponente (5A); oder ▪ eine Probe (7B) oder ein Probenteil bekannter Art oder ein bekannter Farbstoff zum Einfärben einer Probe (7B).
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei sich das Objekt (24), welches zum Ermitteln der Farbkorrektur (27; 27A, 27B) genutzt wird, an einem Probenträger (7) befindet, oder an einem Einlegerahmen (8) eines Mikroskoptisches (6) oder in einem im Mikroskopbild (20) sichtbaren Bereich (22) hinter dem Probenträger (7).
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei für zumindest einen der vorgegebenen Objekttypen (23) bekannter Farbe eine mögliche Farbspanne vorgegeben ist und die Farbspanne als Rahmenbedingung beim Ermitteln (P3, P3`) der Farbkorrektur (27; 27A, 27B) berücksichtigt wird.
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei für jedes im Mikroskopbild (20) lokalisierte Objekt (24) ein Eignungsgrad (29A, 29B) für das Ermitteln einer Farbkorrektur (27; 27A, 27B) berechnet wird (P5), wobei abhängig von berechneten Eignungsgraden (29A, 29B) entschieden wird, welches oder welche von mehreren lokalisierten Objekten (24) für das Ermitteln einer Farbkorrektur (27; 27A, 27B) genutzt werden.
Das computerimplementierte Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei das Ermitteln der Farbkorrektur (27; 27A, 27B) an Bildbereichen (25A, 25B) mehrerer lokalisierter Objekte (24) erfolgt, und wobei ein Beitrag eines jeweiligen lokalisierten Objekts (24) zu dem Ermitteln der Farbkorrektur (27) basierend auf dem jeweiligen Eignungsgrad (29A, 29B) eines lokalisierten Objekts (24) gewichtet wird.
Das computerimplementierte Verfahren nach Anspruch 6 oder 7, wobei der Eignungsgrad (29A, 29B) basierend auf Objekteigenschaften ermittelt wird, welche eines oder mehreres aus Folgendem angeben: ▪ eine Objektgröße; ▪ Rückstrahleigenschaften oder eine Mattheit einer Objektoberfläche oder eine Materialart; ▪ eine Lage des Objekts (24) relativ zu einer verwendeten Kamera; ▪ ein Farbeindruck oder eine Reinheit des Objekts (24) oder Beeinträchtigungen einer Darstellung des Objekts (24).
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: Ermitteln von Bildpunkten innerhalb eines Bildbereichs (25A, 25B) eines lokalisierten Objekts (24), welche als nicht zum Objekt (24) gehörig eingeschätzt werden, und Ignorieren dieser Bildpunkte beim Ermitteln (P3, P3`) der Farbkorrektur (27; 27A, 27B).
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei Kontextinformationen (K) beim Ermitteln der Farbkorrektur (27; 27A, 27B) berücksichtigt werden, wobei die Kontextinformationen (K) eine Beleuchtungsart, eine Probenart, eine Mikroskopart, verwendete Filter oder andere Optikkomponenten betreffen.
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei die Farbkorrektur (27) als regionsabhängige Farbkorrektur (27') ermittelt wird, durch welche verschiedene Bildbereiche unterschiedlich farbkorrigiert werden, wobei das Ermitteln der regionsabhängigen Farbkorrektur (27') an mehreren Bildbereichen (25A, 25B) von einem oder mehreren lokalisierten Objekten (24) erfolgt.
Das computerimplementierte Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei ein Bildausschnitt (24A) eines lokalisierten Objekts (24) in mindestens zwei verschiedene Bildbereiche (25A, 25A`) unterteilt wird, welche unterschiedlich weit von einem Bildmittelpunkt (c) entfernt sind, wobei zu jedem Bildbereich (25A, 25A`) eine zugehörige Farbkorrektur (27A, 27A`) ermittelt wird, welche kombiniert werden, um die regionsabhängige Farbkorrektur (27') zu bilden, welche einen Bildbereich abhängig von seinem Abstand zum Bildmittelpunkt (c) farbkorrigiert.
Das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche, wobei das Anwenden (P4) der Farbkorrektur (27; 27A, 27B) in Echtzeit für fortlaufend aufgenommene Mikroskopbilder (20") erfolgt.
Das computerimplementierte Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei zumindest einige der fortlaufend aufgenommenen Mikroskopbilder (20") danach ausgewertet werden, ob eine Änderung eingetreten ist, und im Fall einer eingetretenen Änderung eine erneute Ermittlung einer Farbkorrektur (27; 27A, 27B) erfolgt.
Ein Mikroskopiesystem mit einem Mikroskop (1) zur Bildaufnahme; und einer Recheneinrichtung (10), die dazu eingerichtet ist, das computerimplementierte Verfahren nach einem der vorstehenden Ansprüche auszuführen.
Ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen.