DE102021125575A1

DE102021125575A1 - Mikroskopiesystem und Verfahren zur Instanzsegmentierung

Info

Publication number: DE102021125575A1
Application number: DE102021125575.9A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2021-10-01
Filing date: 2021-10-01
Publication date: 2023-04-06
Also published as: CN115937224A; US20230104859A1

Abstract

Ein computerimplementiertes Verfahren zur Instanzsegmentierung mindestens eines Mikroskopbildes (20), welches mehrere Objekte (21) zeigt, umfasst: Berechnen (P1) von Positionen von Objektmittelpunkten (31) der Objekte (21) im Mikroskopbild (20); Ermitteln (P2), welche Bildbereiche (41) des Mikroskopbildes (20) von den Objekten (21) bedeckt sind; Berechnen (P3) von Voronoi-Regionen (51) unter Verwendung der Objektmittelpunkte (31) als Voronoi-Zentren (31'); und Ermitteln (P4) einer Instanzsegmentierungsmaske (60), indem die mit den Objekten (21) bedeckten Bildbereiche (41) unter Verwendung von Grenzen (52, 52') der Voronoi-Regionen (51) in verschiedene Instanzen (61) getrennt werden.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopiesystem und ein Verfahren zur Instanzsegmentierung mindestens eines Mikroskopbildes.
HINTERGRUND
Bei modernen Mikroskopen spielt die digitale Bildverarbeitung eine zunehmend wichtige Rolle, insbesondere für eine automatische Probenanalyse oder eine automatische Mikroskopsteuerung basierend auf aufgenommenen Bildern. Für verschiedene Prozesse ist eine Instanzsegmentierungsmaske vorteilhaft. Unter einer Segmentierungsmaske wird vorliegend ein Bild verstanden, in dem eine bereichsweise oder pixelweise Klassenzugehörigkeit angegeben ist. Eine Segmentierungsmaske kann insbesondere eine Binärmaske sein, bei welcher ein erster Pixelwert angibt, dass entsprechende Pixel einer ersten Klasse angehören (z.B. der Klasse „Probe“ oder allgemeiner „Objekt“), während ein zweiter Pixelwert angibt, dass entsprechende Pixel einer zweiten Klasse angehören (z.B. der Klasse „Nicht-Probe“ oder „Hintergrund“). Eine Segmentierungsmaske wird typischerweise aus einem aufgenommenen Mikroskopbild berechnet, z.B. aus einem Phasenkontrastbild oder einem Fluoreszenzbild. In einer Segmentierungsmaske sind Bildbereiche, welche einander berühren und verschiedene Objekte derselben Klasse anzeigen, nicht in Instanzen unterteilt; vielmehr hat jeder Pixel dieser Bildbereiche denselben Pixelwert. Daher geht aus der Segmentierungsmaske nicht hervor, ob ein oder mehrere benachbarte Objekte derselben Klasse vorhanden sind und wo eine Grenze zwischen diesen verläuft. Hierin unterscheidet sich eine Instanzsegmentierungsmaske: In dieser ist nicht nur eine bereichsweise oder pixelweise Klassenzugehörigkeit angegeben, vielmehr werden auch Objekte derselben Klasse voneinander unterschieden. In der Instanzsegmentierungsmaske wird somit jedem Pixel eine Klasse zugeordnet und zusätzlich angegeben, welches Objekt von potentiell mehreren Objekten derselben Klasse hier vorliegt.
Bekannte Bildverarbeitungsprogramme zum Erzeugen einer Instanzsegmentierungsmaske erfordern einen hohen Aufwand zur Anpassung an eine momentane Applikation oder liefern nur eine moderate Qualität. Beispielsweise werden maschinell gelernte Modelle zur Instanzsegmentierung eingesetzt, welche anhand vorgegebener Trainingsdaten gelernt werden. Die Trainingsdaten umfassen typischerweise eine hohe Anzahl an Mikroskopbildern (z.B. Phasenkontrastbildern) und zugehörigen Instanzsegmentierungsmasken, welche unter manuellem Aufwand von einem Experten erstellt wurden. Je nach Anwendung ist ein neues Training nötig, was erneut einen hohen manuellen Annotationsaufwand erfordert. Es wäre wünschenswert, mit geringerem manuellen Aufwand ein hochwertiges Instanzsegmentierungsmodell bereitstellen zu können.
Annotations-freie Segmentierungsverfahren, z.B. durch unüberwachtes Training gelernte Bildverarbeitungsmodelle, können nur eine grobe Einteilung in einen Vordergrund und einen Hintergrund liefern, nicht aber eine Instanz-Segmentierung.
Ein herkömmliches maschinell gelerntes Modell zum Erzeugen von Instanzsegmentierungsmasken ist beispielsweise beschrieben in:

Uwe Schmidt et al., „Cell Detection with Star-convex Polygons“, arXiv:1806.03535v2 [cs.CV], 8. Nov. 2018

Ein Beispiel einer Bildanalyse eines Mikroskopbildes ist die Konfluenzschätzung: Unter Konfluenz wird die Bedeckung eines vom Mikroskopbild erfassten Bereichs durch biologische Zellen verstanden. Eine Konfluenz kann beispielsweise durch einfache Segmentierungsmodelle ermittelt werden, welche eine Binärmaske ausgeben, in denen einer der Pixelwerte die von Zellen bedeckte Fläche angibt. Die Konfluenz kann auch aus Konturen eines Fluoreszenzbildes geschätzt werden. Häufig werden maschinell gelernte Modelle mit faltendenden neuronalen Netzen (convolutional neural nets) verwendet. Die Konfluenzschätzung ist im Vergleich zu bekannten Vorgehensweisen der Instanzsegmentierung relativ einfach und präzise möglich.
Zur Vollständigkeit wird auf weitere Bildverarbeitungsmethoden hingewiesen: Bekannt sind Methoden zum Zählen von biologischen Zellen in einem Mikroskopbild, wozu insbesondere Detektionsmodelle verwendet werden oder eine Dichteschätzung erfolgt, siehe auch:

Weidi Xie, J. Alison Noble & Andrew Zisserman (2018) „Microscopy cell counting and detection with fully convolutional regression networks“, Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization, 6:3, 283-292, DOI: 10.1080/21681163.2016.1149104

In dieser Weise können auch verhältnismäßig einfach und zuverlässig die Positionen von Zellmittelpunkten ermittelt werden.
Zum Zählen von Zellen in einem Mikroskopbild wird ein maschinell gelerntes Modell beschrieben in:

Joseph Paul Cohen et al., „Count-ception: Counting by Fully Convolutional Redundant Counting“, arXiv: 1703.08710 [cs.CV], 23.07.2017

Dabei wird durch ein FCN (fully convolutional network) jeweils für Bildausschnitte (patches) ein Zählwert vorhandener Objekte bestimmt und anschießend kann durch Mittelung der Zählwerte überlappender Bildausschnitte ein Gesamtzählwert der im Bild vorhandenen Objekte bestimmt werden.
Als weiterer Hintergrund der vorliegenden Offenbarung wird auf Voronoi-Diagramme eingegangen. Mathematische Konzepte zum Berechnen eines Voronoi-Diagramms sind beschrieben in:

Ngoc-Minh Lê, „Randomized Incremental Construction of Simple Abstract Voronoi Diagrams in 3-space“, Informatik-Berichte 174 - 03/1995, FernUniversität in Hagen

Bei einem Voronoi-Diagramm wird ein Bereich, z.B. ein 2D-Bild, abhängig von vorgegebenen Punkten (Voronoi-Zentren oder englisch: sites) in Regionen eingeteilt. Jede Region erstreckt sich um eines der Voronoi-Zentren. Ein Pixel des 2D-Bildes wird derjenigen Region zugeordnet, zu deren Voronoi-Zentrum der Pixel am nächsten ist. Dementsprechend können Grenzlinien zwischen Voronoi-Regionen dadurch definiert sein, dass sie den gleichen Abstand zu zwei benachbarten Voronoi-Zentren haben.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopiesystem und ein Verfahren anzugeben, welche weitgehend automatisiert zu untersuchende Objekte besonders zuverlässig erfassen oder analysieren können.
Diese Aufgabe wird durch das computerimplementierte Verfahren mit den Merkmalen des Anspruchs 1 und durch das Mikroskopiesystem mit den Merkmalen des Anspruchs 18 gelöst.
Ein erfindungsgemäßes computerimplementiertes Verfahren zur Instanzsegmentierung mindestens eines Mikroskopbildes, welches mehrere Objekte zeigt, umfasst zumindest die folgenden Prozesse: Positionen von Objektmittelpunkten der Objekte im Mikroskopbild werden berechnet. Es wird ermittelt, welche Bildbereiche des Mikroskopbildes von den Objekten bedeckt sind. Voronoi-Regionen werden unter Verwendung der Objektmittelpunkte als Voronoi-Zentren berechnet. Eine Instanzsegmentierungsmaske wird ermittelt, indem die mit den Objekten bedeckten Bildbereiche gemäß bzw. unter Verwendung von Grenzen der Voronoi-Regionen in verschiedene Instanzen getrennt werden.
Ein erfindungsgemäßes Computerprogramm umfasst Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
Ein erfindungsgemäßes Mikroskopiesystem umfasst ein Mikroskop zur Bildaufnahme und eine Recheneinrichtung, die dazu eingerichtet ist, das computerimplementierte Verfahren auszuführen. Das Mikroskop kann insbesondere dazu gestaltet sein, ein Mikroskopbild oder Rohdaten aufzunehmen, mit denen ein Mikroskopbild berechnet wird. Die Recheneinrichtung kann insbesondere eingerichtet sein zum: Ermitteln von Positionen von Objektmittelpunkten von Objekten im Mikroskopbild; Ermitteln, welche Bildbereiche des Mikroskopbildes von den Objekten bedeckt sind; Berechnen von Voronoi-Regionen unter Verwendung der Objektmittelpunkte als Voronoi-Zentren; und Ermitteln einer Instanzsegmentierungsmaske, indem die mit den Objekten bedeckten Bildbereiche gemäß bzw. unter Verwendung von Grenzen der Voronoi-Regionen in verschiedene Instanzen getrennt werden.
Die Objekte können insbesondere biologische Zellen oder Zellteile sein. In diesem Beispiel sind die Objektmittelpunkte Zellmittelpunkte bzw. Mittelpunkte von Zellteilen oder Zellorganellen. Die von Zellen bzw. Objekten bedeckte Fläche kann auch als Konfluenz bezeichnet werden. Die Konfluenz gibt somit eine Größe und Lage des von Zellen bedeckten Anteils des Mikroskopbildes an. Mit bekannten Bildverarbeitungsmethoden können mit moderatem Aufwand verhältnismäßig zuverlässig Objektmittelpunkte bestimmt werden. Auch die Bestimmung der von Objekten bedeckten Bildbereiche ist verhältnismäßig robust und präzise möglich, z.B. in Form einer binären Segmentierungsmaske. Diese beiden Vorgehensweisen werden mit einer Voronoi-Partitionierung kombiniert, um eine Instanzsegmentierungsmaske zu erzeugen. Die Instanzsegmentierungsmaske kann daher mit im Wesentlichen der gleichen Robustheit und dem gleichen moderaten Aufwand ermittelt werden, wie die Objektmittelpunkte und eine binäre Segmentierungsmaske. Gegenüber bekannten Methoden zur Instanzsegmentierung ergibt sich daher ein in der Regel geringerer Aufwand bei gleichzeitig höherer Präzision und Zuverlässigkeit.
Durch die Erfindung kann somit eine Instanzsegmentierungsmaske erzeugt werden, ohne dass ein spezielles Instanzsegmentierungsmodell hierfür trainiert werden müsste. Dadurch kann ein Annotations- und Trainingsaufwand deutlich verringert sein.
Für viele Applikationen muss nicht mehr ein separates Instanzsegmentierungsmodell genutzt werden, womit ein Geschwindigkeitsvorteil möglich ist.
Optionale Gestaltungen
Varianten des erfindungsgemäßen Mikroskopiesystems und des erfindungsgemäßen Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Voronoi-Regionen
Die Objektmittelpunkte werden als Voronoi-Zentren (englisch: sites) verwendet, um eine Voronoi-Partition zu berechnen. Hierdurch wird ein Bereich, welcher in seiner Größe z.B. gleich der Größe des Mikroskopbildes gesetzt werden kann, in verschiedene Regionen unterteilt. Jede dieser Regionen, nachfolgend Voronoi-Regionen, umgibt einen der Objektmittelpunkte. Grenzen der Voronoi-Regionen können danach berechnet werden, dass jede Grenze zu ihren benachbarten Objektmittelpunkten denselben Abstand hat. In anderen Worten wird ein Bildpixel derjenigen Voronoi-Region zugeordnet, zu deren Objektmittelpunkt der Bildpixel den kleinsten Abstand hat. An Ecken der Grenzen liegt ein gleicher Abstand zu drei oder mehr Objektmittelpunkten vor, während ansonsten Grenzen auf denjenigen Pixeln verlaufen, zu denen zwei Objektmittelpunkte den gleichen kleinsten Abstand haben.
In manchen Ausgestaltungen der Erfindung wird der Abstand als euklidischer Abstand berechnet. Der euklidische Abstand entspricht z.B. der Strecke in Pixeln im Mikroskopbild. Die Strecke von einem Pixel der Grenze der Voronoi-Region bis zu dem jeweiligen Pixel der zwei nächsten Objektmittelpunkte ist also gleich.
Alternativ kann aber auch eine andere Metrik festgelegt werden, durch welche der Abstand ermittelt wird. Die Grenzen der Voronoi-Regionen werden weiterhin danach berechnet, dass jede Grenze zu ihren benachbarten Objektmittelpunkten bzw. den beiden nächstgelegenen Objektmittelpunkten denselben Abstand hat, wobei der Abstand gemäß der Metrik bestimmt ist. Die Metrik kann insbesondere abhängig von Pixelwerten des mindestens einen Mikroskopbildes festgelegt werden. So kann eine Weglänge zwischen zwei beabstandeten Pixeln abhängig von Pixelwerten bzw. Grauwerten aller auf diesem Weg liegenden Pixeln gewichtet werden. Helle Pixel können auf eine Zellwand einer biologischen Zelle hindeuten. Deshalb können helle Pixel bzw. große Grauwerte stärker gewichtet werden als niedrigere Grauwerte. Durch eine stärkere Gewichtung wird der berechnete Abstand vergrößert. Ein Pixel kann dadurch der Voronoi-Region eines ersten Zellmittelpunkts zugeordnet werden, zu dem der Pixel einen größeren euklidischen Abstand als zu einem anderen, zweiten Zellmittelpunkt hat, wenn dafür weniger helle Bildbereiche (die auf eine Zellwand hindeuten) zwischen dem Pixel und dem ersten Zellmittelpunkt liegen.
Insbesondere im Fall von Phasenkontrastbildern kann auch eine Metrik vorgesehen sein, durch welche sowohl besonders helle als auch besonders dunkle Pixel stärker gewichtet werden als graue / mittelhelle Pixel. Graue Pixel liegen meist außerhalb von Zellen sowie innerhalb von Zellen vor, während an Zellwänden sowohl besonders helle als auch besonders dunkle Pixel vorkommen. Die verwendete Metrik weist benachbarten Pixeln somit einen Abstand zu, der abhängig vom Pixelwert ist, wobei mit zunehmendem Pixelwert die Gewichtung bzw. der berechnete Abstand zunächst kleiner wird und mit weiter steigendem Pixelwert größer wird.
Die Metrik kann auch einen Helligkeitsunterschied zwischen benachbarten Pixeln gewichten. Je größer der Helligkeitsunterschied zwischen benachbarten Pixeln ist, desto größer wird (gemäß der verwendeten Metrik) der Abstand zwischen diesen Pixeln festgelegt. Zwischen nicht benachbarten Pixeln verläuft der kürzeste Weg in dieser Metrik abhängig von Helligkeitsunterschieden auf einer prinzipiell beliebig gekrümmten Kurve.
Eine zu verwendende Metrik kann auch durch eine Bildanalyse des Mikroskopbildes festgelegt werden. Objektgrenzen werden meist durch eine verhältnismäßig kleine Anzahl an Pixeln gebildet, während der Großteil aller Pixel zu Bildbereichen innerhalb eines Objekts oder zu einem Hintergrund, das heißt einem Bildbereich außerhalb der Objekte, gehört. Deshalb kann ein vorherrschender Pixelwert oder durchschnittlicher Pixelwert ermittelt werden, für welchen die Metrik eine minimale Gewichtung, also einen kleinsten Beitrag zum Abstand, vorschreibt. Der vorherrschende Pixelwert stellt in der Regel keine Objektgrenzen dar. Je weiter ein Pixelwert von dem vorherrschenden oder durchschnittlichen Pixelwert abweicht, desto höher wird die Gewichtung dieses Pixels in der Abstandsberechnung festgelegt. Optional kann die Metrik eine höhere Gewichtung allein für Pixelwerte festlegen, die heller als der vorherrschende / durchschnittliche Pixelwert sind, oder allein für Pixelwerte, die dunkler als der vorherrschende / durchschnittliche Pixelwert sind.
Zur Festlegung der Metrik kann auch ein Konfluenzbild ausgewertet werden. In diesem sind zumindest manche der Objektränder markiert. Die Helligkeitswerte von Pixeln des Mikroskopbildes, welche die im Konfluenzbild ersichtlichen Objektränder bilden, können daher erfasst werden. Sodann kann ein statistischer Unterschied zwischen diesen Helligkeitswerten und den Helligkeitswerten der übrigen Pixel des Mikroskopbildes ermittelt werden. Daher kann festgestellt werden, welche Helligkeitswerte für Objektränder in diesem Mikroskopbild typisch sind. Pixeln mit diesen Helligkeitswerten kann die Metrik in der Abstandsberechnung ein größeres Gewicht zuordnen.
Alternativ oder zusätzlich kann der Abstand als ein nach Strukturen im Mikroskopbild gewichteter kürzester Weg berechnet werden. Ein Weg durch Strukturen wird höher gewichtet, entspricht also einem größeren Abstand. Strukturen können durch Bildanalyse ermittelt werden, beispielsweise anhand von Pixelwertänderungen mehrerer benachbarter Pixel. Haben mehrere benachbarte Pixel nur geringe Unterschiede in ihren Pixelwerten, liegt hier vermutlich keine Struktur vor bzw. gehören die Pixel zu demselben Objekt. Im Fall stärkerer Pixelwertunterschiede zwischen mehreren benachbarten Pixeln ist es hingegen wahrscheinlich, dass hier ein Objekt oder eine Objektgrenze vorliegt. Einem Weg durch diese Pixel wird ein größerer Abstand zugeordnet. Ob ein Pixel einer Voronoi-Region zugeordnet wird, wird daher auch abhängig davon festgelegt, ob zwischen diesem Pixel und dem Voronoi-Zentrum dieser Voronoi-Region Strukturen im Mikroskopbild enthalten sind.
Wird der Abstand als ein nach Strukturen im Mikroskopbild gewichteter kürzester Weg berechnet, so kann es sich bei den Objekten insbesondere um biologische Zellen handeln und bei den Strukturen um Zellwände. Durch die Gewichtung stellt ein Weg durch Zellwände einen größeren Abstand dar als ein in Pixeln gleichlanger Weg, der jedoch ausschließlich innerhalb einer Zelle oder ausschließlich außerhalb der Zellen verläuft.
Die Optimierung der Voronoi-Regionen kann z.B. mit dem Dijkstra-Algorithmus erfolgen, welcher einen kürzesten Pfad eines Pixels zu einem Startpunkt (einem Voronoi-Zentrum / Objektmittelpunkt) berechnet. Allgemein kann die Berechnung der Voronoi-Regionen anhand der Objektmittelpunkte durch einen prinzipiell beliebigen hierfür gestalteten Algorithmus erfolgen. Es kann insbesondere eine beliebige Berechnungsmethode verwendet werden, durch welche schlussendlich jedem Pixel im Mikroskopbild der Objektmittelpunkt, der zu diesem Pixel am nächsten ist, zugeordnet wird. Eine Voronoi-Partition kann beispielsweise als duales Problem über die Bestimmung der Delaunay-Triangulation berechnet werden. Vereinfacht ist auch möglich, Verbindungsgeraden zwischen den Objektmittelpunkten zu bestimmen. Auf jeder Verbindungsgerade wird in ihrer Mitte eine Senkrechte berechnet. Diese Senkrechten bilden die Grenzen der Voronoi-Regionen. Schnittpunkte der Senkrechten bilden die Ecken der Voronoi-Regionen. Grundsätzlich können auch Methoden zur Berechnung sogenannter abstrakter Voronoi-Regionen genutzt werden, wie eingangs zum Stand der Technik genannt.
Mikroskopbilder
Unter einem Mikroskopbild kann ein Bild verstanden werden, das von einem Mikroskop aufgenommen ist bzw. mit Hilfe von Messdaten eines Mikroskops berechnet ist. Insbesondere kann das Mikroskopbild durch ein oder mehrere Rohbilder oder bereits weiterverarbeitete Bilder des Mikroskops gebildet sein. Weiterhin kann das Mikroskopbild aus Messdaten einer Übersichtskamera am Mikroskop berechnet sein. Handelt es sich bei dem Mikroskop um ein Lichtmikroskop, kann das Mikroskopbild auch ein Probenbild sein, welches von einer Probenkamera aufgenommen wird, die zusätzlich zur Übersichtskamera vorhanden ist und ein Bild mit stärkerer Vergrößerung aufnimmt als die Übersichtskamera. Mikroskopbilder können auch durch andere Arten von Mikroskopen erzeugt sein, beispielsweise durch Elektronenmikroskope oder Rasterkraftmikroskope. In manchen Erfindungsvarianten werden die aus Mikroskopbildern berechneten Instanzsegmentierungsmasken als Trainingsdaten verwendet; insbesondere in diesen Fällen können als Mikroskopbilder auch simulierte bzw. künstlich erzeugte Bilder dienen, die nicht von einem Mikroskop aufgenommen wurden.
Die Objektmittelpunkte und die von Objekten bedeckten Bildbereiche können aus demselben Mikroskopbild ermittelt werden. Das Berechnen von Positionen von Objektmittelpunkten der Objekte im Mikroskopbild kann somit durch eine Auswertung gerade dieses Mikroskopbildes erfolgen. Alternativ ist es auch möglich, dass die Positionen im Mikroskopbild mit Hilfe anderer Messinformationen berechnet werden, beispielsweise durch mindestens ein anderes Mikroskopbild, welches örtlich registriert zu dem zuvor genannten Mikroskopbild ist. Unter zwei zueinander registrierten Bildern wird verstanden, dass ein örtlicher Bezug zwischen Pixeln dieser Bilder bekannt ist. Wird daher die Position eines Objektmittelpunkts in einem Mikroskopbild ermittelt, ist auch die entsprechende Position dieses Objektmittelpunkts in einem hierzu registrierten Mikroskopbild bekannt.
Werden die Objektmittelpunkte und die von Objekten bedeckten Bildbereiche aus verschiedenen Mikroskopbildern ermittelt, können die verschiedenen Mikroskopbilder insbesondere zueinander registriert sein und mit verschiedenen Mikroskopietechniken oder Mikroskopeinstellungen aufgenommen sein. Verschiedene Mikroskopietechniken oder Kontrastverfahren können z.B. Fluoreszenz, Hellfeld- oder Phasenkontrastaufnahmen umfassen. Als Beispiel können Zellmittelpunkte aus einem DAPI-Kanal stammen (das heißt aus einem Fluoreszenzbild, in dem der Fluoreszenzfarbstoff DAPI angeregt ist), während die Konfluenz bzw. die von Objekten bedeckten Bildbereiche aus einem Hellfeld- oder Phasenkontrastbild ermittelt werden. Verschiedene Mikroskopietechniken können auch verschiedene Fluoreszenzwellenlängen bezeichnen. So ist es beispielsweise möglich, die Konfluenz aus einer anderen Wellenlänge mit einem anderen Farbstoff (z.B. GFP, Grün Fluoreszierendes Protein) zu schätzen.
Im Mikroskopbild dargestellte Objekte
Die Objekte, die im Mikroskopbild dargestellt werden, können sich je nach Probenart unterscheiden. Beispielsweise können die Objekte biologische Zellen, Zellteile oder Zellorganellen sein. Insbesondere kann ein Mikroskopbild einen Gewebeschnitt oder Pathologiedaten zeigen. Es kann sich bei den Objekten aber auch um Partikel handeln, oder um Materialproben, Schäume, Pigmente, Pollen, Elektronikkomponenten oder Schnitte durch Glas- und/oder Kohlefasern. Insbesondere bei Mikroskopbildern eines Elektronenmikroskops können die Objekte auch Moleküle oder Atome sein. Die Instanzsegmentierung über Voronoi-Regionen eignet sich besonders für Objekte, die im Mikroskopbild eine regelmäßige Form haben, z.B. rundlich, kreisförmig oder in etwa quadratisch sind. Hierbei ist die Form im Querschnitt bzw. in einer Aufsicht oder Durchsicht gemeint. Ebenso kann es günstig sein, wenn die Objekte einen ähnlichen Durchmesser haben, so dass z.B. alle Objekte oder wenigstens 90% aller Objekte einen Durchmesser haben, der höchstens um 50% von einem durchschnittlichen Durchmesser der Objekte abweicht.
Objektmittelpunkte und von den Objekten bedeckte Bildbereiche
Zu einem Mikroskopbild können die Objektmittelpunkte und die von den Objekten bedeckten Bildbereiche in prinzipiell bekannter Weise ermittelt werden, insbesondere wie eingangs zum Stand der Technik beschrieben. Die Mittelpunkte von Objekten können beispielsweise durch eine Dichteschätzung bestimmt werden. Unter den von Objekten bedeckten Bildbereiche können alle Pixel des Mikroskopbildes verstanden werden, welche einen Punkt eines der Objekte zeigen. Ein Konfluenzbild, welches die von den Objekten bedeckten Bildbereiche angibt, kann z.B. als (binäre) Segmentierungsmaske von einem Segmentierungsmodell ermittelt werden. Ein solches Segmentierungsmodell erhält das Mikroskopbild als Eingabe und kann vorab anhand von Trainingsdaten gelernt sein. Die Bestimmung des Konfluenzbildes und der Objektmittelpunkte kann durch separat gelernte Modelle oder auch durch ein gemeinsames Modell durchgeführt werden. Zur Konfluenzbestimmung können unter anderem Heuristiken genutzt werden, z.B. ein Schwellwertvergleich zur Segmentierung oder ein Konturauffinden, insbesondere bei Nutzung eines DAPI-Kanals. Im Fall maschinell gelernter Modelle kann beispielsweise ein vollständig faltendes Netzwerk (fully-convolutional network) zur binären Segmentierung verwendet werden, welches optional eine U-Net Architektur haben kann.
Typische Arbeitsabläufe beim Untersuchen von biologischen Zellen als Objekte umfassen eine Zellzählung sowie eine Konfluenzbestimmung. Ein mögliches Verfahren zur Zellzählung basiert auf dem Finden der Zellmittelpunkte. In diesem Fall können die bereits vorhandenen Schritte zum Finden der Zellmittelpunkte und zur Konfluenzbestimmung für die Erfindung genutzt werden und die Berechnung einer Instanzsegmentierungsmaske über die Voronoi-Regionen ermöglichen. Zusätzliche maschinell gelernte Modelle oder ein manueller Zusatzaufwand für einen Nutzer sind nicht nötig.
Konfidenzkarte
Zu der Instanzsegmentierungsmaske kann eine Konfidenzkarte berechnet werden, welche pixelweise oder instanzweise eine Sicherheit der Instanzsegmentierungsmaske angibt. Die Konfidenzkarte kann abhängig von Abständen der jeweiligen Pixel zu benachbarten Objektmittelpunkten berechnet werden. Die Abstände können wie beschrieben als euklidische Abstände oder gemäß einer anderen Metrik berechnet werden.
Beispielsweise kann die Konfidenzkarte für einen Pixel eine umso größere Sicherheit angeben, je kleiner der Abstand dieses Pixels zum nächsten benachbarten Objektmittelpunkt (oder zu den nächsten benachbarten Objektmittelpunkten) ist. Die Zugehörigkeit eines Pixels zu einer Instanz eines Objekts wird demnach als umso sicherer eingestuft, je näher sich der Pixel am Mittelpunkt dieses Objekts befindet.
Alternativ oder zusätzlich kann die Konfidenzkarte eine umso größere Sicherheit für einen Pixel angeben, je stärker sich ein Abstand dieses Pixels zum nächsten Objektmittelpunkt von einem Abstand dieses Pixels zu einem zweitnächsten Objektmittelpunkt unterscheidet. Dadurch ist die Zugehörigkeit eines Pixels zu einer Instanz eines Objekts besonders sicher, wenn der Abstand zum Mittelpunkt dieses Objekts wesentlich kleiner als der Abstand zum Mittelpunkt des zweitnächsten Objekts. Hat hingegen ein Pixel ungefähr gleich große Abstände zu Mittelpunkten von zwei (oder mehr) Objekten, so gibt die Konfidenzkarte eine große Unsicherheit für die Instanz-Zuordnung dieses Pixels an.
Gibt die Konfidenzkarte instanzweise eine Sicherheit an, so wird in der Konfidenzkarte eine einzige Sicherheit (ein einziger Wert) pro Instanz angegeben, also ein Wert pro Gebiet in der Instanzsegmentierungsmaske, welches als ein Objekt eingestuft wurde. Eine Sicherheit für eine Instanz kann zum Beispiel als Aggregation, insbesondere als Summe oder Mittelwert, der Pixelwerte der Konfidenzkarte innerhalb des Gebiets dieser Instanz berechnet werden.
Anstelle oder zusätzlich zu einer Konfidenzkarte kann auch ein alleiniger Konfidenzwert für die Instanzsegmentierungsmaske berechnet werden. Der Konfidenzwert kann z.B. als Aggregation, insbesondere als Summe oder Mittelwert, der Pixelwerte der Konfidenzkarte berechnet werden.
Variationen beim Trennen bedeckter Bildbereiche gemäß Voronoi-Regionen
Die von Objekten bedeckten Bildbereiche werden gemäß bzw. unter Verwendung von Grenzen der Voronoi-Regionen getrennt, um so verschiedene Instanzen der Objekte darzustellen. Bei diesem Trennen der bedeckten Bildbereiche können zusätzliche Variationen oder Korrekturen erfolgen, je nach dem wie die Grenzen der Voronoi-Regionen zu Rändern der bedeckten Bildbereiche verlaufen.
Es kann der Fall vorkommen, dass beim Trennen der bedeckten Bildbereiche gemäß den Grenzen der Voronoi-Regionen eine der Voronoi-Regionen zu zwei separaten Instanzen, also zu zwei separaten von Objekten bedeckten Regionen führen würde. In diesem Fall kann eine Korrektur erfolgen, in welcher eine kleinere der zwei separaten Regionen verworfen wird (das heißt als Hintergrund und nicht etwa als Instanz eines Objekts gewertet wird). Alternativ kann die kleinere der zwei separaten Regionen einer oder mehreren benachbarten Voronoi-Regionen zugeordnet werden. Dadurch wird vermieden, dass eine einzige Voronoi-Region zu zwei verschiedenen Objektinstanzen führt.
Eignung der Mikroskopbilder
Optional kann zunächst bewertet werden, ob die Probe für die Berechnung einer Instanzsegmentierungsmaske über Voronoi-Regionen geeignet ist. Unter Umständen kann dies nicht der Fall sein, wenn die Probe Objekte (beispielsweise Zellen) umfasst, die im Mikroskopbild eine stark elliptische oder konkave Form haben.
Eine Eignung der Objekte für das Ermitteln einer Instanzsegmentierungsmaske über Voronoi-Regionen kann durch Auswerten des Mikroskopbildes festgestellt werden. Beispielsweise können Formen zumindest einiger der Objekte im Mikroskopbild festgestellt werden. Dargestellte Objekte haben in der Regel in einer Richtung eine kürzeste Abmessung (Durchmesser) und in einer anderen Richtung eine maximale Abmessung. Die Eignung kann beispielsweise abhängig vom Verhältnis der kürzesten Abmessung zur maximalen Abmessung bewertet werden. Eine Eignung wird verneint, wenn das Verhältnis kleiner als ein vorgegebener Grenzwert ist, wobei der Grenzwert z.B. zwischen 0,1 und 0,35 liegen kann.
Alternativ kann die Eignung der Objekte anhand einer Identifizierung der Objekte festgestellt werden, wobei für verschiedene Objektarten hinterlegt ist, ob sich diese Objekte für die genannte Auswertung eignen. Die Identifizierung der Objekte kann anhand des Mikroskopbildes oder unabhängig vom Mikroskopbild durch eine andere Datenquelle bzw. Dateneingabe erfolgen.
Nur im Fall einer Eignung der Objekte erfolgt das Berechnen von Voronoi-Regionen und das hierauf basierende Ermitteln einer Instanzsegmentierungsmaske. Dadurch wird sichergestellt, dass eine Instanzsegmentierungsmaske nur dann berechnet wird, wenn dies mit voraussichtlich hoher Genauigkeit möglich ist.
Verwenden der Instanzsegmentierungsmaske
Auf Basis der in der vorliegenden Weise erhaltenen Instanzsegmentierungsmaske lassen sich verschiedene Applikationen durchführen, die allein bei Kenntnis der Objektmittelpunkte und der Konfluenz bzw. der von den Objekten bedeckten Bildbereiche nicht möglich wären. Bei den nachfolgenden Applikationen kann es sich bei den Objekten um biologische Zellen handeln, was jedoch nicht zwingend ist. Die Instanzsegmentierungsmaske kann für eine Objektanalyse in einer oder mehrerer der folgenden Weisen verwendet werden:

Bildausschnitte des Mikroskopbildes, welche Objekte enthalten, können mit Hilfe der Instanzsegmentierungsmaske pixelgenau ausgeschnitten werden. Diese Bildausschnitte werden einem Folgemodell (als Patches) für eine Objektanalyse zugeführt, beispielsweise zum Klassifizieren des Zellzyklusstatus im Fall biologischer Zellen als Objekte. Als ein Vorteil werden dem Folgemodell keine Bildbereiche einer Umgebung oder eines anderen Objekts eingegeben. Das Folgemodell kann ein maschinell gelerntes Modell sein, z.B. ein Modell zur Klassifikation, zur Regression oder zur Bild-zu-Bild-Abbildung. Anstelle eines maschinell gelernten Folgemodells kann auch ein Folgealgorithmus, der nicht maschinell gelernt ist, verwendet werden.
Alternativ oder zusätzlich können Objektgrößen aus der Instanzsegmentierungsmaske ermittelt werden. Beispielsweise kann für biologische Zellen eine Zellgrößenstatistik aus der Instanzsegmentierungsmaske ermittelt werden, insbesondere hinsichtlich einer Fläche oder eines Umfangs von Zellen. Variationen der vorkommenden Zellgrößen können auf einen bestimmten Zustand hinweisen oder der Unterscheidung verschiedener Zelltypen dienen. Außerdem kann durch Kenntnis der vorkommenden Zellgrößen eine Bildgrößenänderung erfolgen, so dass Zellen eine gewünschte Größe in Pixeln haben, z.B. einen Durchmesser von durchschnittlich 10 Pixeln. Ein Folgemodell, z.B. zum Klassifizieren eines Zellzyklusstatus, muss in diesem Fall lediglich mit Trainingsbildern gelernt werden, welche Zellen mit ca. 10 Pixeln Größe zeigen, womit das Training wesentlich vereinfacht wird.

Mit Hilfe von Instanzsegmentierungsmasken können Objekte zudem über eine Zeitserie örtlich verfolgt werden (Tracking). Hierzu wird mit Hilfe mehrerer nacheinander aufgenommener Mikroskopbilder jeweils eine Instanzsegmentierungsmaske in der beschriebenen Weise berechnet.
Weiterhin können morphologische Merkmale von Objekten aus der Instanzsegmentierungsmaske berechnet werden. Anschließend können Objekte optional abhängig von den morphologischen Merkmalen gefiltert werden. Beispielsweise können biologische Zellen herausgefiltert werden, wenn sie kreisförmig sind, so dass nur Zellen eines anderen Typs übrig bleiben.
Zusätzlich oder alternativ kann die Instanzsegmentierungsmaske für eine interaktive Verifikation von Daten-Annotationen verwendet werden. Annotationen können z.B. zum Trainieren eines Modells benötigt werden und sollten vorm Training von einem menschlichen Experten überprüft werden. Eine Annotation von Zellmittelpunkten lässt sich für einen menschlichen Experten viel einfacher mittels beispielsweise eingefärbter Instanzsegmentierungsmasken überprüfen, als mittels einer Darstellung von Zellmittelpunkten, welche verhältnismäßig leicht übersehen werden. So kann einem Menschen zur Verifikation von Objektmittelpunkten die Instanzsegmentierungsmaske oder eine hieraus abgeleitete Maske, insbesondere eine eingefärbte Darstellung der Instanzsegmentierungsmaske, angezeigt werden. In der Einfärbung werden verschiedene Instanzen der Objekte unterschiedlich eingefärbt, so dass insbesondere benachbarte Objekte verschiedene Farben erhalten. Es kann auch eine Überlagerung der Instanzsegmentierungsmaske mit den Zellmittelpunkten und/oder dem zugehörigen Mikroskopbild angezeigt werden.
Die Instanzsegmentierungsmaske ermöglicht auch eine Qualitätskontrolle einer Objektmittelpunkt- oder Konfluenz-Schätzung. Die Instanzsegmentierungsmaske wird zum Ermitteln von Fehlern in den berechneten Positionen von Objektmittelpunkten und/oder den von Objekten bedeckten Bildbereichen verwendet, wobei abhängig davon auf einen Fehler geschlossen wird, wie weit eine Größe und/oder Form einer Instanz (das heißt einer Region eines Objekts) in der Instanzsegmentierungsmaske von einer durchschnittlichen Größe oder Form der Instanzen in der Instanzsegmentierungsmaske abweicht. Diese Fehlererkennung eignet sich besonders, wenn ein Mikroskopbild gleichartige Objekte zeigt, welche eine im Wesentlichen gleiche Form und/oder Größe haben sollten.
In der beschriebenen Weise können zu mehreren Mikroskopbildern eine jeweilige Instanzsegmentierungsmaske berechnet werden. Die Instanzsegmentierungsmasken können optional beim Trainieren eines Modells als zusätzliches Trainingssignal verwendet werden. Bei dieser Variante sagt das Modell zusätzlich zu seiner eigentlichen Aufgabe auch eine Instanzsegmentierungsmaske voraus, wobei eine Abweichung zwischen dieser und der vorgegebenen Instanzsegmentierungsmaske als zusätzlicher Verlust (englisch: „Auxiliary Loss“) in die zu optimierende Zielfunktion eingeht. Das Modell kann als neuronales Netz gestaltet sein, in dem sich nach einem ersten Verarbeitungsabschnitt (Backbone) eine Verarbeitung auf zwei oder mehr Pfade (Heads) aufspaltet, wovon ein Pfad die eigentliche Aufgabe des Modells bearbeitet und der andere Pfad die Instanzsegmentierungsmaske erzeugt. In dieser Weise trägt das Training für eine Instanzsegmentierung auch zur Modellparameterfestlegung des Backbone bei und wirkt dadurch stabilisierend und qualitätsfördernd für die eigentliche Aufgabe des Modells. Die eigentliche Aufgabe kann z.B. ein Zählen von Objekten/Zellen sein (Zellzählmodell) und/oder eine Konfluenzbestimmung (Konfluenzbestimmungsmodell). Es kann auch ein gemeinsames Modell für sowohl eine Objektzählung als auch eine Konfluenzbestimmung vorgesehen sein. Ein solches gemeinsames Modell kann z.B. als Multihead-Modell gestaltet sein, bei dem ein gemeinsames Backbone (erster Datenverarbeitungsteil des Modells), aber verschiedene Heads (verschiedene zweite Datenverarbeitungsteile des Modells) für die Objektzählung und die Konfluenzbestimmung vorgesehen sind. Das Modell kann mit Hilfe der Instanzsegmentierungsmasken auch neu trainiert werden, wobei eine zuvor trainierte Version des Modells, welches insbesondere ohne vorgegebene Instanzsegmentierungsmasken trainiert wurde, zum Ermitteln der Objektmittelpunkte und/oder der von Objekten bedeckten Bildbereiche verwendet wurde. Es kann also zunächst ein trainiertes Modell verwendet werden, um die Objektmittelpunkte und/oder die von Objekten bedeckten Bildbereiche zu ermitteln, anschließend werden über die Voronoi-Regionen Instanzsegmentierungsmasken erzeugt, und darauf werden die Instanzsegmentierungsmasken für ein neues Training des Modells verwendet. Als Ergebnis sollte das Modell in der Lage sein, präziser oder zuverlässiger Objektmittelpunkte und/oder die von Objekten bedeckten Bildbereiche vorherzusagen.
Das Mikroskopbild und die hiermit berechnete Instanzsegmentierungsmaske können auch als Trainingsdaten für ein Instanzsegmentierungsmodell oder ein Segmentierungsmodell verwendet werden. Es kann angenommen werden, dass sich bei hinreichend vielen Trainingsdaten etwaige Ungenauigkeiten an den Objekträndern/Zellrändern herausmitteln. Die Trainingsdaten umfassen mehrere der Mikroskopbilder als Eingabedaten und die zugehörigen, über Voronoi-Regionen berechneten Instanzsegmentierungsmasken als Zieldaten. Ein in dieser Weise trainiertes Instanzsegmentierungsmodell kann gegebenenfalls effizienter bzw. schneller Instanzsegmentierungsmasken berechnen als es durch die beschriebene Vorgehensweise über Voronoi-Regionen möglich ist. Gegenüber einem herkömmlichen Trainieren eines Instanzsegmentierungsmodells ist der Annotationsaufwand wesentlich verringert. Insbesondere sind keine manuell erstellten / annotierten Instanzsegmentierungsmasken als Trainingsdaten nötig. Werden die Objektmittelpunkte und die von Objekten bedeckten Bildbereiche durch maschinell gelernte Modelle berechnet, so können Trainingsdaten mit verhältnismäßig geringem manuellen Aufwand erzeugt werden. Denn Objektmittelpunkte und Konfluenzbilder können wesentlich einfacher manuell annotiert oder korrigiert werden als Instanzsegmentierungsmasken.
In einer Variation der obigen Ausführung werden ebenfalls die mit Mikroskopbildern berechneten Instanzsegmentierungsmasken als Trainingsdaten für ein Instanzsegmentierungsmodell verwendet. Es werden jedoch nicht die Mikroskopbilder als Eingabedaten im Training verwendet. Vielmehr werden andere Bilder, die örtlich zu den Mikroskopbildern registriert sind, als zugehörige Eingabedaten im Training verwendet. Diese anderen Bilder können von einem Mikroskop mit einem anderen Kontrastverfahren oder mit anderen Mikroskopeinstellungen als die Mikroskopbilder aufgenommen sein. Beispielsweise können die Mikroskopbilder Fluoreszenzbilder sein. In diesen können insbesondere durch den DAPI-Farbstoff Zellkerne kenntlich gemacht sein, womit in einfacher Weise Zellmittelpunkte bestimmt werden können. Die Zellmittelpunkte aus der DAPI-Einfärbung werden für die Berechnung der Voronoi-Regionen und der Instanzsegmentierungsmasken verwendet. Anschließend können andere Bilder, die zu den Fluoreszenzbildern registriert sind, z.B. Hellfeld- / Phasenkontrastbilder als Eingabedaten im Training eines Instanzsegmentierungsmodells verwendet werden, wobei die örtlich hierzu passenden Instanzsegmentierungsmasken, die über die DAPI-Einfärbung berechnet wurden, als Zielbilder bzw. ground truth im Training verwendet werden. Das in dieser Weise gelernte Modell kann anschließend eine präzise Instanzsegmentierung von Hellfeld- oder Phasenkontrastbildern durchführen, in welchen Zellen oder Zellmittelpunkte wesentlich schwieriger erkennbar sind als in Fluoreszenzbildern. Für die Erzeugung der Trainingsdaten müssen somit Mikroskopbilder und andere Bilder eines anderen Kontrastverfahrens verfügbar sein; im Gegensatz dazu benötigt das Instanzsegmentierungsmodell in der Inferenz (nach Abschluss des Trainings) keine Mikroskopbilder, sondern nur Bilder des anderen Kontrastverfahrens, um Instanzsegmentierungsmasken zu erzeugen.
Optional kann ein oben beschriebenes Instanzsegmentierungsmodell durch eine Plausibilitätsprüfung ergänzt werden: Dazu wird eine Übereinstimmung einer vom Instanzsegmentierungsmodell berechneten Instanzsegmentierungsmaske mit einer Objektzählung und/oder Konfluenz ermittelt. Die Objektzählung und/oder Konfluenz können z.B. durch maschinell gelernte Modelle oder ein gemeinsames maschinell gelerntes Modell erfolgen, welche(s) auch zur ursprünglichen Berechnung von Instanzsegmentierungsmasken über Voronoi-Regionen benutzt wurde(n). Die in der Instanzsegmentierungsmaske vorkommenden Instanzen an Objekten sollten in ihrer Anzahl mit der Objektzählung übereinstimmen. Zudem sollte die Gesamtfläche aller Objektinstanzen in der Instanzsegmentierungsmaske mit der berechneten Konfluenz übereinstimmen.
Bei dem vorgenannten Training eines Instanzsegmentierungsmodells ist auch ein zyklisches Anwenden im Sinne eines Bootstrapping möglich. Hierbei wiederholen sich die erfindungsgemäßen Schritte der Bestimmung einer Instanzsegmentierungsmaske mit Hilfe von Voronoi-Regionen, jedoch unter Verwendung des Instanzsegmentierungsmodells. So wird mit dem Instanzsegmentierungsmodell aus dem Mikroskopbild eine neue Instanzsegmentierungsmaske berechnet, aus welcher neue Positionen von Objektmittelpunkten (=Mittelpunkte der Segmente) ermittelt werden und/oder neue von Objekten bedeckte Bildbereiche (=Fläche aller Instanzen) ermittelt werden. Werden neue Positionen von Objektmittelpunkten bestimmt, so werden mit diesen neue Voronoi-Regionen berechnet, mit denen eine aktualisierte Instanzsegmentierungsmaske berechnet wird. Werden neue von Objekten bedeckte Bildbereiche bestimmt, werden diese verwendet, um mittels der Voronoi-Regionen geschnitten zu werden, womit eine aktualisierte Instanzsegmentierungsmaske erhalten wird. Dieses Vorgehen kann beliebig oft wiederholt werden, womit ein besser werdendes Instanzsegmentierungsmodell gelernt wird. Die abwechselnde Verbesserung des Instanzsegmentierungsmodells und der verbesserten Berechnung von Voronoi-Regionen folgt dem Erwartungs-Maximierungs-Paradigma (englisch: Expectation-Maximization-Paradigma).
Für ein erstmaliges Bestimmen der Objektmittelpunkte und der von den Objekten bedeckten Fläche kann ein Zellmittelpunkt- und Konfluenzbestimmungsmodell mit initialen Daten trainiert werden. In einer Abwandlung der vorgenannten Ausführung können aus dem Mikroskopbild und der hiermit berechneten Instanzsegmentierungsmaske Trainingsdaten für dieses Objektmittelpunkt- und Konfluenzbestimmungsmodell gewonnen werden, woraufhin ein neues Training dieses Modells erfolgen kann.
Es können auch Objektumrahmungen (bounding boxes) aus der Instanzsegmentierungsmaske erzeugt werden. Anschließend können das Mikroskopbild und die zugehörigen Objektumrahmungen als Trainingsdaten für ein Detektionsmodell verwendet werden. Alternativ können die Objektumrahmungen und ein Bild, das zum Mikroskopbild registriert ist und mit einem anderen Kontrastverfahren oder mit anderen Mikroskopeinstellungen als das Mikroskopbild aufgenommen ist, als Trainingsdaten für ein Detektionsmodell verwendet werden. Beispielhafte andere Kontrastverfahren oder Mikroskopeinstellungen sind oben mit Bezug auf das Training eines Instanzsegmentierungsmodells genannt.
Allgemeine Eigenschaften
Ein Mikroskopiesystem bezeichnet eine Vorrichtung, die zumindest eine Recheneinrichtung und ein Mikroskop umfasst. Unter einem Mikroskop kann insbesondere ein Lichtmikroskop, Röntgenmikroskop, Elektronenmikroskop oder Makroskop verstanden werden.
Die Recheneinrichtung kann dezentral gestaltet sein, physisch Teil des Mikroskops sein, oder separat in der Mikroskopumgebung oder an einem vom Mikroskop beliebig entfernten Ort angeordnet sein. Allgemein kann sie durch eine beliebige Kombination aus Elektronik und Software gebildet sein und insbesondere einen Computer, einen Server, ein cloud-basiertes Rechensystem oder einen oder mehrere Mikro- oder Graphikprozessoren umfassen. Die Recheneinrichtung kann auch zur Steuerung der Probenkamera, der Übersichtskamera, der Bildaufnahme und/oder anderer Mikroskopkomponenten eingerichtet sein.
Manche Verfahrensvarianten umfassen das Aufnehmen mindestens eines Mikroskopbildes durch das Mikroskop, während bei anderen Verfahrensvarianten ein vorhandenes Mikroskopbild aus einem Speicher geladen wird.
Beschreibungen im Singular sollen die Varianten „genau 1“ als auch „mindestens ein(e)“ abdecken. Die Beschreibung, dass ein Mikroskopbild verwendet wird, um Objektmittelpunkte oder ein Konfluenzbild zu bestimmen, soll beispielsweise die Möglichkeiten umfassen, dass genau ein oder mindestens ein Mikroskopbild verwendet wird. Mehrere Mikroskopbilder derselben Probe können z.B. mit verschiedenen Helligkeiten oder Kontrastverfahren aufgenommen und gemeinsam ausgewertet werden, um die Objektmittelpunkte oder ein einziges Konfluenzbild zu erhalten. Eine gemeinsame Verarbeitung mehrerer Mikroskopbilder kann auch vorteilhaft sein, wenn die Mikroskopbilder einen Bildstapel (z-stack) ausmachen, wodurch zueinander beabstandete Probenschichten gezeigt werden.
Die als zusätzliche Vorrichtungsmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann ein Mikroskopiesystem oder insbesondere die Recheneinrichtung zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Zudem kann die Recheneinrichtung das beschriebene Computerprogramm umfassen. Während bei einigen Varianten ein fertig trainiertes Modell verwendet wird, ergeben sich weitere Erfindungsvarianten durch die Ausführung der entsprechenden Trainingsschritte, und umgekehrt.
Figurenliste
Weitere Wirkungen und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskopiesystems gemäß der Erfindung;
2 zeigt schematisch ein Mikroskopbild und eine zugehörige Instanzsegmentierungsmaske;
3 zeigt schematisch einen Ablauf zum Erzeugen einer Voronoi-Partition gemäß Ausführungsbeispielen der Erfindung;
4 zeigt schematisch Prozesse zum Erzeugen einer Instanzsegmentierungsmaske mit Hilfe einer Voronoi-Partition gemäß Ausführungsbeispielen der Erfindung;
5 zeigt schematisch eine Überlagerung eines Mikroskopbildes 20 und einer zugehörigen Voronoi-Partition 50;
6 zeigt schematisch einen Ausschnitt eines Mikroskopbildes 20 mit eingetragener Grenze zwischen benachbarten Voronoi-Regionen; und
7 zeigt schematisch eine Verwendung berechnetet Instanzsegmentierungsmasken zum Trainieren eines Instanzsegmentierungsmodells.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
FIG. 1
1 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopiesystems 100. Dieses umfasst eine Recheneinrichtung 10 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann. Das Mikroskop 1 umfasst ein Stativ 2, über welches weitere Mikroskopkomponenten gehalten sind. Hierunter können insbesondere fallen: eine Beleuchtungseinrichtung 5; ein Objektivwechsler oder -revolver 3, an dem im dargestellten Beispiel ein Objektiv 4 montiert ist; ein Probentisch 6 mit einem Halterahmen zum Halten eines Probenträgers 7 und eine Mikroskopkamera 8. Ist das Objektiv 4 in den Mikroskopstrahlengang eingeschwenkt, empfängt die Mikroskopkamera 8 Detektionslicht aus einem Probenbereich, in welchem sich eine Probe befinden kann, um ein Probenbild aufzunehmen. Proben können prinzipiell beliebige Objekte, Fluide oder Strukturen sein oder umfassen. Das Mikroskop 1 umfasst optional eine zusätzliche Übersichtskamera 9 zum Aufnehmen eines Übersichtsbildes einer Probenumgebung. Das Übersichtsbild kann dadurch insbesondere den Probenträger 7 oder einen Teil hiervon zeigen. Ein Sichtfeld 9A der Übersichtskamera 9 ist größer als ein Sichtfeld bei einer Aufnahme eines Probenbildes. Im dargestellten Beispiel blickt die Übersichtskamera 9 über einen Spiegel 9B auf den Probenträger 7. Der Spiegel 9B ist am Objektivrevolver 3 angeordnet und kann anstelle des Objektivs 4 ausgewählt werden. Abwandlungen dieser Ausführung verzichten auf den Spiegel oder sehen eine andere Anordnung des Spiegels oder eines anderen Umlenkelements vor. Die Recheneinrichtung 10 umfasst einen optionalen berührungsempfindlichen Bildschirm (Touchscreen) 12 und ein Computerprogramm 11 zum Verarbeiten von mindestens einem Mikroskopbild, d.h. einem Proben-oder Übersichtsbild. Hierauf wird nachfolgend mit Bezug auf 2 näher eingegangen.
FIG. 2
2 zeigt schematisch ein Mikroskopbild 20, bei dem es sich in diesem Beispiel um ein Phasenkontrastbild handelt. Zur besseren Darstellung ist in 2 die Helligkeit eines typischen Phasenkontrastbilds invertiert, das heißt schwarz und weiß vertauscht, was bei praktischen Umsetzungen der Erfindung nicht nötig ist. Das Mikroskopbild 20 zeigt mehrere Objekte 21, bei denen es sich in diesem Fall um biologische Zellen 21' handelt. Die Zellen 21' berühren teilweise einander und bilden so mehrere zusammenhängende Regionen, in welchen sich die Zellen 21' lückenlos aneinander fügen. Ein Teil des vom Mikroskopbild 20 erfassten Bereichs ist nicht von Zellen bedeckt und wird nachfolgend als Hintergrund 22 bezeichnet. Der von den Zellen 21' oder allgemein den Objekten 21 bedeckte Bereich des Mikroskopbildes 20 wird auch als Konfluenz bezeichnet.
Durch die Erfindung soll aus dem Mikroskopbild 20 insbesondere eine Instanzsegmentierungsmaske 60 berechnet werden, wie sie schematisch in 2 abgebildet ist. Eine Instanzsegmentierungsmaske kennzeichnet sich dadurch aus, dass die Orte verschiedener Objekte des zugehörigen Mikroskopbildes markiert sind, wobei zwischen den verschiedenen Objekten, auch als Instanzen bezeichnet, unterschieden wird. Ein lückenlos von mehreren Objekten 21 bedeckter Bildbereich wird daher in der Instanzsegmentierungsmaske 60 nicht als eine einzige Region oder ein einziges Objekt dargestellt, vielmehr werden Instanzen 61 an Objekten separiert voneinander dargestellt. Unter einer Instanz 61 wird eines der Objekte bzw. der Bildbereich eines der Objekte 21 verstanden. Im gezeigten Beispiel sind die Instanzen 61 bzw. die von Objekten 21 bedeckten Bildbereiche weiß dargestellt, während in schwarz ein Hintergrund 62 dargestellt ist. In praktischen Umsetzungen muss nicht zwingend eine Darstellung einer berechneten Instanzsegmentierungsmaske 60 erfolgen und im Fall einer Darstellung ist die Darstellungsform beliebig, sofern die Instanzen 61 an Objekten unterscheidbar sind. Dazu können beispielsweise die Instanzen 61 durch verschiedene Farben dargestellt werden, so dass keine Lücken zwischen einander berührenden Objekten 21 bzw. Instanzen 61 in der Darstellung der Instanzsegmentierungsmaske 60 nötig sind. Typischerweise wird in der Instanzsegmentierungsmaske 60 eine Instanz 61 bzw. der Hintergrund 62 durch jeweils einen einheitlichen Pixelwert angegeben.
Die Fläche des Hintergrunds 62 der Instanzsegmentierungsmaske 60 stimmt örtlich mit dem Hintergrund 22 des Mikroskopbildes 20 überein. Ebenso stimmen die Orte und Flächen der Instanzen 61 mit hoher Genauigkeit mit den Orten und Flächen der Objekte 21 im Mikroskopbild 20 überein.
Die gemäß verschiedenen Erfindungsvarianten vorgesehenen Prozesse zum Erzeugen der Instanzsegmentierungsmaske 60 aus dem Mikroskopbild 20 werden nachstehend mit Bezug auf 3 und 4 erläutert.
FIG. 3
3 zeigt Prozesse eines Ausführungsbeispiels eines erfindungsgemäßen computerimplementierten Verfahrens. Das Verfahren kann durch das Computerprogramm 11 der 1 umgesetzt sein; analog kann die Recheneinrichtung 10 aus 1 zum Durchführen dieses Verfahrens eingerichtet sein.
3 zeigt zunächst das Mikroskopbild 20, aus dem in einem Prozess P1 Positionen von Objektmittelpunkten 31 der Objekte 21 im Mikroskopbild 20 berechnet werden. 3 zeigt hierfür schematisch ein Objektmittelpunktbild 30, in welchem die Objektmittelpunkte 31 eingetragen sind. Die Positionen der Objektmittelpunkte 31 im Objektmittelpunktbild 30 stimmen idealerweise mit tatsächlichen Positionen der Objektmittelpunkte der Objekte 21 im Mikroskopbild 20 überein. Der Prozess P1 kann in prinzipiell bekannter Weise erfolgen, beispielsweise über eine Dichteschätzung oder ein maschinell gelerntes Modell. Zu jeder Zelle 21' wird demnach die jeweilige Position ihres Zellmittelpunkts im Mikroskopbild berechnet.
Weiterhin wird aus dem Mikroskopbild 20 in Prozess P2 ein Konfluenzbild 40 berechnet, welches die von den Objekten 21 bedeckten Bildbereiche 41 von einem Hintergrund 42 unterscheidet. Das Konfluenzbild 40 kann als Segmentierungsmaske gebildet sein, insbesondere als binäre Segmentierungsmaske, in welcher ein Pixelwert eine Zugehörigkeit zum Hintergrund 42 angibt und ein anderer Pixelwert eine Zugehörigkeit zu den von Objekten 21 bedeckten Bildbereichen 41 angibt. Bei korrekter Berechnung stimmt der Bereich des Hintergrunds 42 im Konfluenzbild 40 mit dem Bereich des Hintergrunds 22 des Mikroskopbildes 20 örtlich überein. Die bedeckten Bildbereiche 41 sollten gerade der Gesamtfläche aller Objekte 21 im Mikroskopbild 20 entsprechen. Eine Unterscheidung zwischen lückenlos aneinander berührenden Objekten 21 erfolgt im Konfluenzbild 40 nicht. Eine Anzahl an Objekten 21 sowie Trennlinien zwischen einander berührenden Objekten 21 sind somit nicht aus dem Konfluenzbild 40 ersichtlich. Der Prozess P2 zum Berechnen des Konfluenzbildes kann in prinzipiell bekannterweise erfolgen, z.B. durch maschinell gelernte Segmentierungsmodelle, durch Algorithmen zum Ermitteln zusammenhängender Gebiete (connected component analysis), oder mit Hilfe einfacher Schwellwertvergleiche bezüglich der Grauwerte des Mikroskopbildes 20.
Die Positionen der Objektmittelpunkte 31 und ein Konfluenzbild 40 können mit verhältnismäßig hoher Genauigkeit und Zuverlässigkeit erzeugt werden, insbesondere auch bei größeren Unterschieden möglicher Mikroskopbilder 20. Eine Anzeige des Objektmittelpunktbilds 30 und des Konfluenzbildes 40 ist in praktischen Umsetzungen der Erfindung nicht nötig.
Um eine Instanzsegmentierungsmaske zu erzeugen, werden bei verschiedenen Erfindungsvarianten in Prozess P3 die Objektmittelpunkte 31 zum Berechnen einer Voronoi-Partition (Voronoi-Diagramm) 50 verwendet. Das Voronoi-Diagramm 50 ist ein Bild, welches in verschiedene Regionen (Voronoi-Regionen 51) unterteilt ist. Jede Voronoi-Region 51 umgibt einen Punkt (Voronoi-Zentrum 31'), bei welchen es sich gerade um die Objektmittelpunkte 31 handelt. Die Positionen der Objektmittelpunkte 31 werden somit als Zentren 31' zur Berechnung von Voronoi-Regionen 51 benutzt. Die konkrete Berechnungsweise spielt eine untergeordnete Rolle und es können prinzipiell bekannte Berechnungsverfahren genutzt werden, z.B. die Delaunay-Triangulation. In der Voronoi-Partition 50 wird jede Region 51 durch genau ein Zentrum 31' bestimmt und umfasst alle Punkte des Bilds, die in Bezug zu einer Metrik, im dargestellten Beispiel bezüglich der euklidischen Metrik, näher an dem Zentrum 31' der Region 51 liegen als an irgendeinem anderen Zentrum.
In 3 ist ein Ausschnitt 50A der Voronoi-Partition 50 zum besseren Verständnis vergrößert gezeigt. Zwei Voronoi-Regionen 51A und 51 B werden durch eine Grenze 52 voneinander getrennt. Ein Pixel auf einer Grenze 52 hat zu zwei benachbarten Voronoi-Zentren bzw. Objektmittelpunkten 31A und 31B den gleichen Abstand. Hingegen hat ein Pixel innerhalb der Voronoi-Region 51A stets den kürzesten Abstand zu dem Objektmittelpunkt 31A dieser Voronoi-Region 51A, während der Abstand zu allen anderen Objektmittelpunkten höher ist. Ein Pixel auf einer Ecke der Grenze 52 hat zu mindestens drei Voronoi-Zentren den gleichen Abstand.
Zum besseren Verständnis ist in 3 die Voronoi-Partition 50 zusammen mit den Voronoi-Zentren 31' bzw. als Überlagerung mit dem Objektmittelpunktbild 30 gezeigt. Für die Berechnung einer Instanzsegmentierungsmaske gemäß verschiedenen Erfindungsvarianten kommt es jedoch nur auf die Voronoi-Regionen 51 bzw. deren Grenzen 52 an, während die Darstellung gemäß 3 nicht zwingend nötig ist. Die anschließenden Schritte zum Erzeugen einer Instanzsegmentierungsmaske werden mit Bezug auf 4 beschrieben.
FIG. 4
4 zeigt die Voronoi-Partition 50 aus 3 sowie das Konfluenzbild 40 aus 3. Im Konfluenzbild 40 ist hier der Hintergrund schwarz dargestellt, während in 3 der Hintergrund als schraffierte Fläche dargestellt ist. In konkreten Umsetzungen kann eine Darstellungsweise beliebig erfolgen.
In Prozess P4 werden die Voronoi-Partition 50 und das Konfluenzbild 40 miteinander verrechnet, um eine Instanzsegmentierungsmaske 60 zu bilden. In der Instanzsegmentierungsmaske 60 wird ein Hintergrund 62 durch den Hintergrund 42 des Konfluenzbildes 40 gebildet. Die von Objekten bedeckten Bildbereiche 41 des Konfluenzbildes werden gemäß den Grenzen 52 der Voronoi-Regionen geschnitten oder durchtrennt, womit einer der von Objekten bedeckten Bildbereiche 41 in mehrere Instanzen 61 an Objekten getrennt wird. Die Anzahl an Instanzen 61 entspricht der Anzahl an Objekten 21 bzw. der Anzahl ermittelter Objektmittelpunkte 31. Zum Berechnen der Instanzsegmentierungsmaske 60 können z.B. die Voronoi-Partition 50 und das Konfluenzbild 40 übereinander gelegt werden.
In der beschriebenen Weise kann eine Instanzsegmentierungsmaske 60 präzise berechnet werden, ohne dass ein speziell hierfür maschinell trainiertes Modell nötig wäre. Insbesondere kann daher auf aufwändige manuelle Annotationen, das heißt teilweise manuell erzeugte Instanzsegmentierungsmasken für ein Training eines Modells, verzichtet werden. Dadurch wird eine Instanzsegmentierung in robuster Weise bei verhältnismäßig geringem manuellem Aufwand möglich.
Variationen der beschriebenen Ausführungen werden nachfolgend erläutert.
Wird ein von Objekten bedeckte Bildbereich 41, wie in 4 gezeigt, durch Grenzen 52 der Voronoi-Regionen 51 zerschnitten, so kann eine Überprüfung und gegebenenfalls Korrektur der Zerschneidungen erfolgen.
Formabhängig kann es dazu kommen, dass durch Zerschneiden der von Objekten bedeckten Bildbereiche 41 entlang der Grenzen 52 eine Anzahl an Instanzen 61 erzeugt wird, die höher ist als die Anzahl an Voronoi-Regionen 51. In einem solchen Fall kann eine Korrektur erfolgen, durch welche die Anzahl an Instanzen 61 auf die Anzahl an Voronoi-Regionen 51 reduziert wird. Liegen zwei Instanzen 61 innerhalb derselben Voronoi-Region 51, so kann eine der beiden Instanzen 61, insbesondere die kleinere der beiden Instanzen 61, gelöscht werden oder mit einer benachbarten Instanz verschmolzen werden.
Es kann auch eine Anpassung der Ränder der Instanzen 61 erfolgen, z.B. eine Glättung der Ränder oder ein Abrunden von Ecken, wobei durch das Abrunden kleine Lücken zwischen den Ecken benachbarter Instanzen 61 entstehen können. Zudem kann eine Annäherung der Formen der Instanzen 61 an vorgegebene Formen erfolgen; ist beispielsweise bekannt, dass die Objekte 21 eine ovale oder kreisförmige Form haben, so kann eine entsprechende Anpassung der Formen der Instanzen 61 erfolgen.
Eine Variation der beschriebenen Ausführung betrifft den Prozess P1 des Berechnens von Positionen von Objektmittelpunkten 31 der Objekte 21 im Mikroskopbild 20, vergleiche 3. Im Fall von 3 werden die Objektmittelpunkte 31 und das Konfluenzbild 40 aus demselben Mikroskopbild 20 berechnet. In einer Variation hiervon werden die Objektmittelpunkte 31 und das Konfluenzbild 40 aus zwei verschiedenen Mikroskopbildern berechnet. Die zwei Mikroskopbilder können sich z.B. im Kontrastverfahren unterscheiden, insbesondere können die zwei Mikroskopbilder ein Phasenkontrastbild und ein Fluoreszenzbild sein, oder zwei Fluoreszenzbilder, für die verschiedene Anregungs- und/oder Detektionswellenlängen genutzt wurden. Die zwei Mikroskopbilder sind registriert, das heißt ihre Sichtfelder stimmen überein oder es ist bekannt, wie die Bilder zueinander verschoben oder transformiert sind, so dass die Bildkoordinaten eines Probenpunkts in einem der beiden Mikroskopbilder in entsprechende Bildkoordinaten im anderen der beiden Mikroskopbilder umgerechnet werden kann.
FIG. 5 und FIG. 6
Eine weitere Abwandlung der beschriebenen Ausführungsvarianten wird mit Bezug auf 5 und 6 beschrieben. 5 zeigt eine Überlagerung des Mikroskopbildes 20 und der zugehörigen Voronoi-Partition 50, die in der bisher beschriebenen Vorgehensweise berechnet sein kann. Wie dargestellt, stimmen die Grenzen 52 der Voronoi-Regionen mit den Objektgrenzen von sich berührenden Objekten 21 gut überein, wie z.B. bei der Grenze 52A der Fall. Für Grenzen von Voronoi-Regionen zwischen sich nicht berührenden Objekten, wie z.B. für die Grenze 52B, ist die genaue Lage nicht entscheidend, weil eine solche Grenze 52B außerhalb der von Objekten bedeckten Bildbereiche 41 liegt und daher nicht die Formen der Instanzen 61 beeinflusst; vielmehr verläuft eine solche Grenze 52B lediglich innerhalb des Hintergrunds 62 der zugehörigen Instanzsegmentierungsmaske 60.
Für die Grenzen 52A zwischen sich berührenden Objekten 21 ist hingegen ein möglichst pixelgenau korrekter Grenzverlauf wünschenswert. Eine Grenze 52 einer Voronoi-Region ist in der Regel dadurch definiert, dass sie den gleichen Abstand zu den zwei nächsten Objektmittelpunkten hat. Der Abstand ist in der dargestellten Variante als euklidischer Abstand bestimmt. Der euklidische Abstand zwischen zwei Pixeln des Mikroskopbildes 20 oder eines hieraus berechneten Bildes ist gerade die kürzeste Strecke (Verbindungsgerade) zwischen diesen Pixeln. Es kann jedoch auch eine andere Metrik verwendet werden, um den Abstand zu bestimmen. Dadurch verändern sich die Verläufe der Grenzen 52. Zum Beispiel kann eine Metrik verwendet werden, wonach der Abstand als kürzeste Strecke zwischen zwei Pixeln, gewichtet mit den jeweiligen Pixelwerten auf dieser Strecke, berechnet wird. Die Pixelwerte werden dem Mikroskopbild 20 entnommen. Bei Phasenkontrastbildern erscheinen Ränder von Objekten 21 häufig als besonders helle und/oder besonders dunkle Pixel, während ein Hintergrund und häufig auch das Innere eines Objekts 21 durch graue Pixel abgebildet ist. Daher kann eine Gewichtung einer Strecke umso größer sein, je weiter ein Pixelwert von einem grauen Pixelwert nach oben und/oder unten, das heißt zu weiß und/oder schwarz hin, abweicht. Dies wird am Beispiel der 6 näher beschrieben.
6 zeigt schematisch mehrere Pixel, welche ein Ausschnitt des Mikroskopbildes 20 sein können. Beispielhaft sind mit den Bezugszeichen 25 und 26 zwei Pixel gekennzeichnet, die heller sind als die eher grauen Pixel 27 und 28. Die beiden Pixel von zwei Objektmittelpunkten 31A und 31B sind schraffiert dargestellt. Um jeden Objektmittelpunkt 31A und 31B wird eine Voronoi-Region gebildet. Eine Grenze zwischen diesen Voronoi-Regionen wird bei einer euklidischen Metrik durch die gestrichelt dargestellte Grenze 52 gebildet. Die Pixel auf dieser Grenze haben den gleichen Abstand (gemessen in Pixeln) zu dem Objektmittelpunkt 31A und dem Objektmittelpunkt 31 B. Beispielsweise hat der Pixel 26, welcher auf der Grenze 25 liegt, einen Abstand von sechs Pixeln zum Objektmittelpunkt 31A und einen Abstand von sechs Pixeln zum Objektmittelpunkt 31B. Alternativ kann aber auch eine Metrik verwendet werden, bei welcher ein Pixel mit einem Wert zu einem weißen Pixelwert hin stärker gewichtet werden, also zu einem größeren Abstand führt, als ein dunklerer, grauer Pixel. Eine Wegstrecke über die helleren Pixel 25 und 26 stellt in dieser Metrik einen größeren Abstand dar als eine Wegstrecke über die dunkleren Pixel 27 und 28. Durch eine solche Metrik wird die Grenze 52` erzeugt. Die Wegstrecke in Pixeln ist von der Grenze 52` zu den beiden Objektmittelpunkten 31A und 31B verschieden - der Abstand in der verwendeten Metrik ist jedoch derselbe. Beispielsweise ist der Pixel 26, der auf der Grenze 52` liegt, eine Strecke von acht Pixeln vom Objektmittelpunkt 31 B entfernt und nur eine Strecke von vier Pixeln vom Objektmittelpunkt 31A entfernt. Durch diese Metrik wird erreicht, dass Grenzen 52` zwischen Voronoi-Regionen eher an hellen Pixeln verlaufen, welche mit höherer Wahrscheinlichkeit Objektränder darstellen. Außerdem wird durch die Metrik erreicht, dass zwei benachbarte Objektmittelpunkte 31A und 31 B nicht zwingend eine Gerade als Grenze der Voronoi-Regionen erzeugen, sondern wie dargestellt die Grenze 52` einen nichtgeraden Verlauf haben kann. Dadurch können natürliche Objektränder, z.B. Zellwände, unter Umständen besser nachgebildet werden.
Je nach Art des Mikroskopbildes oder auch abhängig von der Art untersuchter Objekte können Helligkeiten von Objekträndern variieren. Dementsprechend sind verschiedene Metriken möglich, die sich darin unterscheiden, welche Gewichte verschiedenen Helligkeitswerten für die Abstandsberechnung zugeordnet werden. Im dargestellten Beispiel eignet sich eine Metrik, welche Pixeln ein größeres Gewicht zuordnet, je heller sie sind. Werden umgekehrt Objektränder durch besonders dunkle Pixel dargestellt, eignet sich eine Metrik, welche Pixeln ein größeres Gewicht zuordnet, je dunkler sie sind. Es kann auch sein, dass sowohl besonders helle als auch besonders dunkle Pixel innerhalb eines Mikroskopbildes auf Objektränder hindeuten, während mittelhelle (graue) Pixel in übrigen Bildbereichen vorherrschen. In diesem Fall kann die Metrik schwarzen Pixeln ein hohes Gewicht in der Abstandsberechnung zuordnen, wobei das Gewicht mit zunehmender Pixelhelligkeit zunächst kleiner und dann wieder größer wird.
Bei den zu 6 beschriebenen Erfindungsvarianten verläuft eine Grenze der Voronoi-Regionen auf Pixeln, das heißt manche Pixel des Mikroskopbildes werden den Grenzen zwischen Voronoi-Regionen zugeordnet. Alternativ können die Grenzen aber auch zwischen Pixeln verlaufen, so dass jeder Pixel einer Voronoi-Region zugeordnet wird und kein Pixel auf der Grenze liegt.
In einer weiteren Variation wird zusätzlich eine Konfidenzkarte berechnet, welche pixelweise eine Sicherheit der Instanzsegmentierungsmaske 60 angibt. Die Konfidenzkarte ist somit ein Bild in der Größe der Instanzsegmentierungsmaske 60, wobei jeder Pixelwert der Konfidenzkarte eine Sicherheit des örtlich entsprechenden Pixels der Instanzsegmentierungsmaske 60 angibt. Ein Pixelwert der Konfidenzkarte wird abhängig vom Abstand dieses Pixels zum benachbarten Objektmittelpunkt, das heißt dem Objektmittelpunkt derselben Voronoi-Region, berechnet. Mit Bezug auf 6 ist beispielsweise der Pixel 28 näher am zugehörigen Objektmittelpunkt 31 B als der Pixel 27, so dass die Konfidenzkarte für den Ort des Pixels 28 eine höhere Konfidenz angibt als für den Ort des Pixels 27. In einer weiteren Variation wird die Konfidenz nicht einfach abhängig vom Abstand eines Pixels, bspw. des Pixels 28, vom nächsten Objektmittelpunkt 31B berechnet. Vielmehr wird die Konfidenz abhängig davon berechnet, wie groß der Abstandsunterschied zwischen dem Abstand dieses Pixels 28 zum nächsten Objektmittelpunkt 31B relativ zum Abstand dieses Pixels 28 zum zweitnächsten Objektmittelpunkt 31A ist. Dadurch kann einem Pixel auch im Fall eines großen Abstandes zum nächsten Objektmittelpunkt eine hohe Konfidenz zugeordnet werden, wenn der zweitnächste Objektmittelpunkt wesentlich weiter entfernt ist.
FIG. 7
7 zeigt eine Verwendung von mehreren Instanzsegmentierungsmasken 60, die in erfindungsgemäßer Weise aus jeweiligen Mikroskopbildern 20 berechnet wurden.
Die Mikroskopbilder 20 und Instanzsegmentierungsmasken 60 können als Trainingsdaten T für ein Instanzsegmentierungsmodell M verwendet werden. Im Training werden die Mikroskopbilder 20 als Eingaben in das Instanzsegmentierungsmodell M verwendet, welches hieraus Ausgabebilder 70 berechnet. Ein Unterschied zwischen Ausgabebildern 70 und den Instanzsegmentierungsmasken 60 wird genutzt, um iterativ Modellparameterwerte des Instanzsegmentierungsmodells M anzupassen. Nach Abschluss des Trainings stellen die Ausgabebilder 70 Instanzsegmentierungsmasken dar.
In einer weiteren optionalen Verwendung einer Instanzsegmentierungsmaske 60 werden die Instanzen 61 pixelgenau ausgeschnitten und einem Bildverarbeitungsprogramm eingegeben. Hierdurch erhält das Bildverarbeitungsprogramm allein die Bildpixel einer bestimmten Instanz 61 und keine Umgebungspixel. Das Bildverarbeitungsprogramm kann beispielsweise zum Ermitteln eines Objektzustands gestaltet sein, zum Beispiel zum Ermitteln eines Zellstadiums im Fall einer biologischen Zelle als Objekt.
Die zu den verschiedenen Figuren beschriebenen Varianten können miteinander kombiniert werden. Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: Stativ
3: Objektivrevolver
4: (Mikroskop-)objektiv
5: Beleuchtungseinrichtung
6: Probentisch
7: Probenträger
8: Mikroskopkamera
9: Übersichtskamera
9A: Sichtfeld der Übersichtskamera
9B: Spiegel
10: Recheneinrichtung
11: Computerprogramm
12: berührungsempfindlicher Bildschirm
20: Mikroskopbild
21: Objekte
21': Zellen
22: Hintergrund im Mikroskopbild 20
25, 26, 27, 28: Pixel des Mikroskopbildes 20
30: Objektmittelpunktbild
31, 31A, 31B: Objektmittelpunkte
31': Voronoi-Zentren
40: Konfluenzbild
41: von Objekten bedeckte Bildbereiche
42: Hintergrund im Konfluenzbild
50: Voronoi-Partition (Voronoi-Diagramm)
50A: vergrößerter Ausschnitt aus dem Voronoi-Diagramm 50
51, 51A, 51 B: Voronoi-Regionen
52, 52A, 52B: Grenzen zwischen Voronoi-Regionen, mit euklidischer Metrik bestimmt
52`: Grenze zwischen Voronoi-Regionen, mit Pixelhelligkeitsgewichteter Metrik bestimmt
60: Instanzsegmentierungsmaske
61: Instanzen an Objekten
62: Hintergrund in der Instanzsegmentierungsmaske 60
70: Ausgabebild
100: Mikroskopiesystem
M: Instanzsegmentierungsmodell
P1-P4: Prozesse eines beispielhaften erfindungsgemäßen Verfahrens
T: Trainingsdaten

Claims

Ein computerimplementiertes Verfahren zur Instanzsegmentierung mindestens eines Mikroskopbildes (20), welches mehrere Objekte (21) zeigt, umfassend: Berechnen (P1) von Positionen von Objektmittelpunkten (31) der Objekte (21) im Mikroskopbild (20); Ermitteln (P2), welche Bildbereiche (41) des Mikroskopbildes (20) von den Objekten (21) bedeckt sind; Berechnen (P3) von Voronoi-Regionen (51) unter Verwendung der Objektmittelpunkte (31) als Voronoi-Zentren (31'); Ermitteln (P4) einer Instanzsegmentierungsmaske (60), indem die mit den Objekten (21) bedeckten Bildbereiche (41) unter Verwendung von Grenzen (52, 52`) der Voronoi-Regionen (51) in verschiedene Instanzen (61) getrennt werden.
Das Verfahren nach Anspruch 1, wobei die Grenzen (52, 52') der Voronoi-Regionen (51) danach berechnet werden, dass jede Grenze (52) zu den beiden nächstgelegenen Objektmittelpunkten (31A, 31B) denselben Abstand hat; wobei der Abstand als euklidischer Abstand berechnet ist.
Das Verfahren nach Anspruch 1, wobei eine Metrik, die abhängig von Pixelwerten des mindestens einen Mikroskopbildes (20) ist, festgelegt wird; wobei die Grenzen (52, 52') der Voronoi-Regionen (51) danach berechnet werden, dass jede Grenze (52') zu den beiden nächstgelegenen Objektmittelpunkten (31) denselben Abstand hat, wobei der Abstand gemäß der Metrik bestimmt ist.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Grenzen (52, 52') der Voronoi-Regionen (51) danach berechnet werden, dass jede Grenze zu den beiden nächstgelegenen Objektmittelpunkten (31) denselben Abstand hat, wobei der Abstand ein nach Strukturen im Mikroskopbild (20) gewichteter kürzester Weg ist.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei die Objekte (21) biologische Zellen (21') sind und wobei die Strukturen, durch welche eine Gewichtung in der Bestimmung des Abstands erfolgt, Zellwände sind.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei zu der Instanzsegmentierungsmaske (60) eine Konfidenzkarte berechnet wird, welche pixelweise oder instanzweise eine Sicherheit der Instanzsegmentierungsmaske (60) angibt, wobei die Konfidenzkarte abhängig von Abständen der jeweiligen Pixel (25-28) zu benachbarten Objektmittelpunkten (31A, 31B) berechnet wird.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei in der Konfidenzkarte eine umso größere Sicherheit angegeben wird, je kleiner der Abstand eines Pixels (28) zum nächsten benachbarten Objektmittelpunkt (31 B) ist; und/oder wobei in der Konfidenzkarte eine umso größere Sicherheit für einen Pixel (28) angegeben wird, je stärker sich ein Abstand dieses Pixels (28) zum nächsten Objektmittelpunkt (31 B) von einem Abstand dieses Pixels (28) zu einem zweitnächsten Objektmittelpunkt (31A) unterscheidet.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei in einem Fall, dass beim Trennen der bedeckten Bildbereiche (41) unter Verwendung der Grenzen (52, 52') der Voronoi-Regionen (51) eine der Voronoi-Regionen (51) in zwei separate Regionen getrennt wird, eine Korrektur erfolgt, in welcher eine kleinere der zwei separaten Regionen verworfen wird oder einer oder mehreren benachbarten Voronoi-Regionen (51) zugeordnet wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektmittelpunkte (31) und die von Objekten (21) bedeckte Bildbereiche (41) aus demselben Mikroskopbild (20) ermittelt werden.
Das Verfahren nach einem der Ansprüche 1 bis 8, wobei die Objektmittelpunkte (31) und die von Objekten (21) bedeckte Bildbereiche (41) aus verschiedenen Mikroskopbildern (20) ermittelt werden, wobei die verschiedenen Mikroskopbilder (20) zueinander registriert sind und mit verschiedenen Mikroskopietechniken oder Mikroskopeinstellungen aufgenommen sind.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei die Instanzsegmentierungsmaske (60) für eine Objektanalyse in einer oder mehrerer der folgenden Weisen verwendet wird: - indem Bildausschnitte des Mikroskopbildes (20), welche Objekte (21) enthalten, mit Hilfe der Instanzsegmentierungsmaske (60) pixelgenau ausgeschnitten werden, und diese Bildausschnitte einem Folgemodell für eine Objektanalyse zugeführt werden; - indem Objektgrößen aus der Instanzsegmentierungsmaske (60) ermittelt werden; - indem Objekte (21) über eine Zeitserie örtlich verfolgt werden; - indem morphologische Merkmale von Objekten (21) berechnet werden und anschließend Objekte (21) abhängig von den morphologischen Merkmalen gefiltert werden; oder wobei die Instanzsegmentierungsmaske (60) für eine interaktive Verifikation von Daten-Annotationen verwendet wird, indem einem Menschen zur Verifikation von Objektmittelpunkten (31) die Instanzsegmentierungsmaske (60) oder eine eingefärbte Darstellung der Instanzsegmentierungsmaske (60) angezeigt wird.
Das Verfahren nach einem der vorstehenden Ansprüche, weiter umfassend: Verwenden der Instanzsegmentierungsmaske (60) zum Ermitteln von Fehlern in den berechneten Positionen von Objektmittelpunkten (31) und/oder den von Objekten (21) bedeckten Bildbereichen (41), wobei abhängig davon, wie weit eine Größe und/oder Form einer Instanz (61) der Instanzsegmentierungsmaske (60) von einer durchschnittlichen Größe oder Form der Instanzen (61) der Instanzsegmentierungsmaske (60) abweicht, auf einen Fehler geschlossen wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei zu mehreren Mikroskopbildern (20) eine jeweilige Instanzsegmentierungsmaske (60) berechnet wird; wobei die Instanzsegmentierungsmasken (60) als zusätzliches Trainingssignal beim Trainieren eines Objektzählmodells und/oder eines Konfluenzbestimmungsmodells verwendet wird oder als zusätzliches Trainingssignal beim Trainieren eines gemeinsamen Modells, welches eine Objektzählung und eine Konfluenzbestimmung durchführt.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei das Mikroskopbild (20) und die hiermit berechnete Instanzsegmentierungsmaske (60) als Trainingsdaten (T) für ein Instanzsegmentierungsmodell (M) verwendet werden; oder wobei die mit dem Mikroskopbild (20) berechnete Instanzsegmentierungsmaske (60) sowie ein Bild, das zum Mikroskopbild (20) registriert ist und mit einem anderen Kontrastverfahren als das Mikroskopbild (20) aufgenommen ist, als Trainingsdaten (T) für ein Instanzsegmentierungsmodell verwendet werden; oder wobei das Verfahren weiterhin umfasst: Erzeugen von Objektumrahmungen aus der Instanzsegmentierungsmaske (60) und Verwenden der Objektumrahmungen sowie des Mikroskopbildes (20) oder eines Bildes, das zum Mikroskopbild (20) registriert ist und mit einem anderen Kontrastverfahren als das Mikroskopbild (20) aufgenommen ist, als Trainingsdaten für ein Detektionsmodell.
Das Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei mit dem Instanzsegmentierungsmodell (M) aus dem Mikroskopbild (20) eine neue Instanzsegmentierungsmaske berechnet wird, aus welcher neue Positionen von Objektmittelpunkten (31) und/oder neue von Objekten (21) bedeckte Bildbereiche (41) ermittelt und so neue Voronoi-Regionen (51) berechnet werden, und wobei mit den neuen Voronoi-Regionen (51) eine aktualisierte Instanzsegmentierungsmaske berechnet wird.
Das Verfahren nach einem der vorstehenden Ansprüche, wobei das Mikroskopbild (20) hinsichtlich einer Eignung der Objekte (21) für das Ermitteln einer Instanzsegmentierungsmaske (60) über Voronoi-Regionen (51) ausgewertet wird, wobei nur im Fall einer Eignung der Objekte (21) das Berechnen (P3) von Voronoi-Regionen (51) und das Ermitteln (P4) einer Instanzsegmentierungsmaske (60) erfolgen.
Ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der vorstehenden Ansprüche auszuführen.
Ein Mikroskopiesystem mit einem Mikroskop (1) zur Bildaufnahme; und einer Recheneinrichtung (10), die dazu eingerichtet ist, das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 16 auszuführen.