-
Die Erfindung betrifft ein Verfahren und System zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern. Darüber hinaus betrifft die Erfindung ein Verfahren und System zur Instanzsegmentierung von Bildern mittels eines Maschinenlernmodells.
-
Bei klassischen Mikroskopen blickt ein Benutzer sitzend oder stehend durch ein Okular auf einen Probenträger. Dabei kann er direkt mit der Probe in der Weise interagieren, dass er sich einerseits einen kursorischen Überblick über das Sichtfeld des Objektivs, insbesondere über den Probenträger, die Position von Deckgläsern und von Proben verschaffen kann, und zum anderen den Probenträger mit der Probe entweder direkt oder mithilfe eines verstellbaren Probentischs lateral verschieben kann, um andere Bereiche des Probenträgers ins Sichtfeld des Objektivs zu bringen. Der Benutzer des Mikroskops kann dabei an seinem Platz bleiben und muss seinen Kopf nur minimal bewegen, so dass die klassischen Mikroskope in dieser Hinsicht höchst ergonomisch sind.
-
Heutige Mikroskopsysteme erlauben es dagegen, sogenannte Blitzstapel entlang einer Beobachtungsrichtung aufzunehmen und daraus ein räumliches Bild einer Probe zu rekonstruieren. Hierfür werden Bilder mithilfe von Detektoren erzeugt. Als Detektoren dienen vorzugsweise Kameras, die mit entsprechenden Flächensensoren, insbesondere CCD-Chips, ausgestattet sind, oder auch sogenannte Photomultiplier.
-
Bei diesen neuartigen Mikroskopsystemen hat sich daher der Arbeitsplatz weg vom Mikroskopstativ und damit weg von der Probe hin zum Computer bzw. zum Bildschirm eines solchen verschoben. Oftmals wird aber auch der Arbeitsplatz vor dem Mikroskopstativ noch benutzt und auch benötigt, um den Probenträger oder die Probe für eine Analyse vorzubereiten oder einzurichten.
-
Dies umfasst die Arbeitsschritte:
- • den Probenträger in das Sichtfeld des Objektivs zu bringen;
- • eine Region auf dem Probenträger auszuwählen, in welchem eine Probe angeordnet ist;
- • diese anzufahren; und
- • schließlich das Mikroskop auf den Probenträger oder die Probe zu fokussieren.
-
Der Arbeitsauflauf bei der Verwendung moderner, komplexer Mikroskopsysteme ist daher oftmals mit zwei Arbeitsbereichen verbunden, an denen unterschiedliche Arbeitsschritte stattfinden und welche räumlich voneinander getrennt sind. Auf der einen Seite das Mikroskopstativ mit Okular zur direkten Beobachtung, und auf der anderen Seite der Bildschirm eines Computers.
-
Das Dokument
DE 10 2017 111 718 A1 betrifft ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbilds eines Probenträgers und/oder auf einem Probenträger angeordneter Proben, bei dem ein mindestens teilweise im Fokus einer Detektionsoptik angeordneter Probenträger im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster beleuchtet wird, wobei mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers detektiert werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Verrechnungsalgorithmus ausgewählt wird, mittels dessen die mindestens zwei Übersichtsrohbilder zu dem Übersichtskontrastbild verrechnet werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen Informationen aus dem Übersichtskontrastbild extrahiert werden.
-
Die Veröffentlichung „Robust Nucleous Detection with Partially Labelled Exemplars", Linquing Feng et al., IEEE Access, 2019, Bd. 7, Seiten 162169 - 162178, betrifft ein Verfahren zur automatischen Charakterisierung von Zellen in Bildern, wobei tiefe konvolutionale Netze zum Einsatz kommen.
-
Es ist eine Aufgabe der Erfindung, eine Identifizierung von Objekten in einem Mikroskopbild zu verbessern, insbesondere zu automatisieren.
-
Diese Aufgabe wird durch ein Verfahren und System zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten und Bildern gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausgestaltungen werden in den abhängigen Ansprüchen beansprucht.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern, vorzugsweise die folgenden Arbeitsschritte aufweisend:
- a. Einlesen eines partiell annotierten Bilds mit einem ersten annotierten Bereich, wobei im ersten annotierten Bereich des partiell annotierten Bilds Regionen von Objekten einer Objektklasse zugeordnet sind und Regionen ohne Objekte einer Hintergrundklasse zugeordnet sind;
- b. Labeln des, insbesondere gesamten, Bilds durch das Maschinenlernmodell, wobei von dem Maschinenlernmodell vorhergesagte Regionen von Objekten der Objektklasse zugeordnet werden;
- c. Berechnen eines Werts einer Verlustfunktion des Maschinenlernmodells durch Abgleich von Annotationen in Bezug auf den ersten annotierten Bereich (4) mit entsprechenden Labeln; und
- d. Anpassen des Maschinenlernmodells in der Weise, um die Verlustfunktionen zu minimieren.
-
Ein zweiter Aspekt der Erfindung betrifft ein computerimplementiertes Maschinenlernmodell, insbesondere ein künstliches neuronales Netz, zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern, wobei das Maschinenlernmodell konfiguriert worden ist, in dem für jede einer Mehrzahl von Trainingseingaben die Arbeitsschritte eines Verfahrens zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern, durchgeführt wurde.
-
Ein dritter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern, die folgenden Arbeitsschritte aufweisend:
- • Einlesen eines Bilds;
- • Labeln des, insbesondere gesamten, Bilds durch ein Maschinenlernmodell; und
- • Ausgeben des gelabelten Bilds.
-
Ein vierter Aspekt der Erfindung betrifft ein System zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten und Bildern, insbesondere Mikroskopbildern, aufweisend:
- • eine erste Schnittstelle zum Einlesen eines partiell annotierten Bilds mit einem ersten annotierten Bereich, wobei in dem ersten annotierten Bereich des partiell annotierten Bilds Regionen von Objekten einer Objektklasse zugeordnet sind und Regionen ohne Objekte einer Hintergrundklasse zugeordnet sind;
- • Mittel, eingerichtet zum Labeln des, insbesondere gesamten, Bilds durch das Maschinenlernmodell, wobei von dem Maschinenlernmodell vorhergesagte Regionen von Objekten der Objektklasse zugeordnet werden;
- • Mittel, eingerichtet zum Errechnen eines Werts einer Verlustfunktion des Maschinenlernmodells durch Abgleich von Annotationen mit Labeln in dem ersten annotierten Bereich; und
- • Mittel, eingerichtet zum Anpassen des Maschinenlernmodells in der Weise, um die Verlustfunktion zu minimieren.
-
Ein fünfter Aspekt der Erfindung betrifft ein System zur Instanzsegmentierung von Objekten in Bildern, insbesondere Mikroskopbildern, die folgenden Arbeitsschritte aufweisend:
- • eine zweite Schnittstelle zum Einlesen eines Bilds;
- • Mittel, eingerichtet zum Labeln des, insbesondere gesamten, Bilds durch ein Maschinenlernmodell gemäß dem zweiten Aspekt der Erfindung; und
- • Mittel, eingerichtet zum Ausgeben des gelabelten Bilds.
-
Ein Annotieren im Sinne der Erfindung ist vorzugsweise ein Hinterlegen von Informationen in Bezug auf Regionen eines Bilds, insbesondere in dem Bild.
-
Ein Labeln im Sinne der Erfindung ist vorzugsweise ein Hinterlegen von Informationen in Bezug auf Regionen eines Bilds, insbesondere in dem Bild, durch einen Algorithmus.
-
Informationen können in Bezug auf einzelne Bereiche oder Pixel des Bilds als Metainformation hinterlegt werden.
-
Ein Klassifizieren im Sinne der Erfindung ist vorzugsweise eine Zuordnung von Klassen.
-
Ein Segmentieren im Sinne der Erfindung ist vorzugsweise ein Zuordnen von jedem Pixel eines Bilds zu einer bestimmten Klasse.
-
Ein Instanzsegmentieren im Sinne der Erfindung ist die Zuordnung von Pixeln eines Bilds zu einer oder mehreren Instanzen einer oder mehrerer Klassen. Vorzugsweise werden beim Instanzsegmentieren Masken von Objekten erzeugt.
-
Eine Verlustfunktion im Sinne der Erfindung gibt vorzugsweise an, wie sehr die Vorhersage eines Maschinenlernmodells von einem tatsächlichen Sachverhalt („ground truth“) abweicht und wird dazu verwendet, um Parameter, insbesondere Verbindungsbewertungsfaktoren und Beeinflussungswerte („weights and biases“) eines Maschinenlernmodells während des Trainings zu optimieren.
-
Regionen im Sinne der Erfindung sind ein Teil eines Bereichs eines Bilds. Regionen können dabei sowohl räumlich getrennt als auch räumlich zusammenhängend sein.
-
Ein künstliches neuronales Netz im Sinne der Erfindung weist vorzugsweise Neuronen auf, wobei jedes Neuron Verbindungsbewertungsfaktoren und eine jeweilige Beeinflussungswerte (Engl: weights and biases) aufweist, die während eines Trainings verändertwerden können. Vorzugsweise wird ein künstliches neuronales Netz konfiguriert, indem für jede einer Mehrzahl von Trainingseingaben eines oder mehrere Neuronen auf der Grundlage ihrer jeweiligen Wahrscheinlichkeit zufällig ausgewählt und deaktiviert werden und auf der Grundlage eines Vergleichs der Ausgabe des künstlichen neuronalen Netzes in Reaktion auf die Trainingseingabe mit einem Referenzwert Gewichte angepasst werden.
-
Ein Mittel im Sinne der Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein und insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, festkörperartige und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, so dass die CPU die Schritte solcher Verfahren ausführen kann.
-
Die Erfindung beruht auf dem Ansatz, lediglich partiell annotierte Bilder einzusetzen, um Maschinenlernmodelle für die Aufgabe einer Instanzsegmentierung der ganzen Bilder anzutrainieren.
-
Erfindungsgemäß werden partiell annotierte Bilder, d.h. Bilder, bei welchen ein Benutzer in einem Bereich die Instanzsegmentierung vorgenommen und annotiert hat oder welche aus anderer Quelle bereits mit der Instanzsegmentierung annotiert sind, eingelesen. Gemäß der Erfindung ist die Annotation dabei in der Weise vorgenommen, dass Regionen des Bilds, welche von Objekten bedeckt werden, einer Objektklasse zugeordnet sind, und Regionen des Bilds, welche frei von Objekten sind, einer Hintergrundklasse zugeordnet sind.
-
Dasselbe Bild, aber ohne Annotationen, wird dann einem Labelingverfahren mittels eines Maschinenlernmodells unterzogen, wodurch ein gelabeltes Bild entsteht. Dabei kann es sich um ein generisches Maschinenlernmodell oder auch um ein vortrainiertes Maschinenlernmodell handeln. Auch bei dem Labeln durch das Maschinenlernmodell werden vorzugsweise von dem Maschinenlernmodell vorhergesagte Regionen von Objekten der Objektklasse zugeordnet.
-
Das partiell annotierte Bild wird dann mit dem durch das Maschinenlernmodell gelabelte Bild verglichen. Auf der Grundlage des Vergleichs wird ein Wert einer Verlustfunktion berechnet. Der Vergleich ist dabei Teil der Verlustfunktion.
-
Schließlich wird das Maschinenlernmodell, welches zum Labeln verwendet wird, verändert oder angepasst. Hierbei ist es vorzugsweise das Ziel, die Verlustfunktion zu optimieren, insbesondere zu minimieren.
-
Vorzugsweise kommen beim Anpassen des Maschinenlernmodells sogenannte evolutionäre Algorithmen zum Einsatz kommen, aber auch andere Algorithmen und Strategien können hierbei angewendet werden.
-
Die Erfindung ermöglicht es, ein Maschinenlernmodell zur Instanzsegmentierung auf der Grundlage von nur partiell oder teilweise annotierten Bildern zu trainieren. Durch den Einsatz von einer Hintergrundklasse kann dabei die Vorhersagegenauigkeit des trainierten Maschinenlernmodells wesentlich erhöht werden. Ein Training mit Bildern, in denen alle Objekte annotiert sind, ist nicht mehr notwendig.
-
Bei dem Vergleich zwischen dem annotierten Bereich des partiell annotierten Bilds und dem durch das Maschinenlernmodell erzeugten Labeln desselben ist bei dem Labeln durch das Maschinenlernmodell zwischen sogenannten „True Positives“, also Objekten, welche richtig vorhergesagt wurden, „False Positives“, also Objekten, welche falsch vorhergesagt wurden, „True Negatives“, also Regionen ohne Objekte, welche zutreffend vorhergesagt wurden, und „False Negatives“, d.h. Regionen ohne Objekte, welche falsch vorhergesagt wurden, zu unterscheiden. Bei Regionen ohne Objekte, welche falsch vorhergesagt wurden, ist in der Realität ein Objekt vorhanden. Durch das Berücksichtigen einer Hintergrundklasse können insbesondere auch die „False Negatives“ beim Trainieren des Maschinenlernmodells berücksichtigt werden. Dies führt zu einer wesentlichen Verbesserung des Trainingseffekts beim Trainieren des Maschinenlernmodells.
-
Die Erfindung ist insbesondere dann von Vorteil, wenn Bilder mit hoher Objektdichte, wie beispielsweise Mikroskopbilder, einer Instanzsegmentierung unterzogen werden sollen. Solche Bilder weisen im Gegensatz zu Alltagsbildern, wie beispielsweise Landschafts- oder auch Personenfotografien, eine sehr hohe Anzahl an Objekten auf.
-
Hierdurch entsteht ein enormer Aufwand bei der Annotation der Daten, wenn alle Objekte aller Bilder annotiert werden müssen, welche zum Training eines Maschinenlernmodells eingesetzt werden. Eine Reduzierung der zum Training eingesetzten Anzahl an annotierten Bildern ist dabei oftmals nicht möglich, da die Objekte zwischen einzelnen Bildern in der Regel mehr variieren als innerhalb von Bildern. Insbesondere bei Mikroskopbildern gibt es oftmals eine Änderung der Bilder in Abhängigkeit von der Zeit. Diese Varianz der Objekteigenschaften zwischen den Bildern kann mittels der Erfindung in dem Maschinenlernmodell abgebildet werden.
-
Vorzugsweise werden hierbei jene Bereiche eines partiell annotierten Bilds annotiert, welche die größte Varianz zwischen verschiedenen Bildern aufweisen. Die Berücksichtigung der Varianz von annotierten Objekten ist wichtig, damit das trainierten Maschinenlernmodell Objekte in all ihrer Form, Größe, Farbe etc. instanzsegmentieren kann.
-
Durch die Erfindung wird ein Mechanismus bereitgestellt, um „false positive“-Vorhersagen und um „false negative“-Vorhersagen auch ohne eine Annotation eines gesamten Bilds beim Trainieren eines Maschinenlernmodells zur Instanzsegmentierung berücksichtigen zu können. Auch überlappende Objekte können systematisch voneinander unterschieden werden. Insbesondere können annotierte Bereiche erfindungsgemäß jegliche Form aufweisen.
-
Darüber hinaus ist der erfindungsgemäße Ansatz für eine Vielzahl von Modellarchitekturen anwendbar, beispielsweise für sogenannte „Region Proposal Networks“, Mask R-CNN-Architekturen oder auch Mask2Former-Architekturen. Im Allgemeinen ist das erfindungsgemäße Verfahren dabei für anchorbasierte Maschinenlernmodelle wie auch für nicht-anchorbasierte Maschinenlernmodelle geeignet.
-
In einer vorteilhaften Ausgestaltung weist das Verfahren zum Trainieren eines Maschinenlernmodells des Weiteren einen Arbeitsschritt e. des Prüfens, ob eine vorbestimmte Abbruchbedingung erreicht ist, auf. Die Arbeitsschritte b. bis d. werden vorzugsweise solange wiederholt, bis die vorbestimmte Abbruchbedingung, insbesondere durch eine vordefinierte Anzahl von Wiederholungen, erreicht ist und/oder bis der Wert der Verlustfunktion einen vordefinierten Wert unterschreitet und/oder bis eine Änderung des Werts der Verlustfunktion eine vorliegende Schwelle unterschreitet und/oder eine Genauigkeit des Maschinenlernmodells in nicht-annotierten oder nur zu Testzwecken annotierten Bereichen des Bilds eine vorbestimmte Güte unterschreitet.
-
Durch das Wiederholen der Arbeitsschritte b. bis d. bis zu einer Abbruchbedingung kann ein iteratives Training des Maschinenlernmodells erfolgen. Hierdurch kann das Maschinenlernmodell anhand eines einzigen annotierten Bereichs optimal trainiert werden. Insbesondere kann hierdurch der Annotationsaufwand zum Trainieren des Maschinenlernmodells reduziert werden.
-
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren zum Trainieren des Weiteren die folgenden Arbeitsschritte auf:
- f. Nochmaliges Einlesen des partiell annotierten Bilds mit einem zweiten annotierten Bereich, wobei in dem zweiten Bereich des partiell annotierten Bilds Regionen von Objekten einer Objektklasse und Regionen ohne Objekte der Hintergrundklasse zugeordnet sind;
- g. nochmaliges Labeln des Bilds durch das angepasste Maschinenlernmodell, wobei von dem angepassten Maschinenlernmodell vorhergesagte Regionen von Objekten der Objektklasse und vorhergesagte Regionen ohne Objekte der Hintergrundklasse zugeordnet werden;
- h. nochmaliges Berechnen eines Werts der Verlustfunktion des Maschinenlernmodells durch Abgleich von Annotationen mit Labeln in dem ersten annotierten Bereich und im zweiten annotierten Bereich; und
- i. nochmaliges Anpassen des Maschinenlernmodells in der Weise, um die Verlustfunktion zu minimieren.
-
Vorzugsweise befindet sich der zweite annotierte Bereich in einem Bereich des Bilds, in welchem das Maschinenlernmodell keine guten Ergebnisse beim Labeln in Arbeitsschritt b. geliefert hat. Je zielgerichteter die Annotationen dieses zweiten annotierten Bereichs diesbezüglich sind, desto weniger Aufwand muss für die Annotation von Bereichen aufgebracht werden, die keinen Mehrwert zum Wert der Genauigkeit beitragen. Idealerweise umfassen der zweite annotierte Bereich und gegebenenfalls weitere annotierte Bereiche, an welchen das erfindungsgemäße Verfahren nacheinander ausgeführt wird, daher vorzugsweise nur einzelne Objekte oder Regionen, die noch nicht genau genug instanzsegmentiert wurden.
-
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren zum Trainieren des Weiteren einen Arbeitsschritt j. des nochmaligen Prüfens auf, ob eine vorbestimmte Abbruchbedingung erreicht ist, wobei die Arbeitsschritte f. bis i. solange wiederholt werden, bis die vorbestimmte Abbruchbedingung erreicht ist, insbesondere bis eine vordefinierte Anzahl an Wiederholungen erreicht ist und/oder bis der Wert der Verlustfunktion einen vordefinierten Wert unterschreitet und/oder bis eine Änderung des Werts der Verlustfunktion eine vordefinierte Schwelle unterschreitet und/oder eine Genauigkeit des Maschinenlernmodells in nicht-annotierten oder nur zu Testzwecken annotierten Bereichen des Bilds eine vorbestimmte Güte unterschreitet.
-
Auch hierdurch kann das Maschinenlernmodell iterativ anhand des zweiten annotierten Bereichs optimiert werden. Die Information aus dem zweiten annotierten Bereich kann auf diese Weise optimal ausgenutzt und der Annotationsaufwand geringgehalten werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren hängt die Verlustfunktion von der geometrischen Anordnung der durch das Maschinenlernmodell vorhergesagten Objekte in Bezug auf den ersten annotierten Bereich und/oder in Bezug auf die in dem ersten annotierten Bereich annotierten Regionen, insbesondere Regionen von Objekten, und/oder in Bezug auf den zweiten annotierten Bereich annotierten Regionen, insbesondere Regionen von Objekten, ab.
-
Die geometrische Anordnung der vorhergesagten Objekte bestimmt dabei, ob die vorhergesagten Objekte in eine Berechnung des Werts der Verlustfunktion einbezogen werden. Dies gewährleistet, dass der Algorithmus des Maschinenlernmodells nur in Bezug auf Bereiche und/oder Regionen belohnt oder bestraft wird, die annotiert sind. Dies gewährleistet, dass nur solche Bereiche in die Bewertung mit einbezogen sind, welche auch wirklich annotiert wurden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren werden durch das Maschinenlernmodell vorhergesagte Objekte, die einer Region eines Objekts in dem ersten annotierten Bereich und/oder in dem zweiten annotierten Bereich zuordenbar sind, immer in die Berechnung des Werts der Verlustfunktion einbezogen.
-
Mithin können auch vorhergesagte Objekte, die teilweise außerhalb des annotierten Bereichs angeordnet sind, aber dennoch einer Region eines Objekts zuordenbar sind, in die Verlustfunktion mit einbezogen werden. Hierdurch wird gewährleistet, dass im Wesentlichen korrekt vorhergesagte Objekte immer bei der Bewertung des Maschinenlernmodells berücksichtigt werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren ist das Maschinenlernmodell ein „region-based convolutional neuronal Network“, wobei „Anchors“ für die Objekte in dem ersten annotierten Bereich und/oder in dem zweiten annotierten Bereich zuordenbar sind, immer in die Berechnung des Werts der Verlustfunktion einbezogen werden.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren werden durch das Maschinenlernmodell vorhergesagte Objekte, die keiner Region eines Objekts im ersten annotierten Bereich zuordenbar sind, nur dann in die Berechnung des Werts der Verlustfunktion einbezogen, wenn die vorhergesagten Objekte wenigstens mit dem ersten annotierten Bereich überlappen, bevorzugt überwiegend mit dem ersten annotierten Bereich überlappen, und am meisten bevorzugt vollständig mit dem ersten annotierten Bereich überlappen und/oder wobei durch das Maschinenlernmodell vorhergesagte Objekte, die keiner Region eines Objekts in dem zweiten annotierten Bereich zuordenbar sind, nur dann in die Berechnung des Werts der Verlustfunktion einbezogen werden, wenn die vorhergesagten Objekte wenigstens mit dem zweiten annotierten Bereich überlappen, bevorzugt überwiegend mit dem zweiten annotierten Bereich überlappen und am meisten bevorzugt vollständig mit dem zweiten annotierten Bereich überlappen.
-
„Überwiegend“ und „größtenteils“ bedeutet im Sinne der Erfindung vorzugsweise mehr als die Hälfte, insbesondere einer Fläche.
-
Hierdurch wird gewährleistet, dass die falsch vorhergesagten Objekte, d.h. die „false Positives“, nur dann in die Bewertung des Maschinenlernmodells einfließen, wenn sichergestellt werden kann, dass diese keine „true Positives“ von Regionen von Objekten außerhalb des annotierten Bereichs sind. Hierdurch wird eine besonders robuste Bewertung des Maschinenlernmodells gewährleistet.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren ist das Maschinenlernmodell ein „region-based convolutional neuronal Network“ und „Anchors“ werden ignoriert, wenn ihre „bounding Box“ nicht wenigstens mit dem ersten annotierten Bereich überlappt, bevorzugt nicht überwiegend mit dem überwiegend mit dem annotierten Bereich überlappt, oder am meisten bevorzugt nicht vollständig mit dem ersten annotierten Bereich überlappt und/oder wobei „Anchors“ ignoriert werden, wenn ihre „bounding Box“ nicht wenigstens mit den zweiten annotierten Bereich überlappt, bevorzugt nicht überwiegend mit dem zweiten annotierten Bereich überlappt und am meisten bevorzugt nicht vollständig mit dem zweiten annotierten Bereich überlappt.
-
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren umfasst das Annotieren ein Segmentieren und ein Klassifizieren.
-
In einer weiteren vorteilhaften Ausgestaltung weist das Verfahren zum Trainieren des Weiteren einen Arbeitsschritt des Annotierens des ersten Bereichs und/oder des zweiten Bereichs auf der Grundlage von Angaben des Benutzers auf.
-
Hierdurch wird gewährleistet, dass dem Maschinenlernmodell „Ground Truth“-Daten von hoher Qualität zum Training bereitgestellt werden.
-
Weitere Merkmale und Vorteile werden in der nachfolgenden Beschreibung in Bezug auf die Figuren erläutern. Diese zeigen wenigstens teilweise schematisch:
- 1: eine grafische Darstellung eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines Maschinenlernmodells;
- 2: eine grafische Darstellung weiterer Arbeitsschritte des Ausführungsbeispiels des Verfahrens zum Trainieren des Maschinenlernmodells zur Instanzsegmentierung von Objekten in Bildern;
- 3: ein Flussdiagramm des Ausführungsbeispiels zum Trainieren eines Maschinenlernmodells gemäß der 1 und 2;
- 4: eine grafische Darstellung von Bewertungsregeln eines Ausführungsbeispiels einer Verlustfunktion;
- 5: ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur Instanzsegmentierung von Objekten und Bildern;
- 6: ein Ausführungsbeispiel eines Systems zum Trainieren eines Maschinenlernmodells zur Instanzsegmentierung von Objekten in Bildern; und
- 7: ein Ausführungsbeispiel eines Systems zur Instanzsegmentierung von Objekten in Bildern.
-
Ein Ausführungsbeispiel des Verfahrens 100 zum Trainieren eines Maschinenlernmodells wird nachfolgend anhand der 1, 2 und 3 beschrieben.
-
Das Verfahren wird dabei rein beispielhaft anhand einer Instanzsegmentierung von Mikroskopbildern erläutert, in welchen Zellen mit einem Zellkern erkannt und deren zugehörige Fläche als Maske bestimmt werden soll.
-
In 1 ist ein Mikroskopbild 3, welches einer Instanzsegmentierung unterzogen werden soll, dargestellt. In dem Mikroskopbild 3 sind Objekte 2 und Artefakte 9 vorhanden. In den gezeigten Mikroskopbildern der 1 und 2 sind aus Gründen der Übersichtlichkeit dabei nur einige der Zellen 2 als Objekte und auch nur einige der Artefakte 9 mit Bezugszeichen versehen.
-
In einem ersten Arbeitsschritt 101 wird vorzugsweise ein erster Bereich 4 auf der Grundlage von Eingaben eines Benutzers annotiert. Vorzugsweise weist der Benutzer hierbei verschiedenen Flächen in dem ersten Bereich des Mikroskopbilds 3, welche anhand ihrer Struktur, Farbe oder sonstiger Merkmale von dem Benutzer unterschieden werden können, verschiedene Klassen zu. Des Weiteren fertigt er für die Flächen, welche er als Zellen erkennt, Masken an.
-
Dieses partiell annotierte Bild wird in einem zweiten Arbeitsschritt 102, in 1 durch den Pfeil (a) angedeutet, eingelesen.
-
Das eingelesene partiell annotierte Bild 3ann ist in 1 mit dem ersten annotierten Bereich 4 dargestellt. In diesem annotierten Bereich 4 sind die erkannten Zellen 2 schraffiert dargestellt. Diesen annotierten Zellen hat der Benutzer wenigstens eine Objektklasse zugeordnet und deren Fläche als Maske annotiert. Die übrige Fläche innerhalb des ersten annotierten Bereichs 4, zu dem auch das Artefakt 9 gehört, wird hingegen einer Hintergrundklasse zugeordnet.
-
Zusätzlich wird das im partiell annotierten Bild 3ann zugrunde liegende Mikroskopbild durch das zu trainierende Maschinenlernmodell 1 in einem dritten Arbeitsschritt 103 gelabelt. Hierfür wird auch das Mikroskopbild 3 vorzugsweise in dem zweiten Arbeitsschritt 102 separat eingelesen oder die Information aus dem partiell annotierten Bild 3ann entnommen. Vorzugsweise wird dabei das gesamte Mikroskopbild 3 durch das Maschinenlernmodell 1 annotiert. Der dritte Arbeitsschritt des Labelns 103 ist in 1 durch den Pfeil (b) angedeutet.
-
In dem gelabelten Bild 3lab sind die von dem Maschinenlernmodell 1 vorhergesagten Regionen 5 von Objekten der Objektklasse zugeordnet und Regionen ohne Objekte der Hintergrundklasse zugeordnet.
-
Wie in dem Bild 3lab von 1 dargestellt, hat das Maschinenlernmodell 1 dabei das Artefakt 9 als Region 5 einer Zelle klassifiziert. Darüber hinaus wurde ein Objekt 2 nicht als solches erkannt und daher zusammen mit den anderen Regionen ohne Objekt in dem Bild 3lab der Hintergrundklasse zugeordnet.
-
Wie in dem gelabelten Bild 3lab dargestellt, hat das Maschinenlernmodell 1 das gesamte Mikroskopbild 3 gelabelt.
-
Der dem ersten annotierten Bereich 4 des annotierten Bilds 3ann entsprechende Bereich ist in dem gelabelten Bild 3lab lediglich zur Informationszwecken gestrichelt dargestellt.
-
In einem vierten Arbeitsschritt 104 werden die Daten des annotierten Bilds 3ann und die Daten des gelabelten Bilds 3lab einer Verlustfunktion (I) des Maschinenlernmodells 1 zugeführt. In 1 ist dies durch die Pfeile (c) dargestellt.
-
Die Verlustfunktion (I) gleicht die Informationen zu den Annotationen in Bezug auf den ersten annotierten Bereich 4 mit Labeln aus dem entsprechenden Bereich des gelabelten Bilds 3lab ab und berechnet daraus einen Wert, welcher für eine Güte der von dem Maschinenlernmodell 1 vorhergesagten Regionen darstellt.
-
Die Verlustfunktion (I) kann beispielsweise ein sogenannter „binary cross entropy loss“ sein (vgl. Goodfellow lan et al., „Deep Learning“, MIT Press 2016). Eine Gleichung des „binary cross entropy loss“ ist in 1 mit 10 bezeichnet gezeigt. Diese ist aber als rein beispielhaft zu verstehen. Es kann auch jede andere dem Fachmann bekannte Art von Verlustfunktion zur Berechnung des Werts zum Einsatz kommen.
-
In einem fünften Arbeitsschritt 105 wird das Maschinenlernmodell 1 in der Weise angepasst, um die Verlustfunktion (I) zu minimieren. Dieser Arbeitsschritt wird in 1 durch den Pfeil (d) angedeutet.
-
Das Maschinenlernmodell 1 und das angepasste Maschinenlernmodell 1' sind rein schematisch als künstliches neuronales Netz mit einem weiteren Neuron in der mittleren Ebene dargestellt. Dies ist jedoch zur reinen Veranschaulichung, da, als Maschinenlernmodell 1, auch andere Algorithmen als künstliche neuronale Netze zum Einsatz kommen können.
-
Als Maschinenlernmodell 1 kommen rein beispielhaft „Region Proposal Networks“, Mask R-CNN-Architekturen oder auch Mask2Former-Architekturen in Frage. Vorzugsweise kommen tiefe künstliche neuronale Netze zum Einsatz.
-
Bei der Mask-R-CNN-Architektur werden die Objekte jeweils repräsentiert durch eine bounding Box mit einem Klassenlabel und einer Segmentierungsmaske für den Bereich in der bounding Box.
-
Dagegen generiert die Mask2Former-Architektur für eine vordefinierte Anzahl an Kandidatenobjekten jeweils eine vollständige Segmentierungsmaske des gesamten Bildes. Diese Segmentierungsmaske besteht aus den pro Pixel Wahrscheinlichkeiten für die Anwesenheit eines Objekts. Es findet eine nicht zwingend vollständige Zuordnung von vorhergesagten Kandidatenobjekten zu annotierten Objekten (matching) statt und es können folgende Fälle unterschieden werden:
- - Das Objekt wurde mit einer Annotation gematcht. In diesem Fall wird das vorhergesagte Objekt für die Berechnung der Verlustfunktion berücksichtigt.
- - Das Objekt wurde nicht mit einer Annotation gematcht. In diesem Fall werden folgende Fälle unterschieden:
- o Das Signal, das das vorhergesagte Objekt repräsentiert, ist in ausreichendem Maße innerhalb des annotierten Bereichs stärker als außerhalb des annotierten Bereichs. In diesem Fall wird das vorhergesagte Objekt für die Berechnung der Verlustfunktion berücksichtigt.
- o Das Signal, das das vorhergesagte Objekt repräsentiert, ist nicht in ausreichendem Maße innerhalb des annotierten Bereichs stärker als außerhalb des annotierten Bereichs. In diesem Fall wird das vorhergesagte Objekt nicht für die Berechnung der Verlustfunktion berücksichtigt.
-
Eine Methodik zur Bewertung von Vorhersagen durch die Verlustfunktion wird weiter unten in Bezug auf 4 erläutert. Allgemein gesprochen hängt der Wert der Verlustfunktion jedoch von der geometrischen Anordnung der durch das Maschinenlernmodell 1 vorhergesagten Regionen 5 von Objekten in dem ersten annotierten Bereich 4 und/oder in Bezug auf die in dem ersten annotierten Bereich 4 annotierten Regionen 5 ab. Des Weiteren hängt der Wert der Verlustfunktion von der geometrischen Anordnung der durch das Maschinenlernmodell 1 vorhergesagten Region 5 von Objekten ab.
-
In einem sechsten Arbeitsschritt 106 wird vorzugsweise geprüft, ob eine vorbestimmte Abbruchbedingung erreicht ist.
-
Diese Abbruchbedingung ist vorzugsweise eine vordefinierte Anzahl an Wiederholungen des dritten Arbeitsschritts 103, des vierten Arbeitsschritts 104 und des fünften Arbeitsschritts 105, weiter vorzugsweise ein vordefinierter Wert der Verlustfunktion, welcher zur Erreichen der Abbruchbedingung unterschritten oder überschritten werden muss, weiter vorzugsweise eine vordefinierte Schwelle einer Änderung des Werts der Verlustfunktion (Gradient), welche über- oder unterschritten werden muss, oder weiter vorzugsweise eine vorbestimmte Güte in Bezug auf die Genauigkeit des Maschinenlernmodells 1 in nicht-annotierten oder zur zu Testzwecken annotierten Bereichen des Mikroskopbilds 3, welche über- oder unterschritten wird.
-
Bis die Abbruchbedingung erreicht wird, werden der dritte, vierte und fünfte Arbeitsschritt 103, 104 ,105 iterativ wiederholt, wie in 3 dargestellt. Hierdurch kann das angepasste Maschinenlernmodell 1' solange auf der Grundlage der Informationen, welche der erste annotierte Bereich 4 bereitstellt, optimal zur Verbesserung des angepassten Maschinenlernmodells 1' eingesetzt werden.
-
Weiterhin kann das bereits angepasste Maschinenlernmodell 1' weiter verbessert werden, indem ein zweiter annotierter Bereich 8 des Mikroskopbilds 3 in die Optimierung mit einbezogen wird.
-
Dieser Teil des Verfahrens 100 zum Trainieren des Maschinenlernmodells 1 ist in 2 dargestellt.
-
Zunächst wird in einem siebten Arbeitsschritt 107 vorzugsweise ein zweiter Bereich des Mikroskopbilds 3 auf der Grundlage von Eingaben eines Benutzers annotiert. Vorzugsweise geschieht dies ausgehend von dem bereits annotierten Bild 3ann. Der zweite annotierte Bereich ist vorzugsweise ein Bereich des Mikroskopbilds 3, in welchem das Maschinenlernmodell 1 beim Labeln schlechte Ergebnisse erzielt hat.
-
Dieses mit einem, insbesondere zusätzlichen, zweiten annotierten Bereich partiell annotierte Bild 3ann' wird in einem achten Arbeitsschritt 108 eingelesen. Dieser Arbeitsschritt wird in 2 durch den Pfeil, welcher mit (f) bezeichnet ist, angedeutet. Das Mikroskopbild 3 wird dem angepassten Maschinenlernmodell 1' bereitgestellt, welches dieses in einem neunten Arbeitsschritt 109 labelt. Dieser Arbeitsschritt ist in 2 mit dem Pfeil mit der Bezeichnung (g) angedeutet. Das Ergebnis dieses Labelns ist in dem gelabelten Bild 3lab' in 2 dargestellt.
-
Das angepasste Maschinenlernmodell 1' hat zwar nun ein Artefakt 9 in einem Bereich 4, welcher dem ersten annotierten Bereich entspricht, korrekt vorhergesagt und auch alle Objekte 5 sind korrekt in diesem Bereich vorhergesagt. Allerdings ist in dem Bereich 8, welcher dem zweiten annotierten Bereich 8 entspricht, ein Artefakt 9 fälschlicherweise als Region 5 eines Objekts erkannt worden.
-
Wiederum wird auf der Grundlage der Informationen aus der Annotation und der Informationen aus dem Labeln in einem zehnten Arbeitsschritt 110 ein Wert der Verlustfunktion 10 des angepassten Maschinenlernmodells 1' berechnet. Hierfür werden die Informationen wiederum abgeglichen.
-
In einem elften Arbeitsschritt 111 wird das bereits angepasste Maschinenlernmodell 1' weiter angepasst, um das Maschinenlernmodell 1' weiter zu optimieren und die Verlustfunktion zu minimieren. Hierfür können die bereits weiter oben angesprochenen Algorithmen zum Einsatz kommen. Dieser Arbeitsschritt wird in 2 durch den Pfeil, der mit (i) bezeichnet ist, angedeutet.
-
Das dadurch entstehende weiter angepasste Maschinenlernmodell 1" ist in 2 wiederum rein beispielhaft als Symbol eines künstlichen neuronalen Netzes dargestellt. Gegenüber dem angepassten Maschinenlernmodell 1' ist dort, wiederum rein beispielhaft, eine weitere Neuronenebene hinzugefügt.
-
In einem weiteren zwölften Arbeitsschritt 112 des Verfahrens wird wieder geprüft, ob eine vorbestimmte Abbruchbedingung erreicht ist. Diese Abbruchbedingungen entsprechen den bereits oben genannten Abbruchbedingungen in Bezug auf den Wert der Verlustfunktion. Ist dies nicht der Fall, so werden der neunte Arbeitsschritt 109, der zehnte Arbeitsschritt 110 und der elfte Arbeitsschritt 111 so lange wiederholt, bis wenigstens eine der Abbruchbedingungen erreicht ist. Auch dies ist wieder in 3 dargestellt.
-
4 ist eine grafische Darstellung der Kriterien, welche die Verlustfunktion anwendet, um das Maschinenlernmodell 1 auf der Grundlage des gelabelten Bilds zu bewerten. Im Wesentlichen sind für die Bewertung durch die Verlustfunktion zwei Regeln relevant.
-
Die erste Regel besteht darin, dass die durch das Maschinenlernmodell 1 vorhergesagte Regionen 5 von Objekten, die einer Region eines Objekts in dem ersten annotierten Bereich 4 und/oder in dem zweiten annotierten Bereich 8 zuordenbar sind, immer in die Berechnung des Werts der Verlustfunktion einbezogen werden.
-
In 4 ist der erste/zweite annotierte Bereich 4/8 durch die gestrichpunktete Linie dargestellt. Das der Darstellung zugrunde liegende Bild ist ein annotiertes Bild 3ann. Entsprechend sind die Regionen 5 von Objekten mit einer Strichlierung versehen. Zwei der Regionen 5 liegen dabei innerhalb des ersten/zweiten annotierten Bereichs 4/8 und sind quer gestreift dargestellt. Zwei weitere Regionen 5 von Objekten liegen außerhalb des Bereichs 4/8 und sind gerautet dargestellt.
-
Die fetten Umrahmungen, welche in 4 dargestellt sind, stellen die Vorhersagen eines Maschinenlernmodells 1 dar. Um die Regeln zur Bewertung durch das Maschinenlernmodell 1 verdeutlichen zu können, sind diese in dem annotierten Bild 3ann überlagert. Ein fett durchgezogener Rahmen bezeichnet hierbei eine Vorhersage, die bei der Bewertung durch die Verlustfunktion mit einbezogen wird. Fett gepunktete Umrandungen bezeichnen hingegen Vorhersagen des Maschinenlernmodells 1, welche nicht in die Bewertung durch die Verlustfunktion mit einbezogen werden.
-
Wie aus 4 ersichtlich ist, wird das vorhergesagte Objekt, welches mit der Region 5 eines Objekts in dem annotierten Bereich 4/8 weitgehend überlappt, in die Bewertung durch die Verlustfunktion mit einbezogen, obwohl dieses teilweise außerhalb des annotierten Bereichs 4/8 angeordnet ist. Dies ist der Fall, da es der Region 5 eines Objekts zugeordnet werden kann. Diese Vorhersage ist somit ein „true Positive“ 6.
-
Eine weitere Vorhersage, welche zwar mit dem annotierten Bereich 4/8 überlappt, jedoch keiner Region 5 eines Objekts zugeordnet werden kann, bleibt bei der Bewertung des Maschinenlernmodells 1 außen vor. Bei dieser Vorhersage handelt es sich um ein sogenanntes „false Positive“ 7.
-
Die zweite Regel besagt nämlich, dass das Maschinenlernmodell 1 vorhergesagte Objekte, die keiner Region 5 eines Objekts in dem ersten/zweiten annotierten Bereich 4/8 zuordenbar sind, nur dann in die Berechnung eines Werts der Verlustfunktion einbezogen werden, wenn die vorhergesagten Objekte größtenteils mit dem ersten/zweiten annotierten Bereich 4/8 überlappen. Entsprechend wird eine weitere dargestellte falsche Vorhersage, welche größtenteils mit dem annotierten Bereich 4/8 überlappt, bei der Bewertung durch Maschinenlernmodells als „false Positive“ 7 mit einbezogen.
-
Eine weitere Vorhersage des Maschinenlernmodells 1 liegt zwar vollständig in dem ersten/zweiten annotierten Bereich 4/8, kann aber keinen der Regionen 5 von Objekten zugeordneten werden. Insbesondere überlappt die Vorhersage mit keiner der Regionen 5 innerhalb des ersten/zweiten annotierten Bereichs 4/8. Daher geht die Vorhersage zwar in die Bewertung des Maschinenlernmodells 1 durch die Verlustfunktion ein, wird jedoch als „false Positive“ 7 gewertet. Weitere „false Positve“ 7 befinden sich außerhalb des ersten/zweiten annotierten Bereichs 4/8. Daher gehen auch diese in die Bewertung durch die Verlustfunktion nicht ein.
-
Ein weiteres Objekt 5 befindet sich in dem ersten/zweiten annotierten Bereich 4/8, wurde jedoch von dem Maschinenlernmodell 1 nicht erkannt. Dieses geht als „false Negative“ 7' in die Bewertung in die Verlustfunktion mit ein.
-
Von den außerhalb des annotierten Bereichs 4/8 liegenden Objekten wurde eines durch das Maschinenlernmodell 1 vorhergesagt, stellt also ein „true Positive“ 6 dar, wird jedoch nicht in die Bewertung durch die Verlustfunktion mit einbezogen, da größtenteils außerhalb des annotierten Bereichs 4/8. Ein anderes wurde durch das Maschinenlernmodell 1 nicht erkannt, stellt also ein „false Negative“ 7' dar, wird jedoch auch bei der Bewertung durch die Verlustfunktion nicht berücksichtigt, da außerhalb des annotierten Bereichs 4/8.
-
Jene Regionen des annotierten Bereichs 4/8, in welchen keine Regionen 5 von Objekten und keine falschen Vorhersagen vorhanden sind, werden als „true Negative“ 6' gewertet und tragen daher nicht zu einer Verschlechterung des Werts der Verlustfunktion bei
-
„False Positive“ 7 und „false Negative“ 7' führen vorzugsweise zu einer Vergrößerung der Verlustfunktion, „true Positive“ 6 und „true Negative“ 6' führen vorzugsweise zu einer Verringerung des Werts der Verlustfunktion.
-
In einer alternativen Ausführungsform können vorhergesagte Objekte, die keiner Region 5 eines Objekts in dem ersten annotierten Bereich 4 zuordenbar sind, nur dann in die Berechnung des Werts der Verlustfunktion einbezogen werden, wenn die vorhergesagten Objekte wenigstens mit dem annotierten Bereich 4/8 überlappen oder bevorzugt vollständig in dem annotierten Bereich 4/8 liegen.
-
5 zeigt ein Ausführungsbeispiel eines Verfahrens 200 zur Instanzsegmentierung von Zellen 2 in Mikroskopbildern 3.
-
In einem ersten Arbeitsschritt 201 wird das Mikroskopbild 3 eingelesen. In einem zweiten Arbeitsschritt 202 wird das, insbesondere gesamte, Mikroskopbild 3 durch ein Maschinenlernmodell 1 gelabelt. In einem dritten Arbeitsschritt 203 wird das gelabelte Mikroskopbild 3 ausgegeben.
-
6 zeigt ein Ausführungsbeispiel eines Systems 10 zum Trainieren eines Maschinenlernmodells 1 zur Instanzsegmentierung von Zellen 2 in Mikroskopbildern 3.
-
Das System 10 weist eine erste Schnittstelle 11 zum Einlesen eines partiell annotierten Mikroskopbilds 3ann mit einem ersten annotierten Bereich 4, wobei in dem ersten annotierten Bereich 4 des partiell annotierten Mikroskopbilds 3ann Regionen 5 von Objekten einer Objektklasse zugeordnet sind und Regionen ohne Objekte einer Hintergrundklasse zugeordnet sind. Die erste Schnittstelle 11 kann vorzugsweise als Datenschnittstelle oder als Kamera ausgeführt sein.
-
Des Weiteren weist das System 10 Mittel 12, eingerichtet zum Labeln des, insbesondere gesamten, Mikroskopbilds 3 durch das Maschinenlernmodell 1 auf, wobei von dem Maschinenlernmodell 1 vorhergesagte Regionen 5 von Objekten der Objektklasse zugeordnet werden und vorhergesagte Regionen ohne Objekte der Hintergrundklasse zugeordnet werden.
-
Des Weiteren weist das System 10 Mittel 13 auf, eingerichtet zum Berechnen eines Werts einer Verlustfunktion (I) des Maschinenlernmodells 1 durch Abgleich von Annotationen in Bezug auf den ersten annotierten Bereich 4 mit entsprechenden Labeln.
-
Weiter vorzugsweise weist das System 10 Mittel 14 auf, eingerichtet zum Anpassen des Maschinenlernmodells 1 in der Weise, um die Verlustfunktion 10 zu minimieren.
-
Vorzugsweise wird das Maschinenlernmodell 1 wiederum über eine zweite Schnittstelle 15 ausgegeben.
-
7 zeigt ein Ausführungsbeispiel eines Systems 20 zur Instanzsegmentierung von Zellen 2 in Mikroskopbildern 3.
-
Das System 20 weist vorzugsweise eine dritte Schnittstelle 21 zum Einlesen eines Mikroskopbilds 3 auf. Des Weiteren weist das System 20 vorzugsweise Mittel 22, eingerichtet zum Labeln des, insbesondere gesamten, Mikroskopbilds 3 durch ein Maschinenlernmodell auf. Schließlich weist das System 20 vorzugsweise eine vierte Schnittstelle 23 auf, eingerichtet zum Ausgeben des gelabelten Mikroskopbilds 3.
-
Die Mikroskopbilder 3 werden vorzugsweise durch ein Mikroskop 30 erzeugt. Weiter vorzugsweise ist ein solches Mikroskop 30 Teil der Systeme 10, 20 zum Trainieren eines Maschinenlernmodells oder zur Instanzsegmentierung oder umgekehrt.
-
Es sei darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt. Insbesondere kann der annotierte Bereich jegliche Form aufweisen.
-
Bezugszeichenliste
-
- 1
- Maschinenlernmodell
- 1'
- angepasstes Maschinenlernmodell
- 1"
- weiter angepasstes Maschinenlernmodell
- 2
- Objekt
- 3
- Bild
- 4
- Erster Bereich
- 5
- Region
- 6
- True positive
- 6'
- True negative
- 7
- False positive
- 7'
- False negative
- 8
- Zweiter Bereich
- 9
- Artefakt
- 10
- System
- 11
- Erste Schnittstelle
- 12
- Mittel
- 13
- Mittel
- 14
- Mittel
- 15
- Zweite Schnittstelle
- 20
- System
- 21
- dritte Schnittstelle
- 22
- Mittel
- 23
- vierte Schnittstelle
- 30
- Mikroskop
- (I)
- Verlustfunktion
- 3ann
- Annotiertes Bild
- 3lab
- Gelabeltes Bild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017111718 A1 [0007]
-
Zitierte Nicht-Patentliteratur
-
- „Robust Nucleous Detection with Partially Labelled Exemplars", Linquing Feng et al., IEEE Access, 2019, Bd. 7, Seiten 162169 - 162178 [0008]
