DE102022206025A1

DE102022206025A1 - Populationsklassifikation mittels Punktwolken-Merkmalen

Info

Publication number: DE102022206025A1
Application number: DE102022206025.3A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Ralf Wolleschensky
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2022-06-14
Filing date: 2022-06-14
Publication date: 2023-12-14
Also published as: CN117237940A

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild, insbesondere von Organismen und Viren, anhand von Populationen jeweils einer Art der Objekte, die folgende Arbeitsschritte aufweisend:Einlesen einer Vielzahl von Mikroskopbildern, welche Objekte abbilden;Lokalisieren von Objekten in Mikroskopbildern mittels eines Bildbearbeitungsverfahrens und/oder eines Bilderkennungsmodells;Extrahieren von Merkmalen der Objekte aus den Mikroskopbildern, wobei die Merkmale der Objekte ein Merkmalsraum aufspannen;Zusammenfassen der Merkmale jeweils eines Objekts in einem Merkmalsvektor, wobei durch die Merkmalsvektoren definierte Punkte eine Punktwolke in dem Merkmalsraum beschreiben;Einlesen von Ground-Truth-Daten, welche die Art der Objekte der Populationen charakterisieren; undBereitstellen der Punktwolke und/oder von Merkmalen der Punktwolke zusammen mit dem Ground-Truth-Daten an das künstliche neuronale Netz.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und System zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild und ein computerimplementiertes Verfahren und System zum Identifizieren einer Art von Objekten anhand einer Population der Objekte in einem Mikroskopbild, wobei Mikroskopbilder, welche Objekte abbilden, eingelesen werden und Objekte in den Mikroskopbildern mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsmodells lokalisiert werden.
Bei klassischen Mikroskopen blickt ein Benutzer sitzend oder stehend durch ein Okular auf einen Probenträger. Dabei kann er direkt mit der Probe in der Weise interagieren, dass er sich einerseits einen kursorischen Überblick über das Sichtfeld des Objektivs, insbesondere über den Probenträger, die Position von Deckgläsern und von Proben verschaffen kann, und zum anderen den Probenträger mit der Probe entweder direkt oder mithilfe eines verstellbaren Probentischs lateral verschieben kann, um andere Bereiche des Probenträgers ins Sichtfeld des Objektivs zu bringen. Der Benutzer des Mikroskops kann dabei an seinem Platz bleiben und muss seinen Kopf nur minimal bewegen, so dass die klassischen Mikroskope in dieser Hinsicht höchst ergonomisch sind.
Heutige Mikroskopsysteme erlauben es dagegen, sogenannte Blitzstapel entlang einer Beobachtungsrichtung aufzunehmen und daraus ein räumliches Bild einer Probe zu rekonstruieren. Hierfür werden Bilder mithilfe von Detektoren erzeugt. Als Detektoren dienen vorzugsweise Kameras, die mit entsprechenden Flächensensoren, insbesondere CCD-Chips, ausgestattet sind, oder auch sogenannte Photomultiplier.
Bei diesen neuartigen Mikroskopsystemen hat sich daher der Arbeitsplatz weg vom Mikroskopstativ und damit weg von der Probe hin zum Computer bzw. zum Bildschirm eines solchen verschoben. Oftmals wird aber auch der Arbeitsplatz vor dem Mikroskopstativ noch benutzt und auch benötigt, um den Probenträger oder die Probe für eine Analyse vorzubereiten oder einzurichten.
Dies umfasst die Arbeitsschritte:

• den Probenträger in das Sichtfeld des Objektivs zu bringen;
• eine Region auf dem Probenträger auszuwählen, in welchem eine Probe angeordnet ist;
• diese anzufahren; und
• schließlich das Mikroskop auf den Probenträger oder die Probe zu fokussieren.

Der Arbeitsauflauf bei der Verwendung moderner, komplexer Mikroskopsysteme ist daher oftmals mit zwei Arbeitsbereichen verbunden, an denen unterschiedliche Arbeitsschritte stattfinden und welche räumlich voneinander getrennt sind. Auf der einen Seite das Mikroskopstativ mit Okular zur direkten Beobachtung, und auf der anderen Seite der Bildschirm eines Computers.
Das Dokument DE 10 2017 111 718 A1 betrifft ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbilds eines Probenträgers und/oder auf einem Probenträger angeordneter Proben, bei dem ein mindestens teilweise im Fokus einer Detektionsoptik angeordneter Probenträger im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster beleuchtet wird, wobei mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers detektiert werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Verrechnungsalgorithmus ausgewählt wird, mittels dessen die mindestens zwei Übersichtsrohbilder zu dem Übersichtskontrastbild verrechnet werden und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen Informationen aus dem Übersichtskontrastbild extrahiert werden.
Es ist eine Aufgabe der Erfindung, eine Identifizierung von Objekten in einem Mikroskopbild zu verbessern, insbesondere zu automatisieren.
Diese Aufgabe durch die Lehre unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen werden in den Unteransprüchen beansprucht.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild, insbesondere von Organismen und Viren, anhand von Populationen jeweils einer Art der Objekte, die folgende Arbeitsschritte aufweisend:

• Einlesen einer Vielzahl von Mikroskopbildern, welche Objekte abbilden;
• Lokalisieren von Objekten in Mikroskopbildern mittels eines Bildbearbeitungsverfahrens und/oder eines Bilderkennungsmodells;
• Extrahieren von Merkmalen der Objekte aus den Mikroskopbildern, wobei die Merkmale der Objekte ein Merkmalsraum aufspannen;
• Zusammenfassen der Merkmale jeweils eines Objekts in einem Merkmalsvektor, wobei durch die Merkmalsvektoren definierte Punkte eine Punktwolke in dem Merkmalsraum beschreiben;
• Einlesen von Ground-Truth-Daten, welche die Art der Objekte der Populationen charakterisieren; und
• Bereitstellen der Punktwolke und/oder von Merkmalen der Punktwolke zusammen mit dem Ground-Truth-Daten an das künstliche neuronale Netz.

Ein zweiter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Identifizieren einer Art von Objekten, insbesondere von Organismen und/oder Viren, anhand einer Population der Objekte in einem Mikroskopbild, welches durch ein Mikroskopsystem erzeugt ist, die folgenden Arbeitsschritte aufweisend:

• Einlesen des Mikroskopbilds;
• Lokalisieren von Objekten in dem Mikroskopbild mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsmodells;
• Extrahieren von Merkmalen für jedes separierte Objekt, wobei die extrahierten Merkmale aller Objekte einen ersten Merkmalsraum aufspannen;
• Zusammenfassen der extrahierten Merkmale jeweils eines Objekts in jeweils einem Merkmalsvektor, wobei durch die Merkmalsvektoren der Objekte definierte Punkte eine Punktwolke in dem Merkmalsraum aufspannen; und
• Ermitteln der Art von Objekten in der Population auf der Grundlage der Punktwolke und/oder von Merkmalen der Punktwolke mittels eines Klassifikators, welcher vorzugsweise einem Maschinenlern-Algorithmus basiert, insbesondere auf einem künstlichen neuronalen Netz, welches nach gemäß dem ersten Aspekt der Erfindung trainiert ist.

Ein dritter Aspekt der Erfindung betrifft ein System zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild, insbesondere von Organismen und/oder Viren, anhand von Populationen jeweils einer Art der Objekte, aufweisend:

• eine erste Schnittstelle zum Einlesen einer Vielzahl von Mikroskopbildern, welche Objekte abbilden;
• Mittel zum Lokalisieren von Objekten in den Mikroskopbildern mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsmodells;
• Mittel zum Extrahieren von Merkmalen der Objekte aus den Mikroskopbildern, wobei die Merkmale der Objekte einen Merkmalsraum aufspannen;
• Mittel zum Zusammenfassen der extrahierten Merkmale jeweils eines Objekts in jeweils einem Merkmalsvektor, wobei durch die Merkmalsvektoren definierte Punkte eine Punktwolke in die Merkmalsraum beschreiben;
• Mittel zum Einlesen von Ground-Truth-Daten, welche die Art der Objekte der Population charakterisieren; und
• eine zweite Schnittstelle zum Bereitstellen der Punktwolke und/oder von Merkmalen der Punktwolke zusammen mit den Ground-Daten an das künstliche neuronalen Netz.

Ein vierter Aspekt der Erfindung betrifft ein System zum Identifizieren einer Art von Objekten, insbesondere von Organismen und/oder Viren, anhand einer Population der Objekte in einem Mikroskopbild, welches durch ein Mikroskopsystem erzeugt ist, aufweisend:

• eine erste Schnittstelle zum Einlesen von Mikroskopbildern;
• Mittel zum Lokalisieren von Objekten im Mikroskopbild mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsmodells;
• Mittel zum Extrahieren von Merkmalen für jedes separierte Objekt, wobei die extrahierten Merkmale aller Objekte einen Merkmalsraum aufspannen;
• Mittel zum Zusammenfassen der extrahierten Merkmale jeweils eines Objekts in jeweils einem Merkmalsvektor, wobei durch die Merkmalsvektoren der Objekte definierte Punkte eine Punktwolke in den Merkmalsraum beschreiben;
• Mittel zum Ermitteln der Art von Objekten der Population auf der Grundlage der Punktwolke und/oder von Merkmalen der Punktwolke mittels eines Klassifikators, welcher vorzugsweise auf einem Maschinenlern-Algorithmus basiert, insbesondere auf einem künstlichen neuronalen Netz; und
• eine zweite Schnittstelle zum Ausgeben der Art von Objekten der Population.

Weitere Aspekte der Erfindung betreffen ein Computerprogramm und/oder ein Computerprogramm-Produkt, wobei das Computerprogramm oder das Computerprogramm-Produkt insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte Anweisungen enthält, welche, wenn sie von einem Computer oder einem System nach dem dritten oder vierten Aspekt der Erfindung ausgeführt werden, den Computer oder das System dazu veranlassen, die Schritte eines Verfahrens gemäß dem ersten Aspekt der Erfindung oder dem zweiten Aspekt der Erfindung auszuführen.
Ein Mikroskopbild im Sinne der Erfindung ist vorzugsweise ein Bild eines Probenträgers, in welchen vorzugsweise der ganze Probenträger, besonders bevorzugt mehr als die Hälfte des Probenträgers, und am meisten bevorzugt wenigstens ein Drittel des Probenträgers sichtbar sind. Vorzugsweise ist das Mikroskopbild dabei ein Übersichtsbild oder ein Bildausschnitt eines Übersichtsbilds. Weiter vorzugsweise handelt es sich bei einem Mikroskopbild um ein analoges Bild oder digitale Bilddaten, welches bzw. welche durch ein Mikroskopsystem erzeugt sind. Ein Mikroskopbild im Sinne der Erfindung kann weiter vorzugsweise eine oder eine Kombination der folgenden Kontrastdaten umfassen: Fluoreszenz, insbesondere Mehrkanalbilder mit verschiedenen Wellenlängen, Phasenkontrast, Digitalkontrast, den DIC, Hellfeld, etc.
Ein Klassifikator im Sinne der Erfindung klassifiziert Objekte, d.h. er ordnet diese in Kategorien ein. Ein Klassifikator im Sinne der Erfindung ist vorzugsweise ein Algorithmus, insbesondere eine mathematische Funktion, die einen Merkmalsraum auf eine Menge von Klassen abbildet. Eine Klassifikator im Sinne einer Erfindung ist vorzugsweise auch eine Interpretation von Punktwolken als Wahrscheinlichkeitsverteilungen mit anschließendem Vergleich der gemessenen Wahrscheinlichkeitsverteilung mit bereits bekannten Wahrscheinlichkeitsverteilungen. Insbesondere beruht ein solcher Klassifikator auf einer Kullback-Leibler-Divergenz.
Ein Bildverarbeitungsverfahren im Sinne der Erfindung ist vorzugsweise ein Verfahren zur Verarbeitung von Pixeldaten eines, insbesondere digitalen, Bilds.
Ein Bilderkennungsverfahren im Sinne der Erfindung ist vorzugsweise eine Mustererkennung in einem Bild. Vorzugsweise wird in einem Bilderkennungsverfahren versucht, Objekte in einem Bild zu segmentieren. Zusammenhänge zwischen den Objekten werden vorzugsweise nicht berücksichtigt. Vorzugsweise wird ein Bilderkennungsverfahren mittels eines Bilderkennungsmodells ausgeführt.
Ein Lokalisieren im Sinne der Erfindung ist vorzugsweise ein Erkennen von einzelnen Objekten in ein Bild, in welchem sich mehrere Objekte befinden.
Ein Einlesen im Sinne der Erfindung bedeutet vorzugsweise ein Erfassen von Daten, welche bereitgestellt sind. Weiter vorzugsweise bedeutet Einlesen ein Bereitstellen und Erfassen der Daten.
Ein Ausgeben im Sinne der Erfindung bedeutet vorzugsweise ein Bereitstellen an einer Datenschnittstelle oder einer Benutzerschnittstelle.
Ein Organismus im Sinne der Erfindung ist vorzugsweise ein Lebewesen und/oder ein Mikroorganismus.
Ein Merkmalsvektor im Sinne der Erfindung ist vorzugsweise eine mehrdimensionale Datenstruktur, insbesondere ein Tensor.
Die Erfindung beruht auf dem Ansatz, Objekte in einem Mikroskopbild, d.h. in einem von einem Mikroskop aufgenommenen Bild, durch eine Betrachtung einer Population dieser Objekte zu Identifizieren. Jedes einzelne Objekt wird für sich lokalisiert und dessen Merkmale extrahiert. Erfindungsgemäß kommt hierbei vorzugsweise keine Musteranalyse zum Einsatz.
Erfindungsgemäß werden die Eigenschaften der einzelnen Objekte dann durch Punkte, welche durch Merkmalsvektoren definiert werden, in einer Punktwolke repräsentiert. Anhand einer solchen Punktwolke lassen sich mittels eines Klassifikators, insbesondere einem künstlichen neuronalen Netzes, die Art der einzelnen Objekte gut differenzieren.
Die Erfindung zeichnet sich insbesondere dadurch aus, dass die in einem Mikroskopbild befindlichen Individuen der Objekte einer Population selbst dann noch der richtigen Population zugeordnet werden, wenn Unterschiede zwischen den Individuen einer einzigen Population größer sind als der mittlere Unterschied zwischen zwei unterschiedlichen Populationen.
Durch die Erfindung wird die Art der Objekte einer Population nicht auf der Basis eines Individuums oder einiger weniger Individuen, sondern auf der Basis der Gesamtheit der Individuen der Objekte in dem gesamten Mikroskopbild vorgenommen. Vorzugsweise ist auf diese Weise eine statistisch repräsentative Aussage in Bezug auf die Gesamtheit möglich.
Gegenüber einer einfachen Bildklassifikation, d.h. einer Klassifikation eines Gesamtbildes ohne Lokalisierung der Individuen, verringert die Erfindung die Gefahr einer Überanpassung, da bei einer Klassifikation eines Gesamtbilds vergleichsweise viel irrelevanter Hintergrund in die Entscheidung einfließen kann.
Gegenüber einer Klassifikation von einem einzelnem Individuum allein mit anschließendem Aggregieren der Ergebnisse hat die Erfindung wiederum den Vorteil, dass die Identifikation der Art der Objekte nicht nur auf isolierten Einzelbetrachtungen der jeweiligen Individuen beruht, sodass Zusammenhänge zwischen den Merkmalen der Objekte einer Population bei der Identifikation berücksichtigt werden können.
Auch müssen mit der Erfindung bei Anwendung eines künstlichen neuronalen Netzes als Klassifikator nicht mehrere Populationen gleichzeitig eintrainiert werden, um diese voneinander abgrenzen zu können.
Sind die jeweiligen Arten der Objekte zum Identifizieren der Population bekannt, lässt sich abschätzen, wie viele Individuen jeweils einer Population nötig sind, um die mehreren Populationen zu trennen. Hierbei gilt, dass, je mehr Überlapp zwischen den Verteilungen im Merkmalsraum von zwei oder mehr verschiedenen Populationen besteht, desto mehr Objekte als Individuen sind nötig, um die verschiedenen Populationen trennen zu können.
Mittels der Erfindung kann sowohl eine Ein-Klassen-Klassifikation als auch eine n-Klassen-Klassifikation durchgeführt werden.
Kommt ein künstliches neuronales Netz als Klassifikator zum Einsatz, ist darüber hinaus für das Antrainieren einer zweiten Population unerheblich, ob das künstliche neuronale Netz bereits eine erste Population kennt oder nicht.
Vorzugsweise kann im Rahmen des Extrahierens von Merkmalen als auch im Rahmen der Klassifikation mit, insbesondere tiefen, künstlichen neuronalen Netzen eine Filterseparierung zur Effizienzsteigerung angewendet werden, insbesondere eine sogenannte Blueprint-Separable-Convolution. Eine solche wird beispielsweise beschrieben in Haase D. & Amthor, M., „Rethinking depthwise separable convolutions: How intrakernel correlations lead to improved MobileNets", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, Seiten 14600-14609.
In einer vorteilhaften Ausgestaltung des computerimplementierten Verfahrens zum Trainieren eines künstlichen neuronalen Netzes bilden die Mikroskopbilder ausschließlich Objekte einer einzigen ersten Art in einer ersten Population ab.
Durch das Trainieren des künstlichen neuronalen Netzes auf mit jeweils einer einzelnen Population können mehrere Arten von Objekten angelernt werden, indem mehrere Trainingsschritte mit nur jeweils einer Population einer einzigen Art von Objekten durchgeführt werden. Dies wird auch als sogenannte Ein-Klassen-Klassifikation bezeichnet.
In einer weiteren vorteilhaften Ausgestaltung weist das computerimplementierte Verfahren zum Trainieren eines künstlichen neuronalen Netzes des Weiteren die folgenden Arbeitsschritte auf:

• Einlesen einer Vielzahl von weiteren Mikroskopbildern, welche ausschließlich Objekte einer zweiten Art in einer zweiten Population abbilden;
• Lokalisieren von Objekten in den weiteren Mikroskopbildern mittels des Bildverabeitungsverfahrens und/oder des Bilderkennungsverfahrens;
• Extrahieren von Merkmalen der Objekte der zweiten Art aus den weiteren Mikroskopbildern;
• Zusammenfassen der Merkmale jeweils eines Objekts der zweiten Art in jeweils einem Merkmalsvektor, wobei durch die Merkmalsvektoren definierte Punkte eine weitere Punktwolke in dem Merkmalsraum beschreiben;
• Einlesen von weiteren Ground-Truth-Daten, welche die zweite Art der Objekte der zweiten Population charakterisieren; und
• Bereitstellen der weiteren Punktwolke zusammen mit den weiteren Ground-Truth-Daten an das künstliche neuronale Netz.

Durch das erfindungsgemäße Verfahren können mehrere Populationen, welche voneinander unterschieden werden sollen, unabhängig, insbesondere nicht gleichzeitig, eingelernt werden. Hierdurch kann beispielsweise auf das Unterscheiden, insbesondere ein Markern, von Objekten in einem einzigen Mikroskopbild verzichtet werden.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens zum Trainieren eines künstlichen neuronalen Netzes bilden die Mikroskopbilder wenigstens Objekte einer ersten Art in einer ersten Population und Objekte einer zweiten Art in einer zweiten Population ab, wobei die Ground-Truth-Daten zusätzlich die erste Population und die zweite Population, insbesondere durch vorgegebene Marker an den Objekten und/oder wenigstens einem vorgegebenen Bildausschnitt pro Bild, in welchem sich Objekte jeweils einer Population befinden, charakterisieren.
Auch eine zwei-Klassen-Klassifikation oder n-Klassen-Klassifikation ist mittels der Erfindung gemäß dieser vorteilhaften Ausgestaltung möglich. Allerdings müssen hierbei zusätzliche Informationen über die Zugehörigkeit der jeweiligen Objekte zu jeweils einer Population bereitgestellt werden, wie beispielsweise Marker.
In einer vorteilhaften Ausgestaltung des computerimplementierten Verfahrens zum Identifizieren einer Art von Objekten berücksichtigt der Klassifikator zusätzlich Kontextinformationen, insbesondere Informationen über eine dem Mikroskopbild zugrunde liegende Probe, einen Nutzer, welcher die Probe untersucht, und/oder das Mikroskopsystem. Vorzugsweise kann eine Berücksichtigung der Kontextinformation dadurch umgesetzt sein, dass eine gezielte Auswahl an künstlichen neuronalen Netzen getroffen wird. Solche jeweils geeigneten günstigen neuronalen Netze können zum Beispiel vortrainiert für bestimmte Proben oder vortrainiert auf einen bestimmten Kunden bzw. Nutzer sein. Kontextinformationen im Sinne der Erfindung sind vorzugsweise die Art des Mikroskopsystems, die Art, insbesondere Form, eines Probenträgers oder auch eine Nutzerinformation oder die Art der Probe.
Durch die Berücksichtigung von Kontextinformationen kann eine Konfidenz beim Identifizieren einer Art von Objekten anhand der Population der Objekte erhöht werden.
In einer weiteren vorteilhaften Ausgestaltung des computerimplementierten Verfahrens zum Identifizieren einer Art von Objekten umfasst der Arbeitsschritt des Lokalisierens von Objekten eine Ausführung eines Sliding-Window-Bildverarbeitungsverfahrens, welches Bildausschnitte des Mikroskopbilds generiert, wobei nachfolgend für jeden Bildausschnitt Merkmale extrahiert und zusammengefasst werden und jeder Bildausschnitt mittels des Klassifikators auf das Vorliegen einer ersten Art von Objekten und das Vorliegen einer zweiten Art von Objekten geprüft wird.
Hierdurch kann auch ein Mikroskopbild, in welchem mehrere Populationen vorliegen, mittels des erfindungsgemäßen Verfahrens analysiert werden, ohne dass verschiedene Arten von Objekten einem Marker oder ähnlichem zugeordnet werden müssen.
In einer weiteren vorteilhaften Ausgestaltung des computerimplementierten Verfahrens zum Identifizieren einer Art von Objekten umfasst der Arbeitsschritt des Lokalisierens von Objekten ein Identifizieren von Markern in Bezug auf die Objekte, wobei nachfolgend für Objekte mit gleichem Marker Merkmale extrahiert und zusammengefasst werden und wobei die Art der Objekte mit gleichem Marker mittels des Klassifikators ermittelt wird.
Sind Bilder mit gemarkerten Objekten vorhanden, so kann diese Identifizierung der Art von Objekten besonders effizient sein.
In einer weiteren vorteilhaften Ausgestaltungsform weist das computerimplementierte Verfahren zum Identifizieren einer Art von Objekten des Weiteren die folgenden Arbeitsschritte auf:

• Bestimmen einer Konfidenz für die ermittelte Art von Objekten;
• Vergleichen der bestimmten Konfidenz mit einer vorgegebenen Mindestkonfidenz;
• Erzeugen, wenn die bestimmte Konfidenz unter der vorgegebenen Mindestkonfidenz liegt, von Steuerbefehlen für das Mikroskopsystem in der Weise, dass dieses ein weiteres Mikroskopbild wenigstens eines der lokalisierten Objekte aufnimmt;

Mit dieser vorteilhaften Ausgestaltung kann die individuelle Probenanzahl, welche zur Identifikation der Art der Objekte herangezogen wird, adaptiv verändert werden. In anderen Worten werden - idealerweise automatisiert - solange neue Mikroskopbilder eingelesen, bis eine akkumulierte Anzahl der Individuen so groß ist, dass eine Klassifikation in einer vorgegebenen Mindestkonfidenz gewährleistet wird.
Allgemein gilt hierbei, dass, je mehr Ähnlichkeit bzw. Überlapp Punktwolken einzelner Arten von Objekten im Merkmalsbaum haben, desto mehr Individuen der einzelnen Arten von Objekten nötig sind, um zwischen zwei Arten von Objekten differenzieren zu können.
In einer weiteren vorteilhaften Ausgestaltung weist das computerimplementierte Verfahren zum Identifizieren einer Art von Objekten des Weiteren den folgenden Arbeitsschritt auf:

• Definieren einer neuen Art von Objekten, wenn innerhalb der maximalen Anzahl an weiteren eingelesenen Mikroskopbildern die Mindestkonfidenz nicht erreicht ist;

Kann die Art von Objekten einer Population nicht identifiziert werden, so werden diese vorzugsweise als eine neue Art von Objekten bzw. eine anormale Art von Objekten definiert.
Wird ein künstliches neuronales Netz als Klassifikator eingesetzt, kann auch dieses künstliche neuronale Netz wiederum auf die neue Art von Objekten hin trainiert werden.
In einer weiteren vorteilhaften Ausgestaltung weisen die Verfahren des Weiteren den folgenden Arbeitsschritt auf:

• Ausführen einer Dimensionsreduktion der Merkmalsvektoren, insbesondere mittels einer Hauptkomponentenanalyse, einer nicht-negativen Matrixfaktorisierung, einer Unabhängigkeitsanalyse, einer linearen Diskriminanzanalyse und/oder einer T-SNI-Methode.

In einer weiteren vorteilhaften Ausgestaltung weisen die Verfahren des Weiteren den folgenden Arbeitsschritt auf:

• Extrahieren von Merkmalen der Punktwolke, wobei die Merkmale der Punktwolke einen zweiten Merkmalsraum aufspannen.

Vorzugsweise werden dabei Merkmale aus der folgenden Gruppe an Merkmalen extrahiert:

• Lage und/oder Mittelpunkt;
• statistische Maße, insbesondere Ausdehnung und Varianz entlang einer Achse des Merkmalsraums;
• Form;
• umschließende konvexe Hülle;
• kleinste umschließende Hypersphäre;
• Histogramm, insbesondere mehrdimensionales Histogramm, in Bezug auf eine Häufung von bestimmten Objekt-Prototypen auf der Grundlage der jeweiligen Merkmalsvektoren; und
• Signatur mittels Fisher-Vector-Encoding auf der Grundlage der jeweiligen Merkmalsvektoren.

Zur Erstellung eines Histogramms werden die Individuen vorzugsweise zu verschiedenen Objekt-Prototypen zugeordnet. Hierdurch ist eine Diskretisierung der Verteilung der Punkte der Punktwolke im Merkmalsraum möglich.
Durch das abermalige Extrahieren von Merkmalen in Bezug auf die Punktwolke kann eine besonders zuverlässige Klassifikation mittels des Klassifikators erfolgen.
In einer weiteren vorteilhaften Ausgestaltung des computerimplementierten Verfahrens zum Identifizieren einer Art von Objekten beruht der Klassifikator auf einer Maschinenlern-Methode in Bezug auf die Merkmale der Punktwolke, insbesondere einer Support-Vector-Machine-Methode, einer k-Nearest-Neighbor-Methode, oder einer Entscheidungsbaum-Methode.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens werden die Merkmale der Punktwolke mittels des Klassifikators aus der Punktwolke extrahiert, wobei vorzugsweise wenigstens eine der folgenden Maschinenlern-Methoden als Klassifikator zum Einsatz kommt:

◯ PointNet,
◯ PointNet++,
◯ DynamicGraphCNN,
◯ Relation-Shape-CNN, und
◯ Graph Neural Network.

• Bilden vom Bildausschnitten des Mikroskopbilds, in welchen jeweils ein einzelnes Objekt angeordnet ist, wobei die Merkmale des jeweils einzelnen Objekts ausschließlich in dessen Bildausschnitt extrahiert werden.

Hierdurch können Ungenauigkeiten beim Trainieren des künstlichen neuronalen Netzes oder beim Klassifizieren von Objekten in Mikroskopbildern verringert werden, indem in den Mikroskopbildern vorliegende Störungen, insbesondere Artefakte oder auch störende Hintergrundpopulationen, weitestgehend eliminiert werden.
In einer weiteren vorteilhaften Ausgestaltung der Verfahren ist als Bildbearbeitungsverfahren wenigstens eine Bildverarbeitung aus der folgenden Gruppe ausgewählt:

◯ Schwellwertoperationen;
◯ Morphologische Operationen;
◯ Template Matching;
◯ Blob-Detektoren;
◯ Steerable Filters;
◯ SIFT-Detektor;
◯ Maximally stable extremal regions (MSER);
◯ Non-Maximum-Suppression, insbesondere zur Nachverarbeitung;

◯ Machine-Learning-Methode, insbesondere
- ◯ Sliding-Window-Methode, insbesondere mittels eines HoG-Descriptor oder eines SIFT-Descriptor;
- ◯ Viola-Jones-Methode, insbesondere mittels adaptivem Boosten;
◯ Deep Learning-Methode, insbesondere mittels CNNs und/oder Transformer-Netzen, umgesetzt als
- ◯ Detektionsmodell;
- ◯ Segmentierungsmodell; und/oder
- ◯ Dichteschätzung mittels Bild-zu-Bild-Modell.

In einer weiteren vorteilhaften Ausgestaltung der Verfahren werden die Merkmale der Objekte aus der folgenden Gruppe an Merkmalen extrahiert:

◯ Grauwertmerkmale;
◯ statistische Momente der Helligkeiten, insbesondere deren Mittelwert, Varianz, Schiefe, Kurtosis, Minimum, Maximum, Median, Perzentile und/oder Histogramm-Merkmale;
◯ räumlich aggregierte quantisierte Helligkeiten;
◯ geometrische Merkmale;
◯ Form;
◯ Größe und/oder Fläche;
◯ Umfang;
◯ Seitenverhältnis;
◯ Elliptizität;
◯ Lage, insbesondere in Koordinaten;
◯ ein Texturmerkmal, insbesondere Co-Okkurrenz-Merkmale, Local Binary Patterns, oder weiter insbesondere basierend auf GLCM, Fisher-Vector-Encoding und/oder VLAD; und
◯ ein Strukturmerkmal, insbesondere ein Deep Feature, wobei Merkmalskarten oder Merkmalsvektoren und/oder andere Zwischenrepräsentationen der Strukturmerkmale mittels tiefer neuronaler Netze, insbesondere konvolutionale neuronale Netze (CNN), Transformer, extrahiert sind.

Vorzugsweise werden Strukturmerkmale in Bildausschnitten oder auf das gesamte Mikroskopbild bestimmt.
Weitere Merkmale und Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Bezug auf die Figuren. Es zeigen wenigstens teilweise schematisch:

1 a bis 1 e Visualisierungen von Arbeitsprodukten verschiedener Arbeitsschritte eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild;
2 ein Flussdiagramm des Ausführungsbeispiels eines Verfahrens zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild;
3a bis 3e Visualisierungen von Arbeitsprodukten verschiedener Arbeitsschritte eines Ausführungsbeispiels eines computerimplementieren Verfahrens zum Identifizieren einer Art von Objekten anhand einer Population der Objekte in einem Mikroskopbild;
4 ein Flussdiagramm des Ausführungsbeispiels eines computerimplementierten Verfahrens zum Identifizieren einer Art von Objekten anhand einer Population der Objekte in einem Mikroskopbild;
5 ein Ausführungsbeispiel eines Systems zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild; und
6 ein Ausführungsbeispiel eines Systems zum Identifizieren einer Art von Objekten anhand einer Population der Objekte in einem Mikroskopbild.

Ein Ausführungsbeispiel eines computerimplementierten Verfahrens 100 zum Trainieren eines künstlichen neuronalen Netzes zum Identifizieren von Arten von Objekten in einem Mikroskopbild wird anhand der 1a bis 1e und 2 erläutert.
Das erfindungsgemäße Verfahren 100 beruht auf Mikroskopbildern 2a, 2b, welche jeweils eine Vielzahl an mikroskopischen Objekten, insbesondere Moleküle, Viren, Zellen oder auch Partikel, abbilden.
Mikroskopbilder 2a, 2b, welche Bakterien enthalten, sind beispielhaft in 1a gezeigt.
Das linke Mikroskopbild 2a zeigt hierbei eine Population, welche von der Population des rechten Mikroskopbilds 2b unterschiedlich ist.
Die in dem Mikroskopbild 2a gezeigten Objekte sind hierbei Bakterien einer ersten Art A, zum Beispiel der Bakterienart Enterococcus faecalis. Die Objekte des Mikroskopbilds 2b sind Bakterien einer zweiten Art B, zum Beispiel der Bakterienart Enterococcus faecium.
Die Mikroskopbilder 2a und 2b werden in einem ersten Arbeitsschritt 101 eingelesen.
In einem zweiten Arbeitsschritt 102 werden die Bakterien 1a, 1b, 1c, 1d in den Mikroskopbildern 2a, 2b lokalisiert.
Eine Lokalisierung der einzelnen Individuen der Bakterien in den Mikroskopbildern 2a, 2b kann beispielsweise durch klassische Bildverarbeitungsverfahren erfolgen. Beispielsweise, aber nicht abschließend, seien diesbezüglich Schwellenwertoperationen, morphologische Operationen, insbesondere Top-Hat/Black-Hat-Filter, Template Matching, Blob-Detektoren, Steerable Filters, SIFT-Dektektoren, Maximally Stable Extremal Regions (MSER) sowie optionale Nachbearbeitung, insbesondere als Non-Maximum-Suppression, als Verfahren genannt.
Darüber hinaus können zum Lokalisieren von Objekten in den Mikroskopbildern 2a, 2b auch Bilderkennungsverfahren, insbesondere Mustererkennungsverfahren, zum Einsatz kommen. Zum Beispiel können Maschinenlern-Verfahren wie das Sliding-Window-Verfahren, vorzugsweise mittels HoG oder SIFT-Deskriptoren, zum Einsatz kommen oder Viola-Jones Verfahren, beispielsweise AdaBoost.
Auch Deep-Learning-Verfahren, beispielsweise mittels konvolutionaler neuronaler Netze (CNN) sowie mittels Transformer-Netzen, können als Bilderkennungsverfahren zur Anwendung kommen.
Vorzugsweise weisen solche Deep-Learning-Verfahren ein Detektionsmodell, ein Segmentierungsmodell und ein Bild-zu-Bild-Modell auf. Das Detektionsmodell liefert hierbei vorzugsweise als Ergebnis eine Liste mit Koordinatenausdehnung der gefundenen Bakterien 1a, 1b, 1c, 1d. Auf der Grundlage dieser Koordinaten erstellt dann vorzugsweise das Segmentierungsmodell eine Segmentierungsmaske, in welcher pixelweise das Vorhandensein eines Bakteriums gekennzeichnet ist.
Weiter vorzugsweise kann ausgehend hiervon eine Separierung oder Zusammenfassung von Regionen in dem Mikroskopbild erfolgen. Das Bild-zu-Bild-Modell führt eine Dichteschätzung durch, wobei für jedes Pixel eine Wahrscheinlichkeit des Vorhandenseins eines Bakteriums angegeben wird. Eine punktgenaue Lokalisierung wird vorzugsweise anschließend noch mittels einer Non-Maximum-Suppression erzielt.
Darüber hinaus sind auch Kombinationen aus dem im Vorhergehenden genannten Bildbearbeitungsverfahren und Bilderkennungsverfahren möglich. Beispielsweise kann eine Vorauswahl mittels einer Schwellwertoperation getroffen werden und anschließend eine Lokalisierung mittels konvolutionaler neuronaler Netze.
In einem dritten Arbeitsschritt 103 werden vorzugswiese Bildausschnitte der beiden Mikroskopbilder 2a, 2b gebildet, welche jeweils ein einzelnes Bakterium 1a, 1b, 1c, oder 1d umfassen. Dies ist in 1b dargestellt.
In einem vierten Arbeitsschritt 104 werden Merkmale x_i, y_i, z_i, der Bakterien 1a, 1b, 1c, 1d aus den Mikroskopbildern 2a, 2b extrahiert.
In 1a steht der Index „i“ für eines der beiden Bakterien 1a, 1b der Art A oder eines der beiden Bakterien 1c, 1d der Art B. Entsprechend ist i ∈ {a, b, c, d}.
Wie in 1c gezeigt, können solche Eigenschaften beispielsweise Grauwertmerkmale z_i, oder die Fläche y_i sein. In der 1c sind diese Merkmale jeweils grafisch für die Bakterien der Arten A und B 1a, 1b, 1c, 1d angegeben. Dabei steht die Variable x für einen Grauwert des jeweiligen Bakteriums 1a, 1b, 1c, 1d, die Variable y für die von einem Bakterium 1a, 1b, 1c, 1d bedeckte Fläche und die Variable z für die Form eines Bakteriums 1a, 1b, 1c, 1d.
Weitere Merkmale sind beispielsweise statistische Momente der Helligkeiten, insbesondere deren Mittelwert, Varianz, Schiefe, Kurtosis, Minimum, Maximum, Median, Perzentile und/oder Histogramm-Merkmale, räumlich aggregierte quantisierte Helligkeiten, geometrische Merkmale, Größe, Umfang, Seitenverhältnis, Elliptizität, Lage, insbesondere in Koordinaten, Texturmerkmale, insbesondere Co-Okkurenz-Merkmale, Local Binary Patterns oder insbesondere Texturmerkmale basierend auf GLCM, Fisher-Vector-Encoding und/oder VLAD-Encoding und/oder Strukturmerkmale, insbesondere ein Deep Feature, wobei Merkmalskarten oder Merkmalsvektoren und/oder andere Zwischenrepräsentationen der Strukturmerkmale mittels tiefer neuronaler Netze, insbesondere konvolutionaler neuronaler Netze (CNN) oder Transformer extrahiert sind.
Eine Verwendung von tiefen neuronalen Netzen zur Extraktion von Merkmalen wird allgemein beschrieben in Sharif Razavian et al., „CNN features off-the-shelf: an astounding baseline for recognition", Proceedings of the IEEE conference on computer vision and pattern recognition workshops (2014), Seiten 806-813.
Eine Verwendung von Fisher-Vektoren zur Klassifikation wird allgemein beschrieben in Sanchez, J. et al., „Image classification with the fisher vector: Theory and practice", International journal of computer vision, 2013, 105(3), 222-245.
Eine Verwendung von VLAD-Encoding zur Klassifikation wird beschrieben in Jegou, H. et al., „Aggregating local descriptors into a compact image representation", in 2010 IEEE computer society conference on computer vision and pattern recognition, pp. 3304-3311.
Die extrahierten Merkmale x_i, y_i, z_i der Bakterien 1a, 1b, 1c, 1d spannen einen Merkmalsraum 3 auf.
Ein solcher Merkmalsraum 3 ist beispielsweise in 1e dargestellt, allerdings lediglich in zwei Dimensionen. Das Merkmal Grauwert x könnte in dem dargestellten Merkmalsraum zum Beispiel die Merkmalsdimension #1, das Merkmal Fläche y die Merkmalsdimension #2 sein. Es ist für den Fachmann offensichtlich, dass dieser Merkmalsraum 3 eine beliebige Anzahl an Dimensionen aufweisen kann.
In einem fünften Arbeitsschritt 105 werden die extrahierten Merkmale x_i, y_i, z_i der einzelnen Bakterien 1a, 1b, 1c, 1d in Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
zusammengefasst, wie in 1d dargestellt ist. Die Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
definieren Punkte in dem Merkmalsraum 3, welche zusammen eine Punktwolke 4a, 4b bilden, wie in 1e dargestellt ist.
Vorzugsweise kann dabei vor oder nach Bildung der Punktwolke 4a, 4b eine Dimensionsreduktion der Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
in einem sechsten Arbeitsschritt 106 erfolgen.
Vorzugsweise können zur Dimensionsreduktion ein Hauptkomponenten-Analyseverfahren (PCR) und/oder verwandte Verfahren (NMF, ICR, LDA) oder beispielsweise t-SNE-Verfahren zum Einsatz kommen.
Eine Dimensionsreduktion mittels eines t-SNE-Verfahrens ist allgemein beschrieben in Van der Maaten, L. et al., „Visualizing data using t-SNE“, Journal of machine learning research (2008), 9(11).
Weiter vorzugsweise umfasst das Verfahren 100 einen siebten Arbeitsschritt 107 des Extrahierens von Merkmalen der Punktwolke 4a, 4b, wobei die Merkmale der Punktwolke 4a, 4b einen zweiten Merkmalsraum aufspannen.
Merkmale einer Punktwolke 4a, 4b können hierbei deren Lage und/oder Mittelpunkt, deren statistische Maße, insbesondere Ausdehnung und Varianz entlang einer Achse des Merkmalsraums, deren Form, deren umschließende konvexe Hülle, deren kleinste umschließende Hypersphäre, deren Histogramm, insbesondere ein mehrdimensionales Histogramm, in Bezug auf eine Häufung von bestimmten Objektprototypen auf der Grundlage der jeweiligen Merkmalsvektoren, und deren Signatur mittels Fisher-Vector-Encoding auf der Grundlage der jeweiligen Merkmalsvektoren, sein.
In einem achten Arbeitsschritt 108 werden Ground-Truth-Daten eingelesen, welche die Art der Bakterien A der Population 4a charakterisieren.
Diese Ground-Truth-Daten werden in einem neunten Arbeitsschritt 109 zusammen mit der Punktwolke oder von extrahierten Merkmalen der Punktwolke an das künstliche neuronale Netz 5 bereitgestellt, um dieses zu trainieren.
In einer alternativen Ausführungsform bilden die zum Trainieren des künstlichen neuronalen Netzes 5 (nicht dargestellt) eingesetzten Mikroskopbilder 2a; 2b ausschließlich Bakterien 1a, 1b; 1c, 1d einer einzigen Art A; B ab.
In diesem Fall wird das künstliche neuronale Netz 5 (nicht dargestellt) zunächst mittels Mikroskopbildern 2a einer einzige erste Bakterienart A trainiert.
Soll nun eine zweite Art von Bakterien B in dem künstlichen neuronalen Netz 5 (nicht dargestellt) angelernt werden, so wird vorzugsweise in einem zehnten Arbeitsschritt 110 eine Vielzahl von weiteren Mikroskopbildern 2b eingelesen, welche ausschließlich Objekte 1c, 1d der zweiten Art B in einer zweiten Population abbilden.
Auch die Bakterien 1c, 1d der zweiten Art B werden in einem elften Arbeitsschritt 111 in den weiteren Mikroskopbildern 4b mittels des Bildverarbeitungsverfahrens und/oder des Bilderkennungsverfahrens lokalisiert, wie bereits in Bezug auf den zweiten Arbeitsschritt 102 beschrieben.
Auch aus den weiteren Mikroskopbildern 2b werden in einem zwölften Arbeitsschritt 112 Merkmale x_i, y_i, z_i, der Objekte 1c, 1d der zweiten Art B extrahiert, entsprechend dem vierten Arbeitsschritt 104.
Auch die extrahierten Merkmale x_i, y_i, z_i jeweils eines Objekts 1c, 1d der zweiten Art B werden in einem dreizehnten Arbeitsschritt 113 jeweils einem Merkmalsvektor $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
zusammengefasst, wobei die Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
eine weitere Punktwolke 4b in dem Merkmalsraum 3 beschreiben, entsprechend dem fünften Arbeitsschritt 105.
Auch in Bezug auf die zweite Art B der Bakterien 1c, 1d werden vorzugsweise in einem vierzehnten Arbeitsschritt 114 weitere Ground-Truth-Daten eingelesen und weiter vorzugsweise in einem fünfzehnten Arbeitsschritt 115 die weitere Punktwolke 4b oder Merkmale der weiteren Punktwolke 4b zusammen mit den weiteren Ground-Truth-Daten an das künstliche neuronale Netz 5 (nicht dargestellt) bereitgestellt, entsprechend der achten und neunten Arbeitsschritte 108,109.
Mit dem auf diese Weise trainierten künstlichen neuronalen Netz 5 (nicht dargestellt) lassen sich zwei verschiedene Arten A und B von Bakterien identifizieren.
In einer weiteren alternativen Ausführungsform kann ein künstliches neuronales Netz 5 (nicht dargestellt) auch mit Mikroskopbildern 2a, 2b trainiert werden, welche sowohl Bakterien 1a, 1c einer ersten Art A in einer ersten Population als auch Bakterien 1b, 1d einer zweiten Art B in einer zweiten Population abbilden.
Um das künstliche neuronale Netz 5 in diesem Fall trainieren zu können, müssen die erste Population und die zweite Population in den Mikroskopbildern 2a; 2b durch die Vorgabe von Markern an den jeweiligen Bakterien 1a, 1b, 1c, 1d charakterisiert werden. Solche Marker können beispielsweise mittels einer Färbung oder einem Kontrast umgesetzt sein. Alternativ hierzu können die Ground-Truth-Daten angeben, in welchem Bildausschnitt der Mikroskopbilder 2a, 2b sich Bakterien 1a, 1c der ersten Art A und in welchem Bildausschnitt sich Bakterien 1b, 1d der zweiten Art B in ihrer jeweiligen Population befinden.
Anhand der 3a bis 3e und 4 wird nachfolgend das Ausführungsbeispiel eines Verfahrens 200 zum Identifizieren einer Art von Bakterien anhand einer Population der Bakterien 1e, 1f in einem Mikroskopbild 2c beschrieben.
Ein erster Arbeitsschritt 201, ein zweiter Arbeitsschritt 202, ein dritter Arbeitsschritt 203, ein vierter Arbeitsschritt 204 sowie ein fünfter Arbeitsschritt 205 entsprechen dabei jeweils den ersten bis fünften Arbeitsschritten 101 bis 105 des in Bezug auf die 1a bis 1e und 2 beschriebenen Verfahrens 100.
Auch ein sechster Arbeitsschritt 206 und ein siebter Arbeitsschritt 207 entsprechen jeweils dem sechsten bzw. sieben Arbeitsschritt 106, 107 des im Vorhergehenden beschriebenen Verfahrens 100.
Die einzelnen Arbeitsschritte bzw. deren Arbeitsprodukte sind dabei analog zur 1 in Bezug auf das Verfahren 100 grafisch in den 3a, 3b, 3c und 3d dargestellt. Die Bakterien 1e, 1f der Bakterienart, welche in der Population des Mikroskopbilds 2c enthalten sind, geben jeweils auch die Indizes für die Merkmale Grauwert, Form und Fläche sowie für die entsprechenden Vektoren vor.
In Gegensatz zu dem Verfahren 100 werden in dem Verfahren 200 aber in einem achten Arbeitsschritt 208 die Art der Bakterien in der Population in einem jeweils betrachteten Mikroskopbild bestimmt. Hierfür kommt ein Klassifikator oder Klassifikationsverfahren zum Einsatz.
Eine Bestimmung der Art der Bakterien ist hierbei auf der Grundlage der Punktwolke 4c, wie sie in 3e dargestellt ist, besonders einfach zu bewerkstelligen.
Der zweite Arbeitsschritt des Lokalisierens 202 von Bakterien 1e, 1f in dem Mikroskopbild 2c umfasst vorzugsweise ein Ausführen eines sogenannten Sliding-Window-Bildbearbeitungsverfahrens. Bei diesem werden Bildausschnitte des Mikroskopbilds 2c generiert. Nachfolgend werden für jeden Bildausschnitt Merkmale x_i, y_i, z_i, der in diesem Bildausschnitt enthaltenen Objekte 1e, 1f in dem vierten Arbeitsschritt 204 extrahiert und in dem fünften Arbeitsschritt 205 zusammengefasst. In jedem der Bildausschnitte wird in dem achten Arbeitsschritt 208 die Art von Bakterien 1e, 1f mittels des Klassifikators ermittelt. Insbesondere wird jeder Bildausschnitt auf das Vorliegen einer ersten Art A von Bakterien und auf das Vorliegen einer zweiten Art B von Bakterien geprüft.
Auf diese Weise können auch Bakterienarten in einem Mikroskopbild 2c erkannt werden, welches mehrere Populationen von Bakterienarten enthält, insofern diese wenigstens teilweise räumlich getrennt sind.
Alternativ hierzu kann der zweite Arbeitsschritt des Lokalisierens 202 der Bakterien 1e, 1f auch ein Identifizieren von Markern in Bezug auf die Bakterien 1e, 1f umfassen. Die Marker bezeichnen hierbei jeweils die Bakterien der verschiedenen Bakterienarten, welche in einem Mikroskopbild 2c vorhanden sind.
In dem vierten Arbeitsschritt 204 und in dem fünften Arbeitsschritt 205 werden dann für Bakterien 1e, 1f mit gleichem Marker jeweils Merkmale x_i, y_i, z_i, extrahiert und zusammengefasst. In dem achten Arbeitsschritt 208 wird dann jeweils die Art der Bakterien 1e, 1f mit gleichem Marker ermittelt.
Wie schon in Bezug auf das Verfahren 100 erläutert, werden auch bei dem Verfahren 200 in einem siebten Arbeitsschritt 207 Merkmale der Punktwolke 4c extrahiert. Diese Merkmale der Punktwolke 4c spannen einen zweiten Merkmalsraum (nicht dargestellt) auf.
In einem achten Arbeitsschritt 208 wird dann schließlich die Art der Bakterien 1e, 1f in der jeweiligen Population auf der Grundlage der Punktwolke mittels eines Klassifikators ermittelt. Zusätzlich oder alternativ werden Merkmale der Punktwolke 4c selbst herangezogen, um die Bakterien 1e, 1f mittels des Klassifikators zu klassifizieren.
Vorzugsweise wird als Klassifikator ein Mustererkennungsverfahren eingesetzt, welches auf einem Maschinenlern-Algorithmus basiert. Weiter vorzugsweise basiert der Klassifikator auf einem künstlichen neuronalen Netz 5. Ein solches künstliches neuronales Netz 5 (nicht dargestellt) ist weiter vorzugsweise mit dem oben beschriebenen Verfahren 100 zum Trainieren eines künstlichen neuronalen Netzes 5 erzeugt sein.
Vorzugsweise berücksichtigt der Klassifikator beim Ermitteln 208 der Objektarten zusätzlich Kontextinformationen, insbesondere Informationen über eine dem Mikroskopbild 2c zugrunde liegende Probe, einen Nutzer, welcher die Probe untersucht, und/oder das Mikroskopsystem 3 selbst.
Die Berücksichtigung von Kontextinformationen kann umgesetzt sein durch eine gezielte Auswahl an geeigneten künstlichen neuronalen Netzen 5, welche beispielsweise für bestimmte Proben oder einen bestimmten Nutzer vortrainiert sind. Der Klassifikator kann auch durch das Vergleichen der Punktwolke mit Punktwolken bekannter Bakterienarten umgesetzt sein.
Die Zuordnung der Art von Objekten in der Population kann durch den Maschinenalgorithmus auf der Grundlage Punktwolke 4c in Bezug auf die Merkmale x_i, y_i, z_i, der Bakterien 1e, 1f erfolgen.
Alternativ kann der Maschinenlern-Algorithmus das Ermitteln der Art von Bakterien 1e, 1f in der Population auch auf der Grundlage der Merkmale der Punktwolke 4c durchführen. In diesem Fall beruht der Klassifikator vorzugsweise auf einem Maschinenlernmodell in Bezug auf die Merkmale der Punktwolke 4c in dem zweiten Merkmalsraum. Insbesondere können hierbei Modelle zum Einsatz kommen, welche mittels einer Support-Vector-Machine-Methode, einer k-Nearest-Neighbor-Methode oder einer Entscheidungsbaum-Methode erzeugt sind.
In einer alternativen Ausführungsform des Verfahrens 200 werden die Arbeitsschritte des Extrahierens 204, des Zusammenfassens 205 und des Klassifizierens 208 gemeinsam durch den Klassifikator ausgeführt. In diesem Fall ist der Klassifikator vorzugsweise mit einer der folgenden Maschinenlern-Methoden erzeugt: PointNet; PointNet++, Dynamic-Graph-CNN, Relation-Shape-CNN, oder Graph-Neural-Network.
Eine Verwendung einer Point-Net-Methode zur Klassifikation und Segmentierung ist beschrieben in Qi, C. R. et al., „Pointnet: Deep learning on point sets for 3d classification and segmentation", Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660.
Eine Verwendung einer Point-Net++-Methode zur Klassifikation ist beschrieben in Qi, C. R. et al., „Pointnet++: „Deep hierarchical feature learning on point sets in a metric space“, 2017, arXiv preprint arXiv:1706.02413.
Eine Verwendung einer Dynamic-Graph-CNN-Methode ist beschreiben in Wang, Y. et al., „Dynamic graph cnn forlearning on point clouds", Acm Transactions On Graphics (tog), 2019, 38(5), 1-12.
Eine Verwendung einer Relation-Shape-CNN-Methode ist beschrieben in Liu, Y. et al., „Relation-shape convolutional neural network for point cloud analysis, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 8895-8904.
In einer weiteren bevorzugten Ausführungsform des computerimplementierten Verfahrens 200 weist dieses in einem neunten Arbeitsschritt 209 das Bestimmen einer Konfidenz für die ermittelte Art von Objekten 1e, 1f auf.
Diese bestimmte Konfidenz wird in einem zehnten Arbeitsschritt 210 vorzugsweise mit einer vorgegebenen Mindestkonfidenz verglichen. Eine solche Mindestkonfidenz ist vorzugsweise etwa 98 %.
Wenn die bestimmte Konfidenz unter der vorgegebenen Mindestkonfidenz liegt, so werden von dem Verfahren 200 vorzugsweise Steuerbefehle für ein Mikroskopsystem 3 (nicht dargestellt) in einem elften Arbeitsschritt 211 erzeugt. Die Steuerbefehle bewirken weiter vorzugsweise, dass das Mikroskopsystem 3 automatisiert wenigstens ein weiteres Mikroskopbild wenigstens eines der lokalisierten Bakterien 1e, 1f aufnimmt.
Das Mikroskopsystem 3 wird dabei vorzugsweise in der Weise gesteuert, dass dieses wenigstens ein weiteres Mikroskopbild einer Probe aufnimmt, welche weitere Bakterien, insbesondere Bakterien derselben Population wie jene, welche auf den bereits vorhandenen Mikroskopbildern 2c zu sehen sind, aufnimmt.
Vorzugsweise wird das Verfahren 200 dabei so lange wiederholt, bis die bestimmte Konfidenz die Mindestkonfidenz in etwa erreicht oder übersteigt oder die Zahl der weiteren Mikroskopbilder eine vorgegebene maximale Anzahl an weiteren Mikroskopbildern erreicht.
Wird innerhalb der maximalen Anzahl an weiteren eingelesenen Mikroskopbildern die Mindestkonfidenz nicht erreicht, so wird in einem zwölften Arbeitsschritt 212 vorzugsweise eine neue Art von Objekten definiert.
Auch diese neu definierte Art von Bakterien 1e, 1f wird vorzugsweise in dem dreizehnten Arbeitsschritt 213 des Verfahrens 200 ausgegeben. Auf der Grundlage dieser neuen Art von Bakterien 1e, 1f und den dazugehörigen Mikroskopbildern kann wiederum ein künstliches neuronales Netz 5 (nicht dargestellt) mit einem Verfahren 100 zum Trainieren des künstlichen neuronalen Netzes trainiert werden. Hierfür werden die Mikroskopbilder 2c in dem Verfahren 100 in dem ersten Arbeitsschritt 101 eingelesen und die neue Art von Bakterien 1e, 1f dem künstlichen neuronalen Netz 5 als Ground Truth bereitgestellt.
Je ähnlicher Populationen von verschiedenen Arten von Bakterien 1e, 1f sind, desto mehr Mikroskopbilder bzw. Individuen von Bakterien 1e, 1f werden benötigt, um in dem Verfahren 100 zwischen den jeweiligen Populationen bzw. den Arten von Bakterien 1e, 1f der Populationen unterscheiden zu können. Dies wird anhand der beiden in 3e gezeigten Punktwolke nachfolgend erläutert.
Die dort dargestellte Punktwolke könnte sowohl die Punktwolke 4c einer ersten Population einer ersten Art A an Bakterien sein als auch die Punktwolke 4d einer zweiten Population und damit einer zweiten Art B an Bakterien. Wie aus der 3e hervorgeht, liegen mehr Punkte der Punktwolke in jenem Bereich 4c des Merkmalsraums, welcher eine die Punktewolke 4c einer der Arten von Bakterien 1e, 1f definiert. 3e verdeutlicht, dass, je mehr Gemeinsamkeiten die Bereiche 4c, 4d aufweisen, welche jeweils Punktewolken verschiedener Populationen definieren, bzw. je mehr diese beiden Bereiche überlappen, desto mehr Individuen von Bakterien 1e, 1f werden benötigt, um die Bakterien 1e, 1f der Populationen der ersten A oder der zweiten B Art von Bakterien zuzuordnen.
5 zeigt ein Ausführungsbeispiel eines Systems 10 zum Trainieren eines künstlichen neuronalen Netzes 5 zum Identifizieren von Bakterienarten 1a, 1b; 2c, 1d; 1e, 1f in einem Mikroskopbild 2a, 2b, 2c anhand von Populationen jeweils einer Bakterienart 1a, 1b; 1c, 1d; 1e, 1f.
Das System 10 weist vorzugsweise eine erste Schnittstelle zum Einlesen einer Vielzahl von Mikroskopbildern 2a, 2b, 2c auf, welche Bakterien 1a, 1b; 2c, 1d; 1e, 1f abbilden.
Des Weiteren weist das System 10 vorzugsweise Mittel 12 zum Lokalisieren der Bakterien 1a, 1b; 2c, 1d; 1e, 1f in den Mikroskopbildern 2a, 2b, 2c mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsverfahrens auf.
Vorzugsweise weist das System 10 des Weiteren Mittel 13 zum Extrahieren von Merkmalen x_i, y_i, z_i der Objekte 1a, 1b; 2c, 1d; 1e, 1f aus den Mikroskopbildern 2a, 2b, 2c auf. Wie bereits erläutert, spannen die Merkmale x_i, y_i, z_i der Objekte 1a, 1b; 2c, 1d; 1e, 1f einen Merkmalsraum 3 auf.
Des Weiteren weist das System 10 vorzugsweise Mittel 14 zum Zusammenfassen der extrahierten Merkmale x_i, y_i, z_i jeweils einer Bakterie 1a, 1b; 2c, 1d; 1e, 1f in jeweils einem Merkmalsvektor $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
auf, wobei die Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
definierte Punkte einer Punktwolke 4a, 4b, 4c in dem Merkmalsraum 3 beschreiben.
Des Weiteren weist System 10 vorzugsweise Mittel 15 zum Einlesen von Ground-Truth-Daten auf, welche die Objekte 1a, 1b; 2c, 1d; 1e, 1f der Population charakterisieren.
Weiter vorzugsweise weist das System 10 eine zweite Schnittstelle 16 zum Bereitstellen der Punktwolke 4a, 4b, 4c und/oder von Merkmalen der Punktwolke 4, 4b, 4c zusammen mit den Ground-Truth-Daten an das künstliche neuronale Netz 5 auf.
Die erste Schnittstelle 11 und die zweite Schnittstelle 16 können hierbei aber auch als eine einzige Schnittstelle ausgebildet sein. Vorzugsweise sind beide Schnittstellen 11, 16 als Datenschnittstellen, insbesondere eine einzige Datenschnittstelle, ausgebildet.
6 zeigt ein Ausführungsbeispiel eines Systems 20 zum Identifizieren einer Bakterienart 1e, 1f anhand einer Population der Bakterien 1e, 1f im Mikroskopbild 2a, 2b, 2c, welches durch ein Mikroskopsystem 3 erzeugt ist.
Vorzugsweise weist das System 20 dabei eine erste Schnittstelle 21 zum Einlesen von Mikroskopbildern 2c auf.
Weiter vorzugsweise weist das System 20 Mittel 22 zum Lokalisieren von Bakterien 1e, 1f in dem Mikroskopbild 2c auf. Vorzugsweise kommt hierbei ein Bildverarbeitungsverfahren und/oder ein Bilderkennungsverfahren zum Einsatz.
Des Weiteren weist das System 20 vorzugsweise Mittel 23 zum Extrahieren von Merkmalen x_i, y_i, z_i, für jedes separierte Individuum der Bakterien 1e, 1f auf.
Weiter vorzugsweise weist das System 20 Mittel 24 zum Zusammenfassen der extrahierten Merkmale x_i, y_i, z_i, jeweils eines Individuums der Bakterien 1e, 1f in jeweils einem Merkmalsvektor $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
auf, wobei auch durch die Merkmalsvektoren $(\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})$
der Bakterien 1e, 1f definierte Punkte einer Punktwolke 4c in dem Merkmalsraum 3 beschrieben werden.
Weiter vorzugsweise weist das System 20 Mittel 25 zum Ermitteln der Bakterienart der Populationen auf der Grundlage der Punktwolke 4c und/oder von Merkmalen der Punktwolke 4c mittels eines globalen Klassifikators auf. Vorzugsweise beruht auch dieser Klassifikator auf einem Maschinenlern-Algorithmus, insbesondere auf einem künstlichen neuronalen Netz 5.
Schließlich weist auch das System 20 vorzugsweise eine zweite Schnittstelle 26 zum Ausgeben der Bakterienart der Population auf.
Die im Vorhergehenden beschriebenen Verfahren 100, 200 und Systeme 10, 20 können dabei außer für die Identifikation einer Population für weitere Anwendungen eingesetzt werden:

So können beispielsweise Mikroskopbilder 2c daraufhin untersucht werden, ob eine bestimmte Population aus einer Population einer Liste an möglichen vorgegebenen Populationen vorliegt. Dies schließt insbesondere auch den Fall ein, dass keine der Populationen aus der Liste vorliegt.

Des Weiteren kann mittels der vorbeschriebenen Verfahren 100, 200 und Systeme 10, 20 durch Bestimmen der Anzahl an Individuen in einem jeweiligen Bildausschnitt eine Konzentration einer jeweiligen Objektart bzw. Bakterienart je Population bestimmt werden.
Schließlich können auch aus einer Datenbank mit Mikroskopbildern 2c verschiedener Populationen ähnliche Populationen identifiziert werden, indem Punktwolken im Merkmalsraum miteinander verglichen werden.
Es sei darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt. Insbesondere können die obigen Erläuterungen von Ausführungsbeispielen auf andere mikroskopischen Objekte, insbesondere Moleküle, Viren, Zellen oder auch Partikel, übertragen werden.
Bezugszeichenliste

1a, 1b, 1c, 1d, 1e, 1f: Objekt
2: Mikroskopbild
3: Merkmalsraum
4a, 4b, 4c, 4d: Bereich einer Punktwolke
5: Künstliches Neuronales Netz
xi, yi, zi: Merkmal
: Merkmalsvektor
10: System zum Trainieren eines künstlichen neuronalen Netzes
11, 21: erste Schnittstelle
12, 22: Mittel zum Lokalisieren
13, 23: Mittel zum Extrahieren
14, 24: Mittel zum Zusammenfassen
15: Mittel zum Einlesen
16, 26: zweite Schnittstelle
20: System zum Identifizieren einer Art von Objekten
25: Mittel zum Ermitteln

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111718 A1 [0007]

Zitierte Nicht-Patentliteratur

Haase D. & Amthor, M., „Rethinking depthwise separable convolutions: How intrakernel correlations lead to improved MobileNets“, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, Seiten 14600-14609 [0034]
Sharif Razavian et al., „CNN features off-the-shelf: an astounding baseline for recognition“, Proceedings of the IEEE conference on computer vision and pattern recognition workshops (2014), Seiten 806-813 [0084]
Sanchez, J. et al., „Image classification with the fisher vector: Theory and practice“, International journal of computer vision, 2013, 105(3), 222-245 [0085]
Jegou, H. et al., „Aggregating local descriptors into a compact image representation“, in 2010 IEEE computer society conference on computer vision and pattern recognition, pp. 3304-3311 [0086]
Qi, C. R. et al., „Pointnet: Deep learning on point sets for 3d classification and segmentation“, Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660 [0125]
Wang, Y. et al., „Dynamic graph cnn forlearning on point clouds“, Acm Transactions On Graphics (tog), 2019, 38(5), 1-12 [0127]
Liu, Y. et al., „Relation-shape convolutional neural network for point cloud analysis, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 8895-8904 [0128]

Claims

Computerimplementiertes Verfahren (100) zum Trainieren eines künstlichen neuronalen Netzes (5) zum Identifizieren von Arten von Objekten in einem Mikroskopbild (2a; 2b; 2c), insbesondere von Organismen und/oder Viren, anhand von Populationen jeweils einer Art der Objekte (1a, 1b; 1c, 1d; 1e, 1f), die folgenden Arbeitsschritte aufweisend: Einlesen (101) einer Vielzahl von Mikroskopbildern (2a, 2b), welche Objekte (1a, 1b; 1c, 1d abbilden; Lokalisieren (102) von Objekten in den Mikroskopbildern (2a; 2b) mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsverfahrens; Extrahieren (104) von Merkmalen (x_i, y_i, z_i) der Objekte (1a, 1b; 1c, 1d) aus den Mikroskopbildern (2a; 2b; 2c), wobei die Merkmale (x_i, y_i, z_i) der Objekte (1a, 1b; 1c, 1d) einen Merkmalsraum (3) aufspannen; Zusammenfassen (105) der extrahierten Merkmale (x_i, y_i, z_i) jeweils eines Objekts (1a, 1b; 1c, 1d) in jeweils einem Merkmalsvektor $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
wobei durch die Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}))$
definierte Punkte eine Punktwolke (4a, 4b) in dem Merkmalsraum (3) beschreiben; Einlesen (108) von Ground Truth-Daten, welche die Art der Objekte (1a, 1b; 1c, 1d; 1e, 1f) der Population (4a; 4b, 4c) charakterisieren; und Bereitstellen (109) der Punktwolke und/oder von Merkmalen der Punktewolke zusammen mit den Ground Truth-Daten an das künstliche neuronale Netz (5).
Verfahren (100) nach Anspruch 1, wobei die Mikroskopbilder (2a, 2b) ausschließlich Objekte (1a, 1b, 1c, 1d) einer einzigen ersten Art abbilden.
Verfahren (100) nach Anspruch 2, des Weiteren die folgenden Arbeitsschritte aufweisend: Einlesen (110) einer Vielzahl von weiteren Mikroskopbildern (2a, 2b), welche ausschließlich Objekte (1c, 1d) einer zweiten Art in einer zweiten Population abbilden; Lokalisieren (111) der Objekte (1c, 1d) die zweiten Art in den weiteren Mikroskopbildern (2b) mittels des Bildverarbeitungsverfahrens und/oder des Bilderkennungsverfahrens; Extrahieren (112) von Merkmalen (x_i, y_i, z_i) der Objekte (1c, 1d) der zweiten Art aus den weiteren Mikroskopbildern (2b); Zusammenfassen (113) der extrahierten Merkmale (x_i, y_i, z_i) jeweils eines Objekts (1c, 1d) der zweiten Art in jeweils einem Merkmalsvektor $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
wobei durch die Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}))$
definierte Punkte eine weitere Punktwolke (4b) in dem Merkmalsraum (3) beschreiben; Einlesen (114) von weiteren Ground Truth-Daten, welche die zweite Art der Objekte (1c, 1d) der zweiten Population charakterisieren; und Bereitstellen (115) der weiteren Punktewolke (4b) und/oder von Merkmalen der weiteren Punktwolke (4b) zusammen mit den weiteren Ground Truth-Daten an das künstliche neuronale Netz (5).
Computerimplementiertes Verfahren (200) zum Identifizieren einer Art von Objekten (1e, 1f), insbesondere von Organismen und/oder Viren, anhand einer Population der Objekte (1e, 1f) in einem Mikroskopbild (2c), welches durch ein Mikroskopsystem (3) erzeugt ist, die folgenden Arbeitsschritte aufweisend: Einlesen (201) von Mikroskopbildern (2c); Lokalisieren (202) von Objekten (1e, 1f) in dem Mikroskopbild (2a; 2b; 2c) mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsverfahrens; Extrahieren (204) von Merkmalen (x_i, y_i, z_i) für jedes separierte Objekt (1e, 1f), wobei die extrahierten Merkmale (x_i, y_i, z_i) aller Objekte (1e, 1f) einen Merkmalsraum (3) aufspannen; Zusammenfassen (205) der extrahierten Merkmale (x_i, y_i, z_i) jeweils eines Objekts (1e, 1f) in jeweils einem Merkmalsvektor $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
wobei durch die Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}))$
der Objekte (1e, 1f) definierte Punkte eine Punktwolke (4c) in dem Merkmalsraum (3) beschreiben; Ermitteln (208) der Art von Objekten (1e, 1f) in der Population auf der Grundlage der Punktewolke (4c) und/oder von Merkmalen der Punktewolke (4c) mittels eines Klassifikators, welcher vorzugsweise auf einem Maschinenlernalgorithmus basiert, insbesondere auf einem künstlichen Neuronalen Netz (5), welches nach einem der Ansprüche 1 bis 4 trainiert ist; und Ausgeben (213) der Art von Objekten (1a, 1b; 1c, 1d; 1e, 1f) der Population.
Verfahren (200) nach Anspruch 4, wobei der Klassifikator zusätzlich Kontextinformation, insbesondere Information über eine dem Mikroskopbild (2c) zugrundeliegende Probe, einen Nutzer, welcher die Probe untersucht, und/oder das Mikroskopsystem (3) berücksichtigt.
Verfahren (200) nach Anspruch 4 oder 5, wobei der Arbeitsschritt des Lokalisierens (202) von Objekten (1e, 1f) ein Ausführen eines Sliding-Window-Bildverarbeitungsverfahrens umfasst, welches Bildausschnitte des Mikroskopbilds (2c) generiert, wobei nachfolgend für jeden Bildausschnitt Merkmale (x_i, y_i, z_i) der dort enthaltenen Objekte (1e, 1f) extrahiert und zusammengefasst werden und jeder Bildausschnitt mittels des Klassifikators auf das Vorliegen einer ersten Art von Objekten (1e, 1f) und auf das Vorliegen einer zweiten Art von Objekten (1e, 1f) geprüft wird.
Verfahren (200) nach einem der Ansprüche 4 bis 6, des Weiteren die folgenden Arbeitsschritte aufweisend: Bestimmen (209) einer Konfidenz für die ermittelte Art von Objekten (1e, 1f); Vergleichen (210) der bestimmten Konfidenz mit einer vorgegebenen Mindestkonfidenz; Erzeugen (211), wenn die bestimmte Konfidenz unter der vorgegebenen Mindestkonfidenz liegt, von Steuerbefehlen für das Mikroskopsystem (3) in der Weise, dass dieses ein weiteres Mikroskopbild aufnimmt; wobei das Verfahren (200) so lange wiederholt wird, bis die bestimmte Konfidenz die Mindestkonfidenz erreicht oder übersteigt oder eine vorgegebene maximale Anzahl an weiteren Mikroskopbildern eingelesen wurde.
Verfahren (200) nach Anspruch 7, des Weiteren den folgenden Arbeitsschritt aufweisend: Definieren (212) einer neuen Art von Objekten, wenn innerhalb der maximalen Anzahl an weiteren eingelesenen Mikroskopbildern die Mindestkonfidenz nicht erreicht ist und/oder wenn sich die Verteilung der Punktewolke im Merkmalsraum (3) der Population von bekannten Populationen durch eine vorgegeben Metrik unterscheidet.
Verfahren (100, 200) nach einem der vorhergehenden Ansprüche, des Weiteren den folgenden Arbeitsschritt aufweisend: Ausführen (106; 206) einer Dimensionsreduktion der Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
insbesondere mittels einer Hauptkomponentenanalyse, einer nichtnegativen Matrixfaktorisierung, einer Unabhängigkeitsanalyse, einer linearen Diskriminanzanalyse, einer Einbettung mittels eines Maschinenlernverfahrens und/oder einer t-SNE-Methode.
Verfahren (100, 200) nach einem der vorhergehenden Ansprüche, des Weiteren den folgenden Arbeitsschritt aufweisend: Extrahieren (107; 207) von Merkmalen der Punktwolke (4a; 4b; 4c), wobei die Merkmale der Punktwolke (4a; 4b; 4c) einen zweiten Merkmalsraum aufspannen.
Verfahren (100, 200) nach Anspruch 10 in Verbindung mit einem der Ansprüche 4 bis 9, wobei der Klassifikator auf einer Maschinenlern-Modell in Bezug auf die Merkmale der Punktwolke (4c) in dem zweiten Merkmalsraum beruht, insbesondere einem künstlichen neuronalen Netz, einem Support-Vector-Machine-Modell, einem k-Nearest-Neighbor-Modell, oder einem Entscheidungsbaum-Modell.
Verfahren (100, 200) nach Anspruch 10 in Verbindung mit einem der Ansprüche 4 bis 9, wobei die Arbeitsschritte des Extrahierens (204), des Zusammenfassens (205) und des Klassifizierens (208) gemeinsam durch den Klassifikator ausgeführt werden, welcher vorzugsweise auf einem künstlichen neuronalen Netz beruht und/oder durch wenigstens eine der folgenden Maschinenlern-Methoden erzeugt ist: • PointNet; • PointNet++; • Dynamic-Graph-CNN; • Relation-Shape-CNN; und • Graph-Neural-Network.
Verfahren (100, 200) nach einem der vorhergehenden Ansprüche, wobei Merkmale der Punktwolke (4a; 4b; 4c) aus der folgenden Gruppe an Merkmalen der Punktwolke (4a; 4b; 4c) extrahiert werden: • Lage und/oder Mittelpunkt; • statistische Maße, insbesondere Ausdehnung und Varianz entlang einer Achse des Merkmalsraums; • Form; • umschließende konvexe Hülle; • kleinste umschließende Hypersphäre; • Histogramm, insbesondere mehrdimensionales Histogramm, in Bezug auf eine Häufung von bestimmten Objekt-Prototypen auf der Grundlage der jeweiligen Merkmalsvektoren; und • Signatur mittels Fisher-Vector-Encodings auf der Grundlage der jeweiligen Merkmalsvektoren.
Verfahren (100, 200) nach einem der vorhergehenden Ansprüche, des Weiteren den folgenden Arbeitsschritt aufweisend: Bilden (103; 203) von Bildausschnitten des Mikroskopbilds (2a; 2b; 2c), in welchen jeweils ein einzelnes Objekt (1a, 1b; 1c, 1d; 1e, 1f) angeordnet ist, wobei die Merkmale (x_i, y_i, z_i) des jeweils einzelnen Objekts (1a, 1b; 1c, 1d; 1e, 1f) ausschließlich in dessen Bildausschnitt extrahiert werden.
Verfahren (100, 200) nach einem der vorhergehenden Ansprüche, wobei Merkmale (x_i, y_i, z_i) der Objekte (1a, 1b; 1c, 1d; 1e, 1f) aus der folgenden Gruppe an Merkmalen (x_i, y_i, z_i) extrahiert werden: • Grauwertmerkmale; • Statistische Momente der Helligkeiten, insbesondere deren Mittelwert, Varianz, Schiefe, Kurtosis, Minimum, Maximum, Median, Perzentile und/oder Histogramm-Merkmale; • Räumlich aggregierte quantisierte Helligkeiten; • Geometrische Merkmale; • Form; • Größe und/oder Fläche; • Umfang; • Seitenverhältnis; • Elliptizität; • Lage, insbesondere in Koordinaten; • Texturmerkmale, insbesondere Co-Okkurrenz-Merkmale, Local Binary Patterns, oder insbesondere Texturmerkmale basierend auf GLCM, Fisher-Vector-Encoding und/oder VLAD; und • Strukturmerkmale, insbesondere ein Deep Feature, wobei Merkmalskarten oder Merkmalsvektoren und/oder andere Zwischenrepräsentationen der Strukturmerkmale mittels tiefer neuronaler Netze, insbesondere CNNs, Transformer, extrahiert sind.
System (10) zum Trainieren eines künstlichen neuronalen Netzes (5) zum Identifizieren von Arten von Objekten (1a, 1b; 1c, 1d; 1e, 1f) in einem Mikroskopbild (2a; 2b; 2c), insbesondere von Organismen und/oder Viren, anhand von Populationen jeweils einer Art der Objekte (1a, 1b; 1c, 1d; 1e, 1f), aufweisend: eine erste Schnittstelle (11) zum Einlesen einer Vielzahl von Mikroskopbildern (2a; 2b; 2c), welche Objekte abbilden; Mittel (12) zum Lokalisieren von Objekten (1a, 1b; 1c, 1d; 1e, 1f) in den Mikroskopbildern (2a; 2b; 2c) mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsverfahrens; Mittel (13) zum Extrahieren von Merkmalen (x_i, y_i, z_i) der Objekte (1a, 1b; 1c, 1d; 1e, 1f) aus den Mikroskopbildern (2a; 2b; 2c), wobei die Merkmale (x_i, y_i, z_i) der Objekte (1a, 1b; 1c, 1d; 1e, 1f) einen Merkmalsraum (3) aufspannen; Mittel (14) zum Zusammenfassen der extrahierten Merkmale (x_i, y_i, z_i) jeweils eines Objekts (1a; 1b; 1c; 1d; 1e; 1f) in jeweils einem Merkmalsvektor $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
wobei durch die Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}))$
definierte Punkte eine Punktwolke (4a; 4b; 4c) in dem Merkmalsraum (3) beschreiben; Mittel (15) zum Einlesen von Ground Truth-Daten, welche die Art der Objekte (1a, 1b; 1c, 1d; 1e 1f) der Population charakterisieren; und eine zweite Schnittstelle (16) zum Bereitstellen der Punktewolke (4a; 4b; 4c) und/oder von Merkmalen der Punktewolke (4a; 4b; 4c) zusammen mit den Ground Truth-Daten an das künstliche neuronale Netz (5).
System (20) zum Identifizieren einer Art von Objekten (1e, 1f), insbesondere von Organismen und/oder Viren, anhand einer Population der Objekte (1a, 1b; 1c, 1d; 1e, 1f) in einem Mikroskopbild (2a; 2b; 2c), welches durch ein Mikroskopsystem (3) erzeugt ist, aufweisend: eine erste Schnittstelle (21) zum Einlesen von Mikroskopbildern (2c); Mittel (22) zum Lokalisieren von Objekten (1e, 1f) in dem Mikroskopbild (2c) mittels eines Bildverarbeitungsverfahrens und/oder eines Bilderkennungsverfahrens; Mittel (23) zum Extrahieren von Merkmalen (x_i, y_i, z_i) für jedes separierte Objekt (1e, 1f), wobei die extrahierten Merkmale (x_i, y_i, z_i) aller Objekte (1a, 1b; 1c, 1d; 1e, 1f) einen Merkmalsraum (3) aufspannen; Mittel (24) zum Zusammenfassen der extrahierten Merkmale (x_i, y_i, z_i) jeweils eines Objekts (1e, 1f) in jeweils einem Merkmalsvektor $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix})),$
wobei durch die Merkmalsvektoren $((\begin{matrix} x_{i} \\ y_{i} \\ z_{i} \end{matrix}))$
der Objekte definierte Punkte eine Punktwolke (4c) in dem Merkmalsraum (3) beschreiben; Mittel (25) zum Ermitteln der Art von Objekten (1e, 1f) der Population auf der Grundlage der Punktwolke (4c) und/oder von Merkmalen der Punktewolke (4c) mittels eines Klassifikators, welcher vorzugsweise auf einem Maschinenlernalgorithmus basiert, insbesondere auf einem künstlichen Neuronalen Netz (5); und eine zweite Schnittstelle (26) zum Ausgeben der Art von Objekten (1e, 1f) der Population.
Computerprogramm und/oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, welche, wenn sie von einem Computer oder einem System (10, 20) nach Anspruch 16 oder 17 ausgeführt werden, den Computer oder das System (10, 20) dazu veranlassen, die Schritte eines Verfahrens (100; 200) gemäß einem der Ansprüche 1 bis 15 auszuführen.
Künstliches Neuronales Netz zum Identifizieren von Arten von Objekten in einem Mikroskopbild (2a; 2b; 2c), insbesondere von Organismen und/oder Viren, anhand von Populationen jeweils einer Art der Objekte (1a, 1b; 1c, 1d; 1e, 1f), welches mittels eines Verfahrens (100) nach einem der Ansprüche 1 bis 3 oder 9 bis 15 trainiert ist.