DE102021114349A1

DE102021114349A1 - Verfahren und Vorrichtung zur Aufnahme von Trainingsdaten

Info

Publication number: DE102021114349A1
Application number: DE102021114349.7A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase; Alexander Freytag; Christian Kungel
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2022-12-08
Also published as: WO2022253574A1; CN117597709A

Abstract

Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm-Produkt zur Aufnahme von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie, wobei die Trainingsdaten aus Paaren von Eingabebildern und Ausgabebildern der Bildverarbeitung bestehen, das Verfahren umfassend Aufnehmen mindestens eines Bildes, Analysieren des mindestens eines Bildes nach vorbestimmten Kriterien, Bestimmen von Aufnahmeparameter für das Aufnehmen von Ausgabebildern auf der Grundlage von Ergebnissen des Analysierens, und Aufnehmen von Ausgabebildern auf der Grundlage der bestimmten Aufnahmeparameter.

Description

Die Erfindung betrifft ein Aufnehmen von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie.
Die vorliegende Erfindung kann prinzipiell für jede Art der Bildverarbeitung, d.h. Be- und Verarbeiten eines Eingabebildes in ein Ausgabebild durch maschinelles Lernen angewendet werden. Maschinelles Lernen kann vielseitig zur Bildverarbeitung eingesetzt werden. Beispielsweise kann ein künstliches neuronales Netzwerk (KNN) eingesetzt werden, auch nur als neuronales Netz bezeichnet, was eine spezielle Form des maschinellen Lernens ist. Einige Beispiele für solche Arten der Bildverarbeitung sind die Folgenden:

Entrauschen von Bildern (engl. denoising oder noise reduction, kurz NR), wobei ein neuronales Netz aus stärker verrauschten Bildern wieder ein rauschärmeres Bild erzeugen kann.

Superauflösen, (engl. super resolution), auch als Hochauflösung oder Auflösungsverbesserung bekannt, wobei ein neuronales Netz die Auflösung von Bildern erhöhen kann. Hierbei kann insbesondere durch höheren Rechenaufwand eine höhere Qualität erreicht. Derartige Methoden sind unter anderem für medizinische Zwecke, Fotografie von astronomischen Objekten, forensische Analysen von Bilddaten, Lebendzell-Bildgebung und vielen mehr in Anwendung.
Entfaltung (engl. deconvolution), wodurch sich ebenfalls die Auflösung eines Bildes vergrößern lässt, indem eine zuvor angewendete Faltung rückgerechnet wird. Eine Punktspreizfunktion (PSF, engl. point spread function) beschreibt die Faltung einer Quelle zu einem aufgenommenen Signal. Die Entfaltung versucht dann, die durch die PSF beschriebenen Effekte wieder rückgängig zu machen. Für die Entfaltung kann eine bekannte PSF genutzt werden. Es gibt aber auch eine sogenannte Blinde Entfaltung (engl. blind deconvolution), bei welcher keine PSF bekannt sein muss.
Ein weiteres Einsatzgebiet ist beispielsweise die künstliche Alterung oder Verjüngung von abgebildeten Personen, die auch gelegentlich über GAN (engl. für generative adversarial networks) erreicht wird. GANs sind Teil des überwachten Lernens und bestehen aus zwei künstlichen neuronalen Netzwerken, bei denen das eine, der Generator, Bilder (sog. Kandidaten) modifiziert, und das andere, der Diskriminator, die Kandidaten dann bewertet. Beide lassen die Ergebnisse davon in ihr Lernen einfließen, so dass die Kandidaten ständig besser werden, im Sinne des zu erreichenden Zieles, wobei der Generator versucht zu lernen, Bilder zu produzieren, die der Diskriminator nicht von echten Bildern unterscheiden kann, während der Diskriminator versucht zu lernen die immer bessern werdenden Kandidaten des Generators von echten, reellen Bildern zu unterscheiden.
Komprimiertes Erfassen (engl. compressed sensing, compressive sensing, compressive sampling oder sparse sampling), wobei ein neuronales Netz dünnbesetzte Signale oder Informationsquellen in Bilddaten erfassen und rekonstruieren kann. Da sich die Informationen aufgrund ihrer Redundanz ohne wesentlichen Informationsverlust komprimieren lassen, wird dies bei der Abtastung der Signale zur deutlichen Verringerung der Abtastrate im Vergleich zu herkömmlichen Verfahren effizient genutzt.
Virtuelles Färben oder Einfärben (engl. virtual staining) bezeichnet im Kontext der Mikroskopie das Erzeugen von Bildern eines Zielkontrastes (z.B. Fluoreszenz) aus entsprechenden Bildern eines Quellkontrastes (z.B. Hellfeld) durch Bildanalyse & - Verarbeitung. Insbesondere kommen hier Bild-zu-Bild-Verfahren basierend auf tiefem Lernen (engl. Deep Learning), aber auch andere maschinelle Lernmodelle zum Einsatz. Solche Maschinen-Lern-Modelle (engl. machine learning models) werden zuerst mithilfe von Trainingsdaten trainiert, damit sie anschließend in der sogenannten Inferenz gute Vorhersagen treffen können. Diese Trainingsdaten bestehen dabei aus Bildern, welche als Eingabe für das Modell dienen, sowie Annotationen, welche die entsprechenden gewünschten Modellausgaben angeben.
Im Falle von virtuellem Färben sind die Eingabebilder Bilder des Quellkontrastes (oftmals Hellfeld), und die Annotationen sind korrespondierende Bilder des Zielkontrastes (oftmals Fluoreszenzkontraste, beispielsweise durch Einbringung eines DNS-Markers (DNS steht für Desoxyribonukleinsäure, engl. DNA für deoxyribonucleic acid) wie beispielsweise DAPI (4',6-Diamidin-2-phenylindol)). Andere aktuell eingesetzte Farbstoffe sind Hoechst 33342, NucSpot, Spirochromse SPY, GPF (grün fluoreszierendes Protein) und tdTomato.
Aufgrund der großen Probenvielfalt, die mit Mikroskopen untersucht werden kann, gestaltet es sich schwierig, ein allgemein passendes vortrainiertes Modell bereitzustellen, mit dem virtuelles Färben erzeugt werden kann. Daher kann für jede Untersuchung das Modell mit eigenen Trainingsdaten trainiert werden.
Dabei kann die Untersuchung auch eine neue Untersuchungsart (z.B. eine neue Kombination aus Zellart und Marker) sein. Das Anwendungsszenario kann hierbei probenspezifisch als auch proben-typ-spezifisch sein. Das künstliche neuronale Netz (KNN) kann im Übrigen auch kontinuierlich weitergelernt werden (englisch: continuous learning). Das Modell kann beim Benutzer immer weiter nachgelernt werden. Dies kann beispielsweise durch Aufnahme neuer Proben geschehen. Verwendet ein Benutzer beispielsweise immer nur einen bestimmten Proben-Typ, wie etwa DAPI-Proben, so kann ein statistisches Modell darauf besonders nachtrainiert werden.
Dies bedeutet, dass oftmals auch die Trainingsdaten jeweils auf der zu untersuchenden Probe aufgenommen werden müssen, wodurch die Probenqualität leidet. Darüber hinaus erfordert das Aufnehmen von Trainingsdaten Zeit, und das Aufnehmen von sehr vielen Trainingsdaten zieht einen hohen Aufwand zum Speichern der Daten nach sich. Nicht zuletzt dauert ein Anlernen von Maschinen-Lern-Modellen auf unnötig großen Lerndatensätzen in der Regel erheblich länger als auf kleineren Datensätzen.
Gemäß dem Stand der Technik werden oftmals vortrainierte, einsatzbereite Modelle für das virtuelle Färben (engl. ready-to-use virtual staining models) ausgeliefert. Solche vortrainierten Modelle können aber nicht die gesamte Probenvielfalt im Feld abdecken. Außerdem werden Anomalien in den Daten, die meist aber interessante Forschungspunkte darstellen, nicht hinreichend gut abgebildet. Es müssten auch alle möglichen Farbstoffe und Zellbestandteile oder Probenarten abgedeckt werden. Dies ist aber nur durch speziell trainierte Modelle möglich.
Lösungen hierfür sind im Stand der Technik stets, dass das Modell selbst auf die konkreten Daten trainiert wird. Hierbei werden Eingangs- und Ausgabebilder der Bildverarbeitung (d.h. beispielsweise Quell- und Zielkontrast für das virtuelle Färben) automatisiert aufgenommen. Das ist aber nicht probenschonend, da immer das ganze Bild und/oder jedes Bild in einer Zeitserie in beiden Kontrasten aufgenommen wird. Das bedeutet insbesondere beim virtuellen Färben, dass die Proben mit einem Farbstoff behandelt werden müssen, um die Aufnahmen im Zielkontrast herstellen zu können. Alternativ werden die Ausgabebilder in regelmäßigen oder zufälligen Intervallen aufgenommen. Hierbei können aber kurzeitige morphologische Zustände und/oder Veränderungen oder außergewöhnliche Strukturen verpasst werden, welche dann durch das Modell nicht gut abgebildet werden können.
Darüber hinaus wird in der Regel immer die gesamte Probe behandelt, um die Ausgabebilder für das Training herzustellen, was ebenfalls eine unnötig höhere Belastung der Probe darstellt.
Dies gilt gleichermaßen für alle anderen zuvor beschriebenen Bildverarbeitungen, da die Proben zur Aufnahme der Trainingsdaten, also der nötigen Eingabebilder und Ausgabebilder der Bildverarbeitungen, in der Regel die Proben mehrfach aufgenommen werden müssen. Daher ist die Erfindung auch auf andere Arten der Bildverarbeitung oder Bildverbesserung anwendbar.
Es ist die Aufgabe der Erfindung, diese Nachteile des Standes der Technik zu beseitigen und ein verbessertes oder wenigstens alternatives Verfahren zur Bildverarbeitung in neuronalen Netzen vorzuschlagen.
Diese Aufgabe wird durch eine Vorrichtung und ein Verfahren gemäß den Ansprüchen gelöst.
Zum besseren Verständnis der Erfindung wird diese anhand der nachfolgenden Figuren näher erläutert.
Es zeigen jeweils in stark vereinfachter, schematischer Darstellung:

1 einen schematischen Verlauf einer Bildverarbeitung durch ein maschinelles Lernmodell, am Beispiel von virtuellem Färben, und
2 bis 5 verschiedene beispielhafte Kriterien die zur Aufnahme von Ausgabebildern herangezogen werden.

Einführend sei festgehalten, dass in den unterschiedlich beschriebenen Ausführungsformen gleiche Elemente mit gleichen Bezugszeichen bzw. gleichen Elementbezeichnungen versehen werden, wobei die in der gesamten Beschreibung enthaltenen Offenbarungen sinngemäß auf gleiche Elemente mit gleichen Bezugszeichen bzw. gleichen Elementbezeichnungen übertragen werden können. Auch sind die in der Beschreibung gewählten Lageangaben, wie z.B. oben, unten, seitlich usw. auf die unmittelbar beschriebene sowie dargestellte Figur bezogen und sind diese Lageangaben bei einer Lageänderung sinngemäß auf die neue Lage zu übertragen.
FIGURENBESCHREIBUNG
Ziel der Erfindung ist es das Aufnehmen der Trainingsdaten möglichst einfach zu gestalten, und gleichzeitig sicherzustellen, dass der aufgenommene Trainingsdatensatz möglichst informativ ist. Es werden auch Aufnahmen, die für das Training keinen wesentlichen Beitrag liefern können, vermieden, wodurch einerseits Zeit und Aufwand gespart werden können, andererseits aber auch insbesondere die Proben geschont werden.
Dadurch wird sichergestellt, dass die Benutzer, die oftmals keine besondere Expertise im Bereich maschinellen Lernens und/oder neuronaler Netzwerke besitzen, bezüglich dieses Themas entlastet werden, und sich auf die darüber liegende wissenschaftliche Aufgabe konzentrieren können.
Weiterhin kann sichergestellt werden, dass die Qualität und der Umfang der für die Maschinen-Lern-Modelle notwendigen Daten eventuell vorhandenen Standards gerecht werden.
Grundidee dieser Erfindung ist es, die Aufnahme von Trainings- und Testdaten für eine Bildverarbeitung dynamisch proben- und kontextabhängig durchzuführen. Konkret wird dadurch beispielsweise bestimmt, an welcher Position und zu welchem Zeitpunkt Daten aufgenommen werden sollen, welche anschließend für ein Training bzw. eine Modellauswertung genutzt werden. Dadurch wird u.a. die Probe geschont und der Zeitaufwand für die Datenaufnahme verringert.
In dieser Erfindung wird eine Vorrichtung und ein Verfahren zur Aufnahme von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie, und virtuelles Färben als ein exemplarischer Anwendungsfall davon, beschrieben.
Im Folgenden wird ein erfindungsgemäßes Verfahren zur Aufnahme von Bildern für Trainingsdaten beschrieben, wobei auch ein künstliches neuronales Netzwerk (KNN) für das maschinelle Lernen verwendet wird. Die Trainingsdaten bestehen aus Paaren von Eingabebildern und Ausgabebildern der Bildverarbeitung. Am Beispiel des virtuellen Einfärbens, wird das Modell mithilfe von Eingabebildern im Quellkontrast (beispielsweise Hellfeld) und entsprechend zugeordneten Ausgabebildern im Zielkontrast (beispielsweise Fluoreszenzkontrast) trainiert, um dann auf weiteren Bildern im Quellkontrast ein entsprechendes Ausgabebild, also das Zielkontrastbild, virtuell zu erzeugen, und nicht die Probe erst mit dem Farbstoff behandeln und dann das Ausgabebild aufnehmen zu müssen.
Die Bildverarbeitung kann hierbei ein virtuelles Färben, ein Entrauschen, ein Hochauflösen, eine Entfaltung, ein komprimiertes Erfassen oder eine andere Art einer Bildverbesserung bzw. Bildtransformation sein.
Das Verfahren umfasst das Aufnehmen mindestens eines Bildes. Das mindestens eine Bild, bzw. die Bilder werden dann nach vorbestimmten Kriterien analysiert. Anschließend werden Aufnahmeparameter für das Aufnehmen von weiteren Bildern, die Ausgabebildern und/oder Eingabebilder sein können, auf der Grundlage von Ergebnissen des Analysierens bestimmt. Schließlich werden die Ausgabebildern auf der Grundlage der bestimmten Aufnahmeparameter aufgenommen.
Das zu analysierende Bild bzw. die zu analysierenden Bilder, die in der Regel durch ein Mikroskop aufgenommen werden, können hierbei Eingabebilder oder Ausgabebilder sein. Es können mehrere Bilder aufgenommen werden, nur Eingabebilder, nur Ausgabebilder oder eine Kombination von beiden. Die Ausgabebilder können insbesondere Bilder sein, die das Verfahren bereits aufgenommen hat. Die Bilder können hierbei beispielsweise Übersichtsbilder, also Bilder, die einen größeren Bereich umfassen als die Eingabe- und Ausgabebilder, bzw. den Bereich einer Probe umfassen, der auf mehreren Eingabe- oder Ausgabebilder abgebildet wird. Diese Übersichtsbilder sind dann in geringerer Vergrößerung und/oder Auflösung als die Eingabe- und/oder Ausgabebilder verfügbar, aber können herangezogen werden, um zu bestimmen, wo interessante Regionen für das Trainieren liegen. Die Bilder können auch dünn abgetastete Eingabe- oder Ausgabebilder sein, die aber herangezogen werden können, um zu bestimmen, wo interessante Regionen für das Trainieren liegen.
Anschließend werden die aufgenommen Bilder nach vorbestimmten Kriterien analysiert. Die Analyse dient dazu, Bilder oder Bildbereiche zu ermitteln, für die weitere Aufnahmen gemacht werden sollen, um als Trainingsdaten zur Verfügung zu stehen.
Die Kriterien anhand derer die Bilder analysiert werden können beispielsweise Bildstrukturen sein, die in den Bilddaten enthalten sind. Andere beispielhafte Kriterien sind relevante morphologische Veränderungen und/oder relevante Bewegungen in einer Zeitserie von Bildern. Auch Ergebnisse einer Detektion von Anomalien und/oder Neuartigkeiten (engl. anomaly bzw. novelty detection), die Anomalien oder neu vorkommende Gruppierungen in den Proben, oder Ähnliches, erfassen, können ein Kriterium sein.
Weitere Kriterien können beispielsweise die Auswahl von neuen, informationstragenden Bildbereichen für eine Aufnahme der zugehörigen Target-Bilder sein, wobei diese Aufgabenstellung im Maschinenlern-Kontext auch bekannt ist als aktives Lernen (AL, engl. active learning). Detektion von Veränderungen und Neuartigkeiten (engl. change detection und novelty detection) sind Spezialfälle von AL-Strategien für Zeitreihenaufnahmen. Weitere Strategien sind beispielsweise generative Verfahren (etwa dichte-basierte Schätzer), welche für die Detektion von Neuartigkeiten genutzt werden können, Nutzungsverfahren (engl. exploitation method), welche das aktuell angelernte Modell für virtuelles Färben verwenden, und informationstragende Bildbereiche in Bezug auf dieses Modell auswählen (etwa basierend auf größter Vorhersageunsicherheit, oder bezüglich größtem erwartetem Informationsgewinn (engl. expected information gain), oder Ergebnisse einer Informations-Zugewinn-Abschätzung, d.h. Ausführung beispielsweise durch Auswertung der Vorhersage-Ungenauigkeit des Modells für virtuelles Färben).
Die 2 und 4 zeigen hierbei Konstellationen oder Zellen, die bereits hinreichend in den Trainingsdaten vorhanden sind. Hierbei muss keine Aufnahme des Zielkontrastes stattfinden.
Ein Beispiel für das Entscheiden, dass eine weitere Aufnahme stattfinden soll, ist im 3 zu sehen. Die im oberen Teil dargestellten Zellen sollen eine bisher nicht beobachtete Zellmorphologie zeigen. Somit soll dieser auch in Form des Ausgabebildes, d.h. im Zielkontrast aufgenommen werden, um das Modell darauf trainieren zu können.
Ein weiteres Beispiel zeigt 5. Das Eingabebild zeigt zum einen eine signifikante Änderung zeitlicher Art in der linken unteren Ecke an, zum anderen wurde eine bisher nicht vorgekommene Zellenkonstellation erfasst. Aus beiden Bereichen sollen nun Ausgabebilder aufgenommen werden, um das Modell darauf trainieren zu können. Für das Training eventuell erforderliche zusätzliche Eingabebilder, die ja korrespondierend zu allen Ausgabebildern der Trainingsdaten vorliegen müssen, können zusätzlich aufgenommen werden. D.h. falls von einem vorhandenen Eingabebild bestimmt wird, dass ein bestimmter Bereich als Ausgabebild für das Training vorliegen soll, kann der entsprechende Bereich auch als Eingabebild aufgenommen werden.
Welche Kriterien verwendet werden, kann hierbei manuell gewählt werden oder auch durch das Modell des maschinellen Lernens bestimmt werden. Es ist auch vorstellbar hierfür ein weiteres Modell des maschinellen Lernens einzusetzen.
Daraufhin werden auf der Grundlage der Analyse-Ergebnisse Aufnahmeparameter für das Aufnehmen von Ausgabebildern bestimmt. Die Aufnahmeparameter dienen der Bestimmung der aufzunehmenden Ausgabebilder, d.h. welche Proben, oder welche Bereiche davon, als Ausgabebild aufgenommen werden sollen. Die Aufnahmeparameter können beispielsweise die Angabe von relevanten Bildern oder Bildbereichen umfassen. Es kann auch die Information enthalten sein, in welcher Tiefenebene (z-Position) einer Probe eine Aufnahme gemacht werden soll. Die Aufnahmeparameter können auch ein oder mehrere Bilder einer Bilderreihe (d.h. Bilder einer Probe, die sich nur den Aufnahmezeitpunkt unterscheiden) für die Aufnahme anzeigen. Es kann weiterhin in den Aufnahmeparametern angezeigt werden, ob 2D- oder 3D-Aufnahmen gemacht werden sollen. Weitere Aufnahmeparameter, die bestimmt werden können, betreffen die Beleuchtungs-Intensität, den Aufnahmekontrast, das Aufnahmeverfahren, und Mikroskop-Einstellungen wie Objektiv, Lochblenden-Einstellungen (engl. pinhole settings) und Ähnliche. Selbstverständlich kann auch jede Kombination der obigen Aufnahmeparameter bestimmt werden.
Die Aufnahmeparameter für ein bestimmtes analysiertes Bild können selbstverständlich auch anzeigen, dass kein weiteres Bild aufgenommen werden soll.
Beispiele für bestimmbare Aufnahmekontraste sind nicht-Fluoreszenzkontrast, Fluoreszenzkontrast, Farbkontrast, Phasenkontrast, Differentialinterferenzkontrast, DIC, Elektronenmikroskopie und Röntgenmikroskopie.
Beispiele für bestimmbare Aufnahmeverfahren sind Hellfeld-Verfahren, Weitfeld-Verfahren, Dunkelfeld-Verfahren, Phasenkontrast-Verfahren, Polarisations-Verfahren, Differentialinterferenzkontrast-, DIC-, Verfahren, Auflichtmikroskopie-Verfahren, digitale Kontrastverfahren, Elektronenmikroskopieverfahren und Röntgenm ikroskopieverfahren.
Grundsätzlich kann sowohl das Analysieren der Bilder und/oder das Bestimmen der Aufnahmeparameter für das Aufnehmen von Ausgabebildern zusätzlich beeinflusst werden durch Kontextinformationen, wie etwa Art der Aufgabenstellung des zu trainierenden Modells und/oder die Art der Bildverarbeitung. So können Modelle zum Entrauschen einen anderen Fokus setzen bei der Bestimmung der Aufnahmeparameter und auch schon bei der Analyse der Bilder als beispielsweise Modelle für Hochauflösen. Es können beispielsweise andere Bildbereiche und/oder Bilder ausgewählt werden für die Aufnahme von Ausgabebildern und es können auch andere Verfahren bzw. Kontraste gewählt werden.
Eingabe und Ausgabebilder können im Übrigen auch durch dasselbe Verfahren und im selben Kontrast aufgenommen werden. So könnten beispielsweise für eine Hochauflösung die Eingabe- und Ausgabebilder sich nur durch die Auflösung, aber nicht in Kontrast und Verfahren unterscheiden. Bei anderen Bildverarbeitungen hingegen, wie etwa dem virtuellen Färben, ist die Auflösung in der Regel gleich, aber der Kontrast und das Aufnahmeverfahren können für die Eingabebilder und die Ausgabebilder unterschiedlich sein.
Das Verfahren kann auch weiterhin ein Bestimmen von Aufnahmeparameter für das Aufnehmen von zusätzlichen Eingabebildern auf der Grundlage der Ergebnisse des Analysierens, und ein Aufnehmen der zusätzlichen Eingabebildern auf der Grundlage der bestimmten Aufnahmeparameter umfasst. Sind die zu analysierenden Bilder beispielsweise Übersichtsbilder von Eingabebildern, so kann das Verfahren beispielsweise Bildbereiche des Übersichtsbildes auswählen, und von diesen Bildbereichen anschließend neue Eingabebilder aufnehmen. Diese neuen Eingabebilder können dann beispielsweise eine höhere Auflösung haben, oder sich in einem anderen Punkt von den Übersichtsbildern unterscheiden. Ähnliches gilt für die Ausgabebilder. Für die Aufnahmeparameter für diese Eingabebilder gilt grundsätzlich dasselbe wie für die Aufnahmeparameter für die Ausgabebilder, wie oben dargestellt.
Konkret ist, je nach Anwendung, jede Kombination von Bildern, die zu analysieren sind, und Bildern, die aufzunehmen sind, vorstellbar.
Wichtig ist, dass am Ende des Verfahrens zu jedem Eingabebild oder Bildausschnitt, das für das Training verwendet werden soll, ein Ausgabebild vorliegt, um darauf zu trainieren. Eventuell fehlende Eingabe- oder Ausgabebilder können zusätzlich aufgenommen werden. Es kann auch zuerst bestimmt werden für welche Bilder die jeweiligen anderen zuzuordnenden Bilder fehlen, und eine entsprechende Anzeige ausgegebenen werden.
Dadurch können auch Aufnahmen von Zeitreihen oder von einer sequenziellen Aufnahme räumlicher Proben (multi-view, z-stacks) gemacht werden. Bei solchen Aufnahmen von weiteren Bildern können auch Mindestabstände zwischen zwei Aufnahmen berücksichtigt werden (beispielsweise kann berücksichtigt werden, dass zwei Aufnahmen nicht innerhalb von 10 Minuten erfolgen sollen, oder dass zwei Aufnahmen nicht von unmittelbar benachbarten Regionen erfolgen sollen). Diese Bedingungen können alternativ auch explizit vom Anwender vorgegeben werden. Das hat unter Anderem zum Vorteil, dass die Auswertelogik nach einer entschiedenen Aufnahme erstmal eine Zeit lang nicht weiter ausgelöst werden muss. Dadurch werden Rechenzeit und auch Aufnahmezeit eingespart.
Die Kontextinformationen, die das Analysieren der Bilder und/oder das Bestimmen der Aufnahmeparameter für das Aufnehmen von Ausgabebildern (und/oder Eingabebildern) zusätzlich beeinflussen können auch beispielsweise ein gewünschter Schonungsgrad von in den Eingabe- und Ausgabebilder abgebildeten Proben sein. Damit kann dargestellt werden, wie viele Proben, möglicherweise schädigend, behandelt werden sollen, um aus dem Zustand, in dem ein Eingabebild aufgenommen wurde, in den Zustand übergeführt zu werden, in dem ein Ausgabebild aufgenommen wird.
Es ist auch vorstellbar, dass bereits zusätzliche Aufnahmen von Eingangsbildern die Proben schädigen können, so wie beispielsweise die eventuell notwendige Belichtung für eine fotografische Aufnahme einer Probe bereits schädigend zusetzen kann. Durch die Verwendung dieser Kontextinformation können Trainingsdaten in Abhängigkeit einer maximal zulässigen Beschädigung der Proben erzeugt werden, um dadurch beispielsweise die Menge der Trainingsdaten zu begrenzen.
Auch die Art der Proben, die beispielsweise eine Empfindlichkeit gegenüber Licht, Druck, oder ähnlichen Umwelteinflüssen widerspiegelt, kann die Analyse der Bilder und die Bestimmung der Aufnahmeparameter beeinflusst werden.
Schließlich können weitere Nutzerinformationen die Analyse der Bilder und die Bestimmung der Aufnahmeparameter beeinflussen, wie etwa zeitliche Parameter, persönliche Präferenzen, etc.
Das Analysieren und das Bestimmen können auch durch ein weiteres statistisches Modell des maschinellen Lernens ausgeführt werden. Ein Beispiel hierfür ist, falls bekannt ist, dass aktuell zu wenige Mitosen in den Ausgabebildern (beispielsweise einem neuen Fluoreszenz-Kanal) aufgenommen werden. Dann ist beispielsweise ein Anlernen eines Mitose-Detektors auf den Eingabebildern möglich, wobei die Eingabebilder beispielsweise Digitale Phasenkontrast-Bilder (DPC-Bilder) sein können. Mit einem solchen Mitose-Detektor kann dann in weiteren aufgenommenen DPC-Bildern das Vorhandensein von Mitosen detektiert werden, und die Aufnahme des Zielkontrasts ausgelöst werden. In diesem Beispiel wäre es dadurch möglich, für neue Zielkontraste (z.B. neue Färbungen) schnell einen repräsentativen Datensatz mit entsprechenden Mitose-Bildern zu erzeugen. Dadurch müsste im beschriebenen Fall eines solchen Mitose-Detektors für einen weiteren Zielkontrast bei Beibehalten des Eingabebild-Kontrasts sogar kein zusätzliches Nachtraining durchgeführt werden.
Dieses weiteres statistische Modell kann vortrainiert sein. Das statistische Modell und/oder das weitere statistische Modell kann jeweils als (künstliches) neuronales Netzwerk ausgebildet sein. Das weitere statistische Modell kann beispielsweise dabei so ausgebildet sein, dass dessen Auswertung sehr schnell erfolgen kann, beispielsweise schneller, als übliche Veränderungsprozess in der aufzunehmenden Probe ablaufen. Alternativ kann angenommen werden, dass die Probe im Wesentlichen statisch ist, beispielsweise im Falle von bei fixierten Zellen, weshalb Aufnahmen von verschiedenen Kontrasten auch in größeren Zeitabständen möglich sein können.
Wie zuvor beschrieben, ist es wichtig, dass am Ende des Verfahrens zu jedem Eingabebild 110, das für das Training verwendet werden soll, ein Ausgabebild 120 vorliegt, um darauf zu trainieren. Die korrespondierenden Eingabe- 110 und Ausgabebilder müssen einander zugeordnet sein, oder wenigstens einander zuordenbar sein.
Durch das Verfahren können zusätzlich auch Aufnahmeparameter für das Aufnehmen von zusätzlichen Eingabebildern bestimmt werden.
Schließlich werden die Ausgabebilder 120 auf der Grundlage der bestimmten Aufnahmeparameter aufgenommen.
Das Verfahren kann weiterhin das Trainieren des Modells für die Bildverarbeitung durch die so aufgenommenen Eingabe- und Ausgabebilder umfassen.
Dieses Trainieren des Modells kann aber auch nur ein Anpassen, d.h. Nachtrainieren, eines vortrainierten Modells darstellen.
Mithilfe des hier beschriebenen Verfahrens wird ein probenschonendes Aufnehmen von Trainings-, Validierungs- und Testdaten für ein automatisiertes Training eines Modells für Bildverarbeitung, wie etwa virtuellem Färben, ermöglicht. Hierbei wird dynamisch proben- und kontextabhängig entschieden, für welche Bereiche in einem Bild und für welche Bilder einer Zeitserie Trainings-, Validierungs- und Testdaten der Ausgabebilder, also beispielsweise in einem Zielkontrast, aufgenommen werden.
Hierbei wird über Aspekte der Datenaufnahme entscheiden, wie beispielsweise: Relevante Bildbereiche (von Einzelbildpunkten über Bereiche von Interesse (engl. regions of interest) bis hin zum gesamten Bild), z-Position, Zeitpunkt (einer Zeitserie), 2D- oder 3D-Aufnahme, Beleuchtungs-Intensität (evtl. reichen verrauschte Daten, es kann aber auch Qualität die oberste Prämisse sein), und/oder weitere Aufnahmeparameter (Mikroskop-Einstellungen wie Objektiv, Lochblenden-Einstellungen, etc.).
Dabei kann auf der Basis von Informationsquellen entschieden werden, wie beispielsweise Übersichtsbild, Quellkontrast-Bild (üblicherweise Weitfeld), Letzte aufgenommene Zielkontrast-Bilder, dünn abgetastete Aufnahme(n) des Quell- oder Zielkontrastes, Kontextinformationen, wie etwa Art der Aufgabenstellung/Applikation (z.B. Vorschauqualität vs. Publikations-Qualität), Gewünschter Grad der Probenschonung, Art der Probe, Nutzerinformationen.
Dabei können beispielsweise folgende Informationen aus o.g. Informationsquellen genutzt werden: Strukturen im Bild (Übersichts-, Quell- oder Zielkontrastbild), relevante morphologische Veränderungen, relevante Bewegungen in Zeitserie, Detektion von Anomalien und/oder Neuartigkeiten, d.h. bisher ungesehene Zellen/Zellzustände etc. sollen dringend aufgenommen werden.
Für die Analyse und Bestimmung können verschiedene Techniken verwendet werden, beispielsweise Schwellwert-Techniken (engl. thresholding), z.B. bei optischem Fluss, Lokalisation von relevanten Bereichen (oder Entscheidung für Gesamtbild) durch ein Maschinen-Lern-Modell, Überwachtes Lernen (engl. supervised learning), z.B. Detektion & Segmentierung für Bildbereiche, Klassifikation für Gesamtbild, Ein-Klassen-Klassifikation (engl. one dass classification), Detektion von Anomalien und/oder Neuartigkeiten, Cluster-Analyse, Bestärkendes Lernen (engl. reinforcement learning), (klassenagnostische) Auffälligkeits-Erkennung (engl. saliency detection), und/oder kontinuierliches und aktives Lernen (engl. continuous and active learning).
Hierbei ist anzumerken, dass die Berechnung des optischen Flusses für solche Bilder sehr schwierig sein kann, in denen enthaltene Objekte sehr ähnlich sind (zum Beispiel für Bilder mit sehr vielen sehr ähnlichen Zellen). In solchen Fällen könnte die Schätzung des optischen Flusses sehr wahrscheinlich unzuverlässig sein. Dann kann eine bessere Lösung sein, sich auf die Erkennung und Verfolgung dieser Objekte, zum Beispiel der Zellen, zu konzentrieren und basierend auf der Verfolgungsentfernung die Parameter der Bildaufnahme zu bestimmen. So können etwa erst bei Erkennen einer großen Verfolgungsentfernung der Objekte im Bild die Aufnahme eines neuen Fluoreszenz-Bild ausgelöst werden. Darüber hinaus weisen häufige Experimente sehr wahrscheinlich zwischen zwei Zeitschritten immer signifikante Änderungen, wie etwa sich scheinbar bewegende Objekte auf, da sich lebendes Gewebe immer „bewegt“.
Eine beispielhafte Anwendung ist folgende:

Zuerst wird eine Aufnahme einer Zeitserie im Quellkontrast gemacht. Dann wird mittels optischen Flusses der Grad der Veränderung zwischen den Bildern bewertet. Bei hinreichend großer Veränderung zwischen bestimmten Bildbereichen wird der Zielkontrast an diesen Stellen aufgenommen. Das heißt, wenn sich nichts bewegt/verändert, müssen keine zusätzlichen Bilder aufgenommen werden und die Probe kann geschont werden.

Eine weitere beispielhafte Anwendung ist folgende:

Zuerst werden dünn abgetastete Aufnahme eines Zielkontrastbildes (z.B. Fluoreszenz, etwa nach Einbringung von Markern wie etwa DAPI, GFP, etc...) aufgenommen. In diesem dünn abgetasteten Bild werden dann Zellen lokalisiert. Anschließend wird bestimmt, welche Zellen für eine hochauflösende Aufnahme im Zielkontrast geeignet/benötigt wären, beispielsweise weil die chemische Färbung nicht „ausgelaufen“ ist. Dann werden hochaufgelöste Zielkontrastbilder an den Positionen der als qualitativ gut eingestuften Zellen aufgenommen. Abschließend werden korrespondierende Quellkontrastbilder aufgenommen. Alternativ kann eine Aufnahme mit einem zweiten Fluoreszenzmarker durchgeführt werden. In diesem Fall kann der erste Fluoreszenzmarker, beispielsweise eine DAPI-Färbung, nur zur Lokalisation genutzt werden.

Eine weitere beispielhafte Anwendung ist die zuvor detailliert dargestellte Mitose-Detektion.
Die zuvor ausgeführten beispielhaften Anwendungen dienen lediglich dem besseren Verständnis. Weitere Ausführungsbeispiele können aus beliebigen Kombinationen der oben genannten Aspekte gebildet werden.
Insbesondere nützlich ist das Verwenden eines oder mehrerer Übersichtsbilder als Informationsquelle. Auch das Anwenden von Kontextinformationen, wie oben ausgeführt, ist nützlich. Darüber hinaus können mit dem hier vorgestellten Verfahren - im Gegensatz zu einem Training von Grund auf (engl. from scratch) - auch bestehende vortrainierte Netze angepasst oder verbessert werden (kontinuierliches und aktives Lernen). Dies ist besonders vorteilhaft für Szenarien, in denen statistische Modelle für einen neuen Probentyp / Färbungstyp / Experimenttyp immer weiter gelernt werden sollen.
Es wird nochmals darauf hingewiesen, dass die vorliegende Erfindung nicht auf virtuelles Färben beschränkt ist, sondern, dass das vorgestellte Verfahren genauso für andere Bild-zu-Bild-Verfahren genutzt werden kann (z.B.: Entrauschen, Superauflösen, Entfaltung, Komprimiertes Erfassen, Entstreuen (engl. descattering), Bildverbesserung, etc.).
Durch die Erfindung ist es möglich, in einer Zeitserie Eingabebilder nur im schonenden Kontrast (Hellfeld) aufzunehmen, und nur wenn es benötigt wird (d.h. wenn bestimmt wird, dass die entsprechenden Regionen oder Bilder auch als Ausgabebild in den Trainingsdaten vorliegen sollen, den zugehörigen Zielkontrast auszunehmen. Auf dieser Basis kann dann ein Modell trainiert werden, mit welchem man die komplette Zeitserie dann im Zielkontrast darstellen kann.
Des Weiteren kann mit der Erfindung ein Modell über einen langen Zeitraum hinweg verbessert werden, d.h. über mehrere Experimente hinweg. Die Annahme hierbei ist, dass ein Nutzer mehr oder weniger immer die gleichen Zellen (oder Arten von Zellen) beobachtet und somit mit jeder neuen Probe sein Modell immer weiter verbessern kann.
Sowohl für die in dieser Beschreibung dargestellten Aspekte wie auch für die dazu genutzten Informationen gilt, dass es stets möglich ist, einen einzelnen Punkt anzuwenden oder auch beliebige Kombinationen aus diesen.
Eine erfindungsgemäßes Ausführungsbeispiel ist auch eine Vorrichtung zur Aufnahme von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie. Die Trainingsdaten bestehen aus Paaren von Eingabebildern und Ausgabebildern der Bildverarbeitung und die Vorrichtung ist dazu eingerichtet, ein zuvor beschriebenes Verfahren auszuführen. Die Vorrichtung umfasst eine Aufnahmeeinrichtung, die dazu eingerichtet ist, Bilder aufzunehmen. Die Vorrichtung kann optionaler Weise weiterhin eine Speichereinrichtung umfassen, die dazu eingerichtet ist, Daten, die Bilder umfassen, zu speichern. Die Vorrichtung umfasst weiterhin eine Prozessoreinrichtung, die dazu eingerichtet ist, Bilder nach vorbestimmten Kriterien zu analysieren, und Aufnahmeparameter für das Aufnehmen von Ausgabebildern auf der Grundlage von Ergebnissen des Analysierens zu bestimmen. Die Vorrichtung umfasst weiterhin eine Bildgebungseinrichtung, die dazu eingerichtet ist, die Ausgabebildern auf der Grundlage der bestimmten Aufnahmeparameter aufzunehmen.
Eine weitere Ausführungsform ist ein Computerprogramm-Produkt mit einem Programm für eine Datenverarbeitungsvorrichtung, umfassend Softwarecode-Abschnitte zum Ausführen der Schritte des zuvor beschriebenen Verfahrens, wenn das Programm auf der Datenverarbeitungsvorrichtung ausgeführt wird.
Dieses Computerprogramm-Produkt kann ein computerlesbares Medium umfassen, auf dem die Softwarecode-Abschnitte gespeichert sind, wobei das Programm direkt in einen internen Speicher der Datenverarbeitungsvorrichtung ladbar ist.
Die Ausführungsbeispiele zeigen mögliche Ausführungsvarianten, wobei an dieser Stelle bemerkt sei, dass die Erfindung nicht auf die speziell dargestellten Ausführungsvarianten derselben eingeschränkt ist, sondern vielmehr auch diverse Kombinationen der einzelnen Ausführungsvarianten untereinander möglich sind und diese Variationsmöglichkeit aufgrund der Lehre zum technischen Handeln durch gegenständliche Erfindung im Können des auf diesem technischen Gebiet tätigen Fachmannes liegt.
Der Schutzbereich ist durch die Ansprüche bestimmt. Die Beschreibung und die Zeichnungen sind jedoch zur Auslegung der Ansprüche heranzuziehen.
Einzelmerkmale oder Merkmalskombinationen aus den gezeigten und beschriebenen unterschiedlichen Ausführungsbeispielen können für sich eigenständige erfinderische Lösungen darstellen. Die den eigenständigen erfinderischen Lösungen zugrundeliegende Aufgabe kann der Beschreibung entnommen werden.
Sämtliche Angaben zu Wertebereichen in gegenständlicher Beschreibung sind so zu verstehen, dass diese beliebige und alle Teilbereiche daraus mitumfassen, z.B. ist die Angabe 1 bis 10 so zu verstehen, dass sämtliche Teilbereiche, ausgehend von der unteren Grenze 1 und der oberen Grenze 10 mit umfasst sind, d.h. sämtliche Teilbereiche beginnen mit einer unteren Grenze von 1 oder größer und enden bei einer oberen Grenze von 10 oder weniger, z.B. 1 bis 1,7, oder 3,2 bis 8,1, oder 5,5 bis 10.
Der Ordnung halber sei abschließend darauf hingewiesen, dass zum besseren Verständnis des Aufbaus Elemente teilweise unmaßstäblich und/oder vergrößert und/oder verkleinert dargestellt wurden.
Bezugszeichenliste

110: Eingabebild
120: Ausgabebild
130: Bildverarbeitung durch maschinelles Lernen

Claims

Computerimplementiertes Verfahren zur Aufnahme von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells (130) durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie, wobei die Trainingsdaten aus Paaren von Eingabebildern (110) und Ausgabebildern (120) der Bildverarbeitung bestehen, das Verfahren umfassend Aufnehmen mindestens eines Bildes, Analysieren des mindestens eines Bildes nach vorbestimmten Kriterien, Bestimmen von Aufnahmeparameter für das Aufnehmen von Ausgabebildern (120) auf der Grundlage von Ergebnissen des Analysierens, und Aufnehmen von Ausgabebildern (120) auf der Grundlage der bestimmten Aufnahmeparameter.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei die Bildverarbeitung ein virtuelles Färben, ein Entrauschen, ein Hochauflösen, eine Entfaltung, ein komprimiertes Erfassen oder eine andere Art einer Bildverbesserung ist.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das Verfahren weiterhin das Trainieren des Modells (130) für die Bildverarbeitung umfasst.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das Trainieren des Modells (130) ein Anpassen des Modells (130) für die Bildverarbeitung ist.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei die Schritte Analysieren und Bestimmen des Verfahrens durch ein weiteres statistisches Modell des maschinellen Lernens ausgeführt werden.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das statistische Modell (130) und/oder das weitere statistische Modell ein neuronales Netzwerk ist.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das zu analysierende mindestens eine Bild eines oder mehrere aus den folgenden sind: ein Übersichtsbild, umfassend ein oder mehrere Eingabe- (110) oder Ausgabebilder (120) in geringerer Vergrößerung als die Eingabe- (110) und/oder Ausgabebilder (120), eines oder mehrere der Eingabebilder (110), eines oder mehrere der Ausgabebilder (120), die durch das Verfahren bereits aufgenommen wurden, und/oder dünn abgetastete Eingabe- (110) oder Ausgabebilder (120), und/oder wobei das Analysieren der Bilder und/oder das Bestimmen von Aufnahmeparameter für das Aufnehmen von Ausgabebildern (120) zusätzlich auf der Grundlage Kontextinformationen durchgeführt wird, wobei die Kontextinformationen eines oder mehrere aus den folgenden sind: Art der Aufgabenstellung des zu trainierenden Modells (130), Art der Bildverarbeitung, gewünschter Schonungsgrad von in den Eingabe- (110) und Ausgabebilder (120) abgebildeten Proben, Art der Proben, und/oder Nutzerinformationen.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei die Aufnahmeparameter eines oder mehrere aus den folgenden sind: relevante Bilder oder Bildbereiche, Tiefenebene von Proben, relevante Bilder einer Reihe von Bildern mit verschiedenem Aufnahmezeitpunkt, Aufnahmetyp in 2D oder 3D, Beleuchtungs-Intensität, Mikroskop-Einstellungen wie Objektiv, Lochblenden-Einstellungen und Ähnliche, Aufnahmekontrast, Aufnahmeverfahren, und/oder eine Kombination von Aufnahmeparametern.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei die vorbestimmten Kriterien eines oder mehrere aus den folgenden sind: Bildstrukturen, relevante morphologische Veränderungen, relevante Bewegungen in einer Zeitserie von Bildern, und Ergebnisse einer Detektion von Anomalien und/oder Neuartigkeiten.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei die vorbestimmten Kriterien durch das Modell (130) ausgewählt werden.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das Verfahren weiterhin ein Bestimmen von Aufnahmeparameter für das Aufnehmen von zusätzlichen Eingabebildern (110) auf der Grundlage der Ergebnisse des Analysierens, und ein Aufnehmen der zusätzlichen Eingabebildern (110) auf der Grundlage der bestimmten Aufnahmeparameter umfasst.
Verfahren nach einem der vorhergehenden Patentansprüche, wobei je eines der Eingabebilder (110) und eines der Ausgabebilder (120) einander zugeordnet sind und dasselbe zeigen, wobei sich die Eingabe- (110) und Ausgabebilder (120) durch das Aufnahmeverfahren und/oder den Aufnahmekontrast unterscheiden, wobei die verschiedenen Aufnahmekontraste aus der folgenden Gruppe sind: nicht-Fluoreszenzkontrast, Fluoreszenzkontrast, Farbkontrast, Phasenkontrast, Differentialinterferenzkontrast, Elektronenmikroskopie und Röntgenmikroskopie und/oder wobei die Aufnahmeverfahren aus der folgenden Gruppe sind: Hellfeld-Verfahren, Weitfeld-Verfahren, Dunkelfeld-Verfahren, Phasenkontrast-Verfahren, Polarisations-Verfahren, Differentialinterferenzkontrast-, Verfahren, Auflichtmikroskopie-Verfahren, digitales Kontrastverfahren, Elektronenmikroskopieverfahren und Röntgenmikroskopieverfahren.
Verfahren gemäß einem der vorherigen Patentansprüche, wobei das Verfahren ein Aufnehmen von weiteren Bildern, Eingabebildern (110) und/oder Ausgabebildern (120), umfasst.
Vorrichtung zur Aufnahme von Bildern für Trainingsdaten zum Trainieren eines statistischen Modells (130) durch maschinelles Lernen für Bildverarbeitung in der Mikroskopie wobei die Trainingsdaten aus Paaren von Eingabebildern (110) und Ausgabebildern (120) der Bildverarbeitung bestehen, wobei die Vorrichtung dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Patentansprüche auszuführen und wobei die Vorrichtung umfasst: eine Aufnahmeeinrichtung, die dazu eingerichtet ist, Bilder aufzunehmen, eine Prozessoreinrichtung, die dazu eingerichtet ist, Bilder nach vorbestimmten Kriterien zu analysieren, und Aufnahmeparameter für das Aufnehmen von Ausgabebildern (120) auf der Grundlage von Ergebnissen des Analysierens zu bestimmen, und eine Bildgebungseinrichtung, die dazu eingerichtet ist, die Ausgabebildern (120) auf der Grundlage der bestimmten Aufnahmeparameter aufzunehmen.
Computerprogramm-Produkt mit einem Programm für eine Datenverarbeitungsvorrichtung, umfassend Softwarecode-Abschnitte zum Ausführen der Schritte nach einem der Ansprüche 1 bis 13, wenn das Programm auf der Datenverarbeitungsvorrichtung ausgeführt wird.
Computerprogramm-Produkt nach Anspruch 15, wobei das Computerprogramm-Produkt ein computerlesbares Medium umfasst, auf dem die Softwarecode-Abschnitte gespeichert sind, wobei das Programm direkt in einen internen Speicher der Datenverarbeitungsvorrichtung ladbar ist.