DE102015114015A1

DE102015114015A1 - Maschinelles lernen

Info

Publication number: DE102015114015A1
Application number: DE102015114015.2A
Authority: DE
Inventors: Melih Kandemir; Fred Hamprecht; Christian Wojek; Ute Schmidt
Original assignee: Carl Zeiss Microscopy GmbH; Carl Zeiss AG
Current assignee: Carl Zeiss Microscopy GmbH; Carl Zeiss Industrielle Messtechnik GmbH
Priority date: 2015-08-24
Filing date: 2015-08-24
Publication date: 2017-03-02
Also published as: WO2017032775A1; EP3341891A1; US20180189610A1; WO2017032775A9; US10896351B2

Abstract

Eine Ereignisklassifikation (131) wird mittels maschinellem Lernen trainiert. Dabei wird eine Anomaliedetektion (121) zum Erkennen von Ereignissen in einem Bilddatensatz (110, 111) durchgeführt. Basierend auf dem Durchführen der Anomaliedetektion (121) wird eine Modellannahme (130) der Ereignisklassifikation (131) bestimmt.

Description

TECHNISCHES GEBIET
Verschiedene Aspekte betreffen ein Verfahren zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen und eine Vorrichtung, die zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen eingerichtet ist. Insbesondere betreffen verschiedene Beispiele Techniken, um eine Modellannahme der Ereignisklassifikation auf Basis einer Anomaliedetektion zu bestimmen.
HINTERGRUND
Zur automatisierten Erkennung von Ereignissen in Bilder eines Bilddatensatzes sind Techniken des maschinellen Lernens bekannt. Durch die automatisierte Erkennung der Ereignisse können große Bilddatensätze maschinell bearbeitet werden. Anwendungen können zum Beispiel die Analyse von experimentellen Daten, Mikroskopie von biologischen Systemen wie Zellkulturen, die Analyse von Bilddatenbanken (big data und data mining), industrielle Prozesskontrolle, Zugangsüberwachung in Gebäuden, etc. sein.
Beispiele für entsprechende Algorithmen sind zum Beispiel die Anomaliedetektion (engl. novelty detection bzw. anomaly detection), die das Vorhandensein bzw. die Abwesenheit von Ereignissen erkennt, und die Ereignisklassifikation (engl. event classifier), die zwischen unterschiedlichen Typen von Ereignissen unterscheidet. Manchmal wird die Anomaliedetektion auch als Neuheitsdetektion bezeichnet.
Typischerweise kann es erforderlich sein, entsprechende Algorithmen geeignet zu trainieren, um eine hohe Erkennungsgenauigkeit von Ereignissen zu erreichen. Es sind verschiedene Ansätze zum Trainieren bekannt: Beim sogenannten überwachten Lernen kann es z.B. erforderlich sein, dass ein Benutzer dem System sog. Grundwahrheiten zur Verfügung stellt, also beispielsweise auf Grundlage eines Trainingsdatensatzes das Vorhandensein bzw. Fehlen bzw. den Typ von Ereignissen manuell annotiert. Dazu kann eine manuelle Interaktion des Benutzers zum Trainieren der Anomaliedetektion oder der Ereignisklassifikation erforderlich sein. In verschiedenen Varianten kann es insbesondere erforderlich sein, dass der Benutzer die genaue Position bzw. die räumliche/zeitliche Ausdehnung eines Ereignisses in einem Bild markiert; solche Techniken werden häufig als (vollständig) überwachtes Lernen, engl. (fully) supervised learning, bezeichnet.
Das überwachte Lernen kann umfangreich und fordernd sein. Das überwachte Lernen kann insbesondere einen vergleichsweise großen Zeitaufwand bedeuten; insbesondere kann es zum Erzielen einer hohen Erkennungsgenauigkeit von Ereignissen erforderlich sein, dass eine große Anzahl von Bildern zum Trainieren durch den Benutzer manuell annotiert wird. Da typischerweise als Benutzer zum überwachten Lernen Fachexperten benötigt werden, um die richtigen Grundwahrheiten zu Verfügung zu stellen, kann ein entsprechendes Training auch besonders kostenintensiv sein.
ZUSAMMENFASSUNG
Deshalb besteht ein Bedarf für verbesserte Techniken zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen. Insbesondere besteht ein Bedarf für Techniken, die einen geringen Grad der manuellen Interaktion des Benutzers zum Trainieren der Ereignisklassifikation erfordern und gleichzeitig eine hohe Erkennungsgenauigkeit von Ereignissen ermöglichen.
Diese Aufgabe wird von den Merkmalen der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche definieren Ausführungsformen.
Gemäß einem Aspekt betrifft die vorliegende Erfindung ein Verfahren zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen. Das Verfahren umfasst das Durchführen einer Anomaliedetektion zum Erkennen von Ereignissen in einem Bilddatensatz. Das Verfahren umfasst weiterhin das Bestimmen einer Modellannahme der Ereignisklassifikation basierend auf dem Durchführen der Anomaliedetektion.
Der Bilddatensatz kann zum Beispiel eine Vielzahl von Bildern umfassen. Jedes Bild kann zum Beispiel ein Array von Bildpunkten umfassen. Es wäre zum Beispiel möglich, dass der Bilddatensatz aus Volumendaten besteht und / oder eine Zeitabfolge von Bildern umfasst und derart eine Videosequenz darstellt. Ein Bilddatensatz kann alternativ oder zusätzlich mehrere Kanäle aus unterschiedlichen Spektren oder unterschiedlichen Kontrastverfahren enthalten. Je nach Inhalt der verschiedenen Bilder können unterschiedlichste Ereignisse erkannt werden. Zum Beispiel wäre es möglich, dass der Bilddatensatz von einem Mikroskop erhalten wird und eine Zellkultur als Funktion der Zeit abbildet; in diesem Zusammenhang wäre es möglich, dass ein Ereignis aus folgender Gruppe ausgewählt ist: Mitose einer Zelle; und Apoptose einer Zelle. Beispielsweise kann der Bilddatensatz von einem optischen Phasenkontrastmikroskop erhalten werden. Im Bereich der industriellen Prozesskontrolle kann auch ein Defekt, d.h. eine Abweichung eines Prüflings vom Normalzustand bzw. Spezifikationsbereich, als zu detektierendes Ereignis angesehen werden. Dabei kann es sich beispielsweise um Defekte wie Lunker, Kratzer, Blasen oder sonstige kosmetische Defekte handeln. Der Datensatz zum Beispiel kann mit einer Computertomographie(CT)-Technik die einen CT-Scanner einsetzt oder einer phasenschiebenden Technik aufgenommen werden, also mittels 3D-Detektoren
Mittels des Durchführens der Anomaliedetektion kann es also möglich sein, die A-Priori-Verteilung der Ereignisklassifikation als Modellannahme zu bestimmen; die Modellannahme der Ereignisklassifikation kann also die Grundwahrheit bezeichnen, die beim Durchführen der Ereignisklassifikation bei der Erkennung und der Klassifizierung berücksichtigt wird. Diese Modellannahme kann also z.B. als gültige Menge von Abbildungen aus dem Raum des Bilddatensatzes in den Ergebnisraum betrachtet werden, wobei der Ergebnisraum z.B. unterschiedliche Typen von Ereignissen als Elemente umfasst. Zum Bestimmen der Modellannahme können Techniken der Bayes‘schen Statistik angewendet werden, siehe z.B. C. E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, MIT Press (2006). Insbesondere kann es mittels des Durchführens der Anomaliedetektion möglich sein, die Unsicherheit bzw. Varianz der Ereignisklassifikation jedenfalls im Bereich von durch die Anomaliedetektion erkannten Ereignissen zu reduzieren und damit insgesamt eine bessere Erkennungsgenauigkeit der Ereignisklassifikation zu erreichen.
Im Allgemeinen können verschiedenste Algorithmen zur Anomaliedetektion eingesetzt werden. Z.B. kann die Anomaliedetektion aus folgender Gruppe ausgewählt sein: (I) Isolation Forest, sh. z.B. F. T. Liu et al., Isolation Forest, in IEEE ICDM (2008) 413–422; (II) Sparse Coding, sh. z.B. C. Lu et al., Abnormal event detection at 150 fps in Matlab, in International Conference on Computer Vision (2013) 2720–2727; (III) Neurale Netzwerke, sh. M. A. Kramer, Autoassociative Neural Networks, in Computers them. Engng. 16 (1992) 313–328; (IV) Nearest Neighbor, sh. z.B. T. Cover und P. Hart, Nearest neighbor pattern classification, in IEEE Trans. Information Theory (1967) 21–27; (V) Collaborative Multi-Output Gaussprozess, sh. T. V. Nguyen und E. V. Nobilla, Collaborative Multi-output Gaussian Process, in Uncertainity in Artificial Intelligence (2014) 3; (VI) Support Vector Machine, sh. z.B. B. Schölkopf et al., Estimating the support of a high-dimensional distribution in Neural Computation 13 (2001) 1443–1471; (VII) Kernel Null Space Technik, sh. z.B. P. Bodesheim et al., Kernel null space methods for novelty detection, in International Conference on Computer Vision and Pattern Recognition (2013) 3374–3381.
Es können auch verschiedenste Algorithmen zur Ereignisklassifikation eingesetzt werden. Z.B. kann die Ereignisklassifikation aus folgender Gruppe ausgewählt sein: (I) Multiclass SVM, sh. z.B. K.-B. Duan und S. S. Keerthi, Which is the Best Multiclass SVM Method? An Empirical Study, in Lecture Notes in Computer Science 3541 (2005) 278–285; (II) Multiclass Boosting, sh. z.B. Y. Freund, R. Schapire, A decision theoretic generalization of on-line learning and an application to boosting in J. Comp. Syst. Science 55 (1997) 119–139; (III) Neurale Netzwerke, sh. K. Fukushima, Neocognitron: A Hierarchical Neural Network Capable of Visual Pattern Recognition, in NeuralNetworks 1 (1998) 119–130; (IV) Gaussprozess, sh. z.B. C. E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, in MIT Press (2006); (V) Nearest Neighbor, sh. z.B. T. Cover und P. Hart, Nearest neighbor pattern classification, IEEE Trans. Information Theory; (VI) Random Forest, sh. z.B. L. Breiman, Random Forests, in Machine Learning 45 (2001) 5–32.
Es wäre zum Beispiel möglich, dass das Verfahren weiterhin umfasst: Durchführen der Ereignisklassifikation zum Klassifizieren von Ereignissen in einem weiteren Bilddatensatzes basierend auf der bestimmten Modellannahme der Ereignisklassifikation. Der Bilddatensatz und der weitere Bilddatensatzes können zumindest teilweise überlappen oder aber disjunkt sein.
Die voranstehend beschriebenen Techniken ermöglichen es, den Aufwand zum manuellen Annotieren im Vergleich zu Referenzimplementierungen zu reduzieren, da eine grobe Vorsortierung durch die Anomaliedetektion erreicht werden kann. Durch das Vorschalten der Anomaliedetektion kann ein effizientes und genaues Trainieren der Ereignisklassifikation erreicht werden.
Diesbezüglich kann es erstrebenswert sein, dass bereits das Durchführen der Anomaliedetektion mit einer hohen Erkennungsgenauigkeit stattfindet. In einem einfachen Szenario ist es möglich, dass die Modellannahme der Anomaliedetektion vorgegeben ist; zum Beispiel könnte ein Standardwert für die Modellannahme der Anomaliedetektion gewählt werden. In anderen Szenarien ist es auch möglich, dass Modellannahme der Anomaliedetektion in einem Lernschritt bestimmt wird. Im Allgemeinen sind unterschiedlichste Techniken zum Trainieren der Anomaliedetektion denkbar. Zum Beispiel könnte die Anomaliedetektion mittels einer Autoregressionstechnik automatisch trainiert werden; d.h. es könnte ein schwach- oder nicht-überwachter Lernschritt durchgeführt werden. Sh. z.B. M. Kandemir et al., Event Detection by Feature Unpredictability in Phase-Contrast Videos of Cell Cultures, in Medical Image Computing and Computer-Assisted Intervention, 8674 (2014) 154–161. In diesem Zusammenhang wäre es z.B. möglich, dass das Verfahren weiterhin umfasst: Durchführen eines nicht oder schwach-überwachten Lernschrittes basierend auf einem Trainings-Bilddatensatzes zum Bestimmen der Modellannahme der Anomaliedetektion. Der Trainings-Bilddatensatzes kann keine Ereignisse aufweisen. Alternativ oder zusätzlich wäre es auch möglich, die Anomaliedetektion manuell zu trainieren.
Die Bilder des Bilddatensatzes sind z.B. durch bestimmte Bildmerkmale charakterisiert. Die Bildmerkmale umfassen beispielsweise die Bildpunktwerte einzelner Bildpunkte (engl. Pixel) der Bilder des Bilddatensatzes. Die Bildmerkmale können auch prozessierte Bildeigenschaften des Bilds bezeichnen: Sowohl für Anomaliedetektion als auch für Ereignisklassifikation können z.B. zunächst Statistiken bezüglich der Bildpunkte berechnet werden, die bestimmte Bildeigenschaften wie beispielsweise Form, Textur, dynamischer Bereich, Kontraststärke, etc., als Bildmerkmale näher charakterisieren. Dabei kann es sich zum Beispiel um Histogramme orientierter Gradienten handeln, sh. N. Dalal und B. Triggs, Histograms of oriented gradients for human detection, in Computer Vision and Pattern Recognition CVPR 1 (2005) 886–893. Beispielsweise kann auch eine Textur mittels Differenzen zwischen Bildpunktpaaren charakterisiert werden, sh. T. Ojala T et al., Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns, in IEEE Transactions on Pattern Analysis and Machine Intelligence 24 (2004) 971–987. Die Verwendung von prozessierten Bildeigenschaften als Bildmerkmale liefert oftmals robustere Ergebnisse verglichen zur Verwendung der unbearbeiteten Rohdaten in Form der Bildpunktwerte als Bildmerkmale.
Die Modellannahme der Anomaliedetektion kann – entsprechend der Modellannahme der Ereignisklassifikation – die Grundwahrheit bezeichnen, die beim Durchführen der Anomaliedetektion bei der Erkennung von Ereignissen berücksichtigt wird. Es gelten entsprechende Anmerkungen, wie sie oben stehend in Bezug auf die Modellannahme der Ereignisklassifikation dargelegt wurden. Durch das Trainieren der Anomaliedetektion kann eine höhere Genauigkeit beim Erkennen von Ereignissen in dem Bilddatensatz erreicht werden.
Das Bestimmen der Modellannahme der Ereignisklassifikation kann zum Beispiel weiterhin das Durchführen eines überwachten Lernschrittes mittels einer Benutzerschnittstelle umfassen. Der überwachte Lernschritt kann auf einer Kandidaten-Teilmenge des Bilddatensatzes basieren.
Durch das Trainieren der Ereignisklassifikation kann eine höhere Genauigkeit beim Klassifizieren der Ereignisse erreicht werden. Indem der überwachte Lernschritt auf dem Durchführen der Anomaliedetektion beruht, kann eine besonders steile Lernkurve erreicht werden, d.h. mit vergleichsweise geringem Aufwand für das manuelle Annotieren kann eine vergleichsweise hohe Genauigkeit der Ereignisklassifikation erreicht werden.
Zum Beispiel kann das Durchführen eines überwachten Lernschrittes das manuelle Annotieren (engl. labeling) von Bildern der Kandidaten-Teilmenge des Bilddatensatzes durch einen Benutzer umfassen. Der Benutzer kann also zum Beispiel bestimmen, ob in einem Bild ein Ereignis vorliegt oder nicht bzw. welcher Typ von Ereignis vorliegt. Dabei ist die Angabe durch den Benutzer, welches Ereignis vorliegt (Annotieren der Ereignisklasse), optional möglich. Es wäre auch möglich, dass das Annotieren der Ereignisklasse automatisch erfolgt. Dabei wäre es zum Beispiel möglich, dass der überwachte Lernschritt unmittelbar basierend auf Bildern der Kandidaten-Teilmenge durchgeführt wird; es wäre aber auch möglich, dass die Bilder der Kandidaten-Teilmenge im Rahmen des Durchführens des überwachten Lernschrittes bearbeitet werden. Unter der Annahme, dass die gemeinsame Eigenschaft eines jeden Ereignisses eine abrupte Änderung als Funktion der Zeit ist, könnte zum Beispiel eine Intensitätsdifferenz konsekutiver Bilder (Differenzbild) der Kandidaten-Teilmenge für das manuelle Annotieren berücksichtigt werden. Ein Ereigniskandidat kann zum Beispiel vorliegen, wenn in dem Differenzbild eine genügend große zusammenhängende Komponente vorliegt. Alternativ oder zusätzlich könnte eine Binär-Konvertierung erfolgen; dazu könnte zum Beispiel ein bestimmter Schwellenwert als Trennlinie zwischen Wert EINS und Wert NULL betrachtet werden, beispielsweise bei 25 % des hellsten Bildpunkt-Werts. Alternativ oder zusätzlich kann ein Hintergrund der verschiedenen Bilder der Kandidaten-Teilmenge entfernt werden. Dies kann zum Beispiel durch einen Beschnitt des Histogramms und / oder durch einen Ortsraum-Filter, der in dem jeweiligen Bild kleine zusammenhängende Gebiete entfernt, erfolgen. Alternativ oder zusätzlich können weitere Filteroperationen angewendet werden, wie beispielsweise Streckung und/oder Erosion und/oder Füllung von Leerstellen. Durch eine solche Vorkonditionierung der Bilder der Kandidaten-Teilmenge im Rahmen des überwachten Lernschrittes kann der Suchraum für den Lernschritt stark reduziert werden; dadurch kann der Aufwand beim Durchführen des überwachten Lernschrittes reduziert werden.
Zum Beispiel kann die Kandidaten-Teilmenge kleiner sein als der Bilddatensatz. Dadurch kann der Aufwand zum manuellen Annotieren weiter reduziert werden. Darüber hinaus kann es typischerweise erstrebenswert sein, die Kandidaten-Teilmenge derart zu bestimmen, dass mit limitiertem Aufwand zum manuellen Annotieren eine besonders steile Lernkurve zum Erhöhen der Genauigkeit der Ereignisklassifikation durch entsprechendes Bestimmen der Modellannahme erreicht wird. Derart kann es nämlich möglich sein, dass auch bei einer vergleichsweise geringen Anzahl von annotierten Bildern die Genauigkeit beim Erkennen von Ereignissen in den Bilddatensatz beim Durchführen der Anomaliedetektion vergleichsweise groß ist, z.B. im Vergleich zu Referenzimplementierungen gem. S. Huh und M. Chen, Detection of mitosis within a stem cell population of high cell confluence in phasecontrast microscopy images, in Intl. Conf. Comp. Vision and Pattern Recognition (2011) 1033–1040; oder S. Huh et al., Automated mitosis detection of stem cell populations in phase-contrast microscopy images, in Trans. Medical Imaging, 30 (2011) 586–596; oder S. Huh et al. Apoptosis detection for adherent cell populations in time-lapse phase-contrast microscopy images, in Medical Image Computing and Computer-Assisted Intervention, Springer (2012), 331–339. Im Vergleich zu nicht-überwachten Techniken kann eine höhere Genauigkeit bei der Erkennung erreicht werden, vgl. z.B. M. Kandemir et al., Event Detection by Feature Unpredictability in Phase-Contrast Videos of Cell Cultures, in Medical Image Computing and Computer-Assisted Intervention, 8674 (2014) 154–161.
Im Allgemeinen können unterschiedlichste Metriken eingesetzt werden, um basierend auf einem Vergleich zwischen der Vorhersage der Anomaliedetektion und den tatsächlichen Bildern der Kandidaten-Teilmenge ein Ereignis zu erkennen; entsprechend kann die Metrik dazu eingesetzt werden, um zu entscheiden, ob ein bestimmtes Bild der Kandidaten-Teilmenge zugeordnet wird. Die Metrik kann ein entsprechendes Ergebnis liefern, dessen Wert indikativ für die Wahrscheinlichkeit ist, dass ein Ereignis vorliegt. Je nach verwendeter Metrik kann ein sensitiveres bzw. robusteres Erkennen von Ereignissen möglich sein.
Zum Beispiel wäre es möglich, dass das Verfahren weiterhin umfasst: Bestimmen der Kandidaten-Teilmenge des Bilddatensatz basierend auf einer Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion für Bildmerkmale eines bestimmten Bilds und den Bildmerkmalen des bestimmten Bilds.
Neben dem Mittelwert können auch andere Größen im Rahmen der jeweiligen Metrik beim Erkennen eines Ereignisses berücksichtigt werden. Z.B. könnte ein Maß für die Ähnlichkeit zwischen einer Verteilung der Vorhersage der Anomaliedetektion für Bildmerkmale eines bestimmten Bilds und der Verteilung der Bildmerkmale des bestimmten Bilds selbst betrachtet werden. Ein solches Maß ist z.B. die Kullback-Leibler-Divergenz und / oder eine Differenz der Varianzen der Verteilungen. Zum Beispiel könnte das Verfahren also weiterhin umfassen: Bestimmen der Kandidaten-Teilmenge des Bilddatensatzes basierend auf der Kullback-Leibler-Divergenz zwischen einer Vorhersage der Anomaliedetektion für Bildmerkmale eines bestimmten Bilds und den Bildmerkmalen des bestimmten Bilds.
Die Kullback-Leibler-Divergenz kann zum Beispiel ein Maß für die Überraschung sein, also wie sehr die Vorhersage der Anomaliedetektion für Bildmerkmale des Bilds im Vergleich zu den tatsächlich beobachteten Bildmerkmalen des Bilds abweicht.
Je nach verwendeter Metrik zum Erkennen von Ereignissen mittels der Anomaliedetektion kann einerseits eine Genauigkeit beim Erkennen der Ereignisse vergleichsweise groß sein, andererseits der benötigte Rechenaufwand vergleichsweise groß sein. Zum Beispiel kann es im Rahmen einer online-Erkennung von Ereignissen mit geringen Latenzzeiten erstrebenswert sein, den benötigten Rechenaufwand vergleichsweise gering zu dimensionieren.
In verschiedenen Beispielen kann das Bestimmen der Kandidaten-Teilmenge streng deterministisch, zum Beispiel auf Grundlage von Metriken, die wie voranstehend beschrieben auf dem Mittelwert und/oder der Kullback-Leibler-Divergenz der Vorhersage des Bildes bzw. des Bildes selbst basieren, erfolgen. Zum Beispiel wäre es möglich, diejenigen Bilder der Kandidaten-Teilmenge zuzuordnen, die im Rahmen der gewählten Metrik die größten oder kleinsten Ergebnisse erzielen. Es wäre auch möglich, alternierend Bilder der Kandidaten-Teilmenge zuzuordnen, die im Rahmen der gewählten Metrik große bzw. kleine Ergebnisse erzielen; derart kann es möglich sein, beide extremale Bereiche des Ergebnisraums der Metrik beim Bestimmen der Kandidaten-Teilmenge und damit beim Trainieren der Ereignisklassifikation zu berücksichtigen.
Es wäre aber auch möglich, alternativ oder zusätzlich zu der oben genannten Metrik eine Zufallskomponente beim Bestimmen der Kandidaten-Teilmenge in Betracht zu ziehen. Zum Beispiel könnte das Verfahren weiterhin umfassen: Bestimmen der Kandidaten-Teilmenge des Bilddatensatzes basierend auf einem Losverfahren, das jedem Bild des Bilddatensatzes eine Wahrscheinlichkeit zuordnet. Die Wahrscheinlichkeit kann dabei z.B. in Abhängigkeit des Ergebnisses der Anomaliedetektion gewählt sein.
Das Losverfahren kann z.B. der zufälligen Auswahl eines bestimmten Bilds aus der Menge des Bilddatensatzes basierend auf der zugeordneten Wahrscheinlichkeit entsprechen. Es wäre zum Beispiel möglich, dass die Wahrscheinlichkeit jedes Bildes des Bilddatensatzes basierend auf dem Ergebnis der oben genannten Metrik bestimmt wird.
Durch das Verwenden des Losverfahrens kann erreicht werden, dass der Ergebnisraum der Metrik vergleichsweise umfassend beim Bestimmen der Kandidaten-Teilmenge und damit beim Trainieren der Ereignisklassifikation berücksichtigt wird.
Zum Beispiel könnte das Verfahren für jedes Bild des Bilddatensatzes weiterhin umfassen: Bestimmen der entsprechenden zugeordneten Wahrscheinlichkeit des Losverfahrens basierend auf mindestens einem Element, das aus folgender Gruppe ausgewählt ist: eine Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion für Bildmerkmale des entsprechenden Bilds und den Bildmerkmalen des entsprechenden Bilds; und einer Kullback-Leibler Divergenz zwischen einer Vorhersage der Anomaliedetektion für Bildmerkmale des entsprechenden Bilds und den Bildmerkmalen des entsprechenden Bilds.
Zum Beispiel könnte solchen Bildern des Bilddatensatzes, die eine größere (kleinere) Differenz zwischen dem Mittelwert und/oder die eine größere (kleinere) Kullback-Leibler Divergenz der Vorhersage der Anomaliedetektion für Bildmerkmale des entsprechenden Bilds und den Bildmerkmalen des entsprechenden Bilds aufweisen, eine größere (kleinere) Wahrscheinlichkeit des Losverfahrens zugeordnet werden. Derart kann im Ergebnis erreicht werden, dass solche Bilder, die mit besonders großer Wahrscheinlichkeit ein Ereignis beinhalten (Ereigniskandidat), mit vergleichsweise größerer Wahrscheinlichkeit in die Kandidaten-Teilmenge aufgenommen werden und derart Gegenstand des überwachten Lernschrittes der Ereignisklassifikation werden.
Mittels solcher Techniken kann eine besonders steile Lernkurve erreicht werden. Dies ist der Fall, da nicht lediglich streng deterministisch z.B. solche Bilder der Kandidaten-Teilmenge zur manuellen Annotation zugewiesen werden, die mit hoher Sicherheit ein Ereignis darstellen – wodurch die Kandidaten-Teilmenge durch die positive Ergebnisgruppe dominiert werden würde. Vielmehr werden die unterschiedlichsten Regionen des Ergebnisraums der Anomaliedetektion im Rahmen des überwachten Lernschrittes berücksichtigt. Durch die stochastische Natur der Auswahl kann eine gute Repräsentation der verschiedenen Regionen des Ergebnisraums erreicht werden.
Grundsätzlich ist es möglich, dass die Kandidaten-Teilmenge über die gesamte Dauer des überwachten Lernschrittes unverändert verbleibt. Zum Beispiel könnte in diesem Zusammenhang das Verfahren weiterhin umfassen: statisches Bestimmen der Kandidaten-Teilmenge vor dem überwachten Lernschritt. Dies bedeutet in anderen Worten, dass es möglich wäre, die Bilder der Kandidaten-Teilmenge aus dem Bilddatensatz auszuwählen und anschließend den überwachten Lernschritt basierend auf dieser dann statischen Auswahl durchzuführen.
In einem weiteren Beispiel wäre es auch möglich, dass das Verfahren weiterhin umfasst: iteratives Anpassen der Kandidaten-Teilmenge während des überwachten Lernschrittes. Zum Beispiel kann jeweils nach einer bestimmten Anzahl von manuellen Annotationen eine Anpassung der Kandidaten-Teilmenge erfolgen. Dazu wäre es zum Beispiel möglich, eine entsprechend der bereits erfolgten manuellen Annotation erneuerte Modellannahme der Anomaliedetektion zu berücksichtigen; anschließend könnte entweder deterministisch oder zumindest teilweise zufällig, zum Beispiel basierend auf dem oben stehend beschriebenen Losverfahren, die Kandidaten-Teilmenge bestimmt werden. In verschiedenen Implementierungen wäre es also möglich, dass die Modellannahme der Anomaliedetektion basierend auf dem überwachten Lernschritt angepasst bzw. verfeinert wird. Z.B. kann während des überwachten Lernschrittes die Modellannahme der Anomaliedetektion verändert und verbessert werden, sodass die Kandidaten-Teilmenge gemäß der verbesserten Modellannahme der Anomaliedetektion angepasst werden kann. Eine solche Technik kann eine vergleichsweise hohe Genauigkeit und steile Lernkurve bewirken; gleichzeitig kann der erforderliche Rechenaufwand vergleichsweise groß sein.
Es sind verschiedenste Techniken zum manuellen Annotieren im Rahmen des überwachten Lernschrittes denkbar. Zum Beispiel könnte das Durchführen des überwachten Lernschrittes umfassen: Mittels der Benutzerschnittstelle sequentielles Ausgeben der Bilder der Kandidaten-Teilmenge des Bilddatensatzes; und für jedes Bild der Kandidaten-Teilmenge des Bilddatensatzes: mittels der Benutzerschnittstelle Abfragen, ob ein Ereignis in dem entsprechenden Bild vorliegt.
Optional wäre es möglich, dass abgefragt wird, zu welcher Klasse bzw. zu welchem Typ ein Ereignis gehört. Derart kann die Ereignisklassifikation besonders genau trainiert werden.
Zum Beispiel kann die Benutzerschnittstelle einen Bildschirm, eine Tastatur, eine Maus und/oder eine Sprachschnittstelle umfassen.
In verschiedenen Beispielen kann das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge des Bilddatensatzes umfassen: für zumindest einige der Bilder der Kandidaten-Teilmenge des Bilddatensatzes, Markieren eines Ereigniskandidaten in der Ausgabe des jeweiligen Bilds.
Das Markieren des Ereigniskandidaten kann mittels verschiedener grafischer Hervorhebungen erfolgen. Zum Beispiel könnte der Ereigniskandidat in dem Bild vergrößert dargestellt werden und / oder mit einer farblichen Hervorhebung und / oder mit einem Rahmen, etc.
Indem der Ereigniskandidat in der Ausgabe des jeweiligen Bilds markiert wird – d.h. Position und Zeitpunkt des Ereignisses sind aus der Anomaliedetektion jedenfalls näherungsweise bekannt –, kann ein besonders schnelles manuelles Annotieren erfolgen. Dies ermöglicht es, dass innerhalb einer bestimmten Zeitspanne eine größere Anzahl von Bildern der Kandidaten-Teilmenge annotiert wird; dadurch kann wiederum eine insgesamt höhere Genauigkeit beim Bestimmen der Modellannahme der Ereignisklassifikation resultieren, da mehr Bilder vom Benutzer annotiert werden können.
Mittels der Markierung des Ereigniskandidaten in der Ausgabe des jeweiligen Bildes kann auch erreicht werden, dass Fehler beim manuellen Annotieren reduziert werden. Der Benutzer kann zielgerichtet auf den jeweiligen Bereich des entsprechenden Bildes hingewiesen werden, die er für die Bestimmung der Modellannahme der Anomaliedetektion von besonders großer Relevanz ist.
In einem Beispiel kann das Abfragen, ob ein Ereignis vorliegt, eine Ja/Nein-Abfrage sein. Derart kann der Benutzer von der Aufgabe entbunden werden, eine örtliche Ausdehnung des Ereignisses in dem entsprechenden Bild der Kandidaten-Teilmenge festzulegen. Dadurch kann das manuelle Annotieren besonders schnell erfolgen, wodurch das Bestimmen der Modellannahme der Ereignisklassifikation besonders genau erfolgen kann.
Zum Beispiel kann das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge des Bilddatensatzes in einer zufälligen Reihenfolge geschehen. Insbesondere in Szenarien, in denen die Kandidaten-Teilmenge während des überwachten Lernschrittes der Ereignisklassifikation iterativ angepasst wird, kann derart eine besonders steile Lernkurve erreicht werden.
Es wäre z.B. möglich, dass eine Genauigkeit bzw. ein Fehler der Ereignisklassifikation aufgrund der bereits annotierten Bilder abgeschätzt wird. Dann kann das Erreichen eines vorgegebenen Genauigkeits-Schwellenwerts als Abbruchkriterium für das manuelle Annotieren verwendet werden; dadurch kann wiederum eine benötigte Zeitdauer für den manuellen Lernschritt reduziert werden. Ein Beispiel für eine Technik, die zur Abschätzung der Genauigkeit der Ereignisklassifikation eingesetzt werden kann ist die sog. Kreuzvalidierung. Die Kreuzvalidierung kann insbesondere dann zuverlässig operieren, wenn Bilder aus der gesamten Breite des Bilddatensatzes in die Kandidaten-Teilmenge aufgenommen werden und manuell annotiert werden, wie es z.B. mittels des obenstehend beschriebenen Losverfahrens bei geeigneter Wahl der Wahrscheinlichkeiten und der Reihenfolge, mit der die Bilder der Kandidaten-Teilmenge ausgegeben werden, der Fall sein kann.
In anderen Beispielen kann das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge des Bilddatensatzes in einer vorgegebenen Reihenfolge geschehen. Die Reihenfolge kann z.B. von dem Ergebnis der Metrik, die basierend auf dem Durchführen der Anomaliedetektion bestimmt wird, bestimmt werden. Zum Beispiel könnte das Verfahren weiterhin umfassen: Bestimmen der Reihenfolge mit der das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge des Bilddatensatzes geschieht basierend auf Elementen, die aus folgender Gruppe ausgewählt sind: eine Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion für Bildmerkmale eines bestimmten Bilds und den Bildmerkmalen des bestimmten Bilds; und eine Kullback-Leibler Divergenz zwischen einer Vorhersage der Anomaliedetektion für Bildmerkmale eines bestimmten Bilds und den Bildmerkmalen des bestimmten Bilds.
Derart kann erreicht werden, dass zielgerichtet für die Verbesserung der Genauigkeit besonders wichtige Bilder manuell annotiert werden; dadurch kann eine besonders steile Lernkurve erreicht werden.
Gemäß einem weiteren Aspekt betrifft die vorliegende Anmeldung eine Vorrichtung, die zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen eingerichtet ist. Die Vorrichtung umfasst einen Speicher, der eingerichtet ist, um einen Bilddatensatz zu speichern. Die Vorrichtung umfasst weiterhin einem Prozessor, der eingerichtet ist, um eine Anomaliedetektion zum Erkennen von Ereignissen in dem Bilddatensatzes durchzuführen. Der Prozessor ist weiterhin eingerichtet, um basierend auf dem Durchführen der Anomaliedetektion eine Modellannahme der Ereignisklassifikation zu bestimmen.
Es wäre zum Beispiel möglich, dass die Vorrichtung ein Phasenkontrastmikroskop umfasst. Zum Beispiel könnte das Phasenkontrastmikroskop eingerichtet sein, um den Bilddatensatzes zu erfassen und an den Speicher zu übergeben.
Zum Beispiel kann die Vorrichtung gemäß dem gegenwärtig diskutierten Aspekt eingerichtet sein, um das Verfahren zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen gemäß einem weiteren Aspekt der vorliegenden Erfindung durchzuführen.
Für eine Vorrichtung gemäß dem gegenwärtig diskutierten Aspekt können Effekte erzielt werden, die vergleichbar sind mit den Effekten, die für das Verfahren zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen gemäß einem weiteren Aspekt der vorliegenden Erfindung erzielt werden können.
Gemäß einem weiteren Aspekt wird ein Computerprogrammprodukt bereitgestellt. Das Computerprogrammprodukt umfasst Steuerdaten, die von einem Prozessor ausgeführt werden können. Ausführen der Steuerdaten durch den Prozessor bewirkt, dass der Prozessor ein Verfahren ausführt, welches die folgenden Schritte umfasst: Durchführen einer Anomaliedetektion zum Erkennen von Ereignissen in einem Bilddatensatz; und basierend auf dem Durchführen der Anomaliedetektion: Bestimmen einer Modellannahme der Ereignisklassifikation.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
KURZBESCHREIBUNG DER FIGUREN
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
1 illustriert schematisch den Arbeitsfluss für interaktive Ereigniserkennung und Ereignisklassifikation gemäß verschiedener Ausführungsformen der vorliegenden Erfindung, wobei der Arbeitsfluss schwach überwachtes Lernen basierend auf einer vorgeschalteten Anomaliedetektion und einer nachgeschalteten Ereignisklassifikation umfasst.
2 illustriert schematisch ein Bild eines Bilddatensatzes, in denen ein Ereigniskandidat für die Ausgabe über eine Benutzerschnittstelle markiert ist.
3A illustriert Ergebnisse einer Metrik, mit der Ereignisse durch die Anomaliedetektion erkannt werden, wodurch die Ergebnisse indikativ für das Vorhandensein eines Ereignisses in den entsprechenden Bildern des Bilddatensatzes sind.
3B illustriert eine Wahrscheinlichkeit, die verschiedenen Bildern zugeordnet ist, wobei die Wahrscheinlichkeit in Abhängigkeit der Ergebnisse der Metrik gem. 3A gewählt werden.
4 illustriert schematisch eine Vorrichtung gemäß verschiedener Ausführungsformen der vorliegenden Erfindung, wobei die Vorrichtung eingerichtet ist, um den Arbeitsfluss für die interaktive Ereigniserkennung gemäß 1 durchzuführen.
5 ist ein Flussdiagramm eines Verfahrens zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen gemäß verschiedener Ausführungsformen.
6 ist ein Flussdiagramm, welches Details des Verfahrens der 5 in Bezug auf das überwachte Trainieren der Anomaliedetektion gemäß verschiedener Ausführungsformen illustriert.
7 ist ein Flussdiagramm, welches Details des Verfahrens der 6 gemäß verschiedener Ausführungsformen illustriert.
8 ist ein Flussdiagramm, welches Details des Verfahrens der 6 gemäß verschiedener Ausführungsformen illustriert.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Nachfolgend werden Techniken zum Trainieren einer Ereignisklassifikation mittels maschinellem Lernen erläutert. Die hierin beschriebenen Techniken basieren auf einem zweistufigen Ansatz: (I) zunächst wird eine Anomaliedetektion durchgeführt, die auf einem Bilddatensatz operiert und Ereigniskandidaten erkennt. In einem zweiten Schritt (II) wird basierend auf dem Durchführen der Anomaliedetektion eine Modellannahme der Ereignisklassifikation bestimmt, d.h. die Ereignisklassifikation wird trainiert; die Ereignisklassifikation kann dann zur Klassifizierung von Ereignissen auf dem Bilddatensatzes oder einem weiteren Bilddatensatzes, der zum Beispiel mit dem Bilddatensatzes überlappen kann oder disjunkt sein kann, operieren.
Die vorliegenden Techniken beruhen auf einem schwach-überwachten Lernschritt der Anomaliedetektion. Zum Beispiel kann zunächst ein nicht-überwachter Lernschritt ohne signifikante Benutzerinteraktion basierend auf einem Trainings-Bilddatensatzes zum Bestimmen einer Modellannahme der Anomaliedetektion durchgeführt werden; zum Beispiel können in diesem Zusammenhang Techniken der Autoregression angewendet werden, wobei der Trainings-Bilddatensatz keine Ereignisse bzw. eine besonders geringe / insignifikante Anzahl von Ereignissen aufweist. Anschließend kann ein überwachter Lernschritt lediglich basierend auf einer vergleichsweise kleinen Kandidaten-Teilmenge des Bilddatensatzes zum Bestimmen der Modellannahme der Ereignisklassifikation durchgeführt werden; zum Beispiel können solche Bilder des Bilddatensatzes bevorzugt in die Kandidaten-Teilmenge aufgenommen werden, bei denen ein Ereigniskandidat mit besonders großer Wahrscheinlichkeit vorliegt.
Solche Techniken, wie sie ihren beschrieben sind, können in verschiedensten Fachgebieten Anwendung finden. Ein bestimmtes Fachgebiet, bei dem die vorliegend beschriebenen Techniken angewendet werden können, ist die Zellbiologie. Nachfolgend wird in Bezug auf die Figuren bevorzugt auf das Gebiet der Zellbiologie Bezug genommen; entsprechende Techniken können aber ohne weiteres auf andere Fachgebiete übertragen werden.
Im Rahmen der Datenauswertung in Anwendungen der Zellbiologie kann es erstrebenswert sein, Zellkulturen zeitaufgelöst, zum Beispiel in Abhängigkeit von verschiedenen Stimuli, darzustellen. Insbesondere können Bilddatensätze mittels Phasenkontrast-Mikroskopie erhalten werden. Die Phasenkontrast-Mikroskopie ist eine nicht invasive Technik und erlaubt das Erkennen von Ereignissen wie beispielsweise Zellteilung (Mitose) oder Zelltod (Apoptose). Eine grundsätzliche Herausforderung bei der Phasenkontrast-Mikroskopie ist es, Umrisse von Zellen zuverlässig und genau zu segmentieren. Aufgrund des Vorhandenseins von Bildartefakten ist die Genauigkeit von vorbekannten Techniken gemäß Referenzimplementierungen vergleichsweise begrenzt; vergleiche etwa M. Kaakinen et al., Automatic detection and analysis of cell motility in pase-contrast timelapse images using a combination of maximally stable extremal regions and kalman filter approaches, in Journal of Microscopy 253 (2014) 65–67.Aufgrund der eingeschränkten Genauigkeit in der Segmentierung der Umrisse von Zellen sind wiederum Techniken bekannt, die die Segmentierung umgehen und Ereignisse, wie beispielsweise Mitose oder Apoptose, direkt erkennen. Solche Techniken können zum Beispiel auf heuristisch erzeugten Kandidatenregionen basieren. Beispielsweise sind Techniken bekannt, bei denen ein Kandidatenereignis aus einem hellen Gebiet, welches in einem Bild eine gewisse Schwellenwertgröße überschreitet, erkannt werden; siehe beispielsweise S. Huh et al., Automated mitosis detection of stem cell populations in phase-contrast microscopy images, in Trans. Medical Imaging 30 (2011) 586–596. Dabei ist es möglich, die Bilder vor der Erkennung zu konditionieren. Zum Beispiel wird es möglich, dass jedes Kandidatenereignis durch ein Histogramm mit orientierten Gradienten (engl. Histogram of Oriented Gradients, HoG) repräsentiert wird, wobei das HoG durch einen Binärklassifikation vorbearbeitet sein kann und durch ein bedingtes Zufallsfeld (engl. Conditional Random Field, CRF) geglättet sein kann.
Solche vorbekannten Techniken können den Nachteil aufweisen, dass ein vollständig überwachter, umfangreicher Lernschritt erforderlich ist. Da typischerweise ein Bilddatensatz, der einen Zeitverlauf einer Zeltkultur darstellt, aus mehreren hunderten Ereignissen besteht, die noch dazu simultan auftreten können, kann das manuelle Annotieren im Rahmen eines solchen Lernschrittes zeitaufwendig und fehleranfällig sein. Dabei kann insbesondere bei simultan auftretenden Ereignissen das manuelle Annotieren sehr aufwendig sein und ein hohes Maß an Expertenwissen erfordern.
Im Rahmen der industriellen Prozesskontrolle ist das automatisierte Auffinden von Defekten von Bedeutung, um die Qualität von Produkten sicherzustellen. Hierbei können z.B. unterschiedliche nicht-invasive Bildgebungstechniken zum Einsatz. Dazu gehören zum Beispiel CT-Techniken, Kontrast-Mikroskopietechniken wie z.B. Hellfeldkontrast, Durchlichtkontrast, Dunkelfeldkontrast, DIC-Kontrast, Phasenkontrast, etc., als auch dreidimensionale (3D)-Bildgebungstechniken bzw. Tiefensensor-Techniken, wie z.B. Stereoskopie, Laufzeitmessung (engl. Time-Of-Flight, TOF), strukturierte Beleuchtung, Phasenschieben, Interferometer, etc. Die Auswahl des Sensors richtet sich dabei nach der Art der aufzufindenden Defekte. Erschwerend bei der Erkennung von Defekten ist oftmals einerseits die hohe Variabilität in den Ausprägungsformen der Defekte, als auch andererseits das Vorhandensein komplexer Objektstrukturen des Prüflings und Bildartefakte. Lernbasierte Verfahren können typischerweise zuverlässige Ergebnisse in der Erkennung von Defekten liefern, benötigen allerdings typischerweise eine aufwendige, vollständig überwachte Trainingsprozedur, sh. z.B. S. Ravikumar, et al., Machine learning approach for automated visual inspection of machine components, Expert Systems with Applications, 38 (2011) 3260–3266. Mittels der hierin beschriebenen Techniken ist es möglich, den Aufwand für manuelles Annotieren im Rahmen eines Lernschritts signifikant zu reduzieren.
Die vorliegenden Techniken beruhen auf einem Arbeitsablauf, der mit geringem Aufwand zum manuellen Annotieren eine besonders hohe Güte in der Klassifikation von Ereignissen ermöglicht. In verschiedenen Szenarien werden zunächst durch eine Anomaliedetektion Ereignisse bzw. Ereigniskandidaten erkannt. Jedem Ereigniskandidaten wird dazu eine Wahrscheinlichkeit eines Losverfahrens zugeordnet, wobei bevorzugt solche Bilder, die mit hoher Wahrscheinlichkeit ein Ereignis darstellen, eine größere Wahrscheinlichkeit zugeordnet bekommen. Aus der resultierenden Verteilung von Wahrscheinlichkeiten werden mittels des Losverfahrens Bilder ausgewählt, die eine Kandidaten-Teilmenge bilden. Basierend auf diesen Bildern der Kandidaten-Teilmenge erfolgt der überwachte Lernschritt. Auf Grundlage des überwachten Lernschrittes wird die Ereignisklassifikation trainiert.
Dieser Arbeitsablauf ist in 1 schematisch in größerem Detail illustriert. Der Bilddatensatz 110 umfasst mehrere Bilder, die als Funktion der Zeit zum Beispiel eine Zellkultur abbilden. Zum Beispiel kann der Bilddatensatz 110 von einem Phasenkontrastmikroskop erhalten werden (in 1 nicht dargestellt).
Bevor die Anomaliedetektion 121 durchgeführt wird, können die Bilder des Bilddatensatzes 110 bearbeitet werden, um einen bearbeiteten Bilddatensatz 111 zu erhalten. Wie in 1 grafisch illustriert, kann der bearbeitete Bilddatensatz 111 Differenzbilder konsekutiver Bilder des Bilddatensatzes 110 umfassen. Alternativ oder zusätzlich kann zum Beispiel der Hintergrund entfernt werden und/oder eine Binär-Konvertierung durchgeführt werden.
Anschließend wird die Anomaliedetektion 121 durchgeführt. Die Anomaliedetektion 121 operiert auf dem bearbeiteten Bilddatensatz 111. In einer bevorzugten Variante wird als Anomaliedetektion 121 ein Collaborative Multi-Output Gaussian Process eingesetzt, siehe o.g. Publikation von V. T. Nguyen und E. Bonilla.
Die Anomaliedetektion 121 ist durch eine Modellannahme charakterisiert. Zum Beispiel kann die Modellannahme der Anomaliedetektion 121 in einem vorangehenden Schritt (in 1 nicht gezeigt) bestimmt werden, d.h. die Anomaliedetektion 121 kann trainiert werden. Es wäre zum Beispiel möglich, dass die Modellannahme der Anomaliedetektion 121 basierend auf einem nicht-überwachten oder schwach überwachten Lernschritt, der auf einem Trainings-Bilddatensatz basiert, bestimmt wird. Zum Beispiel könnte der Trainings-Bilddatensatz keine Ereignisse aufweisen. Derart kann es zum Beispiel möglich sein, eine Autoregressionstechnik zum Trainieren der Anomaliedetektion 121 zu verwenden, siehe zum Beispiel die o.g. Publikation von Kandemir et al..
Die Anomaliedetektion 121 erkennt Ereignisse; da die Anomaliedetektion 121 mit einer begrenzten Genauigkeit operiert, können die Ereignisse auch als Ereigniskandidaten bezeichnet werden. Basierend auf dem Durchführen der Anomaliedetektion 121 wird anschließend eine Kandidaten-Teilmenge 122 bestimmt, die eine begrenzte Anzahl von Bildern des Bilddatensatzes 110, 111 umfasst. Auf Grundlage der Bilder der Kandidaten-Teilmenge 122 ist es dann möglich, eine Modellannahme 130 einer nachfolgenden Ereignisklassifikation 131 mittels eines überwachten Lernschrittes 125 zu bestimmen, d.h. es ist möglich, die Ereignisklassifikation zu trainieren. Dabei kann es erstrebenswert sein, die Kandidaten-Teilmenge 122 so klein wie möglich zu wählen (um die Aufwand zum manuellen Annotieren klein zu halten), jedoch so groß wie nötig zu wählen (um eine ausreichende Genauigkeit der Ereignisklassifikation zu erhalten). Es kann insofern erstrebenswert sein, die Kandidaten-Teilmenge 122 zielgerichtet basierend auf dem Durchführen der Anomaliedetektion 122 zu bestimmen.
Grundsätzlich sind verschiedenste Techniken denkbar, um die Bilder für die Kandidaten-Teilmenge 122 auf Grundlage des Durchführens der Anomaliedetektion 121 auszuwählen. Zum Beispiel wäre es möglich, dass die Kandidaten-Teilmenge 122 basierend auf einer Differenz zwischen einem Mittelwert und / oder einer Varianz und / oder der Kullback-Leibler-Divergenz einer Vorhersage der Anomaliedetektion 121 für Bildmerkmale eines bestimmten Bilds und den Bildmerkmalen des bestimmten Bilds des Bilddatensatzes 110, 111 bestimmt wird. Neben solchen Metriken sind auch noch andere Metriken denkbar.
Beispielsweise kann also als Mittelwert gem. o.g. Publikation von Kandemir et al., Sec. 2.2: Multioutput Gaussian process autoregression der Abstandswert TUV(x_n) = ||μ(x_n) – y_n|| 2 / 2, (1)
Gewählt werden, wobei μ(x_n) = [μ₁(x_n), ..., μ_p(x_n)] die vorhergesagten Werte eines Datensatzes X = {x₁, ..., x_N} mit n-Komponenten sind und y = {y₁, ..., y_N} die entsprechend reellwertigen Ausgaben.
Diese Metrik kann auch um die vorhergesagte Varianz und / oder Kullback-Leibler-Divergenz ergänz werden. Z.B. kann dafür eine tatsächliche Verteilung für die beobachteten Merkmale in dem Bilddatensatz 110, 111 bestimmt werden
wobei
die Gaussverteilung bezeichnet, ein kleiner Parameter ist und I die Einheitsmatrix ist. Dadurch ist es möglich, Spikes bei den betrachteten Stellen des Merkmalraums zu erzeugen. Die Kullback-Leibler Divergenz zwischen p_true und der vorhergesagten Verteilung
wird berücksichtigt, wobei [Σ_n]_ii = σ 2 / i(x_n) die vorhergesagte Varianz für Ausgabedimension i ist.
Die entsprechende Metrik wird erhalten zu:
Für den Fall, dass Σ_n für alle Instanzen gleich ist, liefern die Metriken gem. Gl. (1) und (2) identische Ergebnisse.
Zum Beispiel könnten diejenigen Bilder des Bilddatensatzes 110, 111 der Kandidaten-Teilmenge 122 zugeordnet werden, die die vergleichsweise größten Ergebnisse gemäß Gleichungen (1) oder (2) liefern. Derart könnte die Kandidaten-Teilmenge 122 streng deterministisch bestimmt werden. Es wäre aber auch möglich, dass die Kandidaten-Teilmenge 122 zumindest teilweise zufällig bestimmt wird. Zum Beispiel wäre es möglich, dass die Kandidaten-Teilmenge 122 basierend auf einem Losverfahren bestimmt wird. Das Losverfahren kann jedem Bild des Bilddatensatzes 110, 111 eine Wahrscheinlichkeit zuordnen, etwa gem.
Zum Beispiel könnte solchen Bildern des Bilddatensatzes 110, 111 eine größere (kleinere) Wahrscheinlichkeit zugeordnet werden, die gemäß den Metriken nach Gleichung (1) oder (2) größere (kleinere) Ergebnisse bzw. größere (kleinere) Wahrscheinlichkeiten für das Vorhandensein eines Ereignisses liefern.
Das Durchführen des überwachten Lernschrittes 125 kann zum Beispiel das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge 122 des Bilddatensatzes 110, 111 mittels einer Benutzerschnittstelle an einen Benutzer umfassen. In 2 ist beispielhaft die Ausgabe eines Bilds 220 der Kandidaten-Teilmenge 122 illustriert. Angezeigt ist auch eine Ja/Nein-Abfrage 260, ob ein Ereignis 250 in dem entsprechenden Bild vorliegt. Der entsprechende Ereigniskandidat 250 ist in der Ausgabe des Bilds 220 markiert. Da der Ereigniskandidat 250 durch die Anomaliedetektion 121 bereits markiert ist, muss der Benutzer die örtliche und/oder zeitliche Ausdehnung des Ereignisses 250 nicht manuell annotieren. In verschiedenen Beispielen kann der Benutzer weiterhin dem markierten Ereignis 250 eine Klasse bzw. einen Typ zuordnen.
In 3A ist die Häufigkeit der verschiedenen Ergebnisse der Metriken nach Gleichungen (1) oder (2) dargestellt. Aus 3 ist ersichtlich, dass eine Verteilung der Wahrscheinlichkeiten 300 erhalten wird, wobei die Verteilung im Beispiel der 3 Flanken-betont ist. Es kann erstrebenswert sein, im Rahmen des Trainierens der Ereignisklassifikation den gesamten Ergebnisraum zu berücksichtigen. Dazu kann die Wahrscheinlichkeiten 300 des Losverfahrens zum Bestimmen der Kandidaten-Teilmenge 122 für die verschiedenen Bilder 220 z.B. proportional zum Ergebnis 350 gewählt werden (cf. 3B). Es wären auch andere Abhängigkeiten zwischen der Wahrscheinlichkeit 300 und dem Ergebnis 350 der Anomaliedetektion 121 denkbar.
Grundsätzlich ist es möglich, dass das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge 122 in einer deterministischen Reihenfolge geschieht; zum Beispiel könnten solche Bilder 220, die ein größeres Ergebnis basierend auf einer der Metriken der Gleichungen (1) oder (2) liefern – und damit eine größere Wahrscheinlichkeit 300 – vor solchen Bildern 220 ausgegeben werden, die ein kleineres entsprechendes Ergebnis liefern (wie in 3B durch den Pfeil illustriert). In anderen Beispielen wäre es auch möglich, dass die Bilder 220 der Kandidaten-Teilmenge 122 in einer zufälligen Reihenfolge ausgegeben werden.
Basierend auf dem überwachten Lernschritt kann dann die Ereignisklassifikation 131 trainiert werden; dies bedeutet, dass eine Modellannahme 130 der Ereignisklassifikation 131 bestimmt werden kann (cf. 1). In 1 ist die Modellannahme 130 als A-Priori-Verteilung der Ereignisklassifikation 131 graphisch illustriert.
Anschließend kann die Ereignisklassifikation 131 zum Klassifizieren von Ereignissen 250 in einem weiteren Bilddatensatz (in 1 nicht dargestellt) basierend auf der bestimmt Modellannahme 130 der Ereignisklassifikation 131 durchgeführt werden. Dabei kann der Bilddatensatz 110, 111, aus welchem die Kandidaten-Teilmenge 122 ausgewählt wurde, verschieden bzw. disjunkt oder aber zumindest teilweise überlappend mit dem weiteren Bilddatensatz sein, auf welchem die er Ereignisklassifikation 131 operiert. D.h. die Ereignisklassifikation 131 kann auch für Bilder verwendet werden, die nicht für das Trainieren berücksichtigt wurden.
Die Ereignisklassifikation 131 liefert als Ergebnis eine Zuordnung verschiedener Teilmengen 132-1, 132-2, 132-3 des weiteren Bilddatensatzes zu unterschiedlichen Typen von Ereignissen, zum Beispiel also zu: Mitose; Apoptose; kein Ereignis.
In 4 ist eine Vorrichtung gemäß verschiedenen Beispiele illustriert. Die Vorrichtung 401 umfasst einen Prozessor 411, der mit einem nicht-flüchtigen Speicher 412 gekoppelt ist. Die Vorrichtung 401 umfasst weiterhin eine Schnittstelle 413. Die Schnittstelle 413 ist eingerichtet, um den Bilddatensatz 110 von einem Detektor wie einer optischen Aufnahmeeinheit 450, beispielsweise einem Mikroskop oder einem Phasenkontrast-Mikroskop, zu empfangen und über den Prozessor 411 in dem Speicher 412 abzulegen. Die Vorrichtung 401 umfasst weiterhin eine Benutzerschnittstelle 414. Über die Benutzerschnittstelle 414 können verschiedene Bilder 220 – z.B. mit einer Markierung 251 eines Ereigniskandidats 250 – an den Benutzer ausgegeben werden. Es ist auch möglich, dass der Benutzer über die Benutzerschnittstelle 414 angibt, ob sich ein Ereignis 250 in dem entsprechenden ausgegebenen Bild 220 befindet. In verschiedenen Beispielen kann die entsprechende Abfrage als Ja/Nein-Abfrage 260 implementiert sein. In verschieden Beispielen kann die Abfrage 260 auch die Eingabe des Ereignistyps oder sonstiger Ereigniseigenschaften erfordern, d.h. das Annotieren der Ereignisklasse.
Der Prozessor 411 ist eingerichtet, um verschiedene Techniken im Rahmen des maschinellen Lernens wie voranstehend und nachfolgend beschrieben auszuführen. Dazu kann der Speicher entsprechende Steuerdaten beinhalten, die von dem Prozessor 411 ausgeführt werden können.
Zum Beispiel kann das Ausführen der Steuerdaten, die in dem Speicher 412 hinterlegt sind, bewirken, dass der Prozessor 411 ein Verfahren gemäß 5 ausführt. Dabei erfolgt zunächst das Durchführen der Anomaliedetektion 121 zum Erkennen von Ereignissen in dem Bilddatensatz 110, 111 (S1).
Zum Beispiel könnte die Anomaliedetektion 121 vorangehend trainiert werden (in 5 nicht gezeigt). Dazu könnte zum Beispiel ein überwachter oder nicht-überwachte Lernschritt durchgeführt werden. Derart wäre es möglich, eine Modellannahme der Anomaliedetektion 121 vergleichsweise genau zu bestimmen.
Anschließend erfolgt das Bestimmen der Modellannahme 130 der Ereignisklassifikation 131 basierend auf dem Durchführen der Anomaliedetektion (S2). S2 entspricht dem Trainieren der Ereignisklassifikation 131.
Das Verfahren der 5 ist in 6 in größerem Detail dargestellt. Zunächst erfolgt das nicht-überwachte oder schwach überwachte Trainieren der Anomaliedetektion (T1). In diesem Zusammenhang kann die Modellannahme der Anomaliedetektion bestimmt werden. Zum Beispiel kann in Schritt T1 eine Autoregressionstechnik basierend auf einem Trainings-Bilddatensatz, der frei von Ereignissen ist, eingesetzt werden.
Anschließend erfolgt das Durchführen der Anomaliedetektion (T2). Dabei wird jedem Bild 220 des Bilddatensatzes 110, 111 ein Ergebnis der entsprechenden Metrik, zum Beispiel basierend auf den Gleichungen (1) oder (2), zugeordnet. Das Ergebnis ist ein Maß für die Wahrscheinlichkeit, dass in dem entsprechenden Bild 220 ein Ereignis vorliegt.
Basierend auf dem Durchführen der Anomaliedetektion in T2 wird anschließend die Kandidaten-Teilmenge 122 bestimmt (T3). Das Bestimmen kann zum Beispiel streng deterministisch oder mit einem Zufalls-Anteil erfolgen. Dabei kann das Ergebnis der entsprechenden Metrik, zum Beispiel basierend auf den Gleichungen (1) oder (2), berücksichtigt werden.
Dann erfolgt das Trainieren der Ereignisklassifikation 131 basierend auf der Kandidaten-Teilmenge 122 (T4). Die Kandidaten-Teilmenge 122 beschränkt den Aufwand zum Trainieren der Ereignisklassifikation.
In 7 ist eine beispielhafte Technik zum Bestimmen der Modellannahme der Ereignisklassifikation 131 in größerem Detail dargestellt. Zunächst wird die Anomaliedetektion durchgeführt (U0) und die Abweichung zwischen der Vorhersage der Anomaliedetektion 121 und dem tatsächlichen Bild 220 bestimmt (U1): zum Beispiel anhand einer der Metriken, wie sie in Gleichungen (1) oder (2) beschrieben sind.
Dann erfolgt das Bestimmen der Kandidaten-Teilmenge 142 basierend auf dem Losverfahren (U2). Dabei ist jedem Bild 220 des Bilddatensatzes 110, 111 eine Wahrscheinlichkeit 300 zugeordnet, die auf dem Ergebnis der Anomaliedetektion 121 basiert (cf. 3B).
Anschließend erfolgt das Bestimmen der Reihenfolge 310 für das Ausgeben der Bilder 220 der Kandidaten-Teilmenge (U3). Die Reihenfolge 310 kann streng deterministisch sein oder aber mit Zufalls-Anteil bestimmt werden.
Dann wird ein aktuelles Bild 220 der Kandidaten-Teilmenge 122 mittels der Benutzerschnittstelle 414 an den Benutzer ausgegeben; in der Ausgabe des Bilds 220 wird optional ein Ereigniskandidat 250 mit einer Markierung 251 versehen (U4). Anschließend (U5) erfolgt die Ja/Nein-Abfrage 260, ob der Ereigniskandidat 250 tatsächlich ein Ereignis darstellt bzw. ob ein Ereignis 250 möglicherweise nicht erkannt / markiert wurde.
Anschließend wird überprüft, ob ein weiteres Bild 220 in der Kandidaten-Teilmenge 122 vorhanden ist; ist dies der Fall, werden die Schritte U4–U6 erneut durchgeführt; anderenfalls das Verfahren mit U7 fortgesetzt.
Durch das Durchführen des überwachten Lernschritts 125 (U4 und U5) können derart Grundwahrheiten gesammelt werden und die Modellannahme der Ereignisklassifikation besonders genau bestimmt werden (U7).
Aus 7 ist ersichtlich, dass die Kandidaten-Teilmenge 122 vor dem Durchführen des überwachten Lernschrittes 125 (U4, U5) einmal bestimmt (U2) wird und anschließend unverändert bzw. statisch verbleibt.
Bezug nehmend auf 8: es ist auch möglich, dass die Kandidaten-Teilmenge 142 während des überwachten Lernschrittes 125 (V4, V5) iterativ angepasst wird. Zunächst wird die Anomaliedetektion durchgeführt (V1) und die Abweichung zwischen der Vorhersage der Anomaliedetektion 121 und dem tatsächlichen Bild 220 bestimmt (V2), zum Beispiel anhand einer der Metriken, wie sie in Gleichungen (1) oder (2) beschrieben sind.
Dann wird ein einzelnes, aktuelles Bild der Kandidaten-Teilmenge 122 basierend auf dem Losverfahren bestimmt (V3) und mittels der Benutzerschnittstelle 414 ausgegeben (V4); falls vorhanden, wird der entsprechende Ereigniskandidat 250 mit einer Markierung 251 versehen. Es erfolgt wiederum die Ja/Nein-Abfrage 260, ob der Ereigniskandidat 250 tatsächlich ein Ereignis abbildet oder ob ein sonstiges Ereignis in dem entsprechenden Bild 220 abgebildet wird (V5).
Anschließend wird überprüft, ob im Rahmen des überwachten Lernschrittes 125 ein weiteres Bild 220 ausgegeben werden soll (V6). Ist dies der Fall wird die Modellannahme der Anomaliedetektion 121 angepasst (V7), basierend auf der zusätzlich erlernten Grundwahrheit aus V5. Dann werden die Schritte V1–V5 erneut durchgeführt; insbesondere wird die Anomaliedetektion erneut durchgeführt, basierend auf der verbesserten Modellannahme gemäß V7.
Wenn in V6 bestimmt wird, dass kein weiteres Bild 220 ausgegeben wird, d.h. wenn bestimmt wird, dass der überwachte Lernschritt 125 beendet ist, wird in V8 die Modellannahme der Ereignisklassifikation 131 bestimmt.
In dem Beispiel der 8 dient also das manuelle Annotieren (V4, V5) zum Trainieren sowohl der Anomaliedetektion 121, als auch zum Trainieren der Ereignisklassifikation 131.
Voranstehend wurden zusammenfassend Techniken des maschinellen Lernens erläutert, bei denen im Rahmen eines schwach überwachten oder nicht-überwachten Vorverarbeitungsschritts, der auf einer Anomaliedetektion basiert, Auffälligkeiten entdeckt werden. Derart kann in einem nachgelagerten Schritt eine entsprechend trainierte Ereignisklassifikation durchgeführt werden. Der Aufwand zum manuellen Annotieren kann derart reduziert werden, da entsprechende Bilder lediglich global als mit oder ohne Ereignis annotiert werden müssen. Die zeitliche/räumliche Ausdehnung eines Ereignisses wird bereits durch den Vorverarbeitungsschritt bzw. die Anomaliedetektion bestimmt, so dass der Benutzer lediglich das Vorhandensein von Ereignissen und optional die Ereignisklasse annotieren muss. Dadurch kann der Aufwand zum manuellen Annotieren reduziert werden. Der Vergleich zu verschiedenen Referenzimplementierungen, zum Beispiel Techniken des aktiven Lernens – die ebenfalls zur Reduktion des Aufwands der manuellen Annotieren genutzt werden –, zeigt, dass die hierin beschriebenen Techniken mit einem geringeren Aufwand zur manuellen Annotation genauere Ergebnisse erzielen können.
Mittels der hierin beschriebenen Techniken ist es also möglich, zum Beispiel Zellereignisse im Rahmen der Phasenkontrast-Mikroskopie einer Zellkultur mit einem stark begrenzten überwachten Lernschritt zuverlässig zu erkennen. Dazu wird eine Anomaliedetektion verwendet. Eine besonders steile Lernkurve kann erreicht werden, wenn die Anomaliedetektion basierend auf dem Collaborative Multi-Output Gaussprozess implementiert wird. Durch das Verwenden eines zufälligen Anteils beim Bestimmen einer Kandidaten-Teilmenge, basierend auf welcher der überwachte Lernschritt durchgeführt wird, kann eine vergleichsweise steile Lernkurve für das Trainieren der Ereignisklassifikation erreicht werden; dies ist der Fall, da der vorhandene Ergebnisraum der Anomaliedetektion sowohl in seiner Breite, als auch in den Extremwerten zum Trainieren der Ereignisklassifikation eingesetzt werden kann.
Die höheren Genauigkeiten, die mit einem vergleichsweise begrenzten überwachten Lernschritt erreicht werden können, ermöglichen eine signifikante Verbesserung in der bildbasierten Analyse von Zellkulturen. Zum Beispiel könnten die entsprechenden Techniken im Rahmen einer Annotations-Software, die von Biologen verwendet wird, implementiert werden. Derart könnte eine Vorsortierung der Positionen, die im Rahmen des überwachten Lernschrittes manuell annotiert werden müssen, erfolgen. Derart kann der benötigte Aufwand eines Benutzers bzw. Experten stark reduziert werden.
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

C. E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, MIT Press (2006) [0010]
Isolation Forest, sh. z.B. F. T. Liu et al., Isolation Forest, in IEEE ICDM (2008) 413–422 [0011]
Sparse Coding, sh. z.B. C. Lu et al., Abnormal event detection at 150 fps in Matlab, in International Conference on Computer Vision (2013) 2720–2727 [0011]
Neurale Netzwerke, sh. M. A. Kramer, Autoassociative Neural Networks, in Computers them. Engng. 16 (1992) 313–328 [0011]
Nearest Neighbor, sh. z.B. T. Cover und P. Hart, Nearest neighbor pattern classification, in IEEE Trans. Information Theory (1967) 21–27 [0011]
Collaborative Multi-Output Gaussprozess, sh. T. V. Nguyen und E. V. Nobilla, Collaborative Multi-output Gaussian Process, in Uncertainity in Artificial Intelligence (2014) 3 [0011]
Support Vector Machine, sh. z.B. B. Schölkopf et al., Estimating the support of a high-dimensional distribution in Neural Computation 13 (2001) 1443–1471 [0011]
Kernel Null Space Technik, sh. z.B. P. Bodesheim et al., Kernel null space methods for novelty detection, in International Conference on Computer Vision and Pattern Recognition (2013) 3374–3381 [0011]
Multiclass SVM, sh. z.B. K.-B. Duan und S. S. Keerthi, Which is the Best Multiclass SVM Method? An Empirical Study, in Lecture Notes in Computer Science 3541 (2005) 278–285 [0012]
Multiclass Boosting, sh. z.B. Y. Freund, R. Schapire, A decision theoretic generalization of on-line learning and an application to boosting in J. Comp. Syst. Science 55 (1997) 119–139 [0012]
Neurale Netzwerke, sh. K. Fukushima, Neocognitron: A Hierarchical Neural Network Capable of Visual Pattern Recognition, in NeuralNetworks 1 (1998) 119–130 [0012]
Gaussprozess, sh. z.B. C. E. Rasmussen, K. I. Williams, Gaussian Processes for Machine Learning, in MIT Press (2006) [0012]
Nearest Neighbor, sh. z.B. T. Cover und P. Hart, Nearest neighbor pattern classification, IEEE Trans. Information Theory [0012]
Random Forest, sh. z.B. L. Breiman, Random Forests, in Machine Learning 45 (2001) 5–32 [0012]
M. Kandemir et al., Event Detection by Feature Unpredictability in Phase-Contrast Videos of Cell Cultures, in Medical Image Computing and Computer-Assisted Intervention, 8674 (2014) 154–161 [0015]
N. Dalal und B. Triggs, Histograms of oriented gradients for human detection, in Computer Vision and Pattern Recognition CVPR 1 (2005) 886–893 [0016]
T. Ojala T et al., Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns, in IEEE Transactions on Pattern Analysis and Machine Intelligence 24 (2004) 971–987 [0016]
S. Huh und M. Chen, Detection of mitosis within a stem cell population of high cell confluence in phasecontrast microscopy images, in Intl. Conf. Comp. Vision and Pattern Recognition (2011) 1033–1040 [0021]
S. Huh et al., Automated mitosis detection of stem cell populations in phase-contrast microscopy images, in Trans. Medical Imaging, 30 (2011) 586–596 [0021]
S. Huh et al. Apoptosis detection for adherent cell populations in time-lapse phase-contrast microscopy images, in Medical Image Computing and Computer-Assisted Intervention, Springer (2012), 331–339 [0021]
M. Kandemir et al., Event Detection by Feature Unpredictability in Phase-Contrast Videos of Cell Cultures, in Medical Image Computing and Computer-Assisted Intervention, 8674 (2014) 154–161 [0021]
M. Kaakinen et al., Automatic detection and analysis of cell motility in pase-contrast timelapse images using a combination of maximally stable extremal regions and kalman filter approaches, in Journal of Microscopy 253 (2014) 65–67 [0068]
S. Huh et al., Automated mitosis detection of stem cell populations in phase-contrast microscopy images, in Trans. Medical Imaging 30 (2011) 586–596 [0068]
S. Ravikumar, et al., Machine learning approach for automated visual inspection of machine components, Expert Systems with Applications, 38 (2011) 3260–3266 [0070]
Publikation von V. T. Nguyen und E. Bonilla [0074]
Kandemir et al. [0075]
Kandemir et al. [0078]

Claims

Verfahren zum Trainieren einer Ereignisklassifikation (131) mittels maschinellem Lernen, wobei das Verfahren umfasst: – Durchführen einer Anomaliedetektion (121) zum Erkennen von Ereignissen (250) in einem Bilddatensatz (110, 111), – basierend auf dem Durchführen der Anomaliedetektion (121): Bestimmen einer Modellannahme (130) der Ereignisklassifikation (131).
Verfahren nach Anspruch 1, wobei das Bestimmen der Modellannahme (130) der Ereignisklassifikation weiterhin umfasst: – mittels einer Benutzerschnittstelle Durchführen eines überwachten Lernschrittes (125) basierend auf einer Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111).
Verfahren nach Anspruch 2, wobei das Verfahren weiterhin umfasst: – Bestimmen der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) basierend auf einer Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion (121) für Bildmerkmale eines bestimmten Bilds (220) und den Bildmerkmalen des bestimmten Bilds (220).
Verfahren nach Anspruch 2 oder 3, wobei das Verfahren weiterhin umfasst: – Bestimmen der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) basierend auf einer Kullback-Leibler Divergenz zwischen einer Vorhersage der Anomaliedetektion (121) für Bildmerkmale eines bestimmten Bilds (220) und den Bildmerkmalen des bestimmten Bilds (220).
Verfahren nach einem der Ansprüche 2–4, wobei das Verfahren weiterhin umfasst: – Bestimmen der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) basierend auf einem Losverfahren, das jedem Bild (220) des Bilddatensatzes (110, 111) eine Wahrscheinlichkeit (300) zuordnet.
Verfahren nach Anspruch 5, wobei das Verfahren weiterhin umfasst: – für jedes Bild (220) des Bilddatensatzes (110, 111): Bestimmen der entsprechenden zugeordneten Wahrscheinlichkeit (300) des Losverfahrens basierend auf mindestens einem Element, das aus folgender Gruppe ausgewählt ist: – eine Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion (121) für Bildmerkmale des entsprechenden Bilds (220) und den Bildmerkmalen des entsprechenden Bilds (220); und – eine Kullback-Leibler Divergenz zwischen einer Vorhersage der Anomaliedetektion (121) für Bildmerkmale des entsprechenden Bilds (220) und den Bildmerkmalen des entsprechenden Bilds (220).
Verfahren nach einem der Ansprüche 2–6, wobei das Verfahren weiterhin umfasst: – statisches Bestimmen der Kandidaten-Teilmenge (122) vor dem überwachten Lernschritt (125).
Verfahren nach einem der Ansprüche 2–6, wobei das Verfahren weiterhin umfasst: – iteratives Anpassen der Kandidaten-Teilmenge (122) während des überwachten Lernschrittes (125).
Verfahren nach einem der Ansprüche 2–8, wobei das Durchführen des überwachten Lernschrittes (125) umfasst: – mittels der Benutzerschnittstelle sequentielles Ausgeben der Bilder der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111), – für jedes Bild (220) der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111): mittels der Benutzerschnittstelle Abfragen, ob ein Ereignis (250) in dem entsprechenden Bild vorliegt.
Verfahren nach Anspruch 9, wobei das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) umfasst: – für zumindest einige der Bilder der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111): Markieren eines Ereigniskandidaten (250) in der Ausgabe des jeweiligen Bilds (220).
Verfahren nach Anspruch 9 oder 10, wobei das Abfragen, ob ein Ereignis (250) vorliegt, eine Ja/Nein-Abfrage ist.
Verfahren nach einem der Ansprüche 9–11, wobei das sequentielle Ausgeben der Bilder der Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) in einer zufälligen Reihenfolge geschieht.
Verfahren nach einem der Ansprüche 9–11, wobei das Verfahren weiterhin umfasst: – Bestimmen einer Reihenfolge (310) mit der das sequentielle Ausgeben der Bilder Kandidaten-Teilmenge (122) des Bilddatensatzes (110, 111) geschieht basierend auf Elementen, die aus folgender Gruppe ausgewählt sind: – eine Differenz zwischen einem Mittelwert einer Vorhersage der Anomaliedetektion (121) für Bildmerkmale eines bestimmten Bilds (220) und den Bildmerkmalen des bestimmten Bilds (220); und – eine Kullback-Leibler Divergenz zwischen einer Vorhersage der Anomaliedetektion (121) für Bildpunktwerte eines bestimmten Bilds (220) und den Bildmerkmalen des bestimmten Bilds (220).
Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: – Durchführen eines nicht-überwachten oder schwach-überwachten Lernschrittes basierend auf einem Trainings-Bilddatensatz zum Bestimmen einer Modellannahme (130) der Anomaliedetektion (121).
Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: – Durchführen der Ereignisklassifikation (131) zum Klassifizieren von Ereignissen (250) in einem weiteren Bilddatensatz basierend auf der bestimmten Modellannahme (130) der Ereignisklassifikation (131), wobei der Bilddatensatz (110, 111) und der weitere Bilddatensatz zumindest teilweise überlappen oder disjunkt sind.
Verfahren nach einem der voranstehenden Ansprüche, wobei die Ereignisse (250) aus folgender Gruppe ausgewählt sind: Mitose einer Zelle; Apoptose einer Zelle; und Defekt eines Prüflings.
Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: – Erhalten des Bilddatensatzes (250) von einem Detektor (450), der aus folgender Gruppe ausgewählt ist: ein Computertomographie-Scanner; ein optisches Phasenkontrastmikroskop; ein Lichtmikroskop; ein Lichtmikroskop mit Kontrastbildgebung; ein Lichtmikroskop mit strukturierter Beleuchtung; ein 3D-Detektor; ein Laufzeit-Detektor; ein Stereoskopie-Detektor; ein Phasenschiebungs-Detektor; und ein Interferometer.
Vorrichtung (401), die zum Trainieren einer Ereignisklassifikation (131) mittels maschinellem Lernen eingerichtet ist, wobei die Vorrichtung (401) umfasst: – einen Speicher (412), der eingerichtet ist, um einen Bilddatensatz (110, 111) zu speichern, – einen Prozessor (411), der eingerichtet ist, um eine Anomaliedetektion (121) zum Erkennen von Ereignissen (250) in dem Bilddatensatz (110, 111) durchzuführen, wobei der Prozessor (411) weiterhin eingerichtet ist, um basierend auf dem Durchführen der Anomaliedetektion (121) eine Modellannahme (130) der Ereignisklassifikation (131) zu bestimmen.
Vorrichtung (401) nach Anspruch 18, wobei die Vorrichtung (401) weiterhin ein Phasenkontrastmikroskop (450) umfasst.
Vorrichtung (401) nach Anspruch 18 oder 19, wobei die Vorrichtung (401) eingerichtet ist, um ein Verfahren nach einem der Ansprüche 1–17 durchzuführen.