-
Die vorliegende Erfindung betrifft ein Verfahren zur Klassifizierung von Bildern und ein Verfahren zur optischen Prüfung eines Objekts, bei dem das Verfahren zur Klassifizierung von Bildern verwendet wird.
-
Vor einer Auslieferung an einen Kunden werden Produkte bzw. Objekte, wie etwa medizinische Geräte und/oder Komponenten bzw. Objekte dieser Produkte, die unter Durchführung eines Fertigungsprozesses hergestellt wurden, typischerweise im Rahmen einer Qualitätskontrolle einer Endabnahme, welche eine optische Prüfung bzw. optische Endabnahme enthalten kann, unterzogen. Bei einer derartigen optischen Endabnahme wird in Abhängigkeit von der durch die optische Prüfung festgestellten Beschaffenheit des Objekts bestimmt, ob das jeweilige geprüfte Objekt in einem Zustand ist, in dem es an den Kunden ausgeliefert werden kann, oder ob vor der Auslieferung noch Nachbesserungen an dem Produkt bzw. der Komponente bzw. dem Objekt vorzunehmen sind.
-
Bei einer solchen optischen Endabnahme kann beispielsweise geprüft werden, ob das Objekt bzw. endmontierte Gerät bzw. die Komponente des Geräts korrekt gemäß einer Vorgabe beschriftet bzw. gelabelt ist, gemäß kundenspezifischen Wünschen konfiguriert ist, und ob das Objekt einen oder mehrere optische Mängel aufweist. Im Rahmen der Prüfung, ob das Objekt optische Mängel aufweist, kann eine Oberfläche bzw. können Oberflächen des Objekts dahingehend geprüft werden, ob diese Dellen, Kratzer oder Flecken, welche eventuell bei einer finalen Reinigung des Objekts unzureichend entfernt wurden, aufweisen. Hierbei kann die Prüfung durch menschliche Kontrolleure anhand definierter Bewertungskriterien durchgeführt werden. In diesem Prozess können von den menschlichen Kontrolleuren jedoch kleinere Mängel übersehen werden, wodurch die Qualität der ausgelieferten Produkte bzw. Objekte, insbesondere der endmontierten Geräte, schwanken kann. Zudem ist die manuelle Kontrolle eine für Konzentration und Sehkraft der Kontrolleure erschöpfende Aufgabe.
-
Zur Prüfung, ob das Objekt korrekt gemäß einer Vorgabe beschriftet bzw. gelabelt ist und/oder zur Prüfung, ob das Objekt gemäß kundenspezifischen Wünschen konfiguriert ist, können auch bekannte optische Prüfsysteme mit einer Kamera zur Aufnahme eines Bildes des zu prüfenden Objekts und einem frei erhältlichen Open-Source-Software-Produkt, dessen Parameter an das jeweilige zu prüfende Objekt individuell angepasst werden können, verwendet werden. Hierbei können in den Kamera- und/oder Softwareeinstellungen beispielsweise die Parameter für die Auflösung und Vergrößerung des Bildes, sowie in den Softwareeinstellungen die von der Software aufzufindenden Fixpunkte oder Merkmale, die charakteristisch für die zu überprüfenden Merkmale des Objekts sind, eingestellt werden.
-
Zur Prüfung auf optische Mängel, insbesondere auf geringfügige optische Mängel wie etwa auf kleine Kratzer, kleine Dellen oder kleine Flecken, auf großflächigen Objekten bzw. zur Erkennung dieser Defekte in entsprechenden Bildern der Objekte, insbesondere zur Erkennung von Kleinstanomalien in diesen Bildern, sind derartige bekannte optische Prüfsysteme jedoch nicht geeignet.
-
Im Rahmen des maschinellen Lernens gibt es Ansätze zur Anomalie-Erkennung in Bildern unter Verwendung des Deep Learning, bei denen klein aufgelöste Bilder mit wenig komplexen Mustern auf Details untersucht werden oder komplexe Muster mittlerer Auflösung auf grobe Anomalien untersucht werden. Aktuelle Modelle, welche für das Deep Learning verwendet werden, sind insbesondere am geeignetsten zur Erkennung von Merkmalen auf mittleren bis großen Pixelflächen. Jedoch ist keines dieser Modelle auf die Klassifizierung von kleinsten Anomalien in hochaufgelösten Bildern mit komplexen und vielseitigen Bildmustern ausgelegt, wie sie in Bildern von großen, nicht spiegelnden und wenig farbintensiven Oberflächen mit kleinen optischen Mängeln auftreten.
-
Des Weiteren gestaltet sich das Bereitstellen von „schlechten Bildern“ des Objekts zu Trainingszwecken des bei dem Deep Learning verwendeten künstlichen neuronalen Netzes, das heißt von Bildern eines Objekts, das optische Mängel aufweist, schwierig, da der Anteil von Objekten ohne optische Mängel in der Produktion erheblich größer ist. Eine zusätzliche Herausforderung ist ferner, dass eine Vielzahl potenzieller Anomalien bzw. optischer Mängel nicht durch entsprechendes Trainingsmaterial zum Trainieren des bei dem Deep Learning verwendeten künstlichen neuronalen Netzes abgedeckt werden kann.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Klassifizierung von Bildern und ein verbessertes Verfahren zur optischen Prüfung eines Objekts bereitzustellen.
-
Diese Aufgabe wird durch die Merkmale der unabhängigen Patentansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der vorliegenden Beschreibung der Erfindung.
-
Ein Verfahren, insbesondere computerimplementiertes Verfahren, zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, weist gemäß einer Ausführungsform die folgenden Schritte auf:
- - Erfassen von Bilddaten eines Bildes, und
- - Klassifizieren des Bildes als gutes Bild oder als schlechtes Bild,
wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern und einer Vielzahl von schlechten Bildern trainiert ist,
wobei jedes schlechte Bild von zumindest einer Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten einem jeweiligen guten Bild von zumindest einer Teilmenge der Vielzahl von guten Bilden der Trainingsdaten entspricht, in welches zumindest ein Bildfehler eingefügt ist, und
wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild aus der Teilmenge der Vielzahl von guten Bildern und einem jeweiligen schlechten Bild aus der Teilmenge der Vielzahl von schlechten Bildern, wobei ein jeweiliges schlechtes Bild dem demselben Paar zugehörigen guten Bild, in welches der zumindest eine Bildfehler eingefügt ist, entspricht, trainiert ist.
-
Erfindungsgemäß entspricht jedes schlechte Bild von zumindest einer Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten einem jeweiligen guten Bild von zumindest einer Teilmenge der Vielzahl von guten Bildern der Trainingsdaten, in welches zumindest ein Bildfehler eingefügt ist. Mit anderen Worten ist jedes schlechte Bild der Teilmenge der Vielzahl von schlechten Bildern der Trainingsdaten durch ein gutes Bild der Teilmenge der Vielzahl von guten Bildern der Trainingsdaten, in welches der zumindest eine Bildfehler eingefügt ist, erzeugt.
-
Auf diese Weise können bei der herkömmlichen Erfassung von tatsächlich mittels einer Bilderfassungseinrichtung erfassten Bildern zur Bereitstellung der schlechten Bilder als Trainingsdaten potenzielle Störgrößen aus dem Umfeld bei der Bilderfassung der schlechten Bilder für die Trainingsdaten reduziert werden.
-
Weiterhin kann auf diese Weise eine beliebige Anzahl von schlechten Bildern für die Trainingsdaten bereitgestellt werden. Dies ist insbesondere vorteilhaft in einem Fall, in dem eine geringe Anzahl an schlechten Bildern zur Verfügung steht, beispielsweise in einem Fall, in dem die zu klassifizierenden Bilder Bilder eines Objekts wie etwa eines medizinischen Geräts oder einer Komponente davon sind, und anhand der zu klassifizierenden Bilder eine optische Endabnahme vor Auslieferung des Objekts an einen Kunden durchgeführt werden soll, da der Anteil an optisch fehlerfrei zur optischen Endabnahme vorgesehenen Objekten erheblich größer ist als der Anteil an optisch fehlerhaft zur optischen Endabnahme vorgesehenen Objekten. Weiterhin ist die Möglichkeit der Bereitstellung der beliebigen Anzahl von schlechten Bildern für die Trainingsdaten vorteilhaft in einem Fall, in dem potenzielle optische Anomalien der Objekte nicht durch entsprechende Trainingsdaten abgedeckt werden können oder die Vielfalt an möglichen Fehlern sehr groß ist.
-
Der zumindest eine Bildfehler ist bevorzugt derart gewählt, dass er einem tatsächlich zu erwartendem Bildfehler, welcher in Folge eines optischen Mangels eines zu prüfenden Objekts in einem Bild des Objekts auftritt, entspricht oder diesem zumindest ähnlich ist.
-
Die Vielzahl von schlechten Bildern kann neben der Teilmenge der Vielzahl von schlechten Bildern auch nicht aus guten Bildern erzeugte schlechte Bilder enthalten. Mit anderen Worten kann die Vielzahl der schlechten Bilder der Trainingsdaten tatsächlich schlechte Bilder, welche direkt durch Kameraaufnahmen entstanden und nicht erzeugt wurden, enthalten. Dabei kann der Anteil an erzeugten schlechten Bildern bzw. der Teilmenge der Vielzahl von schlechten Bildern den Großteil der Vielzahl der schlechten Bilder der Trainingsdaten, vorzugsweise über 60 %, noch bevorzugter über 70 % oder 80 % ausmachen.
-
Ebenso kann das Verfahren zur Klassifizierung von Bildern, bei dem die Bilder nach guten Bildern und schlechten Bildern klassifiziert werden, die folgenden Schritte ausweisen: Erfassen von Bilddaten eines Bildes, und Klassifizieren des Bildes als gutes Bild oder als schlechtes Bild, wobei die Klassifizierung unter Verwendung eines künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus guten Bildern und schlechten Bildern trainiert ist, wobei jedes schlechte Bild der Trainingsdaten einem jeweiligen guten Bild der Trainingsdaten entspricht, in welches zumindest ein Bildfehler eingefügt ist, und wobei das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild und einem jeweiligen schlechten Bild, wobei ein jeweiliges schlechtes Bild dem demselben Paar zugehörigen guten Bild, in welches der zumindest eine Bildfehler eingefügt ist, entspricht, trainiert ist.
-
In einer Ausführungsform kann nach erfolgter Klassifizierung eine Ausgabe des Ergebnisses der Klassifizierung mittels einer Ausgabeeinrichtung, beispielsweise einer Anzeigeeinrichtung, erfolgen. Visualisiert durch sogenannte Attention Heatmaps können durch optische Überlagerung eines farblich kodierten Berechnungsergebnisses über das Originalbild die entscheidenden Bereiche hervorgehoben werden
-
Das künstliche neuronale Netz kann durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild und einem jeweiligen schlechten Bild trainiert sein. Dadurch wird dem künstlichen neuronalen Netz vorteilhaft ermöglicht, die typischen Fehler eines schlechten Bildes von typischen Merkmalen eines guten Bildes zu unterscheiden, was kaum möglich ist, wenn ein anderer Ansatz zur Eingabe von Trainingsdaten genutzt wird.
-
Gemäß einer Ausführungsform ist der zumindest eine Bildfehler ein randomisierter Pixelfehler, eine Linie von Pixelfehlern oder ein Flächenfehler, und/oder durch Verzerren, Verwischen oder Deformieren eines Bildabschnitts des guten Bildes, durch eine affine Bildtransformation des guten Bildes, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche zudem vollständig oder nur teilweise farbig oder in Graustufen gefüllt sein können, erzeugt.
-
Bevorzugt ist das künstliche neuronale Netz als Convolutional Neural Network ausgebildet, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen angeordnete versteckte Schichten aufweist, wobei bei dem Training des künstlichen neuronalen Netzes eine Kombination einer Regularisierung in allen versteckten Schichten mit einer Verlustfunktion erfolgt.
-
Dabei kann eine Ausgabe der letzten Schicht des neuronalen Netzes durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung überführt werden, und die Klassifizierung auf Basis der Wahrscheinlichkeitsverteilung erfolgen.
-
Weiterhin kann dabei das künstliche neuronale Netz unter Verwendung eines selbstadaptiven Optimierungsverfahren, vorzugsweise eines rectified-adam-Verfahrens, trainiert sein.
-
Durch diese Ausgestaltung können, trotz der hohen Ähnlichkeit der für die Trainingsdaten verwendeten guten Bilder der Teilmenge der Vielzahl von guten Bildern und schlechten Bilder der Teilmenge der Vielzahl von schlechten Bildern, sehr große bzw. kleine Gradienten, welche zu numerischen Instabilitäten im Gradientenverfahren und somit zu Abbrüchen des Optimierungsprozesses oder zur Bestimmung lokaler Minima führen könnten, wodurch das Finden eines geeigneten Parametersatzes für das Modell des künstlichen neuronalen Netzes erschwert würde, vermieden werden.
-
Ein Verfahren, insbesondere computerimplementiertes Verfahren, zur optischen Prüfung eines Objekts gemäß einer Ausführungsform weist die folgenden Schritte auf:
- - Erfassen von Bilddaten zumindest eines Bildes des Objekts,
- - Klassifizieren des zumindest einen Bildes des Objekts als ein gutes Bild oder als ein schlechtes Bild unter Verwendung eines vorstehend beschriebenen Verfahrens zur Klassifizierung von Bildern, wobei das Erfassen von Bilddaten eines Bildes das Erfassen von Bilddaten des zumindest einen Bildes des Objekts beinhaltet,
- - Bestimmen, dass das Objekt fehlerfrei ist, wenn das zumindest eine Bild des Objekts als gutes Bild klassifiziert wird, oder
- - Bestimmen, dass das Objekt fehlerhaft ist, wenn das zumindest eine Bild des Objekts als schlechtes Bild klassifiziert wird.
-
Das Verfahren zur optischen Prüfung eines Objekts kann beispielsweise im Rahmen einer optischen Endabnahme verwendet werden, um ein mittels eines Fertigungsprozesses hergestelltes Objekt, beispielsweise ein medizinisches Gerät, vor einer Auslieferung an einen Kunden im Hinblick auf optische Fehler einer Oberfläche des Objekts zu prüfen, und das Objekt nur an den Kunden auszuliefern, wenn durch das Verfahren bestimmt wird, dass das Objekt fehlerfrei ist, und andernfalls zu veranlassen, dass das Objekt einer Reinigung unterzogen wird oder dass das Objekt nachgebessert wird.
-
Gemäß einer Ausführungsform weist das Verfahren ferner die folgenden Schritte auf:
- - Ausgeben, mittels einer Ausgabeeinrichtung, einer Information darüber, dass das Objekt fehlerfrei ist, wenn bestimmt wird, dass das Objekt fehlerfrei ist, oder
- - Ausgeben, mittels der Ausgabeeinrichtung, einer Information darüber, dass das Objekt fehlerhaft ist, wenn bestimmt wird, dass das Objekt fehlerhaft ist.
-
In einer bevorzugten Ausführungsform weist das Verfahren ferner einen Schritt eines Anzeigens, wenn bestimmt wird, dass das Objekt fehlerhaft ist, mittels einer als Anzeigeeinrichtung ausgebildeten Ausgabeeinrichtung, des zumindest einen Bildes des Objekts sowie einer Maske auf, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, wobei die Maske das zumindest eine Bild des Objekts überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts und dessen Position anzeigt.
-
In diesem Fall kann ein Kontrolleur anhand der mittels der Maske angezeigten Informationen im nächsten Schritt selbst das Objekt visuell prüfen und entscheiden, ob ein Versand des Objekts bzw. der gefertigten Maschine stattfinden kann, das Objekt erneut den Reinigungsprozess durchlaufen muss oder eventuell für weitere Nachbesserungen zurückgestellt wird.
-
Gemäß einer Ausführungsform weist das Erfassen von Bilddaten zumindest eines Bildes des Objekts ein Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt auf, wobei
- - bestimmt wird, dass das Objekt fehlerfrei ist, wenn jedes der Vielzahl von Bildern des Objekts als gutes Bild klassifiziert wird, oder
- - bestimmt wird, dass das Objekt fehlerhaft ist, wenn zumindest eines der Vielzahl von Bildern des Objekts als schlechtes Bild klassifiziert wird.
-
Hierbei kann in einer Ausführungsform das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt die folgenden Schritte aufweisen:
- - Anordnen des Objekts auf einer rotierbaren Plattform,
- - Ansteuern einer Antriebseinrichtung der rotierbaren Plattform, um die rotierbare Plattform zu drehen, und
- - Erfassen, mittels einer Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt, während die rotierbare Plattform von der Antriebseinrichtung gedreht wird.
-
In einer anderen Ausführungsform kann hierbei das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt die folgenden Schritte aufweisen:
- - Anordnen des Objekts auf einer Plattform,
- - Ansteuern einer Antriebseinrichtung einer Bilderfassungseinrichtung, um die Bilderfassungseinrichtung um das Objekt zu bewegen, und
- - Erfassen, mittels der Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt, während die Bilderfassungseinrichtung von der Antriebseinrichtung um das Objekt bewegt wird.
-
In letzterer Ausführungsform ist anstelle der rotierbaren Plattform die Bilderfassungseinrichtung bewegbar ausgebildet. Hierbei kann die Bilderfassungseinrichtung beispielsweise über ein Schienensystem um das Objekt bewegt werden. Dabei wird die Bilderfassungseinrichtung durch eine Antriebseinrichtung um das Objekt bewegt.
-
Bevorzugt ist das künstliche neuronale Netz unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern und einer Vielzahl von schlechten Bildern trainiert, wobei die guten Bilder jeweils Bilder zumindest eines Abschnitts eines medizinischen Geräts, vorzugsweise einer Dialysemaschine, sind.
-
Gemäß einer Ausführungsform entspricht der zumindest eine Bildfehler einem optischen Fehler einer Oberfläche des Objekts, vorzugsweise einem Kratzer oder einer Delle in der Oberfläche des Objekts oder einem Flecken auf der Oberfläche des Objekts, oder ist diesem zumindest ähnlich.
-
Die Bilder können aber auch in kleinere Abschnitte aufgeteilt werden und die Berechnung der Abschnitte parallel erfolgen. Dabei kann die gleiche Architektur des Neuronalen Netzes verwendet werden, wobei die Gewichtung der Knoten je nach untersuchtem Objektabschnitt angepasst ist.
-
Weitere bevorzugte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele in Zusammenhang mit den Figuren und deren Beschreibung. Gleiche Bauteile der Ausführungsbeispiele werden im Wesentlichen durch gleiche Bezugszeichen gekennzeichnet, falls dies nicht anders beschrieben wird oder sich nicht anders aus dem Kontext ergibt. Es zeigen:
- 1 schematisch eine Vorrichtung zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts gemäß einer Ausführungsform,
- 2A-C schematisch ein gutes Bild eines Objekts, ein schlechtes Bild eines anderen Objekts und ein aus dem guten Bild und dem schlechten Bild erzeugtes Differenzbild,
- 3A-C schematisch ein gutes Bild eines Objekts, ein schlechtes Bild des Objekts und ein aus dem guten Bild und dem schlechten Bild erzeugtes Differenzbild.
- 4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Klassifizierung von Bildern gemäß einer Ausführungsform, und
- 5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur optischen Prüfung eines Objekts.
-
1 veranschaulicht schematisch eine Vorrichtung zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts gemäß einer Ausführungsform. Die Vorrichtung 100 zur Klassifizierung von Bildern und gegebenenfalls zur optischen Prüfung eines Objekts 10 weist eine Kammer 106 bzw. einen Prüfraum 106 auf, die bzw. der teilweise oder vollständig von Fremdlicht abgeschirmt ist. In der Kammer 106 bzw. dem Prüfraum 106 ist eine rotierbare Plattform 101 vorgesehen, auf welcher ein zu prüfendes Objekt 10, beispielsweise ein medizinisches Gerät wie etwa eine Dialysemaschine, zur Prüfung angeordnet wird. Alternativ kann anstelle einer rotierbaren Plattform auch eine Bilderfassungseinrichtung 102 um das Objekt 10 bewegt, beziehungsweise rotiert werden. Des Weiteren ist in der Kammer 106 bzw. dem Prüfraum 106 die Bilderfassungseinrichtung 102 wie etwa eine oder mehrere Einzelbildkameras, beispielsweise vier Flächenkameras, oder eine Videokamera vorgesehen, die dazu eingerichtet ist, Bilder von dem Objekt 10 zu erfassen, und in einer Ausführungsform hochauflösende Bilder, beispielsweise mit einer Größe von 5496 x 3672Pixel erfassen kann.
-
Um eine gleichbleibende und gleichmäßige Ausleuchtung des zu prüfenden Objekts 10 zu gewährleisten, ist ferner eine Beleuchtungseinrichtung 108 innerhalb der Kammer 106 bzw. dem Prüfraum 106 vorgesehen, die dazu eingerichtet ist, das Objekt 10 zu beleuchten, und beispielsweise ein LED-Panel oder mehrere LED-Panels aufweist. Eine Antriebseinrichtung 107 zum Drehen der rotierbaren Plattform 101 und die Bilderfassungseinrichtung 102 sind mit einer Steuereinrichtung 103 verbunden, die dazu eingerichtet ist, den Prüfvorgang durch Ansteuern der Antriebseinrichtung 107, um die rotierbare Plattform 101 zu drehen, und durch Ansteuern der Bilderfassungseinrichtung 102, um während der Drehung der Plattform 101 eine Serie von Bildern des auf der Plattform 101 angeordneten Objekts 10 zu erfassen, zu steuern. Durch diese Ausgestaltung wird ermöglicht, eine Vielzahl von Bildern des zu prüfenden Objekts 10 aus unterschiedlichen Perspektiven mittels der Bilderfassungseinrichtung 102 während des Prüfvorgangs zu erfassen, und somit vorzugsweise Bilder von der gesamten freiliegenden Oberfläche des Objekts 10 zu erfassen, um die gesamte freiliegende Oberfläche einer optischen Prüfung auf optische Mängel hin unterziehen zu können.
-
Die Steuereinrichtung 103 ist ferner mit einer Speichereinrichtung 104 und einer Anzeigeeinrichtung 105 verbunden. In der Speichereinrichtung 104 können die von der Bilderfassungseinrichtung 102 erfassten Bilder bzw. die entsprechenden Bilddaten gespeichert werden. Weiterhin ist in der Speichereinrichtung 104 ein Programm zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder des Objekts 10 gespeichert, das von der Steuereinrichtung 103 ausgeführt werden kann. Dabei kann die Steuereinrichtung 103 und/oder die Speichereinrichtung 104 lokal oder remote angeordnet oder verteilt ausgebildet sein. So kann eine cloudbasierte Architektur verwendet werden.
-
In einer Ausführungsform ist das Programm dazu eingerichtet, die von der Bilderfassungseinrichtung 102 erfassten Bilder als gute Bilder GB oder schlechte Bilder SB zu klassifizieren. Das Programm weist hierzu eine als künstliches neuronales Netz(werk) ausgebildete Softwarekomponente auf.
-
Das künstliche neuronale Netz wird bzw. ist durch überwachtes Lernen unter Verwendung von Trainingsdaten, die eine Vielzahl von guten Bildern GB und eine Vielzahl von schlechten Bildern SB aufweisen, trainiert. Die Vielzahl von guten Bildern GB ist durch tatsächlich unter verschiedenen Winkeln erfasste Bilder von Oberflächen eines Objekts 10 gebildet, das keine optischen Mängel wie etwa Dellen, Kratzer oder Flecken, welche eventuell bei der finalen Reinigung unzureichend entfernt wurden, aufweist und/oder korrekt gemäß einer Vorgabe gelabelt ist und/oder gemäß kundenspezifischen Wünschen konfiguriert ist. Hierbei entspricht ein jeweiliges schlechtes Bild SB von zumindest einer Teilmenge der Vielzahl von schlechten Bildern SB der Trainingsdaten einem jeweiligen guten Bild GB von zumindest einer Teilmenge der Vielzahl von guten Bildern GB der Trainingsdaten, in welches zumindest ein Bildfehler 11 künstlich eingefügt wurde. Der zumindest eine Bildfehler 11 wird bevorzugt derart gewählt, dass er einem tatsächlich zu erwartendem Bildfehler bzw. optischen Fehler, welcher in Folge eines optischen Mangels des Objekts 10 in dem Bild des Objekts 10 auftritt, entspricht oder diesem zumindest ähnlich ist.
-
Das künstliche neuronale Netzwerk wird bzw. ist insbesondere unter Verwendung von jeweiligen Paaren trainiert, die aus einem jeweiligen guten Bild GB aus der Teilmenge der Vielzahl von guten Bildern GB und einem jeweiligen schlechten Bild SB aus der Teilmenge von schlechten Bildern SB gebildet sind, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht. Der zumindest eine Bildfehler 11 kann beispielsweise durch randomisierte Pixelfehler, Linien von Pixelfehlern oder Flächenfehlern, und/oder durch Verzerren, Verwischen oder Deformieren von zumindest einem Bildabschnitt des guten Bildes GB und/oder den Einsatz von affinen Bildtransformationen, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche vorzugsweise zumindest teilweise farbig oder in Graustufen gefüllt sind, aus guten Bildern GB bzw. aus den entsprechenden Bilddaten erzeugt werden. Auf diese Weise kann eine beliebige Anzahl von schlechten Bildern SB erzeugt werden, wodurch eine Vielzahl optischer Fehler simuliert werden kann.
-
Gemäß einer Ausführungsform wird bzw. ist das künstliche neuronale Netz durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB trainiert. Ein Vorteil dieser Herangehensweise ist, dass es hierdurch dem künstlichen neuronalen Netz ermöglicht wird, die typischen Fehler eines schlechten Bildes SB von typischen Merkmalen eines guten Bildes GB zu unterscheiden, was kaum möglich ist, wenn ein anderer Ansatz zur Eingabe von Trainingsdaten genutzt wird.
-
Das künstliche neuronale Netz kann beispielsweise als flaches („shallow“) Convolutional Neural Network ausgebildet sein, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen vorgesehene versteckte Schichten, vorzugsweise insgesamt mindestens drei versteckte, vorzugsweise sechs Schichten, sowie zwei versteckte Klassifikationsschichten zur Vorverarbeitung der Ausgabe, aufweist.
-
Hierbei ist der Trainingsalgorithmus, der zum Trainieren des künstlichen neuronalen Netzes verwendet wird, und insbesondere die dabei verwendete Loss Funktion, an die besondere Wahl der Trainingsdaten, nämlich die Paare aus guten Bildern GB der Teilmenge der Vielzahl von guten Bildern GB und schlechten Bildern SB der Teilmenge der Vielzahl von schlechten Bildern SB, angepasst.
-
Basierend auf der relativen Ähnlichkeit der verwendeten guten Bilder GB der Teilmenge der Vielzahl von guten Bildern GB und schlechten Bilder SB der Teilmenge der Vielzahl von schlechten Bildern SB können sehr große bzw. kleine Gradienten zu numerischen Instabilitäten im Gradientenverfahren zu Abbrüchen des Optimierungsprozesses oder zur Bestimmung lokaler Minima führen, sodass sich das Finden eines geeigneten Parametersatzes für das Modell als schwierig gestalten kann. Gemäß der Erfindung wird dieses Problem durch eine Kombination von Regularisierung in allen Netzwerkschichten und der Loss Funktion, einem finalen, normalisierenden Softmax-Layer und einem modernen selbstadaptiven Optimierungsverfahren, beispielsweise einem „rectified-adam“-Verfahren, gelöst.
-
Nach der Eingangsschicht können sich beispielsweise sechs Convolutional Layer als Filterschichten anschließen, wobei als Aktivierungsfunktion dieser Schichten eine rektifizierende Aktivierungsfunktion (ReLU) verwendet werden kann. Die Convolutional Layer reduzieren sich in ihrer Filtertiefe insgesamt, wobei bei einer Filtertiefe von 50 gestartet werden kann und die folgenden Tiefen beispielsweise bei 40, 30, 20, 20, 10 liegen. Als Regularisierungsfunktion kann z.B. die L2-Norm als Penalty-Term auf den Aktivierungssignalen verwendet werden. Nach jeder Convolutional Layer erfolgt eine Verarbeitung, ein Pooling, beispielsweise durch eine MaxPooling Layer mit einem 2x2 Kernel. Vor den sich anschließenden beispielsweise zwei Dense Layer werden die Daten weiter über ein Flattening transformiert. Die sich anschließenden Dense Layer können durch die Sigmoidfunktion aktiviert werden. Bei der Ausgangsschicht selbst wird die Aktivierungsfunktion Softmax verwendet. Die Lossfunktion wird durch eine sogenannte Categorical Crossentropy abgebildet, um schließlich über die Wahrscheinlichkeitsverteilung die Zuordnung zu gutem oder schlechtem Bild zu treffen.
-
Des Weiteren erfolgt die Klassifizierung der Trainingsdaten vorzugsweise unter Verwendung einer Fehlerrückführung, bei der die zurückverfolgte Neuron-Aktivität, aus welcher der externe (menschliche) Lehrer auf die Ursache der durch das künstliche neuronale Netz erfolgten „schlechtes Bild“-Klassifizierung schließen kann, in dem entsprechenden Bild auf der Anzeigeeinrichtung 105 visualisiert werden kann.
-
Durch die Verwendung des oben beschriebenen, als flaches Convolutional Neural Network ausgebildeten künstlichen neuronalen Netzes, und durch Trainieren des künstlichen neuronalen Netzes in der oben beschriebenen Weise, können Bilder mit hoher Auflösung verwendet werden, ohne diese in kleine Ausschnitte einteilen zu müssen. Eine Größenordnung ist beispielsweise 3500 x 2500 x 3. Durch die geringe Batchsize von 2 (ein Paar aus einem guten Bild GB und einem zugehörigen schlechten Bild SB) und einer shallow-Convolutional-Neural-Network-Architektur mit vorzugsweise insgesamt mindestens drei, vorzugsweise sechs versteckten Schichten kann sehr schonend auf die wichtige Ressource eines Videospeichers der Steuereinrichtung 103 zugegriffen werden, welcher bei großen Netzwerkarchitekturen und großen Batchsizes oft der Flaschenhals im Sinne der Hardware beim Training neuronaler Netze ist. Um kleine, lokale optische Fehler aufzuspüren ist die geringe Anzahl an versteckten Schichten (Hidden Layer) ausreichend, wodurch die pixelgenaue Verarbeitung von hochauflösendem Bildmaterial mit günstigen Ressourcen und in wenigen Sekunden ermöglicht wird.
-
Mit Bezug auf die 2 und 3 werden die Vorteile, die sich durch das Training des künstlichen neuronalen Netzes unter Verwendung von jeweiligen Paaren ergeben, welche aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB gebildet sind, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht, und die jeweilige Anpassung der Parameter des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar erfolgt, erläutert.
-
2A zeigt ein tatsächlich von der Bilderfassungseinrichtung 102 erfasstes gutes Bild GB eines Objekts 10 bzw. einer Oberfläche des Objekts 10 und 2B zeigt ein tatsächlich erfasstes schlechtes Bild SB2 eines anderen Objekts 10 bzw. der Oberfläche des anderen Objekts 10, welches einen minimalen tatsächlichen optischen Fehler 12, der beispielsweise durch eine Delle, einen Kratzer oder einen Flecken verursacht ist, aufweist, wobei das gute Bild GB und das schlechte Bild SB2 bei minimal verschiedener Positionierung des Objekts 10 und des anderen Objekts 10 erfasst wurden. 2C zeigt schematisch ein Bild DB2, welches durch Differenzbildung der Intensitäten des guten Bildes GB und des schlechten Bildes SB2 erzeugt wurde. Hierbei wird durch die Darstellung des Objekts 10 in gestrichelter Form veranschaulicht, dass zumindest Teile der Merkmale des Objekts 10, gegebenenfalls mit geänderter Farbe, dem Differenzbild DB2 entnommen werden können. Insbesondere gehen in dem Differenzbild DB2 die Bildmerkmale des in dem schlechten Bild SB2 enthaltenen minimalen tatsächlichen optischen Fehlers 12 bei von dem künstlichen neuronalen Netz durchgeführten Gewichtung der Merkmalsextraktion nahezu vollkommen unter, da zu viele Unterschiede zwischen den beiden verschiedenen Bildaufnahmen bestehen. Dementsprechend können in einem derartigen Fall auch nicht die für einen optischen Fehler relevanten Merkmale signifikant trainiert und gewichtet werden.
-
3A zeigt ein tatsächlich von der Bilderfassungseinrichtung 102 erfasstes gutes Bild GB eines Objekts 10, welches keinen optischen Fehler aufweist, und 3B zeigt ein basierend auf dem guten Bild GB erzeugtes schlechtes Bild SB, welches durch Einfügen eines minimalen Bildfehlers 11 in das gute Bild GB erzeugt wurde. 3C zeigt ein Bild, welches durch Differenzbildung der Intensitäten des guten Bildes GB und des schlechten Bildes SB erzeugt wurde. Wie aus 3C ersichtlich, ist der Bildfehler 11 klar in dem durch Differenzbildung erzeugten Bild DB erkennbar, so dass hierdurch die für einen optischen Fehler relevanten Merkmale signifikant trainiert und gewichtet werden können.
-
Wieder mit Bezug auf 1, ist die Steuereinrichtung 103 dazu eingerichtet, nach der Erfassung von Bilddaten eines Bildes mittels der Bilderfassungseinrichtung 102, das erfasste Bild mittels des in der Speichereinrichtung 104 gespeicherten Programms zum Klassifizieren der von der der Bilderfassungseinrichtung 102 erfassten Bilder als gutes Bild oder schlechtes Bild zu klassifizieren, und das Ergebnis der Klassifizierung auf der Anzeigeeinrichtung 105 auszugeben.
-
Gemäß einer Ausführungsform ist in der Speichereinrichtung 104 ferner ein Programm zur optischen Prüfung eines Objekts gespeichert, das das Programm zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder des Objekts 10 nutzt. Die Steuereinrichtung 103 ist dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur Prüfung des Objekts die Bilderfassungseinrichtung 102 zu veranlassen, Bilddaten zumindest eines Bildes des Objekts 10 zu erfassen, das zumindest eine Bild des Objekts 10 unter Verwendung des Programms zum Klassifizieren der von der Bilderfassungseinrichtung 102 erfassten Bilder als ein gutes Bild oder als ein schlechtes Bild zu klassifizieren, zu bestimmen, dass das Objekt 10 fehlerfrei ist, wenn das zumindest eine Bild des Objekts 10 als gutes Bild klassifiziert wird, oder zu bestimmen, dass das Objekt fehlerhaft ist, wenn das zumindest eine Bild des Objekts 10 als schlechtes Bild klassifiziert wird.
-
Die Steuereinrichtung 103 ist ferner dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur optischen Prüfung eines Objekts die Anzeigeeinrichtung 105 zu veranlassen, eine Information darüber auszugeben, dass das Objekt 10 fehlerfrei ist, wenn bestimmt wird, dass das Objekt 10 fehlerfrei ist, oder eine Information darüber auszugeben, dass das Objekt fehlerhaft ist, wenn bestimmt wird, dass das Objekt fehlerhaft ist.
-
Des Weiteren ist die Steuereinrichtung 103 dazu eingerichtet, mittels des in der Speichereinrichtung 104 gespeicherten Programms zur optischen Prüfung eines Objekts die Anzeigeeinrichtung 105 zu veranlassen, das zumindest eine Bild des Objekts 10 sowie eine Maske, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, anzuzeigen, wobei die Maske das zumindest eine Bild des Objekts überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts 10 und dessen Position anzeigt.
-
4 zeigt ein Flussdiagramm zu Veranschaulichung eines Verfahrens gemäß einer Ausführungsform zur Klassifizierung von Bildern nach guten Bildern und schlechten Bildern.
-
In Schritt S40 werden Bilddaten eines Bildes erfasst, wobei die Bilddaten beispielsweise mittels der Bilderfassungseinrichtung 102 erfasst werden können und Bilddaten eines Bildes des Objekts 10 sein können.
-
In Schritt S41 wird das Bild als gutes Bild GB oder als schlechtes Bild SB2 klassifiziert, wobei die Klassifizierung unter Verwendung eines vorstehend beschriebenen künstlichen neuronalen Netzes erfolgt, das durch überwachtes Lernen unter Verwendung von Trainingsdaten aus einer Vielzahl von guten Bildern GB und einer Vielzahl von schlechten Bildern SB trainiert ist, und jedes schlechte Bild SB von zumindest einer Teilmenge der Vielzahl von schlechten Bildern SB der Trainingsdaten einem jeweiligen guten Bild GB von zumindest einer Teilmenge der Vielzahl von guten Bildern GB der Trainingsdaten entspricht, in welches zumindest ein Bildfehler 11 eingefügt ist.
-
Hierbei kann das künstliche neuronale Netz unter Verwendung von jeweiligen Paaren aus einem jeweiligen guten Bild GB aus der Teilmenge der Vielzahl von guten Bildern GB und einem jeweiligen schlechten Bild SB aus der Teilmenge der Vielzahl von schlechten Bildern SB, wobei ein jeweiliges schlechtes Bild SB dem demselben Paar zugehörigen guten Bild GB, in welches der zumindest eine Bildfehler 11 eingefügt ist, entspricht, trainiert werden oder sein.
-
Dabei kann das künstliche neuronale Netz durch eine jeweilige Anpassung von Parametern des künstlichen neuronalen Netzes nach einer jeweiligen Eingabe der Bilddaten von einem jeweiligen Paar aus einem jeweiligen guten Bild GB und einem jeweiligen schlechten Bild SB trainiert werden oder sein.
-
Der zumindest eine Bildfehler 11 kann ein randomisierter Pixelfehler, eine Linie von Pixelfehlern oder ein Flächenfehler sein, und/oder durch Verzerren, Verwischen oder Deformieren eines Bildabschnitts des guten Bildes GB, durch eine affine Bildtransformation des guten Bildes GB, durch augmentierte Flecken, kreis-, ellipsenförmige oder rechteckige Formen, welche vorzugsweise zumindest teilweise farbig oder in Graustufen gefüllt sind, erzeugt werden oder sein.
-
Das künstliche neuronale Netz kann als Convolutional Neural Network ausgebildet sein, das eine Eingangsschicht, eine Ausgangsschicht und mehrere dazwischen angeordnete versteckte Schichten aufweist, wobei bei dem Training des künstlichen neuronalen Netzes eine Kombination einer Regularisierung in allen versteckten Schichten mit einer Verlustfunktion erfolgt.
-
Dabei kann das künstliche neuronale Netz dazu eingerichtet sein, eine Ausgabe der letzten Schicht des künstlichen neuronalen Netzes durch eine Softmax-Funktion in eine Wahrscheinlichkeitsverteilung zu überführen, wobei die Klassifizierung auf Basis der Wahrscheinlichkeitsverteilung erfolgt.
-
Des Weiteren kann hierbei das künstliche neuronale Netz unter Verwendung eines selbstadaptiven Optimierungsverfahren, vorzugsweise eines rectified-adam-Verfahrens, trainiert werden oder sein.
-
5 zeigt ein Flussdiagramm zu Veranschaulichung eines Verfahrens gemäß einer Ausführungsform zur optischen Prüfung eines Objekts.
-
In Schritt S50 werden Bilddaten zumindest eines Bildes des Objekts 10 erfasst, beispielsweise unter Verwendung der Bilderfassungseinrichtung 102.
-
In Schritt S51 wird dann das zumindest eine Bild des Objekts 10 unter Verwendung des mit Bezug auf 4 beschriebenen Verfahrens als ein gutes Bild oder als ein schlechtes Bild klassifiziert, wobei das Erfassen von Bilddaten eines Bildes das Erfassen von Bilddaten des zumindest einen Bildes des Objekts 10 beinhaltet.
-
In Schritt S52 wird bestimmt, dass das Objekt 10 fehlerfrei ist, wenn das zumindest eine Bild des Objekts 10 in Schritt S51 als gutes Bild klassifiziert wird, oder bestimmt, dass das Objekt 10 fehlerhaft ist, wenn das zumindest eine Bild des Objekts 10 in Schritt S51 als schlechtes Bild klassifiziert wird.
-
In Schritt S53 wird, beispielsweise mittels der Anzeigeeinrichtung 105, eine Information darüber, dass das Objekt 10 fehlerfrei ist, ausgegeben, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerfrei ist, oder eine Information darüber ausgegeben, dass das Objekt 10 fehlerhaft ist, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist.
-
In Schritt S54 werden, wenn in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist, mittels der Anzeigeeinrichtung 105 das zumindest eine Bild des Objekts 10 sowie eine Maske angezeigt, welche basierend auf einer Ausgabe des künstlichen neuronalen Netzes erzeugt wird, wobei die Maske das zumindest eine Bild des Objekts 10 überlagert und einen von dem künstlichen neuronalen Netz ausgegebenen Fehler des Objekts 10 und dessen Position anzeigt.
-
Das Erfassen von Bilddaten zumindest eines Bildes des Objekts 10 kann ein Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 aufweisen, wobei in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerfrei ist, wenn jedes der Vielzahl von Bildern des Objekts 10 in Schritt S51 als gutes Bild klassifiziert wird, oder in Schritt S52 bestimmt wird, dass das Objekt 10 fehlerhaft ist, wenn zumindest eines der Vielzahl von Bildern des Objekts 10 in Schritt S51 als schlechtes Bild klassifiziert wird.
-
Dabei kann in einer Ausführungsform das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 ein Anordnen des Objekts 10 auf der rotierbaren Plattform 101, ein Ansteuern der Antriebseinrichtung 107 der rotierbaren Plattform 101, mittels der Steuereinrichtung 103, um die rotierbare Plattform 101 zu drehen, und ein Erfassen, mittels der Bilderfassungseinrichtung 102, der Bilddaten der Vielzahl von Bildern des Objekts 10 unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 aufweisen, während die rotierbare Plattform 101 von der Antriebseinrichtung 107 gedreht wird.
-
In einer anderen Ausführungsform kann hierbei das Erfassen von Bilddaten einer Vielzahl von Bildern des Objekts 10 unter einer Vielzahl von verschiedenen Winkeln relativ zu dem Objekt 10 ein Anordnen des Objekts 10 auf einer Plattform, ein Ansteuern einer Antriebseinrichtung einer Bilderfassungseinrichtung, um die Bilderfassungseinrichtung um das Objekt 10 zu bewegen, und ein Erfassen, mittels der Bilderfassungseinrichtung, der Bilddaten der Vielzahl von Bildern des Objekts 10 unter der Vielzahl von verschiedenen Winkeln relativ zu dem Objekt aufweisen, während die Bilderfassungseinrichtung von der Antriebseinrichtung um das Objekt 10 bewegt wird.
-
Hierbei kann das künstliche neuronale Netz insbesondere unter Verwendung von Trainingsdaten aus guten Bildern GB und schlechten Bildern SB trainiert sein, wobei die guten Bilder GB jeweils Bilder zumindest eines Abschnitts eines medizinischen Geräts, vorzugsweise einer Dialysemaschine, sind.
-
Weiterhin kann hierbei der zumindest eine Bildfehler 11 einem optischen Fehler einer Oberfläche des Objekts 10, vorzugsweise einem Kratzer oder einer Delle in der Oberfläche des Objekts 10 oder einem Flecken auf der Oberfläche des Objekts 10, entsprechen.
