DE102018128158A1

DE102018128158A1 - Vorrichtung zur inspektion des erscheinungsbilds

Info

Publication number: DE102018128158A1
Application number: DE102018128158.7A
Authority: DE
Inventors: Keisuke Watanabe
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-11-17
Filing date: 2018-11-12
Publication date: 2019-06-13
Also published as: US20190156474A1; CN109816624B; CN109816624A; JP6693938B2; JP2019095217A; US10997711B2

Abstract

Eine Vorrichtung zur Inspektion eines Erscheinungsbilds erstellt eine Kombination eines ersten Bilds, das ein normales Produktbild ist, und eines zweiten Bilds, das ein Produktbild als ein Vergleichsobjekt ist, auf der Grundlage eines Referenzdatensatzes und eines Lerndatensatzes, und eine maschinelle Lernvorrichtung lernt eine Klassifizierung eines Produkts, das dem zweiten Bild entspricht, als normal oder nicht normal für die Kombination. Die maschinelle Lernvorrichtung beobachtet die Kombination des ersten Bilds und des zweiten Bilds als eine Zustandsvariable, welche einen gegenwärtigen Zustand einer Umgebung darstellt, erfasst eine dem zweiten Bild als Kennzeichnungsdaten zugewiesene Kennzeichnung, und führt ein Lernen durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten aus.

Description

ALLGEMEINER STAND DER TECHNIK
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung zur Inspektion des Erscheinungsbilds.
Beschreibung des verwandten Stands der Technik
Bilder der Erscheinung von Produkten, die in einer Fabrik hergestellt worden sind, sind mit Bildaufnahmemitteln aufgenommen worden, und Produktsortierarbeiten, Inspektionen des Erscheinungsbilds bei der jedes Produkt als ein normales Produkt oder ein fehlerhaftes Produkt, das zum Beispiel einen Fehler oder eine Abplatzung oder dergleichen aufweist, eingestuft wird, die auf den aufgenommenen Bildern basieren, sind durchgeführt worden (siehe zum Beispiel die japanische Patentanmeldungs-Offenlegungsschrift Nr. 2015-021756 , die japanische Patentanmeldungs-Offenlegungsschrift Nr. 2005-052926 und die japanische Patentanmeldungs-Offenlegungsschrift Nr. 2013-140090 ). Bei der Arbeit oder Inspektion werden zum Beispiel Merkmalspunkte aus einem zuvor erstellten Referenzbild herausgenommen, und das Sortieren oder Sichten von Produkten erfolgt auf der Grundlage eines Ergebnisses des Vergleichs der herausgenommenen Merkmalspunkte mit aus dem aufgenommenen Bild jedes Produkts herausgenommenen Merkmalspunkten.
Inzwischen umfassen die Verfahren zum Durchführen einer Klassifizierung auf der Grundlage eines Merkmals, das in einem Bild aufscheint, nach dem Stand der Technik ein Verfahren, das „Deep Learning“ (tiefes Lernen) basierend auf einem tiefen neuronalen Netzwerk benutzt. Die Technik führt eine Arbeit genannt Annotation, welche Informationen (eine Kennzeichnung) über ein Objekt, das in einem Bild erscheint, an dem Bild anbringt (zum Beispiel wird „Produkt A“ an einem Bild angebracht, das Produkt A zeigt, und „Produkt B“ an einem Bild, das Produkt B zeigt), um zu bewirken, dass ein neuronales Netzwerk für tiefes Lernen lernt. Das Lernen erfolgt durch Verwendung eines damit erstellten Datensatzes mit Bildern und Kennzeichnungen, und eine Bewertung erfolgt an einem Bild unter Verwendung eines erzeugten neuronalen Netzwerks, wodurch ein Objekt, das in dem Bild erscheint, klassifiziert wird.
Im Allgemeinen erfordert das Lernen durch ein neuronales Netzwerk zum Klassifizieren eines Objekts, das in einem Bild erscheint, eine enorme Anzahl an Bildern und Arbeitsstunden zum Erstellen von Annotationen auf all den Bildern. Ferner wird zum Beispiel in einem Fall, in dem ein Bild von Produkt C in ein neuronales Netzwerk, das gelernt hat, Produkt A und Produkt B zu klassifizieren, eingegeben wird, eine Bewertung an einem Bild in einer Kategorie, die es zum Zeitpunkt des Lernens noch nicht gegeben hat, natürlich nicht korrekt erfolgen. Aus diesem Grund steht ein Versuch, eine Bildklassifizierung basierend auf tiefem Lernen zur Inspektion des Erscheinungsbilds an einem Produktionsstandort zahlreichen Problemen gegenüber.
Da ein Fertigungsverfahren in einer Fabrik grundsätzlich so eingestellt ist, dass es keine mangelhaften Produkte herstellt, ist zum Beispiel die Anzahl von Mustern eines mangelhaften Produkts gering. Daher kann die Form eines Inspektionsobjekts aufgrund einer Modelländerung oder dergleichen geändert werden, bevor die Anzahl von Bildern, die zum Lernen erforderlich ist, gesammelt worden ist. Mängel treten in verschiedensten Fehlermodi auf, die sich hinsichtlich ihrer Merkmale unterscheiden. Falls ein noch nicht dagewesener Fehlermodus auftritt, kann keine korrekte Inspektion unter Verwendung eines bestehenden neuronalen Netzwerks vorgenommen werden. Da eine Technik zum Lernen von Unterschieden zwischen einem normalen Produkt und einem fehlerhaften Produkt im Hinblick auf die oben beschriebene Situation bekannt ist, ist auch die Idee der Einführung der Technik im Vorhinein und, wenn ein neuer Fehlermodus gefunden wird, das Verarbeiten des neuen Fehlermodus durch Umlernen, vorstellbar. Ein Wiederaufnehmen derartigen Lernens von Beginn an nimmt zu viel Zeit in Anspruch, und ein herkömmliches Tieflernverfahren ist bisher für eine Inspektion eines Erscheinungsbilds nicht geeignet gewesen.
KURZDARSTELLUNG DER ERFINDUNG
Unter den oben dargelegten Umständen ist es eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur Inspektion des Erscheinungsbilds bereitzustellen, die imstande ist, die Form eines Inspektionsobjekts oder eines neuen Fehlermodus flexibel zu behandeln.
Eine Vorrichtung zur Inspektion eines Erscheinungsbilds, die eine Inspektion des Erscheinungsbilds eines Produkts gemäß der vorliegenden Erfindung ausführt, basiert auf der Verwendung einer Vorrichtung für maschinelles Lernen, welche gleichzeitig Eingabebilder von zwei inspizierten Produkten empfängt, und Lernen wie in 9 abgebildet vornimmt. Beim Lernen durch die Vorrichtung für maschinelles Lernen wird die Vorrichtung für maschinelles Lernen dazu gebracht, zu lernen, Informationen auszugeben, welche ein normales Produkt anzeigen, falls Merkmalsmengen von Bildern von zwei (unterschiedlichen) normalen Produkten eingegeben werden, und Informationen auszugeben, welche ein fehlerhaftes Produkt anzeigen, falls eine Merkmalsmenge eines Bilds eines normalen Produkts und eine Merkmalsmenge eines Bilds eines fehlerhaften Produkts eingegeben werden.
Wie in 10 abgebildet, werden am Beginn des ersten Lernens in der Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß der vorliegenden Erfindung so viele aufgenommene Bilder inspizierter Produkte erstellt, wie möglich. Die Vorrichtung zur Inspektion eines Erscheinungsbilds legt die Bilder als einen ersten Datensatz fest und führt das Lernen durch, indem es einige der Produktbilder, die der erste Datensatz aufweist, als eine Kombination verwendet. Ein in dieser Phase erzeugtes Lernmodell wird als ein erstes trainiertes Modell verwendet, um ein Bild eines Inspektionsobjekts zu klassifizieren. Beim zusätzlichen Lernen unter Verwendung eines neuen Datensatzes (eines Datensatzes mit Produktbildern, die nicht im ersten trainierten Modell vorhanden sind) zu einem späteren Zeitpunkt legt die Vorrichtung zur Inspektion eines Erscheinungsbilds den ersten Datensatz als einen Referenzdatensatz fest, erstellt Kombinationen von Produktbildern, die jeweils mindestens ein Bild, das im neuen Datensatz enthalten ist (eine Kombination eines Bilds, das im Referenzdatensatz enthalten ist, und eines Bilds, das im neuen Satz enthalten ist und eine Kombination von zwei Bildern, die im neuen Datensatz enthalten sind), und führt zusätzliches Lernen unter Verwendung der erstellten Kombinationen von Bildern am ersten trainierten Modell durch. Es ist zu beachten, dass bei weiterem zusätzlichem Lernen nach diesem die Vorrichtung zur Inspektion eines Erscheinungsbilds den neuen Datensatz und den Referenzdatensatz (den ersten Datensatz) zusammenführt, um einen zweiten Datensatz zu erstellen, und das zusätzliche Lernen unter Verwendung des zweiten Datensatzes als einen Referenzdatensatz ausführt. Auf diese Weise erfolgt das Lernen schrittweise.
Der neue Datensatz weist zum Beispiel ein Bild eines Inspektionsobjekts auf, für welches sich bei der Klassifizierung von Bildern von Inspektionsobjekten, sowie bei einigen im ersten Datensatz enthaltenen Produktbildern, unter Verwendung des ersten trainierten Modells ein falsches Klassifizierungsergebnis ergeben hatte, deren Kennzeichnungen nun geändert worden sind. Falls der neue Datensatz Daten aufweist, die ein Duplikat von Daten im Referenzdatensatz sind, werden die doppelten Daten vorzugsweise vom neuen Datensatz ausgeschlossen. Es ist zu beachten, dass, falls der neue Datensatz Daten aufweist, die in Bezug auf das Bild identisch sind, sich hinsichtlich der Kennzeichnung aber von Daten im Referenzdatensatz unterscheiden, die Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß der vorliegenden Erfindung Kennzeichnungsabweichungen zwischen Bildern beheben kann, indem die Daten mit dem im Referenzdatensatz enthaltenen Bild nicht für das zusätzliche Lernen verwendet werden (die Daten also vom Referenzdatensatz ausgeschlossen werden).
Eine Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Inspektion eines Erscheinungsbilds zum Inspizieren von Daten, die einer Inspektion des Erscheinungsbilds ausgesetzt werden können. Die Vorrichtung zur Inspektion eines Erscheinungsbilds umfasst: einen Referenzdatensatzspeicherabschnitt, der einen Satz von Datenelementen als Referenzdatensatz speichern kann, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes eine Kennzeichnung mit einer Kennzeichnung versehen ist, die Normalität oder Abnormalität anzeigt; einen Lerndatensatzspeicherabschnitt, der einen Satz von Datenelementen als einen Lerndatensatz speichern kann, der für zusätzliches Lernen verwendet wird, und von denen jedes eine Kennzeichnung mit einer Kennzeichnung versehen ist, die Normalität oder Abnormalität anzeigt; einen Datenkombinationserstellungsabschnitt, der mindestens eine Kombination aus ersten Daten, die normale Daten sind, und zweiten Daten, bei denen es sich um Daten als ein Objekt, das mit den ersten Daten auf der Grundlage des Referenzdatensatzes und des Lerndatensatzes zu vergleichen ist, handelt, erstellt; und eine maschinelle Lernvorrichtung, die eine Klassifizierung der zweiten Daten als normal oder abnormal für die durch den Datenkombinationserstellungsabschnitt erstellte Kombination der ersten Daten und der zweiten Daten erlernt. Die maschinelle Lernvorrichtung weist einen Zustandsbeobachtungsabschnitt, der die Kombination der ersten Daten und der zweiten Daten als eine Zustandsvariable, welche einen gegenwärtigen Zustand einer Umgebung darstellt, beobachtet, einen Kennzeichnungsdatenerfassungsabschnitt, der eine den zweiten Daten zugewiesene Kennzeichnung als Kennzeichnungsdaten erfasst, und einen Lernabschnitt, der durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten lernt, auf. Der Datenkombinationserstellungsabschnitt erstellt jede der Kombinationen derart, dass mindestens entweder die ersten Daten und/oder die zweiten Daten ein aus dem Lerndatensatzspeicherabschnitt ausgewähltes Datenelement ist.
Eine Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Inspektion eines Erscheinungsbilds zum Durchführen einer Inspektion des Erscheinungsbilds eines Produkts als ein Inspektionsobjekt. Die Vorrichtung zur Inspektion eines Erscheinungsbilds umfasst: einen Referenzdatensatzspeicherabschnitt, der einen Datensatz von Produktbildern als Referenzdatensatz speichern kann, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung versehen ist, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt; einen Lerndatensatzspeicherabschnitt, der einen Datensatz von Produktbildern als einen Lerndatensatz speichern kann, der für zusätzliches Lernen verwendet wird, und von denen jedes mit Kennzeichnung versehen ist, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt; einen Datenkombinationserstellungsabschnitt, der mindestens eine Kombination aus einem ersten Bild, welches ein normales Produktbild ist, und einem zweitem Bild, welches ein Produktbild als ein mit dem ersten Bild auf der Grundlage des Referenzdatensatzes und des Lerndatensatzes zu vergleichendes Objekt ist, erstellt; und eine maschinelle Lernvorrichtung, die eine Klassifizierung eines Produkts entsprechend dem zweiten Bild als normal oder fehlerhaft für die durch den Datenkombinationserstellungsabschnitt erstellte Kombination des ersten Bilds und des zweiten Bilds lernt. Die maschinelle Lernvorrichtung weist einen Zustandsbeobachtungsabschnitt, der die Kombination des ersten Bilds und des zweiten Bilds als eine Zustandsvariable, welche einen gegenwärtigen Zustand einer Umgebung darstellt, beobachtet, einen Kennzeichnungsdatenerfassungsabschnitt, der eine dem zweiten Bild zugewiesene Kennzeichnung als Kennzeichnungsdaten erfasst, und einen Lernabschnitt, der durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten lernt, auf. Der Datenkombinationserstellungsabschnitt erstellt jede der Kombinationen derart, dass mindestens entweder das erste Bild und/oder das zweite Bild ein aus dem Lerndatensatzspeicherabschnitt ausgewähltes Bild ist.
Der Datenkombinationserstellungsabschnitt kann ein Datenelement, welches ein Duplikat eines Datenelements im Referenzdatensatz ist, aus dem Lerndatensatz entfernen.
Der Datenkombinationserstellungsabschnitt kann ein Datenelement, welches ein Duplikat eines Bilds im Lerndatensatz ist, aus dem Referenzdatensatz entfernen.
Der Lerndatensatz kann ein Bild aufweisen, das auf der Grundlage eines Ergebnisses der Klassifizierungsbewertung basierend auf einem früheren Lernergebnis mit einer Kennzeichnung versehen ist.
Der Lerndatensatz kann ein Bild aufweisen, welches einst basierend auf dem früheren Lernergebnis mit einer falschen Klassifizierung versehen worden war, welches aber wieder mit einer korrekten Kennzeichnung versehen wird.
Die Vorrichtung zur Inspektion eines Erscheinungsbilds kann dafür ausgelegt sein, ein Ergebnis einer Klassifizierungsbewertung für ein vormals trainiertes Modell mit einem Ergebnis einer Klassifizierungsbewertung für ein nach einem zusätzlichen Lernen trainierten Modell zu vergleichen, und eines der trainierten Modelle zu übernehmen, welches eine Inspektion des Erscheinungsbilds näher am menschlichen Verständnis erlaubt.
Ein Verfahren zur Inspektion eines Erscheinungsbilds gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren zum Inspizieren von Daten, die einer Inspektion des Erscheinungsbilds ausgesetzt werden können. Das Verfahren zur Inspektion eines Erscheinungsbilds umfasst: einen Schritt des Erschaffens mindestens einer Kombination aus ersten Daten, welche normale Daten sind, und zweiten Daten, welche Daten als ein Objekt, das mit den ersten Daten auf der Grundlage eines Referenzdatensatzes und eines Lerndatensatzes zu vergleichen ist, sind, wobei der Referenzdatensatz ein Satz von Datenelementen ist, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen ist, und der Lerndatensatz ein Satz von Datenelementen ist, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen ist; einen Schritt des Beobachtens der Kombination aus den ersten Daten und den zweiten Daten als eine Zustandsvariable, die einen gegenwärtigen Zustand einer Umgebung darstellt; einen Schritt des Erfassens einer Kennzeichnung, mit denen die zweiten Daten versehen sind, als Kennzeichnungsdaten; und einen Schritt des Lernens durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten. Der Datenkombinationserstellungsschritt umfasst das Erstellen jeder der Kombinationen derart, dass mindestens entweder die ersten Daten und/oder die zweiten Daten ein aus dem Lerndatensatz ausgewähltes Datenelement sind.
Ein Verfahren zur Inspektion des Erscheinungsbilds gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren zur Inspektion eines Produkts als ein Inspektionsobjekt. Das Verfahren zur Inspektion des Erscheinungsbilds umfasst: einen Schritt des Erstellens mindestens einer Kombination aus einem ersten Bild, welches ein Bild des Produkts, das normal ist, ist, und einem zweiten Bild, welches ein Bild des Produkts als ein mit dem ersten Bild auf der Grundlage eines Referenzdatensatzes und eines Lerndatensatzes zu vergleichendes Objekt ist, wobei der Referenzdatensatz ein Datensatz an Produktbildern ist, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen ist, und der Lerndatensatz ein Datensatz an Produktbildern ist, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen ist; einen Schritt des Beobachtens der Kombination aus dem ersten Bild und dem zweiten Bild als eine Zustandsvariable, die einen gegenwärtigen Zustand einer Umgebung darstellt; einen Schritt des Erfassens einer Kennzeichnung, die dem zweiten Bild als Kennzeichnungsdaten zugewiesen ist; und einen Schritt des Lernens durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten. Der Bildkombinationserstellungsschritt umfasst das Erstellen jede der Kombinationen derart, dass mindestens entweder das erste Bild und/oder das zweite Bild ein aus dem Lerndatensatz ausgewähltes Bild ist.
Im Fall der Vorrichtung zur Inspektion eines Erscheinungsbilds der vorliegenden Erfindung ist beim Durchführen eines zusätzlichen Lernens das Lernen innerhalb einer kürzeren Zeit abgeschlossen, als in einem Fall, in welchem das Lernen von Grund auf unter Verwendung sämtlicher Datensätze erfolgt. Insbesondere wird ein Datensatz, der verwendet wurde, um ein Lernmodell zu erstellen, im Voraus als ein Referenzdatensatz gespeichert, und zusätzliches Lernen erfolgt unter Verwendung einer Kombination des Referenzdatensatzes mit einem neuen Datensatz. Das erlaubt eine deutliche Verringerung der für das Lernen notwendigen Anzahl von Zyklen.
Figurenliste

1 ist ein schematisches Hardwarekonfigurationsdiagramm einer Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einer ersten Ausführungsform.
2 ist ein schematisches Funktionsblockdiagramm der Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß der ersten Ausführungsform.
3 ist ein Diagramm, das ein Beispiel der Erstellung einer Bildkombination durch einen Datenkombinationserstellungsabschnitt zum Zeitpunkt eines neuen Lernens abbildet.
4 ist ein Diagramm, das ein Beispiel der Erstellung einer Bildkombination durch den Datenkombinationserstellungsabschnitt zum Zeitpunkt eines zusätzlichen Lernens abbildet.
5 ist ein schematisches Funktionsblockdiagramm, das eine Form der Vorrichtung zur Inspektion eines Erscheinungsbilds abbildet.
6A ist ein Diagramm, das ein Neuron erläutert.
6B ist ein Diagramm, das ein neuronales Netzwerk erläutert.
7 ist ein schematisches Funktionsblockdiagramm einer Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einer zweiten Ausführungsform.
8 ist ein schematisches Funktionsblockdiagramm einer Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einer dritten Ausführungsform.
9 ist ein Diagramm einer maschinellen Lernvorrichtung, die gleichzeitig Eingabebilder von zwei inspizierten Produkten empfängt und ein Lernen durchführt.
10 ist ein Diagramm zum Erläutern eines Lernverfahrens für eine Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß der vorliegenden Erfindung.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 ist ein schematisches Hardwarekonfigurationsdiagramm, das Hauptabschnitte einer Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß einer ersten Ausführungsform abbildet.
Eine Vorrichtung, welche eine Klassifizierung von, zum Beispiel, einem in einer Fabrik hergestellten Produkt als ein normales Produkt oder ein fehlerhaftes Produkt bewertet, wird als die Vorrichtung zur Inspektion eines Erscheinungsbilds gemäß der vorliegenden Ausführungsform beschrieben. Eine CPU 11, welche eine Vorrichtung zur Inspektion eines Erscheinungsbilds 1 gemäß der vorliegenden Ausführungsform aufweist, ist ein Prozessor, der die Gesamtsteuerung der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 übernimmt. Die CPU 11 liest über einen Bus 20 ein Systemprogramm aus, das in einem ROM (Nur-Lese-Speicher) 12 gespeichert ist, und steuert die gesamte Vorrichtung zur Inspektion eines Erscheinungsbilds 1 im Einklang mit dem Systemprogramm. Zeitliche Berechnungsdaten und Anzeigedaten werden vorübergehend in einem RAM (Direktzugriffsspeicher) 13 gespeichert.
Ein nichtflüchtiger Speicher 14 ist als ein Speicher ausgelegt, dessen Speicherzustand zum Beispiel infolge einer Sicherung durch eine Batterie (nicht gezeigt) gehalten wird, sogar wenn die Stromzufuhr zur Vorrichtung zur Inspektion eines Erscheinungsbilds 1 ausgeschaltet ist. Im nichtflüchtigen Speicher 14 sind Daten, die von einer Eingabevorrichtung 70, zum Beispiel einer Tastatur, über eine Schnittstelle 18 eingegeben werden, Bilddaten eines Produkts, die von einer Bildaufnahmevorrichtung 80 über eine Schnittstelle 19 eingegeben werden, verschiedene Arten von Daten (einschließlich Bilddaten eines Produkts), die zum Beispiel über einen externen Speicher (nicht gezeigt) oder ein Netzwerk oder dergleichen erlangt werden, gespeichert. Ein Programm und verschiedene Arten von Daten, die im nichtflüchtigen Speicher 14 gespeichert sind, können zum Zeitpunkt der Ausführung/Verwendung in den RAM 13 geladen werden. Verschiedene Systemprogramme (einschließlich eines Systemprogramms zum Steuern der Wechselwirkung mit einer maschinellen Lernvorrichtung 100 (die später beschrieben ist)) sind im Vorhinein in den ROM 12 geschrieben.
Eine Graphiksteuerschaltung 15 wandelt digitale Signale numerischer Daten, graphischer Daten und dergleichen zur Anzeige in Rastersignale um, und sendet die Rastersignale zu einer Anzeigevorrichtung 60. Die Anzeigevorrichtung 60 zeigt Zahlenwerte und Graphiken an. Als die Anzeigevorrichtung 60 wird vornehmlich eine Flüssigkristallanzeigevorrichtung verwendet.
Eine Schnittstelle 21 ist eine Schnittstelle zum Verbinden der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 und der maschinellen Lernvorrichtung 100. Die maschinelle Lernvorrichtung 100 weist einen Prozessor 101, der die gesamte maschinelle Lernvorrichtung 100 steuert, einen ROM 102, der ein Systemprogramm und dergleichen speichert, einen RAM 103 zum vorübergehenden Speichern in jedem Verfahren in Zusammenhang mit maschinellem Lernen, und einen nichtflüchtigen Speicher 104, der dazu verwendet wird, ein Lernmodell und dergleichen zu speichern, auf. Die maschinelle Lernvorrichtung 100 kann Datenelemente (zum Beispiel Daten eines Erscheinungsbildinspektionsobjekts) wahrnehmen, welche die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 über die Schnittstelle 21 erlangen kann. Die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 zeigt auch auf einer Anzeigevorrichtung (nicht gezeigt) oder dergleichen ein Ergebnis einer Inspektion eines Erscheinungsbildinspektionsobjekts an, welches von der maschinellen Lernvorrichtung 100 ausgegeben wird.
2 ist ein schematisches Funktionsblockdiagramm der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 und der maschinellen Lernvorrichtung 100 gemäß der ersten Ausführungsform.
In 2 abgebildete Funktionsbausteine werden umgesetzt, wenn die CPU 11 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1, die in 1 abgebildet ist, und der Prozessor 101 der maschinellen Lernvorrichtung 100 die entsprechenden Systemprogramme ausführen und den Betrieb von Abschnitten der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 und der maschinellen Lernvorrichtung 100 steuern.
Die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 gemäß der vorliegenden Ausführungsform weist einen Datenkombinationserstellungsabschnitt 34 auf, der eine Bildkombination erstellt, die zum Lernen von einem Datensatz mit Produktbildern, der im Vorhinein im nichtflüchtigen Speicher 14 gespeichert ist, verwendet wird. Ein Referenzdatensatzspeicherabschnitt 142 und ein Lerndatensatzspeicherabschnitt 144 sind im nichtflüchtigen Speicher 14 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 gemäß der vorliegenden Ausführungsform reserviert. Der Referenzdatensatzspeicherabschnitt 142 ist ein Bereich zum Speichern eines Referenzdatensatzes, der ein Satz von Bildern (Bildern, die bereits mit der Kennzeichnung eines normalen Produkts oder eines fehlerhaften Produkts versehen worden sind) von inspizierten Produkten, der in der Vergangenheit zum Lernen verwendet wurde. Der Lerndatensatzspeicherabschnitt 144 ist ein Bereich zum Speichern eines Lerndatensatzes, der ein Satz von Bildern (Bildern, die bereits mit der Kennzeichnung eines normalen Produkts oder eines fehlerhaften Produkts versehen worden sind) von inspizierten Produkten, der neu zum Lernen vorbereitet wurde.
Ein Referenzdatensatz zum Speichern im Referenzdatensatzspeicherabschnitt 142 wird erstellt durch Hinzufügen eines im Lerndatensatzspeicherabschnitt 144 gespeicherten Lerndatensatzes zu einem im Referenzdatensatzspeicherabschnitt 142 gespeicherten Referenzdatensatz beim Abschluss des Lernvorgangs. Ein im Lerndatensatzspeicherabschnitt 144 zu speichernder Lerndatensatz wird zum Beispiel auf der Grundlage eines durch die Bildaufnahmevorrichtung 80 aufgenommenen Produktbilds, eines von einem externen Speicher (nicht gezeigt) eingelesenen Produktbilds, eines über ein Netzwerk (nicht gezeigt) erlangten Produktbilds und dergleichen erstellt. Es ist zu beachten, dass, falls ein neues Lernen in einer Situation gestartet wird, in der bisher noch keinerlei Lernen stattgefunden hat, das Lernen ohne einen gespeicherten Referenzdatensatz gestartet wird.
Der im Lerndatensatzspeicherabschnitt 144 zu speichernde Lerndatensatz kann als ein Datensatz angesehen werden, der für zusätzliches Lernen verwendet werden soll. Der Lerndatensatz kann ein neu aufgenommenes Objektbild aufweisen, das mit der Kennzeichnung eines normalen Produkts oder eines fehlerhaften Produkts versehen wird, oder ein Bild, das mit einer Kennzeichnung auf der Grundlage eines Ergebnisses der Klassifizierungsbewertung basierend auf früheren Lernergebnissen versehen wird. Zusätzlich kann der Lerndatensetz ein Bild aufweisen, für welches zum Zeitpunkt der Klassifizierungsbewertung auf der Grundlage bestehender Lernergebnisse ein falsches Ergebnis als ein normales Produkt oder ein fehlerhaftes Produkt ausgegeben worden ist, und das mit einer korrekten Kennzeichnung versehen wird.
Falls ein neues Lernen in einer Situation gestartet wird, in der bisher noch kein Lernen ausgeführt worden ist (das bedeutet, ohne gespeichertes Bild im Referenzdatensatzspeicherabschnitt 142), erstellt der Datenkombinationserstellungsabschnitt 34 eine Kombination aus einem Bild, das mit der Kennzeichnung eines normalen Produkts versehen ist, und einem anderen Bild (einem Bild eines Produkts als ein Vergleichsobjekt) aus den im Lerndatensatzspeicherabschnitt 144 gespeicherten Bildern. Der Datenkombinationserstellungsabschnitt 34 erstellt sämtliche Bildkombinationen, die der oben beschriebenen Bedingung entsprechen. Falls zum Beispiel Bild A (mit der Kennzeichnung eines normalen Produkts), Bild B (mit der Kennzeichnung eines fehlerhaften Produkts), Bild C (mit der Kennzeichnung eines normalen Produkts) und Bild D (mit der Kennzeichnung eines fehlerhaften Produkts) als ein Lerndatensatz im Lerndatensatzspeicherabschnitt 144 gespeichert sind, wie in 3 dargestellt, erstellt der Datenkombinationserstellungsabschnitt 34 sechs Bildkombinationen.
Falls hingegen ein neues Lernen in einer Situation gestartet wird, in der bereits einmal ein Lernen stattgefunden hat (das heißt, mit im Referenzdatensatzspeicherabschnitt 142 gespeicherten Bildern), erstellt der Datenkombinationserstellungsabschnitt 34 Produktbildkombinationen, in denen eine Produktbildkombination mindestens ein im Lerndatensatzspeicherabschnitt 144 gespeichertes Bild (das heißt, einschließlich einer Kombination eines im Referenzdatensatzspeicherabschnitt 142 gespeicherten Bilds und eines im Lerndatensatzspeicherabschnitt 144 gespeicherten Bilds und einer Kombination aus zwei im Lerndatensatzspeicherabschnitt 144 gespeicherten Bildern) aufweist, und ferner weist eine Produktbildkombination mindestens ein Bild auf, das mit der Kennzeichnung eines normalen Produkts versehen ist. Der Datenkombinationserstellungsabschnitt 34 erstellt sämtliche Bildkombinationen, die der oben beschriebenen Bedingung entsprechen. Falls zum Beispiel Bild A (mit der Kennzeichnung eines normalen Produkts), Bild B (mit der Kennzeichnung eines fehlerhaften Produkts), Bild C (mit der Kennzeichnung eines normalen Produkts) und Bild D (mit der Kennzeichnung eines fehlerhaften Produkts) als ein Referenzdatensatz im Referenzdatensatzspeicherabschnitt 142 gespeichert sind, und Bild P (mit der Kennzeichnung eines normalen Produkts), Bild Q (mit der Kennzeichnung eines fehlerhaften Produkts) und Bild R (mit der Kennzeichnung eines fehlerhaften Produkts) als ein Lerndatensatz im Lerndatensatzspeicherabschnitt 144 gespeichert sind, wie in 4 dargestellt, erstellt der Datenkombinationserstellungsabschnitt 34 insgesamt 12 Bildkombinationen. Wie oben beschrieben ist eine Bildkombination als ein zu erlernendes Objekt auf eine Kombination beschränkt, die mindestens ein aus dem Lerndatensatz ausgewähltes Bild aufweist. Dies ermöglicht eine deutliche Verringerung der Anzahl an durchgeführten Lernvorgängen im Vergleich zu einem Fall, bei dem das Lernen unter Verwendung von aus all den Datensätzen zusammengelegt erstellten Bildkombinationen erfolgt.
Die maschinelle Lernvorrichtung 100 gemäß der vorliegenden Ausführungsform weist ein Softwareelement (zum Beispiel einen Lernalgorithmus) und ein Hardwareelement (Zum Beispiel den Prozessor 101) auf, um durch sogenanntes maschinelles Lernen für sich selbst einen Unterschied zwischen einem normalen Produkt und einem normalen Produkt oder einem fehlerhaften Produkt zu erlernen. Das, was die maschinelle Lernvorrichtung 100, welche die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 aufweist, lernt, entspricht einer Modellstruktur, welche die Klassifizierung für einen Unterschied zwischen einem Bild eines normalen Produkts und einem Bild eines Produkts als ein Vergleichsobjekt (ein normales Produkt oder ein fehlerhaftes Produkt) darstellt.
Wie durch die Funktionsbausteine in 2 angezeigt, weist die maschinelle Lernvorrichtung 100 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 einen Zustandsbeobachtungsabschnitt 106, einen Kennzeichnungsdatenerfassungsabschnitt 108 und einen Lernabschnitt 110 auf. Der Zustandsbeobachtungsabschnitt 106 beobachtet eine Zustandsvariable S aufweisend Bilddaten S1 eines normalen Produkts, die ein Bild eines normalen Produkts anzeigen, und Vergleichsbilddaten S2, die ein Bild eines Produkts als ein mit dem normalen Produkt zu vergleichendes Objekt anzeigen. Der Kennzeichnungsdatenerfassungsabschnitt 108 erfasst Kennzeichnungsdaten L aufweisend Klassifizierungsdaten L1, die eine Kennzeichnung (normales Produkt oder fehlerhaftes Produkt) für das Bild des Produkts als das Vergleichsobjekt anzeigen. Der Lernabschnitt 110 lernt die Klassifizierung für einen Unterschied zwischen dem Bild des normalen Produkts und dem Bild des Produkts als das Vergleichsobjekt (ein normales Produkt oder ein fehlerhaftes Produkt) unter Verwendung der Zustandsvariablen S und der Kennzeichnungsdaten L.
Ein Bild eines normalen Produkts in einer Bildkombination erstellt durch den Datenkombinationserstellungsabschnitt 34 wird als die Bilddaten S1 eines normalen Produkts der Zustandsvariablen S, die durch den Zustandsbeobachtungsabschnitt 106 zu beobachten ist, verwendet. Ein Bild eines Produkts als ein Vergleichsobjekt in der Bildkombination erstellt durch den Datenkombinationserstellungsabschnitt 34 wird als die Vergleichsbilddaten S2 der Zustandsvariablen S verwendet.
Eine Kennzeichnung, mit dem das Bild des Produkts als das Vergleichsobjekt in der Bildkombination erstellt durch den Datenkombinationserstellungsabschnitt 34 versehen ist, wird als die in den Kennzeichnungsdaten L enthaltenen Klassifizierungsdaten L1 verwendet, die durch den Kennzeichnungsdatenerfassungsabschnitt 108 zu erfassen sind. Die durch den Kennzeichnungsdatenerfassungsabschnitt 108 zu erfassenden Kennzeichnungsdaten L sind ein Indikator der Klassifizierung für einen Unterschied zwischen dem Bild des normalen Produkts und dem Bild des Produkts als das Vergleichsobjekt (ein normales Produkt oder ein fehlerhaftes Produkt).
Der Lernabschnitt 110 lernt die Klassifizierungsbewertung (die Kennzeichnungsdaten L) für einen Unterschied zwischen einem Bild eines normalen Produkts und einem Bild eines Produkts als ein Vergleichsobjekt (ein normales Produkt oder ein fehlerhaftes Produkt) im Einklang mit einem beliebigen Lernalgorithmus, der allgemein als maschinelles Lernen bezeichnet wird. Der Lernabschnitt 110 kann Lernen wiederholt durchführen basierend auf einem Datensatz, der die Zustandsvariable S und die zuvor beschriebenen Kennzeichnungsdaten L aufweist, durchführen.
Durch Wiederholen eines solchen Lernzyklus kann der Lernabschnitt 110 automatisch Merkmale erkennen, die für einen Unterschied zwischen einem Bild (den Bilddaten S1 eines normalen Produkts) eines normalen Produkts und einem Bild (den Vergleichsbilddaten S2) des Produkts als das Vergleichsobjekt auf eine Klassifizierung schließen lassen, ob ein Produkt als ein Vergleichsobjekt als ein normales Produkt oder ein fehlerhaftes Produkt zu beurteilen ist. Am Beginn des Lernalgorithmus ist die Klassifizierung eines Produkts als das Vergleichsobjekt für eine Kombination der Bilddaten S1 eines normalen Produkts und der Vergleichsbilddaten S2 im Wesentlichen unbekannt; der Lernabschnitt 110 erkennt jedoch allmählich Merkmale und interpretiert mit Fortschreiten des Lernens eine Bewertung der Klassifizierung. Wenn die Bewertung der Klassifizierung eines Produkts als ein Vergleichsobjekt für die Bilddaten S1 eines normalen Produkts und die Vergleichsbilddaten S2 in einem Grad interpretiert worden ist, der in gewissem Maße zuverlässig ist, kann der Lernabschnitt 110, der wiederholt ein Lernergebnis ausgibt, die Klassifizierung eines Inspektionsobjekts für ein Eingabebild eines normalen Produkts und ein Eingabebild des Inspektionsobjekts mit hoher Genauigkeit einschätzen.
In der maschinellen Lernvorrichtung 100 aufweisend die oben beschriebene Konfiguration, ist der Lernalgorithmus, der durch den Lernabschnitt 110 ausführt wird, nicht auf einen bestimmten Lernalgorithmus beschränkt, und ein öffentlich bekannter Lernalgorithmus kann als maschinelles Lernen übernommen werden.
5 bildet eine andere Form der Vorrichtung zur Inspektion eines Erscheinungsbilds 1, die in 2 abgebildet ist, und eine Konfiguration aufweisend den Lernabschnitt 110, der überwachtes Lernen als ein anderes Beispiel des Lernalgorithmus ausführt, ab. Überwachtes Lernen ist eine Technik zum Erlernen eines Korrelationsmodells zum Bewerten einer notwendigen Ausgabe für eine neue Eingabe durch Bereitstellen bekannter Datensätze von Eingaben und entsprechenden Ausgaben (bezeichnet als Lehrerdaten) und Erkennen von Merkmalen, die auf eine Korrelation zwischen einer Eingabe und einer Ausgabe aus den Lehrerdaten hindeutet.
In der maschinellen Lernvorrichtung 100 der in 5 abgebildeten Vorrichtung zur Inspektion eines Erscheinungsbilds 1 weist der Lernabschnitt 110 einen Fehlerberechnungsabschnitt 112 und einen Modellaktualisierungsabschnitt 114 auf. Der Fehlerberechnungsabschnitt 112 berechnet einen Fehler E zwischen einem Korrelationsmodell M zum Bewerten einer Klassifizierung eines Inspektionsobjekts aus der Zustandsvariablen S und einem aus den im Vorhinein erstellten Lehrerdaten T erkannten Korrelationsmerkmal. Der Modellaktualisierungsabschnitt 114 aktualisiert das Korrelationsmodell M, um den Fehler E zu verringern. Der Lernabschnitt 110 lernt die Bewertung der Klassifizierung eines Inspektionsobjekts für ein Bild eines normalen Produkts und ein Bild des Inspektionsobjekts, das durch die wiederholte Aktualisierung des Korrelationsmodells M durch den Modellaktualisierungsabschnitt 114 eingegeben wird.
Ein Anfangswert des Korrelationsmodells M ist zum Beispiel ein vereinfachter Ausdruck (zum Beispiel als eine lineare Funktion) einer Korrelation zwischen der Zustandsvariablen S, einem Unterschied zwischen einem Eingabebild eines normalen Produkts und einem Eingabebild eines Inspektionsobjekts, den Kennzeichnungsdaten L und der eingegebenen Klassifizierung des Inspektionsobjekts, und wird dem Lernabschnitt 110 vor dem Beginn des überwachten Lernens bereitgestellt. Die Lehrerdaten T können zum Beispiel mit empirischen Werten aufgebaut werden, die durch Aufzeichnen von durch Annotationsarbeit an (Bildern von) früheren Inspektionsobjekten vorgegebenen Kennzeichnungen angesammelt wurden, und werden dem Lernabschnitt 110 vor dem Beginn des überwachten Lernens bereitstellt. Der Fehlerberechnungsabschnitt 112 erkennt ein Korrelationsmerkmal, welches auf eine Korrelation zwischen einem Unterschied zwischen einem Bild eines normalen Produkts und einem Bild eines Inspektionsobjekts und eine Klassifizierung des Inspektionsobjekts aus den dem Lernabschnitt 110 bereitgestellten Lehrerdaten T schließen lässt, und ermittelt den Fehler E zwischen dem Korrelationsmerkmal und dem Korrelationsmodell M entsprechend der Zustandsvariablen S und den Kennzeichnungsdaten L in einem gegenwärtigen Zustand. Der Modellaktualisierungsabschnitt 114 aktualisiert das Korrelationsmodell M, um den Fehler E zum Beispiel gemäß einer vorher festgelegten Aktualisierungsregel zu verringern.
In einem nächsten Lernzyklus ermittelt der Fehlerberechnungsabschnitt 112 den Fehler E zwischen einer Bewertungsergebnisklassifizierung eines Inspektionsobjekts unter Verwendung der Zustandsvariablen S im Einklang mit dem aktualisierten Korrelationsmodell M und den tatsächlich erlangten Kennzeichnungsdaten L. Der Modellaktualisierungsabschnitt 114 aktualisiert das Korrelationsmodell M erneut. Auf diese Weise wird eine zuvor unbekannte Korrelation zwischen einem gegenwärtigen Zustand einer Umgebung und der entsprechenden Klassifizierung allmählich klar.
Beim fortschrittlichen oben beschriebenen überwachten Lernen kann ein neuronales Netzwerk verwendet werden. 6A bildet ein Modell eines Neurons schematisch ab. 6B bildet ein Modell eines durch Kombinieren der in 6A abgebildeten Neuronen konfigurierten dreischichtigen neuronalen Netzwerks ab. Das neuronale Netzwerk kann zum Beispiel durch eine Berechnungsvorrichtung, Speicher oder dergleichen konfiguriert sein, welche das Modell des Neurons imitieren.
Das in 6A abgebildete Neuron gibt ein Resultat y aus einer Mehrzahl von Eingaben x (hier zum Beispiel den Eingaben x₁ bis x₃ ) aus. Die Eingaben x₁ bis x₃ werden mit Gewichten w (w₁ bis w₃ ), welche diesen Eingaben x entsprechen, multipliziert. Als ein Ergebnis gibt das Neuron das Ergebnis y ausgedrückt durch die nachfolgend angegebene Formel 1 aus. In Formel 1 sind alle der Eingaben x, das Ergebnis y und das Gewicht w Vektoren. Des Weiteren ist 0 ein systematischer Fehler und f_k eine aktivierende Funktion. $y = f_{k} (\sum_{i = 1}^{n} x_{1} w_{i} - θ)$
Eine Mehrzahl von Eingaben x (hier zum Beispiel die Eingaben x1, x2 und x3) werden in das in 6B abgebildete dreischichtige neuronale Netzwerk von dessen linker Seite eingegeben, und die Ergebnisse y (hier zum Beispiel die Ergebnisse y1, y2 und y3) werden an dessen rechter Seite ausgegeben. In einem in 6B abgebildeten Beispiel wird jede der Eingaben x1, x2 und x3 mit einem entsprechenden Gewicht (allgemeinen bezeichnet mit w1) multipliziert, und jede der Eingaben x1, x2 und x3 werden in drei Neuronen N11, N12 und N13 eingegeben.
Die Ausgaben der Neuronen N11 bis N13 werden allgemein mit z1 bezeichnet. Die Ausgabe z1 kann als ein Merkmalsvektor angesehen werden, welcher die extrahierte Merkmalsmenge eines Eingabevektors ist. In dem in 6B abgebildeten Beispiel wird jeder der Merkmalsvektoren z1 mit einem entsprechenden Gewicht (allgemein bezeichnet mit w2) multipliziert, und jeder der Merkmalsvektoren z1 wird in zwei Neuronen N11 und N23 eingegeben. Der Merkmalsvektor z1 gibt ein Merkmal zwischen dem Gewicht w1 und dem Gewicht w2 an.
Die Ausgaben der Neuronen N21 und N22 werden allgemein mit z2 bezeichnet. Die Ausgabe z2 kann als ein Merkmalsvektor angesehen werden, welcher die extrahierte Merkmalsmenge des Merkmalsvektors z1 ist. In dem in 6B abgebildeten Beispiel wird jeder der Merkmalsvektoren z2 mit einem entsprechenden Gewicht (allgemeinen bezeichnet mit w3) multipliziert, und jeder der Merkmalsvektoren z2 wird in drei Neuronen N31, N32 und N33 eingegeben. Der Merkmalsvektor z2 gibt ein Merkmal zwischen dem Gewicht w2 und dem Gewicht w3 an. Schließlich geben die Neuronen N31 bis N33 jeweils die Ausgaben y1 bis y3 aus.
Es ist zu beachten, dass auch ein sogenanntes öffentlich bekanntes Lernverfahren, das ein neuronales Netzwerk in drei oder mehr Schichten verwendet, verwendet werden kann, und dass der Lernabschnitt 110, den die maschinelle Lernvorrichtung 100 gemäß der vorliegenden Ausführungsform aufweist, ein günstiges Ergebnis insbesondere durch Verwendung eines Tieflernverfahrens erlangen kann. Die maschinelle Lernvorrichtung 100 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 kann ausgeben, wie die Klassifizierung eines Inspektionsobjekts für ein Bild eines normalen Produkts und ein Bild des Inspektionsobjekts (das Ergebnis y) als ein Ergebnis der Ausführung einer Berechnung in einer mehrschichtigen Struktur im Einklang mit dem oben beschriebenen neuronalen Netzwerk unter Verwendung der Zustandsvariablen S als die Eingabe x durch den Lernabschnitt 110 bewertet wird. Es ist zu beachten, dass Betriebsmodi des neuronalen Netzwerks einen Lernmodus und einen Wertvorhersagemodus umfassen. Zum Beispiel kann das Gewicht w erlernt werden durch Verwendung eines Lerndatensatzes im Lernmodus, und der Wert einer Aktion kann bewertet werden durch Verwendung des erlernten Gewichts w im Wertvorhersagemodus. Es ist zu beachten, dass Erfassung, Klassifizierung, Bewertung und dergleichen ebenfalls im Wertvorhersagemodus vorgenommen werden können.
Die oben beschriebene Konfiguration der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 kann beschrieben werden als ein maschinelles Lernverfahren (oder ein Softwareelement), das durch die CPU 11 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 oder den Prozessor 101 der maschinellen Lernvorrichtung 100 ausgeführt wird. Dieses maschinelle Lernverfahren ist ein maschinelles Lernverfahren für eine Vorrichtung zur Inspektion eines Erscheinungsbilds, welche eine Inspektion des Erscheinungsbilds eines Produkts vornimmt, und einen Schritt, in dem der Prozessor 101 Datenelemente, wie zum Beispiel die Bilddaten S1 eines normalen Produkts und die Vergleichsbilddaten S2, als die Zustandsvariable S, welche den gegenwärtigen Zustand darstellt, wahrnimmt, einen Schritt, in dem der Prozessor 101 die Kennzeichnungsdaten L, welche die Klassifizierung eines Inspektionsobjekts anzeigen, erlangt, und einen Schritt, in welchem der Prozessor 101 durch Verknüpfen der Bilddaten S1 eines normalen Produkts und der Vergleichsbilddaten S2 mit einer Klassifizierung des Inspektionsobjekts unter Verwendung der Zustandsvariablen S und der Kennzeichnungsdaten L lernt, umfasst.
7 bildet eine Vorrichtung zur Inspektion eines Erscheinungsbilds 2 gemäß einer zweiten Ausführungsform ab.
In 7 abgebildete Funktionsbausteine werden umgesetzt, wenn die CPU, welche die Vorrichtung zur Inspektion eines Erscheinungsbilds aufweist, wie in 1 abgebildet, und ein Prozessor einer maschinellen Lernvorrichtung, wie in 1 abgebildet, entsprechende Systemprogramme ausführen und den Betrieb von Abschnitten der Vorrichtung zur Inspektion eines Erscheinungsbilds und der maschinellen Lernvorrichtung steuern.
Die Vorrichtung zur Inspektion eines Erscheinungsbilds 2 gemäß der vorliegenden Ausführungsform weist eine maschinelle Lernvorrichtung 120, einen Zustandsdatenerfassungsabschnitt 36 und einen Anzeigeabschnitt 38 auf. Der Zustandsdatenerfassungsabschnitt 36 erstellt eine Kombination eines Bilds eines normalen Produkts, das im Vorhinein in einem nichtflüchtigen Speicher 14 gespeichert worden ist, und eines Bilds eines Inspektionsobjekts, das von einer Bildaufnahmevorrichtung 80 erlangt worden ist. Der Anzeigeabschnitt 38 zeigt auf einer Anzeigevorrichtung 60 ein von einem Bewertungsergebnisausgabeabschnitt 122 (der später beschrieben wird) ausgegebenes Ergebnis der Klassifizierungsbewertung des Inspektionsobjekts an. Der Zustandsdatenerfassungsabschnitt 36 gibt die erstellte Kombination des Bilds des normalen Produkts und des Bilds des Inspektionsobjekts als Zustandsdaten an einen Zustandsbeobachtungsabschnitt 106 aus.
Der Bewertungsergebnisausgabeabschnitt 122, den die maschinelle Lernvorrichtung 120 aufweist, erzeugt ein Ergebnis der Klassifizierungsbewertung des Inspektionsobjekts unter Verwendung eines Ergebnisses des Lernens durch den Lernabschnitt 110, und gibt die Klassifizierung als das erzeugte Bewertungsergebnis aus.
Die maschinelle Lernvorrichtung 120 der Vorrichtung zur Inspektion eines Erscheinungsbilds 2 aufweisend die oben beschriebene Konfiguration erzielt dieselben Effekte, wie jene der davor beschriebenen maschinellen Lernvorrichtung 100.
8 bildet eine Vorrichtung zur Inspektion eines Erscheinungsbilds 3 gemäß einer dritten Ausführungsform ab.
In 8 abgebildete Funktionsbausteine werden umgesetzt, wenn die CPU, welche die Vorrichtung zur Inspektion eines Erscheinungsbilds aufweist, wie in 1 abgebildet, und ein Prozessor einer maschinellen Lernvorrichtung, wie in 1 abgebildet, entsprechende Systemprogramme ausführen und den Betrieb von Abschnitten der Vorrichtung zur Inspektion eines Erscheinungsbilds und der maschinellen Lernvorrichtung steuern.
Wie bei der zuvor beschriebenen zweiten Ausführungsform erzeugt in der Vorrichtung zur Inspektion eines Erscheinungsbilds 3 gemäß der vorliegenden Ausführungsform, ein Bewertungsergebnisausgabeabschnitt 122 ein Ergebnis einer Klassifizierungsbewertung eines Inspektionsobjekts unter Verwendung eines Ergebnisses eines Lernens durch einen Lernabschnitt 110 auf der Grundlage einer Datenkombination, die durch einen Zustandsdatenerfassungsabschnitt 36 aus einem im Vorhinein in einem nichtflüchtigen Speicher 14 gespeicherten Bild eines normalen Produkts und einem von einer Bildaufnahmevorrichtung 80 erlangten Bild des Inspektionsobjekts erstellt wird, und ein Anzeigeabschnitt 38 zeigt die Klassifizierung als das erzeugte Bewertungsergebnis auf einer Anzeigevorrichtung 60 an. Die Vorrichtung zur Inspektion eines Erscheinungsbilds 3 fügt das durch den Bewertungsergebnisausgabeabschnitt 122 ausgegebene Bewertungsergebnis und das Bild des Inspektionsobjekts einem Lerndatensatzspeicherabschnitt 144 hinzu, und führt durch den Lernabschnitt 110 nach einem vorher festgelegten Zeitablauf ein zusätzliches Lernen unter Verwendung eines in einem Referenzdatensatzspeicherabschnitt 142 gespeicherten Referenzdatensatzes und eines im Lerndatensatzspeicherabschnitt 144 gespeicherten Lerndatensatzes aus.
Da ein Ergebnis einer Klassifizierungsbewertung als ein normales Produkt oder ein fehlerhaftes Produkt auf der Grundlage eines vorhandenen Lernergebnisses als ein Datensatz für zusätzliches Lernen in der Vorrichtung zur Inspektion eines Erscheinungsbilds 3 gemäß der vorliegenden Ausführungsform verwendet werden kann, kann zum Beispiel bei der Bearbeitung eines neuen Fehlermodus ein gutes zusätzliches Lernen unter Verwendung eines guten Datensatzes durchgeführt werden.
Ein als ein Ergebnis des Lernens durch den Lernabschnitt 110 einer maschinellen Lernvorrichtung 130 trainiertes Modell kann als ein Programmmodul verwendet werden, das einen Bestandteil eines Softwareelements in Zusammenhang mit maschinellem Lernen darstellt. Ein trainiertes Modell gemäß der vorliegenden Erfindung kann in einem Computer aufweisend einen Prozessor, wie zum Beispiel eine CPU oder eine GPU, und einen Speicher verwendet werden. Insbesondere führt der Prozessor des Computers unter Verwendung, als Eingaben, eines Bilds eines normalen Produkts und eines Bilds eines Inspektionsobjekts im Einklang mit einer Anweisung von einem im Speicher gespeicherten trainierten Modell, eine Berechnung durch, und wird betrieben, um ein Ergebnis einer Klassifizierungsbewertung des Inspektionsobjekts auf der Grundlage eines Ergebnisses der Berechnung auszugeben. Das trainierte Modell gemäß der vorliegenden Erfindung kann über ein externes Speichermedium, ein Netzwerk oder dergleichen auf einen anderen Computer kopiert und in dem anderen Computer verwendet werden.
Beim Kopieren eines trainierten Modells gemäß der vorliegenden Erfindung auf den anderen Computer und Verwenden des trainierten Modells in einer neuen Umgebung kann das trainierte Modell auch dazu veranlasst werden, weiteres Lernen auf der Grundlage von in der neuen Umgebung erlangten neuen Zustandsvariablen und neuer Ermittlungsdaten durchzuführen. In diesem Fall kann ein trainiertes Modell (hierin im Folgenden bezeichnet als abgeleitetes Modell) abgeleitet vom trainierten Modell in der neuen Umgebung erlangt werden. Das abgeleitete Modell gemäß der vorliegenden Erfindung ist gleich wie das ursprüngliche trainierte Modell hinsichtlich des Ausgebens eines Ergebnisses einer Bewertung einer Klassifizierung eines Inspektionsobjekts für ein Bild eines vorher festgelegten normalen Produkts und ein Bild des Inspektionsobjekts, unterscheidet sich jedoch vom ursprünglichen trainierten Modell hinsichtlich des Ausgeben eines an die neue Umgebung besser angepassten Ergebnisses (zum Beispiel einer neuen Art von Erscheinungsbildinspektionsobjekt). Das abgeleitete Modell kann ebenfalls über ein externes Speichermedium, ein Netzwerk oder dergleichen auf einen anderen Computer kopiert und in dem anderen Computer verwendet werden.
Es ist ferner möglich, ein trainiertes Modell (hierin im Folgenden bezeichnet als ein destilliertes Modell) erlangt durch Ausführen eines Lernens von Grund auf in einer anderen maschinellen Lernvorrichtung unter Verwendung einer Ausgabe, die als ein Ergebnis einer Eingabe in eine maschinelle Lernvorrichtung, die ein trainiertes Modell gemäß der vorliegenden Erfindung einbezieht und das trainierte Modell verwendet, erlangt wird, zu erstellen (ein solches Lernverfahren wird als Destillation bezeichnet). Bei der Destillation wird das ursprüngliche trainierte Modell auch als ein Lehrermodell bezeichnet, und das neu erstellte destillierte Modell wird auch als ein Schülermodell bezeichnet. Im Allgemeinen ist ein destilliertes Modell von geringerer Größe als ein ursprüngliches trainiertes Modell, kann jedoch denselben Grad an Genauigkeit bereitstellen, wie das ursprüngliche trainierte Modell. Das destillierte Modell ist somit für eine Verteilung auf einen anderen Computer über ein externes Speichermedium, ein Netzwerk oder dergleichen geeignet.
Obwohl die Ausführungsformen der vorliegenden Erfindung beschrieben worden sind, ist die vorliegende Erfindung nicht auf die Beispiele der oben beschriebenen Ausführungsformen beschränkt und kann in verschiedensten Modi ausgeführt werden, indem es in geeignetem Maße verändert wird.
Zum Beispiel ist ein Lernalgorithmus oder ein Berechnungsalgorithmus, der durch die maschinelle Lernvorrichtung 100 auszuführen ist, nicht auf den oben beschriebenen beschränkt, und verschiedenste Algorithmen können übernommen werden.
Obwohl die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 (oder 2) und die maschinelle Lernvorrichtung 100 (oder 120) in den obigen Ausführungsformen als Vorrichtungen beschrieben worden sind, welche verschiedene CPUs aufweisen, kann die maschinelle Lernvorrichtung 100 (oder 120) durch die CPU 11 der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 (oder 2) und ein im ROM 12 gespeichertes Systemprogramm umgesetzt sein.
In den oben beschriebenen Ausführungsformen befindet sich die maschinelle Lernvorrichtung 100 (oder 120) an der Vorrichtung zur Inspektion eines Erscheinungsbilds 1 (oder 2), jedoch kann die maschinelle Lernvorrichtung 100 (oder 120) derart ausgelegt sein, dass sie sich auf einem in einem Netzwerk erstellten Cloud-Server oder dergleichen befindet.
In der oben beschriebenen Ausführungsform führt der Datenkombinationserstellungsabschnitt 34 einen Lernvorgang unter Verwendung sämtlicher erlernter Datensätze, die im Lerndatensatzspeicherabschnitt 144 gespeichert sind, durch. Falls jedoch ein Bild, das identisch oder ähnlich einem anderen der Bilder ist, die in einem im Lerndatensatzspeicherabschnitt 144 gespeicherten Lerndatensatz enthalten sind, und mit einer Kennzeichnung identisch jener des in einem im Referenzdatensatzspeicherabschnitt 142 gespeicherten Referenzdatensatz enthaltenen Bilds versehen ist, kann der Datenkombinationserstellungsabschnitt 34 ein solches Bild als redundant betrachten und das Bild aus dem Lerndatensatz entfernen.
Falls ein Bild, das identisch oder ähnlich einem anderen der Bilder ist, die in einem im Lerndatensatzspeicherabschnitt 144 gespeicherten Lerndatensatz enthalten sind, und mit einer Kennzeichnung versehen ist, die sich von jener des in einem im Referenzdatensatzspeicherabschnitt 142 gespeicherten Referenzdatensatz enthaltenen Bilds unterscheidet, kann der Datenkombinationserstellungsabschnitt 34 derartige Daten aus dem Referenzdatensatzspeicherabschnitt 142 entfernen und die Daten nicht für zusätzliches Lernen verwenden.
In den oben beschriebenen Ausführungsformen wird ein Ergebnis (ein zuvor trainiertes Modell) des Lernens durch den Lernabschnitt 110 basierend auf einem Referenzdatensatz nach zusätzlichem Lernen basierend auf einem Lerndatensatz ersetzt durch ein trainiertes Modell, jedoch kann der Lernabschnitt 110 mit einer Funktion zum vorübergehenden Beibehalten eines zuvor trainierten Modells in einem Speicher oder dergleichen versehen sein, bevor er ein zusätzliches Lernen durchführt, ein Bewertungsergebnis einer Klassifizierung als ein normales Produkt oder ein fehlerhaftes Produkt basierend auf dem zuvor trainierten Modell kann mit einem auf einem trainierten Modell nach dem zusätzlichen Lernen basierenden verglichen werden, und eines der trainierten Modelle, das eine korrektere Inspektion des Erscheinungsbilds ermöglicht, kann verwendet werden. In diesem Fall kann der Datenkombinationserstellungsabschnitt 34 eine Mehrzahl von Elementen von Produktbilddaten als Muster aus den in einem Referenzdatensatz und einem Lerndatensatz enthaltenen Bildern auswählen und Bildkombinationen erstellen, eine Bewertung der Klassifizierung der Beispielbilder unter Verwendung jedes der trainierten Modelle durchführen, und eines der trainierten Modelle übernehmen, das eine Klassifizierung näher am menschlichen Verständnis ausgibt (zum Beispiel betrachtet ein Arbeiter die Elemente von Bilddaten als die Muster und die Eingaben). Falls das zuvor trainierte Modell eine Klassifizierung ausgibt, die näher am menschlichen Verständnis liegt, da der für das zusätzliche Lernen verwendete Lerndatensatz als zum Lernen verwendete Datenelemente nicht geeignet ist, kann erneut ein zusätzliches Lernen durchgeführt werden, nachdem photographische Bedingungen und dergleichen für die als ein Lerndatensatz verwendeten Bilder überprüft worden sind.
In den oben beschriebenen Ausführungsformen bewertet die Vorrichtung zur Inspektion eines Erscheinungsbilds 1 die Klassifizierung eines in einer Fabrik oder dergleichen hergestellten Produkts als ein normales Produkt oder ein fehlerhaftes Produkt, jedoch kann die vorliegende Erfindung auch auf die Inspektion eines Objekts angewendet werden, welches durch das Erscheinungsbild des Objekts als normal oder abnormal bestimmt werden kann, wie zum Beispiel eine Inspektion basierend auf einem dreidimensionalen Bild eines Produkts oder dergleichen, eine Inspektion einer Wellenform von Schall, Licht, Strom oder dergleichen, die durch einen Sensor oder dergleichen gemessen wird, oder eine Inspektion einer Komponentenverteilung. In jedem Fall kann die Technik als eine Technik für zusätzliches Lernen in einer maschinellen Lernvorrichtung verwendet werden, die gleichzeitig zwei Eingangselemente normaler/abnormaler inspizierter Daten empfängt und ein Lernen/eine Bewertung ausführt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015021756 [0002]
JP 2005052926 [0002]
JP 2013140090 [0002]

Claims

Vorrichtung zur Inspektion eines Erscheinungsbilds zur Inspektion von Daten, die einer Inspektion eines Erscheinungsbilds ausgesetzt werden können, die Vorrichtung zur Inspektion eines Erscheinungsbilds umfassend: einen Referenzdatensatzspeicherabschnitt, der in der Lage ist, einen Satz von Datenelementen als Referenzdatensatz, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen ist, zu speichern; einen Lerndatensatzspeicherabschnitt, der in der Lage ist, einen Satz von Datenelementen als einen Lerndatensatz, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen ist, zu speichern; einen Datenkombinationserstellungsabschnitt, der mindestens eine Kombination bestehend aus ersten Daten, die normale Daten sind, und zweiten Daten, die mit den ersten Daten auf der Grundlage des Referenzdatensatzes und des Lerndatensatzes zu vergleichende Daten eines Objekts sind, erstellt; und eine maschinelle Lernvorrichtung, die eine Klassifizierung der zweiten Daten als normal oder abnormal für die Kombination aus den ersten Daten und den durch den Datenkombinationserstellungsabschnitt erstellten zweiten Daten lernt, wobei die maschinelle Lernvorrichtung umfasst einen Zustandsbeobachtungsabschnitt, der die Kombination der ersten Daten und der zweiten Daten als eine Zustandsvariable beobachtet, die einen gegenwärtigen Zustand einer Umgebung darstellt, einen Kennzeichnungsdatenerfassungsabschnitt, der eine Kennzeichnung, mit denen die zweiten Daten versehen sind, als Kennzeichnungsdaten erfasst, und einen Lernabschnitt, der durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten lernt, und wobei der Datenkombinationserstellungsabschnitt jede der Kombinationen derart erstellt, dass mindestens entweder die ersten Daten und/oder die zweiten Daten ein aus dem Lerndatensatzspeicherabschnitt ausgewähltes Datenelement sind.
Vorrichtung zur Inspektion eines Erscheinungsbilds zum Durchführen einer Inspektion des Erscheinungsbilds eines Produkts als ein Inspektionsobjekt, die Vorrichtung zur Inspektion eines Erscheinungsbilds umfassend: einen Referenzdatensatzspeicherabschnitt, der in der Lage ist, als Referenzdatensatz einen Datensatz an Produktbildern, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen ist, zu speichern; einen Lerndatensatzspeicherabschnitt, der in der Lage ist, als Lerndatensatz einen Datensatz an Produktbildern, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen ist, zu speichern; einen Datenkombinationserstellungsabschnitt, der mindestens eine Kombination bestehend aus einem ersten Bild, welches ein normales Produktbild ist, und einem zweiten Bild, welches ein Produktbild als ein mit dem ersten Bild auf der Grundlage des Referenzdatensatzes und des Lerndatensatzes zu vergleichendes Objekt ist, erstellt; und eine maschinelle Lernvorrichtung, die eine Klassifizierung eines Produkts, das dem zweiten Bild entspricht, als normal oder fehlerhaft für die Kombination aus dem ersten Bild und dem durch den Datenkombinationserstellungsabschnitt erstellten zweiten Bild erlernt, wobei die maschinelle Lernvorrichtung umfasst einen Zustandsbeobachtungsabschnitt, der die Kombination des ersten Bilds und des zweiten Bilds als eine Zustandsvariable beobachtet, die einen gegenwärtigen Zustand einer Umgebung darstellt, einen Kennzeichnungsdatenerfassungsabschnitt, der eine Kennzeichnung, mit denen das zweite Bild versehen ist, als Kennzeichnungsdaten erfasst, und einen Lernabschnitt, der durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten lernt, und wobei der Datenkombinationserstellungsabschnitt jede der Kombinationen derart erstellt, dass mindestens entweder das erste Bild und/oder das zweite Bild ein aus dem Lerndatensatzspeicherabschnitt ausgewähltes Bild ist.
Vorrichtung zur Inspektion eines Erscheinungsbilds nach Anspruch 2, wobei der Datenkombinationserstellungsabschnitt ein Datenelement, welches ein Duplikat eines Datenelements im Referenzdatensatz ist, aus dem Lerndatensatz entfernt.
Vorrichtung zur Inspektion eines Erscheinungsbilds nach Anspruch 2, wobei der Datenkombinationserstellungsabschnitt ein Datenelement, welches ein Duplikat eines Bilds im Lerndatensatz aufweist, aus dem Referenzdatensatz entfernt.
Vorrichtung zur Inspektion eines Erscheinungsbilds nach einem der Ansprüche 2 bis 4, wobei der Lerndatensatz ein Bild aufweist, das auf der Grundlage eines Ergebnisses der Klassifizierungsbewertung basierend auf einem früheren Lernergebnis mit einer Kennzeichnung versehen ist.
Vorrichtung zur Inspektion eines Erscheinungsbilds nach einem der Ansprüche 2 bis 5, wobei der Lerndatensatz ein Bild aufweist, für welches basierend auf einem früheren Lernergebnis vormals eine falsche Klassifizierung angesetzt wurde, das aber wieder mit einer korrekten Kennzeichnung versehen worden ist.
Vorrichtung zur Inspektion eines Erscheinungsbilds nach einem der Ansprüche 2 bis 6, wobei ein Ergebnis einer Klassifizierungsbewertung für ein vormals trainiertes Modell mit einem Ergebnis einer Klassifizierungsbewertung für ein nach einem zusätzlichen Lernen trainiertes Modell verglichen wird, und eines der trainierten Modelle, welches eine Inspektion des Erscheinungsbilds näher am menschlichen Verständnis erlaubt, übernommen wird.
Verfahren zur Inspektion eines Erscheinungsbilds zum Inspizieren von Daten, die einer Inspektion des Erscheinungsbilds ausgesetzt werden können, das Verfahren zur Inspektion eines Erscheinungsbilds umfassend: einen Schritt des Erschaffens mindestens einer Kombination bestehend aus ersten Daten, welche normale Daten sind, und zweiten Daten, welche Daten als ein Objekt, das mit den ersten Daten auf der Grundlage eines Referenzdatensatzes und eines Lerndatensatzes zu vergleichen ist, sind, wobei der Referenzdatensatz ein Satz von Datenelementen ist, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen worden ist, und der Lerndatensatz ein Satz von Datenelementen ist, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die Normalität oder Abnormalität anzeigt, versehen worden ist; einen Schritt des Beobachtens der Kombination der ersten Daten und der zweiten Daten als eine Zustandsvariable, die einen gegenwärtigen Zustand einer Umgebung darstellt; einen Schritt des Erfassens einer Kennzeichnung, mit der die zweiten Daten versehen sind, als Kennzeichnungsdaten; und einen Schritt des Lernens durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten, wobei der Datenkombinationserstellungsschritt das Erstellen jeder der Kombinationen derart umfasst, dass mindestens entweder die ersten Daten und/oder die zweiten Daten ein aus dem Lerndatensatz ausgewähltes Datenelement sind.
Verfahren zur Inspektion eines Erscheinungsbilds zum Durchführen einer Inspektion des Erscheinungsbilds eines Produkts als ein Inspektionsobjekt, das Verfahren zur Inspektion eines Erscheinungsbilds umfassend: einen Schritt des Erschaffens mindestens einer Kombination bestehend aus einem ersten Bild, welches ein Bild des Produkts, das normal ist, ist, und einem zweiten Bild, welches ein Bild des Produkts als ein mit dem ersten Bild auf der Grundlage eines Referenzdatensatzes und eines Lerndatensatzes zu vergleichendes Objekt ist, wobei der Referenzdatensatz ein Datensatz von Produktbildern ist, der in der Vergangenheit zum Lernen verwendet worden ist, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen worden ist, und der Lerndatensatz ein Datensatz von Produktbildern ist, der für zusätzliches Lernen verwendet wird, und von denen jedes mit einer Kennzeichnung, die ein normales Produkt oder ein fehlerhaftes Produkt anzeigt, versehen worden ist; einen Schritt des Beobachtens der Kombination des ersten Bilds und des zweiten Bilds als eine Zustandsvariable, die einen gegenwärtigen Zustand einer Umgebung darstellt; einen Schritt des Erfassens einer Kennzeichnung, mit der das zweite Bild versehen ist, als Kennzeichnungsdaten; und einen Schritt des Lernens durch Zuordnen der Zustandsvariablen zu den Kennzeichnungsdaten, wobei der Bildkombinationserstellungsschritt das Erstellen jeder der Kombinationen derart umfasst, dass mindestens entweder das erste Bild und/oder das zweite Bild ein aus dem Lerndatensatz ausgewähltes Bild ist.