DE102019123801A1

DE102019123801A1 - Prüfvorrichtung und Maschinenlernverfahren

Info

Publication number: DE102019123801A1
Application number: DE102019123801.3A
Authority: DE
Inventors: Keisuke Watanabe; Yasuhiro SHIBASAKI
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2018-09-12
Filing date: 2019-09-05
Publication date: 2020-03-12
Also published as: CN110895717A; US20200082225A1; JP6823025B2; US11682112B2; JP2020042668A

Abstract

Es wird eine Prüfvorrichtung offenbart, die eine Maschinenlernvorrichtung, die auf der Basis von Zustandsdaten, die von einem Prüfziel erlangt wurden, und Labeldaten, die ein Prüfergebnis im Zusammenhang mit dem Prüfziel angeben, ein maschinelles Lernen durchführt, um ein Lernmodell zu erzeugen; eine Lernmodellbewertungsindexberechnungseinheit, die einen Lernmodellbewertungsindex im Zusammenhang mit dem durch die Maschinenlernvorrichtung erzeugten Lernmodell als Bewertungsindex zur Verwendung bei der Bewertung des Lernmodells berechnet; eine Prüfindexerlangungseinheit, die einen Prüfindex, der bei einer Prüfung verwendet wird, erlangt; und eine Indexwertbestimmungseinheit, die auf der Basis des Lernmodellbewertungsindex und des Prüfindex bestimmt, ob das durch die Maschinenlernvorrichtung erzeugte Lernmodell den Prüfindex erfüllt, und das Ergebnis der Bestimmung ausgibt, aufweist.

Description

ALLGEMEINER STAND DER TECHNIK
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Prüfvorrichtung und ein Maschinenlernverfahren.
Beschreibung des Stands der Technik
Herkömmlich werden Aussehensprüfungen vorgenommen, bei denen Betreiber das Aussehen von hergestellten Produkten an Fertigungsstellen wie etwa Fabriken visuell überprüfen, um die Produkte in nicht fehlerhafte Produkte und fehlerhafte Produkte mit Kratzern, Rissen, oder dergleichen einzuteilen. Bei derartigen Aussehensprüfungen kann die Prüfgenauigkeit schwanken, da sich der Bestimmungsmaßstab je nach den Erfahrungsgraden der Betreiber unterscheidet, oder da die Prüfungen aufgrund von Änderungen in den physikalischen Bedingungen unter mangelnder Konzentration durchgeführt werden. In solchen Fällen könnten nicht fehlerhafte Produkte den Fertigungsstraßen als fehlerhafte Produkte entnommen werden. Daher werden vielerorts Produkte, die als fehlerhafte Produkte bestimmt wurden und Fertigungsstraßen vorübergehend entnommen wurden, erneut von anderen Personen, die für die Prüfungen zuständig sind, überprüft. Produkte, die als Ergebnis der Überprüfung als nicht fehlerhafte Produkte bestimmt werden, werden erneut zu den Fertigungsstraßen zurückgeführt. Dadurch wird eine Verminderung der Herstellungserträge verhindert. Ebenso könnten Werkstücke, die von Betreibern als nicht fehlerhafte Produkte bestimmt wurden, tatsächlich fehlerhafte Produkte sein. In diesem Fall werden die fehlerhaften Produkte als nicht fehlerhafte Produkte ausgeliefert. Daher werden an Produktionsstätten verschiedene Gegenmaßnahmen ergriffen, um die Rate der fehlerhaften Produkte unter den ausgelieferten Produkten (die Auslieferungsrate fehlerhafter Produkte) in einem höheren Maße zu verringern.
Im Allgemeinen ist es wichtig, zwei Indizes zu verringern, um die Aussehensprüfung an Produktionsstätten zu automatisieren. Der erste Index ist die oben genannte „Auslieferungsrate fehlerhafter Produkte“, und der zweite Index ist eine „Wiederprüfungsrate“ Die Wiederprüfungsrate gibt die Rate der Anzahl der Produkte, die als fehlerhafte Produkte aus Fertigungsstraßen ausgeschieden wurden, gegenüber der Anzahl der an den Fertigungsstraßen hergestellten Produkte an. Das heißt, eine Verringerung der Wiederprüfungsrate gibt eine Verringerung der Häufigkeit von Überprüfungstätigkeiten zur erneuten Überprüfung, ob Produkte, die als nicht fehlerhafte Produkte zu behandeln sind, in die Produkte, die als fehlerhafte Produkte aus Fertigungsstraßen ausgeschieden wurden, aufgenommen wurden, an. Diese Indizes hängen von der Anzahl der fehlerhaften Produkte in Bezug auf die gesamte Anzahl der hergestellten Prüfziele („Herstellungsfehlerrate“) ab. Wenn daher die „Herstellungsfehlerrate“ einer bestimmten Fertigungsstraße bekannt ist, ist es nur erforderlich, eine Prüfvorrichtung zu konstruieren, die in der Lage ist, eine Prüfung durchzuführen, die eine maximale „Auslieferungsrate fehlerhafter Produkte“ (Grenz-Auslieferungsrate fehlerhafter Produkte) und eine maximale „Wiederprüfungsrate“ (Grenz-Wiederprüfungsrate, die die Anzahl der durch eine Prüfung ausgeschiedenen Prüfziele gegenüber der Gesamtanzahl der Prüfziele angibt) erfüllt.
Nun wird als Versuch zur Verbesserung der Genauigkeit bei einer automatisierten Aussehensprüfung eine Prüfung durchgeführt, bei der ein Bild des Aussehens eines Produkts von einer Bildaufnahmeeinheit aufgenommen wird und das Produkt auf Basis des aufgenommenen Bilds sortiert wird. Ferner wird eine Aussehensprüfung durchgeführt, bei der ein Produkt auf der Basis eines aufgenommenen Bilds mechanisch als nicht fehlerhaftes Produkt oder als fehlerhaftes Produkt klassifiziert wird (siehe zum Beispiel die Japanische Patentoffenlegungsschrift Nr. 2015-021756, die Japanische Patentoffenlegungsschrift Nr. 2005-052926 , und die Japanische Patentoffenlegungsschrift Nr. 2013-140090 ). Bei einer solchen mechanischen Aussehensprüfung werden Merkmalspunkte von einem vorab vorbereiteten Referenzbild extrahiert. Als nächstes werden die von dem Referenzbild extrahierten Merkmalspunkte mit Merkmalspunkten, die von einem Aufnahmebild eines Produkts extrahiert wurden, verglichen. Schließlich wird das Produkt auf der Basis des Ergebnisses des Vergleichs sortiert oder gewählt. Außerdem steigt die Anzahl der Fälle, in denen maschinelles Lernen in eine solche mechanische Aussehensprüfung eingebracht wird (siehe zum Beispiel die Japanische Patentoffenlegungsschrift Nr. 2017-049974 ).
Im Allgemeinen wird beim maschinellen Lernen, insbesondere dem tiefen Lernen unter Verwendung eines neuronalen Netzwerks mit drei oder mehr Schichten, in einem Lernzyklus, der als Iterationen oder Epochen bezeichnet wird, ein Lernmodell erzeugt. Ferner wird jedes Mal, wenn eine Berechnung einer bestimmten Anzahl von Zyklen durchgeführt wird, ein Lernmodell erzeugt. Der Grund dafür ist, dass das tiefe Lernen die Eigenschaft aufweist, dass die Qualität eines Lernmodells mit dem Fortschritt des Lernens nicht unbegrenzt verbessert wird. Das heißt, ein Lernmodell, das das Lernen für eine bestimmte Anzahl von Zyklen oder mehr durchgeführt hat, könnte in einen als „Überanpassung“ bezeichneten Zustand gelangen. Das Lernmodell in diesem Zustand ist nicht in der Lage, im Hinblick auf unbekannte Daten ein korrektes Ergebnis auszugeben. Daher werden beim tiefen Lernen in einem Lernprozess mehrere Lernmodelle erzeugt und wird jedes der Lernmodelle bewertet. Dann wird aus den bewerteten Lernmodellen ein optimales Lernmodell gewählt. Bei der Bewertung der Lernmodelle wird ein Wert wie „Loss“ (ein Fehler zwischen einem Ausgangswert eines neuronalen Netzwerks und einer durch Übungsdaten erbrachten Antwort) oder ‚„Accuracy“ (die korrekte Antwortrate eines Ausgangswerts des neuronalen Netzwerks“ zur Zeit des Lernens verwendet. Ferner kann „Precision“ (die Rate der tatsächlich richtigen Daten gegenüber Daten, die als korrekt vorhergesagt wurden, oder „Recall“ (die Rate der korrekt gefundenen Daten gegenüber den zu findenden Daten) bei der Bewertung der Verifikationsdaten verwendet werden.
Doch wenn bei einer Aussehensprüfung an einer Fertigungsstätte ein maschinelles Lernen verwendet wird, muss ein Lernmodell ein jedes von Bewertungskriterien (von einem Benutzer verlangten Spezifikationen), die vor Ort verwendet werden, wie etwa die Auslieferungsrate fehlerhafter Produkte und die Wiederprüfungsrate, die oben genannt wurden, erfüllen. Das heißt, selbst wenn auf der Basis des Bewertungskriteriums eines allgemeinen Lernmodells eine dahingehende Bestimmung vorgenommen wird, ob ein Lernergebnis gut oder schlecht ist, ist nicht bekannt, ob das vor Ort verlangte Bewertungskriterium erfüllt wird. Zum Beispiel ist es trotz einer Angabe durch den „Loss“, dass einer der Indizes zu Zeit des Lernens abnimmt, möglich, dass durch das Lernmodell nicht notwendigerweise eine erwartete Auslieferungsrate fehlerhafter Produkte erzielt wird. Das heißt, es wurde kein Verfahren zum leichten Verständnis oder zur leichten Berechnung von Werten für den obigen „Loss“ oder die obige „Accuracy“, wodurch die „Auslieferungsrate fehlerhafter Produkte“ und die „Wiederprüfungsrate“ Anforderungen vor Ort erfüllen, vorgeschlagen.
Entsprechend ist es die Aufgabe der vorliegenden Offenbarung, eine Prüfvorrichtung und ein Maschinenlernverfahren bereitzustellen, die Benutzern an Fertigungsstätten die Wahl eines Lernmodells, das verlangte Spezifikationen erfüllt, erleichtern.
KURZDARSTELLUNG DER ERFINDUNG
In der vorliegenden Offenbarung setzt eine Prüfvorrichtung zur Lösung des obigen Problems einen Aufbau ein, der auf Basis eines Indexwerts zum Bewerten der Leistungsfähigkeit eines Lernmodells und eines Indexwerts, der vor Ort in Bezug auf eine Prüfvorrichtung verlangt wird, bestimmt, ob das Lernmodell gut oder schlecht ist, und auf Basis des Ergebnisses der Bestimmung das Lernmodell wählt.
Nach einer Form der vorliegenden Offenbarung wird eine Prüfvorrichtung bereitgestellt, die eine Prüfung eines Prüfziels durchführt, wobei die Prüfvorrichtung eine Maschinenlernvorrichtung, die auf der Basis von Zustandsdaten, die von dem Prüfziel erlangt wurden, und Labeldaten, die ein Prüfergebnis im Zusammenhang mit dem Prüfziel angeben, ein maschinelles Lernen durchführt, um ein Lernmodell zu erzeugen; eine Lernmodellbewertungsindexberechnungseinheit, die einen Lernmodellbewertungsindex im Zusammenhang mit dem durch die Maschinenlernvorrichtung erzeugten Lernmodell als Bewertungsindex zur Verwendung bei der Bewertung des Lernmodells berechnet; eine Prüfindexerlangungseinheit, die einen Prüfindex zur Verwendung bei der Prüfung erlangt; und eine Indexwertbestimmungseinheit, die auf der Basis des Lernmodellbewertungsindex und des Prüfindex bestimmt, ob das durch die Maschinenlernvorrichtung erzeugte Lernmodell den Prüfindex erfüllt, und das Ergebnis der Bestimmung ausgibt, aufweist.
Nach einer anderen Form der vorliegenden Offenbarung wird ein Maschinenlernverfahren bereitgestellt, das einen ersten Schritt des Durchführens eines maschinellen Lernens auf der Basis von Zustandsdaten, die von einem Prüfziel erlangt wurden, und Labeldaten, die ein Prüfergebnis im Zusammenhang mit dem Prüfziel angeben, um ein Lernmodell zu erzeugen; einen zweiten Schritt des Berechnens eines Lernmodellbewertungsindex, der mit dem in dem ersten Schritt erzeugten Lernmodell in Zusammenhang steht, als Bewertungsindex, der verwendet wird, um das Lernmodell zu bewerten; einen dritten Schritt des Erlangens eines Prüfindex, der bei einer Prüfung verwendet wird; und einen vierten Schritt des Bestimmens, auf der Basis des Lernmodellbewertungsindex und des Prüfindex, ob das in dem ersten Schritt erzeugte Lernmodell den Prüfindex erfüllt, und des Ausgebens eines Ergebnisses der Bestimmung aufweist.
Nach der vorliegenden Offenbarung ist es möglich, die Bewertung eines Lernmodells auf der Basis von verlangen Spezifikationen, die als Prüfindizes festgelegt sind, zu bestimmen. Daher kann bei dem Lernprozess einer Maschinenlernvorrichtung auch ein Betreiber vor Ort, der nicht über Kenntnisse hinsichtlich des maschinellen Lernens verfügt, bestimmen, ob ein Lernen, das verlangte Spezifikationen, die als gegenwärtig festgelegte Prüfindizes festgesetzt sind, erfüllt, durchgeführt wurde, und leicht ein passendes Lernmodell wählen.
Figurenliste
Die obigen und andere Aufgaben und Merkmale der vorliegenden Erfindung werden aus den Beschreibungen der folgenden Ausführungsformen unter Bezugnahme auf die beiliegenden Zeichnungen offensichtlich werden, wobei

1 ein schematisches Hardwareaufbaudiagramm ist, das eine Prüfvorrichtung nach einer Ausführungsform zeigt;
2 ein schematisches Funktionsblockdiagramm der Prüfvorrichtung nach der Ausführungsform ist;
3 ein Diagramm ist, das ein Beispiel für eine ROC-Kurve zeigt; und
4 ein Diagramm ist, das die Beziehung zwischen der ROC-Kurve, einer Grenz-Auslieferungsrate fehlerhafter Produkte, und einer Grenz-Wiederprüfungsrate beschreibt.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Nachstehend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben werden.
1 ist ein schematisches Hardwareaufbaudiagramm, das eine Prüfvorrichtung nach einer Ausführungsform der vorliegenden Offenbarung zeigt. Eine Prüfvorrichtung 1 der vorliegenden Ausführungsform wird zum Beispiel als Computer, der an einer Produktprüfstelle in einer Fabrik eingerichtet ist, ausgeführt. Zudem kann die Prüfvorrichtung 1 als Computer wie etwa ein Zellencomputer, ein Host-Computer, ein Edge-Computer und ein Cloud-Server, der über ein Netzwerk mit einem Computer, der an einer Produktprüfstelle in einer Fabrik eingerichtet ist, verbunden ist, ausgeführt werden. 1 zeigt ein Beispiel für einen Fall, in dem die Prüfvorrichtung 1 als Computer, der an einer Produktprüfstelle in einer Fabrik eingerichtet ist, ausgeführt ist.
Eine zentrale Verarbeitungseinheit (CPU) 11, die in der Prüfvorrichtung 1 nach der vorliegenden Ausführungsform bereitgestellt ist, ist ein Prozessor, der die Prüfvorrichtung 1 als Ganzes steuert. Die CPU 11 liest ein Systemprogramm, das in einem Nurlesespeicher (ROM) 12, der über einen Bus 22 angeschlossen ist, gespeichert ist. Die CPU 11 steuert die gesamte Prüfvorrichtung 1 gemäß dem Systemprogramm. In einem Direktzugriffsspeicher (RAM) 13 werden temporäre Berechnungsdaten oder Anzeigedaten zur Anzeige an einer Anzeigevorrichtung 70 gespeichert. Ferner werden in dem RAM 13 verschiedene Daten oder dergleichen, die von einem Betreiber über eine Eingabevorrichtung 71 eingegeben werden, über eine Schnittstelle 19 gespeichert.
Ein nichtflüchtiger Speicher 14 ist zum Beispiel durch einen statischen Direktzugriffsspeicher (DRAM), eine Solid-State-Festplatte (SSD), oder dergleichen, der oder die durch eine nicht dargestellte Batterie gestützt wird, gebildet. Der nichtflüchtige Speicher 14 ist ein Speicher, der seinen Speicherzustand auch dann beibehält, wenn die Stromversorgung der Prüfvorrichtung 1 ausgeschaltet ist. In dem nichtflüchtigen Speicher 14 werden über die Eingabevorrichtung 71 eingegebene Daten oder Programme gespeichert. Ferner werden in dem nichtflüchtigen Speicher 14 Bilddaten oder dergleichen eines Prüfziels, die durch einen Bildaufnahmesensor 3 aufgenommen wurden, über eine Schnittstelle 20 gespeichert. Die Daten, Programme, oder dergleichen, die in dem nichtflüchtigen Speicher 14 gespeichert sind, können bei Verwendung in den RAM 13 geladen werden. Ferner ist ein Systemprogramm zur Durchführung einer Verarbeitung im Zusammenhang mit einer Prüfung oder ein Systemprogramm zur Durchführung anderer verlangter Verarbeitungen vorab in den ROM 12 geschrieben.
Der Bildaufnahmesensor 3 ist eine elektronische Kamera mit einem Bildaufnahmeelement wie etwa einer ladungsgekoppelten Vorrichtung (CCD). Der Bildaufnahmesensor 3 ist ein wohlbekanntes Lichtempfangselement mit der Funktion des Detektierens eines zweidimensionalen Bilds oder eines Abstandsbilds auf einer Bildaufnahmefläche (CCD-Anordnungs-Fläche) durch Aufnehmen eines Bilds. Der Bildaufnahmesensor 3 ist zu Beispiel an der Hand eines nicht dargestellten Roboters angebracht. Der Bildaufnahmesensor 3 wird durch den Roboter an eine Bildaufnahmeposition bewegt, an der ein Bild eines Prüfziels aufgenommen werden soll. Der Bildaufnahmesensor 3 sendet Bilddaten, die durch Aufnehmen eines Bilds des Prüfziels erhalten wurden, über die Schnittstelle 20 an die CPU 11. Der Bildaufnahmesensor 3 kann fest zum Beispiel an einer vorherbestimmten Position installiert sein. In diesem Fall wird das Prüfziel, das durch die Hand des Roboters gehalten wird, an eine Position bewegt, an der die Aufnahme eines Bilds des Prüfziels durch den Bildaufnahmesensor 3 möglich ist. Dadurch kann der Bildaufnahmesensor 3 ein Bild des Prüfziels 3 aufnehmen. Die Steuerung im Zusammenhang mit der Aufnahme eines Bilds des Prüfziels durch den Bildaufnahmesensor 3 kann durch Ausführen eines Programms durch die Prüfvorrichtung 1 durchgeführt werden, oder kann durch eine Robotersteuereinheit, die den Roboter steuert, oder durch eine Steuerung von einer anderen Vorrichtung durchgeführt werden.
Eine Schnittstelle 17 verbindet die Prüfvorrichtung 1 mit einem verdrahteten/drahtlosen Netzwerk 7. Das Netzwerk 7 ist an einen Computer 5 wie etwa einen Personal Computer, einen Zellencomputer, einen Edge-Computer, und einen Host-Computer, der einer in einem Werk eingerichteten Werkzeugmaschine angegliedert ist, angeschlossen. Die Prüfvorrichtung 1 und der Computer 5 tauschen über das Netzwerk 7 untereinander Informationen aus.
Eine Schnittstelle 23 verbindet den Bus 22 der Prüfvorrichtung 1 und eine Maschinenlernvorrichtung 300 miteinander. In der Maschinenlernvorrichtung 300 sind ein Prozessor 301, der die gesamte Maschinenlernvorrichtung 300 steuert, ein ROM 3020, der ein Systemprogramm oder dergleichen speichert, ein RAM 303, der bei jeder Verarbeitung im Zusammenhang mit dem maschinellen Lernen Daten temporär speichert, und ein nichtflüchtiger Speicher 304, der verwendet wird, um ein Lernmodell oder dergleichen zu speichern, über einen Bus 305 miteinander verbunden. Die Maschinenlernvorrichtung 300 beobachtet über die Schnittstelle 23 jede Information, die die Prüfvorrichtung 1 erlangen kann. Zudem führt die Prüfvorrichtung 1 auf der Basis der Folgerung eines Prüfergebnisses im Zusammenhang mit einem Prüfziel, die von der Maschinenlernvorrichtung 300 ausgegeben wird, eine Weiterverarbeitung durch.
2 ist ein schematisches Funktionsblockdiagramm der Prüfvorrichtung 1 nach der Ausführungsform. Die jeweiligen Funktionen der Funktionsblöcke, die in 2 dargestellt sind, werden ausgeführt, wenn die in der Prüfvorrichtung 1 bereitgestellte CPU 11 und der Prozessor 301 der in 1 dargestellten Maschinenlernvorrichtung 300 ihre Systemprogramme ausführen, um die Tätigkeiten der jeweiligen Einheiten der Prüfvorrichtung 1 und der Maschinenlernvorrichtung 300 zu steuern.
Die Prüfvorrichtung 1 der vorliegenden Ausführungsform weist eine Datenerlangungseinheit 100, eine Vorverarbeitungseinheit 110, eine Lernmodelbewertungsindexberechnungseinheit 120, eine Prüfindexerlangungseinheit 130, und eine Indexwertbestimmungseinheit 140 auf. Die in der Prüfvorrichtung 1 bereitgestellte Maschinenlernvorrichtung 300 weist eine Lerneinheit 310 und eine Folgerungseinheit 320 auf. Ferner ist in dem nichtflüchtigen Speicher 14 eine Lerndatenspeichereinheit 200 bereitgestellt, die Daten für das durch die Maschinenlernvorrichtung durchgeführte Lernen und Folgern speichert. In dem nichtflüchtigen Speicher 304 der Maschinenlernvorrichtung 300 ist eine Lernmodellspeichereinheit 330 bereitgestellt, die ein Lernmodell speichert, das durch das Maschinenlernen, das durch die Lerneinheit 310 durchgeführt wurde, aufgebaut wurde.
Die Datenerlangungseinheit 100 ist eine Funktionseinheit, die verschiedene Daten erlangt, welche von dem Bildaufnahmesensor 3, der Eingabevorrichtung 71, anderen Computern 5, oder dergleichen eingegeben werden. Die Datenerlangungseinheit 100 erlangt zum Beispiel Bilddaten zu einem Prüfziel, das durch den Bildaufnahmesensor 3 aufgenommen wurde, und speichert die erlangten Bilddaten in der Lerndatenspeichereinheit 200. Ferner erlangt die Datenerlangungseinheit 100 verschiedene Daten wie etwa Labeldaten, die ein Ergebnis angeben, das bei einer visuellen Prüfung des Prüfziels durch einen Betreiber erhalten wird, und Lerndaten (Bilddaten zu einem Prüfziel und das Label eines Prüfergebnisses des Prüfziels), die von den anderen Computern 5 erlangt werden, und speichert die erlangten verschiedenen Daten in der Lerndatenspeichereinheit 200. Die Datenerlangungseinheit 100 kann Daten von einer nicht dargestellten externen Speichervorrichtung erlangen.
Die Vorverarbeitungseinheit 110 erzeugt auf Basis von Lerndaten, die in der Lerndatenspeichereinheit 200 gespeichert sind, Übungsdaten T, bei denen es sich um eine Kombination aus Zustandsdaten S und Labeldaten L, die für das Lernen in der Maschinenlernvorrichtung 300 verwendet werden, handelt. Die Vorverarbeitungseinheit 110 erzeugt die Zustandsdaten S und die Labeldaten L durch Umwandeln (Durchführen einer Digitalisierung, Normalisierung, Abtastung, oder dergleichen) der erlangten Daten in eine vereinheitlichte Form, die durch die Maschinenlernvorrichtung 300 gehandhabt werden kann.
Die durch die Vorverarbeitungseinheit 110 erzeugten Zustandsdaten S enthalten wenigstens Prüfzielbilddaten S1, die erlangt werden, wenn ein Bild eines Prüfziels aufgenommen wird. Bei den Prüfzielbilddaten S1 kann es sich zum Beispiel um Array-Daten zu Pixelwerten von Pixeln, die ein durch eine Bildaufnahme eines Prüfziels erhaltenes Bild aufbauen, handeln.
Zudem enthalten die durch die Vorverarbeitungseinheit 110 erzeugen Labeldaten L wenigstens Prüfergebnisdaten L1, die das Label eines Prüfergebnisses eines Prüfziels enthalten. Bei den Prüfergebnisdaten L1 kann es sich zum Beispiel um ein Label handeln, das ein Ergebnis angibt, welches erhalten wird, wenn ein Betreiber ein Prüfziel visuell prüft.
Die Lerneinheit 310 führt unter Verwendung der Zustandsdaten und der Labeldaten L, die durch die Vorverarbeitungseinheit 110 erzeugt wurden, ein überwachtes Lernen durch. Die Lerneinheit 310 ist eine Funktionseinheit, die ein Lernmodell erzeugt (lernt), welches ein Prüfergebnis eines Prüfziels in Bezug auf Bilddaten des Prüfziels gelernt hat. Die Lerneinheit 310 der vorliegenden Ausführungsform kann so ausgebildet sein, dass sie als Lernmodell zum Beispiel ein überwachtes Lernen unter Verwendung eines neuronalen Netzwerks durchführt. Wenn die Lerneinheit 310 derart ausgebildet ist, kann das Lernmodell ein neuronales Netzwerk sein, das drei Schichten, eine Eingangsschicht, eine Zwischenschicht, und eine Ausgangsschicht, aufweist. Ferner kann das Lernmodell ein neuronales Netzwerk sein, das drei oder mehr Schichten aufweist. Das heißt, die Lerneinheit kann als Verfahren das tiefe Lernen verwenden. Durch Verwenden des tiefen Lernens kann die Lerneinheit 310 ein effizienteres Lernen und Schlussfolgem vornehmen. Das durch die Lerneinheit 310 erzeugte Lernmodell wird in der Lernmodellspeichereinheit 330, die in dem nichtflüchtigen Speicher 304 bereitgestellt ist, gespeichert. Zudem wird das Lernmodell verwendet, um die Folgerungsverarbeitung eines auf Bilddaten eines Prüfziels beruhenden Prüfergebnisses durch die Folgerungseinheit 320 durchzuführen.
Die Folgerungseinheit 320 nimmt auf Basis der Zustandsdaten S, die von der Vorverarbeitungseinheit 110 eingegeben wurden, die Folgerung eines Prüfergebnisses eines Prüfziels unter Verwendung eines in der Lernmodellspeichereinheit 330 gespeicherten Lernmodells vor. In der Folgerungseinheit 320 werden die von der Vorverarbeitungseinheit 110 eingegebenen Zustandsdaten S (die Prüfzielbilddaten S1) als Eingangsdaten in ein Lernmodell, das von der Lerneinheit 310 durch ein überwachtes Lernen erzeugt wurde (dessen Parameter bestimmt wurden), eingegeben. Dadurch wird das Prüfergebnis des Prüfziels geschätzt (berechnet). Das durch die Folgerungseinheit 320 geschätzte Prüfergebnis des Prüfziels wird über die Schnittstelle 18 zum Beispiel an die Anzeigevorrichtung 70 ausgegeben. Zudem kann das Prüfergebnis des Prüfziels über das Netzwerk 7 zur Verwendung zum Beispiel an den Computer 5 wie etwa einen Host-Computer oder einen Cloud-Computer ausgegeben werden.
Die Lernmodellbewertungsindexberechnungseinheit 120 ist eine Funktionseinheit, die einen Lernmodellbewertungsindex zur Bewertung eines in der Lernmodellspeichereinheit 330 gespeicherten Lernmodells berechnet. Die Lernmodellbewertungsindexberechnungseinheit 120 führt zum Beispiel eine Receiver-Operating-Characteristic(ROC)-Analyse an einem in der Lernmodellspeichereinheit 330 gespeicherten Lernmodell durch und erzeugt als Lernmodellbewertungsindex eine ROC-Kurve. In 3 gibt die senkrechte Achse eine Richtig-Positiv-Rate (eine Wahrscheinlichkeit, dass richtig Positivität vorhergesagt wird) an, und gibt die waagerechte Achse eine Falsch-Positiv-Rate (eine Wahrscheinlichkeit, dass Negativität fälschlich als Positivität vorhergesagt wird) an. Die ROC-Kurve ist eine Kurve, die gezeichnet wird, wenn der Schwellenwert eines Ausgangswerts eines Lernmodells, das ein Prüfziel als positiv einschätzt, geändert wird, wenn eine Prüfung durch ein bestimmtes Lernmodell durchgeführt wird (in 3 eine durch einen dicken Strich gezeichnete durchgehende Linie). Die Lernmodellbewertungsindexberechnungseinheit 120 kann ein Lernmodell unter Verwendung von nicht zum Lernen des Lernmodells verwendeten Lerndaten (der Zustandsdaten S und der Labeldaten L) aus den in der Lerndatenspeichereinheit 200 gespeicherten Lerndaten bewerten. Obwohl bei der vorliegenden Ausführungsform ein Beispiel, bei dem die ROC-Kurve verwendet wird, beschrieben ist, ist zu beachten, dass in der Prüfvorrichtung 1 ein anderer Index zum Bewerten eines Lernmodells als die ROC-Kurve verwendet werden kann.
Die Lernmodellbewertungsindexberechnungseinheit 120 kann ein Lernmodell mit jeder Durchführung des Lernens durch die Lerneinheit 310 für eine vorherbestimmte Anzahl von Malen bewerten. Außerdem kann die Lernmodellbewertungsindexberechnungseinheit 120 eine Sicherungskopie eines Lernmodells, das bewertet wurde, zusammen mit dem Bewertungsergebnis für das Lernmodell in der Lernmodellspeichereinheit 330 speichern. Wenn zum Beispiel vorab festgelegt ist, dass ein Lernmodell alle 1000 Lernzyklen bewertet wird, berechnet die Lernmodellbewertungsindexberechnungseinheit alle 1000 Lernzyklen, wie etwa, wenn das Lernen 1000 Mal, 2000 Mal, 3000 Mal, usw. durchgeführt wurde, einen Lernmodellbewertungsindex. Die Lernmodellbewertungsindexberechnungseinheit 120 speichert die Lernmodelle und die Lernmodellebewertungsindizes zu jedem dieser Zeitpunkte in einem Zusammenhang miteinander (gesondert von einem Lernmodell, das das Lernen fortlaufend durchführt) in der Lernmodellspeichereinheit 330.
Die Prüfindexerlangungseinheit 130 ist eine Funktionseinheit, die einen Prüfindex erlangt, der an einem Ort der Prüfung durch die Prüfvorrichtung 1 verwendet wird. Die Prüfindexerlangungseinheit 130 kann zum Beispiel einen Prüfindexwert erlangen, der durch einen Betreiber über die Eingabevorrichtung 71 eingegeben wurde. Die Prüfindexerlangungseinheit 130 kann über das Netzwerk 7 einen Prüfindex von dem Computer 5 wie etwa einem Host-Computer, in dem Informationen hinsichtlich eines Produktionsplans in einer Fabrik oder dergleichen verwaltet werden, erlangen. Beispiele für einen Prüfindex, der durch die Prüfindexerlangungseinheit 10 erlangt wird, beinhalten eine Grenz-Auslieferungsrate fehlerhafter Produkte, eine Grenz-Wiederprüfungsrate, oder dergleichen.
Die Indexwertbestimmungseinheit 140 ist eine Funktionseinheit, die auf der Basis eines durch die Lernmodellbewertungsindexberechnungseinheit 120 berechneten Bewertungsindex und eines durch die Prüfindexerlangungseinheit 130 erlangten Prüfindex bestimmt, ob jedes Lernmodell einen Prüfindex erfüllt. Außerdem gibt die Indexwertbestimmungseinheit 140 ein Ergebnis der Bestimmung aus. Die Indexwertbestimmungseinheit 140 bestimmt zum Beispiel unter Verwendung eines Werts, der als Ergebnis des Einsetzens eines Lernmodellbewertungsindex und des Prüfindex in eine vorgegebene Indexwertbestimmungsformel berechnet wurde, ob ein Lernmodell einen Prüfindex erfüllt.
Nun wird ein Fall beschrieben werden, in dem bei der Bestimmungsverarbeitung der Indexwertbestimmungseinheit 140 eine ROC-Kurve als Lernmodellbewertungsindex verwendet wird und eine Grenz-Auslieferungsrate fehlerhafter Produkte und eine Grenz-Wiederprüfungsrate als Prüfindizes verwendet werden. 4 ist ein Diagramm, in dem Grenzwertlinien, die eine Grenz-Auslieferungsrate fehlerhafter Produkte und eine Grenz-Wiederprüfungsrate erfüllen, in Bezug auf eine ROC-Kurve geplottet sind. In 4 wird durch das Plotten von Werten, die auf der Basis der Grenz-Auslieferungsrate fehlerhafter Produkte durch die folgende Formel (1) berechnet wurden, auf das Diagramm eine durch dicke Linien gezeichnete gepunktet-gestrichelte Linie erhalten. Ein Bereich an der Oberseite der gepunktet-gestrichelten Linie zeigt einen Bereich, in dem die Grenz-Auslieferungsrate fehlerhafter Produkte erfüllt wird. Es ist zu beachten, dass angenommen wird, dass eine Herstellungsfehlerrate vorab auf Basis früherer Statistiken oder dergleichen bekannt ist. $F (f) = 1 - {d \times (1 - m) \times (1 - f)} / {m \times (1 - d)}$
f: Falsch-Positiv-Rate
d: Grenz-Auslieferungsrate fehlerhafter Produkte
m: Herstellungsfehlerrate
Indessen wird in 4 durch das Plotten von Werten, die auf der Basis der Grenz-Wiederprüfungsrate durch die folgende Formel (2) berechnet wurden, auf das Diagramm eine durch dicke Linien gezeichnete gestrichelte Linie erhalten. Ein Bereich an der linken Seite der gestrichelten Linie zeigt einen Bereich, in dem die Grenz-Wiederprüfungsrate erfüllt wird. Es ist zu beachten, dass angenommen wird, dass eine Herstellungsfehlerrate vorab auf Basis früherer Statistiken oder dergleichen bekannt ist. $G (t) = {r - (m \times t)} / (1 - m)$
t: Richtig-Positiv-Rate
r: Grenz-Wiederprüfungsrate
m: Herstellungsfehlerrate
Das heißt, wenn ein Lernmodell eine ROC-Kurve aufweist, die in einen schraffierten Bereich in 4 gelangt, wird ein Schwellenwert, der einem Teil entspricht, welcher in den Bereich gelangt (der Schwellenwert eines Ausgangswerts des Lernmodells, der ein Prüfziel als positiv, das heißt, als fehlerhaftes Produkt einschätzt), festgelegt und verwendet, wodurch das Lernmodell als Modell verwendet werden kann, das erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt. Die Indexwertbestimmungseinheit 140 bestimmt, ob eine für jedes Lernmodell berechnete ROC-Kurve einen Teil aufweist, der in einen Bereich an der Oberseite der gemäß Formel (1) berechneten Linie und an der linken Seite der gemäß Formel (2) berechneten Linie gelangt. Wenn bestimmt wird, dass die ROC-Kurve den Teil aufweist, der in den Bereich an der Oberseite der gemäß Formel (1) berechneten Linie und an der linken Seite der gemäß Formel (2) berechneten Linie gelangt, kann die Indexwertbestimmungseinheit 140 bestimmen, dass das Lernmodell ein Modell ist, das erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt, und ein Bestimmungsergebnis der Bestimmung an die Anzeigevorrichtung 70 ausgeben. Außerdem kann die Indexwertbestimmungseinheit 140 das Bestimmungsergebnis über das Netzwerk 7 an den Computer 5 wie etwa einen Host-Computer und einen Cloud-Server ausgeben. Zudem kann die Indexwertbestimmungseinheit 140 den Einheiten der Prüfvorrichtung 1 Befehle zum Beenden des Lernens erteilen, wenn sie bestimmt, dass ein in der Lernmodellspeichereinheit 330 gespeichertes Lernmodell erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt. Ferner kann die Indexwertbestimmungseinheit 140 dann, wenn sie bestimmt, dass ein in der Lernmodellspeichereinheit 330 gespeichertes Lernmodell erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt, einen Befehl zur Anzeige einer Nachricht an der Anzeigevorrichtung 70, die eine dahingehende Eingabe verlangt, ob das Lernen fortgesetzt oder beendet werden soll, erteilen und dann auf Basis der Eingabe bestimmen, ob das Lernen fortgesetzt oder beendet wird.
Zudem kann die Indexwertbestimmungseinheit 140 eine Bedingung, unter der ein Lernmodell in einem Zustand verwendet wird, in dem erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt werden, an die Anzeigevorrichtung 70 oder den Computer 5 ausgeben. Bei dem obigen Beispiel muss dann, wenn ein Lernmodell verwendet wird, für das die Erfüllung erforderlicher Spezifikationen, die als Prüfindizes festgelegt sind, bestimmt wurde, ein Schwellenwert, der einem Teil entspricht, in dem eine ROC-Kurve in den schraffierten Bereich in 4 gelangt (der Schwellenwert eines Ausgangswerts des Lernmodells, der ein Prüfziel als positiv, d.h., als fehlerhaftes Produkt einschätzt), festgesetzt und verwendet werden. Die Indexwertbestimmungseinheit 140 kann den Bereich des Schwellenwerts als Bedingung für die Verwendung des Lernmodells an die Anzeigevorrichtung 70 oder den Computer 5 ausgeben. In dem Bereich des Schwellenwerts wird ein Wert, der einem Punkt entspricht, an dem die ROC-Kurve die durch die dicken Linien gezeichnete gepunktet-gestrichelte Linie kreuzt, ein oberer Grenzwert, und wird ein Wert, der einem Punkt entspricht, an dem die ROC-Kurve die durch die dicken Linien gezeichnete gestrichelte Linie kreuzt, ein unterer Grenzwert. Im Allgemeinen ist die ROC-Kurve eine Linie, die nach oben rechts gerichtet ansteigt. Daher wird die Wiederprüfungsrate zu dem oberen Grenzwert hin geringer und die Auslieferungsrate fehlerhafter Produkte zu dem unteren Grenzwert hin geringer. Die Indexwertbestimmungseinheit 140 kann auch diese Information ausgeben.
In der Prüfvorrichtung 1, die die obigen Aufbauten aufweist, wird ein Lernmodell auf Basis erforderlicher Spezifikationen, die als Prüfindizes festgelegt sind, bewertet. Daher kann bei dem Lernprozess der Maschinenlernvorrichtung 300 auch ein Betreiber vor Ort, der nicht über Kenntnisse hinsichtlich des maschinellen Lernens verfügt, bestimmen, ob ein Lernen, das verlangte Spezifikationen, die als gegenwärtig festgelegte Prüfindizes festgesetzt sind, erfüllt, durchgeführt wurde. Als Ergebnis kann der Betreiber leicht ein passendes Lernmodell wählen.
Im Vorhergehenden wurde eine Ausführungsform der vorliegenden Offenbarung beschrieben. Die vorliegende Offenbarung ist jedoch nicht auf das Beispiel der obigen Ausführungsform beschränkt, sondern kann durch Hinzufügen passender Abänderungen in verschiedenen Formen ausgeführt werden.
Zum Beispiel wurde die Prüfvorrichtung 1 bei der obigen Ausführungsform unter Verwendung des Beispiels einer Bestimmung der Auslieferungseigenschaften durch eine Aussehensprüfung beschrieben. Doch die Prüfvorrichtung 1 kann passend auf andere Prüfungen angewendet werden. Zum Beispiel kann die Prüfvorrichtung 1 auf eine Prüfung zur Bestimmung der Möglichkeit der Bearbeitung mit einer Werkzeugmaschine oder dergleichen angewendet werden. In diesem Fall kann die Prüfvorrichtung 1 so ausgebildet sein, dass sie auf der Basis der Temperatur, der Schwingungen, des Geräuschs, oder dergleichen zur Zeit der Bearbeitung der Zielmaschine eine Punktzahl ausgibt, die den Fehlergrad der Werkzeugmaschine angibt (eine niedrige Punktzahl gibt an, dass der Betrieb der Werkzeugmaschine gut ist, und eine hohe Punktzahl gibt an, dass die Werkzeugmaschine fehlerhaft ist oder in einen Zustand nahe an einem Fehler gelangt ist). Dabei wird in einem durch die Prüfvorrichtung 1 erzeugten ROC-Kurven-Diagramm eine Fehlerhafte-Maschine-Richtig-Antwortrate als senkrechte Achse und eine Gut-Bewegliche-Maschine-Falsch-Antwortrate als waagerechte Achse festgelegt. Was die Prüfindizes, die durch die Prüfvorrichtung gehandhabt werden, betrifft, genügt es, zum Beispiel eine Grenz-Fehlerhafte-Bearbeitung-Rate, die die Rate der fehlerhaften Maschinen angibt, welche praktisch in einer Gruppe von als normal bestimmten und zur Bearbeitung verwendeten Werkzeugmaschinen enthalten sein dürfen, und eine Grenz-Wartungsrate, die die Rate der als abnormal bestimmten und einer Wartung unterzogenen Werkzeugmaschinen angibt, zu verwenden. Durch das wie oben beschriebene Festlegen der Parameter wird wie bei der obigen Ausführungsform leicht ein passendes Lernmodell zur Verwendung in einer Situation, in der diagnostiziert wird, ob eine Werkzeugmaschine fehlerhaft ist, gewählt.
Ferner bestimmt die Indexwertbestimmungseinheit 140 bei der obigen Ausführungsform, dass ein Lernmodell, für das bestimmt wird, dass seine ROC-Kurve in den schraffierten Bereich in 4 gelangt, ein Modell ist, das erforderliche Spezifikationen, die als Prüfindizes festgelegt sind, erfüllt. Zum Beispiel kann die Indexwertbestimmungseinheit 140 bestimmen, dass ein Lernmodell ein Modell ist, das erforderliche Spezifikationen, die als Inspektionsindizes festgelegt sind, erfüllt, wenn die Fläche eines Teils, der von der mit dicken Linien gezeichneten gepunktet-gestrichelten Linie, der mit dicken Linien gezeichneten gestrichelten Linie, und der ROC-Kurve in 4 umgeben ist, einen vorab festgelegten vorherbestimmten Schwellenwert übersteigt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2005052926 [0004]
JP 2013140090 [0004]
JP 2017049974 [0004]

Claims

Prüfvorrichtung, die eine Prüfung eines Prüfziels durchführt, wobei die Prüfvorrichtung eine Maschinenlernvorrichtung, die auf der Basis von Zustandsdaten, die von dem Prüfziel erlangt wurden, und Labeldaten, die ein Prüfergebnis im Zusammenhang mit dem Prüfziel angeben, ein maschinelles Lernen durchführt, um ein Lernmodell zu erzeugen; eine Lernmodellbewertungsindexberechnungseinheit, die einen Lernmodellbewertungsindex im Zusammenhang mit dem durch die Maschinenlernvorrichtung erzeugten Lernmodell als Bewertungsindex zur Verwendung bei der Bewertung des Lernmodells berechnet; eine Prüfindexerlangungseinheit, die einen Prüfindex zur Verwendung bei der Prüfung erlangt; und eine Indexwertbestimmungseinheit, die auf der Basis des Lernmodellbewertungsindex und des Prüfindex bestimmt, ob das durch die Maschinenlernvorrichtung erzeugte Lernmodell den Prüfindex erfüllt, und das Ergebnis der Bestimmung ausgibt, umfasst.
Prüfvorrichtung nach Anspruch 1, wobei der Prüfindex eine Grenz-Auslieferungsrate fehlerhafter Produkte, die eine Rate von fehlerhaften Produkten angibt, welche unter den auszuliefernden Prüfzielen enthalten sein dürfen, und eine Grenz-Wiederprüfungsrate, die eine Rate von Prüfzielen, welche als Ergebnis der Prüfung ausgeschieden wurden, gegenüber einer Gesamtanzahl der Prüfziele angibt, enthält.
Prüfvorrichtung nach Anspruch 1, wobei der Prüfindex eine Grenz-Fehlerhafte-Bearbeitung-Rate, die eine Rate von fehlerhaften Maschinen angibt, welche in einer Gruppe von als normal bestimmten und zur Bearbeitung verwendeten Werkzeugmaschinen enthalten sein dürfen, und eine Grenz-Wartungsrate, die eine Rate von als abnormal bestimmten und einer Wartung unterzogenen Werkzeugmaschinen angibt, enthält.
Prüfvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Indexwertbestimmungseinheit bei der Bestimmung, ob das durch die Maschinenlernvorrichtung erzeugte Lernmodell den Prüfindex erfüllt, ferner eine Bedingung berechnet, unter der das Lernmodell den Prüfindex erfüllt, und die berechnete Bedingung, unter der das Lernmodell den Prüfindex erfüllt, ausgibt.
Maschinenlernverfahren, umfassend: einen ersten Schritt des Durchführens eines maschinellen Lernens auf der Basis von Zustandsdaten, die von einem Prüfziel erlangt wurden, und Labeldaten, die ein Prüfergebnis im Zusammenhang mit dem Prüfziel angeben, um ein Lernmodell zu erzeugen; einen zweiten Schritt des Berechnens eines Lernmodellbewertungsindex, der mit dem in dem ersten Schritt erzeugten Lernmodell in Zusammenhang steht, als Bewertungsindex, der verwendet wird, um das Lernmodell zu bewerten; einen dritten Schritt des Erlangens eines Prüfindex, der bei einer Prüfung verwendet wird; und einen vierten Schritt des Bestimmens, auf der Basis des Lernmodellbewertungsindex und des Prüfindex, ob das in dem ersten Schritt erzeugte Lernmodell den Prüfindex erfüllt, und des Ausgebens eines Ergebnisses der Bestimmung.