DE102020206584A1 - Datenerfassungssystem für maschinelles Lernen und ein Verfahren zum Sammeln von Daten - Google Patents

Datenerfassungssystem für maschinelles Lernen und ein Verfahren zum Sammeln von Daten Download PDF

Info

Publication number
DE102020206584A1
DE102020206584A1 DE102020206584.5A DE102020206584A DE102020206584A1 DE 102020206584 A1 DE102020206584 A1 DE 102020206584A1 DE 102020206584 A DE102020206584 A DE 102020206584A DE 102020206584 A1 DE102020206584 A1 DE 102020206584A1
Authority
DE
Germany
Prior art keywords
data
classification
model
unit
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020206584.5A
Other languages
English (en)
Inventor
Hiroshi Ueno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okuma Corp
Original Assignee
Okuma Corp
Okuma Machinery Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okuma Corp, Okuma Machinery Works Ltd filed Critical Okuma Corp
Publication of DE102020206584A1 publication Critical patent/DE102020206584A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form

Abstract

Ein Datenerfassungssystem (3) umfasst eine Klassifizierungsmodell-Speichereinheit (22), eine Modell-Abgabeeinheit (26), eine Klassifizierungsergebnis-Speichereinheit (23), eine Optimalmodell-Empfehlungseinheit (21) und eine Lerndaten-Aufzeichnungseinheit (28). Die Modell-Abgabeeinheit (26) liefert ein Klassifizierungsmodell an die Benutzerumgebung (2). Die Klassifizierungsergebnis-Speichereinheit (23) klassifiziert jedes der Klassifizierungsmodelle auf der Klassifizierungsmodell-Speichereinheit unter Verwendung von Daten mit einem Etikett, die von der Benutzerumgebung (2) als Eingabe übermittelt werden. Die Klassifizierungsergebnis-Speichereinheit (23) speichert ein Klassifizierungsergebnis, das mindestens eine Klassifizierungsrichtigkeit oder einen Prozentsatz richtiger Antworten für jede Eingabedatei enthält. Die Optimalmodell-Empfehlungseinheit (21) stellt ein geeignetes Klassifizierungsmodell für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle dar. Die Lerndaten-Aufzeichnungseinheit (28) zeichnet die Eingabedaten als Lerndaten oder Testdaten des Klassifizierungsmodells auf.

Description

  • HINTERGRUND DER ERFINDUNG
  • TECHNISCHES GEBIET DER ERFINDUNG
  • Die Offenbarung bezieht sich auf ein Erfassungssystem und eine Erfassungsmethode für Lerndaten oder Testdaten, die für maschinelles Lernen erforderlich sind.
  • BESCHREIBUNG VON VERWANDTEM STAND DER TECHNIK
  • Als eine der Techniken des maschinellen Lernens gibt es die Technik des überwachten Lernens als ein Verfahren, das eine Eingabe von Daten als Bestimmungsziel akzeptiert und einen Typ (ein Etikett) eines Dateninhalts bestimmt und ausgibt. Bei dieser Technik wird eine beträchtliche Anzahl von Datenpaaren und deren Etikett als Lerndaten vorläufig vorbereitet, und das Lernen wird so durchgeführt, dass ein Modell Etiketten ausgibt, die den Daten entsprechen. Dementsprechend wird ein Modell, das eine fehlerhafte Bestimmung vornimmt, angelernt, wenn das Etikett, das mit den Daten gepaart ist, nicht genau zugeordnet ist, und daher hat das zu erhaltende Modell eine geringe Bestimmungsleistung. Während es andererseits eine unbeaufsichtigte Lerntechnik gibt, die die Lerndaten nicht benötigt, ist es vorzuziehen, dass es Testdaten für die Evaluierung gibt, denen ein korrektes Etikett zugewiesen wird, um die Korrektheit während der Leistungsbewertung zu bestimmen.
  • Beim maschinellen Lernen sind viele Datenstücke notwendig, um Modelle zu lernen. Wenn ein Etikett Daten zugewiesen wird, ist es idealerweise bevorzugt, dass eine erfahrene Person sorgfältig prüft und ein Etikett bestimmt, das nach der Standardisierung der Bestimmungskriterien zugewiesen wird. In der Realität ist es jedoch aufgrund der begrenzten Ressourcen unmöglich, einen Fehler bei der Zuweisung eines Etiketts (Einmischung eines ungenauen Etiketts), der z.B. durch Fälle verursacht wird, in denen ein Etikett in einem unsicheren Zustand zugewiesen wird und eine Person ohne Erfahrung ein Etikett vergibt, vollständig zu eliminieren. Dementsprechend ist es eine große Aufgabe, wie man eine Überprüfung auf das Einmischen falscher Lerndaten erreichen kann.
  • Auch das Sammeln von Daten selbst erfordert einen hohen Arbeitsaufwand, und es wird viel Personal benötigt, um eine große Menge an Daten zu sammeln. Daher ist es auch ein Problem, wie man viele Mitwirkende gewinnen kann.
  • Wie oben beschrieben, sind bei der Erstellung eines Lernmodells mit hoher Bestimmungsleistung eine große Menge an Lerndaten und qualitativ hochwertige Lerndaten unverzichtbar, und es ist wichtig, beide gleichzeitig zu erhalten.
  • Das japanische Patent Nr. 6231944 offenbart eine Technik zur Verringerung der Auswirkungen minderwertiger Lerndaten (denen ein unpassendes Etikett zugewiesen wird) auf ein Lernmodell. Bei dieser Technik wird der Effekt reduziert, indem für jeden Benutzer ein Modell als Lieferant von Lerndaten erstellt wird und Unterschiede zwischen den Merkmalen der jeweiligen Benutzer zur Durchführung des Lernens indiziert werden, um die Beitragsrate eines Benutzers mit einem anderen Merkmal als die anderen Benutzer zu verringern.
  • In ähnlicher Weise offenbart eine Technik in JP-A-2009-282686 eine Technik, die den Effekt eines Etiketts mit geringer Zuverlässigkeit reduziert. Bei dieser Technik werden zuverlässige Lerndaten im Voraus ausgewählt und getrennt. Für andere Daten als die zuverlässigen Lerndaten wird ein Zuverlässigkeitsgrad festgelegt, der auf der Differenz zwischen den zuverlässigen Daten und der Konsistenz eines Etiketts mit den zuverlässigen Daten basiert, um eine Verschlechterung der Lerngenauigkeit zu verhindern.
  • Das im Rahmen des maschinellen Lernens erstellte Lernmodell hat oft seinen Inhalt geblackboxed, und wenn eine Vielzahl von Lernmodellen zur Verfügung gestellt wird, kann ein Modellanwender nur schwer bestimmen, welches Modell für ihn/sie selbst verwendet werden soll. Daher offenbart das japanische Patent Nr. 4339769 eine Technik, bei der ein System eine Vielzahl von Lernmodellen speichert und ein optimales Lernmodell auf der Grundlage der Differenz zwischen einem Vorhersagebetrag und einem tatsächlichen Betrag durch jedes diagnostische Modell ausgewählt wird. Mit anderen Worten, es handelt sich um eine Technik, bei der die Differenz zwischen dem Vorhersagebetrag und dem tatsächlichen Betrag bewertet wird, um ein geeignetes Modell auszuwählen.
  • Das japanische Patent Nr. 6358401 offenbart eine Technik der Alarmvorhersage. Eine Vorhersagemodell-Erzeugungseinheit erstellt ein Vorhersagemodell aus Ereignisinformationen (Daten) von einem Benutzer, die auf einen Ausfall einer Maschineneinheit oder ähnliches hinweisen. Eine Vorhersagemodell-Bewertungseinheit berechnet und bewertet eine Vorhersage-Auslassrate und eine fehlerhafte Vorhersage-Rate des Vorhersagemodells. Eine Anzeigesteuereinheit zeigt die ausgewerteten Informationen an. So wird der Benutzer über die Genauigkeit eines Vorhersagemodells informiert.
  • Mit der Technik nach dem japanischen Patent Nr. 6231944 ist es möglich, den Effekt eines Benutzers zu reduzieren, der mehr Fehler bei der Zuweisung von Etiketten macht als die anderen, z.B. ein Benutzer mit weniger Erfahrung. Allerdings treten in einigen seltenen Fällen zufällig Fehler bei der Etikettenzuweisung durch eine Person mit Erfahrung auf, und die Zuweisungsfehler werden möglicherweise eingemischt.
  • Bei der Technik nach JP-A-2009-282686 werden die Lerndaten zwar durch eine Tendenz der Daten gewichtet, es gibt aber auch einen Fall, in dem ein Etikettenzuweiser, selbst wenn eine Tendenz der Daten eine Ähnlichkeit zu haben scheint, absichtlich ein anderes Etikett aus seiner/ihrer Erfahrung zuweist. Mit der Methode der Technik kann im oben beschriebenen Fall das Lernen im Gegensatz zu einer Absicht des Etikettenvergebers stehen.
  • Im Fall der Technik im japanischen Patent Nr. 4339769 kann die Leistung eines Modells nicht genau bewertet werden, wenn den zu vergleichenden tatsächlichen Daten ein ungeeignetes Etikett zugewiesen wird.
  • Im Fall der Technik im japanischen Patent Nr. 6358401 ist zwar eine Evaluierung des Vorhersagemodells möglich, aber die von einem Benutzer übertragenen Daten sind auf die Kodierung und Verwendung zum Extrahieren einer Ereigniszeile beschränkt. Daher können sich Daten von geringer Qualität in die Lerndaten oder die Testdaten mischen, so dass der Benutzer kein geeignetes Vorhersagemodell auswählen kann.
  • Daher ist es Gegenstand der Offenbarung, ein Datenerfassungssystem für maschinelles Lernen und eine Erfassungsmethode bereitzustellen, die die Wahrscheinlichkeit verringern, dass bei der Erfassung von Lerndaten oder Testdaten, die für maschinelles Lernen verwendet werden, minderwertige Daten, denen ein unpassendes Etikett zugewiesen wird, vermischt werden, was eine effiziente Erfassung einer großen Menge an Daten von hoher Qualität gewährleistet. Genauer gesagt werden nicht nur Daten von geringer Qualität ausgeschlossen, sondern es wird auch eine Umgebung geschaffen, in der die qualitativ hochwertigen Daten wahrscheinlich gesammelt werden, um die oben beschriebenen Probleme zu lösen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Um das oben beschriebene Ziel zu erreichen, wird ein Datenerfassungssystem für maschinelles Lernen nach einem ersten Aspekt der Offenbarung bereitgestellt, um Lerndaten oder Testdaten eines Klassifizierungsmodells zu sammeln, das eine Klasse durch maschinelles Lernen klassifiziert. Das Datenerfassungssystem umfasst eine Klassifizierungsmodell-Speichereinheit, eine Modellabgabeeinheit, eine Klassifizierungsergebnis-Speichereinheit, eine Optimalmodell-Empfehlungseinheit und eine Lerndaten-Aufzeichnungseinheit. Die Klassifizierungsmodell-Speichereinheit lokalisiert eine Vielzahl von gelernten Klassifizierungsmodellen, die in einer Benutzerumgebung verwendet werden sollen. Die Modellabgabeeinheit liefert das Klassifizierungsmodell an die Benutzerumgebung. Die Klassifizierungsergebnis-Speichereinheit klassifiziert jedes der Klassifizierungsmodelle auf der Klassifizierungsmodell-Speichereinheit unter Verwendung von Daten mit einem Etikett, die von der Benutzerumgebung als Eingabe übertragen werden. Die Klassifizierungsergebnis-Speichereinheit speichert ein Klassifizierungsergebnis, das für jede Eingabedatei mindestens entweder die Klassifizierungskorrektheit oder einen Prozentsatz korrekter Antworten enthält. Die Optimalmodellempfehlungseinheit stellt ein geeignetes Klassifizierungsmodell für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle dar. Die Lerndaten-Aufzeichnungseinheit zeichnet die Eingabedaten als Lerndaten oder Testdaten des Klassifizierungsmodells auf.
  • In der Offenbarung nach einem zweiten Aspekt der Offenbarung, der im ersten Aspekt der Offenbarung ist, beinhaltet das Datenerfassungssystem für maschinelles Lernen weiterhin eine Einheit zur Ermittlung der Präsenz des Empfehlungsmodells, die feststellt, ob das von der optimalen Modell-Empfehlungseinheit präsentierte Klassifizierungsmodell in der Benutzerumgebung eingesetzt wird oder nicht. Wenn die Einheit zur Ermittlung der Präsenz des Empfehlungsmodells festgestellt hat, dass das Klassifizierungsmodell, das von der optimalen Modellempfehlungseinheit präsentiert wird, verwendet wird, werden die Eingabedaten in der Lerndatenerfassungseinheit aufgezeichnet.
  • In der Offenbarung nach einem dritten Aspekt der Offenbarung, der sich im ersten oder zweiten Aspekt der Offenbarung befindet, während die Klassifizierungsergebnis-Speichereinheit die Klassifizierungskorrektheit für jede der Eingabedaten als Klassifizierungsergebnis speichert, umfasst das Datenerfassungssystem ferner eine Klassifizierungsergebnis-Anzeigeeinheit und eine Etiketten-Korrektureinheit. Die Klassifizierungsergebnis-Anzeigeeinheit präsentiert einem Benutzer die Klassifizierungsrichtigkeit. Die Etiketten-Korrektureinheit korrigiert ein Etikett der Eingabedaten. Eingabedaten, auf denen das Korrekturergebnis der Etiketten-Korrektur-Einheit reflektiert wird, werden in der Lerndaten-Aufzeichnungseinheit aufgezeichnet.
  • Um das oben beschriebene Ziel zu erreichen, wird ein Datenerfassungsverfahren für maschinelles Lernen gemäß einem vierten Aspekt der Offenbarung bereitgestellt, um Lerndaten oder Testdaten eines Klassifizierungsmodells zu sammeln, das eine Klasse durch maschinelles Lernen klassifiziert. Das Datenerfassungsverfahren umfasst einen Datenklassifizierungsschritt, einen Schritt zur Empfehlung eines optimalen Modells und einen Schritt zur Aufzeichnung von Lerndaten. Der Datenklassifizierungsschritt ist ein Schritt zur Klassifizierung jedes einer Vielzahl aufgezeichneter, gelernter Klassifizierungsmodelle unter Verwendung von Daten mit einem Etikett, die von einer Benutzerumgebung als Eingabedaten übertragen werden. Der Schritt der optimalen Modellempfehlung ist ein Schritt der Präsentation eines geeigneten Klassifizierungsmodells für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle. Der Schritt der Aufzeichnung von Lerndaten ist ein Schritt der Aufzeichnung der Eingabedaten als Lerndaten oder Testdaten des Klassifizierungsmodells.
  • Durch die Offenbarung kann bei der Erfassung der Lerndaten oder der für das maschinelle Lernen verwendeten Testdaten eine große Menge an qualitativ hochwertigen Daten effizient gesammelt werden, während die Wahrscheinlichkeit verringert wird, dass Daten von geringer Qualität, denen ein unpassendes Etikett zugewiesen wird, untergemischt werden. Bei dem im maschinellen Lernen erstellten Lernmodell ist für den Benutzer schwer zu bestimmen, welches Modell verwendet werden soll. Daher ist der Benutzer motiviert, ein System zu verwenden, das ein Modell empfiehlt, um das für seine oder ihre Anwendung geeignete Modell angemessen auszuwählen. Damit das System ein zuverlässiges Ergebnis liefert, sind passende Eingabedaten erforderlich. Daher wird bei der Verwendung des Systems vom Benutzer erwartet, dass er Daten hochlädt, nachdem er die Daten und ein zugewiesenes Etikett im Voraus geprüft hat. Das heißt, der Modellanwender wählt die Daten, denen ein Etikett mit hoher Genauigkeit zugeordnet ist, zu seinem oder ihrem eigenen Nutzen aus, um das optimale Modell zu erhalten. Dementsprechend gewährleistet die Verwendung der Datenstücke als Lerndaten die Verringerung der Wahrscheinlichkeit, dass Daten, denen ein Etikett mit einem unsicheren Sinn zugeordnet wird, in die Lerndaten gemischt werden, wodurch die Erstellung eines besseren Klassifizierungsmodells gewährleistet wird. Selbst beim unüberwachten Lernen kann ein Evaluationsergebnis, das Testdaten verwendet, denen eine korrekte Antwort angemessen zugeordnet ist, als Index verwendet werden, wodurch in ähnlicher Weise sichergestellt wird, dass ein für einen Benutzer geeignetes Modell erstellt und empfohlen wird.
  • Mit anderen Worten, mit der Offenbarung kann ein Benutzer dazu ermutigt werden, die Daten auszuwählen und zu übermitteln, denen ein hochqualitatives Etikett zugewiesen wird, wodurch eine weitere effiziente und einfache Erfassung wirklich hochwertiger Daten gewährleistet wird. Qualitativ hochwertige Lerndaten können entsprechend dem Gefühl des Benutzers gesammelt werden, ohne die Bestimmung (das Etikett) des Benutzers zu verzerren, die durch die Merkmale der Daten unangemessen beeinflusst wird. Darüber hinaus motiviert die Tatsache, dass ein für den Benutzer geeignetes Klassifizierungsmodell ausgewählt werden kann, zur Übermittlung von Daten, wodurch eine einfache und kontinuierliche Sammlung von Daten von hoher Qualität gewährleistet wird.
  • Insbesondere mit der Offenbarung nach dem zweiten Aspekt kann zusätzlich zu den oben beschriebenen Effekten eine Verlässlichkeit der Lerndaten weiter erhöht werden. Unter den Benutzern, die das System benutzen, benutzen einige Benutzer das System mit einem Sinn für das Ausprobieren. Durch die Feststellung, ob das vom System empfohlene Modell tatsächlich von einem Benutzer verwendet wird oder nicht, kann festgestellt werden, ob der Benutzer einen Versuchszweck oder einen tatsächlichen selektiven Zweck verfolgt. Durch den Ausschluss der Dateneingabe für die Versuchszwecke wird die Wahrscheinlichkeit mit größerer Sicherheit verringert, dass Daten geringer Qualität, denen ein unpassendes Etikett zugeordnet ist, eingemischt werden.
  • Insbesondere bei der Offenbarung nach dem dritten Aspekt stellt die Anzeige des Klassifizierungsergebnisses des im System gespeicherten Klassifizierungsmodells zusätzlich zu den oben beschriebenen Effekten sicher, dass der Benutzer bestätigen kann, welche Eingabedaten eine Fehldiagnose verursacht haben. Durch die Bestätigung, ob ein Zuordnungsfehler des Etiketts auf den falsch diagnostizierten Daten vorliegt, und die Korrektur, wenn ein Fehler vorliegt, gewährleistet die Auswahl eines geeigneten Klassifizierungsmodells mit weiterer Genauigkeit. Dadurch wird auch die Zuverlässigkeit der als Lerndaten aufgezeichneten Eingabedaten verbessert, wodurch sichergestellt wird, dass weitere qualitativ hochwertige Lerndaten gewonnen werden.
  • Figurenliste
    • 1 ist ein Blockkonfigurationsdiagramm einer Werkzeugmaschine.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Im Folgenden werden Ausführungsformen der Offenbarung anhand der Figuren beschrieben.
  • Als Beispiel wird eine Beschreibung unter Verwendung eines Datenerfassungssystems für maschinelles Lernen (im Folgenden einfach als „Datenerfassungssystem“ bezeichnet) 3 vorgenommen, das eine An-/Abwesenheit und eine Art von Unregelmäßigkeit feststellt, wenn ein Werkstück mit einer Werkzeugmaschine 1 bearbeitet wird.
  • Eine Benutzerumgebung 2, die in der Werkzeugmaschine 1 enthalten ist oder über ein Netzwerk und ähnliches gekoppelt ist, bestimmt das Vorhandensein/Fehlen einer Unregelmäßigkeit, und das Ergebnis wird zurück an die Werkzeugmaschine 1 übertragen, um eine entsprechende Steuerung auszuführen, wie z.B. das Anhalten der Bearbeitung. Ein von der Werkzeugmaschine 1 während der Bearbeitung erhaltenes Signal (z.B. eine Last, eine Vibration) wird von der Einheit zur Gewinnung von Bearbeitungsdaten 11 gesammelt und in der Bearbeitungsdaten-Speichereinheit 13 entsprechend aufgezeichnet und an die Klassifizierungsausführungseinheit 12 übertragen. Die Klassifizierungsausführungseinheit 12 verwendet gelernte Klassifizierungsmodelle, die in der Klassifizierungsmodell-Speichereinheit 14 gespeichert sind, um zu bestimmen, ob die Bearbeitung der Werkzeugmaschine 1 normal ist oder nicht, und überträgt das Ergebnis an die Werkzeugmaschine 1.
  • Wie genau die Unregelmäßigkeit der Bearbeitung bestimmt werden kann, hängt von der Leistung des zu verwendenden, gelernten Klassifizierungsmodells ab. Um die Normalität/Unregelmäßigkeit weiter genau zu klassifizieren oder zu bestimmen, um welche Art von Unregelmäßigkeit es sich handelt, muss ein Klassifizierungsmodell mit hoher Leistung verwendet werden. Die genaue oder präzise Erkennung einer Bearbeitungsunregelmäßigkeit stellt sicher, dass eine Beschädigung eines Werkzeugs und ein Versagen eines Arbeitsmaterials im Voraus reduziert wird. Daher wünscht sich der Anwender ein besseres Klassifizierungsmodell.
  • Für das bei der Offenbarung verwendete Klassifizierungsmodell wird ein Modell angenommen, das im maschinellen Lernen mit überwachtem Lernen erstellt wurde. Ein Etikett, das bestimmt werden soll (z.B. Normalität/Unregelmäßigkeit oder eine Art von Unregelmäßigkeit), wird den Daten zugewiesen, und die Daten werden einer Lernmaschine für ein vorläufiges Lernen zur Verfügung gestellt. Auf diese Weise kann ein Klassifizierungsmodell erstellt werden, das ein Etikett für unbekannte Eingabedaten schätzt. Während ein einzelner Benutzer möglicherweise das oben beschriebene gelernte Klassifizierungsmodell erstellt, ist die Erfassung einer erforderlichen Menge durch eine Benutzereinheit oft schwierig, da das maschinelle Lernen im Allgemeinen viele Arten und eine große Menge an Lerndaten erfordert. Daher wird manchmal eine Konfiguration bereitgestellt, bei der ein Werkzeugmaschinenhersteller, ein Dritter und dergleichen in großem Umfang Daten sammeln, um die gelernten Klassifizierungsmodelle zu erstellen und an die Benutzer zu verteilen. Da in diesem Fall eine Vielzahl von Benutzern die Modelle verwendet, weisen die vorbereiteten Modelle eine Vielzahl von Typen und Merkmalen auf. Im Allgemeinen werden Anwendungsbereich und Bestimmungsgenauigkeit oft gegeneinander abgewogen, und deshalb muss der Benutzer für sich ein Modell auswählen, das der Anwendung und dem geforderten Niveau entspricht. Daher wird in der Offenbarung von einer Konfiguration ausgegangen, bei der eine Modellanbieterseite ein für einen Benutzer geeignetes Modell empfiehlt.
  • Ein Benutzer überträgt Bearbeitungsdaten eines Falls, von dem er oder sie eine Diagnose oder einen ähnlichen Fall wünscht, mit Hilfe der Datenübertragungseinheit 15. Die zu übertragenden Daten können z.B. geeigneterweise aus den in der Bearbeitungsdaten-Speichereinheit 13 aufgezeichneten Daten entsprechend ausgewählt werden.
  • Im Datensammelsystem 3 als die Modellanbieterseite werden verschiedene bereits generierte Klassifizierungsmodelle in der Klassifizierungsmodell-Speichereinheit 22 angesammelt. Die von der Datenübertragungseinheit 15 in eine Benutzerseite übertragenen Daten werden einem Teil oder allen gelernten Klassifizierungsmodellen, die in der Klassifizierungsmodell-Speichereinheit 22 angesammelt sind, zur Verfügung gestellt und von der Klassifizierungsausführungseinheit 12 klassifiziert (ein Datenklassifizierungsschritt). Für einen individuellen Klassifizierungsprozess selbst wird ein ähnlicher Mechanismus wie der in der Benutzerumgebung 2 verwendet.
  • Die Korrektheit der Klassifizierung und die Prozentsätze der korrekten Antworten werden jeweils so berechnet, dass sie in der Klassifizierungsergebnis-Speichereinheit 23 gespeichert und auf der Klassifizierungsergebnis-Anzeigeeinheit 24 angezeigt werden. Gleichzeitig wird ein Modell, das als hochgradig geeignet für die übertragenen Daten angesehen wird, wie z.B. ein Modell mit einem hohen Prozentsatz korrekter Antworten, dem Benutzer mittels der Optimalodell-Empfehlungseinheit 21 (ein Schritt zur optimalen Modellempfehlung) präsentiert. Als Empfehlungskriterien können, neben dem Prozentsatz richtiger Antworten für die Gesamtheit, jeweilige Prozentzahlen an richtigen Antworten für normale Daten oder unregelmäßige Daten, einen Prozentsatz richtiger Antworten für die Daten, die als Daten, auf die sich der Benutzer konzentriert, gewichtet sind, und ähnliches, angemessen verwendet werden.
  • Der Benutzer kann anhand der Ergebnisse der Optimalmodell-Empfehlungseinheit 21 und der Klassifizierungsergebnis-Anzeigeeinheit 24 entscheiden, ob das vorgestellte Modell verwendet werden soll oder nicht. Wenn die Modellleistung zufriedenstellend ist und verwendet werden soll, wird das Modell von der Modell-Abgabeeinheit 26 bezogen, in der Klassifizierungsmodell-Speichereinheit 14 gespeichert und auf die Klassifizierungsausführungseinheit 12 angewendet. So kann das Modell für die Klassifizierung verwendet werden. Eine Seite des Datensammelsystems 3 bestimmt, ob ein Empfehlungsmodell eingesetzt wird oder nicht bei der Einheit zur Ermittlung der Präsenz der Anwendung des Empfehlungsmodells 27. Die Bestimmung basiert auf Informationen, wie z.B. einer An-/Abwesenheit der Lieferung von der Modell-Abgabeeinheit 26 und einer An-/Abwesenheit der Anwendung zu der die Klassifizierung ausführenden Einheit 12.
  • Wenn festgestellt wird, dass der Benutzer mit dem Empfehlungsmodell angewendet wird, werden die übertragenen Daten von der Datenübertragungseinheit 15 auf der Benutzerseite aufgezeichnet und in der Lerndaten-Aufzeichnungseinheit 28 gesammelt (ein Lerndatenaufzeichnungsschritt).
  • Wenn der Benutzer mit der Leistung des von der Optimalmodell-Empfehlungseinheit 21 dargestellten Modells nicht zufrieden ist, kann ein von der Klassifizierungsergebnis-Anzeigeeinheit 24 angezeigtes Ergebnis verwendet werden. Das Ergebnis wird verwendet, um zu bestätigen, ob ein Fehler in den Eingabedaten (den von der Datenübertragungseinheit 15 übertragenen Daten) vorliegt, die für die Berechnung der Modellleistung verwendet werden. Wenn als Ergebnis der Bestätigung ein Fehler in den Eingabedaten gefunden wird, kann der Benutzer eine Kennzeichnung der Daten mit Hilfe der Etiketten-Korrektureinheit 25 korrigieren. Für ein Verfahren zur Korrektur eines Etiketts kann ein Verfahren, beispielsweise nach der Auswahl der zu korrigierenden Daten anhand einer auf einem Bildschirm angezeigten Liste von Daten, durch erneute Eingabe eines korrekten Etiketts, angemessen verwendet werden. Wenn das Etikett korrigiert wird, wird das Korrekturergebnis entsprechend auf den Daten reflektiert, und wenn die Daten in der Lerndaten-Aufzeichnungseinheit 28 aufgezeichnet werden, können das Vorhandensein/Abwesenheit, der Inhalt und Ähnliches der Korrektur reflektiert und aufgezeichnet werden.
  • Das Datenerfassungssystem 3 und die Datenerfassungsmethode in der oben beschriebenen Konfiguration umfasst die Klassifizierungsmodell-Speichereinheit 22, die Modell-Abgabeeinheit 26, die Klassifizierungsergebnis-Speichereinheit 23, die Optimalmodell-Empfehlungseinheit 21 und die Lerndaten-Aufzeichnungseinheit 28. Die Klassifizierungsmodell-Speichereinheit 22 lokalisiert eine Vielzahl der gelernten Klassifizierungsmodelle, die in der Benutzerumgebung 2 verwendet werden sollen. Die Modell-Abgabeeinheit 26 liefert das Klassifizierungsmodell an die Benutzerumgebung 2. Die Klassifizierungsergebnis-Speichereinheit 23 klassifiziert unter Verwendung der von der Benutzerumgebung 2 übertragenen Daten mit einem Etikett als Eingabe. Die Klassifizierungsergebnis-Speichereinheit 23 speichert das Klassifizierungsergebnis einschließlich der Klassifizierungskorrektheit und eines Prozentsatzes der korrekten Antworten für jede der Eingabedaten. Die Optimalmodell-Empfehlungseinheit 21 stellt ein geeignetes Klassifizierungsmodell für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle dar. Die Lerndaten-Aufzeichnungseinheit 28 zeichnet die Eingabedaten als Lerndaten oder als Testdaten des Klassifizierungsmodells auf. So kann ein Benutzer dazu angeregt werden, die Daten auszuwählen und zu übermitteln, denen ein qualitativ hochwertiges Etikett zugewiesen wird, wodurch eine weitere effiziente und einfache Erfassung wirklich hochwertiger Daten gewährleistet wird. Qualitativ hochwertige Lerndaten können entsprechend dem Gefühl des Benutzers gesammelt werden, ohne die Bestimmung (das Etikett) des Benutzers zu verzerren, die durch Merkmale der Daten unangemessen beeinflusst wird. Darüber hinaus motiviert die Tatsache, dass ein für den Benutzer geeignetes Klassifizierungsmodell ausgewählt werden kann, zur Übermittlung von Daten, wodurch eine einfache und kontinuierliche Sammlung von Daten von hoher Qualität gewährleistet wird.
  • Insbesondere ist die Einheit zur Ermittlung der Präsenz der Anwendung des Empfehlungsmodells 27 vorgesehen, um zu erkennen, ob das von der Optimalmodell-Empfehlungseinheit 21 vorgestellte Klassifizierungsmodell in der Benutzerumgebung 2 eingesetzt wird oder nicht. Wenn die Einheit zur Ermittlung der Präsenz der Anwendung des Empfehlungsmodells festgestellt hat, dass das Klassifizierungsmodell der Optimalmodell-Empfehlungseinheit 21 verwendet wird, werden die Eingabedaten in der Lerndaten-Aufzeichnungseinheit 28 aufgezeichnet. Dadurch kann die Zuverlässigkeit der Lerndaten weiter erhöht werden. Unter den Anwendern, die das System benutzen, benutzen einige Benutzer das System mit einem Versuchsgeist. Die Feststellung, ob das vom System empfohlene Modell tatsächlich von einem Benutzer verwendet wird oder nicht, gewährleistet die Feststellung, ob der Benutzer einen Versuchszweck oder einen tatsächlichen selektiven Zweck hat. Das Ausschließen der Dateneingabe für die Versuchszwecke gewährleistet mit größerer Sicherheit, dass sich die Daten, denen ein ungenaues Etikett zugeordnet ist, nicht einmischen.
  • Die Klassifizierungsergebnis-Anzeigeeinheit 24, die dem Benutzer die Richtigkeit der Klassifizierung präsentiert, und die Etiketten-Korrektureinheit 25, die das Etikett der Eingabedaten korrigiert, werden bereitgestellt. Die Eingabedaten, in denen das Korrekturergebnis durch die Etiketten-Korrektureinheit 25 reflektiert wird, werden in der Lerndaten-Aufzeichnungseinheit 28 aufgezeichnet. Somit kann der Benutzer bestätigen, welche Eingabedaten eine Fehldiagnose haben. Durch die erneute Bestätigung, ob ein Zuordnungsfehler des Etiketts auf den fehldiagnostizierten Daten vorliegt, und durch die Korrektur, wenn ein Fehler vorliegt, wird die Auswahl eines geeigneten Klassifizierungsmodells mit weiterer Genauigkeit gewährleistet. Dadurch wird auch die Zuverlässigkeit der als Lerndaten aufgezeichneten Eingabedaten verbessert, wodurch sichergestellt wird, dass weitere qualitativ hochwertige Lerndaten erhalten werden.
  • Das Datenerfassungssystem 3 kann auf einer Cloud installiert werden, oder es kann vor Ort installiert werden, wenn zusätzlich eine Route für die Verteilung des gelernten Modells oder die Sammlung der Lerndaten eingerichtet wird. Das von der Klassifizierungsergebnis Speichereinheit gespeicherte Klassifizierungsergebnis kann auch mindestens eine Klassifizierungsrichtigkeit oder einen Prozentsatz richtiger Antworten aufweisen.
  • Während die Optimalmodellempfehlungseinheit, die Klassifikationsergebnis-Anzeigeeinheit und die Etikettenkorrektur-Einheit diejenigen sind, die vom Benutzer in der Benutzerumgebung bestätigt und bedient werden, werden sie nicht unbedingt in der Benutzerumgebung angeordnet.
  • Im Falle einer Werkzeugmaschine dient beispielsweise ein NC-Gerät als Benutzerumgebung und ein Server über ein Netzwerk als Datenerfassungssystem. Die Serverseite führt einen Prozess aus, der auf den von der NC-Vorrichtung abgerufenen Daten basiert. Die Einheit kann für die Anzeige der verarbeiteten Informationen auf der Serverseite angeordnet werden, so dass die verarbeiteten Informationen korrigierbar sind. Umgekehrt kann die optimale Modellempfehlungseinheit, die Klassifizierungsergebnis-Anzeigeeinheit und die Etikettenkorrektureinheit auf der Seite des NC-Gerätes angeordnet werden, und es ist auch möglich, über einen Server auf einem anderen Personalcomputer (PC) o.ä. anzuzeigen und korrigierbar zu machen.
  • Andererseits ist die Benutzerumgebung nicht notwendigerweise auf der Seite der NC-Geräte angeordnet, und das Datenerfassungssystem kann sich auf jeder Seite der Benutzer- oder Herstellerseite befinden. Die Benutzerumgebung kann beispielsweise als Server (PC) dienen, der Informationen vom NC-Gerät empfängt, und das Datenerfassungssystem kann als Server (einschließlich PC, Cloud) auf der Herstellerseite dienen.
  • Die Beschreibung wurde am Beispiel des überwachten Lernens in der Ausführungsform vorgenommen, bei unüberwachtem Lernen, wie z.B. Clustering, können die von der datenübertragenden Einheit übermittelten Daten als Testdaten zur Leistungsbewertung verwendet werden, nicht als Lerndaten. Genauer gesagt können in der Ausführungsform die Lerndaten für ein Klassifizierungsmodell beim unüberwachten Lernen verwendet werden, indem die Lerndaten in der Ausführungsform als Testdaten gelesen werden.
  • Es wird ausdrücklich erklärt, dass alle in der Beschreibung und/oder den Ansprüchen offenbarten Merkmalen sowohl zum Zweck der ursprünglichen Offenbarung als auch zum Zweck der Einschränkung der beanspruchten Erfindung unabhängig von der Zusammensetzung der Merkmale in den Ausführungsformen und/oder den Ansprüchen getrennt und unabhängig voneinander offenbart werden sollen. Es wird ausdrücklich festgestellt, dass alle Wertebereiche oder Angaben von Gruppen von Einheiten jeden möglichen Zwischenwert oder jede mögliche Zwischeneinheit zum Zweck der ursprünglichen Offenbarung sowie zum Zweck der Beschränkung der beanspruchten Erfindung, insbesondere als Grenzen von Wertebereichen, offenbaren.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 6231944 [0006, 0010]
    • JP 2009282686 A [0007, 0011]
    • JP 4339769 [0008, 0012]
    • JP 6358401 [0009, 0013]

Claims (4)

  1. Ein Datenerfassungssystem (3) für maschinelles Lernen, das Lern- oder Testdaten eines Klassifizierungsmodells sammelt, das eine Klasse durch maschinelles Lernen klassifiziert, wobei das Datenerfassungssystem (3) umfasst: eine Klassifizierungsmodell-Speichereinheit (22), die eine Vielzahl von gelernten Klassifizierungsmodellen lokalisiert, die in einer Benutzerumgebung (2) verwendet werden sollen; eine Modellabgabeeinheit (26), die das Klassifizierungsmodell an die Benutzerumgebung (2) abgibt; eine Klassifizierungsergebnis-Speichereinheit (23), die jedes der Klassifizierungsmodelle auf der Klassifizierungsmodell-Speichereinheit (22) unter Verwendung von Daten mit einem Etikett, die von der Benutzerumgebung (2) übertragen werden, als eine Eingabe klassifiziert, wobei die Klassifizierungsergebnis-Speichereinheit (23) ein Klassifizierungsergebnis speichert, das mindestens eine Klassifizierungsrichtigkeit oder einen Prozentsatz richtiger Antworten für jede der Eingabedaten enthält; eine Optimalmodell-Empfehlungseinheit (21), die ein geeignetes Klassifizierungsmodell für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle darstellt; und eine Lerndaten-Aufzeichnungseinheit (28), die die Eingabedaten als Lern- oder Testdaten des Klassifizierungsmodells aufzeichnet.
  2. Das Datenerfassungssystem (3) für maschinelles Lernen nach Anspruch 1, ferner umfassend: eine Einheit (27) zur Ermittlung der Präsenz der Anwendung des Empfehlungsmodells, die erkennt, ob das von der Optimalmodell-Empfehlungseinheit (21) präsentierte Klassifizierungsmodell in der Benutzerumgebung (2) angewendet wird oder nicht, wobei Wenn die Einheit zur Ermittlung der Präsenz der Anwendung des Empfehlungsmodells (27) ermittelt hat, dass das Klassifizierungsmodell, das von der Optimalmodell-Empfehlungseinheit (21) vorgestellt wird, verwendet wird, werden die Eingabedaten in der Lerndaten-Aufzeichnungseinheit (28) aufgezeichnet.
  3. Das Datenerfassungssystem (3) für maschinelles Lernen nach Anspruch 1 oder 2, wobei während die Klassifizierungsergebnis-Speichereinheit (23) die Klassifizierungskorrektheit für jede der Eingabedaten als ein Klassifizierungsergebnis speichert, das Datenerfassungssystem (3) ferner umfasst: eine Klassifizierungsergebnis-Anzeigeeinheit (24), die die Klassifizierungskorrektheit einem Benutzer präsentiert; und eine Etiketten-Korrektureinheit (25), die ein Etikett der Eingabedaten korrigiert, wobei Eingabedaten, auf denen das Korrekturergebnis der Etiketten-Korrektureinheit (25) reflektiert wird, in der Lerndaten-Aufzeichnungseinheit (28) aufgezeichnet werden.
  4. Ein Datenerfassungsverfahren für maschinelles Lernen, das Lern- oder Testdaten eines Klassifizierungsmodells sammelt, das eine Klasse durch maschinelles Lernen klassifiziert, wobei das Datenerfassungsverfahren umfasst: einen Datenklassifizierungsschritt zum Klassifizieren jedes einer Vielzahl von aufgezeichneten, gelernten Klassifizierungsmodellen unter Verwendung von Daten mit einem Etikett, die von einer Benutzerumgebung (2) als Eingabedaten übertragen werden; einen Optimalmodell-Empfehlungsschritt zur Präsentation eines geeigneten Klassifizierungsmodells für die Eingabedaten auf der Grundlage des Klassifizierungsergebnisses für jedes der Klassifizierungsmodelle; und einen Lerndatenaufzeichnungsschritt zur Aufzeichnung der Eingabedaten als Lern- oder Testdaten des Klassifizierungsmodells.
DE102020206584.5A 2019-05-28 2020-05-27 Datenerfassungssystem für maschinelles Lernen und ein Verfahren zum Sammeln von Daten Pending DE102020206584A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019099605A JP7297532B2 (ja) 2019-05-28 2019-05-28 機械学習用データ収集システム及びデータ収集方法
JP2019-099605 2019-05-28

Publications (1)

Publication Number Publication Date
DE102020206584A1 true DE102020206584A1 (de) 2020-12-03

Family

ID=73264695

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020206584.5A Pending DE102020206584A1 (de) 2019-05-28 2020-05-27 Datenerfassungssystem für maschinelles Lernen und ein Verfahren zum Sammeln von Daten

Country Status (4)

Country Link
US (1) US11954566B2 (de)
JP (1) JP7297532B2 (de)
CN (1) CN112016694A (de)
DE (1) DE102020206584A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4339769B2 (ja) 2004-09-17 2009-10-07 キヤノンItソリューションズ株式会社 予測モデル選択装置及び予測モデル選択方法並びにプログラム
JP2009282686A (ja) 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
US20120284212A1 (en) * 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Accuracy Assessment
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
JP6231944B2 (ja) 2014-06-04 2017-11-15 日本電信電話株式会社 学習モデル作成装置、判定システムおよび学習モデル作成方法
US20160358099A1 (en) * 2015-06-04 2016-12-08 The Boeing Company Advanced analytical infrastructure for machine learning
JP6358401B1 (ja) 2016-09-13 2018-07-18 富士電機株式会社 アラーム予測装置、アラーム予測方法、及びプログラム
JP7097195B2 (ja) * 2017-03-14 2022-07-07 オムロン株式会社 学習結果識別装置、学習結果識別方法、及びそのプログラム
US11170007B2 (en) * 2019-04-11 2021-11-09 International Business Machines Corporation Headstart for data scientists

Also Published As

Publication number Publication date
JP2020194355A (ja) 2020-12-03
CN112016694A (zh) 2020-12-01
JP7297532B2 (ja) 2023-06-26
US20200380414A1 (en) 2020-12-03
US11954566B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
DE10306294B4 (de) Evaluierung von Benutzerfreundlichkeitskenngrößen für ein Dialog-Anzeigegerät
DE4403496B4 (de) Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen
DE102012208537B4 (de) Verfahren zum Identifizieren einer Grundursache eines Fehlers in einem gewarteten Fahrzeug und zum Durchführen von Korrekturhandlungen
DE4403497B4 (de) Verfahren und Vorrichtung zur Verarbeitung von Antworten zu Testfragen
DE3902488C2 (de) Lastverteilungsverfahren zum Betreiben eines dezentralen Datenverarbeitungssystems
DE102018128158A1 (de) Vorrichtung zur inspektion des erscheinungsbilds
DE4403495A1 (de) Mehrfachtestpostenbewertungssystem
DE102008012843A1 (de) Unternehmensdatenmanagement
DE112017006733T5 (de) Fehlerfaktor-Schätzvorrichtung und Fehlerfaktor-Schätzverfahren
DE112016006545T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Informationsverarbeitungprogramm
DE2850112A1 (de) Vorrichtung zur herstellung von abschnitten aus einem laufenden materialstreifen unter gleichzeitiger pruefung auf materialfehler
DE112020000004T5 (de) Informationsbereitstellungssystem und Informationsbereitstellungsverfahren
DE112020000003T5 (de) Informationsbereitstellungssystem und Informationsbereitstellungsverfahren
EP2854045B1 (de) Verfahren und System zum Bewerten von erhobenen Messwerten eines Systems
DE102018215590A1 (de) Halbleitervorrichtungssortiersystem und Halbleitervorrichtung
DE102019123801A1 (de) Prüfvorrichtung und Maschinenlernverfahren
DE102011086352A1 (de) Verfahren und Diagnosesystem zur Unterstützung der geführten Fehlersuche in technischen Systemen
DE102009027267A1 (de) Verfahren und Vorrichtung zur vereinfachten Fehlerverarbeitung an einer Werkzeugmaschine
DE10306304B4 (de) Vorrichtung zur Unterstützung der Benutzerfreundlichkeits-Evaluierung
DE60217729T2 (de) Verfahren zum erkennen eines elektronischen geräts in einem mehrfachsteuersystem
DE102020206584A1 (de) Datenerfassungssystem für maschinelles Lernen und ein Verfahren zum Sammeln von Daten
DE60208415T2 (de) Verfahren zur optimierung von testdaten
EP3340250B1 (de) Bauteilidentifikation bei der fehlerbehandlung von medizinischen geräten
DE112018005455T5 (de) Vorrichtung zur unterstützung der gesundheitsvorsorge, verfahren und programm
WO2023156504A1 (de) Verfahren zur erkennung von anomalien in daten