DE112021002434T5

DE112021002434T5 - Computerprogramm, Verfahren und Gerät zum Erzeugen eines virtuellen Fehlerbildes unter Verwendung eines basierend auf einer Benutzereingabe erzeugten Modells der künstlichen Intelligenz

Info

Publication number: DE112021002434T5
Application number: DE112021002434.5T
Authority: DE
Inventors: Byung Heon Kim; Jin Kyu Kim
Original assignee: Saige Res Inc; Saige Research Inc
Current assignee: Saige Res Inc; Saige Research Inc
Priority date: 2020-04-20
Filing date: 2021-04-13
Publication date: 2023-02-16
Also published as: CN113538631A; KR102430090B1; KR20210129775A; WO2021215730A1; US20230143738A1; JP2023515520A; JP7393833B2

Abstract

Die vorliegende Erfindung stellt ein Verfahren zum Betreiben eines elektronischen Geräts bereit, wobei das Verfahren folgende Schritte umfasst: Lernen eines virtuellen Fehlerbild-Erzeugungsmodells basierend mindestens auf einem ersten normalen Bild und einem Fehlerbild für ein erstes Produkt, und einer Benutzereingabe; und Erzeugen eines virtuellen Fehlerbildes aus einem zweiten normalen Bild für ein zweites Produkt unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells.

Description

Technisches Gebiet der Technik
Ausführungsformen der vorliegenden Erfindung beziehen sich auf ein Computerprogramm, ein Verfahren, und ein Gerät zum Erzeugen eines virtuellen Fehlerbildes unter Verwendung eines basierend auf einer Benutzereingabe erzeugten des Modells der künstlichen Intelligenz.
Stand der Technik
Im Allgemeinen ist es erforderlich, die im Werk hergestellten Produkte auf Fehler zu untersuchen. In letzter Zeit werden Mühe gegeben, um Kosten zu reduzieren, wie z. B. die Automatisierung von Produktionslinien, und dementsprechend nimmt auch das Interesse an der Automatisierung der Qualitätsprüfung von Produkten zu. Beispielsweise entwickelt sich die Technologie des maschinelles Sehens (machine vision), bei der die Computervision auf Maschinen, Roboter, Prozessoren oder die Qualitätskontrolle angewendet wird, schnell weiter.
Herkömmliches maschinelles Sehen verwendet keine künstliche Intelligenz, sondern verwendet einen Vorlagenabgleich (template matching) einschließlich der Technologie zum Extrahieren einfach einer Standardvorage auf einem Bild eines Produktes (z. B. einem Foto) oder zum Vergleichen mit einer Vorlage. Beim herkömmlichen maschinellen Sehen wird beispielsweise Pixelwerte eines Referenzbildes mit Pixelwerten eines Produktbildes vergleicht und eine Regel für einen Fehler algorithmisiert, wenn die Pixelwertdifferenz in einem gewissen Bereich liegt, oder die Länge einer bestimmten Teil des Produktbildes gemessen und eine Regel für einen Fehler algorithmisiert, wenn die Länge innerhalb eines bestimmten Bereichs liegt. Das heißt, im Fall von maschinellem Sehen, das keine künstliche Intelligenz verwendet, ist es sehr umständlich, die gesamte Anzahl von Fehlern zu algorithmisieren, und es ist schwierig, atypische Fehler ohne Regeln (d. h. Fehler, für die keine Regeln festgelegt werden können) zu erkennen.
Andererseits nimmt mit der jüngsten Entwicklung der Technologie der künstlichen Intelligenz das Interesse an einer Technologie zu, die künstliche Intelligenz auf das maschinelle Sehen anwendet und atypische Fehler identifiziert, die nicht durch Regeln bestimmt werden können.
Beschreibung der Erfindung
Technische Aufgabe
Wenn, wie oben beschrieben, ein Modell der künstlichen Intelligenz, welches Fehler eines Produkts erkennt, trainiert werden soll, sind für die Lerndaten mehrere Produktbilder (z. B. Fotos) mit Fehlern erforderlich. Je mehr Lerndaten beispielsweise vorhanden sind, desto besser kann die Leistung des Modells der künstlichen Intelligenz zur Fehlererkennung sein.
Im Fall einer allgemeinen Produktionslinie ist es jedoch ziemlich schwierig, eine große Anzahl fehlerhafter Produktbilder (im Folgenden „Fehlerbilder“) zu erhalten. Da die Anzahl von Fehlerbildern am Anfang der Produktionslinie extrem gering ist, ist es insbesondere nicht möglich, ein sinnvolles Modells der künstlichen Intelligenz zur Fehlererkennung zu trainieren, und so kann es sein, dass das Modell der künstlichen Intelligenz in der Anfangsphase der Produktion möglicherweise nicht verfügbar ist.
Wenn andererseits Lerndaten durch geringfügiges Veränderung einer kleinen Anzahl von Fehlerbildern (d.h. tatsächlichen Fehlerbildern) erhöht werden, ist es unmöglich, ein neues Fehlerbild zu erzeugen, das überhaupt nicht existierte, weil es um ein Verfahren zum Modifizieren von vorhandenen Fehlerbilder geht. Außerdem ist es sehr schwierig, ein Produktbild mit einem neuen, nicht-existierenden Fehler zu erstellen, da keine Regel für charakteristische Fehler oder komplizierte Fehler formuliert werden kann, die je nach Produkt auftreten können.
Die vorliegende Erfindung wurde entwickelt, um die obigen Probleme zu verbessern, und eine Aufgabe der vorliegenden Erfindung ist es, ein Computerprogramm, ein Verfahren und eine Vorrichtung zum Erzeugen eines virtuellen Fehlerbildes unter Verwendung eines basierend auf einer Benutzereingabe erzeugten Modells der künstlichen Intelligenz bereitzustellen.
Diese Probleme sind jedoch beispielhaft, und der Umfang der vorliegenden Erfindung ist nicht darauf beschränkt.
Technische Lösung
Bei dem Verfahren zum Betreiben eines elektronischen Geräts gemäß einer Ausführungsform der vorliegenden Erfindung kann das Verfahren zum Erzeugen eines virtuellen Fehlerbildes folgende umfassen: Lernen eines virtuellen Fehlerbild-Erzeugungsmodells basierend mindestens auf einem ersten normalen Bild und einem Fehlerbild für ein erstes Produkt, und einer Benutzereingabe; und Erzeugen eines virtuellen Fehlerbildes aus einem zweiten normalen Bild für ein zweites Produkt unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells. Das Erzeugens des virtuellen Fehlerbildes kann das Erzeugen des virtuellen Fehlerbildes durch das virtuelle Fehlerbild-Erzeugungsmodell unter Verwendung einer Information über einen Fehlerbereich einer voreingestellten Form; und Erzeugen des virtuellen Fehlerbildes durch das virtuelle Fehlerbild-Erzeugungsmodell unter Verwendung einer Manuell-Bereichsinformation, die auf einer Eingabe basiert, durch welcher der Benutzer einen Bereich sich selbst zeichnet, in dem ein virtueller Fehler zu erzeugen ist.
Gemäß einer Ausführungsform können das erste Produkt und das zweite Produkt vollständig vom gleichen Typ sein oder den gleichen Typ, aber unterschiedliche Standards oder Versionen haben.
Gemäß einer Ausführungsform können das erste normale Bild und das zweite normale Bild gleich oder voneinander verschieden sein.
Gemäß einer Ausführungsform kann das Lernen des virtuellen Fehlerbild-Erzeugungsmodells das Festlegen möglicher Fehlertypen für das erste Produkt umfassen.
Gemäß einer Ausführungsform kann das Erzeugen des virtuellen Fehlerbildes Empfangen, basierend auf einer Benutzereingabe, einer Information über einen Fehlerbereich, in dem jeweiliger der mindestens einigen der Fehlertypen in Bezug auf mindestens einige der festgelegten Fehlertypen auftreten kann.
Gemäß einer Ausführungsform kann das Lernens des virtuellen Fehlerbild-Erzeugungsmodells folgende Schritte umfassen: Durchführen eines Sammelns und einer Vorverarbeitung einer Datenbank basierend auf einem ersten normalen Bild und einem Fehlerbild für mehrere unterschiedliche Versionen von Produkten, einschließlich des ersten Produkts; und Lernen des virtuellen Fehlerbild-Erzeugungsmodells durch Auswählen nur einiger Produkte aus den Produkten der Vielzahl unterschiedlicher Versionen.
Ein Computerprogramm gemäß einer Ausführungsform der vorliegenden Erfindung kann in einem computerlesbaren Speichermedium gespeichert werden, um die oben beschriebene Betriebe unter Verwendung eines Computers auszuführen.
Ein nichtflüchtiges (non-transitory) computerlesbares Speichermedium gemäß einer Ausführungsform der vorliegenden Erfindung kann ein oder mehrere Programme zum Ausführen der oben beschriebenen Betriebe speichern.
Andere Aspekte, Merkmale und Vorteile als die oben beschriebenen werden aus den folgenden Zeichnungen, Patentansprüchen und der ausführlichen Beschreibung der Erfindung ersichtlich.
Wirkung der Erfindung
Gemäß dem Gerät, dem Verfahren, und dem Computerprogramm gemäß einer Ausführungsform der vorliegenden Erfindung, die wie oben beschrieben hergestellt wurden, kann ein virtuelles Fehlerbild-Erzeugungsmodell für verschiedene Arten von Produkten gemäß den Bedürfnissen des Benutzers, basierend auf einer Benutzereingabe gelernt werden, und unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodell kann ein virtuelles Fehlerbild des Produkts nach den Bedürfnissen des Benutzers erzeugt werden.
Außerdem kann ein virtuelles Fehlerbild mit einem neuen Fehler aus einem normalen Bild neu erzeugt werden, anstatt ein bestehendes Fehlerbild zu verändern.
Zusätzlich können verschiedene Arten von Fehlern durch einmaligen Lernen erzeugt werden.
Außerdem kann mit einem einmaligen Lernen, das basierend auf einer Benutzereingabe durchgeführt wird, ein einziges virtuelles Fehlerbild-Erzeugungsmodell trainiert werden, durch welchem sowohl ein virtuelles Fehlerbild in einem automatischen Modus als auch in einem manuellen Modus erzeugt werden kann.
Außerdem können Produkte der gleichen Art, aber mit unterschiedlichen detaillierten Eigenschaften in einem Projekt gesammelt und gleichzeitig auf einmal gelernt werden.
Außerdem können, gemäß der Vorrichtung, dem Verfahren, und dem Computerprogramm gemäß einer Ausführungsform der vorliegenden Erfindung eine Vielzahl von Modellen basierend auf einer Benutzereingabe gelernt trainiert werden, die aus einer Vielzahl von Produkten oder einer Vielzahl von Fehlertypen nur diejenigen auswählt, die zum Lernen verwendet werden sollen.
Natürlich ist der Umfang der vorliegenden Erfindung nicht durch diese Wirkungen beschränkt.
Figurenliste

1 zeigt ein Beispiel einer funktionellen Konfiguration eines elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
2 zeigt ein Beispiel eines Gesamtvorgangs S10 einschließlich eines virtuellen Fehlerbild-Erzeugungsvorgangs und dessen Anwendungsfällen gemäß einer Ausführungsform der vorliegenden Erfindung.
3 zeigt ein Beispiel einer funktionellen Konfiguration eines Programs 16 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
4 zeigt ein Beispiel eines Betriebs eines Erzeugungsmoduls 22 in einem automatischen Modus und einem manuellen Modus gemäß einer Ausführungsform der vorliegenden Erfindung.
5 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
6 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung.
7 zeigt ein Beispiel eines Bildschirms A7 des Programs 16 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
8 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Errichten einer Datenbank zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung.
9 zeigt ein Beispiel für eine oder mehrere Versionen eines Produkts.
10 bis 12 zeigen Beispiele von Bildschirmen zum Errichten einer Datenbank gemäß einer Ausführungsform der vorliegenden Erfindung.
13 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10, das zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells eine Datenbank vorverarbeitet, gemäß einer Ausführungsform der vorliegenden Erfindung.
14 bis 18 zeigen Beispiele von Bildschirmen des elektronischen Geräts 10 zum Durchführen einer Vorverarbeitung gemäß einer Ausführungsform der vorliegenden Erfindung.
19 zeigt ein Beispiel eines Bildschirms A19 zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung.
20 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
21 bis 26 zeigen Beispiele von Bildschirmen des elektronischen Geräts 10 zum Erzeugen in einem automatischen Modus, gemäß einer Ausführungsform der vorliegenden Erfindung.
27 zeigt ein Beispiel von in einem automatischen Modus erzeugten virtuellen Fehlerbildern.
28 bis 30 zeigen Beispiele von Bildschirmen zum Erzeugen in einem manuellen Modus, gemäß einer Ausführungsform der vorliegenden Erfindung.
31 zeigt ein Beispiel von in einem manuellen Modus erzeugten virtuellen Fehlerbildern.
32 bis 34 zeigen Beispiele für einen Fall, in dem die Erzeugung in einem automatischen Modus nützlich ist, und einen Fall, in dem die Erzeugung in einem manuellen Modus nützlich ist, wenn ein virtuelles Fehlerbild gemäß einer Ausführungsform der vorliegenden Erfindung zu erzeugen ist.

Beschreibung der Ausführungsformen
Da die vorliegende Erfindung verschiedene Änderungen zulässt und verschiedene Ausführungsformen haben kann, werden bestimmte Ausführungsformen in den Zeichnungen dargestellt und in der Beschreibung ausführlich beschrieben. Die Wirkungen und Merkmale der vorliegenden Erfindung und Verfahren zur Erzielung derselben werden unter Bezugnahme auf der Beschreibung ersichtlich, die später näher unter Bezugnahme auf die Zeichnungen beschrieben werden. Die vorliegende Erfindung ist jedoch nicht auf die folgenden Ausführungsformen beschränkt, und kann in verschiedenen Formen verwirklicht werden.
Im Folgenden werden Ausführungsformen näher unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, und wenn sie unter Bezugnahme auf die Zeichnungen beschrieben werden, werden gleiche oder entsprechende Komponenten mit der gleichen Bezugszeichen versehen, und überlappende Beschreibungen davon werden weggelassen.
In den folgenden Ausführungsformen werden die Begriffe wie „erste,“ „zweite“ usw. verwendet, um verschiedene Bestandteile zu beschreiben, und solche Bestandteile sollten nicht auf die obigen Begriffe beschränkt werden. Diese Begriffe sind nur verwendet, um einen Bestandteil von einem anderen zu unterscheiden.
In den folgenden Ausführungsformen umfasst ein Ausdruck von Singular einen Ausdruck von Plural, sofern der Kontext nicht eindeutig etwas anderes anzeigt.
In den folgenden Ausführungsformen bedeuten die Begriffe wie „umfassen“ oder „haben“, dass die in der Beschreibung beschriebenen Merkmale oder Bestandteile vorhanden sind, und die Möglichkeit, ein oder mehrere andere Merkmale oder Bestandteile hinzuzufügen, ist nicht im Voraus ausgescholossen.
In den Zeichnungen kann die Größe der Komponenten zur Vereinfachung der Beschreibung übertrieben oder reduziert sein. Beispielsweise sind die Größe und Dicke jeder der in den Zeichnungen gezeigten Komponente zur Vereinfachung der Beschreibung willkürlich gezeigt, und daher ist die vorliegende Erfindung nicht notwendigerweise auf das beschränkt, was gezeigt ist.
Wenn in den folgenden Ausführungsformen ein Bereich, eine Komponente, ein Block oder ein Modul als verbunden bescriben wird, ist es nicht nur das gemeint, dass die Komponenten, Blöcke und Module direkt verbunden sind, sondern auch andere Komponenten, Blöcke und Module zwischen den Komponenten, Blöcken und Modulen vorhanden sein können und die Komponenten, Blöcke und Module indirekt verbunden sein können.
1 zeigt ein Beispiel einer funktionellen Konfiguration eines elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 1 kann das elektronisches Gerät 10 ein Kommunikationsmodul 11, einen Prozessor 12, eine Anzeigevorrichtung 13, eine Eingabevorrichtung 14, und einen Speicher 15 aufweisen. Der Speicher 15 kann ein Programm 16 speichern, das ein virtuelles Fehlerbild-Erzeugungsmodell lernen kann und ein virtuelles Fehlerbild aus einem normalen Bild unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells erzeugen kann.
Dementsprechend ist das elektronische Gerät 10 ein Gerät, das in der Lage ist, ein virtuelles Fehlerbild zu erzeugen, wenn der Prozessor 12 das Programm 16 ausführt. Das elektronische Gerät 10 kann beispielsweise ein tragbares Kommunikationsgerät (z. B. ein Smartphone, ein Notebook-Computer), ein Computergerät, ein Tablet-PC und dergleichen umfassen. Das elektronische Gerät 10 ist jedoch nicht auf die vorstehend erwähnten Geräte beschränkt.
Außerdem ist das elektronische Gerät 10 nicht auf die oben erwähnten Komponenten beschränkt, und andere Komponenten können zu dem elektronische Gerät 10 hinzugefügt werden oder einige Komponenten können von dem elektronischen Gerät 10 weggelassen werden.
Das Kommunikationsmodul 11 kann einen drahtgebundenen oder drahtlosen Kommunikationskanal zwischen dem elektronischen Gerät 10 und einem externen elektronischen Gerät (z. B. einem anderen elektronischen Gerät oder einem Server) einrichten und das Durchführen einer Kommunikation über den eingerichteten Kommunikationskanal unterstützen. Das Kommunikationsmodul 11 kann einen oder mehrere Kommunikationsprozessoren umfassen, die drahtgebundene Kommunikation oder drahtlose Kommunikation unterstützen und unabhängig von dem Prozessor 12 (z. B. einem Anwendungsprozessor) betrieben werden. Gemäß einer Ausführungsform kann das Kommunikationsmodul 11 ein drahtloses Kommunikationsmodul (z. B. ein Mobilfunkkommunikationsmodul, ein drahtloses Nahbereichskommunikationsmodul oder ein Kommunikationsmodul eines globalen Navigationssatellitensystems (global navigation satellite system, GNSS)) oder ein drahtgebundenes Kommunikationsmodul (z. B. ein Local Area Network (LAN)-Kommunikationsmodul oder ein Stromleitung-Kommunikationsmodul) umfassen, und unter Verwendung des darunter entsprechenden Kommunikationsmoduls über ein Nahbereichs-Kommunikationsnetzwerk (z. B. Bluetooth, WiFi Direct oder IrDA (Infrarotdaten Association)) oder ein Telekommunikationsnetzwerk (z. B. ein Mobilfunknetz, Internet, oder ein Computernetzwerk (z. B. LAN oder WAN) mit einem externen elektronischen Gerät kommunizieren. Die oben beschriebenen verschiedenen Arten von Kommunikationsmodulen 11 können als ein einziger Chip oder als separate Chips verwirklicht werden.
Zumindest ein Teil des Betriebs zum Erzeugen eines virtuellen Fehlerbildes des elektronischen Geräts 10 gemäß einer Ausführungsform der vorliegenden Erfindung kann über einen drahtlosen Kommunikationskanal mit einem Server (nicht gezeigt) durch das Kommunikationsmodul 11 durchgeführt werden. Zum Beispiel, während das elektronische Gerät 10 ein virtuelles Fehlerbild-Erzeugungsmodell basierend auf einer Benutzereingabe lernt und ein virtuelles Fehlerbild erzeugt, können Übertragung und Empfang von zumindest einigen Daten mit einem Server (nicht gezeigt) durchgeführt werden.
Der Prozessor 12 kann beispielsweise durch Ausführen von Software (z. B. Programm 16) auf mindestens einer anderen Komponente (z. B. Hardware- oder Softwarekomponente) des mit dem Prozessor 12 verbundenen elektronischen Geräts 10 verschiedene Datenverarbeitungen steuern und Berechnung durchführen. Der Prozessor 12 kann von anderen Komponenten (z. B. Eingabevorrichtung 14) empfangene Befehle oder Daten in den Speicher 15 (z. B. flüchtigen Speicher) laden und dieselbe verarbeiten und die resultierenden Daten im Speicher 15 (z. B. nichtflüchtigen Speicher) speichern.
Der Speicher 15 kann verschiedene Daten, die von mindestens einer Komponente des elektronischen Geräts 10 (z. B. dem Prozessor 12) verwendet werden, beispielsweise Software (z. B. das Programm 16) und Eingabedaten oder Ausgabedaten über damit verbundene Befehle speichern. Der Speicher 15 kann einen flüchtigen Speicher oder einen nichtflüchtigen Speicher umfassen.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann der Speicher 15 das Programm 16 speichern, das ein virtuelles Fehlerbild-Erzeugungsmodell basierend mindestens auf einer Benutzereingabe lernen kann und ein virtuelles Fehlerbild durch das erlernte virtuelle Fehlerbild-Erzeugungsmodell erzeugen kann.
Das Programm 16 ist eine Software, die im Speicher 15 gespeichert ist, und das Programm 16 kann ein oder mehrere Programme umfassen. Beispielsweise kann das Programm 16, wie später unter Bezugnahme auf 2 und 3 beschrieben wird, mehrere Module ausweisen; zum Beispiel kann das Programm 16 Module wie ein Entwicklungsmodul 21 zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells und ein Erzeugungsmodul 22, welches unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells virtuelle Fehlerbilder erzeugt, aufweisen, und das Entwicklungsmodul 21 und das Erzeugungsmodul 22 können Untermodule aufweisen.
Die Anzeigevorrichtung 13 ist eine Vorrichtung zum visuellen Bereitstellen von Informationen für einen Benutzer des elektronischen Geräts 10 und kann beispielsweise eine Anzeige und eine Steuerschaltung zum Steuern der Anzeige umfassen. Gemäß einer Ausführungsform kann die Anzeigevorrichtung 13 eine Berührungsschaltung (touch circuitry) umfassen.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann die Anzeigevorrichtung 13 Bildschirme anzeigen, die der Ausführung des Programms 16 entsprechen. Die Anzeigevorrichtung 13 kann eine grafische Benutzerschnittstelle (graphic user interface, GUI) zum Empfangen einer Benutzereingabe, die zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells und zum Erzeugen eines virtuellen Fehlerbildes verwendet wird, anzeigen.
Die Eingabevorrichtung 14 kann einen Befehl oder Daten, die in mindestens einer Komponente (z. B. dem Prozessor 12) des elektronischen Geräts 10 verwendet werden sollen, von außerhalb des elektronischen Geräts 10 (z. B. einem Benutzer) empfangen. Die Eingabevorrichtung 14 kann beispielsweise eine Maus, eine Tastatur, einen Berührungsbildschirm, eine Schaltfläche, ein Mikrofon und dergleichen umfassen.
2 zeigt ein Beispiel des Gesamtvorgangs S10 einschließlich eines virtuellen Fehlerbild-Erzeugungsvorgangs S11 und dessen Anwendungsfällen gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 2 umfasst der Gesamtvorgang S10 gemäß einer Ausführungsform der vorliegenden Erfindung einen Vorgang S1 des Lernens eines virtuellen Fehlerbild-Erzeugungsmodells mit den Lerndaten E1, einen Vorgang S2 des Erzeugens eines virtuellen Fehlerbildes unter Verwendung eines erlernten Erzeugungsmodells E2, einen Vorgang S3 des Lernens eines Fehlererkennungsmodells unter Verwendung eines erzeugten virtuellen Fehlerbildes E3 als Lerndaten, und einen Vorgang S4 des Erfassen eines Fehlers eines Produktes unter Verwendung eines erlernten Fehlererkennungsmodells E4.
In 2 kann ein quadratischer Block beispielsweise eine Ausführung oder einen Betrieb des Prozessors 12 darstellen, und ein elliptischer Block kann beispielsweise ein Faktor (z. B. ein Faktor, ein Werkzeug, ein Modell, Daten), die bei dem Betrieb verwendet wird oder durch den Betrieb errechnet wird, darstellen.
Ein virtuelles Fehlerbild in dieser Beschreibung stellt ein virtuelles Produktbild mit einem Fehler dar, das durch Hinzufügen einer virtuellen Fehlerskizze zu einem normalen Bild eines Produkts erzeugt wurde. In dieser Beschreibung bezieht sich das virtuelle Fehlerbild-Erzeugungsmodell auf ein Modell künstlicher Intelligenz, das in der Lage ist, ein virtuelles Fehlerbild aus einem normalen Bild zu erzeugen, und kann basierend mindestens auf einer Benutzereingabe für das Programm 16 gelernt werden. In dieser Beschreibung bezieht sich das Fehlererkennungsmodell auf ein Modell der künstlichen Intelligenz, das mittels des erzeugten virtuellen Fehlerbildes als Lerndaten es erkennen kann, ob ein Produkt fehlerhaft ist. Das Fehlererkennungsmodell kann auch basierend mindestens auf einer Benutzereingabe für das Programm 16 erzeugt werden.
Das elektronische Gerät 10 (z. B. der Prozessor 12) gemäß einer Ausführungsform der vorliegenden Erfindung kann zum Beispiel den Betrieb S1 des Lernen des virtuellen Fehlerbild-Erzeugungsmodells, den Betrieb S2 des Erzeugen eines virtuellen Fehlerbildes, und den Betrieb S3 des Lernen eines Fehlererkennungsmodells durchführen. Das als Ergebnis von S3 erzeugte Fehlererkennungsmodell E4 kann beispielsweise verwendet werden, um Fehler in einem Produkt in einer tatsächlichen Produktionslinie zu erkennen (S4).
Das Programm 16 kann das Entwicklungsmodul 21, das ein virtuelles Fehlerbild-Erzeugungsmodell aus den Lerndaten E1 lernt (S1) und das virtuelles Fehlerbild-Erzeugungsmodell E2 ausgibt, und das Erzeugungsmodul 22, das ein virtuelles Fehlerbild mittles des virtuellen Fehlerbild-Erzeugungsmodells E2 erzeugt (S2) und so das virtuelles Fehlerbild E3 ausgibt, aufweisen. Zusätzlich kann das Programm 16 ferner ein Erkennungsmodul (oder Klassifizierungsmodul) (nicht gezeigt), das das Fehlererkennungsmodell aus dem ausgegebenen virtuellen Fehlerbild E3 lernt (S3) und das Fehlererkennungsmodell E4 ausgibt, umfassen. Eine ausführliche Beschreibung des Entwicklungsmoduls 21 und des Erzeugungsmoduls 22 wird später unter Bezugname auf die nachstehenden Zeichnungen beschrieben.
Gemäß einer Ausführungsform können alle der S1, S2, S3, und S4 die Vorgänge sein, die auf unterschiedlichen künstlichen Intelligenzen basieren. Beispielsweise kann ein Modell der künstlichen Intelligenz (nicht gezeigt) zum Lernen (S1) eines virtuellen Fehlerbild-Erzeugungsmodells unter Verwendung der Lerndaten E1 basierend auf einer Benutzereingabe für das Programm 16 eingebettet sein. Außerdem kann der Betrieb S2 des Erzeugens des virtuellen Fehlerbildes durch das als Ergebnis von S1 erzeugte Modell E2 der künstlichen Intelligenz durchgeführt werden. Zusätzlich kann ein Modell der künstlichen Intelligenz (nicht gezeigtes) zum Lernen (S3) des Fehlererkennungsmodells unter Verwendung des als Ergebnis von S2 erzeugten virtuellen Fehlerbildes E3 als Lerndaten in das Programm 16 eingebettet sein. Außerdem kann der Betrieb S4 zum Erfassen eines Fehlers in einem Produkt durch das als Ergebnis von S3 erzeugte Modell E4 der künstlichen Intelligenz durchgeführt werden.
Gemäß einer Ausführungsform der vorliegenden Erfindung umfasst der Vorgang S2, bei welcher das Erzeugungsmodul 22 ein virtuelles Fehlerbild erzeugt, einen Vorgang S221 zum Erzeugen in einem automatischen Modus und einen Vorgang S222 zum Erzeugen in einen manuellen Modus.
Der Vorgang S221 zum Erzeugen in einem automatischen Modus ist ein Vorgang, bei welchem ein virtuelles Fehlerbild durch ein virtuelles Fehlerbild-Erzeugungsmodell unter Verwendung eines normalen Bildes und Information über einen voreingestellten Fehlerbereich erzeugt wird.
Der Vorgang S222 zum Erzeugen in einem manuellen Modus ist ein Vorgang zum Erzeugen eines virtuellen Fehlerbildes durch das virtuelle Fehlerbild-Erzeugungsmodell E2 unter Verwendung eines normalen Bildes und Manuell-Bereichsinformation, die auf einer Eingabe der Benutzer basiert, durch welcher der Benutzer einen Bereich sich selbst zeichnet, in dem ein virtueller Fehler zu erzeugen ist.
Gemäß einer Ausführungsform können sowohl die Erzeugung im automatischen Modus (S221) als auch die Erzeugung im manuellen Modus (S222) unter Verwendung des einzigen (gleichen) virtuellen Fehlerbild-Erzeugungsmodells E2 durchgeführt werden.
Unterdessen sind die Erzeugung im automatischen Modus (S221) und die Erzeugung im manuellen Modus (S222) keine sequentiellen Vorgänge und können optionale Vorgänge sein. Dementsprechend kann gemäß einer Benutzereingabe für das Programm 16 (oder den Prozessor 12) ein virtuelles Fehlerbild im automatischen Modus unter Verwendung des einzigen (gleichen) virtuellen Fehlerbild-Erzeugungsmodells E2 erzeugt werden, oder es ist auch möglich, ein virtuelles Fehlerbild im manuellen Modus zu erzeugen. Natürlich ist es auch möglich, ein virtuelles Fehlerbild im automatischen Modus zu erzeugen und speichern, ein virtuelles Fehlerbild im manuellen Modus zu erzeugen und speichern, und das Fehlererkennungsmodell unter Verwendung sowohl der im automatischen Modus als auch im manuellen Modus erzeugten virtuellen Fehlerbilder zu lernen (S3).
3 zeigt ein Beispiel einer funktionellen Konfiguration des Programs 16 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 3 kann das Programm 16 das Entwicklungsmodul 21 und das Erzeugungsmodul 22 umfassen. Wie oben bezüglich auf 2 beschrieben, kann das Entwicklungsmodul 21 ein virtuelles Fehlerbild-Erzeugungsmodell lernen (oder entwickeln), und das Erzeugungsmodul 22 kann unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmoduls ein virtuelles Fehlerbild erzeugen. Obwohl es nicht gezeigt ist, kann das Programm 16 ferner ein Erkennungsmodul (oder Klassifizierungsmodul) umfassen, das ein Fehlererkennungsmodell unter Verwendung des erzeugten virtuellen Fehlerbildes lernen kann.
Das Entwicklungsmodul 21 und das Erzeugungsmodul 22 können einen Betrieb basierend auf einer Benutzereingabe durchführen. Beispielsweise können das Entwicklungsmodul 21 und das Erzeugungsmodul 22 basierend auf einer Benutzereingabe einen voreingestellten Betrieb oder einen vorgespeicherten (z. B. programmierten) Betrieb durchführen. Da das Entwicklungsmodul 21 und das Erzeugungsmodul 22 basierend auf einer Benutzereingabe arbeiten, kann das Programm 16 gemäß den Bedürfnissen des Benutzers verwendet werden (z. B. für verschiedene Arten von Produkten) verwendet werden, und das Programm 16 kann auf verschiedenen Gebieten verwendet werden, und nicht auf einem bestimmten Gebiet.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann das Entwicklungsmodul 21 ein Datenbankmodul 211, ein Vorverarbeitungsmodul 212, und ein Trainingsmodul 213 umfassen. Dies ist jedoch nur ein Beispiel, und zumindest einige der Funktionen jeweiliges Moduls können integriert aufgebaut werden, oder jeweiliges Modul kann ferner Untermodule aufweisen.
Das Datenbankmodul 211 kann eine Datenbank sammeln und speichern (oder vorübergehend speichern), um eine Datenbank zum Lernen eines virtuelle Fehlerbild-Erzeugungsmodells aufzubauen.
Das Datenbankmodul 211 kann beispielsweise Identifikationsinformation (z. B. Name) eines Produkts als die Datenbank empfangen und speichern, ein oder mehrere normale Bilder und Fehlerbilder laden, um ein virtuelles Fehlerbild-Erzeugungsmodell zu lernen, und kann eine Information über die Fehlertypen empfangen und speichern. Außerdem kann das Datenbankmodul 211 einen Fehlertyp in Bezug auf das geladene normale Bild und das Fehlerbild kennzeichnen.
Ein normales Bild in dieser Beschreibung bedeutet ein Bild des tatsächlichen Produkts, das als normal beurteilt ist. In dieser Beschreibung bezieht sich ein Fehlerbild auf ein Bild eines tatsächlichen Produkts, von dem festgestellt wurde, dass es einen Fehler aufweist. In dieser Beschreibung bezieht sich ein Fehlertyp auf dem Typ eines Fehlers, den ein Produkt haben kann, und kann durch eine Benutzereingabe aufgelistet werden. Zum Beispiel kann das Programm 16 (oder der Prozessor 12) Fehlertypen von einem Benutzer als Eingabe empfangen und dieselbe auflisten, und kann zum Beispiel Fehlertypinformationen speichern. Fehlertypen können auf verschiedene Weise vorliegen, zum Beispiel als eine Delle, einen Kratzer, Fremdmaterial (z. B. Flecken oder Verunreinigungen), Fremdmaterial mit einer bestimmten Farbe und dergleichen.
Eine eingehende Beschreibung des Betriebs des Datenbankmoduls 211 wird später unter Bezugnahme auf 8 und die danach folgenden Zeichnungen beschrieben.
Das Vorverarbeitungsmodul 212 kann eine Vorverarbeitung an die gesammelte Datenbank durchführen, um das virtuelle Fehlerbild-Erzeugungsmodell zu lernen.
Das Vorverarbeitungsmodul 212 kann als Vorverarbeitung zum Beispiel ein repräsentatives Bild aus dem einen oder mehreren geladenen normalen Bildern bestimmen, das geladene eine oder mehrere normalen Bilder und Fehlerbilder bezüglich dem repräsentativen Bild ausrichten, und die Information über einen Fehlerbereich, wo auf dem repräsentativen Bild jeweiliger Fehlertyp auftreten kann, als Eingabe empfangen und dieselbe speichern.
Eine eingehende Beschreibung des Betriebs des Vorverarbeitungsmoduls 212 wird später unter Bezugnahme auf 13 und die danach folgenden Zeichnungen beschrieben.
Das Trainingsmodul 213 kann ein virtuelles Fehlerbild-Erzeugungsmodell basierend auf der Datenbank und der obigen Vorverarbeitung lernen (oder trainieren). Das Trainingsmodul 213 kann das Lernen oder Trainieren beispielsweise unter Verwendung des ausgerichteten einen oder mehreren normalen Bilder und Fehlerbilder, Information über die Kennzeichnung, und Information über den Fehlerbereich durchführen.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann das Erzeugungsmodul 22 ein Automatikmodus-Modul 221 und ein Manuellmodus-Modul 222 umfassen. Dies ist jedoch nur ein Beispiel, und zumindest einige der Funktionen jeweiliges Moduls können integriert aufgebaut werden, oder jedes Modul kann ferner Untermodule aufweisen.
Gemäß einer Ausführungsform können das Automatikmodus-Modul 221 und das Manuellmodus-Modul 222 sich voneinander nur funktional unterscheiden (oder sich voneinander in Modi oder Algorithmen unterscheiden). Gemäß einer Ausführungsform können sowohl der Betrieb der Erzeugung im automatischen Modus S221 als auch der Betrieb der Erzeugung im manuelle Modus S222 unter Verwendung eines durch das Entwicklungsmodul 21 erzeugten, virtuellen Fehlerbild-Erzeugungsmodells durchgeführt warden. Zum Beispiel kann im Automatikmodus der Betrieb der Erzeugung im automatischen Modus S221 ferner unter Verwendung eines im Entwicklungsmodul 21 gespeicherten Skizzenerzeugers 223 (siehe 4) durchgeführt werden.
Gemäß einer Ausführungsform kann das Erzeugungsmodul 22 durch das Automatikmodus-Modul 221 unter Verwendung eines normalen Bildes, Information über einen voreingestellten Fehlerbereich, und des von dem Entwicklungsmodul 21 ausgegebenen virtuelles Fehlerbild-erzeugungsmodell E2 ein virtuelles Fehlerbild erzeugen.
Außerdem kann das Erzeugungsmodul 22 durch das Manuellmodus-Modul 222 mittels eines normalen Bild, einer Eingabe, durch welcher der Benutzer einen Bereich sich selbst zeichnet, in dem ein virtueller Fehler zu erzeugen ist, und des virtuellen Fehlerbild-Erzeugungsmodells E2 ein virtuelles Fehlerbild erzeugen.
Ein in dem Erzeugungsmodul 22 verwendetes zweites normales Bild kann gleich oder verschieden von dem in dem Entwicklungsmodul 21 verwendeten ersten normalen Bild sein. Dies wird später bezüglich 5 und der danach folgenden Beschreibung ausführlich beschrieben.
Eine eingehende Beschreibung eines Beispiels jedes Betriebs des Erzeugungsmoduls 22 in dem automatischen Modus und dem manuellen Modus wird später unter Bezugnahme auf 4 gegeben.
4 zeigt ein Beispiel des Betriebs des Erzeugungsmoduls 22 in einem automatischen Modus und einem manuellen Modus gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 4 kann das Erzeugungsmodul 22 in einem automatischen Modus oder einem manuellen Modus arbeiten. Der automatische Modus und der manuelle Modus sind keine sequentiellen Vorgänge, sondern optionale Vorgänge. Dementsprechend kann gemäß einer Benutzereingabe für das Programm 16 (oder den Prozessor 12) ein virtuelles Fehlerbild VDI in einem automatischen Modus unter Verwendung eines virtuellen Fehlerbild-Erzeugungsmodells erzeugt werden, oder es ist auch möglich, ein virtuelles Fehlerbild VDI im manuellen Modus zu erzeugen. Natürlich kann auch ein virtuelles Fehlerbild VDI im manuellen Modus erzeugt und gespeichert werden, und ein virtuelles Fehlerbild VDI im automatischen Modus erzeugt und gespeichert werden, und dann kann ein Fehlererkennungsmodell unter Verwendung aller erzeugten virtuellen Fehlerbilder VDIs gelernt werden.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein und dasselbe virtuelle Fehlerbild-Erzeugungsmodell, das im Entwicklungsmodul 21 gelernt wurde, sowohl im automatischen Modus als auch im manuellen Modus verwendet werden. Das heißt, ein virtuelles Fehlerbild-Erzeugungsmodell kann ein virtuelles Fehlerbild VDI in einem automatischen Modus erzeugen oder kann ein virtuelles Fehlerbild VDI in einem manuellen Modus erzeugen.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann der Skizzenerzeuger 223 im automatischen Modus eine virtuelle Fehlerskizze VDS1 unter Verwendung voreingestellter Fehlerbereichsinformationen und eines virtuellen Fehlerbild-Erzeugungsmodells erzeugen. Der Skizzenerzeuger 223 kann zum Beispiel eine Logik, ein Algorithmus, ein Modell der künstlichen Intelligenz, oder ein Modul sein, welche in dem Erzeugungsmodul 22 enthalten sind.
Insbesondere kann im automatischen Modus während des Schritts S2 des Erzeugen eines virtuellen Fehlerbildes ein Fehlerbereich, der für jeweiligen Fehlertyp auftreten kann, im Voraus auf eine vorbestimmte (z. B. programmierte) Form festgelegt werden. Beispielsweise kann der Benutzer im automatischen Modus einen Fehlerbereich in einer vorbestimmten Form (z. B. eine gerade Linie, eine rechteckige Umrandung, eine kreisförmige Umrandung, eine quadratische Fläche, eine kreisförmige Fläche) auf einem normalen Bild eines Produkts festlegen. Der auf diese Weise festgelegte Fehlerbereich kann als voreingestellte Fehlerbereichsinformation bezeichnet werden.
Im automatischen Modus kann das Erzeugungsmodul 22 (z. B. der Skizzenerzeuger 223) die virtuelle Fehlerskizze VDS1 unter Verwendung der voreingestellten Fehlerbereichsinformationen und des erlernten virtuellen Fehlerbild-Erzeugungsmodells erzeugen. Der Skizzenerzeuger 223 kann die virtuelle Fehlerskizze VDS1 frei oder automatisch durch das virtuelles Fehlerbild-Erzeugungsmodell innerhalb eines voreingestellten Fehlerbereichs (z. B. eine gerade Linie, eine rechteckige Umrandung, eine kreisförmige Umrandung, eine quadratische Fläche, eine kreisförmige Fläche) erzeugen.
Man kann sagen, dass die virtuelle Fehlerskizze VDS1 eine Skizze ist, in der nur ein virtueller Fehler existiert, in dem das Bild des Produkts entfernt ist. Die virtuelle Fehlerskizze VDS1 kann neben der Form auch Information über deren Lage und Information über die Fehlertypen enthalten. Ein Beispiel einer virtuellen Fehlerskizze VDS ist in 4 gezeigt.
Danach kann ein Bilderzeuger 224 ein virtuelles Fehlerbild VDI erzeugen, indem er die virtuelle Fehlerskizze VDS1 zu einem normalen Bild OI hinzufügt (z. B. durch Überlappungs- oder Zusammensetzungsverarbeitung).
Gemäß einer Ausführungsform der vorliegenden Erfindung kann das Erzeugungsmodul 22 im manuellen Modus unter Verwendung der Manuell-Bereichsinformation, die auf einer Eingabe der Benutzer basiert, durch welcher der Benutzer einen Bereich sich selbst zeichnet (d.g., skizziert), in dem ein virtueller Fehler zu erzeugen ist, und unter Verwendung des gleichen virtuelles Fehlerbild-Erzeugungsmodell wie das obige, eine virtuelle Fehlerskizze VDS2 erzeugen. Da der Benutzer im manuellen Modus direkt einen manuellen Bereich skizziert, in dem einen virtuellen Fehler zu erzeugen ist, besteht keine Notwendigkeit, wie im automatischen Modus Fehlerbereichsinformationen voreinzustellen. Daher können im manuellen Modus die Fehlerbereichsinformationen nicht verwendet werden.
Da auch im manuellen Modus die virtuelle Fehlerskizze VDS2 erzeugt wird, die dem vom Benutzer skizzierten manuellen Bereich entspricht, ist der Skizzenerzeuger 223 unnötig. Daher kann der Skizzenerzeuger 223 im manuellen Modus nicht verwendet werden.
Wenn der Benutzer einen manuellen Bereich skizziert, kann der Benutzer einen Fehlertyp bestimmen, der ein Fehlertyp ist, der in dem manuellen Bereich erzeugt werden soll. Dementsprechend können die Manuell-Bereichsinformationen beispielsweise Fehlertypeninformationen enthalten oder können mit den Fehlertypeninformationen verknüpft oder abgeglichen werden.
Im automatischen Modus kann das Erzeugungsmodul 22 die virtuelle Fehlerskizze VDS2 entsprechend den Manuell-Bereichsinformationen unter Verwendung der Manuell-Bereichsinformationen und des virtuellen Fehlerbild-Erzeugungsmodells erzeugen. Man kann sagen, dass die virtuelle Fehlerskizze VDS2 eine Skizze ist, in der nur der virtuelle Fehler existiert, in dem das Bild des Produkts entfernt ist. Die virtuelle Fehlerskizze VDS2 kann neben der Form auch Information über deren Lage und Information über die Fehlertypen enthalten.
Danach kann der Bilderzeuger 224 das virtuelle Fehlerbild VDI erzeugen, indem er die virtuelle Fehlerskizze VDS2 zu dem normalen Bild OI hinzufügt (z. B. durch Überlappungs- oder Zusammensetzungsverarbeitung). Der Betrieb des Bilderzeugers 224 kann im automatischen Modus und im manuellen Modus gemeinsam sein.
5 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung. Die Betriebe von 5 können von dem Prozessor 12 durch das Programm 16 durchgeführt werden.
Unter Bezugnahme auf 5 kann der Prozessor 12 in S21 durch das Entwicklungsmodul 21 ein virtuelles Fehlerbild-Erzeugungsmodell basierend mindestens auf dem ersten normalen Bild des Produkts, dem Fehlerbild und der Benutzereingabe lernen. In S22 kann der Prozessor 12 durch das Erzeugungsmodul 22 unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells ein virtuelles Fehlerbild aus dem zweiten normalen Bild erzeugen. In S23 kann der Prozessor 12 durch das Erzeugungsmodul 22 das erzeugte virtuelle Fehlerbild in dem Speicher 15 speichern. Das gespeicherte virtuelle Fehlerbild kann beispielsweise als Lerndaten zum Lernen eines Fehlererkennungsmodells verwendet werden.
Das erste normale Bild, das im Erzeugungsmodell-Lernschritt S21 (oder im Entwicklungsmodul 21) verwendet wird, kann gleich oder unterschiedlich von dem zweiten normalen Bild, das im virtuellen Fehlerbild-Erzeugungsschritt S22 (oder im Erzeugungsmodul 22) verwendet wird.
Beispielsweise benötigt das Entwicklungsmodul 21 in S21 das erste normale Bild des Produkts und ein Fehlerbild des Produkts, um das virtuelle Fehlerbild-Erzeugungsmodell zu lernen. Daher kann, wenn die Menge der normalen Bilder und der Fehlerbilder des Produkts bis zu einem gewissen Grad sichergestellt ist (zum Beispiel mehrere bis einige zehn oder mehr, aber nicht darauf beschränkt), ein normale Bild des Produkts im Entwicklungsmodul 21 als ein erstes normales Bild verwendet werden.
Andererseits benötigt das Erzeugungsmodul 22 in S22 das Fehlerbild nicht. Das Erzeugungsmodul 22 ist ein Modul zum neuen Erzeugen eines vollständigen virtuellen Fehlerbildes (d.h. eines virtuellen Fehlerbildes) aus einem normalen Bild (d.h. dem zweiten normalen Bild) unter Verwendung des virtuellen Fehlerbild-Erzeugungsmodells. Dementsprechend muss das in dem Erzeugungsmodul 22 verwendete zweite normale Bild nicht unbedingt gleich wie dem in dem Entwicklungsmodul 21 verwendeten ersten normalen Bild sein.
Nachfolgend bezieht sich das erste normale Bild auf ein normales Bild, das als Lerndaten in dem Erzeugungsmodell-Lernschritt S21 (oder in dem Entwicklungsmodul 21) verwendet wird. Nachfolgend bezieht sich das zweite normale Bild auf ein normales Bild, das als die Grundlage zum Erzeugen des virtuellen Fehlerbildes in dem virtuellen Fehlerbild-Erzeugungsschritt S22 (oder in dem Erzeugungsmodul 22) dient.
Gemäß einer Ausführungsform können das erste normale Bild und das zweite normale Bild identisch sein. Bei dieser Ausführungsform sind das Produkt des ersten normalen Bildes und das Produkt des zweiten normalen Bildes natürlich das gleiche Produkt.
Gemäß einer anderen Ausführungsform können ein erstes normales Bild und ein zweites normales Bild desselben Produkts verwendet werden, wobei das erste normale Bild von dem zweiten normalen Bild unterschiedlich ist. Das heißt, aus der Vielzahl von Normalbildern des gleichen Produkttyps und der gleichen Version können unterschiedliche normale Bilder als das erste normale Bild bzw. das zweite normale Bild verwendet werden.
Gemäß einer anderen Ausführungsform, wenn es ein erstes Produkt und ein zweites Produkt gibt, die im weiteren Sinne gleicher Type sind, aber unterschiedliche detaillierte Eigenschaften (z. B. Standards oder Versionen) haben, das normale Bild des ersten Produkts kann als das erste normale Bild verwendent werden, und das normale Bild des zweiten Produkts kann als zweites normales Bild verwendet werden. Wenn es erwünscht ist, ein virtuelles Fehlerbild eines zweiten Produkts ohne oder mit sehr wenigen Fehlerbildern zu erzeugen, daher wird ein virtuelles Fehlerbild-Erzeugungsmodell unter Verwendung des ersten Produkts mit ausreichenden Fehlerbildern gelernt, und dann wird unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodell ein virtuelles Fehlerbild des zweiten Produkts aus dem normalen Bild des zweiten Produkts (d.h. dem zweiten normalen Bild) erzeugt werden.
6 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung. Die Betriebe von 6 können spezifische Beispiele von S21 sein, können durch den Prozessor 12 durchgeführt werden und können durch das Entwicklungsmodul 21 des Programms 16 durchgeführt werden.
Unter Bezugnahme auf 6 kann der Prozessor 12 in S211 eine Datenbank durch das Entwicklungsmodul 21 (z. B. das Datenbankmodul 211) sammeln und speichern (oder vorübergehend speichern). Dies dient dazu, eine Datenbank zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells aufzubauen. Der Betrieb von S211 wird später näher unter Bezugnahme auf 8 und die danach folgenden Zeichnugen beschrieben.
In S212 kann der Prozessor 12 durch das Entwicklungsmodul 21 (z. B. das Vorverarbeitungsmodul 212) eine Vorverarbeitung (preprocess) an der gesammelten Datenbank durchführen. Die Vorverarbeitung ist eine Vorverarbeitung zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells. Der Betrieb von S212 wird später näher unter Bezugnahme auf 13 und die danach folgenden Zeichnugen beschrieben.
In S213 kann der Prozessor 12 durch das Entwicklungsmodul 21 (z. B. das Trainingsmodul 213) ein virtuelles Fehlerbild-Erzeugungsmodell basierend auf der Datenbank und der obigen Vorverarbeitung lernen (oder trainieren).
7 zeigt ein Beispiel eines Bildschirms A7 des Programs 16 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 7 ist es gezeigt dass, wenn das Programm 16 ausgeführt wird, kann der Prozessor 12 die Anzeigevorrichtung 13 derart steuern, dass die Anzeigevorrichtung 13 den Bildschirm A7 zur Erzeugung eines neuen Projekt für das virtuelle Fehlerbild-Erzeugungsmodell anzeigt. Der Bildschirm A7 kann ein Icon 71 zum Erzeugen eines virtuellen Fehlerbildes und ein Icon 72 zum Lernen eines Fehlererkennungsmodells unter Verwendung des erzeugten virtuellen Fehlerbildes enthalten. Beispielsweise kann der Prozessor 12 basierend auf einer Benutzereingabe für das Icon 71 zum Erzeugen eines virtuellen Fehlerbildes, ein Entwicklericon 73 zum Betreten des Entwicklungsmoduls, welches ein Untermodul des Programms 16 (oder des Prozessors 12, des Speichers 15) ist, und ein Erzeugericon 74 zum Betreten des Erzeugungsmoduls 22, welches ein weiteres Untermodul ist, anzeigen. Das Icon 72 zum Lernen des Fehlererkennungsmodells kann einem Erkennungsmodul (oder Klassifizierungsmodul) (nicht gezeigt) entsprechen.
Wenn der Prozessor 12 eine Benutzereingabe für das Entwickler-Icon 73 empfängt, kann er durch das Entwicklungsmodul 21 in den Vorgang S1 zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells eintreten. Beispielsweise kann das Entwicklungsmodul 21 ein Projekt zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells erzeugen. Durch den virtuelles Fehlerbild-Erzeugungsmodell-LernVorgang S1 in dem Projekt kann das Entwicklungsmodul 21 das erlernte virtuelle Fehlerbild-Erzeugungsmodell E2 ausgeben und speichern.
Wenn der Prozessor 12 eine Benutzereingabe für das Erzeugericon 74 empfängt, kann der Prozessor durch das Erzeugungsmodul 22 in den virtuellen Fehlerbild-ErzeugungsVorgang S2 unter Verwendung des gespeicherten virtuellen Fehlerbild-Erzeugungsmodells E2 eintreten. Beispielsweise kann das Erzeugungsmodul 22 ein Projekt zum Erzeugen eines virtuellen Fehlerbildes aus einem normalen Bild (dem zweiten normalen Bild) erzeugen. In dem Projekt kann das Erzeugungsmodul 22 ein oder mehrere virtuelle Fehlerbilder E3 erzeugen und speichern.
8 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Errichten einer Datenbank zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung. 10 bis 12 zeigen Beispiele von Bildschirmen zum Errichten einer Datenbank gemäß einer Ausführungsform der vorliegenden Erfindung.
Die Betriebe von 8 können spezifische Beispiele von S211 von 6 sein, können durch den Prozessor 12 durchgeführt werden, und können durch das Entwicklungsmodul 21 des Programms 16 (z.B. das Datenbankmodul 211) durchgeführt werden.
Unter Bezugnahme auf 8 kann der Prozessor 12 in S2111 Identifikationsinformationen (z. B. Namen) für jedes der Produkte einer oder mehrerer Versionen über das Entwicklungsmodul 21 (z. B. das Datenbankmodul 211) als Eingabe emfangen und dieselbe speichern. Hier können sich eine oder mehrere Versionen von Produkten auf ein oder mehrere Produkte beziehen, die die im weiteren Sinne gleicher Type sind, aber unterschiedliche detaillierte Eigenschaften (z. B. Standards oder Versionen) haben. Beispielsweise kann eine oder mehrere Versionen eines Produkts diejenige Produkte bedeuten, die in deren Form und Farbe und deren Typ des auftretenden Fehlers ähnlich sind.
Beispielsweise muss das Projekt das virtuelle Fehlerbild-Erzeugungsmodell nicht aus Bildern von Produkten des gleichen Typs und der gleichen Version (d.h. dem ersten normalen Bild und dem fehlerhaften Bild) lernen. Das Projekt kann ein virtuelles Fehlerbild-Erzeugungsmodell von Produkten des gleichen Typs, aber unterschiedlicher detaillerten Standards und Versionen lernen.
Dementsprechend kann der Prozessor 12 in S2111 Identifikationsinformationen für jedes der Produkte einer oder mehrerer Versionen speichern und diese voneinander unterscheiden.
Beispielsweise zeigt 9 ein Beispiel für eine oder mehrere Versionen eines Produkts. Unter Bezugnahme auf 9 kann das Projekt Bilder (d.h. ein erstes normales Bild und ein Fehlerbild) eines ersten Transistors 91, welches ein erstes Produkt ist, und Bilder eines zweiten Transistors 92, welches ein zweites Produkt ist, verwenden, um ein virtuelles Fehlerbild-Erzeugungsmodell zu lernen.
Unter Bezugnahme auf 10 stellt ein Bildschirm A10 einen Bildschirm zum Empfangen von Identifikationsinformationen (z. B. Namen) für jedes Produkt einer oder mehrerer Versionen dar. Wenn der Prozessor 12 beispielsweise eine Benutzereingabe für das Icon 101 zum Bearbeiten eines zum Lernen zu verwendenden Produkts empfängt, kann der Prozessor 12 ein Bearbeitungsfenster 102 anzeigen (z. B. überlagern), auf welchem ein oder mehrere Produkte hinzugefügt, gelöscht, die Anzeigereihenfolge der Produkten geändert oder die Identifikationsinformation (z. B. Name) der Produkte korrigiert werden können. Unter Bezugnahme auf das Bearbeitungsfenster 102 kann das erste Produkt beispielsweise eine 34-Ah-Batterie sein und das zweite Produkt kann eine 37-Ah-Batterie sein.
Gemäß einer Ausführungsform wird, wenn ein virtuelles Fehlerbild-Erzeugungsmodell durch ein Projekt unter Verwendung von Bildern von Produkten einer Vielzahl von Versionen wie oben beschrieben gelernt wird, kann die Leistung des Modells besser sein als wenn ein virtuelles Fehlerbild-Erzeugungsmodell unter Verwendung von Bildern von Produkten eines Typs und einer Version gelernt wird.
Wenn beispielsweise das normale Bild und das fehlerhafte Bild des ersten Produkts ausreichend (z. B. Dutzende oder mehr) sichergestellt sind und das normale Bild und das fehlerhafte Bild des zweiten Produkts nicht ausreichend sichergestellt sind, kann diese Funktion hilfreich sein, wenn das Fehlererkennungsmodell des zweiten Produkts zu erstellen gewünscht ist. Natürlich ist es auch möglich, das virtuelle Fehlerbild-Erzeugungsmodell nur aus den Bildern des ersten Produkts zu lernen und ein virtuelles Fehlerbild des zweiten Produkts aus dem normalen Bild des zweiten Produkts unter Verwendung des virtuellen Fehlerbild-Erzeugungsmodells zu erzeugen. Wenn jedoch beispielsweise ein Modell unter Verwendung sowohl des ersten Produkts als auch des zweiten Produkts gelernt wird, und ein virtuelles Fehlerbild des zweiten Produkts aus dem normalen Bild des zweiten Produkts unter Verwendung des Modells erzeugt wird, kann ein virtuelles, bessere Qualität habendes Fehlerbild des zweiten Produkts erhalten werden.
Gemäß einer Ausführungsform kann der Lerneffekt verbessert werden, indem mehrere Versionen von Produkten mit ähnlichen Formen, Farben und Fehlertypen zu einem Projekt hinzugefügt werden.
Andererseits kann auf den Bildschirmen A10, A11 und A12 zum Errichten einer Datenbank das die Datenbank darstellende Icon 103 hervorgehoben werden.
Unter erneuter Bezugnahme auf 8 kann der Prozessor 12 in S2112 durch das Entwicklungsmodul 21 (z. B. das Datenbankmodul 211) für jeweiliges von einer oder mehreren Versionen des Produkts ein oder mehrere erste normale Bilder und Fehlerbilder laden. Das Laden kann eine Eingabe und Speicherung basierend auf einer Benutzereingabe aufweisen. Das erste normale Bild kann sich, wie oben beschrieben, auf ein normales Bild beziehen, das zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells verwendet wird. Das normale Bild stellt ein Bild des tatsächlichen Produkts dar, das wie oben beschrieben als normal beurteilt wird. Das Fehlerbild stellt, wie oben beschrieben, ein Bild des tatsächlichen Produkts dar, von dem festgestellt wird, dass es einen Fehler aufweist.
Wenn das erste Produkt und das zweite Produkt des gleichen Typs, aber unterschiedlicher detaillierter Eigenschaften hinzugefügt werden, kann der Prozessor 12 durch das Programm 16, basierend auf einer Benutzereingabe, ein oder mehrere erste normale Bilder und Fehlerbilder für das erste Produkt als Eingable empfangen, und ein oder mehrere erste normale Bilder und Fehlerblder für das zweite Produkt als Eingabe empfangen.
Beispielsweise ist unter Bezugnahme auf 11 ein Beispiel des Bildschirms A11 zum Errichten einer Datenbank dargestellt. Unter Bezugnahme auf 11 und die danach folgenden Zeichnungen werden zur Vereinfachung der Beschreibung Bildschirme zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells unter Verwendung von nur einer Version eines Produkts (z. B. einer Leiterplatte) in einem Projekt als ein Beispiel beschrieben.
Der Bildschirm A11 kann einen Produktbereich 114 aufweisen, in dem „Leiterplatte“ als Beispiel für Produktidentifikationsinformationen angezeigt wird. Wenn ein anderes zweites Produkt als „Leiterplatte“ registriert oder hinzugefügt wird, werden Identifikationsinformationen des zweiten Produkts (z. B. Leiterplatte 2) unter „Leiterplatte“ im Produktbereich 114 angezeigt, so dass eine Produktliste angezeigt werden kann. Das zweite Produkt kann beispielsweise eine Leiterplatte sein, die andere detaillierte Eigenschaften oder Standards als die von dem ersten Produkt hat.
Der Produktbereich 114 kann ein Icon 110 enthalten, durch welches Bilder (d.h. ein oder mehrere erste normale Bilder und Fehlerbilder von Produkten) für jedes Produkt basierend auf einer Benutzereingabe laden kann. Beispielsweise kann das Icon 110 zum Laden der Bilder ein erstes Icon 111, ein zweites Icon 112, und ein drittes Icon 113 enthalten. Der Prozessor 12 kann basierend auf einer Benutzereingabe für das erste Icon 111 jeweilige Bilder laden, Bilder aus einem Ordner basierend auf einer Benutzereingabe für das zweite Icon 112 laden, und vorher gespeicherte Bilder aus dem Projekt (z. B. einem anderen Projekt) basierend auf einer Benutzereingabe für das dritte Icon 113 laden.
Die geladenen Bilder können ein oder mehrere erste normale Bilder und ein oder mehrere Fehlerbilder umfassen. Vorzugsweise können für die Lernqualität mehrere (z. B. Dutzende oder mehr) erste normale Bilder bzw. Fehlerbilder geladen werden. Jedoch kann die Menge der Vielzahl von Fehlerbildern unzureichend sein, um direkt als Lerndaten des Fehlererkennungsmodells E4 verwendet zu werden.
Der Bildschirm A11 kann einen Bildlistenbereich 115 enthalten, der eine Liste geladener Bilder oder Information über die geladenen Bilder anzeigen kann. Obwohl in 11 nicht gezeigt ist, kann auf dem Bildlistenbereich 115 eine Liste geladener Bilder angezeigt werden. Wenn beispielsweise ein anderes zweites Produkt als das „Leiterplatte“ registriert wird, kann nur eine Liste der Bilder des aktuell aktivierten Produkts im Bildlistenbereich 115 angezeigt werden. Das aktuell aktivierte Produkt kann beispielsweise ein im Produktbereich 114 ausgewähltes Produkt bedeuten.
Unterdessen sind Informationen über die Kennzeichnung von aktuell geladenen Bildern im Bildlistenbereich 115 von 11 angezeigt, und eine eingehende Beschreibung der Kennzeichnung wird später unter Bezugnahme auf 12 beschrieben.
Beispielsweise kann auf dem Bildschirm A11 ein ausgewähltes (oder aktiviertes) Bild aus den Listen von Bildern, die in den Bildlistenbereich 115 geladen wurden, in einem Bildbereich 118 angezeigt werden. Das im Bildbereich 118 angezeigte Bild kann ein normales Bild oder ein Fehlerbild sein.
Unter erneuter Bezugnahme auf 8 kann der Prozessor 12 in S2113 durch das Entwicklungsmodul 21 (z. B. das Datenbankmodul 211) die Informationen über die Fehlertypen, welche Informationen an Produkten der einer oder mehreren Versionen gemeinsam angewendet werden, als Eingabe empfangen und dieselbe speichern.
Unter Bezugnahme auf 11 kann der Bildschirm A11 beispielsweise einen Fehlertypbereich 116 enthalten, der Informationen über die Fehlertypen anzeigt. Wie oben beschrieben, kann sich die Fehlertypen auf Arten von Fehlern beziehen, die in einem Produkt auftreten können. Der Fehlertyp kann basierend auf einer Benutzereingabe festgelegt oder erzeugt werden. In dieser Beschreibung kann die „Erzeugung“ der willkürlichen Informationen (z. B. Fehlertyp, Fehlerbereich usw.) kann die Erzeugung und Speicherung der den entsprechenden Informationen entsprechenden Identifikationsinformationen als Antwort auf eine Benutzereingabe für die Erzeugung der entsprechenden Information über die Benutzerschnittstelle (UI) bedeuten, wobei die Identifikationsinformationen von dem Prozessor 12 identifiziert werden können.
Wenn ein Fehlertyp basierend auf einer Benutzereingabe erzeugt wird, kann der Prozessor 12 Informationen über die Fehlertypen speichern. Informationen über den Fehlertyp können beispielsweise eine Identifikationsnummer des Fehlertyps, einen Identifikationsnamen des Fehlertyps, eine Kennfarbe 119 des Fehlertyps und dergleichen umfassen und können basierend auf einer Benutzereingabe eingegeben werden.
Unter Bezugnahme auf den Fehlertypbereich 116 kann das als „Leiterplatte“ identifizierte Produkt Fehlertypen wie Kratzer (scratch), Dellen (dent), Risse (crack) und Ruß (soot) enthalten. Der Fehlertyp ist jedoch nicht darauf beschränkt und kann basierend auf einer Benutzereingabe gemäß den Eigenschaften des Produkts unterschiedlich festgelegt werden. Obwohl dies in dieser Ausführungsform nicht gezeigt ist, kann beispielsweise eine Delle, ein Fremdmaterial einer bestimmten Farbe usw. als Fehlertyp festgelegt werden. Eine Delle kann ein produktspezifischer Fehlertyp sein, beispielsweise wie eine Klingenklinge. Bei dem Fremdmaterial einer bestimmten Farbe kann es sich beispielsweise um Flecken oder Verunreinigungen aufgrund von Auslaufen eines bestimmten Klebstoffs oder eines bestimmten Elektrolyts handeln. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt.
Wird in diesem Projekt zusätzlich zum ersten Produkt (Identifikationsinformation: Leiterplatte) ein zweites Produkt registriert, soll der Fehlertyp auf das erste Produkt und das zweite Produkt gemeinsam angewendet werden können. Beispielsweise kann das zweite Produkt (z. B. Leiterplatte 2) auch Fehler wie Kratzer, Dellen, Risse und Ruß aufweisen.
Gemäß einer Ausführungsform kann die Lernleistung verbessert werden, indem Fehlertypen nach Formen, Farben und dergleichen klassifiziert werden.
Die „Kennfarbe“ des Fehlertyps kann sich von der „Farbe des Fehlers“ unterscheiden. Die „Farbe des Fehlers“ kann sich auf die Farbe beziehen, die ein bestimmtes Fremdmaterial tatsächlich im Fehlerbild darstellt. Die „Kennfarbe“ kann basierend auf einer Benutzereingabe bestimmt werden. Die Kennfarbe 119 des Fehlertyps kann ein Anzeichen sein, das angibt, welchen Fehlertyp jedes virtuelle Fehlerbild enthält, wenn später ein virtuelles Fehlerbild durch das Erzeugungsmodul 22 erzeugt wird.
Beispielsweise kann der Fehlertypbereich 116 ein Fehlertyp-Bearbeitungsicon 117 enthalten. Wenn eine Benutzereingabe für das Fehlertyp-Bearbeitungsicon 117 empfangen wird, kann der Prozessor 12 ein Bearbeitungsfenster anzeigen (überlagern), auf welchem ein Fehlertyp hinzugefügt, gelöscht, die Anzeigereihenfolge der Fehlertypen geändert, die Identifikationsnamen des Fehlertyps korrigiert, oder die Kennfarben der Fehlertypen geändert werden können. Das heißt, durch das Fehlertyp-Bearbeitungsicon 117 kann der Benutzer Information über den Fehlertyp bearbeiten.
Unter erneuter Bezugnahme auf 8 kann der Prozessor 12 in S2114 durch das Entwicklungsmodul 21 (z. B. das Datenbankmodul 211) das erste normale Bild und das Fehlerbild, die geladen sind, bezüglich des Fehlertyps, ob sie normal oder fehlerhaft ist, kennzeichnen.
Beispielsweise zeigt unter Bezugnahme auf 12 ein Bildschirm A12 ein Beispiel eines Bildschirms zum Durchführen einer Kennzeichnung auf einem Bild, das in dem Bildbereich 118 angezeigt wird.
Der Bildbereich 118 kann ein Kennzeichnungswerkzeugicon 121 anzeigen. Beispielsweise kann der Benutzer jedes der geladenen Bilder kennzeichnen. Wenn das in dem Bildbereich 118 angezeigte Bild ein normales Bild ist, kann der Benutzer das normale Bild unter Verwendung des Icons 121 des Kennzeichnungswerkzeugs als normal kennzeichnen. Wenn ein im Bildbereich 118 angezeigte Bild ein Fehlerbild ist, kann der Benutzer den Fehlertyp des Bildes auswählen und den Bereich auf dem Bild, in dem der Fehler des entsprechenden Fehlertyps aufgetreten ist, unter Verwendung des Kennzeichnungswerkzeugicons 121 anzeigen (z. B.: kann unter Verwendung der Eingabevorrichtung 14 zum Anzeigen gekennzeichnet werden), um das Bild zu kennzeichnen.
Wenn zum Beispiel ein im Bildbereich 118 angezeigte Bild einen Fehler des Risstyps aufweist, kann der Benutzer einen entsprechenden Fehlertyp (d.h. Riss) im Fehlertypbereich 116 auswählen und unter Verwendung des Kennzeichnungswerkzeugicons 121 auf dem angezeigten eine Benutzereingabe zum direkten Zeichnen oder Ausmalen eines Bereichs, in dem ein Rissfehler Bild aufgetreten ist, anwenden. Der gezeichnete Bereich oder der ausgemalte Bereich (d.h. der Bereich, in dem der Fehler auftritt) kann in einer der Kennfarbe 119 des Fehlertyps entsprechenden Farbe angezeigt werden. Wenn zum Beispiel die Kennfarbe 119 des Fehlertyps des Risses rot ist, kann es rot erscheinen, wenn der Benutzer den Bereich zeichnet oder ausmalt, in dem der Rissfehler in dem Bild auftritt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt.
Gemäß einem Ausführungsbeispiel ist es auch möglich, dass ein Fehlerbild mehrere Fehlertypen umfasst. In dem Kennzeichnungsinformationsbereich 122 können Kennzeichnungsinformationen des angezeigten Bildes (z. B. Information über einen Fehlertyp oder Informationen, die angeben, dass es sich um ein normales Bild handelt) angezeigt werden.
Wenn zum Beispiel eine Kennzeichnung für mehrere Fehlertypen auf einem Fehlerbild durchgeführt wird, können alle Information über die mehreren Fehlertypen in dem Kennzeichnungsinformationsbereich 122 angezeigt werden.
Wenn zum Beispiel der Kennzeichnungsbetrieb durchgeführt wird, kann der Prozessor 12 mit jeweiligem Bild Kennzeichnungsinformation abgleichen und die Information speichern (z. B. Information über den Fehlertyp, Information über den Bereich, in dem der entsprechende Fehlertyp auftritt, oder Informationen, die angeben, dass es sich um ein normales Bild handelt).
Wie oben unter Bezugnahme auf die 8 bis 12 beschrieben, kann eine Datenbank zum Lernen des virtuellen Fehlerbild-Erzeugungsmodells errichtet werden (S211). Auf den Bildschirmen A10, A11 und A12 zum Errichten einer Datenbank kann das das die Datenbank darstellende Icon 103 hervorgehoben werden.
13 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10, das eine Vorverarbeitung an die Datenbank durchführt, zum Lernen eines virtuellen Fehlerbild-Erzeugungsmodells gemäß einer Ausführungsform der vorliegenden Erfindung. 14 bis 18 zeigen Beispiele von Bildschirmen zum Durchführen einer Vorverarbeitung gemäß einer Ausführungsform der vorliegenden Erfindung.
Die Betriebe von 13 können spezifische Beispiele von S212 sein, können durch den Prozessor 12 durchgeführt werden, und können durch das Entwicklungsmodul 21 des Programms 16 (z.B. das Vorverarbeitungsmodul 212) durchgeführt werden.
Unter Bezugnahme auf 13 kann der Prozessor 12 in S2121 ein repräsentatives Bild aus einem oder mehreren geladenen ersten normalen Bildern durch das Entwicklungsmodul 21 (z. B. das Vorverarbeitungsmodul 212) festlegen. Das repräsentative Bild kann als Grundlage für die Ausrichtung von Bildern dienen (S2122) und kann verwendet werden, um einen Fehlerbereich festzulegen (S2123), der ein Bereich ist, in dem jeweiliger Fehlertyp auftreten kann. Das repräsentative Bild kann unter normalen Bildern (d.h. ersten normalen Bildern) bestimmt werden.
Beispielsweise wird unter Bezugnahme auf 14 ein Bildschirm A14 zum Bestimmen eines repräsentativen Bildes gezeigt. Beispielsweise können durch Verwendung der gespeicherten Kennzeichnungsinformationen normale Bilder (d.h. normal gekennzeichnete Bilder) in dem Bildlistenbereich 115 gesammelt und angezeigt werden. Basierend auf einer Benutzereingabe zum Auswählen eines normalen Bildes aus der Liste von normalen Bildern kann das ausgewählte normale Bild in dem Bildbereich 118 angezeigt werden. Zum Beispiel kann basierend auf einer Benutzereingabe für das Einstellungsicon 141 für repräsentative Bilder ein normales Bild (z. B. test_good_008.png), das in dem Bildbereich 118 angezeigt ist, als ein repräsentatives Bild bestimmt und gespeichert werden.
Unter erneuter Bezugnahme auf 13 kann in S12122 der Prozessor 12 durch das Entwicklungsmodul 21 (z. B. das Vorverarbeitungsmodul 212) die ersten normalen Bilder und Fehlerbilder, welche geladen und gekennzeichnet sind, bezüglich des bestimmten repräsentativen Bildes ausrichten (align). Beispielsweise können im Bildlistenbereich 115 aufgelistete Bilder ausgerichtet werden.
Gemäß einer Ausführungsform kann die Ausrichtung (alignment) auf eine von drei Typen durchgeführt werden. Die drei Typen umfassen einen Nicht-Ausrichten-Typ (none), einen Trans-Typ (trans) und einen Affin- Typ (affine). Der Nicht-Ausrichten-Typ ist eine Option, die keine Ausrichtung durchführt. Der Trans-Typ ist eine Option, die die Ausrichtung durch Parallelverschiebung des Bildes durchführt. Der Affin-Typ ist eine Option zum Durchführen der Ausrichtung durch Drehen des Bildes, Ändern der Größe des Bildes, und Parallelverschiebung des Bildes.
Beispielsweise kann der Bildschirm A14 unter Bezugnahme auf 14 einen Ausrichtungsoptionsbereich 142 umfassen. Im Ausrichtungsoptionsbereich 142 können ein Nicht-Ausrichten-Icon 143 zum Fortfahren mit einem Nicht-Ausrichten-Typ, ein Trans-Icon 144 zum Ausrichten mit einem Trans-Typ, und ein Affin-Icon 145 zum Fortfahren mit einem Affin-Typ angezeigt werden.
Wenn der Prozessor 12 eine Benutzereingabe für das Nicht-Ausrichten-Icon 143 empfängt, kann der Prozessor 12 mit dem nächsten Schritt fortfahren, ohne die mehreren gekennzeichneten Bilder auszurichten. Wenn zum Beispiel die mehreren gekennzeichneten Bilder alle gut ausgerichtet sind, kann der Benutzer das Nicht-Ausrichten-Icon 143 auswählen.
Unter Bezugnahme auf (a) von 15 ist es möglich, wenn das Trans-Icon 144 in dem Ausrichtungsoptionsbereich 142 ausgewählt ist, kann auf dem repräsentativen Bild ein Teil oder die Positionsinformation eines Teils als Grundlage für die Ausrichtung anzuzeigen. Vorzugsweise kann die Anzahl der Teile (oder Positionsinformationen der Teile) auf drei festgelegt werden. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Wenn zum Beispiel das Trans-Icon 144 im Ausrichtungsoptionsbereich 142 ausgewählt ist, kann der Teil (oder die Position eines Teils) durch eine Hinzufügen-Schaltfläche 151 und eine Auswahl-Schaltfläche 152 ausgewählt werden, und die Auswahl des Teils kann durch eine Lösch-Schaltfläche 153 gelöscht werden. Beispielsweise kann, wie durch die strichpunktierte Linie in 16 angezeigt, ein Teil (oder eine Position eines Teils) ausgewählt werden.
Wenn die Ausrichtung des Trans-Types durchgeführt wird, kann der Prozessor 12 ein Teil (oder die Positionsinformation eines Teils) aus mehreren Bildern identifizieren, und mehrere Bilder gemäß der Positionsinformation des identifizierten Teils so ausrichten, indem die mehreren Bilder entsprechend der Anordnung des repräsentativen Bildes parallelverschoben werden. Der Trans-Typ kann anwendbar sein, wenn alle Bilder die gleiche Größe haben.
Unter Bezugnahme auf (b) von 15 kann, wenn das Affin-Icon 145 in dem Ausrichtungsoptionsbereich 142 ausgewählt wird, der Bereich des Produkts auf dem repräsentativen Bild festgelegt werden. Wenn zum Beispiel das Affin-Icon 145 in dem Ausrichtungsoptionsbereich 142 ausgewählt wird, kann der Bereich, der von dem Produkt eingenommen wird, als ein interessierende Bereich (region of interest, ROI) durch die interessierenden Bereich-Einstellungsschaltfläche 154 festgelegt werden. Beispielsweise kann, wie durch eine strichpunktierte Linie in 16 angezeigt, ein interessierender Bereich (ROI), der von einem Produkt eingenommen wird, ausgewählt werden.
Wenn die Ausrichtung des Affin-Typs durchgeführt wird, kann der Prozessor 12 wenigstens einige der mehreren Bildern verformen, so dass der von dem in jeweiligem der mehreren Bildern gezeigten Produkt eingenommene Bereich die gleiche Form wie der interessierende Bereich (ROI) hat.
Unter Bezugnahme auf 14 kann, wenn die Auswahl der Ausrichtungsoption in dem Ausrichtungsoptionsbereich 142 abgeschlossen ist, kann der Prozessor 12 Ausrichtung der allen gekennzeichneten Bilder des Produkts basierend auf der Benutzereingabe für das Ausrichtungsicon 146 durchführen.
Wenn mehrere Produkte zu dem vorliegenden Projekt hinzugefügt sind, kann der Prozessor 12 den AusrichtungsVorgang für jedes Produkt basierend auf einer Benutzereingabe durchführen. Für jedes Produkt können verschiedene Ausrichtungsoptionen angewendet werden.
Der Prozessor 12 kann über das Programm 16 eine separate Anzeige für das Bild anzeigen, auf dem die Ausrichtung nicht richtig durchgeführt wurde, und das Bild, auf dem die Ausrichtung nicht richtig durchgeführt wurde, kann basierend auf einer Benutzereingabe gelöscht werden.
Andererseits kann auf den Bildschirmen A10, A11 und A12 zum Durchführen der Vorverarbeitung das die Vorverbarbeitung darstellende Icon 147 hervorgehoben werden.
Unter erneuter Bezugnahme auf 13 kann der Prozessor 12 in S2123 durch das Entwicklungsmodul 21 (z. B. das Vorverarbeitungsmodul 212) auf dem bestimmten repräsentativen Bild Information über einen Fehlerbereich empfangen, in dem jeweiliger Fehlertyp auftreten kann, und diese speichern.
Unter Bezugnahme auf 17 kann der Prozessor 12 beispielsweise über den Bildschirm A17 eine Benutzereingabe zum Bestimmen eines Fehlerbereichs auf dem oben bestimmten repräsentativen Bild 171 empfangen. Beispielsweise kann der Bildbereich 118 in dem Schritt des Festlegens des Fehlerbereichs Fehlerbereich-Einstellungsicons 172 zum Festlegen des Fehlerbereichs auf dem repräsentativen Bild 171 anzeigen.
Beispielsweise kann der Benutzer einen beliebigen Fehlertyp im Fehlertypbereich 116 auswählen, und dann durch Verwendung der Fehlerbereich-Einstellungsicons 172 einen Bereich auf dem repräsentativen Bild 171 anzeigen, in welcher ein Fehler des entsprechenden Fehlertyps auftreten kann. Die Fehlerbereich-Einstellungsicons 172 ermöglichen dem Benutzer, einen Fehlerbereich in einer vorbestimmten Form anzuzeigen (z. B. eine gerade Linie, eine rechteckige Umrandung, eine kreisförmige Umrandung, eine quadratische Fläche, eine kreisförmige Fläche).
Der Fehlerbereich kann einen Bereich angeben, in dem ein Fehler entsprechend einem Fehlertyp auftreten kann. Der Fehlerbereich unterscheidet sich von dem Bereich, wo ein für die Kennzeichnung angegebener Fehler aufgetreten ist. Im Kennzeichnungsschritt wird ein Bereich angezeigt, wo jeweiliger Fehler auf dem Fehlerbild autgetreten ist. Die Anzeige des Fehlerbereichs kann jedoch bedeuten, den Bereich anzuzeigen, in dem jeweiliger Fehlertyp auf dem repräsentativen Bild auftreten kann.
Wenn beispielsweise ein Dellenfehler im gesamten Bereich eines rechteckigen Produkts (z. B. einer Leiterplatte) auftreten kann, kann der Benutzer die folgende Benutzereingabe über die Benutzerschnittstelle (UI) des Programms 16 vornehmen. Der Benutzer kann im Fehlertypbereich 116 einen Dellenfehlertyp auswählen, ein Icon, wodurch einen rechteckigen Bereich gezeichnet werden kann, aus den Fehlerbereichs-Einstellungsicons 172 auswählen, und einen Fehlerbereich auf dem gesamten Produktbereich (d. h. rechteckige Fläche) auf dem repräsentativen Bild 171 zeichnen, wo ein Dellenfehler auftreten kann. Der auf dem repräsentativen Bild gezeichnete Fehlerbereich kann mit der Kennfarbe des entsprechenden Fehlertyps (Delle) (z. B. gelb) gezeichnet werden.
Für ein anderes Beispiel, bezüglich des Bildschirms A18 von 18, wenn ein Rissfehler (crack) an der Kante des Produkts (z. B. einer Leiterplatte) auftreten kann und wenn die Grenze der Kante des Produkts eine gerade Linie ist, kann der Benutzer eine folgende Benutzereingabe über die Benutzerschnittstelle (UI) des Programms 16 vornehmen.
Der Benutzer kann einen Rissfehlertyp (crack) im Fehlertypbereich 116 auswählen, ein Icon, durch welcher eine gerade Linie gezeichnet werden kann, aus den Fehlerbereichs-Einstellungsicons 172 auswählen, und auf dem repräsentativen Bild 171 einen Fehlerbereich an der Kante der Leiterplate (d. h. geradliniger Bereich) zeichnen, wo der Rissfehler auftreten kann. Wie gezeigt, können mehrere Fehlerbereiche für einen Fehlertyp (z. B. Riss) festgelegt werden. Der auf dem repräsentativen Bild gezeichnete Fehlerbereich kann mit der Kennfarbe des entsprechenden Fehlertyps (z. B. Kratzer) (z. B. rot) gezeichnet werden.
Unter erneuter Bezugnahme auf 13 kann der Prozessor 12 in S2124 das virtuelle Fehlerbild-Erzeugungsmodell unter Verwendung eines oder mehreren ersten normalen Bilder und Fehlerbilder, die durch das Entwicklungsmodul 21 (z. B. das Trainingsmodul 213) ausgerichtet worden sind, der Kennzeichnungsinformationen, und der Information über den Fehlerbereich lernen. S2124 kann ein Betrieb sein, der S213 von 6 entspricht.
Beispielsweise wird unter Bezugnahme auf 19 ein Bildschirm A19 zum Durchführen des Lernens gezeigt. Über den Bildschirm A19 können verschiedene Lernparameter eingegeben werden.
Unter Bezugnahme auf den Bildschirm A19 kann das Lernen gemäß einer Ausführungsform in zwei Stufen aufgebaut werden: einer Vorstufe und einer Hauptstufe. Die Vorstufe stellt eine Iteration der Durchführung der Vorverarbeitung dar, die bevor des Beginn des Lernens erforderlich ist, und die Anzahl der Wiederholungen kann bestimmt werden. Die Anzahl der Wiederholungen des Lernens der Hauptstufe kann auch basierend auf einer Benutzereingabe bestimmt werden.
Immer wenn das Lernen so oft wie die Anzahl der Visualisierungsintervalle wiederholt wird, ist es möglich, das durch das erlernte Modell erzeugte Musterbild zu überprüfen. Die Anzahl der Visualisierungsintervalle kann auch vom Benutzer eingegeben werden.
Gemäß einer Ausführungsform der vorliegenden Erfindung kann mindestens ein zum Lernen zu verwendendes Produkt aus einem auf dem Bildschirm A19 für Trainieren angezeigte Produktbereich 191 ausgewählt werden.
Gemäß dieser Funktion können die Datenbanksammlung (S211, siehe 6) und die Vorverarbeitung (S212) für Produkte einer Vielzahl von Versionen (z. B. erstes Produkt, zweites Produkt usw.) auf einmal durchgeführt werden, und dann können im Lernschritt (S213) eine Vielzahl von Modellen gelernt (oder erzeugt) werden, indem zum Lernen zu verwendende Produkte aus den Produkten der Vielzahl von Versionen ausgewählt werden. Durch diese Funktion kann es möglich sein, ein Modell mit der besten Leistung aus der Vielzahl von Modellen auszuwählen und es als virtuelles Fehlerbild-Erzeugungsmodell zu verwenden.
In ähnlicher Weise kann in dem auf dem Bildschirm A19 für Trainieren angezeigten Fehlertypbereich 192 mindestens ein zum Lernen zu verwendender Fehlertyp ausgewählt werden. Je nach Auswahl des Fehlertyps können verschiedene Versionen des Modells gelernt werden.
20 zeigt ein Beispiel eines Betriebes des elektronischen Geräts 10 zum Erzeugen eines virtuellen Fehlerbildes gemäß einer Ausführungsform der vorliegenden Erfindung. Die Betriebe von 20 können von dem Prozessor 12 durch das Programm 16 durchgeführt werden.
Unter Bezugnahme auf 20 kann der Prozessor 12 in S21 durch das Programm 16 (z.B., Entwicklungsmodul 21) ein virtuelles Fehlerbild-Erzeugungsmodell basierend mindestens auf dem ersten normalen Bild, dem Fehlerbild, und der Benutzereingabe lernen. Dies entspricht der Beschreibung bezüglich S21 von 5, 6 und danach folgenden Zeichnungen.
In S21 kann der Prozessor 12 ein virtuelles Fehlerbild im automatischen Modus (S221) oder im manuellen Modus (S222) basierend auf der Benutzereingabe durch das Programm 16 (z. B. das Erzeugungsmodul 22) erzeugen. Beispielsweise wird in der Erzeugung im automatischen Modus (S221) ein virtuelles Fehlerbild durch ein virtuelles Fehlerbild-Erzeugungsmodell unter Verwendung des zweiten normalen Bildes und Information über einen voreingestellten Fehlerbereich erzeugt. Zum Beispiel wird in der Erzeugung im manuellen Modus (S222) ein virtuelles Fehlerbild durch demselben virtuelles Fehlerbild-Erzeugungsmodell unter Verwendung eines zweiten normalen Bild und Manuell-Bereich-Information, die sich auf einer Eingabe der Benutzer beruht, durch welcher der Benutzer einen Bereich sich selbst zeichnet, in dem ein virtueller Fehler zu erzeugen ist, erzeugt. Dies wurde oben unter Bezugnahme auf 4 beschrieben und wird später näher unter Bezugnahme auf die nachstehenden Zeichnungen beschrieben.
In S23 kann der Prozessor 12 das erzeugte virtuelle Fehlerbild in dem Speicher 15 durch das Programm 16 (z. B. das Erzeugungsmodul 22) speichern. Das gespeicherte virtuelle Fehlerbild kann beispielsweise als Lerndaten zum Lernen eines Fehlererkennungsmodells verwendet werden.
Unterdessen wird unten die Betriebe der Erzeugung im automatischen Modus (S221) und der Erzeugung im manuellen Moduser (S222) näher beschrieben.
21 bis 27 zeigen Beispiele von Bildschirmen zum Durchführen einer Erzeugung im automatischen Modus gemäß einer Ausführungsform der vorliegenden Erfindung.
Um ein virtuelles Fehlerbild unter Verwendung des in S21 erzeugten und gespeicherten virtuellen Fehlerbild-Erzeugungsmodells zu erzeugen, kann zunächst der Prozessor 12 eine Benutzereingabe für das Erzeuger-Icon 74 des Bildschirms A7 von 7 empfangen. Basierend auf dem Empfangen der Benutzereingabe für das Erzeuger-Icon 74 kann der Prozessor 12 in dem Vorgang S2 zum Erzeugen des virtuellen Fehlerbildes eintreten.
Dann kann basierend auf einer vorbestimmten Benutzereingabe zum Auswählen des automatischen Modus der Bildschirm A21 von 21 angezeigt werden. Der Bildschirm A21 kann eine Liste 219 verschiedener virtueller Fehlerbild-Erzeugungsmodelle anzeigen, die in dem entsprechenden Projekt gelernt und gespeichert ist. Aus der Liste 219 der virtuellen Fehlerbild-Erzeugungsmodelle kann ein Modell ausgewählt werden, das zum Erzeugen eines virtuellen Fehlerbildes zu verwenden ist.
In einem Produktbereich 218 kann eine Liste von Produkten einer oder mehrerer Versionen angezeigt werden, die zum Lernen des ausgewählten Modells verwendet werden. Von den Produkte der einer oder mehreren Versionen, die im Produktbereich 218 angezeigt sind, kann ein Produkt ausgewählt werden, das zum Erzeugen des virtuellen Fehlerbildes verwendet werden soll.
Wenn im Produktbereich 218 eine Benutzereingabe für ein vorgegebenes Icon „Laden mit einem neuen Produkt“ (load with a new product) gegeben wird, kann ein virtuelles Fehlerbild für ein neues Produkt erzeugt werden, das nicht zum Lernen verwendet ist. Beispielsweise kann der Prozessor 12 ein Fenster zum Registrieren (oder Hinzufügen) eines neuen Produkts basierend auf einer Benutzereingabe für das Icon anzeigen (z. B. überlagern).
Selbst wenn zum Beispiel nur das Bild des ersten Produkts für das Lernen des virtuellen Fehlerbild-Erzeugungsmodells verwendet ist, kann im Erzeugungsschritt (S2) ein virtuelles Fehlerbild des zweiten Produkts unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodell nur mit dem zweiten normalen Bild des zweiten Produkts, welcher des gleichen Typs wie das erste Produkt ist und sich von dem ersten Produkt nur in detaillierten Eigenschaften (z. B. Version oder Standard) unterscheidet.
Basierend auf der Auswahl des Benutzers können Informationen über das ausgewählte virtuelle Fehlerbild-Erzeugungsmodell und das ausgewählte Produkt in das Programm 16 (z. B. das Erzeugungsmodul 22) geladen werden.
Danach können unter Bezugnahme auf 22 Vorlagenbilder für das ausgewählte Produkt, die die Grundlage zum Erzeugen eines virtuellen Fehlerbildes bilden, in einen Vorlagenbildbereich 229 geladen werden. Das Vorlagenbild ist ein normales Bild des ausgewählten Produkts und kann als das oben erwähnte zweite normale Bild bezeichnet werden. Das Vorlagenbild kann eines sein, wie es in 22 gezeigt ist, oder es können mehrere Vorlagenbilder geladen werden. Beispielsweise können für die Vielzahl von virtuellen Fehlerbildern, die basierend auf dem Vorlagenbild zu erzeugen sind, mehrere Vorlagenbilder verwendet werden.
Um ein virtuelles Fehlerbild zu erzeugen, müssen, wenn mehrere Vorlagenbilder (d.h. mehrere zweite normale Bilder) geladen sind, die mehreren Vorlagenbilder ausgerichtet werden. Wenn ein zum Lernen verwendetes Produkt ausgewählt (oder geladen) wird, können die im VorverarbeitungsVorgang im Entwicklungsmodul 21 festgelegten Ausrichtungsinformationen unverändert angewendet werden.
Wenn andererseits ein neues Produkt geladen ist, das nicht zum Lernen verwendet ist, müssen in diesem Schritt (S221, Erzeugungsschritt im automatischen Modus) kann das Bestimmen des repräsentativen Bild von einem oder mehreren Vorlagenbildern und die Ausrichtung der Vorlagenbilder neu durchgeführt werden. Beispielsweise kann die Vielzahl von Vorlagenbildern durch einen Ausrichtungsoptionsbereich 228 entsprechend der Anordnung des repräsentativen Bildes (d.h. des repräsentativen Vorlagenbildes) ausgerichtet werden. Das Ausrichtungsverfahren kann dem unter Bezugnahme auf 14 bis 16 beschriebenen Ausrichtungsverfahren entsprechen. Daher wird hier dessen Beschreibung weggelassen.
Danach kann unter Bezugnahme auf 23 ein Fehlerbereich, der ein Bereich ist, in dem jeweiliger Fehlertyp auftreten kann, durch den Bildschirm A23 für die Erzeugung im automatischen Modus erforderlich sein. Das heißt, es können Fehlerbereichsinformationen für jeweiligen Fehlertyp erforderlich sein. Wenn ein zum Lernen verwendetes Produkt ausgewählt (oder geladen) ist, können die im VorverarbeitungsVorgang im Entwicklungsmodul 21 festgelegten Fehlerbereichsinformationen unverändert angewendet werden.
Wenn andererseits ein neues Produkt, das nicht zum Lernen verwendet ist, geladen ist, kann Fehlerbereichsinformationen für das repräsentative Bild von einem oder mehreren Vorlagenbildern in diesem Schritt (S221, der Erzeugungsschritt im automatischen Modus) möglicherweise neu festgelegt werden muessen. Beispielsweise kann der Benutzer einen Fehlertyp aus einem Fehlertypbereich 239 auswählen und einen möglichen Fehlerbereich für jeweiligen Fehlertyp mittels der Fehlerbereich-Einstellungsicons 238 festlegen oder anzeigen.
Andererseits kann es in diesem Schritt möglich sein, nur einen Fehlerbereich festzulgen, der mit dem im LernVorgang des Modells eingestellten Fehlerbereich verknüpft werden kann. Beispielsweise können als Fehlerbereich eine gerade Linie und eine rechteckige Umrandung miteinander verknüpft werden. Auch können beispielsweise ein rechteckiger Bereich und ein kreisförmiger Bereich als Fehlerbereich miteinander verknüpft werden. Ist beispielsweise im LernVorgang (d.h. in der Entwicklungsphase) eine rechteckige Fläche als Fehlerbereich eines bestimmten Fehlertyp festgelegt, so kann in diesem Schritt (d. h. in dem Erzeugungsschritt im automatischen Modus) als Fehlerbereich des Fehlertyps nur eine rechteckige Fläche oder eine kreisförmige Fläche festgelegt werden.
Andererseits kann das Festlegen eines Fehlerbereichs ein notwendiger Vorgang für die Erzeugung im automatischen Modus sein. Im automatischen Modus kann das Erzeugungsmodul 22 frei oder automatisch eine virtuelle Fehlerskizze innerhalb des auf diese Weise festgelegten Fehlerbereichs erzeugen und die virtuelle Fehlerskizze auf dem Vorlagenbild überlagern oder mit dem Vorlagenbild zusammensetzen. Da das Verfahren zum Festlegen des Fehlerbereichs dem unter Bezugnahme auf 17 bis 18 beschriebenen Verfahren zum Festlegen des Fehlerbereichs entsprechen kann, wird eine eingehende Beschreibung davon weggelassen.
Danach kann ein virtuelles Fehlerbild in einem automatischen Modus durch eine Erzeugungsschaltfläche 249 des Bildschirms A24 von 24 erzeugt werden. Da der Vorgang zum Erzeugen des virtuellen Fehlerbildes im automatischen Modus dem unter Bezugnahme auf 4 beschriebenen Vorgang zum Erzeugen des automatischen Modus entsprechen kann, wird eine eingehende Beschreibung davon weggelassen und wird nur kurz beschrieben.
Im automatischen Modus kann der Prozessor 12 ein virtuelles Fehlerbild unter Verwendung der festgelegten Fehlerbereichsinformationen und des virtuellen Fehlerbild-Erzeugungsmodells erzeugen (S221). Beispielsweise kann der Prozessor 12 eine virtuelle Fehlerskizze VDS erzeugen, indem er die festgelegten Fehlerbereichsinformationen und das virtuellee Fehlerbild-Erzeugungsmodell verwendet. Beispielsweise kann die virtuelle Fehlerskizze VDS eine Skizze sein, die derart erzeugt ist, dass sie frei auf einem Fehlerbereich angeordnet wird, in dem beliebige Fehlertypen auftreten können. Die virtuelle Fehlerskizze VDS kann beispielsweise Farbinformationen, Forminformationen und Anordnungs-(Positions-) Informationen (z. B. Pixelinformationen) enthalten. Danach kann der Prozessor 12 ein virtuelles Fehlerbild durch Überlagern oder Zusammensetzung der virtuellen Fehlerskizze auf dem den Vorlagenbildbereich 229 geladenen, zweiten normalen Bild (d.h. dem Vorlagenbild).
Der Prozessor 12 kann den Bildschirm A25 von 25 basierend auf dem Empfangen einer Benutzereingabe für die Erzeugungsschaltfläche 249 des Bildschirms A24 anzeigen. Der Prozessor 12 kann die Anzahl der zu erzeugenden virtuellen Fehlerbilder über ein erstes Eingabefeld 251 empfangen. Der Prozessor 12 kann über ein zweites Eingabefeld 252 die maximale Anzahl von Fehlern empfangen, die in einem Blatt erzeugt werden sollen. Der Prozessor 12 kann eine für jeweiliger Fehlertyp zu erzeugende Gewicht empfangen. Der Prozessor 12 kann die minimale Größe eines zu erzeugenden Fehlers für jeweiligen Fehlertyp durch einen Schieber 253 empfangen. Der Prozessor 12 kann beginnen, ein virtuelles Fehlerbild zu erzeugen, nachdem er eine Benutzereingabe für die Erzeugungsschaltfläche 254 empfangen hat.
Danach können die erzeugten virtuellen Fehlerbilder auf dem Bildschirm A26 von 26 angezeigt werden. In einem Listenbereich 261 für erzeugte Bilder des Bildschirms A26 kann eine Liste erzeugter virtueller Fehlerbilder erscheinen. Wenn auf ein im Listenbereich 261 für erzeugte Bilder angezeigtes virtuelles Fehlerbild geklickt wird, kann das entsprechende virtuelle Fehlerbild in einem Bildbereich 262 angezeigt werden. In dem angezeigten virtuellen Fehlerbild kann eine dünne Umrandung angezeigt werden, der die Position des erzeugten Fehlers (z. B. eines Risses) anzeigt. Die dünne Umrandung kann beispielsweise in einer Kennfarbe des erzeugten Fehlertyps (z. B. Riss) (z. B. rot) angezeigt werden.
27 zeigt ein Beispiel von in einem automatischen Modus erzeugten virtuellen Fehlerbildern VDI. Das obere linke Foto kann Ruß darstellen, das obere rechte Foto kann einen Kratzer darstellen, das untere linke Foto kann eine Delle darstellen, und das untere rechte Foto kann einen Riss darstellen.
Unter erneuter Bezugnahme auf 26 kann der Benutzer den erzeugten virtuellen Fehler (d.h. die virtuelle Fehlerskizze VDS1) beispielsweise löschen. Gemäß einer Benutzereingabe können mehrere virtuelle Fehler in einem virtuellen Fehlerbild erzeugt werden, und der Benutzer kann unter Verwendung der virtuellen Fehlerbearbeitungsicons 263 nur den zu löschenden virtuellen Fehler löschen.
Außerdem kann der Benutzer ein virtuelles Fehlerbild selbst von den erzeugten mehreren virtuellen Fehlerbildern löschen, die in dem Listenbereich 261 für erzeugte Bilder angezeigt werden.
Der Prozessor 12 kann die erzeugten (und bearbeiteten) virtuellen Fehlerbilder in einem bestimmten Pfad basierend auf dem Empfangen einer Benutzereingabe für eine Exportschaltfläche 264 speichern.
Im Folgenden wird der Betrieb zum Erzeugen im manuellen Modus (S222) näher beschrieben. 28 bis 30 zeigen Beispiele von Bildschirmen zum Durchführen einer Erzeugung im manuellen Modus gemäß einer Ausführungsform der vorliegenden Erfindung.
Unter Bezugnahme auf 28 können ein oder mehrere zweite normale Bilder (d.h. Vorlagenbilder) zum Erzeugen eines Fehlers durch einen Vorlagenbildbereich 281 eines Bildschirms A28 geladen werden. In einem Bildbereich 282 kann ein zweites normales Bild angezeigt werden, das aus den zweiten normalen Bildern ausgewählt ist, die in dem Vorlagenbildbereich 281 aufgelistet sind.
Unterdessen kann der Bildschirm A28 einen Fehlertypbereich 283 anzeigen, der die gespeicherten Fehlertypen in Bezug auf das aktuell geladene Modell (d.h. das virtuelle Fehlerbild-Erzeugungsmodell) anzeigt.
Im manuellen Modus kann der Prozessor 12 unter Verwendung der Manuell-Bereichsinformation, die auf einer Eingabe der Benutzer basiert, durch welcher der Benutzer einen Bereich sich selbst zeichnet (d.g., skizziert), in dem ein virtueller Fehler zu erzeugen ist, einen Fehlertyp auf dem gezeichneten Manuelbereich erzeugen.
Beispielsweise kann der Benutzer einen zu erzeugenden Fehlertyp aus den im Fehlertypbereich 283 enthaltenen Fehlertypen auswählen und unter Verwendung eines Fehlerbereichskizzenpiktogramms 284 die Form des entsprechenden Fehlertyps auf dem angezeigten Bild (d.h. dem zweiten normalen Bild oder dem Vorlagenbild) anzuzeigen Bild) direkt skizzieren. Danach kann der Prozessor 12 ein virtuelles Fehlerbild erzeugen, indem er einen der Form der Skizze entspechender, virtuellen Fehler in das Vorlagenbild einfügt. Die Beschreibung dafür wurde oben unter Bezugnahme auf 4 gegeben und kann ähnlich der oben beschriebenen Kennzeichnungsbetrieb sein.
Durch diesen Erzeugungsbetrieb im manuellen Modus kann ein virtueller Fehler mit einer raffinierten oder komplexen Form erzeugt werden.
Unterdessen kann der Prozessor 12 einen Bildschirm A29 von 29 basierend auf einer Benutzereingabe für die Erzeugungsschaltfläche 285 anzeigen. Wenn die Schaltfläche 291 entsprechend „Erzeuge alle manuellen Kennzeichnungen in jedem Vorlagenbild (Generate all manual labels in each template image)“ ausgewählt wird, können Fehler entsprechend dem Fehlerbereich für jeweiligen, vom Benutzer gezeichneten Fehlertyp erzeugt werden. Wenn die Schaltfläche 291 abgewählt ist, kann die maximale Anzahl von Fehlern, die in einem Vorlagenbild erzeugt werden sollen, eingegeben werden. Wenn hier acht Fehler auf einem Vorlagenbild gezeichnet werden und die maximale Anzahl von Fehlern auf zwei bestimmt ist, kann das virtuellen Fehlerbild-Erzeugungsmodell automatisch einen oder zwei Fehler pro virtuellem Fehlerbild erzeugen.
Gemäß einer Ausführungsform können durch einen auf dem Bildschirm A29 angezeigten Bereich 292 kann von den Vorlagenbildern, auf welchen die Benutzerskizze angewendet ist, diejenigen ausgewählt werden, die als virtuelle Fehlerbilder erzeugt zu werden sind. Danach kann ein virtuelles Fehlerbild in einem manuellen Modus durch eine Benutzereingabe für die Erzeugungsschaltfläche 293 erzeugt werden.
Danach können die erzeugten virtuellen Fehlerbilder auf einem Bildschirm A30 von 30 angezeigt werden. In einem Listenbereich 301 für erzeugte Bilder des Bildschirms A30 kann eine Liste erzeugter virtueller Fehlerbilder erscheinen. Wenn ein virtuelles Fehlerbild, das in dem Listenbereich 301 erzeugter Bilder angezeigt ist, angeklickt wird, kann das entsprechende virtuelle Fehlerbild in dem Bildbereich 302 angezeigt werden. In dem angezeigten virtuellen Fehlerbild kann eine dünne Umrandung angezeigt werden, der die Position eines erzeugten Fehlers anzeigt. Die dünne Umrandung kann beispielsweise in einer Kennfarbe des Typs des erzeugten Fehlers angezeigt werden.
31 zeigt ein Beispiel von in einem manuellen Modus erzeugten virtuellen Fehlerbildern.
Unter erneuter Bezugnahme auf 30 kann der Benutzer den erzeugten virtuellen Fehler (d.h. eine virtuelle Fehlerskizze VDS2) beispielsweise unter Verwendung der virtuellen Fehler-Bearbeitungsicons 303 löschen. Eine Vielzahl virtueller Fehlerskizzen kann in einem virtuellen Fehlerbild erzeugt werden, und der Benutzer kann unter Verwendung der virtuellen Fehlerbearbeitungsicons 303 nur die virtuelle Fehlerskizze löschen, die gelöscht werden soll.
Außerdem kann der Benutzer ein virtuelles Fehlerbild selbst aus einem oder mehreren, erzeugten virtuellen Fehlerbildern löschen, die in dem Listenbereich 301 für erzeugte Bilder angezeigt sind.
Der Prozessor 12 kann die erzeugten (und bearbeiteten) virtuellen Fehlerbilder in einem bestimmten Pfad basierend auf dem Empfangen einer Benutzereingabe für die Exportschaltfläche 304 speichern.
32 bis 34 zeigen Beispiele für einen Fall, in dem die Erzeugung im automatischen Modusnützlich ist, und einen Fall, in dem die Erzeugung im manuellen Modus nützlich ist, wenn ein virtuelles Fehlerbild gemäß einer Ausführungsform der vorliegenden Erfindung erzeugt wird.
Unter Bezugnahme auf 32 kann ein schematisches Diagramm eines beliebigen Produkts 320 (z. B. ein oberes Ende einer Batterie) gezeigt werden. 33 zeigt Fälle, in denen die Erzeugung im automatischen Modus für das Produkt 320 vorteilhaft oder möglich ist. Ein erstes Beispiel 331 zeigt einen Fall, in dem ein Fehlerbereich einer rechteckigen Fläche in Bezug auf eine erste rechteckige Form 321 des Produkts 320 festgelegt werden kann. Ein zweites Beispiel 332 zeigt einen Fall, in dem ein Fehlerbereich einer kreisförmigen Fläche in Bezug auf eine zweite kreisförmig Form 322 des Produkts 320 festgelegt werden kann.
Beispielsweise kann innerhalb der Flächen des ersten Teils 321 und des zweiten Teils 322 ein Fehlertyp eines Kratzers oder eines Fremdmaterials (oder eines farbigen Fremdmaterials) erzeugt werden. Dementsprechend kann der Benutzer beispielsweise einen Kratzer oder ein Fremdmaterial als Fehlertyp auswählen (oder aktivieren), einen Fehlerbereich eines quadratischen Bereichs auf dem ersten Teil 321 unter Verwendung eines vorab bereitgestellten Icons anzeigen, und einen Fehlerbereich mit einem kreisförmigen Bereich auf den zweiten Teil 322 anzeigen.
Ein dritte Beispiel 333 zeigt einen Fall, in dem ein geradliniger Fehlerbereich in Bezug auf einen dritten Teil 323 des Produkts 320 festgelegt werden kann. Das dritte Teil 323 kann beispielsweise ein Teil der Umrandung des ersten Teils 321 sein. Ein viertes Beispiel 334 zeigt einen Fall, in dem ein Fehlerbereich einer kreisförmigen Umrandung in Bezug auf die Umrandung des kreisförmigen zweiten Teils 322 des Produkts 320 festgelegt werden kann.
Beispielsweise kann an der Umrandung des dritten Teils 323 und des zweiten Teils 322 ein Auslaufen von Klebstoff oder Elektrolyt oder eine Kontamination aufgrund des Auslaufens auftreten. Dementsprechend kann an der Umrandung eines dritten Teils 324 und des zweiten Teils 322 eine Fehlerart von beispielsweise einem „farbigen Fremdmaterial“ erzeugt werden. Daher kann der Benutzer beispielsweise ‚ein Fremdmaterial mit einer Farbe (z. B. ein rotes Fremdmaterial, ein schwarzes Fremdmaterial, ein blaues Fremdmaterial usw.)‘ als Fehlertyp auswählen (oder aktivieren), einen geradlinigen Fehlerbereich auf dem dritten Teil 322 unter Verwendung eines vorab bereitgestellten Icons anzeigen, und einen Fehlerbereich einer kreisförmigen Umrandung auf fder Umrandung des zweiten Teils 322 anzeigen.
34 zeigt Fälle, in denen für das Produkt 320 die Erzeugung im manuellen Modus vorteilhaft oder möglich ist. Beispielsweise kann das Produkt 320 in den meisten Fällen eine komplexe Form aufweisen, wie etwa ein fünfter Teil 325. In diesem Fall kann durch Auswählen des manuellen Modus im Erzeugungsschritt S2 ein Fehlertyp, der in der komplexen Form auftreten kann, ausgewählt (oder aktiviert) werden, und ein Fehlerbereich, der in der komplexen Form auftreten kann, kann manuell gezeichnet werden.
Zum Beispiel kann es im fünften Teil 325 zu einem Auslaufen von Klebstoff oder Elektrolyt oder einer Verunreinigung aufgrund von Auslaufen kommen. Dementsprechend kann im fünften Teil 325 ein Fehlertyp von beispielsweise einem ‚Fremdmaterial mit einer Farbe‘ erzeugt werden. Daher kann der Benutzer beispielsweise ‚ein Fremdmaterial mit einer Farbe (z. B. ein rotes Fremdmaterial, ein schwarzes Fremdmaterial, ein blaues Fremdmaterial usw.)‘ als Fehlertyp auswählen (oder aktivieren), und mittels eines vorab bereitgestellten Skizzenicons entlang des fünften Teils 325 eine zu erzeugen gewünschte Form des Fehlers skizzieren, um einen Fehlerbereich manuell festzulegen.
In verschiedenen Ausführungsformen der vorliegenden Erfindung können durch Verwenden sowohl der Erzeugung im automatischen Modus (S221) als auch der Erzeugung im manuellen Modus (S222) verschiedene Arten von virtuellen Fehlerbildern nach Wunsch erzeugt werden. Daher ist es möglich, die Leistung des Lernens (S3) des Fehlererkennungsmodells zu erhöhen, indem die auf verschiedene Weise erzeugten virtuellen Fehlerbilder verwendet werden.
Unterdessen kann der in dieser Beschreibung verwendete Begriff „Modul“ eine Einheit umfassen, die aus Hardware, Software oder Firmware besteht, und kann beispielsweise mit Begriffen wie Logik, Logikblock oder Schaltung austauschbar verwendet werden. Ein Modul kann ein integral geformtes Teil oder eine minimale Einheit oder ein Teil sein, das eine oder mehrere Funktionen erfüllt. Beispielsweise kann das Modul als anwendungsspezifische integrierte Schaltung (ASIC) konfiguriert sein.
Verschiedene Ausführungsformen des vorliegenden Dokuments können durch Software (z. B. das Programm 16), die eine Anweisung, die in einem maschinen (z.B. Computer)-lesbare Speichermedium (z. B. Speicher 15, beispielsweise einem eingebetteten Speicher oder einem externen Speicher) gespeichert ist, verwirklicht werden. Die Maschine ist ein Gerät, das in der Lage ist, eine gespeicherte Anweisung von einem Speichermedium aufzurufen und gemäß der aufgerufenen Anweisung zu arbeiten, und kann ein elektronisches Gerät (z. B. das elektronische Gerät 10) gemäß den offenbarten Ausführungsformen enthalten. Wenn die Anweisung von einem Prozessor (z. B. dem Prozessor 12) ausgeführt wird, kann der Prozessor direkt oder andere Komponenten unter der Steuerung des Prozessors verwenden, um eine der Anweisung entsprechende Funktion auszuführen. Anweisungen können Code enthalten, der von einem Compiler oder Interpreter erzeugt oder ausgeführt wird. Das maschinenlesbare Speichermedium kann in Form eines nichtflüchtigen (non-transitory) Speichermediums bereitgestellt werden. Hier bedeutet „nicht flüchtig“, dass das Speichermedium kein Signal enthält und greifbar ist, und unterscheidet nicht, dass Daten semipermanent oder vorübergehend auf dem Speichermedium gespeichert sind.
Gemäß einer beispielhaften Ausführungsform kann das Verfahren gemäß verschiedenen, in dieser Beschreibung offenbarten Ausführungsformen in einem Computerprogrammprodukt enthalten sein und bereitgestellt werden. Computerprogrammprodukte können zwischen Verkäufern und Käufern als Waren gehandelt werden. Das Computerprogrammprodukt kann in Form eines maschinenlesbaren Speichermediums oder online über einen Geschäft für Anwendungen (z. B. Play Store™) vertrieben werden. Im Falle einer Online-Verteilung kann zumindest ein Teil des Computerprogrammprodukts temporär in einem Speichermedium gespeichert oder vorübergehend erzeugt werden, wie etwa einem Speicher eines Servers eines Herstellers, einem Server eines Anwendungsspeichers oder einem Relaisserver.
Die vorliegende Erfindung wurde unter Bezugnahme auf eine in den Zeichnungen gezeigte Ausführungsform beschrieben, dies ist jedoch nur beispielhaft, und es ist dem Fachmann in der Art ersichtlich, dass verschiedene Änderungen und Variationen der Ausführungsform möglich sind. Daher sollte der wahre technische Schutzumfang der vorliegenden Erfindung durch den technischen Geist der beigefügten Ansprüche bestimmt werden.

Claims

Verfahren, das von einem elektronischen Geräts betrieben wird, wobei das Verfahren folgende Schritte umfasst: Lernen eines virtuellen Fehlerbild-Erzeugungsmodells basierend mindestens auf einem ersten normalen Bild und einem Fehlerbild für ein erstes Produkt, und einer Benutzereingabe; und Erzeugen eines virtuellen Fehlerbildes aus einem zweiten normalen Bild für ein zweites Produkt unter Verwendung des erlernten virtuellen Fehlerbild-Erzeugungsmodells, wobei das Erzeugen des virtuellen Fehlerbildes umfasst: Erzeugen des virtuellen Fehlerbildes durch das virtuelle Fehlerbild-Erzeugungsmodell unter Verwendung einer Information über einen Fehlerbereich einer voreingestellten Form; und Erzeugen des virtuellen Fehlerbildes durch das virtuelle Fehlerbild-Erzeugungsmodell unter Verwendung einer Manuell-Bereichsinformation, die auf einer Eingabe basiert, durch welcher der Benutzer einen Bereich sich selbst zeichnet, in dem ein virtueller Fehler zu erzeugen ist.
Verfahren nach Anspruch 1, wobei das erste Produkt und das zweite Produkt vollständig vom gleichen Typ sind oder den gleichen Typ, aber unterschiedliche Standards oder Versionen haben, und das erste normale Bild und das zweite normale Bild gleich oder voneinander verschieden sind.
Verfahren nach Anspruch 1, wobei das Lernen des virtuellen Fehlerbild-Erzeugungsmodells das Festlegen möglicher Fehlertypen für das erste Produkt umfasst, und das Erzeugen des virtuellen Fehlerbildes Empfangen, basierend auf einer Benutzereingabe, einer Information über einen Fehlerbereich, in dem jeweiliger der mindestens einigen der Fehlertypen in Bezug auf mindestens einige der festgelegten Fehlertypen auftreten kann, umfasst
Verfahren nach Anspruch 1, wobei das Lernens des virtuellen Fehlerbild-Erzeugungsmodells umfasst: Durchführen eines Sammelns und einer Vorverarbeitung einer Datenbank basierend auf einem ersten normalen Bild und einem Fehlerbild für mehrere unterschiedliche Versionen von Produkten, einschließlich des ersten Produkts; und Lernen des virtuellen Fehlerbild-Erzeugungsmodells durch Auswählen nur einiger Produkte aus den Produkten der Vielzahl unterschiedlicher Versionen.
In einem computerlesbaren Speichermedium gespeichertes Computerprogramm zum Ausführen des Verfahrens nach einem der Ansprüche 1 bis 4 unter Verwendung eines Computers.