DE112016007498T5

DE112016007498T5 - Untersuchungseinrichtung und untersuchungsverfahren

Info

Publication number: DE112016007498T5
Application number: DE112016007498.0T
Authority: DE
Inventors: Kazuyuki Miyazawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-12-06
Filing date: 2016-12-06
Publication date: 2019-08-29
Anticipated expiration: 2036-12-07
Also published as: TW201821788A; US11645744B2; CN110036279A; KR102011628B1; CN110036279B; DE112016007498B4; JPWO2018105028A1; JP6241576B1; KR20190065457A; WO2018105028A1; TWI638157B; US20210295485A1

Abstract

Bei einer herkömmlichen Untersuchungseinrichtung wird erfordert, dass für jedes Pixel eine Berechnung und eine Bestimmung darüber durchgeführt wird, ob es einen Defekt gibt, und dass eine Ausrichtung für alle Pixel hochgenau durchgeführt wird, was zu einer Zunahme bei den Einführungskosten und einer Zunahme in der Computerberechnungszeit führt.
Es wird Folgendes bereitgestellt: eine Analyseeinheit (12a) zum Berechnen eines Parameters, der ein Merkmal von Daten eines defektfreien Objekts repräsentiert, durch Durchführen einer Dimensionalitätsverringerung zum Verringern einer Dimensionalität von Daten an den Daten des defektfreien Objekts, und Durchführen einer Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts unter Verwendung des Parameters; eine Wiederherstellungseinheit (14a) zum Erzeugen von wiederhergestellten Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts, die der Dimensionalitätsverringerung durch die Analyseeinheit (12a) unterzogen wurden, erhalten werden; eine Bestimmungseinheit (14a) zum Ausgeben eines Bestimmungsergebnisses, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den wiederhergestellten Daten; und eine Ausgabeeinheit (15) zum Ausgeben des Bestimmungsergebnisses, das durch die Bestimmungseinheit (14a) ausgegeben wird.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Untersuchungseinrichtung und ein Untersuchungsverfahren zum Untersuchen, aus erhaltenen Daten eines Objekts, ob das Objekt einen Defekt (oder eine Anomalie), wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist.
Stand der Technik
Das Aufnehmen eines Objekts mit einer Kamera und das automatische Untersuchen durch eine Maschine, aus den erhaltenen Bilddaten, ob das Objekt defekt ist, ist eine Technik, die zum Beispiel für die Automatisierung oder Arbeitserleichterung einer visuellen Untersuchung oder einer Aussehensuntersuchung, die bei einem Herstellungsprozess eines industriellen Produkts durchgeführt wird, wichtig ist.
Für eine Untersuchung, ob ein Objekt einen Defekt, wie etwa zum Beispiel einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, speichert herkömmlicherweise eine Untersuchungseinrichtung der Patentliteratur 1 mehrere Bilddatensätze, die durch Aufnehmen eines Objekts erhalten werden, berechnet, aus den mehreren Bilddatensätzen für jedes Pixel mit denselben Koordinaten einen Bereich des Helligkeitswerts, in dem bestimmt wird, dass das Objekt keinen Defekt aufweist, und setzt ihn als ein Untersuchungskriterium, ob das Objekt einen Defekt aufweist. Die Untersuchungseinrichtung bestimmt für jedes Pixel mit denselben Koordinaten, ob der Helligkeitswert eines Bilddatensatzes, der durch Aufnehmen eines zu untersuchenden Objekts erhalten wird, innerhalb des gesetzten Bereichs des Helligkeitswerts liegt, in dem bestimmt wird, dass das Objekt keinen Defekt aufweist, wodurch untersucht wird, ob das Objekt einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist.
Entgegenhaltungsliste
Patentliteratur
Patentliteratur 1: Japanische Patentanmeldung mit der Veröffentlichungs-Nr. 2013-32995
Kurzdarstellung der Erfindung
Technisches Problem
Die obige herkömmliche Untersuchungseinrichtung berechnet jedoch für jedes Pixel den Bereich des Helligkeitswerts, in dem bestimmt wird, dass das Objekt keinen Defekt aufweist, und bestimmt und untersucht für jedes Pixel, ob das Objekt einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist. Somit wird erfordert, dass die Positionsbeziehung zwischen dem Objekt und der Kamera bei der Aufnahme immer konstant ist und eine hochgenaue Ausrichtung für alle Pixel durchgeführt wird. Mit der Einführung der Untersuchungseinrichtung wird erfordert, ein Montagegestell zum Befestigen der Kamera und des Objekts, eine Positionierungseinrichtung und dergleichen einzuführen, um eine Ausrichtung für alle Pixel hochgenau durchzuführen. Dies führt zu einer Zunahme in den Einführungskosten und einer Zunahme in der Computerberechnungszeit.
Die vorliegende Erfindung ist angefertigt worden, um diese wie oben beschriebenen Probleme zu lösen und es wird beabsichtigt, dass sie Folgendes bereitstellt: eine Untersuchungseinrichtung und ein Untersuchungsverfahren zum Untersuchen, ob ein Objekt einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler aufweist, während die Anforderungen, dass das Objekt und eine Kamera sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch Aufnehmen des Objekts erhalten werden, durchgeführt wird, im Vergleich zu der herkömmlichen Untersuchungseinrichtung gelockert werden.
Lösung für das Problem
Eine Untersuchungseinrichtung gemäß der vorliegenden Erfindung beinhaltet Folgendes: eine Analyseeinheit zum Berechnen eines Parameters, der ein Merkmal von Daten eines defektfreien Objekts repräsentiert, durch Durchführen von Dimensionalitätsverringerung zum Verringern einer Dimensionalität von Daten an den Daten des defektfreien Objekts, und Durchführen von Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts unter Verwendung des Parameters; eine Wiederherstellungseinheit zum Erzeugen von wiederhergestellten Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts, die der Dimensionalitätsverringerung durch die Analyseeinheit unterzogen wurden, erhalten werden; eine Bestimmungseinheit zum Ausgeben eines Bestimmungsergebnisses, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den wiederhergestellten Daten; und eine Ausgabeeinheit zum Ausgeben des durch die Bestimmungseinheit ausgegebenen Bestimmungsergebnisses.
Vorteilhafte Auswirkungen der Erfindung
Mit der vorliegenden Erfindung ist es durch das Berechnen eines Parameters, der ein Merkmal von Daten eines defektfreien Objekts repräsentiert, durch Durchführen einer Dimensionalitätsverringerung zum Verringern einer Dimensionalität von Daten an den Daten des defektfreien Objekts, das Durchführen einer Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts unter Verwendung des Parameters, das Erzeugen von wiederhergestellten Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts, die der Dimensionalitätsverringerung unterzogen werden, erhalten werden, und das Ausgeben eines Bestimmungsergebnisses, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den wiederhergestellten Daten, möglich, zu untersuchen, ob ein Objekt einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt und eine Kamera sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch eine Aufnahme des Objekts erhalten werden, durchgeführt wird, im Vergleich zu der herkömmlichen Untersuchungseinrichtung gelockert werden.
Figurenliste

1 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
2 ist ein Hardwarekonfigurationsdiagramm der Untersuchungseinrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung.
3 ist ein Flussdiagramm, das einen Betrieb in einem Lernmodus der Untersuchungseinrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht.
4 ist ein Konzeptdiagramm einer Hauptkomponentenanalyse.
5 ist ein Teil eines Flussdiagramms, das einen Betrieb in einem Untersuchungsmodus der Untersuchungseinrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht.
6 ist ein anderer Teil des Flussdiagramms, das den Betrieb in dem Untersuchungsmodus der Untersuchungseinrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht.
7 veranschaulicht ein Beispiel, bei dem eine Leiterplatte als ein Objekt angenommen wird und es untersucht wird, ob es einen Defekt auf der Platine gibt.
8 veranschaulicht ein Beispiel, bei dem ein Teil der Platine, die ein zu untersuchendes Objekt ist, fehlt.
9 veranschaulicht ein Ergebnis einer Schwellenverarbeitung.
10 veranschaulicht ein Beispiel für eine zweidimensionale Maske zum Definieren eines zu untersuchenden Gebiets.
11 veranschaulicht ein Beispiel für Inhalte, die eine Eingabe/Ausgabe-Einheit einer Eingabe/AusgabeEinrichtung anzuzeigen befiehlt, wenn die Eingabe/AusgabeEinrichtung einen Bildschirm als ihre Komponente beinhaltet.
12 veranschaulicht ein anderes Beispiel für Inhalte, die die Eingabe/Ausgabe-Einheit der Eingabe/Ausgabe-Einrichtung anzuzeigen befiehlt, wenn die Eingabe/Ausgabe-Einrichtung einen Bildschirm als ihre Komponente beinhaltet.
13 veranschaulicht noch ein anderes Beispiel für Inhalte, die die Eingabe/Ausgabe-Einheit der Eingabe/Ausgabe-Einrichtung anzuzeigen befiehlt, wenn die Eingabe/Ausgabe-Einrichtung einen Bildschirm als ihre Komponente beinhaltet.
14 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
15 ist ein Flussdiagramm, das einen Betrieb in einem Lernmodus der Untersuchungseinrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
16 ist ein Diagramm, in dem ein Neuron als ein Knoten mit mehreren Eingaben und einer einzigen Ausgabe modelliert wird.
17 veranschaulicht ein Beispiel für ein Sanduhr-Neuronalnetzwerk.
18 ist ein Beispiel, das einen Prozess veranschaulicht, bei dem die Anzahl von verborgenen Schichten eines Autoencoders geändert wird.
19 ist ein Teil eines Flussdiagramms, das einen Betrieb in einem Untersuchungsmodus der Untersuchungseinrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
20 ist ein anderer Teil des Flussdiagramms, das den Betrieb in dem Untersuchungsmodus der Untersuchungseinrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht.
21 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung.
22 ist ein Teil eines Flussdiagramms, das einen Betrieb in einem Untersuchungsmodus der Untersuchungseinrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht.
23 ist ein anderer Teil des Flussdiagramms, das den Betrieb in dem Untersuchungsmodus der Untersuchungseinrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht.

Beschreibung der Ausführungsformen
Erste Ausführungsform
1 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
Das Untersuchungssystem beinhaltet die Untersuchungseinrichtung 1, die ein Objekt 3 untersucht, eine Kamera 2, die das Objekt 3 aufnimmt, und eine Eingabe/Ausgabe-Einrichtung 4, die Untersuchungsinhalt empfängt und ein Untersuchungsergebnis ausgibt. Die Untersuchungseinrichtung 1 empfängt als Eingabedaten Bilddaten des Objekts 3, das durch die Kamera 2 aufgenommen wird, analysiert diese und sendet ein Ergebnis davon zu der Eingabe/Ausgabe-Einrichtung 4.
Die Untersuchungseinrichtung 1 beinhaltet eine Steuereinheit (oder eine Steuerung) 10, die Einheiten steuert, eine Eingabeeinheit (oder einen Empfänger) 11, in die Bilddaten eingegeben werden, eine Analyseeinheit (oder eine Analysevorrichtung) 12a, die die Bilddaten, die über die Eingabeeinheit 11 eingegeben werden, analysiert, eine Speicherungseinheit (oder einen Speicher) 13a, die ein Ergebnis der Analyse aufzeichnet, eine Bestimmungseinheit (oder eine Bestimmungsvorrichtung) 14a, die aus einem Ergebnis der Analyse und den erhaltenen Bilddaten ein Bestimmungsergebnis ausgibt, das angibt, ob das Objekt 3 defekt (oder anormal) ist, und eine Eingabe/Ausgabe-Einheit 15, die das durch die Bestimmungseinheit 14a ausgegebene Bestimmungsergebnis ausgibt.
Die Steuereinheit 10 sendet und empfängt Befehle zu und von der Eingabeeinheit 11, der Analyseeinheit 12a, der Speicherungseinheit 13a, der Bestimmungseinheit 14a und der Eingabe/Ausgabe-Einheit 15, wodurch die Einheiten gesteuert werden.
Die Eingabeeinheit 11 empfängt Bilddaten des Objekts 3 von der Kamera 2. Die Bilddaten sind ein Beispiel für Daten des Objekts 3 und sind nicht auf Bilddaten beschränkt und können Daten sein, die eine Wellenform, einen Festkörper oder dergleichen repräsentieren. Die erste Ausführungsform nimmt an, dass die Eingabebilddaten digitale Daten sind, aber sie können analoge Daten sein.
Die Analyseeinheit 12a führt selektiv zwei unterschiedliche Betriebsmodi gemäß einem von der Steuereinheit 10 gesendeten Befehl aus. Hier sind die beiden Betriebsmodi ein Lernmodus und ein Untersuchungsmodus. Im Lernmodus verwendet sie einen oder mehrere Bilddatensätze eines normalen Objekts 3, das keinen Defekt (oder keine Anomalie) aufweist, um eine Dimensionalitätsverringerung zum Verringern der Dimensionalität (oder der Anzahl von Dimensionen) der Bilddatensätze des Objekts 3 an den Bilddatensätzen des normalen defektfreien Objekts 3 durchzuführen, und berechnet dadurch einen Parameter, der ein Merkmal der Datensätze des defektfreien normalen Objekts 3 repräsentiert, wodurch sie erlernt, wie der Normalzustand ist. Somit führt die Untersuchungseinrichtung 1 im Lernmodus keine Untersuchung auf Defekte eines Objekts 3 durch. Die Untersuchung auf Defekte wird im Untersuchungsmodus durchgeführt, der nach Beendigung des Lernmodus durchgeführt wird. Wenn die Anzahl der Bilddatensätze des defektfreien normalen Objekts 3 zwei oder mehr ist, wird hier ein einzelner Parameter berechnet, der ein Merkmal der Datensätze des normalen Objekts 3 repräsentiert. Im Lernmodus wird erfordert, dass sich das Objekt 3 in einem Normalzustand ohne Defekt befindet. Falls Objekte 3 Objekte desselben Typs sind, ist es möglich, die Bilddatensätze von den mehreren unterschiedlichen Objekten zu erhalten. Nachfolgend werden Bilddatensätze, die durch Aufnehmen eines defektfreien Objekts 3 erhalten werden, als normale Bilddatensätze bezeichnet.
Im Untersuchungsmodus führt sie an einem Bilddatensatz eines zu untersuchenden Objekts 3 dieselbe Dimensionalitätsverringerung durch wie die, die bei der Berechnung des im Lernmodus erlernten Parameters, der das Merkmal der Datensätze des normalen Objekts 3 repräsentiert, durchgeführt wird.
Die Speicherungseinheit 13a speichert ein Lernergebnis, liest das Lernergebnis und sendet das Lernergebnis zu der Analyseeinheit 12a gemäß Befehlen von der Steuereinheit 10. Das hier gelesene Lernergebnis ist ein Lernergebnis, das dem im Lernmodus verwendeten Dimensionalitätsverringerungsverfahren entspricht.
Die Bestimmungseinheit 14a stellt den Bilddatensatz des zu untersuchenden Objekts 3, der der Dimensionalitätsverringerung unterzogen wird, durch dasselbe Verfahren, wie das, das für die Dimensionalitätsverringerung verwendet wird, wieder her und gibt ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen dem wiederhergestellten Datensatz, der der wiederhergestellte Bilddatensatz ist, und dem Bilddatensatz des zu untersuchenden Objekts 3 zu der Eingabe/Ausgabe-Einheit 15 aus. Die Bestimmungseinheit 14a ist ein Beispiel für eine Einheit, die als sowohl eine Wiederherstellungseinheit (oder Wiederherstellungsvorrichtung) als auch eine Bestimmungseinheit (oder Bestimmungsvorrichtung) dient.
Die Eingabe/Ausgabe-Einheit 15 gibt Informationen, die den Verlauf des Lernens oder dergleichen angeben, über die Eingabe/Ausgabe-Einrichtung 4 gemäß Befehlen von der Steuereinheit 10 nach außen aus. Hier wird angenommen, dass ein Bediener die Eingabe/Ausgabe-Einrichtung 4 außen sieht; dies ist jedoch nicht zwingend und es ist auch möglich, ein Signal zu einer externen Steuereinrichtung oder dergleichen ohne einen Eingriff eines Bedieners auszugeben. Die Eingabe/Ausgabe-Einheit 15 gibt auch das Bestimmungsergebnis, das von der Bestimmungseinheit 14a empfangen wird, über die Eingabe/Ausgabe-Einrichtung 4 gemäß einem Befehl von der Steuereinheit 10 nach außen aus. Hier wird angenommen, dass ein Bediener die Eingabe/Ausgabe-Einrichtung 4 außen sieht; dies ist jedoch nicht zwingend und es ist auch möglich, ein Signal zu einer externen Steuereinrichtung oder dergleichen ohne einen Eingriff eines Bedieners auszugeben. Die Eingabe/Ausgabe-Einheit 15 ist ein Beispiel für eine Ausgabeeinheit und beinhaltet bei der ersten Ausführungsform eine Eingabeeinheit zusätzlich zu einer Ausgabeeinheit.
Die Kamera 2 erhält Bilddaten eines Objekts 3 durch Aufnehmen des Objekts 3 und Speichern von diesem in Bilddaten. Die Kamera 2 sendet die Bilddaten des Objekts 3 zu der Untersuchungseinrichtung 1. Die Kamera 2 ist ein Beispiel und eine beliebige, die zum Erhalten von Daten eines Objekts 3 fähig ist, kann stattdessen verwendet werden.
Die Eingabe/Ausgabe-Einrichtung 4 empfängt Untersuchungsinhalt der Untersuchungseinrichtung 1 und gibt ein durch die Untersuchungseinrichtung 1 ausgegebenes Untersuchungsergebnis aus. Die Eingabe/Ausgabe-Einrichtung 4 kann zum Beispiel aus einem Bildschirm, einem Lautsprecher, einer Tastatur, einer Maus und dergleichen konstituiert sein. Der Bildschirm ist ein Beispiel für eine Anzeigeeinheit.
2 ist ein Hardwarekonfigurationsdiagramm der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung. Eine Konfiguration der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf 2 beschrieben.
Bei der ersten Ausführungsform wird die Untersuchungseinrichtung 1 durch einen Computer gebildet. Der Computer, der die Untersuchungseinrichtung 1 bildet, beinhaltet Hardware einschließlich eines Busses 104, einer Eingabe/Ausgabe-Schnittstelle 100, die Daten sendet und empfängt, eines Speichers 102, eines Speicherungsmediums 103, das Programme, Lerndaten und dergleichen speichert, und eines Prozessors 101, der Programme im Speicherungsmedium 103, die in den Speicher 102 geladen werden, liest und ausführt. Nachfolgend wird die Eingabe/Ausgabe-Schnittstelle 100 als die Eingabe/Ausgabe-IF (IF: Interface) 100 bezeichnet.
Der Bus 104 ist ein Signalpfad, der die Einrichtungen elektrisch verbindet und über den Daten kommuniziert werden.
Die Eingabe/Ausgabe-IF 100 sendet und empfängt Daten. Wenn zum Beispiel ein Startsignal und ein Einstellungssignal für die Untersuchungseinrichtung 1 von der Eingabe/AusgabeEinrichtung 4 empfangen wird, sendet die Eingabe/Ausgabe-IF 100 diese zu der Steuereinheit 10. Wenn zum Beispiel außerdem ein Befehlssignal von der Steuereinheit 10 für die Analyseeinheit 12a empfangen wird, sendet die Eingabe/Ausgabe-IF 100 das Befehlssignal zu der Analyseeinheit 12a. Die Eingabeeinheit 11 und die Eingabe/Ausgabe-Einheit 15 werden durch die Eingabe/Ausgabe-IF 100 implementiert.
Der Speicher 102 fungiert als ein Arbeitsbereich, in den Programme, die im Speicherungsmedium 103 gespeichert sind, geladen werden. Der Speicher 102 ist zum Beispiel ein Direktzugriffsspeicher (RAM: Random Access Memory).
Das Speicherungsmedium 103 speichert ein Programm zum Implementieren von Funktionen eines Programms für den Lernmodus und eines Programms für den Untersuchungsmodus. Das Speicherungsmedium 103 speichert außerdem Lerndaten oder dergleichen. Das Speicherungsmedium 103 ist zum Beispiel ein Nurlesespeicher (ROM: Read Only Memory), ein Flash-Speicher oder eine Festplatte (HDD: Hard Disk Drive). Das Speicherungsmedium 103 speichert außerdem ein Betriebssystem (OS: Operating System). Die Speicherungseinheit 13a wird durch das Speicherungsmedium 103 implementiert.
Der Prozessor 101 ist über den Bus 104 mit den anderen Einrichtungen verbunden und steuert die anderen Einrichtungen und die Einheiten. Der Prozessor 101 liest Programme im Speicherungsmedium 103, die in den Speicher 102 geladen werden, und führt diese aus. Der Prozessor 101 lädt zumindest einen Teil des in dem Speicherungsmedium 103 gespeicherten OS in den Speicher 102 und führt die Programme aus, während das OS ausgeführt wird. Der Prozessor 101 ist eine integrierte Schaltung (IC: Integrated Circuit), die eine Verarbeitung durchführt. Der Prozessor 101 ist zum Beispiel eine Zentralverarbeitungseinheit (CPU: Central Processing Unit). Die Steuereinheit 10, die Analyseeinheit 12a und die Bestimmungseinheit 14a werden durch den Prozessor 101 implementiert, der Programme im Speicherungsmedium 103, die in den Speicher 102 geladen werden, liest und ausführt.
Informationen, die Ergebnisse der jeweiligen Einrichtungen, Daten, Signalwerte, die Werte von Variablen und dergleichen angeben, sind im Speicher 102, im Speicherungsmedium 103 oder einem Register oder einem Cache-Speicher im Prozessor 101 gespeichert.
Der Speicher 102 und das Speicherungsmedium 103 können eine einzige Einrichtung anstatt separater Einrichtungen sein.
Die Programme können in einem portablen Aufzeichnungsmedium gespeichert sein, wie etwa einer magnetischen Platte, einer flexiblen Platte, einer optischen Platte, einer Compact Disc, einer DVD (Digital Versatile Disc).
Als Nächstes werden Arbeitsabläufe der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung beschrieben.
3 ist ein Flussdiagramm, das einen Betrieb in dem Lernmodus der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht. Der Betrieb im Lernmodus der Untersuchungseinrichtung 1 wird unten unter Bezugnahme auf 3 beschrieben.
Im Schritt S10 empfängt die Steuereinheit 10 ein Startsignal und ein Einstellungssignal von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15. Sie erteilt der Eingabeeinheit 11 dann einen Befehl gemäß dem Einstellungssignal. Die Eingabeeinheit 11 empfängt einen normalen Bilddatensatz eines Objekts 3 von der Kamera 2. Hier kann das Timing zum Empfangen eines normalen Bilddatensatzes als zum Beispiel 30 Mal pro Sekunde vorbestimmt sein oder kann gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. Die Steuereinheit 10 erteilt der Analyseeinheit 12a einen Befehl zum Starten der Verarbeitung des Lernmodus. Die Analyseeinheit 12a schaltet durch Lesen, aus dem Speicher 102, des Programms, das dem Lernmodus im Speicherungsmedium 103, das in den Speicher 102 geladen wird, entspricht, zu dem Lernmodus und führt ihn im Prozessor 101 aus. Die Analyseeinheit 12a empfängt von der Eingabeeinheit 11 den normalen Bilddatensatz des Objekts 3, der durch die Kamera 2 aufgenommen wird.
Im Schritt S11 bestimmt die Analyseeinheit 12a, ob zusätzlich ein normaler Bilddatensatz erhalten oder das Empfangen eines normalen Bilddatensatzes beendet werden soll. Hier kann die Bestimmung, ob das Empfangen eines normalen Bilddatensatzes beendet werden soll, durch die Analyseeinheit 12a bestimmt werden oder kann gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In einem Fall, bei dem es durch die Analyseeinheit 12a bestimmt wird, kann das Empfangen eines normalen Bilddatensatzes beendet werden, wenn die Anzahl der empfangenen normalen Bilddatensätze zum Beispiel eine zuvor festgelegte Anzahl erreicht. Die zuvor festgelegte Anzahl ist zum Beispiel 100, 1000 oder dergleichen. In einem Fall, wenn es gemäß einem Befehl von der Steuereinheit 10 bestimmt wird, kann die Steuereinheit 10 zum Beispiel einen Befehl zum Beenden des Empfangens eines normalen Bilddatensatzes von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15 empfangen und ihn zu der Analyseeinheit 12a senden.
Im Schritt S12 kehrt die Analyseeinheit 12a zu dem Empfang eines normalen Bilddatensatzes zurück oder geht zum nächsten Schritt über, gemäß dem Bestimmungsergebnis im Schritt S11. Wenn bei der Bestimmung, ob das Empfangen eines normalen Bilddatensatzes beendet werden soll, bestimmt wird, dass gefordert wird, weiterhin einen normalen Bilddatensatz zu empfangen, resultiert Schritt S12 in Nein, und kehrt zu Schritt S10 zurück. Wenn bestimmt wird, dass das Empfangen eines normalen Bilddatensatzes zu beenden ist, resultiert Schritt S12 in Ja, und geht zum nächsten Schritt über.
Im Schritt S13 führt die Analyseeinheit 12a eine Dimensionalitätsverringerung unter Verwendung des einen oder der mehreren empfangenen normalen Bilddatensätze durch. Hier bezieht sich die Dimensionalitätsverringerung auf das Umwandeln von hochdimensionalen Daten, wie etwa Bilddaten oder dreidimensionalen Festkörperdaten, in niederdimensionale Daten. Die Analyseeinheit 12a führt Lernen unter Verwendung der normalen Bilddatensätze im Lernmodus durch, um ein Datenumwandlungsverfahren zu erhalten, das für die normalen Bilddatensätze optimal ist.
Bekannte Dimensionalitätsverringerungsverfahren beinhalten Hauptkomponentenanalyse, lineare Diskriminanzanalyse, kanonische Korrelationsanalyse, diskrete Kosinustransformation, Zufallsprojektion, einen Autoencoder mit einem Neuronalnetzwerk und dergleichen. Unter diesen ist die Hauptkomponentenanalyse eine der am häufigsten verwendeten linearen Dimensionalitätsverringerungsverfahren. Das Folgende beschreibt einen Fall, bei dem eine Hauptkomponentenanalyse verwendet wird.
Die Hauptkomponentenanalyse ist ein Verfahren zum Erhalten, aus einer großen Anzahl von normalen Bilddatensätzen für Lernen, die in einem mehrdimensionalen Raum verteilt ist, eines niedrigerdimensionalen Raums, der ein Merkmal der Verteilung repräsentiert. Der niedrigerdimensionale Raum wird als ein Unterraum bezeichnet. Wenn die Pixelwerte der großen Anzahl von normalen Bilddatensätzen, die im Schritt S10 empfangen werden, einfach in einem Raum grafisch dargestellt werden, sind sie häufig in einem Cluster in einem erheblich niederdimensionalen Unterraum verteilt.
4 ist ein Konzeptdiagramm der Hauptkomponentenanalyse. Wie zum Beispiel in 4 veranschaulicht, sind normale Bilddatensätze, die in einem dreidimensionalen Raum verteilt sind, als eine Gruppe dargestellt, die in einer Ebene enthalten ist. Bei der Hauptkomponentenanalyse wird die zweidimensionale Ebene, wie in 4, die ein Merkmal der Gruppe repräsentiert, erhalten. Hier hat eine Dimension keine physische Bedeutung und bezieht sich auf ein in Daten enthaltenes Element. Dimensionalität (oder Anzahl von Dimensionen) bezieht sich auf die Anzahl von in Daten enthaltenen Elementen. Hier ist ein Pixel gleich einer Dimension und weist zum Beispiel ein Bilddatensatz mit 10 Pixeln vertikal und 10 Pixeln horizontal 10 × 10 = 100 Pixel auf und ist somit ein „100-dimensionaler Datensatz“. Somit wird es als ein Punkt in einem 100-dimensionalen Raum repräsentiert. 4 ist ein schematisches Diagramm, das die Hauptkomponentenanalyse veranschaulicht, sodass die Hauptkomponentenanalyse visualisiert ist. Jede Ellipse in 4 entspricht einem der Bilddatensätze. In 4 sind sie, da die Bilddatensätze dreidimensional repräsentiert sind, dreidimensionale Bilddatensätze. Dieses Beispiel zeigt eine Situation, bei der die Bilddatensätze, die tatsächlich im dreidimensionalen Raum verteilt sind, im zweidimensionalen Unterraum repräsentiert werden, d. h. in der Dimensionalität verringert sind.
Die Gesamtanzahl von normalen Bilddatensätzen, die im Schritt S10 empfangen werden, wird durch N bezeichnet und die Gesamtanzahl von Pixeln jedes normalen Bilddatensatzes wird durch K bezeichnet. Beispielsweise ist der Wert von N 100, 1000 oder dergleichen und der Wert von K ist 1024, wenn die Größe der normalen Bilddatensätze 32 × 32 Pixel ist, und ist 409600, wenn die Größe 640 × 640 Pixel ist, oder dergleichen. Wenn eine Nummer eines normalen Bilddatensatzes durch n bezeichnet wird, kann der normale Bilddatensatz x_n durch die Gleichung (1) als ein Vektor repräsentiert werden, wobei T einen transponierten Vektor angibt.
$x_{n} = {(x_{n 1}, x_{n 2}, \dots, x_{n k})}^{T}, n = 1,2, \dots, N$
Dann werden ein mittlerer Vektor M und eine Varianz-Kovarianz-Matrix S davon gemäß den Gleichungen (2) und (3) erhalten.
$M = \frac{1}{N} \sum_{n = 1}^{N} x_{n}$
$S = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - M) {(x_{n} - M)}^{T}$
Bei der Hauptkomponentenanalyse wird für die Verteilung der normalen Bilddatensätze im Raum eine erste Hauptkomponente erhalten, die eine Gerade ist, die durch den Punkt läuft, der der Mittelwert ist, und sich in eine Richtung mit der größten Variabilität erstreckt. Als Nächstes wird eine Gerade einer zweiten Hauptkomponente erhalten, die orthogonal zu der ersten Hauptkomponente ist, die durch den Mittelwert läuft und sich in eine Richtung mit der zweitgrößten Variabilität erstreckt. Auf diese Weise werden Hauptkomponenten der Reihe nach erhalten. Die Richtungen mit großer Variabilität, die durch den Mittelwert laufen, sind äquivalent zu dem Problem des Erhaltens von Eigenvektoren der Varianz-Kovarianz-Matrix S.
Genauer gesagt, werden Eigenwerte λ_j und Eigenvektoren u_j, die die Gleichung (4) erfüllen, unter Verwendung der berechneten Varianz-Kovarianz-Matrix S erhalten, wobei j eine Dimensionszahl ist.
$S u_{j} = λ_{j} u_{j}$
Das Auswählen der d Eigenvektoren u_j, die den ersten bis d-ten größten Eigenwerten λ_j entsprechen, ergibt d Hauptkomponenten (u₁, u₂,..., u_d). Größere Eigenwerte λ_j geben mehr Hauptkomponenten in der Hauptkomponentenanalyse an. Durch das Extrahieren von Hauptkomponenten werden Parameter in der Hauptkomponentenanalyse in der Reihenfolge der Wichtigkeit sortiert. d ≤ K und im Allgemeinen ist d wesentlich kleiner als K. u_j wird als die j-te Hauptkomponente bezeichnet. Die Hauptkomponenten sind gegenseitig orthogonal und können als Basen bezeichnet werden. Die Werte der d Hauptkomponenten (u₁, u₂,..., u_d) sind ein Beispiel für einen Parameter, der ein Merkmal der Datensätze des Objekts 3 repräsentiert.
Die ursprünglichen normalen Bilddatensätze vor der Dimensionalitätsverringerung können als eine Linearkombination der Hauptkomponenten repräsentiert werden. Durch das Annehmen der ersten bis d-ten Dimensionen und Verwerfen der anderen, d. h. (d+1)-ter und nachfolgender Dimensionen, können die normalen Bilddatensätze, die ursprünglich K Dimensionen aufweisen, zu solchen verringert werden, die d Dimensionen aufweisen.
Hier ist der Wert von d ein wichtiger Parameter, der die Leistungsfähigkeit der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform beeinflusst. Durch das zweckmäßige Setzen des Werts von d ist es möglich, nur wichtige Komponenten zu extrahieren, die üblicherweise in den normalen Bilddatensätzen, die im Schritt S10 empfangen werden, auftreten. Währenddessen ist es möglich, unerwünschte Komponenten, wie etwa eine Variation zwischen den Objekten 3 desselben Typs, eine Variation zwischen den Bilddatensätzen infolge der Differenz zwischen ihren Aufnahmezeiten oder Rauschen der Kamera, zu eliminieren.
Wenn der Wert von d jedoch zu klein ist, werden wichtige Komponenten eliminiert, und wenn der Wert von d zu groß ist, werden unerwünschte Komponenten gelassen.
Der Wert von d kann zum Beispiel gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In diesem Fall empfängt die Steuereinheit 10 den Wert von d von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15 und sendet ihn zu der Analyseeinheit 12a.
Die Analyseeinheit 12a kann auch den Wert von d, der im Speicher 102 oder im Speicherungsmedium 103 gespeichert ist, lesen und verwenden. In diesem Fall kann der zuvor gespeicherte Wert von d zum Beispiel etwa ein Zehntel oder ein Fünftel der Gesamtanzahl K von Pixeln jedes Bilddatensatzes oder dergleichen sein.
Die Analyseeinheit 12a kann auch den Wert von d auf Basis von Charakteristiken der normalen Bilddatensätze für Lernen adaptiv bestimmen. In diesem Fall ist es effektiv, ein kumulatives Beitragsverhältnis P zu verwenden, das durch die Gleichung (5) berechnet wird.
$P = \frac{100 \sum_{j = 1}^{d} λ_{j}}{\sum_{j = 1}^{K} λ_{j}}$
Das kumulative Beitragsverhältnis P ist ein Indikator, der angibt, wie viele Charakteristiken von Informationen, die in den ursprünglichen normalen Bilddatensätzen vor einer Dimensionalitätsverringerung enthalten sind, unter Verwendung der ersten bis d-ten Komponenten repräsentiert werden können, und die Analyseeinheit 12a kann eine Dimensionalitätsverringerung zweckmäßig für Charakteristiken der normalen Bilddatensätze durch Erhalten des kleinsten Werts von d durchführen, sodass der Wert von P einen Schwellenwert überschreitet.
Der Schwellenwert für das kumulative Beitragsverhältnis P kann zum Beispiel gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In diesem Fall empfängt die Steuereinheit 10 den Schwellenwert von der Eingabe/AusgabeEinrichtung 4 über die Eingabe/Ausgabe-Einheit 15 und sendet ihn zu der Analyseeinheit 12a.
Die Analyseeinheit 12a kann auch den Schwellenwert, der im Speicher 102 oder im Speicherungsmedium 103 gespeichert ist, lesen und verwenden. In diesem Fall kann der zuvor gespeicherte Schwellenwert zum Beispiel 80, 100 oder dergleichen sein.
Wiederum unter Bezugnahme auf 3 sendet die Analyseeinheit 12a im Schritt S14 nach dem Durchführen der Dimensionalitätsverringerung die d Hauptkomponenten (u₁ , u₂ ,..., u_d ) als einen Parameter, der ein Merkmal der Daten des Objekts 3 repräsentiert und aus dem Lernen der normalen Bilddatensätze resultiert, zu der Speicherungseinheit 13a. Die Speicherungseinheit 13a speichert den Parameter, der ein von der Analyseeinheit 12a ausgegebenes Lernergebnis ist und das Merkmal der Daten des Objekts 3 repräsentiert, in das Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10. Obwohl beschrieben worden ist, dass die Speicherungseinheit 13a den Parameter, der ein von der Analyseeinheit 12a ausgegebenes Lernergebnis ist und das Merkmal der Daten des Objekts 3 repräsentiert, in das Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10 speichert, kann er im Speicher 102 gespeichert werden.
Im Lernmodus erteilt die Steuereinheit 10 nach Abschluss der Verarbeitung durch die Analyseeinheit 12a der Eingabe/Ausgabe-Einheit 15 einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 gibt die Eingabe/Ausgabe-Einheit 15 Informationen, die den Verlauf des Lernens oder dergleichen angeben, über die Eingabe/Ausgabe-Einrichtung 4 nach außen aus. Hier wird angenommen, dass ein Bediener die Eingabe/AusgabeEinrichtung 4 außen sieht; dies ist jedoch nicht zwingend und es ist auch möglich, ein Signal zu einer externen Steuereinrichtung ohne einen Eingriff eines Bedieners auszugeben.
5 ist ein Teil eines Flussdiagramms, das einen Betrieb in dem Untersuchungsmodus der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht. Der Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 1 wird unten unter Bezugnahme auf 5 beschrieben.
Im Schritt S20 empfängt die Steuereinheit 10 ein Startsignal und ein Einstellungssignal von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15. Sie erteilt der Eingabeeinheit 11 dann einen Befehl gemäß dem Einstellungssignal. Die Eingabeeinheit 11 empfängt einen zu untersuchenden Bilddatensatz eines Objekts 3 von der Kamera 2. Hier kann das Timing zum Empfangen eines Bilddatensatzes als zum Beispiel 30 Mal pro Sekunde vorbestimmt sein oder kann gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. Die Steuereinheit 10 erteilt der Analyseeinheit 12a einen Befehl zum Starten der Verarbeitung des Untersuchungsmodus. Die Analyseeinheit 12a schaltet durch Lesen, aus dem Speicher 102, des Programms, das dem Untersuchungsmodus entspricht, im Speicherungsmedium 103, das in den Speicher 102 geladen wird, zu dem Untersuchungsmodus und führt ihn im Prozessor 101 aus. Die Analyseeinheit 12a empfängt von der Eingabeeinheit 11 den Bilddatensatz des Objekts 3, der durch die Kamera 2 aufgenommen wird. Der zu untersuchende Bilddatensatz des Objekts 3 ist ein Beispiel für Daten eines zu untersuchenden Objekts.
Im Schritt S21 bestimmt die Analyseeinheit 12a, ob zusätzlich ein Bilddatensatz erhalten oder das Empfangen eines Bilddatensatzes beendet werden soll. Hier kann die Bestimmung, ob das Empfangen eines Bilddatensatzes beendet werden soll, durch die Analyseeinheit 12a bestimmt werden oder kann gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In einem Fall, wenn es durch die Analyseeinheit 12a bestimmt wird, kann das Empfangen eines Bilddatensatzes beendet werden, wenn die Anzahl von empfangenen Bilddatensätzen zum Beispiel eine zuvor festgelegte Anzahl erreicht. Die zuvor festgelegte Anzahl ist zum Beispiel 1, 10 oder dergleichen. In einem Fall, wenn es gemäß einem Befehl von der Steuereinheit 10 bestimmt wird, kann die Steuereinheit 10 zum Beispiel einen Befehl zum Beenden des Empfangens eines Bilddatensatzes von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15 empfangen und ihn zu der Analyseeinheit 12a senden.
Im Schritt S22 kehrt die Analyseeinheit 12a zu dem Empfang eines Bilddatensatzes zurück oder geht zum nächsten Schritt über, gemäß dem Bestimmungsergebnis im Schritt S21. Wenn bei der Bestimmung, ob das Empfangen eines Bilddatensatzes beendet werden soll, bestimmt wird, dass gefordert wird, weiterhin einen Bilddatensatz zu empfangen, resultiert Schritt S22 in Nein, und kehrt zu Schritt S20 zurück. Wenn bestimmt wird, dass das Erfassen eines Bilddatensatzes zu beenden ist, resultiert Schritt S22 in Ja, und geht zum nächsten Schritt über.
Im Schritt S23 sendet die Analyseeinheit 12a, um ein Ergebnis des Lernens im Lernmodus zu lesen, eine Leseanfrage zu der Steuereinheit 10. Die Speicherungseinheit 13a liest ein benötigtes Lernergebnis aus dem Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10 und gibt es in die Analyseeinheit 12a ein. Das hier gelesene Lernergebnis ist ein Lernergebnis, das dem im Lernmodus verwendeten Dimensionalitätsverringerungsverfahren des Schritts S13 entspricht. Genauer gesagt, da die Hauptkomponentenanalyse als ein Beispiel verwendet wird, werden bei der ersten Ausführungsform die Werte der d Hauptkomponenten (u₁ , u₂ ,..., u_d ), die Vektoren sind, die Hauptkomponenten repräsentieren, als das Lernergebnis gelesen.
Im Schritt S24 führt die Analyseeinheit 12a eine Dimensionalitätsverringerung an dem mindestens einen empfangenen zu untersuchenden Bilddatensatz auf Basis des gelesenen Lernergebnisses durch. Das Verfahren für die Dimensionalitätsverringerung ist ein Dimensionalitätsverringerungsverfahren, das dem im Lernmodus verwendeten Dimensionalitätsverringerungsverfahren des Schritts S13 entspricht. Da die Werte der d Hauptkomponenten (u₁ , u₂ ,..., u_d ), die Vektoren sind, die Hauptkomponenten repräsentieren, im Lernmodus erhalten wurden, wird die Dimensionalitätsverringerung durch Projizieren des zu untersuchenden Bilddatensatzes auf die d Vektoren durchgeführt. Die Analyseeinheit 12a sendet den zu untersuchenden Bilddatensatz und den Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, zu der Bestimmungseinheit 14a. Hier gibt ein Bezugszeichen A den anschließenden Prozess an, der später ausführlich beschrieben wird.
6 ist ein anderer Teil des Flussdiagramms, das den Betrieb in dem Untersuchungsmodus der Untersuchungseinrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung veranschaulicht. Eine Weiterführung des Betriebs im Untersuchungsmodus der Untersuchungseinrichtung 1 wird unten unter Bezugnahme auf 6 beschrieben.
Dem Prozess A folgend, anschließend an den Schritt S24, erteilt die Steuereinheit 10 nach Abschluss der Verarbeitung durch die Analyseeinheit 12a im Schritt S30 der Bestimmungseinheit 14a einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 liest die Bestimmungseinheit 14a aus dem Speicher 102 ein Programm im Speicherungsmedium 103, das in den Speicher 102 geladen wird, und führt es im Prozessor 101 aus. Die Bestimmungseinheit 14a stellt zuerst den von der Analyseeinheit 12a empfangenen Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, als einen Bilddatensatz wieder her. Hier ist das Verfahren zum Wiederherstellen des Bilddatensatzes dasselbe wie das, das für die Dimensionalitätsverringerung im Schritt S24 verwendet wird. Somit wird die Wiederherstellung bei der ersten Ausführungsform unter Verwendung der Hauptkomponentenanalyse durchgeführt.
Wenn die Hauptkomponentenanalyse für die Dimensionalitätsverringerung verwendet wird, wird, da der empfangene Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, durch den niedrigerdimensionalen Unterraum repräsentiert wird, wie in 4 veranschaulicht, die Wiederherstellung des Bilddatensatzes durch Projizieren des Vektors auf einen Raum mit denselben Dimensionen wie der ursprüngliche Bilddatensatz durchgeführt.
Im Schritt S31 berechnet die Bestimmungseinheit 14a eine Differenz zwischen dem wiederhergestellten Bilddatensatz und dem zu untersuchenden Bilddatensatz. Zu dieser Zeit wird als die Differenz eine Differenz für jedes Pixel berechnet. Die Differenz kann eine absolute Differenz sein. Nachfolgend wird der wiederhergestellte Bilddatensatz als der wiederhergestellte Datensatz bezeichnet.
7 veranschaulicht ein Beispiel, bei dem eine Leiterplatte als das Objekt 3 angenommen wird und untersucht wird, ob es einen Defekt auf der Platine gibt. In 7 veranschaulicht die linke Figur einen zu untersuchenden Bilddatensatz, die mittlere Figur veranschaulicht einen wiederhergestellten Datensatz und die rechte Figur veranschaulicht eine Datensatz, der die Differenz zwischen dem zu untersuchenden Bilddatensatz und dem wiederhergestellten Datensatz repräsentiert. In dem Datensatz der rechten Figur, die die Differenz zwischen dem zu untersuchenden Bilddatensatz und dem wiederhergestellten Datensatz repräsentiert, gibt ein dunklerer Farbton eine kleinere Differenz an, und ein hellerer Farbton gibt eine größere Differenz an. In einem Fall, bei dem die Platine, die das zu untersuchende Objekt 3 ist, normal ist, ist es, nachdem die Dimensionalitätsverringerung durchgeführt wird, möglich, einen Bilddatensatz wiederherzustellen, der fast derselbe ist wie der zu untersuchende Bilddatensatz. Dies liegt daran, dass im Lernmodus ein Verfahren zum effizienten Repräsentieren eines Merkmals der normalen Bilddatensätze gelernt wird und im Untersuchungsmodus, wenn das zu untersuchende Objekt 3 normal ist, der zu untersuchende Bilddatensatz den normalen Bilddatensätzen, die zum Lernen verwendet werden, weitgehend ähnelt.
Wenn, wie in 7 veranschaulicht, die Differenz zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz berechnet wird, ist somit die Differenz über den gesamten Bilddatensatz fast null.
Andererseits kann in einem Fall, bei dem das zu untersuchende Objekt 3 defekt ist, nachdem die Dimensionalitätsverringerung unter Verwendung des Ergebnisses des Lernens mit den normalen Bilddatensätzen durchgeführt wird, ein Teil, das sich erheblich von dem der normalen Bilddatensätze unterscheidet, nicht richtig wiederhergestellt werden.
8 veranschaulicht ein Beispiel, bei dem ein Teil der Platine, die ein zu untersuchendes Objekt 3 ist, fehlt. In 8 veranschaulicht die linke Figur einen zu untersuchenden Bilddatensatz, die mittlere Figur veranschaulicht einen wiederhergestellten Datensatz und die rechte Figur veranschaulicht einen Datensatz, der die Differenz zwischen dem zu untersuchenden Bilddatensatz und dem wiederhergestellten Datensatz repräsentiert. In dem Datensatz der rechten Figur, die die Differenz zwischen dem zu untersuchenden Bilddatensatz und dem wiederhergestellten Datensatz repräsentiert, gibt ein dunklerer Farbton eine kleinere Differenz an, und ein hellerer Farbton gibt eine größere Differenz an. In diesem Fall wird im wiederhergestellten Datensatz das normale Teil richtig wiederhergestellt, aber das fehlende Teil kann nicht richtig wiederhergestellt werden, da es auf Basis der normalen Bilddatensätze, die im Lernmodus verwendet werden, wiederhergestellt wird.
Wenn, wie in 8 veranschaulicht, eine Differenz zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz berechnet wird, ist die Differenz somit nur in dem Teil groß, das das defekte Teil ist und sich von dem der normalen Bilddatensätze unterscheidet.
Wiederum unter Bezugnahme auf 6 gibt die Bestimmungseinheit 14a im Schritt S32 ein Bestimmungsergebnis, das angibt, ob der zu untersuchende Bilddatensatz defekt ist, auf Basis der Differenz zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz zu der Eingabe/Ausgabe-Einheit 15 aus. Die Bestimmungseinheit 14a führt eine Schwellenverarbeitung an der Differenz zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz durch und setzt Werte für Pixel, wo die Differenz geringer als ein Schwellenwert ist, auf 0 und Werte für Pixel, wo die Differenz nicht geringer als der Schwellenwert ist, auf 1. Hier können 0 und 1 ausgetauscht werden und andere Werte können verwendet werden.
Der Schwellenwert kann zum Beispiel gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In diesem Fall empfängt die Steuereinheit 10 den Schwellenwert von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/AusgabeEinheit 15 und sendet ihn zu der Analyseeinheit 12a.
Die Bestimmungseinheit 14a kann auch den Schwellenwert, der im Speicher 102 oder im Speicherungsmedium 103 gespeichert ist, lesen und verwenden. In diesem Fall ist der zuvor gespeicherte Schwellenwert zum Beispiel 100, 200 oder dergleichen.
Die Bestimmungseinheit 14a kann auch den Schwellenwert in Abhängigkeit von der Verteilung der Differenz adaptiv bestimmen. Wenn ein gewisser Schwellenwert bestimmt wird und eine Gruppe der Pixel, die einen Pixelwert von nicht geringer als den Schwellenwert aufweisen, als Klasse 1 bezeichnet wird und eine Gruppe der anderen Pixel als Klasse 2 bezeichnet wird, werden eine Inter-Klassen-Varianz und eine Intra-Klassen-Varianz aus den Pixelwerten der Klassen 1 und 2 erhalten und der Schwellenwert wird bestimmt, sodass ein Separationsgrad, der aus diesen Werten berechnet wird, maximiert wird.
9 veranschaulicht ein Ergebnis der Schwellenverarbeitung. Es soll angenommen werden, dass die Schwellenverarbeitung das Ergebnis wie in 9 ergibt. In 9 ist das Gebiet, das durch Schwarz angegeben wird, das Gebiet, in dem die Differenz geringer als der Schwellenwert ist, und das Gebiet, das durch Weiß angegeben wird, ist das Gebiet, in dem die Differenz nicht geringer als der Schwellenwert ist.
Die Bestimmungseinheit 14a bestimmt ein Rechteck, das ein weißes Gebiet abgrenzt, wie durch die gestrichelten Linien in 9 angegeben, und sendet Informationen, dass es einen Defekt an der Position gibt, zu der Eingabe/Ausgabe-Einheit 15. Nachfolgend wird ein Rechteck, das ein weißes Gebiet abgrenzt, als ein Begrenzungsrahmen bezeichnet. Die gesendeten Informationen beinhalten die oberen linken Koordinaten, die vertikale Breite, die horizontale Breite oder dergleichen des Begrenzungsrahmens. Die Bestimmungseinheit 14a kann alle Positionen der defekten Pixel zu der Eingabe/Ausgabe-Einheit 15 senden, anstatt den Begrenzungsrahmen zu der Eingabe/Ausgabe-Einheit 15 zu senden.
Die Bestimmungseinheit 14a kann auch den berechneten Differenz-Bilddatensatz zu der Eingabe/Ausgabe-Einheit 15 senden.
Es ist auch möglich, eine Bedingung für die Position oder Größe des Begrenzungsrahmens bereitzustellen und Begrenzungsrahmen zu vernachlässigen, die nicht die Bedingung erfüllen. Dies macht es möglich, eine Falschdetektion außerhalb eines Zielgebiets im Bilddatensatz zu verhindern oder eine Falschdetektion aufgrund von Rauschen zu verhindern.
Die Bedingung für den Begrenzungsrahmen kann zum Beispiel gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In diesem Fall empfängt die Steuereinheit 10 die Bedingung von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/Ausgabe-Einheit 15 und sendet sie zu der Analyseeinheit 12a.
Die Bestimmungseinheit 14a kann auch die Bedingung, die im Speicher 102 oder im Speicherungsmedium 103 gespeichert ist, lesen und verwenden. In diesem Fall lautet die zuvor gespeicherte Bedingung zum Beispiel, dass die vertikale Breite des Begrenzungsrahmens nicht geringer als 3 Pixel ist, dass die horizontale Breite des Begrenzungsrahmens nicht geringer als 3 Pixel ist, dass er innerhalb einer zweidimensionalen Maske zum Definieren eines zu untersuchenden Gebiets liegt, oder dergleichen.
10 ist ein Beispiel für die zweidimensionale Maske zum Definieren des zu untersuchenden Gebiets. In 10 veranschaulicht die linke Figur den zu untersuchenden Bilddatensatz und die rechte Figur veranschaulicht die zweidimensionale Maske. Die Bestimmungseinheit 14a wendet die zweidimensionale Maske der rechten Figur an dem zu untersuchenden Bilddatensatz der linken Figur an. In der zweidimensionalen Maske der rechten Figur von 10 ist das durch Weiß angegebene Gebiet das zu untersuchende Gebiet, und das durch Schwarz angegebene Gebiet ist ein Begrenzungsrahmen. Wenn somit die zweidimensionale Maske der rechten Figur an dem zu untersuchenden Bilddatensatz der linken Figur angewendet wird, werden Defekte in dem Gebiet der linken Figur, das dem durch Schwarz angegebenen Begrenzungsrahmen der zweidimensionalen Maske der rechten Figur entspricht, vernachlässigt.
Wiederum unter Bezugnahme auf 6 erteilt die Steuereinheit 10 im Untersuchungsmodus nach Abschluss der Verarbeitung durch die Bestimmungseinheit 14a der Eingabe/Ausgabe-Einheit 15 einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 gibt die Eingabe/Ausgabe-Einheit 15 das Bestimmungsergebnis, das von der Bestimmungseinheit 14a empfangen wird, über die Eingabe/Ausgabe-Einrichtung 4 nach außen aus. Hier wird angenommen, dass ein Bediener die Eingabe/AusgabeEinrichtung 4 außen sieht; dies ist jedoch nicht zwingend und es ist auch möglich, ein Signal zu einer externen Steuereinrichtung oder dergleichen ohne einen Eingriff eines Bedieners auszugeben.
11 veranschaulicht ein Beispiel für Inhalte, die die Eingabe/Ausgabe-Einheit 15 der Eingabe/AusgabeEinrichtung 4 anzuzeigen befiehlt, wenn die Eingabe/AusgabeEinrichtung 4 einen Bildschirm als ihre Komponente beinhaltet.
11 veranschaulicht einen Fall, bei dem kein Defekt durch die Bestimmungseinheit 14a detektiert wurde. In diesem Fall wird der zu untersuchende Bilddatensatz einfach angezeigt und eine Nachricht zum Mitteilen, dass es keinen Defekt gibt, wird angezeigt. Die Nachricht zum Mitteilen, dass es keinen Defekt gibt, ist zum Beispiel das an der oberen linken Seite von 11 veranschaulichte „OK“-Symbol. Anstelle des „OK“-Symbols können andere Symbole, wie etwa ein „KEINE DEFEKTE“-Symbol, ein „NORMAL“-Symbol oder eine weiße Kreismarkierung, angezeigt werden.
12 veranschaulicht ein anderes Beispiel für Inhalte, die die Eingabe/Ausgabe-Einheit 15 der Eingabe/Ausgabe-Einrichtung 4 anzuzeigen befiehlt, wenn die Eingabe/Ausgabe-Einrichtung 4 einen Bildschirm als ihre Komponente beinhaltet.
12 veranschaulicht einen Fall, bei dem zwei defekte Abschnitte durch die Bestimmungseinheit 14a detektiert wurden. In diesem Fall werden die detektierten defekten Abschnitte durch gestrichelte Linien angegeben, die auf dem zu untersuchenden Bilddatensatz überlagert sind, und eine Nachricht zum Mitteilen, dass ein Defekt detektiert wurde, wird angezeigt. Die Nachricht zum Mitteilen, dass ein Defekt detektiert wurde, ist zum Beispiel das an der oberen linken Seite von 12 veranschaulichte „NG“-Symbol (NG: no good - untauglich). Anstelle des „NG“-Symbols können andere Symbole, wie etwa ein „DEFEKT“-Symbol, ein „NICHT NORMAL“-Symbol oder eine Kreuzmarkierung, angezeigt werden. Es ist auch möglich, „PRÜFEN !“-Symbole als Nachrichten an den defekten Abschnitten anzubringen. Die defekten Abschnitte werden auf Basis von Begrenzungsrahmen, die von der Bestimmungseinheit 14a empfangen werden, bestimmt. Die Bestimmung der defekten Abschnitte basierend auf den Begrenzungsrahmen kann durch die Bestimmungseinheit 14a oder die Eingabe/Ausgabe-Einheit 15 durchgeführt werden. Die Begrenzungsrahmen werden möglicherweise angezeigt oder nicht.
13 veranschaulicht noch ein anderes Beispiel für Inhalte, die die Eingabe/Ausgabe-Einheit 15 der Eingabe/Ausgabe-Einrichtung 4 anzuzeigen befiehlt, wenn die Eingabe/Ausgabe-Einrichtung 4 einen Bildschirm als ihre Komponente beinhaltet.
13 veranschaulicht einen Fall, bei dem zwei defekte Abschnitte durch die Bestimmungseinheit 14a detektiert wurden, ähnlich zu 12. Anstatt die detektierten defekten Abschnitte direkt anzugeben, wird der zu untersuchende Bilddatensatz jedoch auf der linken Seite angezeigt, und ein zusammengesetzter Differenz-Bilddatensatz, der durch Kombinieren des Differenz-Bilddatensatzes, der durch die Bestimmungseinheit 14a berechnet wird, mit dem zu untersuchenden Bilddatensatz erhalten wird, wird auf der rechten Seite angezeigt. In dem zusammengesetzten Differenz-Bilddatensatz gibt ein dunklerer Farbton eine kleinere Differenz an und ein hellerer Farbton gibt eine größere Differenz an. Die weißen hervorstehenden Abschnitte in dem zusammengesetzten Differenz-Bilddatensatz auf der rechten Seite von 13 treten somit als Abschnitte des zu untersuchenden Bilddatensatzes, in denen die Differenz vom Normalzustand groß ist, markant in Erscheinung, was einem Bediener, der auf Defekte untersucht, ermöglicht, Abschnitte, auf die geachtet werden sollte, leicht wahrzunehmen. Wie in 12, kann die Bestimmung der defekten Abschnitte basierend auf den Begrenzungsrahmen durch die Bestimmungseinheit 14a oder die Eingabe/Ausgabe-Einheit 15 durchgeführt werden.
Die Weisen der Anzeige durch die Eingabe/AusgabeEinrichtung 4, die in den 11, 12 und 13 veranschaulicht sind, sind lediglich Beispiele und in der Praxis können Kombinationen von diesen oder Anzeigeweisen, die sich von diesen unterscheiden, verwendet werden. Die Eingabe/Ausgabe-Einrichtung 4 kann auch durch einen Lautsprecher anstelle des Bildschirms konstituiert sein und in diesem Fall können Informationen nach außen durch Sprache, Musik oder dergleichen ausgegeben werden.
Durch das Wiederholen der Verarbeitung des Lernmodus und der Verarbeitung des Untersuchungsmodus, wie oben beschrieben, bis ein Auslöser zum Beenden der Verarbeitung, wie etwa ein Ausschalten oder ein Abbruchvorgang, auftritt, ist es möglich, zu untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, gelockert werden. Obwohl beschrieben wurde, dass die Verarbeitung des Lernmodus und die Verarbeitung des Untersuchungsmodus wiederholt werden, kann die Verarbeitung des Lernmodus nur einmal durchgeführt, anstatt wiederholt zu werden. Gleichermaßen kann die Verarbeitung des Untersuchungsmodus nur einmal durchgeführt, anstatt wiederholt zu werden.
Wie oben beschrieben, berechnet die Untersuchungseinrichtung 1, die in dem Untersuchungssystem der ersten Ausführungsform enthalten ist, einen Parameter, der ein Merkmal von Daten eines defektfreien Objekts 3 repräsentiert, durch Durchführen einer Dimensionalitätsverringerung an den Daten des defektfreien Objekts 3, führt eine Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts 3 unter Verwendung des Parameters durch, erzeugt wiederhergestellte Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen wurden, erhalten werden, und gibt, zu der Eingabe/AusgabeEinheit 15, ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts 3 und den wiederhergestellten Daten aus. Somit kann sie untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch ein Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, im Vergleich zu der herkömmlichen Untersuchungseinrichtung gelockert werden.
Des Weiteren kann die in dem Untersuchungssystem der ersten Ausführungsform enthaltene Untersuchungseinrichtung 1 mit der Dimensionalitätsverringerung unter Verwendung einer Hauptkomponentenanalyse eine effiziente Charakteristik erhalten, die durch Extrahieren nur eines Parameters, der ein Merkmal der Daten des Objekts 3 repräsentiert, das üblicherweise in den normalen Bilddatensätzen auftritt, erhalten wird. In diesem Prozess werden unerwünschte Informationen, wie etwa eine Variation zwischen den Objekten 3 desselben Typs, eine Variation zwischen den Bilddatensätzen infolge der Differenz zwischen ihren Aufnahmezeiten, oder Rauschen der Kamera, verworfen, was die Datengröße verringert und ermöglicht, dass die durch das Speicherungsmedium 103 benötigte Speicherungskapazität verringert wird.
Des Weiteren müssen, da die in dem Untersuchungssystem der ersten Ausführungsform enthaltene Untersuchungseinrichtung 1 Bilddaten des Objekts 3 im Normalzustand aus den normalen Bilddatensätzen erlernt und die Untersuchung durchführt, keine defekten Zustände durch einen Benutzer, einen Entwickler oder dergleichen definiert werden. Somit bewirkt dies keine Situation, bei der ein Defekt aufgrund einer unvollständigen Definition der defekten Zustände verpasst wird, und kann allgemein auf beliebige Defekte angewendet werden.
In dem obigen Untersuchungssystem der ersten Ausführungsform sind die Untersuchungseinrichtung 1, die Kamera 2 und die Eingabe/Ausgabe-Einrichtung 4 voneinander getrennt. Die Kamera 2 und/oder die Eingabe/AusgabeEinrichtung 4 können jedoch in der Untersuchungseinrichtung 1 enthalten sein. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der ersten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der ersten Ausführungsform stellt die Bestimmungseinheit 14a die Bilddaten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen werden, durch dasselbe Verfahren wie das, das für die Dimensionalitätsverringerung verwendet wird, wieder her und gibt ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den wiederhergestellten Daten, die wiederhergestellte Bilddaten sind, und den Bilddaten des zu untersuchenden Objekts 3 zu der Eingabe/Ausgabe-Einheit 15 aus. Die Bestimmungseinheit 14a ist ein Beispiel für eine Einheit, die als sowohl eine Wiederherstellungseinheit als auch eine Bestimmungseinheit dient. Eine Wiederherstellungseinheit, die die Bilddaten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen werden, durch dasselbe Verfahren, wie das, das für die Dimensionalitätsverringerung verwendet wurde, wiederherstellt, kann getrennt in der Untersuchungseinrichtung 1 bereitgestellt werden, oder die Analyseeinheit 12a kann die Funktion der Wiederherstellungseinheit aufweisen. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der ersten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der ersten Ausführungsform verwendet die Analyseeinheit 12a eine Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3, die Speicherungseinheit 13a speichert ein Ergebnis der Hauptkomponentenanalyse und die Bestimmungseinheit 14a führt die Wiederherstellung unter Verwendung der Hauptkomponentenanalyse durch. Wenn es jedoch unterschiedliche Typen des Objekts 3 gibt, kann das Dimensionalitätsverringerungsverfahren in Abhängigkeit von dem Typ des Objekts 3 geändert werden. Es ist zum Beispiel möglich, dass für ein Objekt 3 eines ersten Typs die Analyseeinheit 12a die Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3 des ersten Typs verwendet, die Speicherungseinheit 13a ein Ergebnis der Hauptkomponentenanalyse speichert und die Bestimmungseinheit 14a die Wiederherstellung unter Verwendung der Hauptkomponentenanalyse durchführt; und für ein Objekt 3 eines zweiten Typs verwendet die Analyseeinheit 12a eine lineare Diskriminanzanalyse bei der Dimensionalitätsverringerung des Objekts 3 des zweiten Typs, die Speicherungseinheit 13a speichert ein Ergebnis der linearen Diskriminanzanalyse und die Bestimmungseinheit 14a führt die Wiederherstellung unter Verwendung der linearen Diskriminanzanalyse durch. Die Anzahl von Typen des Objekts 3 ist nicht beschränkt und die Kombination von Typen des Objekts 3 und von Dimensionalitätsverringerungsverfahren kann beliebig bestimmt werden. Für Objekte 3 desselben Typs wird jedoch dasselbe Dimensionalitätsverringerungsverfahren verwendet. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der ersten Ausführungsform bereitstellen.
Zweite Ausführungsform
Bei der ersten Ausführungsform verwendet die Analyseeinheit 12a eine Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3, die Speicherungseinheit 13a speichert ein Ergebnis der Hauptkomponentenanalyse und die Bestimmungseinheit 14a führt die Wiederherstellung unter Verwendung der Hauptkomponentenanalyse durch. Die Hauptkomponentenanalyse ist ein typisches Beispiel für lineare Dimensionalitätsverringerungsverfahren. Eine Analyseeinheit 12b, eine Speicherungseinheit 13b und eine Bestimmungseinheit 14b gemäß einer zweiten Ausführungsform verwenden einen Autoencoder, der ein Neuronalnetzwerk verwendet, zur Dimensionalitätsverringerung, wie in den 14 bis 20 veranschaulicht. Ein Autoencoder, der ein Neuronalnetzwerk verwendet, ist als ein Verfahren bekannt, das zu einer nichtlinearen Dimensionalitätsverringerung fähig ist. Da es zur nichtlinearen Dimensionalitätsverringerung fähig ist, kann es somit das Merkmal effizienter als die Hauptkomponentenanalyse erhalten, die ein lineares Dimensionalitätsverringerungsverfahren ist. Ansonsten ist sie dieselbe wie die erste Ausführungsform.
14 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung. In der folgenden Beschreibung werden schon beschriebenen Elementen und Arbeitsabläufen dieselben Bezugszeichen gegeben und werden dieselben Beschreibungen von diesen ausgelassen.
Bei der zweiten Ausführungsform werden die Analyseeinheit 12b, die Speicherungseinheit 13b und die Bestimmungseinheit 14b als Elemente des Funktionsblockdiagramms anstelle der Analyseeinheit 12a, der Speicherungseinheit 13a und der Bestimmungseinheit 14a von 1 der ersten Ausführungsform hinzugefügt.
Die Analyseeinheit 12b führt eine Dimensionalitätsverringerung unter Verwendung des Autoencoders, der das Neuronalnetzwerk verwendet, anstelle der Hauptkomponentenanalyse, die für die Dimensionalitätsverringerung in der Analyseeinheit 12a der ersten Ausführungsform verwendet wird, durch. Ansonsten ist sie dieselbe wie die Analyseeinheit 12a.
Die Speicherungseinheit 13b speichert ein Lernergebnis des Autoencoders, der das Neuronalnetzwerk verwendet, liest das Lernergebnis des Autoencoders, der das Neuronalnetzwerk verwendet, und gibt es in die Analyseeinheit 12b ein, anstatt, dass die Speicherungseinheit 13a der ersten Ausführungsform ein Lernergebnis der Hauptkomponentenanalyse speichert, das Lernergebnis der Hauptkomponentenanalyse liest und es in die Analyseeinheit 12a eingibt. Ansonsten ist sie dieselbe wie die Speicherungseinheit 13a.
Die Bestimmungseinheit 14b führt eine Wiederherstellung unter Verwendung des Autoencoders, der das Neuronalnetzwerk verwendet, anstelle der Hauptkomponentenanalyse, die für die Wiederherstellung in der Bestimmungseinheit 14b der ersten Ausführungsform verwendet wird, durch. Ansonsten ist sie dieselbe wie die Bestimmungseinheit 14a.
Ein Hardwarekonfigurationsdiagramm der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung ist dasselbe wie in 2 der ersten Ausführungsform. Eine Hardwarekonfiguration der Analyseeinheit 12b ist dieselbe wie die der Analyseeinheit 12a, eine Hardwarekonfiguration der Speicherungseinheit 13b ist dieselbe wie die der Speicherungseinheit 13a und eine Hardwarekonfiguration der Bestimmungseinheit 14b ist dieselbe wie die der Bestimmungseinheit 14a.
Als Nächstes wird ein Betrieb im Lernmodus der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung beschrieben.
15 ist ein Flussdiagramm, das den Betrieb im Lernmodus der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht. Der Betrieb im Lernmodus der Untersuchungseinrichtung 200 wird unten unter Bezugnahme auf 15 beschrieben.
Die Schritte S40, S41 und S42 sind dieselben wie die Schritte S10, S11 und S12 der ersten Ausführungsform. Die Prozesse werden jedoch durch die Analyseeinheit 12b anstatt der Analyseeinheit 12a durchgeführt.
Im Schritt S43 führt die Analyseeinheit 12b eine Dimensionalitätsverringerung unter Verwendung des einen oder der mehreren empfangenen normalen Bilddatensätze durch. Hier bezieht sich die Dimensionalitätsverringerung auf das Umwandeln von hochdimensionalen Daten, wie etwa Bilddaten oder dreidimensionalen Festkörperdaten, in niederdimensionale Daten, wie bei der ersten Ausführungsform. Die Analyseeinheit 12b führt Lernen unter Verwendung der normalen Bilddatensätze im Lernmodus durch, um ein Datenumwandlungsverfahren zu erhalten, das für die normalen Bilddatensätze optimal ist. Ein Fall, bei dem ein Autoencoder mit einem Neuronalnetzwerk für die Dimensionalitätsverringerung verwendet wird, wird unten beschrieben.
Neuronalnetzwerke sind Berechnungsmodelle eines menschlichen Gehirnmechanismus, in denen Neuronen, die in einem Netzwerk über Synapsen verbunden sind, ein Lernen und eine Mustererkennung auf Basis der Stärke des durch diese fließenden Stroms durchführen, und das einfachste Modell wird ein Perzeptron genannt.
16 ist ein Diagramm, in dem ein Neuron als ein Knoten mit mehreren Eingaben und einer einzigen Ausgabe modelliert wird.
Ein Perzeptron ist ein Diagramm, in dem ein Neuron als ein Knoten mit mehreren Eingaben und einer einzigen Ausgabe modelliert wird, wie in 16 veranschaulicht. Wie bei der ersten Ausführungsform wird die Gesamtanzahl von Pixeln jedes normalen Bilddatensatzes, der im Schritt S40 empfangen wird, durch K bezeichnet und eine Dimensionszahl wird durch j bezeichnet. Beispielsweise ist der Wert K 1024, wenn die Größe der normalen Bilddatensätze 32 × 32 Pixel ist, und ist 409600, wenn die Größe 640 × 640 Pixel ist, oder dergleichen. Das Perzeptron ist aus einer linearen gewichteten Summe, die durch ein Gewichten der Pixel x_j eines normalen Bilddatensatzes als den Eingabedatensatz mit Gewichtungen w_j und Subtrahieren eines Bias b erhalten wird, und einer Schwellenlogikfunktion z(u), die 1 oder 0 in Abhängigkeit davon ausgibt, ob die lineare gewichtete Summe positiv oder negativ ist, zusammengesetzt. Eine Gruppe der Pixel x_j des normalen Bilddatensatzes als der Eingabedatensatz bildet einen Vektor x des normalen Bilddatensatzes und die Gruppe der Gewichtungen w_j bildet einen Gewichtungsvektor w. Wenn der Ausgabedatensatz durch y bezeichnet wird, wird das Perzeptron durch Gleichung (6) repräsentiert. 16 veranschaulicht eine Berechnung für einen einzigen Bilddatensatz, und wenn die Anzahl der Bilddatensätze 1000 ist, wird dieselbe Berechnung 1000 Mal durchgeführt.
$y = z (\sum_{j = 1}^{K} w_{j} x_{j} - b) wobei {\begin{cases} z (u) = 1 falls u > 0 \\ z (u) = 0 falls u \leq 0 \end{cases}$
Gleichung (6) ist eine Zweiklassen-Diskriminanzfunktion, die einen Wert von 1 oder 0 in Abhängigkeit davon annimmt, ob die Schwellenlogikfunktion z(u) der Pixel x_j des normalen Bilddatensatzes als der Eingabedatensatz zu einer Klasse c1 oder einer Klasse c2 gehört. Für eine Diskriminanzfunktion werden zum Beispiel eine Klasse c1, für die Bilddatensätze von Hunden gesammelt werden, und eine Klasse 2, für die Bilddatensätze von Katzen gesammelt werden, im Voraus erstellt und jeder Bilddatensatz wird als Bilddaten eines Hundes oder Bilddaten einer Katze gekennzeichnet. Wenn ein nicht gekennzeichneter Bilddatensatz eines Hundes in die Diskriminanzfunktion als der Eingabedatensatz eingegeben wird, wird aus den Bilddatensätzen der Hunde der Klasse c1 und den Bilddatensätzen der Katzen der Klasse c2 bestimmt, ob der nicht gekennzeichnete Bilddatensatz als der Eingabedatensatz ein Bilddatensatz eines Hundes der Klasse c1 oder ein Bilddatensatz einer Katze der Klasse c2 ist, sodass bestimmt wird, dass der nicht gekennzeichnete Bilddatensatz des Hundes als der Eingabedatensatz ein Bilddatensatz eines Hundes ist. Allgemeiner gesagt, kann die Schwellenlogikfunktion z(u) des Perzeptrons mit anderen verschiedenen Funktionen ersetzt werden, die Aktivierungsfunktionen genannt werden. Die Beispiele beinhalten eine Sigmoidfunktion, eine ReLU und dergleichen.
In Gleichung (6) werden mehrere Datensätze, die zu der Klasse c1 gehören, und mehrere Datensätze, die zu der Klasse c2 gehören, im Voraus erstellt. Hier werden die erstellten Datensätze, die zu den Klassen c1 und c2 gehören, als Lerndatensätze bezeichnet. Durch das Lernen des Gewichtungsvektors w, sodass für jeden Lerndatensatz bestimmt werden kann, ob der Lerndatensatz zu der Klasse c1 oder c2 gehört, kann, wenn ein neuer Datensatz eingegeben wird, seine Klasse bestimmt werden. Die Werte des Gewichtungsvektors w sind ein Beispiel für einen Parameter, der ein Merkmal von Daten des Objekts 3 repräsentiert.
17 veranschaulicht ein Beispiel für ein Sanduhr-Neuronalnetzwerk.
Ein Autoencoder ist ein Sanduhr-Neuronalnetzwerk, in dem die Anzahl von Knoten in einer verborgenen Schicht zwischen einer Eingabeschicht, in die ein Datensatz eingegeben wird, und einer Ausgabeschicht, aus der ein Datensatz ausgegeben wird, geringer als die Anzahl von Knoten in der Eingabeschicht und Ausgabeschicht ist, wie in 17 veranschaulicht. Das linke Ende des in 17 veranschaulichten Netzwerks ist die Eingabeschicht, das rechte Ende des in 17 veranschaulichten Netzwerks ist die Ausgabeschicht und die Mitte des in 17 veranschaulichten Netzwerks ist die verborgene Schicht. Hier, wie in 16, wird die Gesamtanzahl von Pixeln jedes normalen Bilddatensatzes, der im Schritt S40 empfangen wird, durch K bezeichnet und eine Dimensionszahl wird durch j bezeichnet. Beispielsweise ist der Wert K 1024, wenn die Größe der normalen Bilddatensätze 32 × 32 Pixel ist, und ist 409600, wenn die Größe 640 × 640 Pixel ist, oder dergleichen. Der Eingabedatensatz ist ein Vektor x eines normalen Bilddatensatzes, das heißt eine Gruppe der Pixel x_j des normalen Bilddatensatzes, und Gruppen von Gewichtungen w_j sind Gewichtungsvektoren w. Ein Vektor der verborgenen Schicht wird durch a_j bezeichnet. Der Ausgabedatensatz ist ein Vektor y eines Bilddatensatzes, das heißt eine Gruppe von Pixeln y_j , der fast derselbe ist wie der Vektor x des normalen Bilddatensatzes, der eine Gruppe der Pixel x_j des normalen Bilddatensatzes ist; Gruppen von Gewichtungen v_j sind Gewichtungsvektoren v. Ein Multiplizieren des Vektors x des normalen Bilddatensatzes, der eine Gruppe der Pixel x_j des normalen Bilddatensatzes als der Eingabedatensatz ist, mit den Gewichtungsvektoren w, die Gruppen der Gewichtungen w_j sind, ergibt den Vektor a_j der verborgenen Schicht; ein Multiplizieren des Vektors a_j der verborgenen Schicht mit den Gewichtungsvektoren v, die Gruppen der Gewichtungen v_j sind, ergibt den Vektor y des Bilddatensatzes, der eine Gruppe der Pixel y_j ist und fast derselbe wie der Vektor x des normalen Bilddatensatzes ist, der eine Gruppe der Pixel x_j des normalen Bilddatensatzes ist. Der Vektor a_j der verborgenen Schicht repräsentiert Hauptkomponenten des Bilddatensatzes und die Werte der Gewichtungsvektoren w und die Werte der Gewichtungsvektoren v sind ein Beispiel für einen Parameter, der ein Merkmal der Daten des Objekts 3 repräsentiert. 17 veranschaulicht eine Berechnung für einen einzigen Bilddatensatz, und wenn die Anzahl der Bilddatensätze 1000 ist, wird dieselbe Berechnung 1000 Mal durchgeführt.
Der Autoencoder lernt die Gewichtungen jedes Knotens, sodass der Ausgabedatensatz bezüglich Lerndatensätzen weitgehend mit dem Eingabedatensatz übereinstimmt. Dies ist bekannt, der verborgenen Schicht zu ermöglichen, ein niedrigerdimensionales Merkmal aufzuweisen, das so viele Informationen in dem Eingabedatensatz wie möglich hält.
Wiederum unter Bezugnahme auf 15, im Schritt S43, wobei die normalen Bilddatensätze im Schritt S40 als Eingabedatensätze erfasst werden, ist es durch Trainieren des Autoencoders, sodass die Ausgabedatensätze weitgehend mit den Eingabedatensätzen übereinstimmen, möglich, in der verborgenen Schicht nur wichtige Komponenten zu extrahieren, die üblicherweise in den normalen Bilddatensätzen auftreten. Das heißt, der Autoencoder wird so trainiert, dass die normalen Bilddatensätze, die als Eingabedatensätze eingegeben werden, mit den Bilddatensätzen, die durch ein Wiederherstellen der Eingabedatensätze erhalten und über die verborgene Schicht ausgegeben werden, hinsichtlich wichtiger Komponenten, die üblicherweise in den normalen Bilddatensätzen auftreten, übereinstimmen. Währenddessen ist es möglich, unerwünschte Komponenten, wie etwa eine Variation zwischen den Objekten desselben Typs, eine Variation zwischen den Bildern infolge der Differenz zwischen ihren Aufnahmezeiten oder Rauschen der Kamera, zu eliminieren.
18 ist ein Beispiel, das einen Prozess veranschaulicht, bei dem die Anzahl von verborgenen Schichten des Autoencoders geändert wird.
Obwohl der in 17 veranschaulichte Autoencoder eine verborgene Schicht aufweist, kann die Gesamtanzahl von verborgenen Schichten frei geändert werden. Die Gesamtanzahl ist leicht zu ändern und, wie in (1) von 18 veranschaulicht, wird der in 17 veranschaulichte Autoencoder mit einer verborgenen Schicht zuerst trainiert. Dann, wie in (2) von 18 veranschaulicht, wird durch Entfernen der Ausgabeschicht des Autoencoders und Belassen der Eingabeschicht und der verborgenen Schicht ein Netzwerk zum Verringern der Dimensionalität des Eingabedatensatzes erhalten. Dann, wie in (3) von 18 veranschaulicht, ist es unter Verwendung des dimensional verringerten Datensatzes als einen Eingabedatensatz, um einen Autoencoder, der Gewichtungsvektoren aufweist, die sich von jenen von (1) von 18 unterscheiden, neu zu trainieren, möglich, die Dimensionalität weiter zu verringern.
Hier ist die Anzahl von Schichten des Autoencoders ein wichtiger Parameter, der die Leistungsfähigkeit der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform beeinflusst. Durch das zweckmäßige Setzen der Anzahl von Schichten ist es möglich, nur wichtige Komponenten zu extrahieren, die üblicherweise in den in S40 erfassten normalen Bilddatensätzen auftreten. Währenddessen ist es möglich, unerwünschte Komponenten, wie etwa eine Variation zwischen den Objekten 3 desselben Typs, eine Variation zwischen den Bilddatensätzen infolge der Differenz zwischen ihren Aufnahmezeiten oder Rauschen der Kamera, zu eliminieren.
Wenn die Anzahl von Schichten jedoch zu groß ist, werden wichtige Komponenten eliminiert, und wenn die Anzahl von Schichten zu klein ist, werden unerwünschte Komponenten gelassen.
Die Anzahl von Schichten kann zum Beispiel gemäß einem Befehl von der Steuereinheit 10 bestimmt werden. In diesem Fall empfängt die Steuereinheit 10 die Anzahl von Schichten von der Eingabe/Ausgabe-Einrichtung 4 über die Eingabe/Ausgabe-Einheit 15 und sendet sie zu der Analyseeinheit 12b.
Die Analyseeinheit 12b kann auch den Wert der Anzahl von Schichten, der im Speicher 102 oder im Speicherungsmedium 103 gespeichert ist, lesen und verwenden. Der zuvor gespeicherte Wert der Anzahl von Schichten in diesem Fall kann zum Beispiel etwa 5, 10 oder dergleichen sein.
Wiederum unter Bezugnahme auf 15 sendet die Analyseeinheit 12b im Schritt S24, nach dem Durchführen der Dimensionalitätsverringerung, die Werte der Gewichtungsvektoren jedes Knotens als ein Lernergebnis der normalen Bilddatensätze zu der Speicherungseinheit 13b. Die Anzahl der gespeicherten Werte der Gewichtungsvektoren hängt von der Anzahl der Schichten ab. Die Speicherungseinheit 13b speichert das Lernergebnis, das von der Analyseeinheit 12b ausgegeben wird, in das Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10. Obwohl beschrieben worden ist, dass die Speicherungseinheit 13b das Lernergebnis, das von der Analyseeinheit 12b ausgegeben wird, in das Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10 speichert, kann es im Speicher 102 gespeichert sein.
Im Lernmodus erteilt die Steuereinheit 10 nach Abschluss der Verarbeitung durch die Analyseeinheit 12a der Eingabe/Ausgabe-Einheit 15 einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 gibt die Eingabe/Ausgabe-Einheit 15 Informationen, die den Verlauf des Lernens oder dergleichen angeben, über die Eingabe/Ausgabe-Einrichtung 4 nach außen aus. Hier wird angenommen, dass ein Bediener die Eingabe/AusgabeEinrichtung 4 außen sieht; dies ist jedoch nicht zwingend und es ist auch möglich, ein Signal zu einer externen Steuereinrichtung oder dergleichen ohne einen Eingriff eines Bedieners auszugeben.
19 ist ein Teil eines Flussdiagramms, das einen Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht. Der Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 200 wird unten unter Bezugnahme auf 19 beschrieben.
Die Schritte S50, S51 und S52 sind dieselben wie die Schritte S20, S21 und S22 der ersten Ausführungsform. Die Prozesse werden jedoch durch die Analyseeinheit 12b anstatt der Analyseeinheit 12a durchgeführt.
Im Schritt S53 sendet die Analyseeinheit 12b, um ein Ergebnis des Lernens im Lernmodus zu lesen, eine Leseanfrage zu der Steuereinheit 10. Die Speicherungseinheit 13b liest ein benötigtes Lernergebnis aus dem Speicherungsmedium 103 gemäß einem Befehl von der Steuereinheit 10 und gibt es in die Analyseeinheit 12b ein. Das hier gelesene Lernergebnis ist ein Lernergebnis, das dem im Lernmodus verwendeten Dimensionalitätsverringerungsverfahren des Schritts S43 entspricht. Bei der zweiten Ausführungsform werden, da der Autoencoder mit dem Neuronalnetzwerk als ein Beispiel verwendet wird, die Werte der Gewichtungsvektoren jedes Knotens als das Lernergebnis gelesen.
Im Schritt S54 führt die Analyseeinheit 12b eine Dimensionalitätsverringerung an dem mindestens einen empfangenen zu untersuchenden Bilddatensatz auf Basis des gelesenen Lernergebnisses durch. Das Verfahren für die Dimensionalitätsverringerung ist ein Dimensionalitätsverringerungsverfahren, das dem im Lernmodus verwendeten Dimensionalitätsverringerungsverfahren des Schritts S43 entspricht. Da die Werte der Gewichtungsvektoren jedes Knotens im Lernmodus erhalten wurden, ist es möglich, die Dimensionalitätsverringerung durch Eingeben des zu untersuchenden Bilddatensatzes in ein Neuronalnetzwerk mit denselben Gewichtungen durchzuführen. Die Analyseeinheit 12b sendet den zu untersuchenden Bilddatensatz und den Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, zu der Bestimmungseinheit 14b. Der Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, ist der Ausgabedatensatz, das heißt die Werte der Ausgabeschicht. Hier gibt ein Bezugszeichen B den anschließenden Prozess an, der später ausführlich beschrieben wird.
20 ist ein anderer Teil des Flussdiagramms, das den Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 200 gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht. Eine Weiterführung des Betriebs im Untersuchungsmodus der Untersuchungseinrichtung 200 wird unten unter Bezugnahme auf 20 beschrieben.
Dem Prozess B folgend, anschließend an den Schritt S54, erteilt die Steuereinheit 10 nach Abschluss der Verarbeitung durch die Analyseeinheit 12b im Schritt S60 der Bestimmungseinheit 14b einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 liest die Bestimmungseinheit 14b aus dem Speicher 102 ein Programm im Speicherungsmedium 103, das in den Speicher 102 geladen wird, und führt es im Prozessor 101 aus. Die Bestimmungseinheit 14b stellt zuerst den von der Analyseeinheit 12b empfangenen Vektor, der aus der Dimensionalitätsverringerung des zu untersuchenden Bilddatensatzes resultiert, als einen Bilddatensatz wieder her. Hier ist das Verfahren zum Wiederherstellen des Bilddatensatzes dasselbe wie das, das bei der Dimensionalitätsverringerung im Schritt S54 verwendet wird. Somit wird bei der zweiten Ausführungsform die Wiederherstellung unter Verwendung des Autoencoders mit dem Neuronalnetzwerk durchgeführt.
Wenn ein Neuronalnetzwerk bei der Dimensionalitätsverringerung verwendet wurde, wird, da die Ausgabe des Neuronalnetzwerks ein eindimensionaler Vektor ist, die Wiederherstellung des Bilddatensatzes durch Umstellen des Vektors in ein zweidimensionales Array durchgeführt. In Abhängigkeit von dem Typ des verwendeten Neuronalnetzwerks kann die Ausgabe des Neuronalnetzwerks ein zweidimensionaler Bilddatensatz sein. In diesem Fall wird keine Bilddatenwiederherstellung benötigt.
Die Schritte S61 und S62 sind dieselben wie die Schritte S31 und S32 der ersten Ausführungsform. Die Verarbeitung wird jedoch durch die Analyseeinheit 12b anstelle der Analyseeinheit 12a, durch die Speicherungseinheit 13b anstelle der Speicherungseinheit 13a und durch die Bestimmungseinheit 14b anstelle der Bestimmungseinheit 14a durchgeführt.
Durch das Wiederholen der Verarbeitung des Lernmodus und der Verarbeitung des Untersuchungsmodus, wie oben beschrieben, bis ein Auslöser zum Beenden der Verarbeitung, wie etwa ein Ausschalten oder ein Abbruchvorgang, auftritt, ist es möglich, zu untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, gelockert werden. Obwohl beschrieben wurde, dass die Verarbeitung des Lernmodus und die Verarbeitung des Untersuchungsmodus wiederholt werden, kann die Verarbeitung des Lernmodus nur einmal durchgeführt, anstatt wiederholt zu werden. Gleichermaßen kann die Verarbeitung des Untersuchungsmodus nur einmal durchgeführt, anstatt wiederholt zu werden.
Wie oben beschrieben, berechnet die Untersuchungseinrichtung 200, die in dem Untersuchungssystem der zweiten Ausführungsform enthalten ist, einen Parameter, der ein Merkmal von Daten eines defektfreien Objekts 3 repräsentiert, durch Durchführen einer Dimensionalitätsverringerung an den Daten des defektfreien Objekts 3, führt eine Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts 3 unter Verwendung des Parameters durch, erzeugt wiederhergestellte Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen wurden, erhalten werden, und gibt, zu der Eingabe/AusgabeEinheit 15, ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts 3 und den wiederhergestellten Daten aus. Somit kann sie untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch ein Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, im Vergleich zu der herkömmlichen Untersuchungseinrichtung gelockert werden.
Des Weiteren kann die in dem Untersuchungssystem der zweiten Ausführungsform enthaltene Untersuchungseinrichtung 200 mit der Dimensionalitätsverringerung unter Verwendung eines Autoencoders mit einem Neuronalnetzwerk eine effiziente Charakteristik erhalten, die durch Extrahieren von nur einem Parameter, der üblicherweise in den normalen Bilddatensätzen auftritt, erhalten wird. In diesem Prozess werden unerwünschte Informationen, wie etwa eine Variation zwischen den Objekten 3 desselben Typs, eine Variation zwischen den Bilddatensätzen infolge der Differenz zwischen ihren Aufnahmezeiten, oder Rauschen der Kamera, verworfen, was die Datengröße verringert und ermöglicht, dass die durch das Speicherungsmedium 103 benötigte Speicherungskapazität verringert wird.
Des Weiteren müssen, da die in dem Untersuchungssystem der zweiten Ausführungsform enthaltene Untersuchungseinrichtung 200 Bilddaten des Objekts 3 im Normalzustand aus den normalen Bilddatensätzen erlernt und die Untersuchung durchführt, keine defekten Zustände durch einen Benutzer, einen Entwickler oder dergleichen definiert werden. Somit bewirkt dies keine Situation, bei der ein Defekt aufgrund einer unvollständigen Definition der defekten Zustände verpasst wird, und kann allgemein auf beliebige Defekte angewendet werden.
In der in dem Untersuchungssystem der zweiten Ausführungsform enthaltenen Untersuchungseinrichtung 200 kann der Autoencoder eine nichtlineare Dimensionalitätsverringerung durchführen und kann somit eine effizientere Charakteristik als die Hauptkomponentenanalyse, die ein lineares Dimensionalitätsverringerungsverfahren ist, erhalten.
In dem obigen Untersuchungssystem der zweiten Ausführungsform sind die Untersuchungseinrichtung 200, die Kamera 2 und die Eingabe/Ausgabe-Einrichtung 4 voneinander getrennt. Die Kamera 2 und/oder die Eingabe/AusgabeEinrichtung 4 können jedoch in der Untersuchungseinrichtung 200 enthalten sein. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der zweiten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der zweiten Ausführungsform stellt die Bestimmungseinheit 14b die Bilddaten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen werden, durch dasselbe Verfahren wie das, das für die Dimensionalitätsverringerung verwendet wird, wieder her und gibt ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den wiederhergestellten Daten, die wiederhergestellte Bilddaten sind, und den Bilddaten des zu untersuchenden Objekts 3 zu der Eingabe/Ausgabe-Einheit 15 aus. Die Bestimmungseinheit 14b ist ein Beispiel für eine Einheit, die als sowohl eine Wiederherstellungseinheit als auch eine Bestimmungseinheit dient. Eine Wiederherstellungseinheit, die die Bilddaten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen werden, durch dasselbe Verfahren, wie das, das für die Dimensionalitätsverringerung verwendet wurde, wiederherstellt, kann getrennt in der Untersuchungseinrichtung 200 bereitgestellt werden, oder die Analyseeinheit 12b kann die Funktion der Wiederherstellungseinheit aufweisen. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der zweiten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der zweiten Ausführungsform verwendet die Analyseeinheit 12b einen Autoencoder mit einem Neuronalnetzwerk bei der Dimensionalitätsverringerung des Objekts 3, die Speicherungseinheit 13b speichert ein Ergebnis des Autoencoders mit dem Neuronalnetzwerk und die Bestimmungseinheit 14b führt die Wiederherstellung unter Verwendung des Autoencoders mit dem Neuronalnetzwerk durch. Wenn es jedoch unterschiedliche Typen des Objekts 3 gibt, kann das Dimensionalitätsverringerungsverfahren in Abhängigkeit von dem Typ des Objekts 3 geändert werden. Es ist zum Beispiel möglich, dass für ein Objekt 3 eines ersten Typs die Analyseeinheit 12b einen Autoencoder mit einem Neuronalnetzwerk bei der Dimensionalitätsverringerung des Objekts 3 des ersten Typs verwendet, die Speicherungseinheit 13b ein Ergebnis des Autoencoders mit dem Neuronalnetzwerk speichert, die Bestimmungseinheit 14b die Wiederherstellung unter Verwendung des Autoencoders mit dem Neuronalnetzwerk durchführt; und für ein Objekt 3 eines zweiten Typs verwendet die Analyseeinheit 12b eine lineare Diskriminanzanalyse bei der Dimensionalitätsverringerung des Objekts 3 des zweiten Typs, die Speicherungseinheit 13b speichert ein Ergebnis der linearen Diskriminanzanalyse und die Bestimmungseinheit 14b führt die Wiederherstellung unter Verwendung der linearen Diskriminanzanalyse durch. Die Anzahl von Typen des Objekts 3 ist nicht beschränkt und die Kombination von Typen des Objekts 3 und von Dimensionalitätsverringerungsverfahren kann beliebig bestimmt werden. Für Objekte 3 desselben Typs wird jedoch dasselbe Dimensionalitätsverringerungsverfahren verwendet. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der zweiten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der zweiten Ausführungsform verwendet die Analyseeinheit 12b einen Autoencoder mit einem Neuronalnetzwerk bei der Dimensionalitätsverringerung des Objekts 3. Ein Autoencoder ist jedoch ein einfachstes Verfahren der Dimensionalitätsverringerungsverfahren, die auf einem Neuronalnetzwerk basieren, und kompliziertere Verfahren können verwendet werden. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können, zusätzlich zu den obigen Vorteilen der zweiten Ausführungsform, den Vorteil der zusätzlichen Verbesserung der Leistungsfähigkeit bereitstellen. Beispiele für die komplizierteren Verfahren beinhalten Verfahren, die ein Faltungs-Neuronalnetzwerk, ein Generative-Adversarial-Network (generatives gegnerisches Netzwerk) oder dergleichen verwenden. Die Untersuchungseinrichtung 1 gemäß der zweiten Ausführungsform kann beliebige der verschiedenen Dimensionalitätsverringerungsverfahren verwenden, und in Abhängigkeit von dem verwendeten Verfahren kann das Verarbeitungsverfahren des Autoencoders mit dem Neuronalnetzwerk in den Schritten S43 und S44 von 15, den Schritten S53 und S54 von 19 und im Schritt S60 von 20 zu einem Faltung-Neuronalnetzwerk, einem Generative-Adversarial-Network oder dergleichen geändert werden.
Dritte Ausführungsform
Die erste Ausführungsform berechnet einen Parameter, der ein Merkmal von Daten eines defektfreien Objekts 3 repräsentiert, durch Durchführen einer Dimensionalitätsverringerung an den Daten des defektfreien Objekts 3, führt eine Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts 3 unter Verwendung des Parameters durch, erzeugt wiederhergestellte Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen wurden, erhalten werden, und gibt, zu der Eingabe/AusgabeEinheit 15, ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts 3 und den wiederhergestellten Daten aus. Bei der dritten Ausführungsform, wie in den 21 bis 23 veranschaulicht, ist eine Korrektureinheit (oder Korrekturvorrichtung) 16, die ein Filter zum Verringern eines Fehlers zwischen den wiederhergestellten Daten und den zu untersuchenden Bilddaten konstruiert und die wiederhergestellten Daten unter Verwendung des konstruierten Filters filtert, neu hinzugefügt und eine Bestimmungseinheit 14c ist anstelle der Bestimmungseinheit 14a bereitgestellt. Selbst wenn somit ein erheblicher Fehler zwischen den wiederhergestellten Daten und den zu untersuchenden Bilddaten infolge von zum Beispiel einer Unzulänglichkeit von normalen Bilddaten zum Lernen, die im Lernmodus verwendet werden, oder anderer Faktoren auftritt, ist es möglich, den Fehler zwischen den beiden in der Korrektureinheit 16 zu verringern, wodurch die Genauigkeit der anschließenden Bestimmung durch die Bestimmungseinheit 14c verbessert wird. Ansonsten ist sie dieselbe wie die erste Ausführungsform.
21 ist ein Funktionsblockdiagramm eines Untersuchungssystems einschließlich einer Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung. In der folgenden Beschreibung werden schon beschriebenen Elementen und Arbeitsabläufen dieselben Bezugszeichen gegeben und werden dieselben Beschreibungen von diesen ausgelassen.
Bei der dritten Ausführungsform wird die Bestimmungseinheit 14c anstelle der Bestimmungseinheit 14a von 1 der ersten Ausführungsformen hinzugefügt und die Korrektureinheit 16 wird als ein Element des Funktionsblockdiagramms neu hinzugefügt.
Die Korrektureinheit 16 stellt den Bilddatensatz des zu untersuchenden Objekts 3, der der Dimensionalitätsverringerung unterzogen wird, durch dasselbe Verfahren wie das, das bei der Dimensionalitätsverringerung verwendet wird, wieder her, konstruiert ein Filter zum Korrigieren eines Fehlers zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz, und filtert den wiederhergestellten Datensatz unter Verwendung des konstruierten Filters, um einen korrigierten Datensatz zu erhalten. Der korrigierte Datensatz ist der korrigierte wiederhergestellte Datensatz, der durch Filtern des wiederhergestellten Datensatzes unter Verwendung des Filters zum Korrigieren eines Fehlers zwischen dem wiederhergestellten Datensatz und dem Datensatz des zu untersuchenden Objekts erhalten wird. Die Korrektureinheit 16 ist ein Beispiel für eine Einheit, die als sowohl eine Wiederherstellungseinheit als auch eine Korrektureinheit dient.
Die Bestimmungseinheit 14c gibt ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen dem korrigierten Datensatz, der der Bilddatensatz ist, der durch die Korrektureinheit 16 wiederhergestellt und korrigiert wird, und dem Bilddatensatz des zu untersuchenden Objekts 3 zu der Eingabe/Ausgabe-Einheit 15 aus. Da die Wiederherstellung durch die Korrektureinheit 16 durchgeführt wird, führt die Bestimmungseinheit 14c nicht die Wiederherstellung durch, im Gegensatz zu der Bestimmungseinheit 14a, die die Wiederherstellungseinheit beinhaltet. Ansonsten ist sie dieselbe wie die Bestimmungseinheit 14a.
Ein Hardwarekonfigurationsdiagramm der Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung ist dasselbe wie 2 der ersten Ausführungsform. Eine Hardwarekonfiguration der Bestimmungseinheit 14c ist dieselbe wie die der Bestimmungseinheit 14a. Die Korrektureinheit 16 wird durch den Prozessor 101 implementiert, der ein Programm im Speicherungsmedium 103, das in den Speicher 102 geladen wird, liest und ausführt.
Ein Flussdiagramm, das einen Betrieb im Lernmodus der Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht, ist dasselbe wie 3 der ersten Ausführungsform.
Ein Teil eines Flussdiagramms, das einen Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht, ist dasselbe wie 5 der ersten Ausführungsform.
22 ist ein anderer Teil des Flussdiagramms, das den Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht. Eine Weiterführung des Betriebs im Untersuchungsmodus der Untersuchungseinrichtung 300 wird unten unter Bezugnahme auf 22 beschrieben.
Dem Prozess A folgend, anschließend an den Schritt S24, erteilt die Steuereinheit 10 nach Abschluss der Verarbeitung durch die Analyseeinheit 12a im Schritt S70 der Korrektureinheit 16 einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 liest die Korrektureinheit 16 aus dem Speicher 102 ein Programm im Speicherungsmedium 103, das in den Speicher 102 geladen wird, und führt es im Prozessor 101 aus. Die Korrektureinheit 16 empfängt zuerst von der Analyseeinheit 12a den Vektor, der aus der Dimensionalitätsverringerung des empfangenen zu untersuchenden Bilddatensatzes resultiert, und den zu untersuchenden Bilddatensatz und stellt den Vektor, der aus der Dimensionalitätsverringerung des empfangenen zu untersuchenden Bilddatensatzes resultiert, als einen Bilddatensatz wieder her. Das Verfahren zum Wiederherstellen des Bilddatensatzes ist dasselbe wie das, das durch die Bestimmungseinheit 14a im Schritt S30 von 6 der ersten Ausführungsform durchgeführt wird.
Im Schritt S71 konstruiert die Korrektureinheit 16 ein Filter zum Verringern eines Fehlers zwischen dem wiederhergestellten Datensatz, der durch die Wiederherstellung erhalten wird, und dem zu untersuchenden Bilddatensatz. Wenn ein erheblicher Fehler zwischen dem wiederhergestellten Datensatz und dem zu untersuchenden Bilddatensatz infolge von zum Beispiel einer Unzulänglichkeit der normalen Bilddatensätze zum Lernen, die im Lernmodus verwendet werden, oder anderer Faktoren auftritt, ist es dadurch möglich, den Fehler zwischen den beiden in der Korrektureinheit 16 zu verringern, wodurch die Genauigkeit der anschließenden Bestimmung durch die Bestimmungseinheit 14c verbessert wird.
Filter zum Wiederherstellen eines Signals, das durch Rauschen verschlechtert wird, beinhalten ein inverses Filter, ein Wiener-Filter, ein adaptives Filter, ein Rauschentfernungsfilter und dergleichen. Bei der dritten Ausführungsform der vorliegenden Erfindung ist es hier, da der zu untersuchende Bilddatensatz, der ein ursprüngliches Signal vor einer Verschlechterung ist, bekannt ist, am effizientesten, ein Wiener-Filter zu verwenden. Ein Verfahren zum Konstruieren eines Wiener-Filters wird unten als ein Beispiel beschrieben.
Es soll ein räumliches Filter k zum Wiederherstellen eines ursprünglichen Signals f aus einem verschlechterten Signal g in Betracht gezogen werden. Im Frequenzbereich wird die Fourier-Transformation G des verschlechterten Signals durch das Produkt der Fourier-Transformation F des ursprünglichen Signals und der Fourier-Transformation H einer Punktspreizfunktion repräsentiert. Wenn somit die Punktspreizfunktion bekannt ist, ist es durch Filtern des verschlechterten Signals unter Verwendung eines inversen Filters K_inv, wie in Gleichung (7) dargestellt, möglich, die Fourier-Transformation F des ursprünglichen Signals wie in Gleichung (8) zu erhalten.
$K_{i n v} = \frac{1}{H}$
$K_{i n v} G = \frac{1}{H} F H = F$
Hier wird ein Verschlechterungsprozess unter Berücksichtigung von Rauschen im Frequenzbereich durch Gleichung (9) repräsentiert, wobei N die Fourier-Transformation des Rauschens bezeichnet.
$G = F H + N$
Zu dieser Zeit wird das Filter K_w zum Minimieren eines Fehlers zwischen den wiederhergestellten Daten f' und den ursprünglichen Daten f, die das ursprüngliche Signal und die zu untersuchenden Bilddaten sind, durch Gleichung (10) gegeben.
$K_{w} = \frac{1}{H} \frac{{| H |}^{2}}{{| H |}^{2} + {| N |}^{2} / {| F |}^{2}}$
Das Filter K_w , das durch Gleichung (10) repräsentiert wird, wird als ein Wiener-Filter bezeichnet.
Wiederum unter Bezugnahme auf 22 korrigiert die Korrektureinheit 16 im Schritt S72 den wiederhergestellten Datensatz durch Filtern des wiederhergestellten Datensatzes unter Verwendung des Filters K_w und sendet dann den zu untersuchenden Bilddatensatz und den korrigierten Datensatz zu der Bestimmungseinheit 14c. Hier gibt ein Bezugszeichen C den anschließenden Prozess an, der später ausführlich beschrieben wird.
23 ist ein anderer Teil des Flussdiagramms, das den Betrieb im Untersuchungsmodus der Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform der vorliegenden Erfindung veranschaulicht. Eine Weiterführung des Betriebs im Untersuchungsmodus der Untersuchungseinrichtung 300 wird unten unter Bezugnahme auf 23 beschrieben.
Dem Prozess C folgend, anschließend an den Schritt S72 erteilt die Steuereinheit 10 im Schritt S80 der Bestimmungseinheit 14c einen Befehl zum Starten der Verarbeitung. Gemäß dem Befehl von der Steuereinheit 10 liest die Bestimmungseinheit 14c aus dem Speicher 102 ein Programm im Speicherungsmedium 103, das in den Speicher 102 geladen wird, und führt es im Prozessor 101 aus. Die Bestimmungseinheit 14c empfängt zuerst den zu untersuchenden Bilddatensatz und den korrigierten Datensatz von der Korrektureinheit 16. Die Bestimmungseinheit 14c berechnet eine Differenz zwischen dem korrigierten Datensatz und dem zu untersuchenden Bilddatensatz. Ansonsten führt die Bestimmungseinheit 14c dieselbe Verarbeitung wie die durch, die durch die Bestimmungseinheit 14a im Schritt S31 von 6 durchgeführt wird.
Schritt S81 ist derselbe wie Schritt S32 der ersten Ausführungsform. Die Verarbeitung wird jedoch durch die Bestimmungseinheit 14c anstatt der Bestimmungseinheit a durchgeführt.
Durch das Wiederholen der Verarbeitung des Lernmodus und der Verarbeitung des Untersuchungsmodus, wie oben beschrieben, bis ein Auslöser zum Beenden der Verarbeitung, wie etwa ein Ausschalten oder ein Abbruchvorgang, auftritt, ist es möglich, zu untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, gelockert werden. Obwohl beschrieben wurde, dass die Verarbeitung des Lernmodus und die Verarbeitung des Untersuchungsmodus wiederholt werden, kann die Verarbeitung des Lernmodus nur einmal durchgeführt, anstatt wiederholt zu werden. Gleichermaßen kann die Verarbeitung des Untersuchungsmodus nur einmal durchgeführt, anstatt wiederholt zu werden.
Wie oben beschrieben, berechnet die Untersuchungseinrichtung 300, die in dem Untersuchungssystem der dritten Ausführungsform enthalten ist, einen Parameter, der ein Merkmal von Daten eines defektfreien Objekts 3 repräsentiert, durch Durchführen einer Dimensionalitätsverringerung an den Daten des defektfreien Objekts 3, führt eine Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts 3 unter Verwendung des Parameters durch, erzeugt wiederhergestellte Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen wurden, erhalten werden, und gibt, zu der Eingabe/AusgabeEinheit 15, ein Bestimmungsergebnis, das angibt, ob das zu untersuchende Objekt 3 defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts 3 und den wiederhergestellten Daten aus. Somit kann sie untersuchen, ob das Objekt 3 einen Defekt, wie etwa einen Mangel, eine fehlerhafte Anordnung oder einen Fehler, aufweist, während die Anforderungen, dass das Objekt 3 und die Kamera 2 sicher befestigt sind und eine hochgenaue Ausrichtung für jedes Pixel von Bilddaten, die durch ein Aufnehmen des Objekts 3 erhalten werden, durchgeführt wird, im Vergleich zu der herkömmlichen Untersuchungseinrichtung gelockert werden.
Des Weiteren kann die in dem Untersuchungssystem der dritten Ausführungsform enthaltene Untersuchungseinrichtung 300 mit der Dimensionalitätsverringerung unter Verwendung einer Hauptkomponentenanalyse eine effiziente Charakteristik erhalten, die durch Extrahieren von nur einem Parameter, der ein Merkmal der Daten des Objekts 3 repräsentiert, das üblicherweise in den normalen Bilddatensätzen auftritt, erhalten wird. In diesem Prozess werden unerwünschte Informationen, wie etwa eine Variation zwischen den Objekten 3 desselben Typs, eine Variation zwischen den Bilddatensätzen infolge der Differenz zwischen ihren Aufnahmezeiten, oder Rauschen der Kamera, verworfen, was die Datengröße verringert und ermöglicht, dass die durch das Speicherungsmedium 103 benötigte Speicherungskapazität verringert wird.
Des Weiteren müssen, da die in dem Untersuchungssystem der dritten Ausführungsform enthaltene Untersuchungseinrichtung 300 Bilddaten des Objekts 3 im Normalzustand aus den normalen Bilddatensätzen erlernt und die Untersuchung durchführt, keine defekten Zustände durch einen Benutzer, einen Entwickler oder dergleichen definiert werden. Somit bewirkt dies keine Situation, bei der ein Defekt aufgrund einer unvollständigen Definition der defekten Zustände verpasst wird, und kann allgemein auf beliebige Defekte angewendet werden.
Die in dem Untersuchungssystem der dritten Ausführungsform enthaltene Untersuchungseinrichtung 300 wird neu mit einer Korrektureinheit 16 ausgestattet, die ein Filter zum Verringern eines Fehlers zwischen den wiederhergestellten Daten, die durch Wiederherstellen der Bilddaten des zu untersuchenden Objekts 3 erhalten werden, die der Dimensionalitätsverringerung unterzogen werden, und den zu untersuchenden Bilddaten konstruiert und die wiederhergestellten Daten unter Verwendung des konstruierten Filters filtert, und ist mit der Bestimmungseinheit 14c anstelle der Bestimmungseinheit 14a ausgestattet. Wenn somit ein erheblicher Fehler zwischen den wiederhergestellten Daten und den zu untersuchenden Bilddaten infolge von zum Beispiel einer Unzulänglichkeit von normalen Bilddaten zum Lernen, die im Lernmodus verwendet werden, oder anderer Faktoren auftritt, ist es möglich, den Fehler zwischen den beiden in der Korrektureinheit 16 zu verringern, wodurch die Genauigkeit der anschließenden Bestimmung durch die Bestimmungseinheit 14c verbessert wird.
In dem obigen Untersuchungssystem der dritten Ausführungsform sind die Untersuchungseinrichtung 300, die Kamera 2 und die Eingabe/Ausgabe-Einrichtung 4 voneinander getrennt. Die Kamera 2 und/oder die Eingabe/AusgabeEinrichtung 4 können jedoch in der Untersuchungseinrichtung 300 enthalten sein. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der dritten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der dritten Ausführungsform konstruiert die Korrektureinheit 16 ein Filter zum Korrigieren eines Fehlers zwischen den wiederhergestellten Daten und den zu untersuchenden Bilddaten und filtert die wiederhergestellten Daten unter Verwendung des konstruierten Filters. Die Korrektureinheit 16 ist ein Beispiel für eine Einheit, die als sowohl eine Wiederherstellungseinheit als auch eine Korrektureinheit dient. Eine Wiederherstellungseinheit, die die Bilddaten des zu untersuchenden Objekts 3, die der Dimensionalitätsverringerung unterzogen wurden, durch dasselbe Verfahren, wie das, das bei der Dimensionalitätsverringerung verwendet wurde, wiederherstellt, kann separat in der Untersuchungseinrichtung 300 bereitgestellt werden, oder die Analyseeinheit 12a kann die Funktion der Wiederherstellungseinheit aufweisen. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der dritten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der dritten Ausführungsform verwendet die Analyseeinheit 12a eine Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3, die Speicherungseinheit 13a speichert ein Ergebnis der Hauptkomponentenanalyse und die Korrektureinheit 16 führt die Wiederherstellung unter Verwendung der Hauptkomponentenanalyse durch. Wenn es jedoch unterschiedliche Typen des Objekts 3 gibt, kann das Dimensionalitätsverringerungsverfahren in Abhängigkeit von dem Typ des Objekts 3 geändert werden. Es ist zum Beispiel möglich, dass für ein Objekt 3 eines ersten Typs die Analyseeinheit 12a die Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3 des ersten Typs verwendet, die Speicherungseinheit 13a ein Ergebnis der Hauptkomponentenanalyse speichert und die Korrektureinheit 16 die Wiederherstellung unter Verwendung der Hauptkomponentenanalyse durchführt; und für ein Objekt 3 eines zweiten Typs verwendet die Analyseeinheit 12a eine lineare Diskriminanzanalyse bei der Dimensionalitätsverringerung des Objekts 3 des zweiten Typs, die Speicherungseinheit 13a speichert ein Ergebnis der linearen Diskriminanzanalyse und die Korrektureinheit 16 führt die Wiederherstellung unter Verwendung der linearen Diskriminanzanalyse durch. Die Anzahl von Typen des Objekts 3 ist nicht beschränkt und die Kombination von Typen des Objekts 3 und von Dimensionalitätsverringerungsverfahren kann beliebig bestimmt werden. Für Objekte 3 desselben Typs wird jedoch dasselbe Dimensionalitätsverringerungsverfahren verwendet. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können auch die obigen Vorteile der dritten Ausführungsform bereitstellen.
In dem obigen Untersuchungssystem der dritten Ausführungsform verwendet die Analyseeinheit 12a eine Hauptkomponentenanalyse bei der Dimensionalitätsverringerung des Objekts 3. Es ist jedoch auch möglich, einen Autoencoder mit einem Neuronalnetzwerk oder Verfahren, wie etwa ein Faltungs-Neuronalnetzwerk und ein Generative-Adversarial-Network, die komplizierter als Autoencoder mit Neuronalnetzwerken sind, zu verwenden. Untersuchungssysteme, die auf diese Weise konfiguriert sind, können, zusätzlich zu den obigen Vorteilen der dritten Ausführungsform, den Vorteil bereitstellen, die Leistungsfähigkeit weiter zu verbessern. Die Untersuchungseinrichtung 300 gemäß der dritten Ausführungsform kann beliebige der verschiedenen Dimensionalitätsverringerungsverfahren verwenden.
Die Untersuchungssysteme, die die in den obigen Ausführungsformen beschriebenen Untersuchungseinrichtungen beinhalten, sind lediglich Beispiele und können wie zweckmäßig kombiniert werden, und jede Ausführungsform muss nicht alleine stehen.
Bezugszeichenliste
1, 200, 300 Untersuchungseinrichtung, 2 Kamera, 3 Objekt, 4 Eingabe/Ausgabe-Einrichtung, 10 Steuereinheit, 11 Eingabeeinheit, 12a, 12b Analyseeinheit, 13a, 13b Speicherungseinheit, 14a, 14b, 14c Bestimmungseinheit, 15 Eingabe/Ausgabe-Einheit, 16 Korrektureinheit, 100 Eingabe/Ausgabe-IF, 101 Prozessor, 102 Speicher, 103 Speicherungsmedium, 104 Bus.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201332995 [0004]

Claims

Untersuchungseinrichtung, umfassend: eine Analyseeinheit zum Berechnen eines Parameters, der ein Merkmal von Daten eines defektfreien Objekts repräsentiert, durch Durchführen von Dimensionalitätsverringerung zum Verringern einer Dimensionalität von Daten an den Daten des defektfreien Objekts, und Durchführen von Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts unter Verwendung des Parameters; eine Wiederherstellungseinheit zum Erzeugen von wiederhergestellten Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts, die der Dimensionalitätsverringerung durch die Analyseeinheit unterzogen werden, erhalten werden; eine Bestimmungseinheit zum Ausgeben eines Bestimmungsergebnisses, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den wiederhergestellten Daten; und eine Ausgabeeinheit zum Ausgeben des durch die Bestimmungseinheit ausgegebenen Bestimmungsergebnisses.
Untersuchungseinrichtung nach Anspruch 1, ferner umfassend eine Speicherungseinheit zum Speichern des durch die Analyseeinheit berechneten Parameters, wobei die Analyseeinheit die Dimensionalitätsverringerung an den Daten des zu untersuchenden Objekts unter Verwendung des in der Speicherungseinheit gespeicherten Parameters durchführt.
Untersuchungseinrichtung nach Anspruch 1 oder 2, ferner umfassend eine Korrektureinheit zum Filtern der wiederhergestellten Daten unter Verwendung eines Filters zum Korrigieren eines Fehlers zwischen den wiederhergestellten Daten, die durch die Wiederherstellungseinheit wiederhergestellt werden, und den Daten des zu untersuchenden Objekts, wodurch korrigierte wiederhergestellte Daten erzeugt werden, wobei die Bestimmungseinheit ein Bestimmungsergebnis ausgibt, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den korrigierten wiederhergestellten Daten.
Untersuchungseinrichtung nach Anspruch 3, wobei das Filter ein Wiener-Filter ist.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 4, wobei, wenn die Differenz nicht geringer als ein Schwellenwert ist, die Bestimmungseinheit ein Bestimmungsergebnis ausgibt, das angibt, dass das zu untersuchende Objekt defekt ist.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die Daten des defektfreien Objekts Bilddaten des defektfreien Objekts sind; und die Daten des zu untersuchenden Objekts Bilddaten des zu untersuchenden Objekts sind.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 6, wobei die Dimensionalitätsverringerung eine Hauptkomponentenanalyse verwendet.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 6, wobei die Dimensionalitätsverringerung einen Autoencoder, der ein Neuronalnetzwerk verwendet, verwendet.
Untersuchungseinrichtung nach Anspruch 8, wobei die Wiederherstellungseinheit die wiederhergestellten Daten unter Verwendung des Parameters erzeugt.
Untersuchungseinrichtung nach Anspruch 5, wobei die Bestimmungseinheit einen Begrenzungsrahmen berechnet, der ein Rechteck ist, das ein Gebiet abgrenzt, in dem die Differenz nicht geringer als der Schwellenwert ist, und ein Bestimmungsergebnis, das angibt, dass das zu untersuchende Objekt defekt ist, ausgegeben wird; und die Ausgabeeinheit als das Bestimmungsergebnis den durch die Bestimmungseinheit berechneten Begrenzungsrahmen ausgibt.
Untersuchungseinrichtung nach Anspruch 10, wobei die Ausgabeeinheit die Ausgabe durchführt, so dass ein defekter Abschnitt von Bilddaten des zu untersuchenden Objekts, der auf Basis des Begrenzungsrahmens bestimmt wird, durch eine gestrichelte Linie angegeben wird, die auf die Bilddaten des zu untersuchenden Objekts überlagert wird.
Untersuchungseinrichtung nach Anspruch 10, wobei die Ausgabeeinheit zusammengesetzte Differenz-Bilddaten ausgibt, die durch Kombinieren von Bilddaten der Differenz mit Bilddaten des zu untersuchenden Objekts erhalten werden.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 12, wobei, wenn die Bestimmungseinheit ein Bestimmungsergebnis ausgibt, das angibt, dass das zu untersuchende Objekt defekt ist, die Ausgabeeinheit die Ausgabe so durchführt, dass eine Nachricht zum Mitteilen, dass ein Defekt detektiert worden ist, angezeigt wird.
Untersuchungseinrichtung nach einem der Ansprüche 1 bis 13, ferner umfassend einen Bildschirm zum Anzeigen des durch die Ausgabeeinheit ausgegebenen Bestimmungsergebnisses.
Untersuchungsverfahren, das die folgenden Schritte umfasst: Berechnen eines Parameters, der ein Merkmal von Daten eines defektfreien Objekts repräsentiert, durch Durchführen von Dimensionalitätsverringerung zum Verringern einer Dimensionalität von Daten an den Daten des defektfreien Objekts, und Durchführen von Dimensionalitätsverringerung an Daten eines zu untersuchenden Objekts unter Verwendung des in einem Speicherungsmedium gespeicherten Parameters; Erzeugen von wiederhergestellten Daten, die durch Wiederherstellen der Daten des zu untersuchenden Objekts, die der Dimensionalitätsverringerung unterzogen werden, erhalten werden; Ausgeben eines Bestimmungsergebnisses, das angibt, ob das zu untersuchende Objekt defekt ist, auf Basis einer Größe einer Differenz zwischen den Daten des zu untersuchenden Objekts und den wiederhergestellten Daten; und Ausgeben des Bestimmungsergebnisses.