DE112018007171T5

DE112018007171T5 - Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren

Info

Publication number: DE112018007171T5
Application number: DE112018007171.5T
Authority: DE
Inventors: Kazuyuki Miyazawa; Kazuo Sugimoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2021-01-28
Also published as: CN111902712A; US11386549B2; US20210012476A1; JPWO2019186915A1; CN111902712B; TWI719357B; JP6693684B2; WO2019186915A1; TW201942567A; KR102206698B1; KR20200116532A

Abstract

Enthalten sind: eine Bilderwerbseinheit die ein Bestimmungszielbild erwirbt, in dem ein zu inspizierendes Zielobjekt erfasst ist; eine Lernergebniserwerbseinheit, die ein Ergebnis eines Maschinenlernens von Vorwärtsdomänenumwandlung eines Bildes oder von Rückwärtsdomänenumwandlung eines Bildes erwirbt, durchgeführt unter Verwendung eines normalen Bildes, in dem das Zielobjekt in einem normalen Zustand als Trainingsdaten erfasst wird; eine Bestimmungszielbildanalyseeinheit, die ein domänenumgewandeltes Bild erhält durch sequenzielles Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf dem Bestimmungszielbild, unter Verwendung des Ergebnisses des Maschinenlernens; und eine Bestimmungseinheit, die bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt oder nicht, durch Vergleichen des durch die Bilderwerbseinheit erworbenen Bestimmungszielbilds und des domänenumgewandelten Bildes.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Abnormalitätsinspektionsvorrichtung und ein Abnormalitätsinspektionsverfahren zum Inspizieren, ob eine Abnormalität in einem Objekt auftritt.
STAND DER TECHNIK
Technologie zum automatischen Inspizieren, durch eine Maschine, ob ein Objekt eine Abnormalität aufweist oder nicht, durch Analyse eines durch Bilderfassung des Objekts mit einer Kamera oder ähnlichem erhaltenen Bildes ist wichtig für, beispielsweise, Automatisierung oder Arbeitseinsparung bei der Erscheinungsinspektion, die während eines Fertigungsprozesses von Industrieprodukten visuell durchgeführt wird.
Beispielsweise offenbart Patentliteratur 1 eine Inspektionsvorrichtung zum Bestimmen, für jedes Pixel, ob Charakteristiken zu einem festgelegten guten Pixelbereich für ein aus einem zu inspizierenden Zielobjekt erworbenes digitales Bild gehören oder nicht, durch Erzeugen eines festgelegten guten Pixelbereichs durch Berechnen einer Statistik von Charakteristiken für jedes Pixel mit den gleichen Koordinatenwerten für digitale Bilder, die individuell aus einer vorbestimmten Anzahl von Objekten aus mehreren Objekten der gleichen Spezifikation erworben werden.
ZITIERLISTE
PATENTLITERATUR
Patentliteratur 1: JP 2013-32995 A
KURZDARSTELLUNG DER ERFINDUNG
TECHNISCHES PROBLEM
In dem durch die in Patentliteratur 1 offenbarte Technologie repräsentierten Stand der Technik ist es notwendig, dass die positionelle Beziehung zwischen einem Zielobjekt und einer Kamera immer konstant ist, wenn das Objekt abgebildet wird. Es ist ferner erforderlich, dass alle Bilder mit hoher Genauigkeit ausgerichtet sind. Daher gibt es einen Nachteil dahingehend, dass Abnormalitätsbestimmung durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst wird.
Die vorliegende Erfindung wurde entwickelt, um den oben beschriebenen Nachteil zu lösen, und wobei ein Ziel der vorliegenden Erfindung darin liegt, eine Abnormalitätsinspektionsvorrichtung und ein Abnormalitätsinspektionsverfahren bereitzustellen, das in der Lage ist, eine Abnormalität eines Zielobjekts zu inspizieren, ohne durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst zu werden.
LÖSUNG FÜR DAS PROBLEM
Eine Abnormalitätsinspektionsvorrichtung gemäß der vorliegenden Erfindung umfasst: eine Bilderwerbseinheit, die ein Bestimmungszielbild erwirbt, in dem ein zu untersuchendes Zielobjekt erfasst ist; eine Lernergebniserwerbseinheit, die ein Ergebnis eines Maschinenlernens einer Vorwärtsdomänenumwandlung eines Bildes oder einer Rückwärtsdomänenumwandlung eines Bildes erwirbt, durchgeführt unter Verwendung eines normalen Bildes, in dem das Zielobjekt in einem normalen Zustand erfasst wird, als Trainingsdaten; eine Bestimmungszielbildanalyseeinheit, die ein domänenumgewandeltes Bild erhält durch sequenzielles Durchführen einer Vorwärtsdomänenumwandlung und einer Rückwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit erworbenen Bestimmungszielbild, unter Verwendung des Ergebnisses des Maschinenlernens, erworben durch die Lernergebniserwerbseinheit; und eine Bestimmungseinheit, die bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt oder nicht, durch Vergleichen des durch die Bilderwerbseinheit erworbenen Bestimmungszielbilds und des durch die Bestimmungszielbildanalyseeinheit erworbenen domänenumgewandelten Bildes.
VORTEILHAFTE EFFEKTE DER ERFINDUNG
Gemäß der vorliegenden Erfindung ist es möglich, eine Abnormalität eines Zielobjekts zu inspizieren, ohne durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst zu werden.
Figurenliste

1 ist ein Diagramm, ein Auslegungsbeispiel einer Abnormalitätsinspektionsvorrichtung gemäß einer ersten Ausführungsform darstellend.
2 ist ein Diagramm zum Erläutern einer Domänenumwandlung eines Bildes.
3 ist ein Diagramm, beispielhafte Bilder von Domänen darstellend, die sich von einer Fotografiedomäne und einer Bereichsdomäne unterscheiden.
4 ist ein Diagramm, darstellend, wie Domänenumwandlung eines Bildes unter Verwendung eines neuronalen Netzwerks durchgeführt wird.
5 ist ein Diagramm zum Erklären von Domänenumwandlung, durchgeführt auf einem Bestimmungszielbild durch eine Bestimmungszielbildanalyseeinheit, in der ersten Ausführungsform.
6 ist ein Diagramm, ein Beispiel eines Bestimmungszielbilds und von domänenumgewandelten Bildern darstellend, wenn eine Abnormalität in dem Bestimmungszielbild auftritt, in der ersten Ausführungsform.
7 ist ein Diagramm zum Erläutern eines absoluten Differenzwerts zwischen einem Bestimmungszielbild und einem domänenumgewandelten Bild in einem Fall, in dem das Bestimmungszielbild ein normales Bild ist, in der ersten Ausführungsform.
8 ist ein Diagramm zum Erläutern eines absoluten Differenzwerts zwischen einem Bestimmungszielbild und einem domänenumgewandelten Bild in einem Fall, in dem eine Abnormalität in dem Bestimmungszielbild auftritt, in der ersten Ausführungsform.
9 ist ein Diagramm zum Erläutern eines Beispiels eines durch eine Bestimmungseinheit, die einen Schwellwertprozess auf einem Differenzbild durchführt, erhaltenen Ergebnisses, in der ersten Ausführungsform.
10 ist ein Diagramm zum Erläutern eines Beispiels einer zweidimensionalen Maske, gespeichert in einer Speichereinheit als eine Begrenzungsbedingung, in der ersten Ausführungsform. 10B ist ein Diagramm, ein Bild der zweidimensionalen Maske darstellend, und 10A ist ein Diagramm, ein durch Überlagern der in 10B dargestellten zweidimensionalen Maske über ein Bestimmungszielbild erhaltenes Bild darstellend.
11A und 11B sind Diagramme, beispielhafte Hardwareauslegungen der Abnormalitätsinspektionsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellend.
12 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung in einem „Lernmodus“, in der ersten Ausführungsform.
13 ist ein Flussdiagramm zum Erläutern der Details eines durch eine Normalbildanalyseeinheit in Schritt ST1202 von 12 durchgeführten Domänenumwandlungslernprozesses, in der ersten Ausführungsform.
14 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung in einem „Inspektionsmodus“, in der ersten Ausführungsform.
15 ist ein Flussdiagramm zum Erläutern der Details eines durch eine Bestimmungszielbildanalyseeinheit in Schritt ST1402 von 14 durchgeführten domänenumgewandelten Bilderfassungsprozesses, in der ersten Ausführungsform.
16 ist ein Flussdiagramm, die Details eines durch die Bestimmungseinheit in Schritt ST1403 von 14 durchgeführten Abnormalitätsbestimmungsprozesses darstellend, in der ersten Ausführungsform.
17 ist ein Diagramm zum Erläutern eines Beispiels eines Bildes einer Bildschirmanzeige, erhalten durch Anzeigen, auf einem Bildschirm, von Informationen hinsichtlich eines Bestimmungsergebnisses, das von einer Eingabe-/Ausgabeeinheit gesendet und durch eine Eingabe-/Ausgabevorrichtung empfangen wird, in der ersten Ausführungsform.
18 ist ein Diagramm zum Erläutern eines weiteren Beispiels eines Bildes einer Bildschirmanzeige, erhalten durch Anzeigen, auf dem Bildschirm, von Informationen hinsichtlich eines Bestimmungsergebnisses, das von der Eingabe-/Ausgabeeinheit gesendet und durch die Eingabe-/Ausgabevorrichtung empfangen wird, in der ersten Ausführungsform.
19 ist ein Diagramm zum Erläutern noch eines weiteren Beispiels eines Bildes einer Bildschirmanzeige, erhalten durch Anzeigen, auf dem Bildschirm, von Informationen hinsichtlich eines Bestimmungsergebnisses, das von der Eingabe-/Ausgabeeinheit gesendet und durch die Eingabe-/Ausgabevorrichtung empfangen wird, in der ersten Ausführungsform.
20 ist ein Diagramm, ein Auslegungsbeispiel einer Abnormalitätsinspektionsvorrichtung gemäß einer zweiten Ausführungsform darstellend.
21 ist ein Diagramm, ein beispielhaftes Bild darstellend, in dem eine Abnormalitätsanalyseeinheit ein Begrenzungsfeld und ein Bild der Bereichsdomäne überlagert hat, in der zweiten Ausführungsform.
22 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung in einem „Inspektionsmodus“, in der zweiten Ausführungsform.
23 ist ein Flussdiagramm zum Erläutern von Details eines durch die Abnormalitätsanalyseeinheit in Schritt ST2204 von 22 durchgeführten Abnormalitätsanalyseprozesses, in der zweiten Ausführungsform.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung detailliert und Bezug nehmend auf die Zeichnungen beschrieben.
Erste Ausführungsform
In der folgenden Beschreibung wird ein zu inspizierendes Objekt, das in einem Bestimmungszielbild erfasst wird (Details werden später beschrieben), das ein Objekt ist, für das eine Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform seine Abnormalität bestimmt, als ein „Zielobjekt“ bezeichnet. Ein Zielobjekt kann ein beliebiges Objekt sein, das zumindest visuell inspiziert werden kann, wie etwa eine Leiterplatte oder eine Verkabelung.
1 ist ein Diagramm, ein Auslegungsbeispiel der Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform darstellend.
Die Abnormalitätsinspektionsvorrichtung 1 ist, beispielsweise, über ein Netzwerk mit einer Kamera 2 und einer Eingabe-/Ausgabevorrichtung 4 verbunden.
Die Abnormalitätsinspektionsvorrichtung 1 erwirbt ein Bild, das ein Zielobjekt 3 von der Kamera 2 erfasst, bestimmt, ob eine Abnormalität im Zielobj ekt auftritt oder nicht, und gibt das Bestimmungsergebnis an die Eingabe-/Ausgabevorrichtung 4 aus. Im Folgenden wird ein Bild, das das Zielobjekt 3 erfasst, als ein „erfasstes Bild“ bezeichnet.
Die Eingabe-/Ausgabevorrichtung 4 umfasst, beispielsweise, einen Bildschirm, einen Lautsprecher, eine Tastatur, eine Maus oder ähnliches.
Es ist anzumerken, dass, in der ersten Ausführungsform, die Abnormalitätsinspektionsvorrichtung 1 über das Netzwerk mit der Kamera 2 und der Eingabe-/Ausgabevorrichtung 4 verbunden ist, wie in 1 dargestellt; allerdings ist dies lediglich ein Beispiel, und die Abnormalitätsinspektionsvorrichtung 1 kann die Kamera 2 und die Eingabe-/Ausgabevorrichtung 4 umfassen.
Die Abnormalitätsinspektionsvorrichtung 1 umfasst eine Steuereinheit 10, eine Bilderwerbseinheit 11, eine Bildanalyseeinheit 12, eine Speichereinheit 13, eine Bestimmungseinheit 14 und die Eingabe-/Ausgabeeinheit 15.
Die Bildanalyseeinheit 12 umfasst eine Normalbildanalyseeinheit 121, eine Bestimmungszielbildanalyseeinheit 122 und eine Lernergebniserwerbseinheit 123.
Die Steuereinheit 10 steuert den Betrieb der Bilderwerbseinheit 11, der Bildanalyseeinheit 12, der Bestimmungseinheit 14 und der Eingabe-/Ausgabeeinheit 15.
Die Bilderwerbseinheit 11 erwirbt über das Netzwerk ein erfasstes Bild von der Kamera 2.
Die Zeiteinteilung, mit der die Bilderwerbseinheit 11 das erfasste Bild von der Kamera 2 empfängt, kann im Voraus bestimmt werden, wie etwa 30 Mal pro Sekunde, oder kann auf Grundlage einer Anweisung von der Steuereinheit 10 bestimmt werden. Hier wird angenommen, dass das durch die Bilderwerbseinheit 11 erworbene erfasste Bild digitalisiert ist; allerdings ist dies nicht darauf beschränkt.
Die Bilderwerbseinheit 11 gibt das erworbene erfasste Bild an die Bildanalyseeinheit 12 aus.
Die Bildanalyseeinheit 12 führt Prozesse durch, die zwei Betriebsmodi entsprechen.
In der ersten Ausführungsform führt die Abnormalitätsinspektionsvorrichtung 1 zwei Betriebsmodi durch. Die zwei durch die Abnormalitätsinspektionsvorrichtung 1 durchgeführten Betriebsmodi werden als ein „Lernmodus“ bzw. als ein „Inspektionsmodus“ bezeichnet.
Im „Lernmodus“ lernt die Abnormalitätsinspektionsvorrichtung 1, wie eine Domänenumwandlung in einem normalen Zustand des Zielobjekt 3 durchzuführen ist, durch Maschinenlernen auf Grundlage von einem oder mehreren erfassten Bildern, die das Zielobjekt 3 in einem normalen Zustand ohne Abnormalitäten erfassen. Die Domänenumwandlung wird später beschrieben.
Im Folgenden wird, unter den erfassten Bildern, ein erfasstes Bild, das das Zielobjekt 3 in einem normalen Zustand ohne Abnormalitäten erfasst, als ein „normales Bild“ bezeichnet.
Darüber hinaus bestimmt die Abnormalitätsinspektionsvorrichtung 1, im „Inspektionsmodus“, ob eine Abnormalität in dem im erfassten Bild erfassten Zielobjekt 3 auftritt, auf Grundlage des erfassten Bildes, das das Zielobjekt 3 erfasst. Im Folgenden wird, unter den erfassten Bildern, ein erfasstes Bild, bei dem bestimmt werden soll, ob eine Abnormalität auftritt, als ein „Bestimmungszielbild“ bezeichnet.
In der Abnormalitätsinspektionsvorrichtung 1 wird der „Inspektionsmodus“ durchgeführt, nachdem der Betrieb des „Lernmodus“ abgeschlossen ist.
Im „Lernmodus“ wird angenommen, dass das Zielobjekt 3 in einem normalen Zustand ohne Abnormalitäten ist. Entsprechend sind alle erfassten Bilder, die durch die Bilderwerbseinheit 11 im „Lernmodus“ erworben wurden, normale Bilder.
Wenn Objekte vom selben Typ sind, kann die Abnormalitätsinspektionsvorrichtung 1 mehrere unterschiedliche Objekte als Zielobjekte festlegen und kann ein normales Bild erwerben, das die mehreren unterschiedlichen Zielobjekte 3 in einem normalen Zustand von der Kamera 2 erfasst, um einen normalen Zustand der Zielobjekte 3 zu erlernen.
Es ist anzumerken, dass, im „Lernmodus“, die Kamera 2 zusätzlich zum normalen Bild, zum Maschinenlernen ein Bild einer anderen Domäne erwirbt, die dem normalen Bild entspricht. Details des Bildes der anderen Domäne werden später beschrieben.
Die Normalbildanalyseeinheit 121 der Bildanalyseeinheit 12 führt Prozesse durch, die dem „Lernmodus“ entsprechen, und die Bestimmungszielbildanalyseeinheit 122 und die Lernergebniserwerbseinheit 123 der Bildanalyseeinheit 12 führen Prozesse durch, die dem „Inspektionsmodus“ entsprechen.
Im „Lernmodus“ erwirbt die Normalbildanalyseeinheit 121 der Bildanalyseeinheit 12 eine angegebene Anzahl (beispielsweise 1000 Stück) von normalen Bildern von der Bilderwerbseinheit 11 und führt einen Domänenumwandlungslernprozess auf Grundlage der erworbenen normalen Bilder durch.
Das Domänenumwandlungslernen ist Maschinenlernen, durch das gelernt wird, wie Domänenumwandlung durchgeführt wird, wenn das Zielobjekt 3 in einem normalen Zustand ist.
Die Anzahl von normalen Bildern, die verwendet werden, wenn die Normalbildanalyseeinheit 121 Domänenumwandlungslernen durchführt, kann im Voraus angegeben werden oder kann von der Steuereinheit 10 angegeben werden.
Speziell beendet, beispielsweise in einem Fall, in dem die Anzahl von normalen Bildern im Voraus angegeben wird, die Normalbildanalyseeinheit 121 Erwerb des normalen Bildes, wenn die Anzahl von normalen Bildern, die von der Bilderwerbseinheit 11 erworben wurden, die im Voraus angegebene Anzahl erreicht hat.
Alternativ fährt, beispielsweise in einem Fall, in dem die Anzahl von normalen Bildern auf einer Anweisung von der Steuereinheit 10 basiert, die Normalbildanalyseeinheit 121 fort, normale Bilder zu empfangen, die von der Bilderwerbseinheit 11 ausgegeben werden, bis eine Bilderwerbsendanweisung von der Steuereinheit 10 ausgegeben wird. Wenn die Bilderwerbsendanweisung von der Steuereinheit 10 ausgegeben wird, beendet die Normalbildanalyseeinheit 121 den Erwerb von normalen Bildern. Die Steuereinheit 10 fordert die Bilderwerbsendanweisung von einem Benutzer an. Speziell gibt, beispielsweise, der Benutzer die Bilderwerbsendanweisung von der Eingabe-/Ausgabevorrichtung 4 ein. Die Steuereinheit 10 akzeptiert die dort eingegebene Bilderwerbsendanweisung und gibt die Bilderwerbsendanweisung an die Normalbildanalyseeinheit 121 aus.
Hier wird Domänenumwandlung eines Bildes beschrieben.
2 ist ein Diagramm zum Erläutern einer Domänenumwandlung eines Bildes.
Eine Domäne eines Bildes bezieht sich auf einen Typ des Bildes, und Domänenumwandlung eines Bildes besteht darin, ein Bild einer bestimmten Domäne in ein Bild einer Domäne umzuwandeln, die von der bestimmten Domäne verschieden ist.
Die in 2 dargestellten beispielhaften Domänen umfassen ein Bild, das durch Bilderfassung einer Leiterplatte mit einer allgemeinen Kamera erhalten wurde (ein Bild einer Fotografiedomäne, siehe 201 in 2) und ein Bild einer Bereichsdomäne, in der Teile der Leiterplatte getrennt sind (siehe 202 in 2). In der ersten Ausführungsform sind erfasste Bilder, die die Bilderwerbseinheit 11 von der Kamera 2 erwirbt, Bilder der Fotografiedomäne.
In dem beispielhaften Bild der Bereichsdomäne in 2 sind ein Substratbereich (siehe 2021 in 2) auf der Leiterplatte, ein Verkabelungsbereich (siehe 2022 in 2) und ein IC-Bereich (siehe 2023 in 2) dargestellt.
Bei der Domänenumwandlung ist es auch möglich, ein Bild der Fotografiedomäne umzuwandeln, um ein Bild der Bereichsdomäne zu erhalten und dann das Bild der Bereichsdomäne wieder umzuwandeln, um ein Bild der Fotografiedomäne zu erhalten.
Wie, beispielsweise, in 2 dargestellt, wird die Domänenumwandlung vom Bild der Fotografiedomäne in das Bild der Bereichsdomäne als „Vorwärtsdomänenumwandlung“ bezeichnet, und Domänenumwandlung vom Bild der Bereichsdomäne in das Bild der Fotografiedomäne wird als „Rückwärtsdomänenumwandlung“ bezeichnet.
Es ist anzumerken, dass das Bild der Fotografiedomäne und das Bild der Bereichsdomäne in 2 beschrieben wurden; allerdings kann eine Domäne eines Bildes variieren.
3 ist ein Diagramm, beispielhafte Bilder von Domänen darstellend, die sich von der Fotografiedomäne und der Bereichsdomäne unterscheiden.
Ein Bild einer Randdomäne, dargestellt in 3 (siehe 301 in 3), wird durch Extrahieren lediglich der Ränder aus dem Bild der Fotografiedomäne erhalten. Währenddessen wird ein Bild einer computergestützten Konstruktions(CAD)-Domäne (siehe 302 in 3), dargestellt in 3, durch eine CAD-Software gezeichnet.
Es ist bekannt, dass Domänenumwandlung eines Bildes, wie oben beschrieben, mit hoher Genauigkeit durch Maschinenlernen unter Verwendung eines neuronalen Netzwerks ausgeführt werden kann (siehe z. B. Nicht-Patentliteratur 1). Nicht-Patentliteratur 1: Phillip Isola, Jun-Yan Zhu, Tinghui Zhou und Alexei A. Efros, „Image-to-Image Translation with Conditional Adversarial Nets“, Conference on Computer Vision and Pattern Recognition (2017).
4 ist ein Diagramm, darstellend, wie Domänenumwandlung eines Bildes unter Verwendung eines neuronalen Netzwerks durchgeführt wird.
In 4 ist ein Beispiel dargestellt, in dem Domänenumwandlung eines Bildes zwischen dem Bild in der Fotografiedomäne und dem Bild in der Bereichsdomäne unter Verwendung des neuronalen Netzwerks durchgeführt wird.
In 4 wird ein faltendes neuronales Netzwerk, das unter neuronalen Netzwerken bekanntermaßen eine besonders große Wirkung auf Bildverarbeitung zeigt, verwendet, um die Domänenumwandlung des Bildes durchzuführen.
Das faltende neuronale Netzwerk ist ein Typ von neuronalem Netzwerk, in dem eine große Anzahl von Filtern wiederholt in einem Eingabebild gefaltet werden, und die Anzahl von Dimensionen in der räumlichen Richtung oder die Anzahl von Kanälen variiert werden, um abschließend ein gewünschtes Ergebnis zu erhalten.
In 4 wird, als ein Beispiel, die laterale Länge eines Filters durch W bezeichnet, die Höhe durch H und die Anzahl von Kanälen durch C.
Eine Auslegung des neuronalen Netzwerks kann variieren. Im Beispiel des für Domänenumwandlung verwendeten neuronalen Netzwerks, das in 4 dargestellt ist, wird, als erstes, die Anzahl von Kanälen erhöht, während die Faltung wiederholt wird, und die Anzahl von Dimensionen in räumlicher Richtung wird verringert, und dann wird die Anzahl von Dimensionen in räumlicher Richtung erhöht, während die Anzahl von Kanälen verringert wird. Durch diese Umwandlung wird schließlich ein Ausgabebild mit der Anzahl von Dimensionen und der Anzahl von Kanälen erhalten, die mit der Anzahl von Dimensionen und der Anzahl von Kanälen des Eingabebilds übereinstimmen.
Es ist anzumerken, dass der in 4 dargestellte Zustand der Domänenumwandlung lediglich ein Beispiel ist, und dass Domänenumwandlung nicht auf die unter Verwendung eines neuronalen Netzwerks durchgeführte beschränkt ist.
Darüber hinaus ist, in einem Fall, in dem ein neuronales Netzwerk für Domänenumwandlung verwendet wird, das verwendete neuronale Netzwerk nicht auf ein faltendes neuronales Netzwerk beschränkt. Als ein für Domänenumwandlung verwendetes neuronales Netzwerk kann, beispielsweise, ein beliebiges neuronales Netzwerk verwendet werden, wie etwa ein vollständig verbundenes neuronales Netzwerk oder ein neuronales Netzwerk, in dem ein faltendes neuronales Netzwerk und ein vollständig verbundenes neuronales Netzwerk kombiniert werden.
Die Normalbildanalyseeinheit 121 erwirbt, für jedes des einen oder der mehreren normalen Bilder, die zum Lernen der Domänenumwandlung verwendet werden, ein Bild einer anderen Domäne, die dem entspricht, und veranlasst das neuronale Netzwerk, Lernen für Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung durchzuführen. Da ein normales Bild ein Bild in der Fotografiedomäne ist, ist das Bild in der anderen Domäne ein Bild in einer Domäne, die von der Fotografiedomäne verschieden ist. Im Beispiel aus 4 ist das Bild der anderen Domäne das Bild der Bereichsdomäne.
Die Normalbildanalyseeinheit 121 verwendet normale Bilder und Bilder von anderen Domänen als Trainingsdaten, um das neuronale Netzwerk zu veranlassen, Lernen für Vorwärtsdomänenumwandlung aus einem normalen Bild, das ein Bild der Fotografiedomäne ist, in ein Bild der Bereichsdomäne, und für Rückwärtsdomänenumwandlung aus einem Bild der Bereichsdomäne in ein normales Bild durchzuführen.
Hier besteht Lernen durch das neuronale Netzwerk darin, Gewichte an jedem Rand des Netzwerks so zu optimieren, dass ein gewünschtes Ergebnis für die Lerndaten erhalten werden kann, und darin, Filterkoeffizienten im Falle eines faltenden neuronalen Netzwerks zu optimieren. Bei Vorwärtsdomänenumwandlung wird Lernen so durchgeführt, dass ein Ergebnis der Umwandlung eines eingegebenen normalen Bildes näher an das entsprechende Bild der Bereichsdomäne herankommt, und bei Rückwärtsumwandlung wird Lernen so durchgeführt, dass ein Ergebnis der Umwandlung eines Eingabebilds der Bereichsdomäne näher an das entsprechende normale Bild herankommt. Es ist anzumerken, dass das neuronale Netzwerk für Vorwärtsumwandlung und das neuronale Netzwerk für Rückwärtsumwandlung die identische Auslegung oder unterschiedliche Auslegungen aufweisen können.
Es ist anzumerken, dass die Normalbildanalyseeinheit 121 das entsprechende Bild einer anderen Domäne durch einen Filterprozess oder ähnliches auf dem Bild erwerben kann. Beispielsweise in einem Fall, in dem das entsprechende Bild der anderen Domäne ein Bild von Rändern ist, kann ein Bild der anderen Domäne, das ein umgewandeltes Bild ist, durch Anwenden eines Randdetektionsfilters auf das normale Bild, das das nicht umgewandelte Bild ist, erhalten werden. Alternativ kann, beispielsweise, ein Benutzer das entsprechende Bild der anderen Domäne im Voraus erzeugen, und die Normalbildanalyseeinheit 121 kann das im Voraus erzeugte Bild der anderen Domäne erwerben. Beispielsweise in einem Fall, in dem ein entsprechendes Bild einer anderen Domäne ein Bild ist, das durch Teilen eines normalen Bildes in Bereiche erhalten wird, kann das Bild der anderen Domäne durch einen Benutzer erzeugt werden, der eine Bereichsteilung auf dem normalen Bild unter Verwendung einer Bildbearbeitungssoftware oder ähnlichem durchführt.
Nach dem Lernen der Domänenumwandlung veranlasst die Normalbildanalyseeinheit 121 die Speichereinheit 13, Informationen zu speichern, die die Auslegung des neuronalen Netzwerks, das Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung durchführt, als ein Lernergebnis definieren.
Die Informationen, die die Auslegung des neuronalen Netzwerks definieren, die durch die Bildanalyseeinheit 12 in der Speichereinheit 13 gespeichert werden, beziehen sich auf Informationen, die notwendig und ausreichend sind, um Eingabe/Ausgabe der neuronalen Netzwerke zum Zeitpunkt des Lernens zu reproduzieren. Speziell umfassen solche Informationen Informationen hinsichtlich der Struktur des neuronalen Netzwerks, wie etwa die Anzahl von verborgenen Schichten des neuronalen Netzwerks oder die Anzahl von Einheiten in jeder Schicht und Informationen von Gewichten, die durch Lernen erhalten wurden.
Die Bestimmungszielbildanalyseeinheit 122 der Bildanalyseeinheit 12 erwirbt eine angegebene Anzahl (beispielsweise eins) von erfassten Bildern von der Bilderwerbseinheit 11 im „Inspektionsmodus“ und führt einen domänenumgewandelten Bilderwerbsprozess auf Grundlage jedes der erfassten Bilder durch. Nachfolgend wird ein Bild, unter den durch die Bestimmungszielbildanalyseeinheit 122 von der Bilderwerbseinheit 11 erworbenen erfassten Bildern, das zur Bestimmung einer Abnormalität des im „Inspektionsmodus“ auf Abnormalität zu bestimmenden Zielobjekts 3 erworben wird, als das „Bestimmungszielbild“ bezeichnet. Das Bestimmungszielbild ist ein erfasstes Bild, das das Zielobjekt 3 erfasst, das der Benutzer zu inspizieren beabsichtigt. Im domänenumgewandelten Bilderwerbsprozess erzeugt die Bestimmungszielbildanalyseeinheit 122, für jedes Bestimmungszielbild, ein domänenumgewandeltes Bild, das verwendet wird, um zu bestimmen, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht. Das domänenumgewandelte Bild wird später beschrieben.
Speziell erwirbt die Bestimmungszielbildanalyseeinheit 122, zuerst, eine angegebene Anzahl von Bestimmungszielbildern von der Bilderwerbseinheit 11.
Die Anzahl von Bestimmungszielbildern, die die Bestimmungszielbildanalyseeinheit 122 für den domänenumgewandelten Bilderwerbsprozess erwirbt, kann im Voraus angegeben werden oder kann von der Steuereinheit 10 angegeben werden. Ein spezifisches Verfahren für die Bestimmungszielbildanalyseeinheit 122 zum Erwerben der angegebenen Anzahl von Bestimmungszielbildern ist ähnlich dem angegebenen Verfahren für die Normalbildanalyseeinheit 121 zum Erwerben der angegebenen Anzahl von normalen Bildern im „Lernmodus“ .
Als nächstes führt die Bestimmungszielbildanalyseeinheit 122 eine Domänenumwandlung auf dem Bestimmungszielbild unter Verwendung von in der Speichereinheit 13 gespeicherten Informationen durch, die die Auslegung des neuronalen Netzwerks definieren.
Speziell erwirbt die später beschriebene Lernergebniserwerbseinheit 123 die Informationen, die die Auslegung des neuronalen Netzwerks definieren, die in der Speichereinheit 13 gespeichert sind, und gibt die erworbenen Informationen an die Bestimmungszielbildanalyseeinheit 122 aus. Die Bestimmungszielbildanalyseeinheit 122 verwendet die von der Lernergebniserwerbseinheit 123 ausgegebenen Informationen, um die Domänenumwandlung auf dem Bestimmungszielbild durchzuführen.
Die Informationen, die die Auslegung des neuronalen Netzwerks definieren, erworben durch die Lernergebniserwerbseinheit 123 von der Speichereinheit 13, sind die Informationen, die die Normalbildanalyseeinheit 121 veranlasst hat, im „Lernmodus“ als das Lernergebnis zu speichern.
Hier ist 5 ein Diagramm zum Erklären von Domänenumwandlung, durchgeführt auf einem Bestimmungszielbild durch die Bestimmungszielbildanalyseeinheit 122 in der ersten Ausführungsform.
Wie in 5 dargestellt, wandelt die Bestimmungszielbildanalyseeinheit 122 zuerst das Bestimmungszielbild durch Vorwärtsdomänenumwandlung um, um ein Bild der Bereichsdomäne zu erhalten. Nachfolgend wird ein Bild der Bereichsdomäne, das durch Durchführen von Vorwärtsdomänenumwandlung auf einem Bestimmungszielbild im „Inspektionsmodus“ durch die Bestimmungszielbildanalyseeinheit 122 erhalten wird, auch als ein „vorwärtsdomänenumgewandeltes Bild“ bezeichnet. Es ist anzumerken, dass, wie oben beschrieben, das durch die Bilderwerbseinheit 11 von der Kamera 2 erworbene Bild, ein Bild der Fotografiedomäne in der ersten Ausführungsform ist, und daher ist das Bestimmungszielbild auch ein Bild der Fotografiedomäne.
Als nächstes wandelt die Bestimmungszielbildanalyseeinheit 122 das vorwärtsdomänenumgewandelte Bild erneut durch Rückwärtsdomänenumwandlung um, um ein Bild der Fotografiedomäne zu erhalten.
Es ist anzumerken, dass, in der ersten Ausführungsform, angenommen wird, dass die Bestimmungszielbildanalyseeinheit 122 Domänenumwandlung zum Umwandeln eines Bildes der Fotografiedomäne in ein Bild der Bereichsdomäne durchführt, wie in 5 dargestellt. Allerdings ist dies lediglich ein Beispiel, und die Bestimmungszielbildanalyseeinheit 122 kann Domänenumwandlung durchführen, die ein Bild der Fotografiedomäne in ein Bild einer beliebigen Domäne umwandelt.
Dann gibt die Bestimmungszielbildanalyseeinheit 122, an die Bestimmungseinheit 14, das von der Bilderwerbseinheit 11 erworbene Bestimmungszielbild und das durch sequenzielles Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf dem Bestimmungszielbild erworbene Bild der Fotografiedomäne aus.
Nachfolgend wird ein Bild der Fotografiedomäne, das durch Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf einem Bestimmungszielbild im „Inspektionsmodus“ durch die Bestimmungszielbildanalyseeinheit 122 erhalten wird, als ein „domänenumgewandeltes Bild“ bezeichnet.
Es ist anzumerken, dass in der ersten Ausführungsform angenommen wird, dass die Bestimmungszielbildanalyseeinheit 122 ein neuronales Netzwerk sowohl für Vorwärtsdomänenumwandlung als auch Rückwärtsdomänenumwandlung verwendet; allerdings ist dies lediglich ein Beispiel. Die Bestimmungszielbildanalyseeinheit 122 muss nicht immer ein neuronales Netzwerk sowohl für Vorwärtsdomänenumwandlung als auch Rückwärtsdomänenumwandlung verwenden und kann ein neuronales Netzwerk nur für entweder die Vorwärtsdomänenumwandlung oder die Rückwärtsdomänenumwandlung verwenden.
Die Lernergebniserwerbseinheit 123 der Bildanalyseeinheit 12 erwirbt das in der Speichereinheit 13 im „Inspektionsmodus“ gespeicherte Lernergebnis. Das in der Speichereinheit 13 gespeicherte Lernergebnis ist Informationen oder ähnliches, die die Auslegung eines neuronalen Netzwerks definieren, das Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung durchführt, die die Normalbildanalyseeinheit 121 veranlasst hat, im „Lernmodus“ als ein Lernergebnis gespeichert zu werden.
Es ist anzumerken, dass die Bildanalyseeinheit 12 Umschalten zwischen dem Betrieb im „Lernmodus“ durch die Normalbildanalyseeinheit 121 und dem Betrieb im „Inspektionsmodus“ durch die Bestimmungszielbildanalyseeinheit 122 und die Lernergebniserwerbseinheit 123 auf Grundlage einer Anweisung von der Steuereinheit 10 durchführt.
Die Speichereinheit 13 speichert die Informationen oder ähnliches, die die Auslegung eines neuronalen Netzwerks angeben, das Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung durchführt, was ein durch die Normalbildanalyseeinheit 121, die Lernen der Domänenumwandlung im „Lernmodus“ durchführt, erhaltenes Lernergebnis ist.
Es ist anzumerken, dass, in der ersten Ausführungsform, die Speichereinheit 13 in der Abnormalitätsinspektionsvorrichtung 1 enthalten ist, wie in 1 dargestellt; allerdings kann, ohne darauf beschränkt zu sein, die Speichereinheit 13 in einem Ort außerhalb der Abnormalitätsinspektionsvorrichtung 1 installiert sein, auf den sich die Abnormalitätsinspektionsvorrichtung 1 beziehen kann.
Im „Inspektionsmodus“ führt die Bestimmungseinheit 14 einen Abnormalitätsbestimmungsprozess des Bestimmens durch, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht, durch Erwerben des Bestimmungszielbilds und des von der Bestimmungszielbildanalyseeinheit 122 ausgegebenen domänenumgewandelten Bildes und Vergleichen des erworbenen Bestimmungszielbilds mit dem domänenumgewandelten Bild.
Hier wird das Prinzip der Abnormalitätsinspektion unter Verwendung von Domänenumwandlung beschrieben.
Zuerst veranlasst, im „Lernmodus“, die Normalbildanalyseeinheit 121 das neuronale Netzwerk, unter Verwendung von normalen Bildern und Bildern einer anderen Domäne, die den normalen Bildern entsprechen, zu lernen. Daher stimmt, in einem Fall, in dem ein Bestimmungszielbild im „Inspektionsmodus“ ein normales Bild ist, das domänenumgewandelte Bild basierend auf dem Bestimmungszielbild im Wesentlichen mit dem von der Bilderwerbseinheit 11 erworbenen Bestimmungszielbild überein (siehe 5).
Andererseits ist in einem Fall, in dem eine Abnormalität in dem im Bestimmungszielbild im „Inspektionsmodus“ erfassten Zielobjekt 3 auftritt, im Bestimmungszielbild, der Zustand des erfassten Zielobjekts 3 verschieden von dem im normalen Bild, das verwendet wird, wenn die Normalbildanalyseeinheit 121 das neuronale Netzwerk veranlasst hat, Lernen durchzuführen. Daher wird, wenn Vorwärtsdomänenumwandlung auf dem Bestimmungszielbild durchgeführt wird, die Vorwärtsdomänenumwandlung auf dem abnormalen Teil des Zielobjekts 3 nicht korrekt durchgeführt. Währenddessen wird das domänenumgewandelte Bild, das schließlich erhalten wird, wiederhergestellt, als wäre es ein normales Bild. Das heißt, es gibt eine Differenz zwischen dem Bestimmungszielbild und dem domänenumgewandelten Bild bei dem abnormalen Teil in dem im Bestimmungszielbild erfassten Zielobjekt 3 (siehe 6).
Die Bestimmungseinheit 14 bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt unter Verwendung des Prinzips der Abnormalitätsinspektion mittels Domänenumwandlung, wie oben beschrieben.
Die Bestimmungseinheit 14 kann detektieren, ob es eine Abnormalität im Zielobjekt 3 und einem abnormalen Teil, erfasst in einem Bestimmungszielbild, gibt, durch Vergleichen des Bestimmungszielbilds und eines domänengewandelten Bildes.
Ein spezifisches Verfahren, in dem die Bestimmungseinheit 14 bestimmt, ob eine Abnormalität in dem in einem Bestimmungszielbild erfassten Zielobjekt 3 auftritt, wird beschrieben.
Zuerst berechnet die Bestimmungseinheit 14 einen absoluten Differenzwert von Pixelwerten zwischen dem Bestimmungszielbild und dem von der Bestimmungszielbildanalyseeinheit 122 erworbenen domänenumgewandelten Bild.
Speziell berechnet die Bestimmungseinheit 14 absolute Differenzwerte zwischen mehreren in dem Bestimmungszielbild enthaltenen Pixeln und mehreren in dem domänenumgewandelten Bild enthaltenen Pixeln, die positionell einander entsprechen. Es ist anzumerken, dass, in der ersten Ausführungsform, sich ein Pixelwert auf die Helligkeit bezieht (Helligkeitswert).
In einem Fall, in dem ein Bestimmungszielbild ein normales Bild ist, gibt es im Wesentlichen keine Differenz zwischen dem Bestimmungszielbild und einem domänenumgewandelten Bild, und daher ist der absolute Differenzwert zwischen dem Bestimmungszielbild und dem domänenumgewandelten Bild über dem gesamten Bild im Wesentlichen null (siehe 7).
Andererseits erscheint in einem Fall, in dem eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, der abnormale Teil als eine Differenz zwischen dem Bestimmungszielbild und dem domänenumgewandelten Bild, und daher ist der absolute Differenzwert zwischen dem Bestimmungszielbild und dem domänenumgewandelten Bild nur in dem abnormalen Teil groß (siehe 8).
Die Bestimmungseinheit 14 erzeugt ein Bild, das das Bestimmungszielbild mit dem absoluten Differenzwert auf Grundlage des berechneten Differenzwerts zwischen dem Bestimmungszielbild und dem domänenumgewandelten Bild anzeigt.
Nachfolgend wird ein Bild, in dem jedes Pixel eines Bestimmungszielbilds durch einen absoluten Differenzwert zwischen dem Bestimmungszielbild und einem domänenumgewandelten Bild angezeigt wird, als ein „Differenzbild“ bezeichnet.
Die Bestimmungseinheit 14 bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, auf Grundlage des ersten Differenzbildes, wie weiter unten beschrieben.
Die Bestimmungseinheit 14 führt einen Schwellenwertprozess auf dem Differenzbild durch und legt den Wert eines Pixels mit einem absoluten Differenzwert kleiner als ein Schwellenwert auf 0 und den Wert eines Pixels mit einem absoluten Differenzwert größer als oder gleich dem Schwellenwert auf 1 fest. Es ist anzumerken, dass dies lediglich ein Beispiel ist, und dass die Bestimmungseinheit 14 den Wert eines Pixels mit einem absoluten Differenzwert kleiner als der Schwellenwert auf 1 festlegen kann und den Wert eines Pixels mit einem absoluten Differenzwert größer als oder gleich dem Schwellenwert auf 0 festlegen kann oder Werte, die weder 1 noch 0 sind, als Wert für jedes Pixel mit einem absoluten Differenzwert kleiner als der Schwellenwert und als Wert eines Pixels mit einem absoluten Differenzwert größer als oder gleich dem Schwellenwert festlegen kann.
Die Bestimmungseinheit 14 kann den Schwellenwert zum Durchführen des Schwellenwertprozesses auf dem Differenzbild durch ein geeignetes Verfahren bestimmen. Beispielsweise bestimmt die Bestimmungseinheit 14 den Schwellenwert auf Grundlage einer Anweisung von der Steuereinheit 10. Speziell gibt, beispielsweise, ein Benutzer den Schwellenwert von der Eingabe-/Ausgabevorrichtung 4 ein, und die Steuereinheit 10 akzeptiert den eingegebenen Schwellenwert. Die Bestimmungseinheit 14 bestimmt den durch die Steuereinheit 10 empfangenen Schwellenwert als den für den Schwellenwertprozess verwendeten Schwellenwert.
Alternativ kann ein Benutzer oder ähnliches den Schwellenwert im Voraus in der Speichereinheit 13 speichern, und die Bestimmungseinheit 14 kann den Schwellenwertprozess unter Verwendung des in der Speichereinheit 13 gespeicherten Schwellenwerts durchführen.
Ferner kann, alternativ, die Bestimmungseinheit 14 adaptiv den Schwellenwert in Abhängigkeit von der Verteilung oder ähnlichem des Differenzwerts den Schwellenwert bestimmen. Im Übrigen wird ein Verfahren zum adaptiven Bestimmen eines Schwellenwerts, beispielsweise, in der folgenden Nicht-Patentliteratur 2 offenbart. [Nicht-Patentliteratur 2] Nobuyuki Otsu, „A threshold value Selection Method from Gray-Level Histograms“, IEEE Trans. on Systems, Man, and Cybernetics, 1979. [0037] Wenn in dem in Nicht-Patentliteratur 2 offenbarten Verfahren ein gewisser Schwellenwert bestimmt wird, gehen wir von einer Menge von Pixeln mit einem Pixelwert größer als oder gleich dem Schwellenwert als Klasse 1 und von einer Menge anderer Pixel als Klasse 2 aus. Die klassenübergreifende Varianz und die klasseninterne Varianz werden aus den Pixelwerten von Klasse 1 und Klasse 2 erhalten, und der Schwellenwert wird so bestimmt, dass der aus diesen Werten berechnete Trennungsgrad maximiert ist.
Die Bestimmungseinheit 14 trennt in einen Bereich, der durch die Menge von Pixeln mit dem absoluten Differenzwert kleiner als der Schwellenwert gebildet wird, und einen Bereich, der durch die Menge von Pixeln mit dem absoluten Differenzwert größer als oder gleich dem Schwellenwert gebildet wird, als ein Ergebnis des Schwellenwertprozesses, und erhält ein Rechteck, das den Bereich umschreibt, der größer als oder gleich dem Schwellenwert ist (nachfolgend als „Begrenzungsfeld“ bezeichnet). Die Bestimmungseinheit 14 bestimmt einen Teil, wo das Begrenzungsfeld als der Bereich vorhanden ist, wo eine Abnormalität im Bestimmungszielbild vorhanden ist.
Es ist anzumerken, dass in einem Fall, in dem kein Bereich durch eine Menge von Pixeln mit einem absoluten Differenzwert größer als oder gleich dem Schwellenwert als ein Ergebnis des Durchführens des Schwellenwertprozesses gebildet wird, die Bestimmungseinheit 14 bestimmt, dass keine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt.
Wie oben beschrieben, führt die Bestimmungseinheit 14 den Schwellenwertprozess auf dem durch Vergleichen des Bestimmungszielbilds und des domänenumgewandelten Bildes, ausgegeben von der Bestimmungszielbildanalyseeinheit 122, erzeugten Differenzbild durch und bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht.
Hier ist 9 ein Diagramm zum Erläutern eines Beispiels eines durch die Bestimmungseinheit 14, die den Schwellwertprozess auf einem Differenzbild durchführt, erhaltenen Ergebnisses, in der ersten Ausführungsform.
Der durch 901 in 9 angezeigte Bereich zeigt an, dass ein durch die Bestimmungseinheit 14 bestimmter Bereich kleiner als ein Schwellenwert im Differenzbild ist, und der durch 902 in 9 angezeigte Bereich zeigt an, dass ein durch die Bestimmungseinheit 14 bestimmter Bereich größer als oder gleich dem Schwellenwert in dem Differenzbild ist.
Ein durch 903 in 9 bezeichnetes Rechteck ist ein Begrenzungsfeld. Im Bestimmungszielbild ist der Platz, an dem das Begrenzungsfeld vorhanden ist, der Platz, an dem eine Abnormalität in dem erfassten Zielobjekt 3 auftritt.
Die Bestimmungseinheit 14 gibt, an die Eingabe-/Ausgabeeinheit 15, Informationen hinsichtlich des Bestimmungsergebnisses dahingehend aus, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht, wie oben beschrieben.
Die Informationen hinsichtlich des Bestimmungsergebnisses umfassen zumindest Informationen zum Angeben, ob eine Abnormalität auftritt oder nicht, wie etwa mit oder ohne Abnormalität, sowie Informationen des Bestimmungszielbilds.
Wenn darüber hinaus bestimmt wird, dass eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, veranlasst die Bestimmungseinheit 14, dass die Informationen hinsichtlich des Begrenzungsfelds in die Informationen hinsichtlich des Bestimmungsergebnisses eingeschlossen werden, und gibt die Informationen an die Eingabe-/Ausgabeeinheit 15 aus.
Die Informationen bezüglich des Begrenzungsfelds umfassen, beispielsweise, Informationen, wie etwa Koordinaten eines oberen linken Punktes auf einem Bild, das das Begrenzungsfeld anzeigt, die vertikale Breite des Begrenzungsfelds oder die laterale Breite des Begrenzungsfelds.
Die Bestimmungseinheit 14 kann das Differenzbild an die Eingabe-/Ausgabeeinheit 15 ausgeben.
Es ist anzumerken, dass die Bestimmungseinheit 14 ein Begrenzungsfeld vernachlässigen kann, das eine vorbestimmte Bedingung (nachfolgend als „Begrenzungsfeldbedingung“ bezeichnet) hinsichtlich der Position oder der Größe von Begrenzungsfeldern nicht erfüllt, und ein solches Begrenzungsfeld als einen Platz bestimmen kann, wo keine Abnormalität auftritt. In diesem Fall umfasst die Bestimmungseinheit 14 Informationen, die anzeigen, dass keine Abnormalität vorhanden ist, in den Informationen hinsichtlich des Bestimmungsergebnisses, die an die Eingabe-/Ausgabeeinheit 15 ausgegeben werden, und umfasst nicht die Informationen hinsichtlich des Begrenzungsfelds. Auf diese Weise ist es möglich, fehlerhafte Detektion einer Abnormalität außerhalb des Bereichs des zu bestimmenden Zielbereichs zu verhindern, dahingehend, ob eine Abnormalität in dem Differenzbild auftritt oder nicht, oder hinsichtlich einer fehlerhaften Detektion einer Abnormalität aufgrund von Rauschen.
Die Bestimmungseinheit 14 kann die Begrenzungsfeldbedingung durch ein geeignetes Verfahren bestimmen.
Beispielsweise kann die Bestimmungseinheit 14 die Begrenzungsfeldbedingung auf Grundlage einer Anweisung von der Steuereinheit 10 bestimmen. Speziell gibt ein Benutzer die Begrenzungsfeldbedingung von der Eingabe-/Ausgabevorrichtung 4 ein, und die Steuereinheit 10 empfängt die eingegebene Begrenzungsbedingung und weist die Bestimmungseinheit 14 an.
Alternativ kann, beispielsweise, der Benutzer oder ähnlich, die Begrenzungsbedingung in der Speichereinheit 13 speichern, und die Bestimmungseinheit 14 kann ein Begrenzungsfeld bestimmen, wenn eine Abnormalität vorhanden ist, auf Grundlage der in der Speichereinheit 13 gespeicherten Begrenzungsbedingung. Die in der Speichereinheit 13 gespeicherten Begrenzungsbedingungen sind, beispielsweise, die folgenden.

- Die vertikale Breite des Begrenzungsfelds ist größer als oder gleich 10 Pixel.
- Die laterale Breite des Begrenzungsfelds ist größer als oder gleich 10 Pixel.
- Zweidimensionale Maske zur Begrenzung des Zielbereichs

Hier ist 10 ein Diagramm zum Erläutern eines Beispiels der zweidimensionalen Maske, gespeichert in der Speichereinheit 13 als die Begrenzungsbedingung, in der ersten Ausführungsform. 10B ist ein Diagramm, ein Bild der zweidimensionalen Maske darstellend, und 10A ist ein Diagramm, ein durch Überlagern der in 10B dargestellten zweidimensionalen Maske über ein Bestimmungszielbild erhaltenes Bild darstellend.
In der zweidimensionalen Maske aus 10B stellt der durch 1001 in 10B angezeigte Bereich den Zielbereich dar. Die Bestimmungseinheit 14 vernachlässigt alle in einem Nicht-Zielbereich detektierten Begrenzungsfelder, angezeigt durch 1002 in 10B, in dem auf Grundlage des Bestimmungszielbilds erzeugten Differenzbilds.
Kehren wir nun zur Beschreibung von 1 zurück.
Die Eingabe-/Ausgabeeinheit 15 sendet, an die Eingabe-/Ausgabevorrichtung 4, die Informationen hinsichtlich des Bestimmungsergebnisses, die von der Bestimmungseinheit 14 ausgegeben werden.
Die Eingabe-/Ausgabevorrichtung 4 empfängt die von der Eingabe-/Ausgabeeinheit 15 gesendeten Informationen und zeigt die empfangenen Informationen, beispielsweise, auf einem Bildschirm an.
Der Benutzer bestätigt der Bildschirm der Eingabe-/Ausgabevorrichtung 4 und inspiziert, ob das Zielobjekt 3 in einem abnormalen Zustand ist.
In der ersten Ausführungsform ist, als ein Beispiel, die Eingabe-/Ausgabevorrichtung 4 ein Personalcomputer (PC), umfassend einen Bildschirm.
Ein Beispiel eines Bildschirms, wenn Informationen hinsichtlich des Bestimmungsergebnisses auf dem Bildschirm in der Eingabe-/Ausgabevorrichtung 4 angezeigt werden, wird Bezug nehmend auf Zeichnungen in der später beschriebenen Betriebsbeschreibung beschrieben.
Es ist anzumerken, dass die Eingabe-/Ausgabeeinheit 15 die Informationen hinsichtlich des Bestimmungsergebnisses an die Eingabe-/Ausgabevorrichtung 4 sendet, in der ersten Ausführungsform; allerdings ist dies lediglich ein Beispiel, und die Eingabe-/Ausgabeeinheit 15 kann die Informationen hinsichtlich des Bestimmungsergebnisses an, beispielsweise, eine externe Steuervorrichtung oder ähnliches senden.
11A und 11B sind Diagramme, die jeweils eine beispielhafte Hardwareauslegung der Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform darstellen.
In der ersten Ausführungsform der vorliegenden Erfindung werden die Funktionen der Steuereinheit 10, der Bilderwerbseinheit 11, der Bildanalyseeinheit 12 und der Bestimmungseinheit 14 durch eine Verarbeitungsschaltung 1101 umgesetzt. Das heißt, die Abnormalitätsinspektionsvorrichtung 1 umfasst die Verarbeitungsschaltung 1101 zum Durchführen von Steuerung zum Bestimmen, auf Grundlage des erworbenen Bildes, ob eine Abnormalität in dem in dem Bild erfassten Zielobjekt 3 auftritt, und zum Ausgeben des Bestimmungsergebnisses.
Die Verarbeitungsschaltung 1101 kann dedizierte Hardware, wie in 11A dargestellt, oder eine zentrale Verarbeitungseinheit (CPU) 1105 zur Ausführung eines in einem Speicher 1106 gespeicherten Programms, wie in 11B dargestellt, sein.
In einem Fall, in dem die Verarbeitungsschaltung 1101 dedizierte Hardware ist, entspricht die Verarbeitungsschaltung 1101, beispielsweise, einer einzelnen Schaltung, einer kombinierten Schaltung, einem programmierten Prozessor, einem parallelen programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einem feldprogrammierbaren Gate-Array (FPGA) oder einer Kombination daraus.
In einem Fall, in dem die Verarbeitungsschaltung 1101 die CPU 1105 ist, werden die Funktionen der Steuereinheit 10, der Bilderwerbseinheit 11, der Bildanalyseeinheit 12 und der Bestimmungseinheit 14 durch Software, Firmware oder eine Kombination aus Software und Firmware umgesetzt. Das heißt, die Steuereinheit 10, die Bilderwerbseinheit 11, die Bildanalyseeinheit 12 und die Bestimmungseinheit 14 werden umgesetzt durch die CPU 1105 oder eine Verarbeitungsschaltung, wie etwa ein System mit Integration in großem Maßstab (LSI), das Programme ausführt, die in einer Festplatte (HDD) 1102, dem Speicher 1106 oder ähnlichem gespeichert sind. Es versteht sich auch, dass in der HDD 1102, dem Speicher 1106 und ähnlichem gespeicherte Programme einen Computer veranlassen, die Prozeduren und Verfahren der Steuereinheit 10, der Bilderwerbseinheit 11, der Bildanalyseeinheit 12 und der Bestimmungseinheit 14 auszuführen. Hier kann der Speicher 1106 ein nicht-flüchtiger oder flüchtiger Halbleiterspeicher sein, wie etwa ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein Flash-Speicher, ein löschbarer, programmierbarer Nur-Lese-Speicher (EPROM) oder ein elektrisch löschbarer, programmierbarer Nur-Lese-Speicher (EEPROM), eine magnetische Platte, eine flexible Platte, eine optische Platte, eine Compact Disc, eine Mini Disc, eine DVD (Digital Versatile Disc) oder ähnliches.
Es ist anzumerken, dass ein Teil der Funktionen der Steuereinheit 10, der Bilderwerbseinheit 11, der Bildanalyseeinheit 12 und der Bestimmungseinheit 14 durch dedizierte Hardware umgesetzt sein kann und ein anderer Teil davon durch Software oder Firmware umgesetzt sein kann. Beispielsweise kann die Funktion der Steuereinheit 10 durch die Verarbeitungsschaltung 1101 als dedizierte Hardware umgesetzt sein, während die Funktionen der Bilderwerbseinheit 11, der Bildanalyseeinheit 12 und der Bestimmungseinheit 14 durch die Verarbeitungsschaltung umgesetzt sein kann, die ein im Speicher 1106 gespeichertes Programm liest und ausführt.
Als die Speichereinheit 13 kann, beispielsweise, die HDD 1102 verwendet werden. Es ist anzumerken, dass dies lediglich ein Beispiel ist, und dass die Speichereinheit 13 durch eine DVD, den Speicher 1106 oder ähnliches umgesetzt sein kann. Die Speichereinheit 13 umfasst verschiedene Aufzeichnungsmedien.
Die Abnormalitätsinspektionsvorrichtung 1 umfasst auch eine Eingabeschnittstellenvorrichtung 1103 und eine Ausgabeschnittstellenvorrichtung 1104, die mit Vorrichtungen, wie etwa der Kamera 2 oder der Eingabe-/Ausgabevorrichtung 4, kommunizieren.
Die Eingabe-/Ausgabeeinheit 15 umfasst die Eingabeschnittstellenvorrichtung 1103 und die Ausgabeschnittstellenvorrichtung 1104.
Als nächstes wird der Betrieb der Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform beschrieben.
In der folgenden Beschreibung des Betriebs werden der Betrieb der Abnormalitätsinspektionsvorrichtung 1 im „Lernmodus“ und der Betrieb der Abnormalitätsinspektionsvorrichtung 1 im „Inspektionsmodus“ separat beschrieben.
Als erstes wird der Betrieb der Abnormalitätsinspektionsvorrichtung 1 im „Lernmodus“ beschrieben.
12 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung 1 im „Lernmodus“, in der ersten Ausführungsform.
Die Bilderwerbseinheit 11 erwirbt über das Netzwerk ein erfasstes Bild von der Kamera 2 (Schritt ST1201).
Wie oben beschrieben, sind alle erfassten Bilder, die durch die Bilderwerbseinheit 11 im „Lernmodus“ erworben wurden, „normale Bilder“.
Es ist anzumerken, dass der Prozess in Schritt ST1201 durch die Steuereinheit 10 durchgeführt wird durch Empfangen eines Aktivierungssignals und eines Einstellungssignals von der Eingabe-/Ausgabevorrichtung 4 und Steuern der Bilderwerbseinheit 11 zum Erwerben von erfassten Bildern. Speziell aktiviert, beispielsweise, ein Benutzer die Abnormalitätsinspektionsvorrichtung 1 in der Eingabe-/Ausgabevorrichtung 4 und stellt den „Lernmodus“ ein. Die Eingabe-/Ausgabevorrichtung 4 sendet, an die Abnormalitätsinspektionsvorrichtung 1, das Aktivierungssignal der Abnormalitätsinspektionsvorrichtung 1 und ein Einstellungssignal zum Einstellen der Abnormalitätsinspektionsvorrichtung 1 auf den „Lernmodus“, auf Grundlage der Anweisung vom Benutzer. Die Steuereinheit 10 empfängt das Aktivierungssignal und das Einstellungssignal, die vom Benutzer eingegeben wurden.
Die Bilderwerbseinheit 11 gibt das erworbene normale Bild an die Normalbildanalyseeinheit 121 der Bildanalyseeinheit 12 aus.
Die Normalbildanalyseeinheit 121 erwirbt die angegebene Anzahl von normalen Bildern von der Bilderwerbseinheit 11 und führt den Domänenumwandlungslernprozess auf Grundlage der erworbenen normalen Bilder durch (Schritt ST1202).
Der Prozess von Schritt ST1202 wird durch die Steuereinheit 10 durchgeführt, die die Bildanalyseeinheit 12 anweist, im „Lernmodus“ zu arbeiten.
Hier ist 13 ein Flussdiagramm zum Erläutern der Details des durch die Normalbildanalyseeinheit 121 in Schritt ST1202 von 12 durchgeführten Domänenumwandlungslernprozesses, in der ersten Ausführungsform.
Nach Erwerben der von der Bilderwerbseinheit 11 ausgegebenen normalen Bilder in Schritt ST1201 aus 12 (Schritt ST1301) bestimmt die Normalbildanalyseeinheit 121, ob der Bilderwerb abgeschlossen ist (Schritt ST1302).
Speziell bestimmt die Normalbildanalyseeinheit 121, ob die vorbestimmte Anzahl von normalen Bildern zur Verwendung beim Domänenumwandlungslernen erworben wurde.
Wenn die Normalbildanalyseeinheit 121 bestimmt, dass die vorbestimmte Anzahl von normalen Bildern nicht erworben wurde (der Fall „NEIN“ in Schritt ST1303), kehrt die Normalbildanalyseeinheit 121 zu Schritt ST1301 zurück und erwirbt weiter normale Bilder, die von der Bilderwerbseinheit 11 ausgegeben werden.
Wenn die Normalbildanalyseeinheit 121 bestimmt, dass die vorbestimmte Anzahl von normalen Bildern erworben wurde (der Fall „JA“ in Schritt ST1303), beendet die Normalbildanalyseeinheit 121 den Erwerb der normalen Bilder und fährt mit Schritt ST1304 fort.
Die Normalbildanalyseeinheit 121 erwirbt ein Bild der entsprechenden anderen Domäne für jedes der von der Bilderwerbseinheit 11 in Schritt ST1301 erworbenen Bilder und veranlasst das neuronale Netzwerk, Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung zu lernen (Schritt ST1304).
Nachdem das neuronale Netzwerk in Schritt ST1304 veranlasst wurde zu lernen, speichert die Normalbildanalyseeinheit 121, in der Speichereinheit 13, Informationen, die die Auslegung des neuronalen Netzwerks, das Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung durchführt, als ein Lernergebnis definieren (Schritt ST1305).
Speziell veranlasst die Normalbildanalyseeinheit 121 die Speichereinheit 13, die Informationen, die die Auslegung des neuronalen Netzwerks definieren, über die Steuereinheit 10 zu speichern. Die Steuereinheit 10 weist die Speichereinheit 13 an, die Informationen, die die Auslegung des neuronalen Netzwerks definieren, zu speichern.
Wie oben beschrieben, veranlasst die Abnormalitätsinspektionsvorrichtung 1 im „Lernmodus“ das neuronale Netzwerk zu lernen, das im „Inspektionsmodus“ verwendet wird, der später auf Grundlage der von der Kamera 2 erworbenen normalen Bilder durchgeführt wird, und speichert die Informationen, die die Auslegung des neuronalen Netzwerks definieren, das veranlasst wurde zu lernen. [0059] Als nächstes wird der Betrieb der Abnormalitätsinspektionsvorrichtung 1 im „Inspektionsmodus“ beschrieben.
14 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung 1 im „Inspektionsmodus“, in der ersten Ausführungsform.
Die Bilderwerbseinheit 11 erwirbt über das Netzwerk ein Bestimmungszielbild von der Kamera 2 (Schritt ST1401).
Es ist anzumerken, dass der Prozess in Schritt ST1401 durch die Steuereinheit 10 durchgeführt wird durch Empfangen eines Aktivierungssignals und eines Einstellungssignals von der Eingabe-/Ausgabevorrichtung 4 und Steuern der Bilderwerbseinheit 11 zum Erwerben von erfassten Bildern. Speziell aktiviert, beispielsweise, ein Benutzer die Abnormalitätsinspektionsvorrichtung 1 in der Eingabe-/Ausgabevorrichtung 4 und stellt den „Inspektionsmodus“ ein. Die Eingabe-/Ausgabevorrichtung 4 sendet, an die Abnormalitätsinspektionsvorrichtung 1, das Aktivierungssignal der Abnormalitätsinspektionsvorrichtung 1 und ein Einstellungssignal zum Einstellen der Abnormalitätsinspektionsvorrichtung 1 auf den „Einstellungsmodus“, auf Grundlage der Anweisung vom Benutzer. Die Steuereinheit 10 empfängt das Aktivierungssignal und das Einstellungssignal, die vom Benutzer eingegeben wurden.
Die Bilderwerbseinheit 11 gibt das erworbene Bestimmungszielbild an die Bestimmungszielbildanalyseeinheit 122 der Bildanalyseeinheit 12 aus.
Die Bestimmungszielbildanalyseeinheit 122 erwirbt eine angegebene Anzahl von Bestimmungszielbildern von der Bilderwerbseinheit 11 und führt den domänenumgewandelten Bilderwerbsprozess auf Grundlage der erworbenen Bestimmungszielbilder durch (Schritt ST1402).
Der Prozess von Schritt ST1402 wird durch die Steuereinheit 10 durchgeführt, die die Bestimmungszielbildanalyseeinheit 122 anweist, im „Inspektionsmodus“ zu arbeiten.
15 ist ein Flussdiagramm zum Erläutern der Details eines durch die Bestimmungszielbildanalyseeinheit 122 in Schritt ST1402 von 14 durchgeführten domänenumgewandelten Bilderfassungsprozesses, in der ersten Ausführungsform.
Nach Erwerben der von der Bilderwerbseinheit 11 ausgegebenen Bestimmungszielbilder in Schritt ST1401 (Schritt ST1501) bestimmt die Bestimmungszielbildanalyseeinheit 122, ob der Bilderwerb abgeschlossen ist (Schritt ST1502).
Speziell bestimmt die Bestimmungszielbildanalyseeinheit 122, ob die angegebene Anzahl von Bestimmungszielbildern, zur Bestimmung einer Abnormalität, erworben wurde.
Wenn die Bestimmungszielbildanalyseeinheit 122 bestimmt, dass die angegebene Anzahl von Bestimmungszielbildern nicht erworben wurde (der Fall „NEIN“ in Schritt ST1503), kehrt die Bestimmungszielbildanalyseeinheit 122 zu Schritt ST1501 zurück und erwirbt weiter Bestimmungszielbilder, die von der Bilderwerbseinheit 11 ausgegeben werden.
Wenn die Bestimmungszielbildanalyseeinheit 122 bestimmt, dass die angegebene Anzahl von Bestimmungszielbildern erworben wurde (der Fall „JA“ in Schritt ST1503), beendet die Bestimmungszielbildanalyseeinheit 122 den Erwerb der Bestimmungszielbilder und fährt mit Schritt ST1504 fort.
Die Lernergebniserwerbseinheit 123 erwirbt Informationen, die die Auslegung des neuronalen Netzwerks definieren, die in der Speichereinheit 13 gespeichert werden (Schritt ST1504).
Die Lernergebniserwerbseinheit 123 gibt die erworbenen Informationen an die Bestimmungszielbildanalyseeinheit 122 aus.
Die Bestimmungszielbildanalyseeinheit 122 führt Domänenumwandlung des Bestimmungszielbilds unter Verwendung der durch die Lernergebniserwerbseinheit 123 in Schritt ST1504 erworbenen Informationen durch (Schritt ST1505).
Speziell führt die Bestimmungszielbildanalyseeinheit 122 sequenziell Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf dem Bestimmungszielbild durch, um domänenumgewandelte Bilder zu erhalten.
Dann gibt die Bestimmungszielbildanalyseeinheit 122 die von der Bilderwerbseinheit 11 in Schritt ST1501 erworbenen Bestimmungszielbilder und die in Schritt ST1505 erhaltenen domänenumgewandelten Bilder an die Bestimmungseinheit 14 aus.
Nehmen wir nun erneut Bezug auf das in 14 dargestellte Flussdiagramm.
Die Bestimmungseinheit 14 erwirbt die Bestimmungszielbilder und die domänenumgewandelten Bilder, die von der Bestimmungszielbildanalyseeinheit 122 in Schritt ST1402 ausgegeben werden, und führt einen Abnormalitätsbestimmungsprozess durch Vergleichen der erworbenen Bestimmungszielbilder und der erworbenen domänenumgewandelten Bilder durch (Schritt ST1403).
Hier ist 16 ein Flussdiagramm, die Details des durch die Bestimmungseinheit 14 in Schritt ST1403 von 14 durchgeführten Abnormalitätsbestimmungsprozesses darstellend, in der ersten Ausführungsform.
Die Bestimmungseinheit 14 berechnet absolute Differenzwerte zwischen einem Bestimmungszielbild und einem domänenumgewandelten Bild, erworben von der Bestimmungszielbildanalyseeinheit 122 in Schritt ST1402 aus 14 und erzeugt ein Differenzbild (Schritt ST1601).
Die Bestimmungseinheit 14 führt einen Schwellenwertprozess auf dem durch Vergleichen des Bestimmungszielbilds und des domänenumgewandelten Bildes erzeugten Differenzbild durch und bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht (Schritt ST1602).
Die Bestimmungseinheit 14 gibt, an die Eingabe-/Ausgabeeinheit 15, Informationen hinsichtlich des Bestimmungsergebnisses dahingehend aus, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht.
Nehmen wir nun erneut Bezug auf das in 14 dargestellte Flussdiagramm.
Die Eingabe-/Ausgabeeinheit 15 sendet die Informationen hinsichtlich des von der Bestimmungseinheit 14 in Schritt ST1403 an die Eingabe-/Ausgabevorrichtung 4 ausgegebenen Bestimmungsergebnisses (Schritt ST1404).
Im Falle des „Inspektionsmodus“ stellt die Steuereinheit 10 nach dem Abnormalitätsbestimmungsprozess durch die Bestimmungseinheit 14 eine Betriebsanweisung für die Eingabe-/Ausgabeeinheit 15 bereit.
Wenn die Eingabe-/Ausgabeeinheit 15 die Informationen des Bestimmungsergebnisses sendet, empfängt die Eingabe-/Ausgabevorrichtung 4 die von der Eingabe-/Ausgabeeinheit 15 gesendeten Informationen und zeigt die empfangenen Informationen, beispielsweise, auf dem Bildschirm an.
Hier sind 17 bis 19 Diagramme zum Erläutern von Beispielen eines Bildes einer Bildschirmanzeige, der, auf dem Bildschirm, Informationen hinsichtlich des Bestimmungsergebnisses anzeigt, das von der Eingabe-/Ausgabeeinheit 15 gesendet und durch die Eingabe-/Ausgabevorrichtung 4 empfangen wird, in der ersten Ausführungsform.
17 ist ein Diagramm, ein Beispiel eines Bildes einer Bildschirmanzeige darstellend, das durch die Eingabe-/Ausgabevorrichtung 4 angezeigt wird, wenn durch die Bestimmungseinheit 14 ein Bestimmungsergebnis, dass keine Abnormalität in dem in einem Bestimmungszielbild erfassten Zielobjekt 3 auftritt, von der Eingabe-/Ausgabeeinheit 15 gesendet wird.
In diesem Fall zeigt die Eingabe-/Ausgabevorrichtung 4 einfach das Bestimmungszielbild wie es ist auf dem Bildschirm an und zeigt eine Nachricht (siehe 1701 in 17) auf dem Bildschirm an, um zu benachrichtigen, dass keine Abnormalität vorhanden ist.
In 17, werden die Zeichen „OK“ als ein Beispiel für die Nachricht zur Benachrichtigung, dass keine Abnormalität vorhanden ist, angezeigt. Es ist anzumerken, dass dies lediglich ein Beispiel ist und dass nur erforderlich ist, dass die Eingabe-/Ausgabevorrichtung 4 eine geeignete Nachricht anzeigt, die den Benutzer benachrichtigen kann, dass keine Abnormalität vorhanden ist.
18 ist ein Diagramm, ein Beispiel eines Bildes einer Bildschirmanzeige darstellend, das durch die Eingabe-/Ausgabevorrichtung 4 angezeigt wird, wenn durch die Bestimmungseinheit 14 ein Bestimmungsergebnis, dass an einer Stelle in dem in einem Bestimmungszielbild erfassten Zielobjekt 3 eine Abnormalität auftritt, von der Eingabe-/Ausgabeeinheit 15 gesendet wird.
In diesem Fall überlagert und zeigt die Eingabe-/Ausgabevorrichtung 4 den abnormalen Teil auf dem Bestimmungszielbild (siehe 1801 in 18) und zeigt, auf dem Bildschirm, eine Nachricht zum Benachrichtigen an, dass eine Abnormalität auftritt (siehe 1802 in 18). In 18 zeigt, als ein Beispiel, die Eingabe-/Ausgabevorrichtung 4 „NG“ als eine Nachricht zum Benachrichtigen an, dass eine Abnormalität auftritt.
Ferner überlagert die Eingabe-/Ausgabevorrichtung 4 den abnormalen Teil auf dem Bestimmungszielbild zur Anzeige und veranlasst den Bildschirm, eine Nachricht anzuzeigen (siehe 1803 in 18), um Aufmerksamkeit auf den abnormalen Teil zu lenken. In 18 zeigt, als ein Beispiel, die Eingabe-/Ausgabevorrichtung 4 „PRÜFEN!“ als eine Nachricht an, um Aufmerksamkeit auf den abnormalen Teil zu lenken. Es ist anzumerken, dass es nur erforderlich ist, dass die Eingabe-/Ausgabevorrichtung 4 den abnormalen Teil aus den Informationen des Begrenzungsfelds angibt, die in den Informationen hinsichtlich des von der Eingabe-Ausgabeeinheit 15 gesendeten Bestimmungsergebnisses enthalten sind.
In 18 werden die Zeichen „NG“ als ein Beispiel der Nachricht zum Benachrichtigen angezeigt, dass eine Abnormalität auftritt; allerdings ist dies lediglich ein Beispiel. Es ist nur erforderlich, dass die Eingabe-/Ausgabevorrichtung 4 eine geeignete Nachricht anzeigt, die den Benutzer benachrichtigen kann, dass eine Abnormalität auftritt. In 18 werden die Zeichen „PRÜFEN!“ als ein Beispiel einer Nachricht zum Lenken der Aufmerksamkeit auf den abnormalen Teil angezeigt; allerdings ist dies lediglich ein Beispiel. Es ist nur erforderlich, dass die Eingabe-/Ausgabevorrichtung 4 eine geeignete Nachricht anzeigt, die den Benutzer auffordern kann, seine Aufmerksamkeit auf den abnormalen Teil zu legen.
19 ist ein Diagramm, ein weiteres Beispiel eines Bildes einer Bildschirmanzeige darstellend, das durch die Eingabe-/Ausgabevorrichtung 4 angezeigt wird, wenn durch die Bestimmungseinheit 14 ein Bestimmungsergebnis, dass an einer Stelle in dem in einem Bestimmungszielbild erfassten Zielobjekt 3 eine Abnormalität auftritt, von der Eingabe-/Ausgabeeinheit 15 gesendet wird.
Wenn bestimmt wird, dass eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, kann die Eingabe-/Ausgabevorrichtung 4 den Bildschirm veranlassen, ein zusammengesetztes Bild anzuzeigen, das durch Kombinieren des Differenzbilds mit dem Bestimmungszielbild erhalten wird, wie in 19 dargestellt, ohne den abnormalen Teil direkt anzuzeigen, wie in 18 dargestellt.
In 19 zeigt, beispielsweise, die Eingabe-/Ausgabevorrichtung 4 das Bestimmungszielbild auf der linken Seite und das oben beschriebene zusammengesetzte Bild auf der rechten Seite an.
Im zusammengesetzten Bild wird der Teil, in dem die Differenz vom normalen Zustand im Bestimmungszielbild groß ist, angezeigt, um bemerkbar zu sein (siehe 1901 in 19), und so kann der Benutzer einfach den Teil erfassen, der bemerkt werden soll, wenn eine Abnormalitätsinspektion durchgeführt wird.
Es ist anzumerken, dass verschiedene Verfahren als das Verfahren zum Erzeugen eines zusammengesetzten Bildes vorstellbar sind, und es ist für die Eingabe-/Ausgabevorrichtung 4 nur erforderlich, ein zusammengesetztes Bild durch ein geeignetes Verfahren zu erzeugen.
Beispielsweise kann die Eingabe-/Ausgabevorrichtung 4 ein zusammengesetztes Bild erzeugen, in dem ein Teil mit einer kleinen Differenz dunkel angezeigt wird und ein Teil mit einer großen Differenz hell angezeigt wird (siehe 19), oder sie kann es in Farben anzeigen, sodass ein Teil mit einer kleinen Differenz blau angezeigt wird und dass, je größer die Differenz wird, die Differenz in einem umso dunkleren Rot angezeigt wird.
Währenddessen sind die Bilder der Bildschirmanzeigen, wie in 17 bis 19 dargestellt, lediglich Beispiele, und die Eingabe-/Ausgabevorrichtung 4 kann andere Bildschirmanzeigen anzeigen. Beispielsweise kann die Eingabe-/Ausgabevorrichtung 4 eine Kombination von Bildschirmanzeigen anzeigen, wie in 17 bis 19 dargestellt. Alternativ kann, in einem Fall, in dem die Eingabe-/Ausgabevorrichtung 4 durch eine Audioausgabevorrichtung, wie etwa einen Lautsprecher, umgesetzt wird, anstatt über den Bildschirm, die Eingabe-/Ausgabevorrichtung 4 die Informationen hinsichtlich des von der Eingabe-/Ausgabeeinheit 15 gesendeten Bestimmungsergebnisses durch, beispielsweise, Sprache, Musik oder ähnliches ausgeben.
Wie oben beschrieben, führt, im „Inspektionsmodus“, die Abnormalitätsinspektionsvorrichtung 1 Domänenumwandlung auf dem von der Kamera 2 erworbenen Bestimmungszielbild unter Verwendung von Informationen durch, die im Voraus gelernt wurden, und definiert die Auslegung des neuronalen Netzwerks, um das domänenumgewandelte Bild zu erhalten. Dann führt die Abnormalitätsinspektionsvorrichtung 1 den Schwellenwertprozess auf dem durch Vergleich des Bestimmungszielbilds und des domänenumgewandelten Bildes erzeugten Differenzbild durch und bestimmt, ob eine Abnormalität in dem Bestimmungszielbild auftritt oder nicht.
Als ein Verfahren zum Bestimmen, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht, kann, beispielsweise, ein in der Vergangenheit erfasstes normales Bild gespeichert werden, und das gespeicherte normale Bild und das neu erworbene Bestimmungszielbild können verglichen werden. In diesem Fall erscheinen allerdings verschiedene Faktoren, wie nachfolgend beschrieben, als Differenzen zwischen den Bildern zusätzlich zu einer zu detektierenden Abnormalität.

- Differenz in den Beleuchtungsbedingungen
- Differenz in der positionellen Beziehung zwischen Kamera 2 und Zielobjekt 3
- Variationen im Zielobjekt 3 innerhalb eines normalen Bereichs (wie etwa Farbdifferenzen, die nicht als abnormal bestimmt werden sollen, oder oberflächliche Kratzer, die nicht als abnormal bestimmt werden sollen)

Es ist schwierig, zwischen Differenzen zwischen einem normalen Bild und einem Bestimmungszielbild, die Faktoren, wie oben beschrieben, zurechenbar sind, und Differenzen zwischen einem normalen Bild und einem Bestimmungszielbild, die einem Auftreten einer Abnormalität im Zielobjekt 3 zurechenbar sind, zu unterscheiden. Daher ist es nicht möglich, eine Abnormalität mit hoher Genauigkeit durch einfaches Vergleichen eines in der Vergangenheit erfassten normalen Bildes und eines Bestimmungszielbild zu detektieren.
Ein Ansatz zum Verbessern der Detektionsgenauigkeit einer Differenz zwischen einem normalen Bild und einem Bestimmungszielbild kann, beispielsweise, sein, das Bilderfassungssystem so aufzustellen, dass die Beleuchtungsbedingung und die positionelle Beziehung zwischen der Kamera 2 und dem Zielobjekt 3 konstant gehalten werden. Allerdings gibt es selbst bei einem solchen Ansatz den Nachteil, dass sich die Kosten des Bilderfassungssystems erhöhen, wie etwa durch die Notwendigkeit einer Lichtabschirmungsplatte zum Abdecken der Umgebung der Kamera 2 oder des Zielobjekts 3 oder eines Gestells zum Positionieren der Kamera 2 oder des Zielobjekts 3 mit hoher Genauigkeit.
Im Gegensatz zum Vorigen erhält, in der Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform, die Bildanalyseeinheit 12 ein domänenumgewandeltes Bild durch direktes Verwenden eines Bestimmungszielbilds unter Verwendung des neuronalen Netzwerks, das vorab veranlasst wurde zu lernen, und die Bestimmungseinheit 14 bestimmt, ob eine Abnormalität im Bestimmungszielbild auftritt, durch Vergleich des Bestimmungszielbilds und des domänenumgewandelten Bilds.
Daher ist es möglich, eine hochgradig genaue Abnormalitätsbestimmung durchzuführen, die nicht durch Differenzen in den Bilderfassungsbedingungen oder eine Differenz zwischen den Bildern, die Variationen innerhalb eines normalen Bereichs zurechenbar ist, wie oben beschrieben, beeinflusst wird.
Darüber hinaus erfordert die Abnormalitätsinspektionsvorrichtung 1 nicht, dass das Zielobjekt oder die Kamera zuverlässig gesichert ist, und erfordert auch keine Vorrichtung für eine hochgradig genaue Positionierung, und daher kann eine Erhöhung in den Einführungskosten unterdrückt werden.
Wie oben beschrieben, umfasst, gemäß der ersten Ausführungsform, die Abnormalitätsinspektionsvorrichtung 1 Folgendes: die Bilderwerbseinheit 11 zum Erwerben eines zu inspizierenden, das Zielobjekt 3 erfassenden Bestimmungszielbilds; die Lernergebniserwerbseinheit 123 zum Erwerben eines Ergebnisses des Maschinenlernens von Vorwärtsdomänenumwandlung eines Bildes oder von Rückwärtsdomänenumwandlung eines Bildes, durchgeführt unter Verwendung eines das Zielobjekt 3 in einem normalen Zustand erfassenden normalen Bildes als Trainingsdaten; die Bestimmungszielbildanalyseeinheit 122 zum Erhalten eines domänenumgewandelten Bildes durch sequenzielles Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit 11 erworbenen Bestimmungszielbild, unter Verwendung des durch die Lernergebniserwerbseinheit 123 erworbenen Ergebnisses des Maschinenlernens; und die Bestimmungseinheit 14 zum Bestimmen, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, durch Vergleichen des durch die Bilderwerbseinheit 11 erworbenen Bestimmungszielbilds und des durch die Bestimmungszielbildanalyseeinheit 122 erworbenen domänenumgewandelten Bildes. Daher ist es möglich, eine Abnormalität eines Zielobjekts zu inspizieren, ohne durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst zu werden.
Darüber hinaus muss, beispielsweise, ein Benutzer oder ähnliches, nicht im Detail definieren, in welchem Zustand eine Abnormalität im Bestimmungszielbild ist, und die Anwendung kann universell für jeden Typ von Abnormalität vorgenommen werden.
Ferner kann, im Lernmodus, Maschinenlernen unter Verwendung von mehreren Bildern durchgeführt werden, in denen die positionelle Beziehung zwischen dem Zielobjekt und der Kamera nicht konstant ist. In einem Fall, in dem ein solches Maschinenlernen durchgeführt wird, kann ein beliebiges Bild einer Inspektion im Inspektionsmodus unterzogen werden, und es besteht ein Effekt, dass es weder notwendig ist, das Zielobjekt und die Kamera zuverlässig zu sichern, noch eine hochgenaue Positionierung durchzuführen.
Zweite Ausführungsform
In der ersten Ausführungsform lernt die Abnormalitätsinspektionsvorrichtung 1 im Voraus die Auslegung des neuronalen Netzwerks auf Grundlage eines normalen Bildes und bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt oder nicht, unter Verwendung des Lernergebnisses.
In einer zweiten Ausführungsform wird eine Ausführungsform beschrieben, in der eine Abnormalitätsinspektionsvorrichtung 1a ferner eine Abnormalität analysiert, die in einem in einem Bestimmungszielbild erfassten Zielobjekt 3 auftritt.
20 ist ein Diagramm, ein Auslegungsbeispiel der Abnormalitätsinspektionsvorrichtung 1a gemäß der zweiten Ausführungsform darstellend.
Die in 20 dargestellte Abnormalitätsinspektionsvorrichtung 1a ist verschieden von der Bezug nehmend auf 1 in der ersten Ausführungsform beschriebenen Abnormalitätsinspektionsvorrichtung 1 dahingehend, dass eine Abnormalitätsanalyseeinheit 16 enthalten ist. Da die Auslegung der Abnormalitätsinspektionsvorrichtung 1a, die nicht die Abnormalitätsanalyseeinheit 16 ist, ähnlich der der Abnormalitätsinspektionsvorrichtung 1 der ersten Ausführungsform ist, werden die gleichen Komponenten durch die gleichen Symbole bezeichnet, und redundante Beschreibung wird ausgelassen.
In der Abnormalitätsinspektionsvorrichtung 1a gemäß der zweiten Ausführungsform gibt, in einem „Inspektionsmodus“, eine Bestimmungszielbildanalyseeinheit 122 einer Bildanalyseeinheit 12, an eine Bestimmungseinheit 14, ein vorwärtsdomänenumgewandeltes Bild (siehe 5 und 6), das durch Vorwärtsdomänenumwandlung eines Zielbilds erhalten wurde, zusätzlich zu dem Bestimmungszielbild und einem domänenumgewandelten Bild aus.
Im „Inspektionsmodus“ erwirbt die Bestimmungseinheit 14 das Bestimmungszielbild, das vorwärtsdomänenumgewandelte Bild und das domänenumgewandelte Bild, ausgegeben von der Bestimmungszielbildanalyseeinheit 122. Nachdem das Bestimmungszielbild und das domänenumgewandelte Bild verglichen wurden und der Abnormalitätsbestimmungsprozess durchgeführt wurde, gibt die Bestimmungseinheit 14 die Informationen hinsichtlich des Bestimmungsergebnisses an die Abnormalitätsanalyseeinheit 16 aus. An diesem Punkt gibt die Bestimmungseinheit 14 das von der Bestimmungszielbildanalyseeinheit 122 erworbene vorwärtsdomänenumgewandelte Bild zusammen mit den Informationen hinsichtlich des Bestimmungsergebnisses an die Abnormalitätsanalyseeinheit 16 aus.
Es ist anzumerken, dass der spezifische Inhalt des Abnormalitätsbestimmungsprozesses durch die Bestimmungseinheit 14 wie in der ersten Ausführungsform beschrieben ist, und daher wird eine redundante Beschreibung ausgelassen.
Im „Inspektionsmodus“ führt die Abnormalitätsanalyseeinheit 16 einen Abnormalitätsanalyseprozess auf Grundlage der Informationen hinsichtlich des Bestimmungsergebnisses und des von der Bestimmungseinheit 14 ausgegebenen vorwärtsdomänenumgewandelten Bildes durch und gibt die Informationen hinsichtlich des Abnormalitätsanalyseergebnisses an eine Eingabe-/Ausgabeeinheit 15 aus.
Speziell analysiert die Abnormalitätsanalyseeinheit 16, in welchem Bereich im Bestimmungszielbild eine Abnormalität auftritt, beispielsweise durch Überlagern eines Begrenzungsfeldes und des vorwärtsdomänenumgewandelten Bildes in einem Fall, in dem die Bestimmungseinheit 14 die Informationen hinsichtlich eines Bestimmungsergebnisses ausgibt, die anzeigen, dass eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt.
Es ist anzumerken, dass die Informationen hinsichtlich des Begrenzungsfelds in den Informationen hinsichtlich des von der Bestimmungseinheit 14 ausgegebenen Bestimmungsergebnisses enthalten sind.
Beispielsweise überlagert in einem Fall, in dem das vorwärtsdomänenumgewandelte Bild ein Bild der Bereichsdomäne ist, erhalten durch Vorwärtsdomänenumwandlung des Bestimmungszielbilds in der zweiten Ausführungsform, die Abnormalitätsanalyseeinheit 16 das Begrenzungsfeld und das Bild der Bereichsdomäne (siehe 21).
In 21 zeigt 211 in 21 das Bild der Bereichsdomäne an, zeigt 2101 in 21 einen Substratbereich an, zeigt 2102 in 21 einen Verkabelungsbereich an, zeigt 2103 in 21 einen IC-Bereich an und zeigt 2014 in 21 das Begrenzungsfeld an.
In dem in 21 dargestellten Beispiel tritt eine Abnormalität im Verkabelungsbereich auf. In diesem Fall analysiert die Abnormalitätsanalyseeinheit 16, dass eine Abnormalität in der Verkabelung auftritt, und gibt Informationen, die anzeigen, dass es eine Abnormalität in der Verkabelung zur Eingabe-/Ausgabeeinheit 15 gibt, als Informationen hinsichtlich des Abnormalitätsanalyseergebnisses aus.
An diesem Punkt gibt die Abnormalitätsanalyseeinheit 16 die Informationen hinsichtlich des von der Bestimmungseinheit 14 erworbenen Bestimmungsergebnisses zusammen mit den Informationen hinsichtlich des Abnormalitätsanalyseergebnisses an die Eingabe-/Ausgabeeinheit 15 aus.
Es ist anzumerken, dass die Abnormalitätsanalyseeinheit 16 keine Abnormalitätsanalyse durchführt und die Informationen hinsichtlich des Bestimmungsergebnisses an die Eingabe-/Ausgabeeinheit 15 ausgibt, wie es in einem Fall ist, in dem die Bestimmungseinheit 14 Informationen hinsichtlich eines Bestimmungsergebnisses, die anzeigen, dass keine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, ausgibt.
Die Abnormalitätsanalyseeinheit 16 kann ein wünschenswertes Stück von im Voraus in der Speichereinheit 13, beispielsweise auf Grundlage von Informationen, dass eine Abnormalität in dem Verkabelungsbereich auftritt, gespeicherten Informationen lesen und die gelesenen Informationen an die Eingabe-/Ausgabeeinheit 15 als die Informationen hinsichtlich des Abnormalitätsanalyseergebnis ausgeben.
Beispiele der wünschenswerten Stücke von Informationen, die die Abnormalitätsanalyseeinheit 16 aus der Speichereinheit 13 liest, umfassen einen Fehlercode, der der auftretenden Abnormalität entspricht, oder eine Anleitung zum Umgang mit der auftretenden Abnormalität.
Als nächstes wird der Betrieb der Abnormalitätsinspektionsvorrichtung 1a gemäß der zweiten Ausführungsform beschrieben.
In der Abnormalitätsinspektionsvorrichtung 1a gemäß der zweiten Ausführungsform werden auch, wie in der Abnormalitätsinspektionsvorrichtung 1 gemäß der ersten Ausführungsform, ein „Lernmodus“ und der „Inspektionsmodus“ durchgeführt.
Der spezielle Betrieb im „Lernmodus“ in der Abnormalitätsinspektionsvorrichtung 1a ist ähnlich dem speziellen Betrieb im „Lernmodus“ in der Abnormalitätsinspektionsvorrichtung 1, beschrieben in der ersten Ausführungsform Bezug nehmend auf 12 und 13, und daher wird eine redundante Beschreibung ausgelassen.
Nachfolgend wird der Betrieb im „Inspektionsmodus“ der Abnormalitätsinspektionsvorrichtung 1a gemäß der zweiten Ausführungsform beschrieben.
22 ist ein Flussdiagramm zum Erläutern des Betriebs der Abnormalitätsinspektionsvorrichtung 1a im „Inspektionsmodus“, in der zweiten Ausführungsform.
Die Bilderwerbseinheit 11 erwirbt über das Netzwerk ein Bestimmungszielbild von der Kamera 2 (Schritt ST2201). Der spezielle Betrieb der Bilderwerbseinheit 11 in Schritt ST2201 ist ähnlich dem speziellen Betrieb der Bilderwerbseinheit 11 in Schritt ST1401 von 14, beschrieben in der ersten Ausführungsform.
Die Bilderwerbseinheit 11 gibt das erworbene Bestimmungszielbild an die Bestimmungszielbildanalyseeinheit 122 der Bildanalyseeinheit 12 aus.
Die Bestimmungszielbildanalyseeinheit 122 erwirbt eine angegebene Anzahl von Bestimmungszielbildern von der Bilderwerbseinheit 11 und führt den domänenumgewandelten Bilderwerbsprozess auf Grundlage der erworbenen Bestimmungszielbilder durch (Schritt ST2202).
In Schritt ST2202 führt die Bestimmungszielbildanalyseeinheit 122 den Betrieb durch, wie Bezug nehmend auf 15 in der ersten Ausführungsform beschrieben. Allerdings gibt, in Schritt ST2202, die Bestimmungszielbildanalyseeinheit 122 ein vorwärtsdomänenumgewandeltes Bild zusätzlich zum Bestimmungszielbild und zum domänenumgewandelten Bild an die Bestimmungseinheit 14 aus.
Die Bestimmungseinheit 14 erwirbt das Bestimmungszielbild, das domänenumgewandelte Bild und das vorwärtsdomänenumgewandelte Bild, die in Schritt ST2202 von der Bestimmungszielbildanalyseeinheit 122 ausgegeben wurden, vergleicht das erworbene Bestimmungszielbild und das domänenumgewandelte Bild, um den Abnormalitätsbestimmungsprozess durchzuführen (Schritt ST2203).
In Schritt ST2203 führt die Bestimmungseinheit 14 den Abnormalitätsbestimmungsprozess durch, wie Bezug nehmend auf 16 in der ersten Ausführungsform beschrieben.
Die Bestimmungseinheit 14 gibt das von der Bestimmungszielbildanalyseeinheit 122 in Schritt ST2202 erworbene vorwärtsdomänenumgewandelte Bild zusammen mit den Informationen hinsichtlich des Bestimmungsergebnisses an die Abnormalitätsanalyseeinheit 16 aus.
Die Abnormalitätsanalyseeinheit 16 führt den Abnormalitätsanalyseprozess auf Grundlage der Informationen hinsichtlich des Bestimmungsergebnisses und des von der Bestimmungseinheit 14 in Schritt ST2203 ausgegebenen vorwärtsdomänenumgewandelten Bildes durch (Schritt ST2204).
Im Falle des „Inspektionsmodus“ stellt die Steuereinheit 10 nach dem Abnormalitätsbestimmungsprozess durch die Bestimmungseinheit 14 eine Betriebsanweisung für die Abnormalitätsanalyseeinheit 16 bereit.
Hier ist 23 ein Flussdiagramm zum Erläutern von Details eines durch die Abnormalitätsanalyseeinheit 16 in Schritt ST2204 von 22 durchgeführten Abnormalitätsanalyseprozesses, in der zweiten Ausführungsform.
In Schritt ST2203 aus 22 bestimmt die Abnormalitätsanalyseeinheit 16, ob die Bestimmungseinheit 14 Informationen hinsichtlich eines Bestimmungsergebnisses, die anzeigen, dass eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, ausgegeben hat (Schritt ST2301).
Wenn, in Schritt ST2301, die Abnormalitätsanalyseeinheit 16 bestimmt, dass die Bestimmungseinheit 14 Informationen hinsichtlich eines Bestimmungsergebnisses, die anzeigen, dass keine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, ausgegeben hat (im Falle von „NEIN“ in Schritt ST2301), beendet die Abnormalitätsanalyseeinheit 16 den in 23 dargestellten Prozess und fährt mit Schritt ST2205 in 22 fort. Es ist anzumerken, dass an diesem Punkt die Abnormalitätsanalyseeinheit 16 die Informationen hinsichtlich des von der Bestimmungseinheit 14 erworbenen Bestimmungsergebnisses wie sie sind an die Eingabe-/Ausgabeeinheit 15 ausgibt.
Wenn in Schritt ST2301 bestimmt wird, dass die Informationen hinsichtlich des Bestimmungsergebnisses, die anzeigen, dass eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt 3 auftritt, von der Bestimmungseinheit 14 ausgegeben werden (im Falle von „JA“ in Schritt ST2301), überlagert die Abnormalitätsanalyseeinheit 16 das Begrenzungsfeld und das vorwärtsdomänenumgewandelte Bild und analysiert, in welchem Bereich im Bestimmungszielbild die Abnormalität auftritt (Schritt ST2302). Dann gibt die Abnormalitätsanalyseeinheit 16 die Informationen hinsichtlich des Abnormalitätsanalyseergebnisses zusammen mit Informationen hinsichtlich des von der Bestimmungseinheit 14 ausgegebenen Bestimmungsergebnisses an die Eingabe-/Ausgabeeinheit 15 aus.
Nehmen wir nun erneut Bezug auf das in 22 dargestellte Flussdiagramm.
Die Eingabe-/Ausgabeeinheit 15 sendet die Informationen hinsichtlich des von der Abnormalitätsanalyseeinheit 16 in Schritt ST2204 an die Eingabe-/Ausgabevorrichtung 4 ausgegebenen Bestimmungsergebnisses (Schritt ST2205).
In einem Fall, in dem die Informationen hinsichtlich des Abnormalitätsanalyseergebnisses von der Abnormalitätsanalyseeinheit 16 ausgegeben werden, sendet die Eingabe-/Ausgabeeinheit 15 die Informationen hinsichtlich des Abnormalitätsanalyseergebnisses zusammen mit den Informationen hinsichtlich des Bestimmungsergebnisses an die Eingabe-/Ausgabevorrichtung 4.
Die Eingabe-/Ausgabevorrichtung 4 empfängt die von der Eingabe-/Ausgabeeinheit 15 gesendeten Informationen und zeigt die empfangenen Informationen, beispielsweise, auf einem Bildschirm an.
Beispielsweise in einem Fall, in dem die Informationen hinsichtlich des Abnormalitätsanalyseergebnisses von der Eingabe-/Ausgabeeinheit 15 ausgegeben werden, veranlasst die Eingabe-/Ausgabevorrichtung 4 den Bildschirm, die Stelle, an der die Abnormalität im Zielobjekt 3 auftritt, einen Fehlercode, Informationen zu einer Anleitung zum Umgang oder ähnliches auf Grundlage der Informationen hinsichtlich des Abnormalitätsanalyseergebnisses anzuzeigen.
Wie oben beschrieben, ist, gemäß der zweiten Ausführungsform, die Abnormalitätsinspektionsvorrichtung 1a in der Lage, eine Abnormalität eines Zielobjekts zu inspizieren, ohne durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst zu werden, wie in der ersten Ausführungsform.
Darüber hinaus führt, gemäß der zweiten Ausführungsform, die Bestimmungszielbildanalyseeinheit 122 eine Vorwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit 11 erworbenen Bestimmungszielbild unter Verwendung eines Ergebnisses von Maschinenlernen, durchgeführt unter Verwendung des normalen Bildes als Trainingsdaten, durch und gibt das erhaltene vorwärtsdomänenumgewandelte Bild an die Bestimmungseinheit 14 aus, und die Abnormalitätsinspektionsvorrichtung 1a umfasst ferner die Abnormalitätsanalyseeinheit 16 zum Durchführen einer Analyse auf der Abnormalität unter Verwendung des vorwärtsdomänenumgewandelten Bildes in einem Fall, in dem die Bestimmungseinheit 14 bestimmt, dass eine Abnormalität in dem im durch die Bilderwerbseinheit 11 erworbenen Bestimmungszielbild erfassten Zielobjekt 3 auftritt. Aus diesem Grund ist es, in einem Fall, in dem bestimmt wird, dass eine Abnormalität im Bestimmungszielbild auftritt, möglich, Informationen hinsichtlich der Klassifizierung dahingehend bereitstellen, ob oder wie mit der Abnormalität umgegangen wird, um die Abnormalität zu analysieren, deren Auftreten unter Verwendung des vorwärtsdomänenumgewandelten Bildes bestimmt wurde in einem Fall, in dem bestimmt wird, dass die Abnormalität auftritt.
Es ist anzumerken, dass in den Abnormalitätsinspektionsvorrichtungen 1 und 1a der ersten und der zweiten Ausführungsform, wie oben beschrieben, im „Lernmodus“, die Normalbildanalyseeinheit 121 Maschinenlernen unter Verwendung eines normalen Bildes durchführt und veranlasst, dass das Ergebnis des Maschinenlernens gespeichert wird, und dass dann, im „Inspektionsmodus“, die Lernergebniserwerbseinheit 123 das durch die Normalbildanalyseeinheit 121 gespeicherte Ergebnis des Maschinenlernens erwirbt und die Bestimmungszielbildanalyseeinheit 122 ein domänenumgewandeltes Bild unter Verwendung des Ergebnisses des Maschinenlernens erwirbt.
Allerdings ist es, ohne darauf beschränkt zu sein, nur erforderlich, dass Maschinenlernen unter Verwendung eines normalen Bildes durchgeführt wird, bevor der „Inspektionsmodus“ durch die Abnormalitätsinspektionsvorrichtung 1 oder 1a durchgeführt wird. Beispielsweise in einem Zustand, in dem Maschinenlernen im Voraus durchgeführt wird und das Ergebnis des Maschinenlernens gespeichert wird, umfasst die Abnormalitätsinspektionsvorrichtung 1 oder 1a die Normalbildanalyseeinheit 121 möglicherweise nicht, und die Lernergebniserwerbseinheit 123 kann ein Ergebnis des Maschinenlernens erwerben, das vorab gespeichert wurde.
Es ist anzumerken, dass die vorliegende Erfindung eine flexible Kombination der entsprechenden Ausführungsformen, eine Modifikation einer beliebigen Komponente der entsprechenden Ausführungsformen oder eine Auslassung einer beliebigen Komponente in den entsprechenden Ausführungsformen innerhalb des Schutzumfangs der vorliegenden Erfindung umfassen kann.
INDUSTRIELLE ANWENDBARKEIT
Eine Abnormalitätsinspektionsvorrichtung gemäß der vorliegenden Erfindung ist in der Lage, eine Abnormalität eines Zielobjekts zu inspizieren, ohne durch eine Differenz in den Bilderfassungsbedingungen oder eine Differenz zwischen Bildern aufgrund von Variationen innerhalb eines normalen Bereichs beeinflusst zu werden, und ist daher anwendbar auf eine Abnormalitätsinspektionsvorrichtung zum Inspizieren, ob es eine Abnormalität in einem Objekt gibt, auf Grundlage eines Bildes, das das zu inspizierende Objekt erfasst.
Bezugszeichenliste

1,1a:: Abnormalitätsinspektionsvorrichtung,
2:: Kamera,
3:: Zielobjekt,
4:: Eingabe-/Ausgabevorrichtung,
10:: Steuereinheit,
11:: Bilderwerbseinheit,
12:: Bildanalyseeinheit,
13:: Speichereinheit,
14:: Bestimmungseinheit,
15:: Eingabe-/Ausgabeeinheit,
16:: Abnormalitätsanalyseeinheit,
121:: Normalbildanalyseeinheit,
122:: Bestimmungszielbildanalyseeinheit,
123:: Lernergebniserwerbseinheit,
1101:: Verarbeitungsschaltung,
1102:: HDD,
1103:: Eingabeschnittstellenvorrichtung,
1104:: Ausgabeschnittstellenvorrichtung,
1105:: CPU,
1106:: Speicher.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2013032995 A [0004]

Claims

Abnormalitätsinspektionsvorrichtung, die Folgendes umfasst: eine Bilderwerbseinheit, die ein Bestimmungszielbild erwirbt, in dem ein zu inspizierendes Zielobjekt erfasst ist; eine Lernergebniserwerbseinheit, die ein Ergebnis von Maschinenlernen einer Vorwärtsdomänenumwandlung eines Bildes oder einer Rückwärtsdomänenumwandlung eines Bildes erwirbt, durchgeführt unter Verwendung eines normalen Bildes, in dem das Zielobjekt in einem normalen Zustand erfasst ist, als Trainingsdaten; eine Bestimmungszielbildanalyseeinheit, die ein domänenumgewandeltes Bild erhält durch sequenzielles Durchführen einer Vorwärtsdomänenumwandlung und einer Rückwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit erworbenen Bestimmungszielbild, unter Verwendung des durch die Lernergebniserwerbseinheit erworbenen Ergebnisses des Maschinenlernens; und eine Bestimmungseinheit, die bestimmt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt oder nicht, durch Vergleichen des durch die Bilderwerbseinheit erworbenen Bestimmungszielbilds und des durch die Bestimmungszielbildanalyseeinheit erworbenen domänenumgewandelten Bildes.
Abnormalitätsinspektionsvorrichtung nach Anspruch 1, wobei die Bilderwerbseinheit in der Lage ist, das normale Bild, in dem das Zielobjekt im normalen Zustand erfasst ist, zusätzlich zum Bestimmungszielbild aufzunehmen, und wobei die Abnormalitätsinspektionsvorrichtung ferner eine Normalbildanalyseeinheit umfasst, die das Maschinenlernen unter Verwendung des durch die Bilderwerbseinheit erworbenen normalen Bildes als Trainingsdaten durchführt, und wobei die Lernergebniserwerbseinheit das Ergebnis des durch die Normalbildanalyseeinheit durchgeführten Maschinenlernens erwirbt.
Abnormalitätsinspektionsvorrichtung nach Anspruch 1, wobei die Bestimmungseinheit die Vorwärtsdomänenumwandlung oder die Rückwärtsdomänenumwandlung unter Verwendung eines neuronalen Netzwerks durchführt.
Abnormalitätsinspektionsvorrichtung nach Anspruch 1, wobei die Bestimmungseinheit ein Differenzbild erzeugt, dessen Pixel absolute Werte von Differenzen zwischen mehreren im Bestimmungszielbild enthaltenen Pixeln und mehreren im domänenumgewandelten Bild enthaltenen Pixeln anzeigen, die einander positionell entsprechen, und einen durch eine Menge von Pixeln, deren absolute Werte größer als oder gleich einem Schwellenwert sind, unter den Pixeln des Differenzbilds gebildeten Bereich als einen Bereich bestimmt, in dem eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt.
Abnormalitätsinspektionsvorrichtung nach Anspruch 1, wobei die Bestimmungszielbildanalyseeinheit ein vorwärtsdomänenumgewandeltes Bild erhält durch Durchführen von Vorwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit erworbenen Bestimmungszielbild, unter Verwendung eines unter Verwendung des normalen Bildes als Trainingsdaten durchgeführten Ergebnisses des Maschinenlernens, und wobei die Abnormalitätsinspektionsvorrichtung ferner eine Abnormalitätsanalyseeinheit umfasst, die Analyse auf der Abnormalität unter Verwendung des vorwärtsdomänenumgewandelten Bildes durchführt, wenn die Bestimmungseinheit bestimmt, dass die Abnormalität in dem im durch die Bilderwerbseinheit erworbenen Bestimmungszielbild erfassten Zielobjekt auftritt.
Abnormalitätsinspektionsvorrichtung nach Anspruch 1, die ferner Folgendes umfasst: eine Eingabe-/Ausgabeeinheit, die, an eine Anzeigevorrichtung, Informationen hinsichtlich eines Bestimmungsergebnisses, durch die Bestimmungseinheit dahingehend ausgibt, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt oder nicht.
Abnormalitätsinspektionsverfahren, das Folgendes umfasst: Erwerben, durch eine Bilderwerbseinheit, eines Bestimmungszielbilds, in dem ein zu inspizierendes Zielobjekt erfasst ist; Erwerben, durch eine Lernergebniserwerbseinheit, eines Ergebnisses von Maschinenlernen einer Vorwärtsdomänenumwandlung eines Bildes oder einer Rückwärtsdomänenumwandlung eines Bildes, durchgeführt unter Verwendung eines normalen Bildes, in dem das Zielobjekt in einem normalen Zustand erfasst ist, als Trainingsdaten; Erhalten, durch eine Bestimmungszielbildanalyseeinheit, eines domänenumgewandelten Bildes durch sequenzielles Durchführen von Vorwärtsdomänenumwandlung und Rückwärtsdomänenumwandlung auf dem durch die Bilderwerbseinheit erworbenen Bestimmungszielbild, unter Verwendung des durch die Lernergebniserwerbseinheit erworbenen Ergebnisses des Maschinenlernens; und Bestimmen, durch eine Bestimmungseinheit, ob eine Abnormalität in dem im Bestimmungszielbild erfassten Zielobjekt auftritt oder nicht, durch Vergleichen des durch die Bilderwerbseinheit erworbenen Bestimmungszielbilds und des durch die Bestimmungszielbildanalyseeinheit erworbenen domänenumgewandelten Bildes.