-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung bezieht sich auf eine Bilduntersuchungsvorrichtung und ein Bilduntersuchungsverfahren.
-
STAND DER TECHNIK
-
Ein Verfahren zur Bestimmung einer Anomalie bzw. einer Unregelmä-ßigkeit eines Prüfungsziels auf der Grundlage eines Ergebnisses der Untersuchung eines Bildes, in dem das Prüfungsziel fotografiert wird, wurde vorgeschlagen. Das in der Nichtpatentliteratur 1 beschriebene Bilduntersuchungsverfahren veranlasst beispielsweise einen Autoencoder oder ein Generatives Adversariales Netzwerk (GAN), ein Bilderzeugungsverfahren zur Wiederherstellung eines normalen Bildes auf der Grundlage eines aus dem normalen Bild extrahierten Merkmals zu erlernen, in dem ein normales Prüfungsziel fotografiert wird. Das Bilderzeugungsverfahren hat die Eigenschaft, dass ein normales Bild nicht genau durch ein Merkmal wiederhergestellt werden kann, das aus einem anormalen Bild extrahiert wurde, in dem ein anormales Prüfungsziel fotografiert wurde. Das in der Nichtpatentliteratur 1 beschriebene Bilduntersuchungsverfahren berechnet ein Differenzbild zwischen einem Bild, in dem ein Prüfungsziel fotografiert wurde, und einem wiederhergestellten Bild, und bestimmt eine Anomalie bzw. Unregelmäßigkeit des Prüfungsziels auf der Grundlage des Differenzbildes.
-
LISTE ZITIERTER SCHRIFTEN
-
NICHT-PATENTLITERATUR
-
Nicht-Patentliteratur 1: Schlegl, Thomas, et al., „Unsupervised anomaly detection with generative adversarial networks to guide marker discovery“, ICIP 2017.
-
KURZFASSUNG DER ERFINDUNG
-
TECHNISCHES PROBLEM
-
Wenn ein Teil des Aussehens eines Produkts, das Gegenstand der Prüfung ist, ein Prüfungsziel ist, ist ein bestimmter Bereich in einem Bild, in dem das Produkt fotografiert wird, ein Prüfungszielbildbereich. In diesem Fall kommt es zwischen einem Bild, das in einem Zustand aufgenommen wurde, in dem das Produkt direkt der Kamera zugewandt ist, und einem Bild, das in einem Zustand aufgenommen wurde, in dem das Produkt nicht direkt der Kamera zugewandt ist, zu einer Verschiebung der Position und Lage des Prüfungsziels im Bild. Die in der Nichtpatentliteratur 1 beschriebene konventionelle Technik hat das Problem, dass zwar eine Anomalie im Prüfungsziel aufgrund einer Positions- und Lageverschiebung festgestellt werden kann, es aber nicht möglich ist, genau zu bestimmen, in welchem Teil des Prüfungsziels die Anomalie aufgetreten ist.
-
Die vorliegende Offenbarung löst die obigen Probleme, und ein Ziel der vorliegenden Offenbarung ist es, eine Bilduntersuchungsvorrichtung und ein Bilduntersuchungsverfahren zu erhalten, die in der Lage sind, eine Bilduntersuchung durchzuführen, die robust gegenüber Änderungen der Positionen und Lagen eines Prüfungsziels und einer Fotografiervorrichtung ist.
-
LÖSUNG DER AUFGABE
-
Eine Bilduntersuchungsvorrichtung gemäß der vorliegenden Offenbarung umfasst: eine Bilderfassungseinheit zum Erfassen eines ersten Bildes, in dem ein Prüfungsziel fotografiert wird; eine Verarbeitungseinheit für eine geometrische Transformation zum Schätzen eines geometrischen Transformationsparameters, der zum Ausrichten einer Position des Prüfungsziels in dem ersten Bild mit einem ersten Referenzbild verwendet wird, in dem eine Position des Prüfungsziels bekannt ist, und zum geometrischen Transformieren des ersten Bildes unter Verwendung des geschätzten geometrischen Transformationsparameters, wodurch ein zweites Bild erzeugt wird, in dem die Position des Prüfungsziels in dem ersten Bild mit dem ersten Referenzbild ausgerichtet ist; eine Bildwiederherstellungs-Verarbeitungseinheit zum Wiederherstellen des zweiten Bildes unter Verwendung eines Bilderzeugungsnetzwerks zum Empfangen einer Eingabe eines dritten Bildes, das unter Verwendung des ersten Bildes erzeugt wird, und zum Ableiten des zweiten Bildes als ein korrektes Bild; und eine Anomaliebestimmungseinheit zum Bestimmen einer Anomalie des Prüfungsziels unter Verwendung eines Differenzbildes zwischen dem zweiten Bild und dem dritten Bild.
-
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
-
Gemäß der vorliegenden Offenbarung wird das Prüfungsziel auf einem ersten Bild durch geometrische Transformation unter Verwendung eines ersten Referenzbildes, in dem die Position des Prüfungsziels bekannt ist, ausgerichtet, selbst wenn sich die Positionen und Lagen eines Prüfungsziels und einer Aufnahmevorrichtung ändern. Ein zweites Bild wird wiederhergestellt, indem ein Bilderzeugungsnetzwerk verwendet wird, das das zweite Bild, in dem das Prüfungsziel ausgerichtet ist, als korrektes Bild ableitet. Die Anomalie bzw. Unregelmäßigkeit des Prüfungsziels wird anhand eines Differenzbildes zwischen dem zweiten Bild, das durch die geometrische Transformation des ersten Bildes erhalten wurde, und dem wiederhergestellten zweiten Bild bestimmt. Infolgedessen kann die Bilduntersuchungsvorrichtung gemäß der vorliegenden Offenbarung eine Bilduntersuchung durchführen, die robust gegenüber Änderungen der Positionen und Lagen des Prüfungsziels und der fotografierenden Vorrichtung ist.
-
Figurenliste
-
- 1A ist eine schematische Darstellung, die ein Bild zeigt, das in einem Zustand aufgenommen wurde, in dem ein Gegenstand direkt einer Kamera gegenübersteht, und 1B ist eine schematische Darstellung, die ein Bild zeigt, das in einem Zustand aufgenommen wurde, in dem das Gegenstand nicht direkt der Kamera gegenübersteht.
- 2 ist ein Blockdiagramm, das die Konfiguration einer Bilduntersuchungsvorrichtung gemäß einer ersten Ausführungsform zeigt.
- 3 ist ein Flussdiagramm, das ein Bilduntersuchungsverfahren gemäß der ersten Ausführungsform veranschaulicht.
- 4A ist ein Blockdiagramm, das eine Hardwarekonfiguration zur Implementierung der Funktionen der Bilduntersuchungsvorrichtung gemäß der ersten Ausführungsform darstellt, und 4B ist ein Blockdiagramm, das eine Hardwarekonfiguration zur Ausführung von Software zur Implementierung der Funktionen der Bilduntersuchungsvorrichtung gemäß der ersten Ausführungsform darstellt.
- 5 ist ein Blockdiagramm, das die Konfiguration einer Bilduntersuchungsvorrichtung gemäß einer zweiten Ausführungsform zeigt.
- 6 ist ein Flussdiagramm, das ein Bilduntersuchungsverfahren gemäß der zweiten Ausführungsform veranschaulicht.
-
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Erste Ausführungsform
-
1A ist eine schematische Diagramm, die ein Bild A zeigt, das in einem Zustand aufgenommen wurde, in dem ein Gegenstand B direkt einer Kamera gegenübersteht. 1B ist eine schematische Darstellung, die ein Bild A1 zeigt, das in einem Zustand aufgenommen wurde, in dem ein Gegenstand B nicht direkt der Kamera zugewandt ist. Wenn der zu untersuchende Gegenstand B beispielsweise in einem Zustand fotografiert wird, in dem er der Kamera direkt zugewandt ist, wird das Bild A, in dem der Gegenstand B fotografiert wird, wie in 1A dargestellt, erhalten. Auf dem Bild A wird eine Komponente Ba des Gegenstands B an einer vorbestimmten Position fotografiert.
-
In einem Fall, in dem eine Position und eine Lage des Gegenstands B verschoben werden oder eine Position und eine Lage der Kamera verschoben werden, wird der Gegenstand B in einem Zustand fotografiert, in dem er der Kamera nicht direkt gegenübersteht bzw. zugewandt ist. Wie in 1B dargestellt, wird beispielsweise der Gegenstand B im Bild A1 schräg fotografiert, und die Positionsverschiebung einer Komponente Ba im Bild A1 kann fälschlicherweise als Aufnahme einer Komponente Bb erkannt werden, weil die Komponente Ba eine Anomalie aufweist. Das heißt, diese Positionsverschiebung ist ein Faktor dafür, dass die Anomalie der Komponente Ba nicht genau bestimmt werden kann.
-
2 ist ein Blockdiagramm, das die Konfiguration einer Bilduntersuchungsvorrichtung 1 gemäß einer ersten Ausführungsform zeigt. In 2 ist die Bilduntersuchungsvorrichtung 1 mit einer Fotovorrichtung 2 und einer Speichervorrichtung 3 verbunden, empfängt eine Eingabe eines Bildes, in dem ein Prüfungsziel durch die Fotovorrichtung 2 fotografiert wird, und bestimmt eine Anomalie des Prüfungsziels unter Verwendung des Eingangsbildes und der in der Speichervorrichtung 3 gespeicherten Daten.
-
Bei der Fotovorrichtung 2 handelt es sich um eine Kamera, die ein Prüfungsziel fotografiert, z. B. eine Netzwerkkamera, eine analoge Kamera, eine USB-Kamera oder eine HD-SDI-Kamera. Die Speichervorrichtung 3 ist eine Speichervorrichtung, die Daten speichert, die bei der von der Bilduntersuchungsvorrichtung 1 durchgeführten Bildinspektionsverarbeitung verwendet oder erzeugt werden, und umfasst einen Hauptspeicher 3a und einen Hilfsspeicher 3b.
-
Der Hilfsspeicher 3b speichert ein erlerntes Modell, das ein Bilderzeugungsnetzwerk ist, Parameterinformationen wie Modellinformationen, die eine Konfiguration des erlernten Modells definieren, ein erstes Referenzbild, das für die Ausrichtung eines Prüfungsziels verwendet wird, ein zweites Referenzbild, das für die Erzeugung eines in das Bilderzeugungsnetz eingegebenen Bildes verwendet wird, Schwellenwertinformationen, die für die Bestimmung von Anomalien des Prüfungsziels verwendet werden, und Anmerkungsinformationen wie eine Position des Prüfungsziels und einen Bereich des Prüfungsziels in dem Bild. Die im Hilfsspeicher 3b gespeicherten Informationen werden in den Hauptspeicher 3a eingelesen und von der Bilduntersuchungsvorrichtung 1 verwendet.
-
Wie in 2 dargestellt, umfasst die Bilduntersuchungsvorrichtung 1 eine Bilderfassungseinheit 11, eine Verarbeitungseinheit für eine geometrische Transformation 12, eine Bildwiederherstellungs-Verarbeitungseinheit 13 und eine Anomaliebestimmungseinheit 14. Die Bilderfassungseinheit 11 nimmt über eine Eingabeschnittstelle (I/F) ein Bild auf, in dem das Prüfungsziel von der Fotovorrichtung 2 fotografiert wird. Das Bild, in dem das Prüfungsziel von der Fotovorrichtung 2 fotografiert wird, ist ein erstes Bild, das nicht nur ein Bild in einem Zustand enthält, in dem der Gegenstand als Prüfungsziel direkt einem fotografischen Sichtfeld der Fotovorrichtung 2 zugewandt ist, sondern auch ein Bild in einem Zustand, in dem der Gegenstand nicht direkt dem fotografischen Sichtfeld der Fotovorrichtung 2 zugewandt ist.
-
Die Verarbeitungseinheit für eine geometrische Transformation 12 schätzt einen geometrischen Transformationsparameter, der für die Ausrichtung der Position des Prüfungsziels in dem von der Bilderfassungseinheit 11 erfassten Bild mit dem ersten Referenzbild verwendet wird, in dem die Position des Prüfungsziels bekannt ist. Dann verwendet die Verarbeitungseinheit für eine geometrische Transformation 12 den geschätzten Parameter für die geometrische Transformation, um das von der Bilderfassungseinheit 11 erfasste Bild geometrisch zu transformieren und so ein Bild zu erzeugen, in dem die Position des Prüfungsziels mit dem ersten Referenzbild ausgerichtet ist.
-
Das erste Referenzbild ist ein Bild, bei dem die Position des Prüfungsziels bekannt ist und das in einem Zustand aufgenommen wird, in dem das Prüfungsziel direkt in das Sichtfeld der Fotovorrichtung 2 gerichtet ist. Wenn es sich bei der in 1A dargestellten Komponente Ba beispielsweise um ein Prüfungsziel handelt, kann das Bild A, in dem die Position der Komponente Ba bekannt ist, als erstes Referenzbild verwendet werden. Das von der Verarbeitungseinheit für eine geometrische Transformation 12 erzeugte Bild ist ein zweites Bild, in dem die Position des Prüfungsziels auf das erste Referenzbild ausgerichtet ist.
-
Die Bildwiederherstellungs-Verarbeitungseinheit 13 gibt ein Eingangsbild, das unter Verwendung des von der Bilderfassungseinheit 11 erfassten Bildes erzeugt wurde, in das Bilderzeugungsnetzwerk ein, wodurch ein Bild wiederhergestellt wird, in dem die Position des Prüfungsziels mit dem ersten Referenzbild aus dem Eingangsbild ausgerichtet ist. Das Eingangsbild für das Bilderzeugungsnetzwerk ist ein drittes Bild, das unter Verwendung des von der Bilderfassungseinheit 11 erfassten Prüfungszielbildes erzeugt wird und beispielsweise ein Differenzbild zwischen dem von der Bilderfassungseinheit 11 erfassten Prüfungszielbildes und dem zweiten Referenzbild ist, in dem die Position des Prüfungsziels bekannt ist.
-
Das Bilderzeugungsnetzwerk ist ein erlerntes Modell, das als Eingabe das von der Bildwiederherstellungs-Verarbeitungseinheit 13 erzeugte Eingangsbild empfängt und daraus als korrektes Bild ein Bild ableitet, in dem die Position des Prüfungsziels mit dem ersten Referenzbild ausgerichtet ist. Zum Beispiel hat das Bilderzeugungsnetzwerk die Bildumwandlung zwischen einem Eingangsbild und einem Ausgangsbild erlernt, indem es als Lerndaten eine Vielzahl von Paaren eines korrekten Bildes (Ausgangsbild), das ein Bild ist, in dem ein normales Prüfungsziel, das durch die Verarbeitung der geometrischen Transformation erzeugt wurde, fotografiert wird, und eines Eingangsbildes, das ein Bild ist, das sich auf das normale Prüfungsziel bezieht, das durch die Bildwiederherstellungs-Verarbeitungseinheit 13 erzeugt wurde, verwendet.
-
Die Anomaliebestimmungseinheit 14 berechnet ein Differenzbild zwischen dem durch die Verarbeitungseinheit für eine geometrische Transformation 12 geometrisch transformierten Prüfungszielbildes und dem durch die Bildwiederherstellungs-Verarbeitungseinheit 13 wiederhergestellten Prüfungszielbildes und bestimmt anhand des Differenzbildes eine Anomalie des Prüfungsziels. Die Anomaliebestimmungseinheit 14 spezifiziert beispielsweise das Prüfungsziel in dem Differenzbild auf der Grundlage der Anmerkungsinformationen, die die Position des Prüfungsziels und den Bereich des Prüfungsziels in dem Bild angeben, und bestimmt die Anomalie des Prüfungsziels auf der Grundlage eines Ergebnisses des Vergleichs eines Differenzbildbereichs des spezifizierten Prüfungsziels mit den Schwellenwertinformationen. Das Differenzbild ist z. B. ein Amplitudenbild, ein Phasenbild oder ein Intensitätsbild. Die Schwellenwertinformation ist ein Schwellenwert für eine Amplitude, eine Phase oder eine Intensität.
-
Ein Bilduntersuchungsverfahren gemäß der ersten Ausführungsform sieht folgendermaßen aus.
-
3 ist ein Flussdiagramm, das das Bilduntersuchungsverfahren gemäß der ersten Ausführungsform veranschaulicht und eine Reihe von Prozessen der Bilduntersuchung veranschaulicht, die von der Bilduntersuchungsvorrichtung 1 ausgeführt werden.
-
Das zu prüfende Produkt befindet sich im Sichtfeld der Fotovorrichtung 2 und wird von der Fotovorrichtung 2 fotografiert. Ein Bild des Prüfungsziels, das von der Fotovorrichtung 2 fotografiert wird, ist ein „Prüfungszielbild“. Die Bilderfassungseinheit 11 erfasst die Prüfungszielbilder, die nacheinander von der Fotovorrichtung 2 aufgenommen werden (Schritt ST1). Das von der Bilderfassungseinheit 11 erfasste Prüfungszielbild wird an die Verarbeitungseinheit für eine geometrische Transformation 12 ausgegeben.
-
Die Verarbeitungseinheit für eine geometrische Transformation 12 schätzt einen geometrischen Transformationsparameter, der zum Ausrichten der Position des Prüfungsziels im Prüfungszielbild mit dem ersten Referenzbild verwendet wird, in dem die Position des Prüfungsziels bekannt ist, und transformiert das Prüfungszielbild geometrisch unter Verwendung des geometrischen Transformationsparameters, wodurch ein Bild erzeugt wird, in dem die Position des Prüfungsziels mit dem ersten Referenzbild ausgerichtet ist (Schritt ST2). Beispielsweise schätzt die Verarbeitungseinheit für eine geometrische Transformation 12 den Parameter für die geometrische Transformation durch die Verarbeitung der Bildregistrierung.
-
Bei der Bildregistrierung wird ein geometrischer Transformationsparameter zwischen einem Aufmerksamkeitsbild und einem Referenzbild auf der Grundlage der Ähnlichkeit zwischen den aus dem Aufmerksamkeitsbild und dem Referenzbild extrahierten Merkmalspunkten oder der Ähnlichkeit zwischen den zwischen dem Aufmerksamkeitsbild und dem Referenzbild bildkonvertierten Bildbereichen geschätzt. Beispiele für die Verarbeitungseinheit für eine geometrische Transformation sind die euklidische Transformation, die affine Transformation und die Homographie-Transformation, bei denen es sich um lineare Transformationen handelt. Darüber hinaus kann die Verarbeitungseinheit für eine geometrische Transformation mindestens eine der folgenden sein: Bilddrehung, Bildumkehr oder Zuschneiden.
-
In dem in der Speichervorrichtung 3 enthaltenen Hilfsspeicher 3b wird ein Prüfungszielbild, das in einem Zustand fotografiert wurde, in dem das Prüfungsziel direkt dem Sichtfeld der Fotovorrichtung 2 zugewandt ist, als ein erstes Referenzbild gespeichert. Im ersten Referenzbild werden Informationen über die Position des Prüfungsziels im Prüfungszielbild und den Bildbereich des Prüfungsziels im Prüfungszielbild vermerkt. Beispielsweise wird das in 1A dargestellte Bild A in der Speichervorrichtung 3 als ein erstes Referenzbild gespeichert, und jedem der ersten Referenzbilder werden Anmerkungsinformationen hinzugefügt, die die Position der Komponente Ba und den Bildbereich der Komponente Ba angeben.
-
Die Verarbeitungseinheit für eine geometrische Transformation 12 führt eine Bildregistrierungsverarbeitung durch, bei der die Position des Prüfungsziels in dem von der Fotovorrichtung 2 aufgenommenen Prüfungszielbildes mit der Position ausgerichtet wird, die auf der Grundlage der dem ersten Referenzbild hinzugefügten Anmerkungsinformationen festgelegt wurde, und schätzt den für die Ausrichtung erforderlichen Parameter für die geometrische Transformation. Dann führt die Verarbeitungseinheit für eine geometrische Transformation 12 die geometrische Transformationsverarbeitung unter Verwendung des geometrischen Transformationsparameters an dem von der Fotovorrichtung 2 aufgenommenen Prüfungszielbild durch, wodurch das Prüfungszielbild erzeugt wird, das in derselben Position und Lage wie das erste Referenzbild aufgenommen wurde. Im Folgenden wird das von der Verarbeitungseinheit für eine geometrische Transformation 12 erzeugte Bild als „ausgerichtetes Bild“ bezeichnet.
-
Die Bildwiederherstellungs-Verarbeitungseinheit 13 erzeugt ein Eingangsbild für das Bilderzeugungsnetzwerk (Schritt ST3). Handelt es sich bei dem Bilderzeugungsnetzwerk beispielsweise um ein neuronales Netz mit einer Skip-Verbindung bzw. Überspringverbindung über mehrere Schichten wie im U-Netz, wird das Lernen so durchgeführt, dass die Gewichtung der zu überspringenden Route zunimmt. Daher lernt das Bilderzeugungsnetzwerk, das Eingangsbild so auszugeben, wie es ist, und es ist schwierig, den Unterschied zwischen dem ausgerichteten Bild und dem Ausgangsbild zu extrahieren.
-
Daher gibt die Bildwiederherstellungs-Verarbeitungseinheit 13 ein Bild, das durch die Verarbeitung des Prüfungszielbildes erhalten wurde, als Eingangsbild in das Bilderzeugungsnetzwerk ein. Bei dem durch die Verarbeitung des Prüfzielbildes erhaltenen Bild kann es sich beispielsweise um ein Differenzbild zwischen dem Prüfungszielbild und dem zweiten Referenzbild handeln. Als zweites Referenzbild wird z.B. ein Durchschnittsbild aus einer Vielzahl von Prüfungszielbildern verwendet, bei denen jeweils ein normales Prüfungsziel fotografiert wird, und im Hilfsspeicher 3b gespeichert. Wenn das Bilderzeugungsnetzwerk keine Skip-Verbindung umfasst, kann das Eingangsbild auch das ausgerichtete Bild sein.
-
Die Bildwiederherstellungs-Verarbeitungseinheit 13 erzeugt ein Eingangsbild für das Bilderzeugungsnetzwerk (Schritt ST4). Beispielsweise erhält das Bilderzeugungsnetzwerk eine Eingabe des Differenzbildes zwischen dem Prüfungszielbild und dem zweiten Referenzbild und leitet daraus das ausgerichtete Bild ab (stellt es wieder her).
-
Die Anomaliebestimmungseinheit 14 bestimmt eine Anomalie des Prüfungsziels, indem sie ein Differenzbild zwischen dem durch die Verarbeitungseinheit für eine geometrische Transformation 12 geometrisch transformierten Prüfungszielbild und dem durch die Bildwiederherstellungs-Verarbeitungseinheit 13 wiederhergestellten ausgerichteten Bild verwendet (Schritt ST5). Wenn beispielsweise das Differenzbild zwischen dem geometrisch transformierten Prüfungszielbild und dem wiederhergestellten, ausgerichteten Bild extrahiert wird, kann die Anomaliebestimmungseinheit 14 auf der Grundlage der dem ersten Referenzbild hinzugefügten Anmerkungsinformationen angeben, für welches Prüfungsziel eine Position und ein Bildbereich das extrahierte Differenzbild ist. Die Anomaliebestimmungseinheit 14 stellt fest, dass eine Anomalie im Prüfungsziel vorhanden ist, für das die Position und der Bildbereich festgelegt wurden.
-
Was das Verfahren zur Extraktion des Differenzbildes betrifft, so gibt es ein Verfahren, bei dem eine Summe oder ein Durchschnittswert der absoluten Differenzen der Pixelwerte für jeden bestimmten Bereich (zum Beispiel für jeden Komponentenbereich in einem Bild oder für jeden Pixelblock einer bestimmten Größe) verwendet wird. Darüber hinaus gibt es ein Verfahren zur Extraktion eines Differenzbildes, bei der eine strukturelle Ähnlichkeit (SSIM oder PSNR) eines Bildes für jede bestimmte Region verwendet wird. Wenn ein interessanter Pixelwert im Differenzbild größer als der Schwellenwert ist, stellt die Anomaliebestimmungseinheit 14 fest, dass eine Anomalie im Prüfungsziel vorhanden ist, die dem Differenzbildbereich entspricht.
-
Eine Hardwarekonfiguration zur Umsetzung der Funktionen der Bilduntersuchungsvorrichtung 1 sieht wie folgt aus.
-
4A ist ein Blockdiagramm, das eine Hardwarekonfiguration für die Implementierung der Funktionen der Bilduntersuchungsvorrichtung 1 zeigt. 4B ist ein Blockdiagramm, das eine Hardwarekonfiguration für die Ausführung von Software zur Implementierung der Funktionen der Bilduntersuchungsvorrichtung 1 zeigt. In 4A und 4B ist eine Eingabeschnittstelle 100 eine Schnittstelle, die eine Eingabe eines Videobildes empfängt, das von der Fotovorrichtung 2 aufgenommen wurde. Eine Dateischnittstelle 101 ist eine Schnittstelle, über die Daten mit der Speichervorrichtung 3 ausgetauscht werden.
-
Die Funktionen der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14, die in der Bilduntersuchungsvorrichtung 1 enthalten sind, werden von einem Verarbeitungsschaltkreis ausgeführt. Das bedeutet, dass die Bilduntersuchungsvorrichtung 1 einen Verarbeitungsschaltkreis zur Ausführung der in 3 dargestellten Verarbeitung der Schritte ST1 bis ST5 umfasst. Der Verarbeitungsschaltkreis kann zweckbestimmte Hardware oder eine zentrale Verarbeitungseinheit (CPU) sein, die ein in einem Speicher gespeichertes Programm ausführt.
-
In einem Fall, in dem der Verarbeitungsschaltkreis ein Verarbeitungsschaltkreis 102 von dedizierter Hardware ist, wie in 4A dargestellt, entspricht der Verarbeitungsschaltkreis 102 zum Beispiel einem einzelnen Schaltkreis, einem zusammengesetzten Schaltkreis, einem programmierten Prozessor, einem parallel programmierten Prozessor, einer anwendungsspezifischen integrierten Schaltung (ASIC), einer im Feld programmierbaren Gatteranordnung (FPGA) oder einer Kombination davon. Die Funktionen der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliesbestimmungseinheit 14, die in der Bilduntersuchungsvorrichtung 1 enthalten sind, können von separaten Verarbeitungsschaltkreisen ausgeführt werden, oder diese Funktionen können gemeinsam von einem Verarbeitungsschaltkreis ausgeführt werden.
-
In dem in 4B dargestellten Fall, in dem der Verarbeitungsschaltkreis ein Prozessor 103 ist, werden die Funktionen der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14, die in der Bilduntersuchungsvorrichtung 1 enthalten sind, durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Es sei angemerkt, dass Software oder Firmware als Programm geschrieben und in einem Speicher 104 gespeichert wird.
-
Der Prozessor 103 liest das im Speicher 104 gespeicherte Programm und führt es aus, wodurch die Funktionen der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14 in der Bilduntersuchungsvorrichtung 1 ausgeführt werden. Die Bilduntersuchungsvorrichtung 1 umfasst beispielsweise einen Speicher 104, in dem Programme gespeichert sind, die bei Ausführung durch den Prozessor 103 zur Ausführung der in 3 dargestellten Verarbeitung von Schritt ST1 bis Schritt ST5 führen. Diese Programme veranlassen einen Computer, Vorgänge oder Verfahren auszuführen, die von der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14 durchgeführt werden. Der Speicher 104 kann ein computerlesbares Speichermedium sein, das ein Programm speichert, das den Computer veranlasst, als Bilderfassungseinheit 11, als Verarbeitungseinheit für eine geometrische Transformation 12, als Bildwiederherstellungs-Verarbeitungseinheit 13 und als Anomaliesbestimmungseinheit 14 zu arbeiten.
-
Beispiele für den Speicher 104 entsprechen einem nichtflüchtigen oder flüchtigen Halbleiterspeicher wie einem Direktzugriffsspeicher (Random Access Memory = RAM), einem Nur-Lese-Speicher (Read Only Memory = ROM), einem Flash-Speicher, einem löschbaren programmierbaren Nur-Lese-Speicher (EPROM) oder einem elektrischen EPROM (EEPROM), einer magnetischen Scheibe, einer flexiblen Scheibe, einer optischen Scheibe, einer Compact Disc, einer Minidisk und einer DVD.
-
Einige der Funktionen der Bilderfassungseinheit 11, der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14, die in der Bilduntersuchungsvorrichtung 1 enthalten sind, können durch spezielle Hardware implementiert werden, und die übrigen können durch Software oder Firmware implementiert werden. Zum Beispiel wird die Funktion der Bilderfassungseinheit 11 durch den Verarbeitungsschaltkreis 102 implementiert, bei dem es sich um eine spezielle Hardware handelt, und die Funktionen der Verarbeitungseinheit für eine geometrische Transformation 12, der Bildwiederherstellungs-Verarbeitungseinheit 13 und der Anomaliebestimmungseinheit 14 werden durch den Prozessor 103 implementiert, der ein im Speicher 104 gespeichertes Programm liest und ausführt. Somit kann der Verarbeitungsschaltkreis die oben genannten Funktionen durch Hardware, Software, Firmware oder eine Kombination davon implementieren.
-
Wie vorstehend beschrieben, wird in der Bilduntersuchungsvorrichtung 1 gemäß der ersten Ausführungsform das Prüfungsziel auf dem Prüfungszielbild durch die geometrische Transformation unter Verwendung des ersten Referenzbildes, in dem die Position des Prüfungsziels bekannt ist, ausgerichtet, selbst wenn Änderungen in den Positionen und Lagen des Prüfungsziels und der Fotovorrichtung 2 auftreten. Das ausgerichtete Bild wird mit Hilfe eines Bilderzeugungsnetzwerks wiederhergestellt, das das ausgerichtete Bild, in dem das Prüfungsziel ausgerichtet ist, als korrektes Bild ableitet. Die Anomalie des Prüfungsziels wird anhand des Differenzbildes zwischen dem durch die geometrische Transformation ausgerichteten Prüfungszielbildes und dem wiederhergestellten ausgerichteten Bild bestimmt. Dadurch kann die Bilduntersuchungsvorrichtung 1 eine Bilduntersuchung durchführen, die robust gegenüber Änderungen der Positionen und Haltungen des Prüfungsziels und der Fotovorrichtung ist.
-
Zweite Ausführungsform
-
5 ist ein Blockdiagramm, das eine Konfiguration einer Bilduntersuchungsvorrichtung 1A gemäß einer zweiten Ausführungsform zeigt. In 5 ist die Bilduntersuchungsvorrichtung 1A mit der Fotovorrichtung 2 und der Speichervorrichtung 3 verbunden, empfängt einen Eingang eines Bildes, in dem ein Prüfungsziel durch die Fotovorrichtung 2 fotografiert wird, und bestimmt eine Anomalie des Prüfungsziels unter Verwendung des Eingangsbildes und der in der Speichervorrichtung 3 gespeicherten Daten. Die Bilduntersuchungsvorrichtung 1A umfasst eine Bilderfassungseinheit 11A, eine Verarbeitungseinheit für eine geometrische Transformation 12A, eine Bildwiederherstellungs-Verarbeitungseinheit 13A und eine Anomaliebestimmungseinheit 14A.
-
Die Bilderfassungseinheit 11A erfasst ein Prüfungszielbild, bei dem das Prüfungsziel von der Fotovorrichtung 2 über die Eingabeschnittstelle fotografiert wird, und gibt das erfasste Bild an die Verarbeitungseinheit für eine geometrische Transformation 12A und die Bildwiederherstellungs-Verarbeitungseinheit 13A aus. Das von der Bilderfassungseinheit 11A erfasste Prüfungszielbild ist ein erstes Bild, das nicht nur ein Bild in einem Zustand enthält, in dem der Gegenstand als Prüfungsziel direkt einem fotografischen Sichtfeld der Fotovorrichtung 2 gegenübersteht, sondern auch ein Bild in einem Zustand, in dem der Gegenstand nicht direkt dem fotografischen Sichtfeld der Fotovorrichtung 2 gegenübersteht.
-
Die Verarbeitungseinheit für eine geometrische Transformation 12A schätzt einen geometrischen Transformationsparameter zum Ausrichten der Position des Prüfungsziels in dem von der Bilderfassungseinheit 11A erfassten Prüfungszielbild mit dem ersten Referenzbild, in dem die Position des Prüfungsziels bekannt ist, und transformiert das Prüfungszielbild geometrisch unter Verwendung des geometrischen Transformationsparameters, wodurch ein ausgerichtetes Bild erzeugt wird, in dem die Position des Prüfungsziels mit dem ersten Referenzbild ausgerichtet ist.
-
Die Bildwiederherstellungs-Verarbeitungseinheit 13A gibt das von der Bilderfassungseinheit 11A erfasste Prüfungszielbild (erstes Bild) in das Bilderzeugungsnetzwerk ein, wodurch das ausgerichtete Bild aus dem Eingangsbild wiederhergestellt wird. Die Anomaliebestimmungseinheit 14A berechnet ein Differenzbild zwischen dem durch die Verarbeitungseinheit für eine geometrische Transformation 12A geometrisch transformierten Prüfungszielbild und dem durch die Bildwiederherstellungs-Verarbeitungseinheit 13A wiederhergestellten ausgerichteten Bild und bestimmt anhand des Differenzbilds eine Anomalie des Prüfungsziels.
-
Ein Bilduntersuchungsverfahren gemäß der zweiten Ausführungsform sieht folgendermaßen aus.
-
6 ist ein Flussdiagramm, das das Bilduntersuchungsverfahren gemäß der zweiten Ausführungsform veranschaulicht und eine Reihe von Prozessen der Bilduntersuchung veranschaulicht, die von der Bilduntersuchungsvorrichtung 1A ausgeführt werden. Die Bilderfassungseinheit 11A erfasst die Prüfungszielbilder, die von der Fotovorrichtung 2 nacheinander aufgenommen werden (Schritt ST1a). Das von der Bilderfassungseinheit 11A erfasste Prüfungszielbild wird an die Verarbeitungseinheit für eine geometrische Transformationen 12A und die Bildwiederherstellungs-Verarbeitungseinheit 13A ausgegeben.
-
Die Verarbeitungseinheit für eine geometrische Transformation 12A schätzt einen geometrischen Transformationsparameter, der zum Ausrichten der Position des Prüfungsziels im Prüfungszielbild mit dem ersten Referenzbild verwendet wird, in dem die Position des Prüfungsziels bekannt ist, und transformiert das Prüfungszielbild geometrisch unter Verwendung des geometrischen Transformationsparameters, wodurch ein ausgerichtetes Bild erzeugt wird, in dem die Position des Prüfungsziels mit dem ersten Referenzbild ausgerichtet ist (Schritt ST2aa). Es ist zu beachten, dass die Verarbeitungseinheit für die geometrische Transformation 12A ähnlich wie die Verarbeitungseinheit für die geometrische Transformation 12 gemäß der ersten Ausführungsform den Parameter für die geometrische Transformation schätzt, z. B. durch Bildregistrierungsverarbeitung, und die Verarbeitung der geometrischen Transformation unter Verwendung des geometrischen Transformationsparameters an dem von der Bilderfassungseinheit 11A erfassten Prüfungszielbild durchführt, wodurch ein ausgerichtetes Bild erzeugt wird.
-
Darüber hinaus stellt die Bildwiederherstellungs-Verarbeitungseinheit 13A das ausgerichtete Bild wieder her, indem sie das von der Bilderfassungseinheit 11A erfasste Prüfungszielbild direkt in das Bilderzeugungsnetzwerk eingibt (Schritt ST2ab). Beispielsweise hat das Bilderzeugungsnetzwerk die Bildumwandlung zwischen einem Eingangsbild und einem Ausgangsbild erlernt, indem es als Lerndaten eine Vielzahl von Paaren eines korrekten Bildes (Ausgangsbild), das ein von der Verarbeitungseinheit für eine geometrische Transformation 12A erzeugtes, ausgerichtetes Bild ist, und eines Eingangsbildes, das ein von der Bilderfassungseinheit 11A erfasstes, nicht ausgerichtetes Prüfungszielbild ist, verwendet. Es ist zu beachten, dass die Bildumwandlung des Lernziels durch das Bilderzeugungsnetzwerk auch eine geometrische Transformation umfasst, bei der die Position des Prüfungsziels in dem nicht ausgerichteten Prüfungszielbild mit dem ersten Referenzbild, in dem die Position des Prüfungsziels bekannt ist, ausgerichtet wird.
-
Die Anomaliebestimmungseinheit 14A bestimmt eine Anomalie des Prüfungsziels, indem sie ein Differenzbild zwischen dem durch die Verarbeitungseinheit für eine geometrische Transformation 12A geometrisch transformierten Prüfungszielbild und dem durch die Bildwiederherstellungs-Verarbeitungseinheit 13A wiederhergestellten ausgerichteten Bild verwendet (Schritt ST3 a). Wenn beispielsweise das Differenzbild zwischen dem geometrisch transformierten Prüfungszielbild und dem wiederhergestellten, ausgerichteten Bild extrahiert wird, kann die Anomaliesbestimmungseinheit 14A auf der Grundlage der dem ersten Referenzbild hinzugefügten Anmerkungsinformationen angeben, für welches Prüfungsziel eine Position und ein Bildbereich das extrahierte Differenzbild ist. Die Anomaliebestimmungseinheit 14A stellt fest, dass eine Anomalie im Prüfungsziel vorhanden ist, für das die Position und der Bildbereich festgelegt wurden.
-
Es ist zu beachten, dass die Funktionen der Bilderfassungseinheit 11A, der Verarbeitungseinheit für eine geometrische Transformation 12A, der Bildwiederherstellungs-Verarbeitungseinheit 13A und der Anomaliebestimmungseinheit 14A, die in der Bilduntersuchungsvorrichtung 1A enthalten sind, durch einen Verarbeitungsschaltkreis implementiert werden. Das heißt, dass die Bilduntersuchungsvorrichtung 1A einen Verarbeitungsschaltkreis zur Ausführung der in 6 dargestellten Verarbeitung von Schritt ST1a bis Schritt ST3a umfasst. Bei dem Verarbeitungsschaltkreis kann es sich um den Verarbeitungsschaltkreis 102 der in 4A dargestellten dedizierten Hardware oder um den Prozessor 103 handeln, der das in dem in 4B dargestellten Speicher 104 gespeicherte Programm ausführt.
-
Wie vorstehend beschrieben, ist in der Bilduntersuchungsvorrichtung 1A gemäß der zweiten Ausführungsform das Eingangsbild für das Bilderzeugungsnetzwerk das von der Fotovorrichtung 2 fotografierte Prüfungszielbild. Das Bilderzeugungsnetzwerk empfängt einen Eingang des Prüfungszielbildes und leitet daraus das ausgerichtete Bild ab. Die Bildwiederherstellungs-Verarbeitungseinheit 13A stellt das ausgerichtete Bild mithilfe des Bilderzeugungsnetzwerks wieder her. Folglich kann die Bilduntersuchungsvorrichtung 1A eine Bilduntersuchung durchführen, die gegenüber Änderungen der Positionen und Lagen des Prüfungsziels und der Fotovorrichtung robust ist. Da die Verarbeitung der Erzeugung des Eingangsbildes für das Bilderzeugungsnetzwerk entfällt, wird außerdem der arithmetische Verarbeitungsaufwand im Vergleich zu dem Bilduntersuchungsverfahren gemäß der ersten Ausführungsform verringert. Da die Verarbeitungseinheit für eine geometrische Transformation und die Bildwiederherstellungs-Verarbeitungseinheit parallel durchgeführt werden können, kann die Taktzeit der Bilduntersuchung verkürzt werden.
-
Es ist zu beachten, dass Kombinationen der Ausführungsformen, Änderungen von Komponenten jeder der Ausführungsformen oder Auslassungen von Komponenten in jeder der Ausführungsformen möglich sind.
-
INDUSTRIELLE ANWENDBARKEIT
-
Die Bilduntersuchungsvorrichtung gemäß der vorliegenden Offenbarung kann beispielsweise zur Prüfung von Anomalien eines Produkts verwendet werden.
-
Bezugszeichenliste
-
- 1,1A
- Bilduntersuchungsvorrichtung,
- 2
- Fotovorrichtung,
- 3
- Speichervorrichtung,
- 3a
- Hauptspeicher,
- 3b
- Hilfsspeicher,
- 11,11A
- Bilderfassungseinheit,
- 12,12A
- Verarbeitungseinheit für eine geometrische Transformation,
- 13,13A
- Bildwiederherstellungs-Verarbeitungseinheit,
- 14,14A
- Anomaliebe-stimmungseinheit,
- 100
- Eingabeschnittstelle,
- 101
- Dateischnittstelle,
- 102
- Verarbeitungsschaltkreis,
- 103
- Prozessor,
- 104
- Speicher
