DE102020204246A1

DE102020204246A1 - Bildinspektionssystem und Bildinspektionsverfahren

Info

Publication number: DE102020204246A1
Application number: DE102020204246.2A
Authority: DE
Inventors: Tsuyoshi Yamagami
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2019-04-05
Filing date: 2020-04-01
Publication date: 2020-10-08
Also published as: JP2020169958A; US20200320680A1; JP7222796B2; US11295434B2

Abstract

Indem eine Bildgebungsvorrichtung, die mit einer Standardisierungsnorm konform ist, veranlasst wird, nacheinander eine mehrstufige Verarbeitung durchzuführen, werden sowohl eine Verbesserung eines Freiheitsgrads beim Auswählen des Modells der Bildgebungsvorrichtung als auch eine Verbesserung der Genauigkeit der Bildinspektion erzielt. Eine Einstellungsvorrichtung gibt eine Kombination von Werten einer Vielzahl von Selektoren zum Verwirklichen einer mehrstufigen Verarbeitung vor, die von einem Nutzer auf einer Benutzeroberfläche eingestellt werden, und überträgt die Werte der Selektoren und die Verzeichnisinformationen an die Bildgebungsvorrichtung. Die Bildgebungsvorrichtung speichert die Werte der Selektoren an einem Ort, der von der entsprechenden Verzeichnisinformation angegeben wird, und führt nacheinander die mehrstufige Verarbeitung durch, die durch die Kombination der Werte der Selektoren vorgegeben wird.

Description

TECHNISCHER HINTERGRUND
Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Bildinspektionssystem und ein Bildinspektionsverfahren zum Inspizieren eines Inspektionsobjekts wie etwa einem Werkstück.
Beschreibung der verwandten Technik
Aus der verwandten Technik ist ein Bildinspektionssystem, das eingerichtet ist, eine dreidimensionale Form eines Inspektionsobjekts zu vermessen und um basierend auf einem Messergebnis zu bestimmen, ob die Qualität des Inspektionsobjekts gut oder schlecht ist, bekannt. Ein in der ungeprüften japanischen Patentoffenbarungsschrift Nr. 2015-232481 offenbartes Bildinspektionssystem erhält einen Normalenvektor einer Oberfläche des Inspektionsobjekts aus einer Vielzahl von Leuchtdichtebildern bzw. Luminanzbildern mit unterschiedlichen Beleuchtungsrichtungen, nutzt ein Prinzip eines sogenannten photometrischen Stereos zur Erzeugung eines Formbilds, das eine Oberflächenform des Inspektionsobjekts auf Grundlage des Normalenvektors angibt, und bestimmt mit dem Inspektionsbild, das die Form angibt, ob die Qualität des Inspektionsobjekts gut oder schlecht ist, auf Grundlage des Prinzips des photometrischen Stereos. Bei der ungeprüften japanischen Patentoffenlegungsschrift Nr. 2015-232481 wird, nachdem der Inspektionsbereich in dem Inspektionsbild durch Ausführen einer Mustersuche festgelegt wird, die Positionskorrektur des Inspektionsbereichs durchgeführt, und dann wird das Vorhandensein/Nichtvorhandensein eines Kratzers begutachtet.
Ein solches Bildinspektionssystem umfasst eine Steuerungsvorrichtung wie etwa einen PC und eine mit der Steuerungsvorrichtung verbundene Kamera. Die Steuerungsvorrichtung steuert die Kamera, und dann erlangt die Steuerungsvorrichtung ein von der Kamera aufgenommenes Bild. Im Allgemeinen werden verschiedene Teile einer Bildverarbeitung und Bestimmungsverarbeitung durchgeführt. Bei einem solchen System ist es, damit die Kamera eine geeignete Bildgebung bzw. -aufnahme durchführen kann, notwendig, einen Einstellwert wie etwa eine Belichtungszeit und eine Analogverstärkung der Kamera entsprechend einer Situation und dem Inspektionsobjekt einzustellen, und der Einstellwert von jedem Einstellungselement kann von der Steuerungsvorrichtung aus über einen Kommunikationspfad geändert werden. Eine Entsprechung zwischen jedem Einstellungselement und einer Adresse eines Verzeichnisses bzw. Registers, das den Einstellwert vorhält, ist jedoch üblicherweise für jedes Kameramodell und für jeden Kamerahersteller schwierig. Wird beispielsweise das Modell der Kamera zu einem anderen Modell gewechselt, bedarf es eines großen Aufwands, wie etwa der Korrektur eines Programms der Bildinspektionsanwendung und das erneute Installieren einer Treibersoftware.
Daher hat sich in den letzten Jahre die GenICam-Norm als Standardisierungsnorm für eine Verbindungsschnittstelle zwischen der Steuerungsvorrichtung und der Kamera durchgesetzt, und einer Schnittstelle zum Steuern der Kamera von der Bildinspektionsanwendung, die von der Steuerungsvorrichtung aufgebaut wird, oder zum Erlangen des von der Kamera aufgenommenen Bilds wird zwischen der Kamera, die den GenICam-Norm (eingetragene Handelsmarke) erfüllt und der Anwendung standardisiert.
DARSTELLUNG DER ERFINDUNG
Die vorliegende Erfindung erfolgte in Anbetracht der vorgenannten Umstände und es ist eine Aufgabe der vorliegenden Erfindung, sowohl eine Verbesserung des Freiheitsgrads beim Auswählen eines Modells einer Bildgebungsvorrichtung als auch eine Verbesserung der Genauigkeit der Bildinspektion zu erzielen, indem die Bildgebungsvorrichtung, die mit einer Standardisierungsnorm konform ist, veranlasst wird, nacheinander eine mehrstufige Verarbeitung durchzuführen.
Um die vorgenannte Aufgabe zu lösen, wird gemäß einer Ausführungsform der Erfindung ein Bildinspektionssystem bereitgestellt, das eine Bildgebungsvorrichtung für eine Bildinspektionsvorrichtung, die ein Bild eines Inspektionsobjekts aufnimmt, und eine Einstellungsvorrichtung aufweist, die über ein Netzwerk mit der Bildgebungsvorrichtung verbunden ist, von außen eine Datei erlangt, in der ein Einstellungselement der Bildgebungsvorrichtung und Verzeichnisinformationen, die einen Ort angeben, wo ein Einstellungswert von jedem Einstellelement gespeichert ist, beschrieben werden, Daten, die den Einstellungswert von jedem Einstellelement, das von einem Nutzer eingestellt wurde, und die Verzeichnisinformationen, die jedem in der Datei enthaltenen Einstellungselement entsprechen, an die Bildgebungsvorrichtung überträgt, und die Bildgebungsvorrichtung einstellt. Eine Vielzahl von Selektoren, die den Einstellelementen zum Einstellen einer mehrstufigen Verarbeitung zugeordnet sind, die auf ein aufgenommenes Bild angewendet werden soll, und Verzeichnisinformationen, die einen Ort angeben, wo ein Wert von jedem Selektor gespeichert ist, sind in der Datei enthalten, bevor das aufgenommene Bild, das von der Bildgebungsvorrichtung aufgenommen wird, nach außerhalb ausgegeben wird. Die Einstellungsvorrichtung ist eingerichtet, eine Benutzeroberfläche anzuzeigen, eine Kombination der Werte der Vielzahl von Selektoren zum Verwirklichen der mehrstufigen Verarbeitung, die von dem Nutzer auf der Benutzeroberfläche eingestellt werden, vorzugeben, und die Werte der Vielzahl von Selektoren und die Verzeichnisinformationen, die den Ort angeben, wo die Vielzahl von Selektoren gespeichert ist, an die Bildgebungsvorrichtung zu übertragen. Die Bildgebungsvorrichtung ist eingerichtet, die Werte der Vielzahl von Selektoren an dem Ort zu speichern, der von der entsprechenden Verzeichnisinformation angegeben wird, und nacheinander die mehrstufige Verarbeitung auszuführen, die durch die Kombination der Werte der Selektoren vorgegeben werden.
Gemäß dieser Konfiguration, wenn sowohl die Bildgebungsvorrichtung als auch die Einstellungsvorrichtung, die über Netzwerk verbunden sind, einer gemeinsamen Standardisierungsnorm entsprechen, erlangt die Einstellungsvorrichtung, beispielsweise von der Bildgebungsvorrichtung, die Datei, in der das Einstellelement der Bildgebungsvorrichtung und die Verzeichnisinformationen, die den Ort angeben, wo der Einstellwert von jedem Einstellungselement gespeichert ist, beschrieben sind. Diese Datei ist beispielsweise eine Vorrichtungs-XML-Datei, wenn die Standardisierungsnorm die GenICam-Norm ist. Diese Datei kann durch die Einstellungsvorrichtung von der Bildgebungsvorrichtung erlangt werden. Beispielsweise kann eine Datei, die sich auf GenApi bezieht, als gesonderte Datei bezeichnet sein, indem sie von einer Website heruntergeladen wird.
Wenn der Nutzer den Einstellwert für das Einstellungselement der Bildgebungsvorrichtung durch die Einstellungsvorrichtung ändert, werden die Daten, die den Einstellwert von jedem Einstellelement, der von dem Nutzer eingestellt wurde, und die Verzeichnisinformationen, die jedem Einstellelement entsprechen, das in der Datei enthalten ist, an die Bildgebungsvorrichtung übertragen. Dementsprechend kann, da die Bildgebungsvorrichtung eingestellt wird, der Einstellwert frei durch die Einstellungsvorrichtung geändert werden, wenn die Bildgebungsvorrichtung der Standardisierungsnorm entspricht, und ein Freiheitsgrad beim Auswählen eines Modells der Bildgebungsvorrichtung wird verbessert.
Wenn die Benutzeroberfläche auf der Einstellungsvorrichtung angezeigt wird, und der Nutzer die Kombination der Werte der Vielzahl von Selektoren auf der Benutzeroberfläche vorgibt, um die mehrstufige Verarbeitung zu verwirklichen, werden die Werte der Vielzahl von Selektoren und die Verzeichnisinformationen, die den Ort angeben, wo die Vielzahl von Selektoren gespeichert sind, an die Bildgebungsvorrichtung übertragen. Die Bildgebungsvorrichtung speichert die Werte der Vielzahl von Selektoren an dem Ort, der durch die entsprechenden Verzeichnisinformationen angegeben wurde, und führt nacheinander die mehrstufige Verarbeitung aus, die durch die Kombination der Werte der Selektoren vorgegeben wird. Dementsprechend werden in der Bildgebungsvorrichtung, die mit der Standardisierungsnorm konform ist, die mehrstufige Verarbeitung wie etwa die Erzeugung des Inspektionsbilds, mithilfe des Prinzips des photometrischen Stereos oder Deflektometrie, multispektraler Bildgebung, und Filterverarbeitung des erzeugten Inspektionsbilds durchgeführt.
Gemäß einer weiteren Ausführungsform der Erfindung ist die Bildgebungsvorrichtung eingerichtet, ein Bild, an dem nacheinander die mehrstufige Verarbeitung durchgeführt wird, nach außen auszugeben.
Gemäß dieser Konfiguration wird, nachdem die Bildgebungsvorrichtung aufeinanderfolgend die mehrstufige Verarbeitung durchgeführt hat, das Bild nach der Ausführung nach außen ausgegeben. Eine externe Qualitätsbestimmungseinheit kann eine Qualitätsbestimmung des Inspektionsobjekts an dem Bild durchführen, nachdem die mehrstufige Verarbeitung durchgeführt wurde. Die Einstellungsvorrichtung kann die Qualitätsbestimmung des Inspektionsobjekts an dem aufgenommenen Bild durchführen, ohne das aufgenommene Bild nach außen auszugeben. In diesem Fall wird ein Ergebnis der Qualitätsbestimmung des Inspektionsobjekts nach außen ausgegeben.
Gemäß noch einer weiteren Ausführungsform der Erfindung wird die mehrstufige Verarbeitung durch eine Parametermenge einschließlich Filterverarbeitung für das aufgenommene Bild definiert, eine Vielzahl von sich voneinander unterscheidenden Parametermengen wird vorab erstellt, und ein beliebiger der Vielzahl von Selektoren ist ein Einstellungselement zum Auswählen eines beliebigen aus der Vielzahl von vorab erstellten Parametermengen.
Gemäß dieser Konfiguration wird die Vielzahl von sich voneinander unterscheidenden Parametermengen vorab erstellt, und die Filterverarbeitung ist in jeder Parametermenge enthalten. Wenn der Nutzer versucht, eine bestimmte Filterverarbeitung auf das aufgenommene Bild anzuwenden, kann die Parametermenge, die in der Lage ist, die gewünschte Filterverarbeitung auszuführen, auf einfache Weise aus der Vielzahl erstellter Parametermengen ausgewählt werden, indem der Wert des Selektors eingestellt wird.
Gemäß noch einer weiteren Ausführungsform der Erfindung ist in jeder der Parametermengen eine Vielzahl von Teilen von Filterverarbeitung enthalten, und ein beliebiger der Vielzahl von Selektoren ist ein Einstellungselement zum Auswählen einer Filterverarbeitung, die auf die Vielzahl von Teilen von Filterverarbeitung angewendet werden soll.
Gemäß dieser Konfiguration ist die Vielzahl von Teilen von Filterverarbeitung in jeder Parametermenge enthalten. Bei der Vielzahl von Teilen von Filterverarbeitung kann es sich um Teile von Filterverarbeitung handeln, die voneinander verschieden sind, oder es kann sich um die gleiche Filterverarbeitung handeln. Wenn der Nutzer versucht, die Vielzahl von Teilen von Filterverarbeitung auf das aufgenommene Bild anzuwenden, kann die Parametermenge, die in der Lage ist, eine gewünschte Filterungsverarbeitung auszuführen, auf einfache Weise aus der Vielzahl von erstellten Parametermengen ausgewählt werden, indem der Wert des Selektors eingestellt wird.
Gemäß noch einer weiteren Ausführungsform der vorliegenden Erfindung sind in jeder der Parametermengen eine Vielzahl von Teilen von Bildverarbeitung und Kombinationsverarbeitung des Kombinierens einer Vielzahl aufgenommener Bilder enthalten.
Gemäß dieser Konfiguration kann die Form des Bildes beispielsweise erzeugt werden, indem die Vielzahl von erlangten Bildern nach dem Ausführen der Vielzahl von Teilen von Bildverarbeitung ausgeführt wird.
Gemäß noch einer weiteren Ausführungsform der Erfindung ist die Vielzahl von Teilen von Bildverarbeitung eine Verarbeitung zum Erlangen von drei oder mehr Bildern, durch individuelles Anwenden von Beleuchtung in zumindest drei oder mehr unterschiedlichen Richtungen, und die Kombinationsverarbeitung ist eine Verarbeitung zum Erzeugen eines Bilds, das eine dreidimensionale Form des Inspektionsobjekts basierend auf einem Prinzip photometrischen Stereos auf Grundlage von auf drei oder mehr Bildern, die von der Vielzahl von Teilen von Bildverarbeitung erlangt wurden.
Gemäß dieser Konfiguration ist es möglich, das Formbild auf Grundlage des Prinzips photometrischen Stereos zu erzeugen, und es ist möglich, die Qualitätsbestimmung auf Grundlage des Formbilds durchzuführen.
Gemäß noch einer weiteren Ausführungsform der Erfindung wird ein Bildinspektionsverfahren zum Inspizieren eines Inspektionsobjekts durch Herstellen einer Bildgebungsvorrichtung für eine Bildinspektionsvorrichtung, die ein Bild des Inspektionsobjekts aufnimmt, und einer Einstellungsvorrichtung, die über ein Netzwerk mit der Bildgebungsvorrichtung verbunden ist, bereitgestellt, von außen eine Datei erlangt, in der ein Einstellungselement der Bildgebungsvorrichtung und Verzeichnisinformationen beschrieben werden, die einen Ort angeben, wo ein Einstellungswert von jedem Einstellungselement gespeichert ist, Daten an die Bildgebungsvorrichtung überträgt, welche den Einstellungswert von jedem durch einen Nutzer eingestellten Einstellungswert und die Verzeichnisinformationen, die jedem in der Datei enthaltenen Einstellungselement entsprechen, angeben, und die Bildgebungsvorrichtung einstellt. Das Verfahren umfasst das Hinzufügen, zu der Datei, einer Vielzahl von Selektoren, die den Einstellungselementen zum Einstellen einer mehrstufiger Verarbeitung zugeordnet sind, die auf das aufgenommene Bild angewendet werden soll, und Verzeichnisinformationen, die einen Ort angeben, wo ein Wert von jedem Selektor gespeichert wird, bevor ein von der Bildgebungsvorrichtung aufgenommenes Bild nach außerhalb ausgegeben wird;
durch die Einstellungsvorrichtung, Anzeigen einer Benutzeroberfläche, Vorgeben einer Kombination der Werte der Vielzahl von Selektoren zum Verwirklichen der mehrstufigen Verarbeitung auf der Benutzeroberfläche durch den Nutzer, und Übertragen der Werte der Vielzahl von Selektoren und der Verzeichnisinformationen, die den Ort angeben, in dem die Vielzahl von Selektoren gespeichert sind, an die Bildgebungsvorrichtung; und durch die Bildgebungsvorrichtung, Speichern der Werte der Vielzahl von Selektoren in dem Ort, der von den entsprechenden Verzeichnisinformationen angegeben wird, und aufeinanderfolgendes Ausführen der mehrstufigen Verarbeitung, die durch die Kombination der Werte der Selektoren vorgegeben wird.
Gemäß der vorliegenden Erfindung ist es möglich, sowohl eine Verbesserung eines Freiheitsgrads beim Auswählen eines Modells eines Bildgebungsvorrichtung als auch eine Verbesserung der Genauigkeit der Bildinspektion zu erreichen, indem die Bildgebungsvorrichtung, die mit einer Standardisierungsnorm konform ist, veranlasst wird, nacheinander eine mehrstufige Verarbeitung durchzuführen.
Figurenliste
Die Zeichnungen zeigen in:

1 eine schematische Darstellung, die eine schematische Konfiguration und einen Betriebszustand eines Bildinspektionssystems gemäß der ersten Ausführungsform der vorliegenden Erfindung darstellt;
2 eine Darstellung, die 1 entspricht, gemäß der zweiten Ausführungsform;
3 eine Darstellung, die 1 entspricht, gemäß der dritten Ausführungsform;
4 eine Darstellung, die 1 entspricht, gemäß der vierten Ausführungsform;
5 ein Ablaufdiagramm, das einen Ablauf zum Erzeugen eines Inspektionsbilds auf Grundlage eines Prinzips der Deflektometrie darstellt;
6 eine Darstellung, die 1 entspricht, gemäß der fünften Ausführungsform, bei der das Inspektionsbild mithilfe eines photometrischen Stereoverfahrens erzeugt wird;
7 eine Darstellung zum Beschreiben einer Kommunikationsschnittstelle zwischen einer Bildinspektionsanwendung und einer Kamera;
8 ein Ablaufdiagramm, das entwurfsmäßig ein Beispiel einer internen Verarbeitung einer Bildgebungsvorrichtung darstellt;
9 eine Darstellung, die eine Parametermenge veranschaulicht, wenn das Inspektionsbild mithilfe des Prinzips der Deflektometrie erzeugt wird;
10 eine Darstellung, die die Parametermenge veranschaulicht, wenn das Inspektionsbild durch multispektrale Bildgebung erzeugt wird;
11 eine Darstellung, die eine Konfiguration eines Vorverarbeitungsmoduls veranschaulicht;
12 eine Darstellung zum Beschreiben eines Hauptpunkts zum Vorgeben einer Einheit in dem Ablaufdiagramm der internen Verarbeitung der Bildgebungsvorrich tung;
13 eine Darstellung, die eine Einstellungsbenutzeroberfläche zeigt;
14 eine schematische Darstellung, die einen Fall veranschaulicht, bei dem das Einstellen der Benutzeroberfläche umgeschaltet wird, indem eine Parametermengennummer ausgewählt wird;
15 eine Darstellung, um einen internen Mechanismus zum Umschalten der Parametermenge durch Auswählen der Parametermengennummer zu beschreiben;
16 eine Darstellung, die ein Verarbeitungsbeispiel eines Richtungsspezifischen Filters darstellt;
17 eine Darstellung, um einen Fall zu beschreiben, bei dem nach der Positionskorrektur ein Richtungs-spezifischer Filter ausgeführt wird;
18 eine Darstellung, die eine Filter-Einstellungsbenutzeroberfläche zeigt;
19 eine Darstellung, die Bilder darstellt, an denen Filterverarbeitung ausgeführt werden kann, in Listenform;
20 eine Darstellung, die eine detaillierte Benutzeroberfläche der Filterverarbeitung veranschaulicht;
21 eine Darstellung, die eine Richtungsabhängigkeit eines Filters veranschaulicht;
22 ein Ablaufdiagramm zum Ausführen eines Richtungs-spezifischen Filters nach der Positionskorrektur;
23 ein Ablaufdiagramm zum Ausführen des Richtungs-spezifischen Filters nach der Positionskorrektur, wenn eine Vielzahl von Bereichen festgelegt wird;
24 ein Ablaufdiagramm zum Zeitpunkt der Nachverfolgung eines sich bewegenden Objekts;
25 eine Darstellung, die ein Beispiel eines Fixpunkts mit einer Abhängigkeitsbeziehung veranschaulicht;
26 eine Darstellung, die 15 entspricht, die einen Zustand veranschaulicht, bei dem Reihenfolgen einer Kategorie und eines Verzeichnisses am weitesten unten ersetzt werden;
27 eine Darstellung, die 25 entspricht, die einen Zustand veranschaulicht, bei dem Reihenfolgen einer Kategorie und eines Verzeichnisses in einer Hierarchie ersetzt werden;
28 eine Darstellung, die Erscheinungsreihenfolgen von Verzeichnissen vor und nach der Neuanordnung und einen Ausgabefixpunkt zeigt;
29 eine Darstellung, die ein Beispiel der Erscheinungsreihenfolge von Verzeichnissen in einem LumiTrax-Modus zeigt;
30 eine Darstellung, die 29 entspricht, wenn eine anteroposteriore Beziehung zwischen den Verzeichnissen nicht in einer Einstellreihenfolge ist;
31 ein Schaubild, das 29 entspricht, wenn die Neuanordnung der Verzeichnisse durchgeführt wird.

AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung ausführlich unter Bezugnahme auf die Zeichnungen beschrieben. Es wird angemerkt, dass die nachfolgende Beschreibung bevorzugter Ausführungsformen lediglich beispielhafter Natur ist, und die vorliegende Erfindung, deren Anmeldung und deren Nutzungszweck nicht beschränken soll.
(Ausführungsform 1)
1 veranschaulicht schematisch einen Betriebszustand eines Bildinspektionssystems gemäß einer Ausführungsform der vorliegenden Erfindung. Das Bildinspektionssystem 1 ist eingerichtet, mithilfe eines Bildes, das durch Aufnehmen eines Bildes des Werkstücks W (Inspektionsobjekt) erhalten wird, zu inspizieren, ob ein Werkstück W einen Defekt hat oder nicht, und weist eine Beleuchtungsvorrichtung 2, die das Werkstück beleuchtet, eine Bildgebungsvorrichtung 3 für eine Bildinspektionsvorrichtung, die ein Bild des Werkstücks W aufnimmt, und eine Einstellungsvorrichtung 4 auf, die durch einem PC oder dergleichen gebildet ist, der die Bildgebungsvorrichtung 3 einstellt. Die Einstellungsvorrichtung 4 beinhaltet eine Anzeigeeinheit 5, eine Tastatur 6 und eine Maus 7. Die Anzeigeeinheit 5 ist beispielsweise eine OLED-Tafel bzw. Display oder eine Flüssigkristallanzeige bzw. -Tafel, und ist ein Teil, das in der Lage ist, ein von der Bildgebungsvorrichtung 3 aufgenommenes Bild, ein Bild, das durch Durchführen mehrerer Teile von Verarbeitung an dem von der Bildgebungsvorrichtung 3 aufgenommenen Bild erhalten wird, und verschiedene Benutzeroberflächen (GUIs) anzuzeigen. Verschiedene Benutzeroberflächen werden in einem Hauptkörper der Einstellungsvorrichtung 4 erzeugt. Eine Horizontalrichtung der Anzeigeeinheit 5 kann eine X-Richtung der Anzeigeeinheit 5 sein, und eine Vertikalrichtung der Anzeigeeinheit 5 kann eine Y-Richtung der Anzeigeeinheit 5 sein.
Die Tastatur 6 und die Maus 7 sind Computerbedienvorrichtungen (Bedienmittel), die aus dem Stand der Technik weithin bekannt sind. Verschiedene Teile von Informationen können der Einstellungsvorrichtung 4 eingegeben werden, und ein Bild und dergleichen, die auf der Anzeigeeinheit 5 angezeigt werden, können ausgewählt werden, indem die Tastatur 6 oder die Maus 7 bedient werden.
Beispielsweise können anstelle der Tastatur 6 und der Maus 7 oder zusätzlich zu der Tastatur 6 und der Maus 7 eine Computerbedienvorrichtung wie etwa eine Spracheingabevorrichtung oder ein druckempfindliches Berührbedienfeld verwendet werden.
Beispielsweise ist die Einstellungsvorrichtung 4 mit einer externen Steuerungsvorrichtung 8 verbunden, die durch einen programmierbaren Logikcontroller (PLC) oder dergleichen gebildet wird. Die externe Steuerungsvorrichtung 8 kann einen Teil des Bildinspektionssystems 1 bilden. Es kann sein, dass die externe Steuerungsvorrichtung 8 kein Bauteil des Bildinspektionssystems 1 ist.
1 veranschaulicht einen Fall, bei dem eine Vielzahl von Werkstücken W in einer durch einen weißen Pfeil in 1 angegebenen Richtung transportiert wird, in einem Zustand, bei dem die Werkstücke auf einer Oberseite eines Transport-Bandförderers B platziert sind. Die externe Steuerungsvorrichtung 8 ist eine Vorrichtung zum Steuern des Transport-Bandförderers B und des Bildinspektionssystems 1 nacheinander, und kann einen Mehrzweck-PC verwenden.
Bei der Beschreibung dieser Ausführungsform wird eine Transportrichtung des Werkstücks W (eine Bewegungsrichtung des Werkstücks W) durch den Transport-Bandförderer B als Y-Richtung definiert, eine Richtung orthogonal zur Y-Richtung in Draufsicht des Transport-Bandförderers B wird als die X-Richtung definiert, und eine Richtung orthogonal (eine Richtung orthogonal zur Oberseite des Transportbandförderers B) zur X-Richtung und der Y-Richtung wird als Z-Richtung definiert, diese Definitionen sind jedoch lediglich Definitionen zum Zwecke der vereinfachten Beschreibung.
Das Bildinspektionssystem 1 kann verwendet werden, um ein Erscheinungsbild des Werkstücks W zu inspizieren, also um zu inspizieren, ob eine Oberfläche des Werkstücks W Mängel bzw. Defekte wie etwa Kratzer, Schmutz und Dellen hat, und kann die Qualitätsbestimmung des Werkstücks W aus diesem Inspektionsergebnis durchführen. Während eines Betriebs empfängt das Bildinspektionssystem 1 ein Inspektionsstartauslösesignal, das eine Startzeit der Defektinspektion (Qualitätsbestimmungsinspektion bzw. Beschaffenheitsbestimmungsinspektion) definiert, von der externen Steuerungsvorrichtung 8 über eine Signalleitung. Das Bildinspektionssystem 1 nimmt ein Bild des Werkstücks W auf und beleuchtet das Werkstück W basierend auf dem Inspektionsstartsignal, und erhält nachdem eine vorgegebene Verarbeitung durchgeführt wurde ein Inspektionsbild. Danach wird die Erscheinungsinspektion auf Grundlage des Inspektionsbilds durchgeführt, und das Inspektionsergebnis wird durch die Signalleitung an die externe Steuerungsvorrichtung 8 übertragen. Wie oben beschrieben wird während des Betriebs des Bildinspektionssystems 1 zwischen dem Bildinspektionssystem 1 und der externen Steuerungsvorrichtung 8 durch die Signalleitung wiederholt eine Eingabe des Inspektionsstartsignals und eine Ausgabe des Inspektionsergebnisses durchgeführt. Wie oben beschrieben können die Eingabe des Inspektionsstartauslösesignal und die Ausgabe des Inspektionsergebnisses zwischen dem Bildinspektionssystem 1 und der externen Steuerungsvorrichtung 8 über die Signalleitung durchgeführt werden, oder können über andere Signale (nicht dargestellt) durchgeführt werden. Beispielsweise können ein Sensor zum Detektieren der Ankunft des Werkstücks W und das Bildinspektionssystem 1 direkt verbunden sein, und das Inspektionsstartauslösesignal kann dem Bildinspektionssystem 1 von dem Sensor eingegeben werden. Das Bildinspektionssystem 1 kann eingerichtet sein, das Werkstück W durch automatische Erzeugung des Auslösesignals zu inspizieren.
Das Bildinspektionssystem 1 kann durch dedizierte Hardware ausgebildet sein, oder kann ausgebildet sein, indem Software in einer Mehrzweckvorrichtung installiert wird, beispielsweise indem ein Bildinspektionsprogramm in einem Mehrzweckrechner oder einem dedizierten Computer installiert wird. Beispielsweise kann das Bildinspektionsprogramm in einem dedizierten Computer installiert sein, der spezielle Hardware aufweist, z.B. eine Grafikkarte zur Bildinspektionsverarbeitung.
(Konfiguration der Beleuchtungsvorrichtung 2)
Die Beleuchtungsvorrichtung 2 weist eine Leuchteinheit 2a und eine Beleuchtungssteuerungsvorrichtung 2b auf, welche die Leuchteinheit 2a steuert.
Die Leuchteinheit 2a und die Beleuchtungssteuerungsvorrichtung 2b können getrennt oder integriert sein. Die Beleuchtungssteuerungsvorrichtung 2b kann in die Einstellungsvorrichtung 4 integriert sein. Die Leuchteinheit 2a kann beispielsweise von einer Leuchtdiode, einem Projektor, der eine FlüssigkristallTafel, einer OLED-Tafel oder einer digitalen Mikrospiegelvorrichtung (DMD) gebildet sein, und kann auch als Beleuchtungseinheit bezeichnet werden. Obgleich die Leuchtdiode, das Flüssigkristalltafel, die OLED-Tafel und die DMD nicht dargestellt sind, kann eine Leuchteinheit mit einem in der verwandten Technik bekannten Aufbau verwendet werden. Die Beleuchtungsvorrichtung 2 ist mit der Einstellvorrichtung 4 über eine Signalleitung 100a verbunden, und kann getrennt von der Bildgebungsvorrichtung 3 und der Einstellvorrichtung 4 installiert sein.
Die Beleuchtungsvorrichtung 2 gemäß der ersten Ausführungsform ist eingerichtet, eine einheitliche Oberflächenlichtemission durchzuführen. Die Beleuchtungsvorrichtung 2 ist eingerichtet, eine Beleuchtung durchzuführen, die in der Lage ist, die Deflektometrieverarbeitung zu verwirklichen, und beinhaltet die Leuchteinheit 2a, die das Werkstück W mit Musterlicht bzw. Strukturierungslicht bestrahlt, das eine periodische Leuchtdichteverteilung hat. Das bedeutet, die Beleuchtungsvorrichtung 2 kann eine Musterlichtbeleuchtungseinheit bzw. Strukturierungslichtbeleuchtungseinheit sein, die eine Musterlichtbeleuchtung bzw. Strukturierungslichtbeleuchtung durchführt, die das Werkstück W nacheinander mit einer Vielzahl unterschiedlicher Musterlichtstrahlen bestrahlt. Nachfolgend wird die Beleuchtungsvorrichtung 2 beschrieben, die verwendet wird, wenn das Inspektionsbild durch Durchführen der Deflektometrieverarbeitung erzeugt wird.
Wenn eine Vielzahl von Leuchtdioden verwendet wird, ist es möglich, das Musterlicht mit der periodischen Leuchtdichteverteilung zu erzeugen, indem die Vielzahl von Leuchtdioden in einer Punktmatrix angeordnet und ein Stromwert gesteuert wird. Wenn beispielsweise Musterlicht der Y-Richtung, dessen Helligkeit in der Y-Richtung geändert wird, erzeugt wird, kann dieses Musterlicht auch als Musterlicht ausgedrückt werden, bei dem ein Streifenmuster in Y-Richtung wiederholt wird. Wenn dieses Y-Richtungsmusterlicht erzeugt wird, wird eine Phase der Leuchtdichteverteilung in Y-Richtung verlagert, und somit kann eine Vielzahl von Y-Richtungsmusterlichtstrahlen mit unterschiedlichen Phasen von Leuchtdichteverteilung erzeugt werden. Die Leuchtdichteverteilung des Y-Richtungsmusterlichts kann auch durch eine Wellenform dargestellt werden, die eine Sinuswellenform annähert. In diesem Fall wird eine Phase beispielsweise um 90° geändert. Das Y-Richtungsmusterlicht bei der Phase von 0°, das Y-Richtungsmusterlicht bei der Phase von 90°, das Y-Richtungsmusterlicht bei der Phase von 180° und das Y-Richtungsmusterlicht bei der Phase von 270° kann erzeugt werden.
Wenn X-Richtungsmusterlicht, dessen Helligkeit in X-Richtung geändert wird, erzeugt wird, kann dieses Musterlicht auch als Musterlicht ausgedrückt werden, bei dem ein Streifenmuster in X-Richtung wiederholt wird. Wenn dieses X-Richtungsmusterlicht erzeugt wird, wird eine Phase der Leuchtdichteverteilung in der X-Richtung verlagert, und somit können eine Vielzahl von X-Richtungsmusterlichtstrahlen mit unterschiedlichen Leuchtdichteverteilungen erzeugt werden. Die Leuchtdichteverteilung des X-Richtungsmusterlichts kann auch durch eine Wellenform, die sich einer Sinuswellenform annähert, dargestellt werden. In diesem Fall wird die Phase beispielsweise um 90° geändert. Das X-Richtungsmusterlicht bei der Phase von 0°, das X-Richtungsmusterlicht bei der Phase von 90°, das X-Richtungsmusterlicht bei der Phase von 180° und das X-Richtungsmusterlicht bei der Phase von 270° können erzeugt werden. Das bedeutet, die Beleuchtungsvorrichtung 2 kann das Werkstück W in unterschiedlichen Beleuchtungsmodi beleuchten. Wenn die Deflektometrieverarbeitung durchgeführt wird, kann das Musterlicht, mit dem das Werkstück W beaufschlagt wird, nicht nur das Musterlicht der Sinuswellenform, sondern auch Musterlicht wie etwa eine Dreieckwelle sein.
Es ist ebenfalls möglich, das Werkstück mit Licht zu bestrahlen, dessen Leuchtdichteverteilung innerhalb einer Ebene gleichmäßig ist, indem bewirkt wird, dass ein Strom mit dem gleichen Stromwert bzw. der gleichen Stromstärke in alle Leuchtdioden fließt. Wenn die Stromwerte, die durch alle Leuchtdioden gelangen, dahingehend verändert werden, gleich zu sein, kann ein Lichtemissionszustand von einem dunklen Oberflächenemissionszustand in einen hellen Oberflächenemissionszustand geändert werden.
Wenn die Flüssigkristalltafel und die OLED-Tafel verwendet werden, kann es sich bei dem Licht, das aus jeder Tafel bzw. Display aufgebracht wird, um das Musterlicht mit der periodischen Leuchtdichteverteilung durch Steuern jeder Tafel handeln.
Wenn eine digitale Mikrospiegelvorrichtung verwendet wird, kann das Licht mit der periodischen Leuchtdichteverteilung erzeugt werden und durch Steuern einer eingebauten Mikrospiegeloberfläche aufgebracht werden. Die Konfiguration der Beleuchtungsvorrichtung 2 ist nicht auf die vorgenannte Konfiguration beschränkt, und es kann eine beliebige Vorrichtung oder Gerät sein, die das Musterlicht mit der periodischen Leuchtdichteverteilung hat.
Wie unten beschrieben werden wird, kann als Beleuchtungsvorrichtung 2, die verwendet wird, wenn das Inspektionsbild mithilfe eines photometrischen Stereoverfahrens erzeugt wird, eine Beleuchtungsvorrichtung verwendet werden, die eine Beleuchtung in zumindest drei oder mehr unterschiedlichen Richtungen aufbringt. Bei der Beleuchtungsvorrichtung 2 kann es sich um eine Beleuchtungsvorrichtung handeln, die eingerichtet ist, eine multispektrale Beleuchtung durchzuführen, und die Konfiguration der Beleuchtungsvorrichtung 2 ist nicht konkret beschränkt.
(Konfiguration der Bildgebungsvorrichtung 3)
Die Bildgebungsvorrichtung 3 weist eine Kamera 31, ein Kondensationssystem optisches System 32 und eine Bildgebungssteuerungseinheit 33.
Die Bildgebungsvorrichtung 3 ist mit der Einstellungsvorrichtung 4 über eine Signalleitung 100b verbunden und kann getrennt von der Beleuchtungsvorrichtung 2 und der Einstellungsvorrichtung 4 installiert sein.
Die Kamera 31 beinhaltet einen Bildsensor, der ein Bildgebungselement, wie etwa einen DDC oder einen CMOS beinhaltet, der die Intensität bzw. Stärke von Licht, das durch das Kondensationssystem optische System bzw. das optische Kondensationssystem 32 erhalten wird, in ein elektrisches Signal umwandelt. Die Bildgebungssteuerungseinheit 33 beinhaltet eine Speichervorrichtung und eine Signalverarbeitungsvorrichtung und ist ein Teil, das die Steuerung von Beginn und Ende der Belichtung der Kamera 31, die Steuerung einer Belichtungszeit, und die Anpassung einer Analogverstärkung durchführt. Das Ansteuern des Bildsensors und das Transferieren der Bilddaten kann von einer internen Logikschaltung gesteuert werden. Verschiedene Teile von Bildverarbeitung, Filterverarbeitung und dergleichen können von der Bildsteuerungseinheit 33 durchgeführt werden, und die Bildgebungsvorrichtung 3 ist eine Vorrichtung mit einer Filterverarbeitungsfunktion.
Das optische Kondensationssystem 32 ist ein optisches System zum Kondensieren von Licht, das von außen einfällt, und beinhaltet üblicherweise eine oder mehr Linsen. Das optische Kondensationssystem 32 ist eingerichtet, um einen Autofokus durchzuführen. Eine Positionsbeziehung zwischen der Bildgebungsvorrichtung 3 und der Beleuchtungsvorrichtung 2 kann derart eingestellt werden, dass das Licht, das von der Beleuchtungsvorrichtung 2 in Richtung der Oberfläche des Werkstücks W aufgebracht wird, von der Oberfläche des Werkstücks W reflektiert wird und auf das optische Kondensationssystem 32 einfällt. Handelt es sich bei dem Werkstück W um ein transparentes Element wie etwa eine(n) durchsichtige(n) Film oder Folie, kann die Positionsbeziehung zwischen der Bildgebungsvorrichtung 3 und der Beleuchtungsvorrichtung 2 derart eingestellt werden, dass das Musterlicht, das aus der Beleuchtungsvorrichtung 2 hin zur Oberfläche des Werkstücks 2 aufgebracht wird, durch das Werkstück W gelangt und auf das optische Kondensationssystem 32 der Bildgebungsvorrichtung 3 fällt. Bei einem der vorgenannten Fälle sind die Bildgebungsvorrichtung 3 und die Beleuchtungsvorrichtung 2 derart angeordnet, dass eine Spiegelreflexionskomponente und eine diffuse Reflexionskomponente, die von der Oberfläche des Werkstücks W reflektiert werden, auf das optische Kondensationssystem 32 der Bildgebungsvorrichtung 3 einfallen. Obwohl eine Zeilenkamera, in der Lichtaufnahmeelemente linear in Y-Richtung angeordnet sind, als Bildgebungsvorrichtung 3 verwendet werden kann, kann eine Flächenkamera (derart angeordnet, dass die lichtaufnehmenden Elemente in der X- und Y-Richtung angeordnet sind), bei der es sich nicht um die Zeilenkamera handelt, verwendet werden. In einem Fall, bei dem diese Kamera verwendet wird, kann auch eine Form von koaxialer Beleuchtung durchgeführt werden.
(Ausführungsform 2)
2 ist eine schematische Darstellung, die eine schematische Konfiguration und einen Betriebszustand einer Bildinspektionsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung veranschaulicht. Bei der zweiten Ausführungsform ist die Bildgebungssteuerungseinheit 33 von der Kamera 31, die das Bildgebungselement und das optische Kondensationssystem 32 aufweist, getrennt, und die Beleuchtungssteuerungseinheit 2b ist in die Bildgebungssteuerungseinheit 33 eingegliedert und integriert. Die Bildgebungssteuerungseinheit 33 ist über die Signalleitung 100b mit der Einstellungsvorrichtung 4 verbunden. Die Bildgebungssteuerungseinheit 33 und die Beleuchtungssteuerungseinheit 2b können getrennt sein.
(Ausführungsform 3)
3 ist eine schematische Darstellung, die eine schematische Konfiguration und einen Betriebszustand eines Bildinspektionssystems gemäß der dritten Ausführungsform der Erfindung zeigt. Bei der dritten Ausführungsform ist die Beleuchtungssteuerungseinheit 2b in die Bildgebungssteuerungseinheit 33 eingliedert und integriert und die Anzeigeeinheit 5 und die Maus 7 sind mit der Bildsteuerungseinheit 33 verbunden. Die Einstellungsvorrichtung 4 wird beispielsweise durch einen Notebook-PC ausgebildet, und ist mit der Bildgebungssteuerungseinheit verbunden.
Die Einstellungsvorrichtung 4 beinhaltet die Tastatur 6. Die Maus kann mit der Einstellungsvorrichtung 4 verbunden sein. Verschiedene Benutzeroberflächen, die von der Einstellungsvorrichtung 4 erzeugt werden, können über die Bildgebungssteuerungseinheit 33 auf der Anzeigeeinheit 5 angezeigt werden.
(Ausführungsform 4)
4 ist eine schematische Darstellung, die eine schematische Konfiguration und einen Betriebszustand eines Bildinspektionssystems gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. Bei der vierten Ausführungsform sind die Beleuchtungsvorrichtung 2 und die Bildgebungsvorrichtung 3 integriert, und die Beleuchtungssteuerungseinheit 2b und die Bildgebungssteuerungseinheit 33 sind ebenfalls integriert. In der zweiten bis vierten Ausführungsform werden die gleichen Teile wie jene in der ersten Ausführungsform mit den gleichen Bezugszeichen versehen, und eine Beschreibung dieser entfällt.
(Deflektometrieverarbeitung)
Bei der ersten bis vierten Ausführungsform wird eine Deflektometrieverarbeitung zur Erzeugung von Phasendaten der Oberfläche des Werkstücks W aus einer Vielzahl von Leuchtdichtebildern, die von der Bildgebungsvorrichtung 3 auf Grundlage des Prinzips der Deflektometrie aufgenommen, und es wird auf Grundlage der Phasendaten die Erzeugung eines Inspektionsbilds durchgeführt, das eine Form des Werkstücks W angibt.
Nachfolgend wird die Erzeugung des Inspektionsbilds ausführlich unter Bezugnahme auf das in 5 dargestellte Ablaufdiagramm beschrieben.
Bei Schritt SA1 des Ablaufdiagramms erzeugt die Beleuchtungsvorrichtung 2 das Musterlicht gemäß den vorgegebenen Beleuchtungsbedingungen und beleuchtet das Werkstück W. Die Beleuchtungsbedingung zu diesem Zeitpunkt kann eine Beleuchtungsbedingung sein, bei der das Y-Richtungsmusterlicht bei der Phase von 0°, das Y-Richtungsmusterlicht bei der Phase von 90°, das Y-Richtungsmusterlicht bei der Phase von 180°, das Y-Richtungsmusterlicht bei der Phase von 270°, das Y-Richtungsmusterlicht bei der Phase von 0°, das X-Richtungsmusterlicht bei der Phase von 90°, das X-Richtungsmusterlicht bei der Phase von 180°, und das X-Richtungsmusterlicht bei der Phase von 270° sequentiell erzeugt werden. Dementsprechend erzeugt die Beleuchtungsvorrichtung 2 insgesamt 8 Arten von Musterlichtstrahlen (vier Arten in der X-Richtung und vier Arten in der Y-Richtung), und bestrahlt das Werkstück W sequenziell. Immer dann, wenn das Musterlicht aufgebracht wird, nimmt die Bildgebungsvorrichtung 3 das Bild des Werkstücks W auf. Zum Zeitpunkt des Durchführens der Bildgebung bzw. Bildaufnahme durch die Bildgebungsvorrichtung 3 werden acht Beleuchtungsbilder erhalten, da die Anzahl von Malen, die das Musterlicht aufgebracht wird, acht beträgt. Nur das X-Richtungsmusterlicht oder nur das Y-Richtungsmusterlicht können aufgebracht werden, abhängig von der Form oder dergleichen des Werkstücks W. Die Anzahl von Musterlichtstrahlen kann drei betragen.
Danach schreitet die Verarbeitung zu Schritt SA2 voran, und die Deflektometrieverarbeitung wird an den acht Leuchtdichtebildern durchgeführt, die in Schritt SA1 erhalten wurden. Die Spiegelreflexionskomponente und die diffuse Reflexionskomponente (+ die Umgebungskomponente) sind in jedem Pixelwert des erhaltenen Leuchtdichtebilds enthalten, indem das Bild des Werkstücks W, das mit dem Musterlicht bestrahlt wurde, aufgenommen wird. Da die Phase der Leuchtdichteverteilung des Musterlichts um 90° (π/2) in der X-Richtung verschoben wird, um die Bilder vier Mal aufzunehmen, können vier Arten von Pixelwerten erhalten werden, indem das X-Richtungsmusterlicht aufgebracht wird. Die diffuse Reflexionskomponente, die Spiegelreflexionskomponente und ein Spiegelreflexionswinkel (Phase) sind Phasendaten, und können mit einer weithin bekannten Berechnungsformel berechnet werden.
Auf ähnliche Weise können vier Arten von Pixelwerten erhalten werden, indem das Y-Richtungsmusterlicht aufgebracht wird, da die Phase der Leuchtdichteverteilung des Musterlichts um 90° (π/2) in der Y-Richtung verschoben ist, um die Bilder vier Mal aufzunehmen. Die diffuse Reflexionskomponente, die Spiegelreflexionskomponente und der Spiegelreflexionswinkel (Phase) können ebenfalls in der Y-Richtung berechnet werden.
Beispielsweise kann ein Spiegelreflexionskomponentenbild erhalten werden, indem eine diffuse Komponente basierend auf einer Differenz zwischen entgegengerichteten Phasen beseitigt wird. Das Spiegelreflexionskomponentenbild kann erhalten werden, indem diese Komponenten in der X-Richtung und der Y-Richtung erhalten und kombiniert werden. Der Spiegelreflexionswinkel kann mithilfe einer Spiegelreflexionskomponente, die um π/2 verschoben ist, erhalten werden, indem ein Winkel wie tanθ = sinθ / cosθ berechnet wird. Ein durchschnittliches Bild beinhaltet eine diffuse Komponente und eine Umgebungskomponente, und kann erhalten werden, indem die Spiegelreflexionskomponente durch Hinzuaddieren der entgegengerichteten Phasen beseitigt wird.
In Schritt SA3 wird eine Kontrastkorrektur an einem diffusen Reflexionskomponentenbild durchgeführt. In Schritt SA4 wird eine Kontrastkorrektur an dem Spektralkomponentenbild durchgeführt. Jede Kontrastkorrektur kann eine lineare Korrektur sein. Beispielsweise wird ein ROI-Mittel auf einen Medianwert korrigiert.
Im Falle von 8 Bits kann der Medianwert 128 Stufen besitzen. Dementsprechend werden eine korrigierte diffuse Komponente und eine korrigierte Spiegelreflexionskomponente erhalten.
In Schritt SA5 wird eine Differenz zwischen einer Phasenkomponente und der Referenzphase erhalten. In Schritt SA5, wird eine Differenz bezüglich einer Phase einer Referenzphase erhalten. Beispielsweise weist ein Nutzer als Referenzphase eine Kugelform, eine Zylinderform oder eine Planarform zu, und erlangt aus der zugewiesenen Form eine Differenz. Alternativ kann der Nutzer eine Differenz bezüglich einer Freiformfläche extrahieren. Eine korrigierte Phase (Differenz) wird in der X-Richtung erhalten, und eine korrigierte Phase wird ebenfalls in der Y-Richtung erhalten. Das diffuse Reflexionskomponentenbild, das Spiegelreflexionskomponentenbild und ein Referenzphasendifferenzbild können Ausgabebilder sein.
In Schritt SA6 werden ein Hierarchiebild und ein Tiefenlinienbild bzw. Tiefenkonturbild auf Grundlage des in Schritt SA5 erhaltenen Referenzphasenbilds erhalten. Das Hierarchiebild ist ein Bild, in dem ½ Reduktion wiederholt wird. Dementsprechend werden in der X- und Y-Richtung Bilder mit hierachierten Phasen erhalten.
Hierbei ist ein Tiefenlinienbild ein Ausgabebild, in dem ein Teil mit einer großen Phasendifferenz hervorgehoben wird, und ist ein Konzept, das sich von Krümmung unterscheidet. Das Tiefenlinienbild wird mit einer höheren Geschwindigkeit erhalten als ein Formbild, das durch Aufeinanderstapeln der Formen erhalten wird, und hat einen Vorteil dahingehend, dass ein Linienkratzer des Werkstücks W sehr leicht zu sehen ist, und eine Kontur leicht extrahiert werden kann.
Als nächstes wird in Schritt SA7 das Formbild erhalten, indem die Formen an den Bildern mit den Hierarchiephasen gestapelt werden. Das Formbild kann erhalten werden, indem eine Stapelberechnung durch ein Gauß-Jacobi-Verfahren an den Spiegelreflexionswinkeln in der X-Richtung und in der Y-Richtung durchgeführt wird. Das Formbild ist ein Ausgabebild.
Allgemein gibt es viele Beispiele, bei denen die Form nach der Kontinuierung („unwrapping“) mittels Triangulation wiederhergestellt wird. Bei der vorliegenden Ausführungsform wird die Form ungeachtet der Triangulation durch Verhindern von Kontinuierung und Durchführen der Stapelberechnung lokaler Differenzwerte durch das Gauß-Jacobi-Verfahren wiederhergestellt. Als Formwiederherstellungsverfahren kann ein bekanntes Verfahren verwendet werden. Ein Verfahren, das keine Triangulation nutzt, wird bevorzugt. Ein Hierarchieverfahren mit einer Vielzahl von mehrstufig verkleinerten Bildern kann verwendet werden. Ein Verfahren, dass eine Differenz zwischen dem verkleinerten Bild und einem normalen Bild hat, kann ebenfalls eingesetzt werden.
Als Parameter kann eine Merkmalsgröße eingesetzt werden. Die Merkmalsgröße ist ein Parameter zum Einstellen einer Größe eines zu detektierenden Kratzers entsprechend dem Zweck und der Klassifikation der Inspektion. Beispielweise kann der kleinste Kratzer detektiert werden, wenn ein Parameterwert der Merkmalsgröße 1 beträgt, und ein großer Kratzer kann detektiert werden, indem dieser Wert erhöht wird. Dementsprechend ist es dann, wenn die Merkmalsgröße erhöht wird, leicht, größere Kratzer zu detektieren, und Kratzer und Unebenheiten auf der Oberfläche des Werkstücks W werden deutlich.
In Schritt SA8 wird eine einfache Fehler- bzw. Defektextraktion durchgeführt. Das bedeutet, dass nachdem ein Bild, bei dem der Linienkratzer (Defekt) des Werkstücks W leicht zu extrahieren ist, ein Bild, bei dem der Schmutz (Defekt) des Werkstücks W leicht zu inspizieren ist, und ein Bild, bei dem die Delle (Defekt) des Werkstücks W leicht zu inspizieren ist, erzeugt wurden, werden die in dem Bild erscheinenden Defekte auf einem Defektextraktionsbild angezeigt.
Das Defektextraktionsbild ist ein Bild, dass die Defekte, die in jedem Bild auftauchen, extrahieren und anzeigen kann und kann auch als kombiniertes Defektbild bezeichnet werden, da die extrahierten Defekte in einem Bild kombiniert und angezeigt werden können.
Beispielsweise ist das Spiegelreflexionskomponentenbild ein Bild, bei dem der Schmutz, der die Spiegelreflexion abstumpft, der Kratzer, der eine Formänderung verursacht, aber die Spiegelreflexion abstumpft, oder der Kratzer, der eine Spiegelreflexion aufgrund einer Formänderung hervorruft, leicht festgestellt bzw. bestätigt werden können. Das diffuse Reflexionsbild ist ein Bild, bei dem ein Zustand (konkret Zeichen oder verdunkelter Schmutz auf einem Druckerzeugnis) der Textur auf der Oberfläche des Werkstücks W leicht bestätigt werden können. Das Formbild ist ein Bild, welches erhalten wird, indem Phasenänderungen gestapelt werden, während umliegende Pixel gemäß der Merkmalsgröße betrachtet werden. Dabei ist es dann, selbst bei der Formänderung, wenn die Merkmalsgröße des Formbilds groß eingestellt wird, möglich, eine verhältnismäßig flache Unebenheit mit einer großen Fläche zu erfassen. Wenn hingegen die Merkmalsgröße des Formbilds dahingehend eingestellt ist, klein zu sein, ist es möglich, einen Linienkratzer oder einen Kratzer mit einer kleinen Fläche zu erfassen. Die Defekte (beispielsweise feiner Kratzer oder tiefe Kratzer), die in dem Formbild kaum auftreten, neigen dazu, in dem Spiegelreflexionskomponentenbild aufzutreten. Das Tiefenlinienbild ist ein Bild, das durch Berechnen der Referenzebene und Visualisierung einer Verlagerung aus der Referenzebene erhalten wird. Es ist möglich, den Linienkratzer oder den Kratzer mit der kleinen Fläche aus dem Tiefenlinienbild zu erfassen.
Das Defektextraktionsbild, auf dem die Defekte angezeigt werden, die extrahiert wurden, nachdem die einfache Defektextraktion in Schritt SA8 durchgeführt wurde, wird ausgegeben.
(Ausführungsform 5)
6 ist eine schematische Darstellung, die eine schematische Konfiguration und einen Betriebszustand eines Bildinspektionssystems gemäß der fünften Ausführungsform der vorliegenden Erfindung darstellt. Das Inspektionsbild wird auf Grundlage des Prinzips der Deflektometrie in der ersten bis vierten Ausführungsform erzeugt, wohingegen das Inspektionsbild in der fünften Ausführungsform mithilfe des photometrischen Stereoverfahrens erzeugt wird.
Nachfolgend wird ein konkretes Verfahren zur Erzeugung des Inspektionsbilds mithilfe des photometrischen Stereoverfahrens ausführlich unter Bezugnahme auf 6 beschrieben. Die gleichen Teile wie jene der ersten Ausführungsform werden mit den gleichen Bezugszeichen bezeichnet, und eine Beschreibung dieser entfällt.
Das Bildinspektionssystem 1 gemäß der fünften Ausführungsform kann die gleiche Konfiguration besitzen wie jene des Bildinspektionssystems, das beispielsweise in der ungeprüften japanischen Patentoffenlegungsschrift Nr. 2015-232486 offenbart wurde. Das bedeutet, dass das Bildinspektionssystem 1 die Bildgebungsvorrichtung 3 beinhaltet, die ein Bild des Werkstücks W in einer bestimmten Richtung aufnimmt, und die Beleuchtungsvorrichtung 300, die das Werkstück W in drei oder mehr unterschiedlichen Beleuchtungsrichtungen beleuchtet, und zumindest die Anzeigeeinheit 5, die Tastatur 6, und die Maus 7 aufweist, ähnlich jenen in der ersten Ausführungsform.
Die Beleuchtungsvorrichtung 200 ist eingerichtet, um das Werkstück W in unterschiedlichen Richtungen mit Licht zu bestrahlen, und beinhaltet eine Beleuchtungssteuerungseinheit 205, die erste bis vierte Leuchteinheiten 201 bis 204 steuert, sowie erste bis vierte Leuchteinheiten 201 bis 204. Die Beleuchtungseinheit 200 ist ein Teil, das eine multidirektionale Beleuchtung ausführt, die das Werkstück W mit Licht in unterschiedlichen Richtungen bestrahlt. Die erste bis vierte Leuchteinheit 201 bis 204 sind derart angeordnet, dass sie das Werkstück W mit einem dazwischenliegenden Raum umgeben. Leuchtdioden, Glühbirnen und Leuchtstofflampen können als erste bis vierte Leuchteinheiten 201 bis 204 verwendet werden. Die ersten bis vierten Leuchteinheiten 201 bis 204 können separat oder integriert sein.
Bei dieser Ausführungsform werden die erste bis vierte Leuchteinheit 201 bis 204 nacheinander angeschaltet, und die Bildgebungsvorrichtung 3 nimmt ein Bild des Werkstücks W zu einem Zeitpunkt auf, bei dem eine beliebige der ersten bis vierten Leuchteinheiten 201 bis 204 angeschaltet ist. Wenn die Beleuchtungsvorrichtung 200 beispielsweise ein erstes Beleuchtungsauslösesignal empfängt, schaltet die Beleuchtungssteuerungseinheit 205 nur die erste Leuchteinheit 201 an. Zu diesem Zeitpunkt empfängt die Bildgebungsvorrichtung 3 ein Auslösesignal, und nimmt ein Bild des Werkstücks W zu einem Zeitpunkt auf, wenn das Licht aufgebracht wird. Wenn die Beleuchtungsvorrichtung 200 ein zweites Beleuchtungsauslösesignal empfängt, schaltet die Beleuchtungssteuerungseinheit 205 nur die zweite Leuchteinheit 202 an, und die Bildgebungsvorrichtung 3 nimmt ein Bild des Werkstücks W zu diesem Zeitpunkt auf. Auf diese Weise können vier Leuchtdichtebilder erhalten werden. Die Anzahl von Beleuchtungen ist nicht auf vier beschränkt, und kann eine beliebige Anzahl sein, solange das Werkstück W in drei oder mehr unterschiedlichen Richtungen beleuchtet werden kann.
Ein Normalenvektor bezogen auf die Oberfläche des Werkstücks W von jedem Pixel wird mithilfe eines Pixelwerts für jeden Pixel berechnet, der eine Entsprechung zwischen der Vielzahl von Leuchtdichtebildern hat, die von der Bildgebungsvorrichtung 3 aufgenommen wurden. Der berechnete Normalenvektor von jedem Pixel wird in der X-Richtung und in der Y-Richtung differenziert, und es wird ein Umrissbild erzeugt, das einen Umriss bzw. eine Kontur einer Neigung der Oberfläche des Werkstücks W anzeigt. Ein Albedo bzw. Rückstrahlvermögen der gleichen Anzahl von Pixeln wie der Normalenvektor wird aus dem berechneten Normalenvektor von jedem Pixel berechnet, und ein gerendertes Texturbild, das ein Muster angibt, das durch Entfernen eines Neigungszustands der Oberfläche des Werkstücks W erhalten wird, wird aus dem Albedo erzeugt. Da es sich bei diesem Verfahren um ein hinlänglich bekanntes Verfahren handelt, entfällt eine ausführliche Beschreibung an dieser Stelle. Das Formbild, das die Form des Werkstücks W angibt, kann erzeugt werden, indem eine Vielzahl von Leuchtdichtebildern auf Grundlage des Prinzips des photometrischen Stereos kombiniert werden.
(Multispektrale Beleuchtung)
Bei einer anderen Ausführungsform kann die Beleuchtungsvorrichtung 2 verwendet werden, die in der Lage ist, eine multispektrale Beleuchtung durchzuführen. Die multispektrale Beleuchtung bezieht sich auf einen Fall, bei dem das Werkstück W mit Licht unterschiedlicher Wellenlängen zu unterschiedlichen Zeitpunkten bestrahlt wird, und ist zum Inspizieren von Farbunebenheiten, Schmutz oder dergleichen des bedruckten Materials (Inspektionsgegenstand) geeignet. Die Beleuchtungsvorrichtung 2 kann derart eingerichtet sein, dass gelb, blau und rot nacheinander auf das Werkstück W aufgebracht werden können. Konkret kann die Beleuchtungsvorrichtung 2 eine mehrfarbige LED aufweisen, oder die Beleuchtungsvorrichtung 2 kann durch eine Flüssigkristalltafel, eine OLED-Tafel oder dergleichen ausgebildet sein.
Die Bildgebungsvorrichtung 3 nimmt ein Bild des Werkstücks W zu dem Zeitpunkt auf, wenn das Licht aufgebracht wird, und erhält die Vielzahl von Leuchtdichtebildern. Das Inspektionsbild kann erhalten werden, indem die Vielzahl von Leuchtdichtebildern kombiniert werden. Diese Bildgebung wird als multispektrale Bildgebung bezeichnet. Das Formbild, das die Form des Werkstücks W angibt, kann erzeugt werden, indem die Vielzahl von Leuchtdichtebildern durch die multispektrale Bildgebung kombiniert werden. Das aufzubringende Licht kann ultraviolette Strahlen und Infrarotstrahlen umfassen.
(Verbindungsschnittstelle zwischen Kamera und Bildinspektionsanwendung)
Die Kamera 31 ist eine mit der GenICam-Norm kompatible Kamera, die der GenICam-Norm entspricht.
Die GenICam-Norm ist eine Norm, welche die Verbindungsschnittstelle zwischen der PC-Anwendung und der Kamera 31 standardisiert bzw. normt. Wie in 7 gezeigt, steuert die GenICam-Norm die Kamera 31 von einer Bildinspektionsanwendung 40 heraus, die hauptsächlich auf einem PC ausgebaut ist, bei dem es sich um eine Haupteinheit der Einstellungsvorrichtung 4 handelt, und standardisiert eine Schnittstelle zum Erlangen eines von der Kamera 31 aufgenommen Bildes mithilfe der Bildinspektionsanwendung 40 der Einstellungsvorrichtung 4. Wenn sowohl die Bildgebungsvorrichtung 3 als auch die Bildinspektionsanwendung 40 der Einstellungsvorrichtung 4 der GenICam-Norm entsprechen, können die Kamera 31 und die Bildinspektionsanwendung 40 der Einstellungsvorrichtung 4 verbunden werden. Die Bildinspektionsanwendung 40 wird durch Software verwirklicht, die auf dem PC installiert ist. Obgleich in dieser Ausführungsform beschrieben wurde, dass die Kamera 31 und die Einstellungsvorrichtung 4 der GenICam-Norm als Standardisierungsnorm entsprechen, ist die Standardisierungsnorm nicht auf die GenICam-Norm beschränkt, und es können andere Standardisierungsnormen verwendet werden.
Wird angenommen, dass die Bildinspektionsanwendung 40 in eine hierarchische Struktur zerlegt ist, ist eine GenICam-Schicht 41 eine Position einer Zwischenschicht, die zwischen einer höheren Hierarchie (Inspektionseinheit 4A), die eigentlich eine Bildinspektion oder eine Fehlerinspektion in der Bildinspektionsanwendung 40 durchführt, und einer Hierarchie 42 positioniert ist, die eine Steuerung auf Grundlage eines spezifischen Netzwerkkommunikationsstandards durchführt. Die GenICam-Schicht 41 kann grob in zwei Teile, GenApi 41a und GenTL (TL; Transportschicht) 41b klassifiziert werden. Die GenApi 41a ist ein Teil, das Einstellungselemente der Kamera 31 und interne Verzeichnisadressen bzw. Registeradressen der Kamera 31 konvertiert. Aufgrund der Verwendung dieser GenApi 41a, wenn das Einstellelement zugewiesen ist und mit der Kamera 31 verbunden ist, beispielsweise unter Verwendung eines Texts wie etwa „Belichtungszeit“ für eine Belichtungszeit oder „AnalogGain“ für eine Analogverstärkung in einem abstrakten Konzept, wie etwa einem Argument, ohne die konkrete Adresse der Kamera 31 von der Bildinspektionsanwendung 40 zu bezeichnen, kann eine Verzeichnisadresse, die einem Text (genannt Merkmal) entspricht, berechnet werden, indem eine Datei namens Device XML bzw. Vorrichtungs-XML (Einzelheiten werden unten beschrieben) analysiert wird, die von der Kamera 31 erlangt wurde.
Die GenTL 41b definiert eine Schnittstelle (API), die den Transfer von Daten zwischen der Bildinspektionsanwendung 40 und der Kamera 31 steuert. Konkret definiert die GenTL 41b die Spezifikationen einer Schreib/Lese-API für das Verzeichnis bzw. das Register der Kamera 31 und die Spezifikationen einer API, welche Bilddaten, die von der Kamera 31 übertragen werden, an die höhere Schicht der Bildinspektionsvorrichtung 40 liefert.
Ein physischer Standard, der die Bildinspektionsvorrichtung 40 und die Kamera 31 miteinander verbindet, kann ein Standard sein, der ein Hochgeschwindigkeitsnetzwerk nutzt, beispielsweise GigE Vision-Standard 3A, bei dem ein Ethernetkabel 31a zum Einsatz kommt, und USB3 Vision-Standard 3B, bei dem ein USB 3.0 - kompatibles Kabel 31b zum Einsatz kommt. Daher sind die Bildgebungsvorrichtung 3 und die Einstellungsvorrichtung 4 über Netzwerk verbunden, dieses Netzwerk kann jedoch mithilfe eines Hochgeschwindigkeitsnetzwerkkabels verbunden oder kabellos sein. Das Netzwerk kann ein Netzwerk sein, das ein anderes Kabel als das Ethernetkabel 31a oder das USB 3.0 - kompatible Kabel 31b verwendet, und ist nicht konkret beschränkt.
Die GenICam-Norm, die als physischer Kommunikationsstandard genutzt wird, ist nicht konkret beschränkt, und definiert eine Spezifikation, die in der Form des GenTL 41 abstrahiert ist. Als niedrigere Hierarchie 42 des GenTL 41b wird der Kommunikationsstandard definiert, indem das konkrete Kommunikationsnetzwerk, wie etwa der GigE Vision-Standard 3A oder der USB3 Vision-Standard verwendet wird. Der konkrete Kommunikationsstandard ist nicht auf den GigE Vision-Standard 3A oder den USB3-Vision-Standard 3B beschränkt, sondern kann der GenICam-Norm entsprechen. Obgleich in 7 beschrieben wurde, dass die Kameras 31 und 31, die den Normen entsprechen, mit der Einstellungsvorrichtung 4 verbunden sind, um das Konzept des GigE-Vision-Standards 3A und des USB3-Vision-Standards 3B zu beschreiben, kann eine Kamera 31 mit der Einstellungsvorrichtung 4 verbunden sein.
Die GenICam-Norm-kompatible Kamera 31 speichert eine Datei (Vorrichtungs-XML-Datei) 31c, die Vorrichtungs-XML genannt wird. Die Vorrichtungs-XML-Datei 31c wird in einer Speichervorrichtung (interner Speicher) gespeichert, der in der Kamera 31 eingebaut ist. Bei der Bildinspektionsanwendung 40, die der GenICam-Norm entspricht, wird dann, wenn die Einstellungsvorrichtung durch die Bildinspektionsvorrichtung 40 mit der Kamera 31, bei der es sich um ein Einstellungsziel handelt, verbunden ist, die Vorrichtungs-XML-Datei 31c aus der Kamera 31 ausgelesen. Beispielsweise wird ein Verfahren zum Herunterladen der Vorrichtungs-XML-Datei 31c aus der Kamera 31 verwendet, um die Vorrichtungs-XML-Datei 31 auszulesen. Die heruntergeladene Vorrichtungs-XML-Datei 31c wird in dem GenApi 41a vorgehalten. Die Vorrichtungs-XML-Datei 31c kann gemäß einer Aufforderung von der Bildinspektionsvorrichtung 40 heruntergeladen werden, oder automatisch heruntergeladen werden, wenn die Einstellungsvorrichtung 31 mit der Kamera 31 verbunden ist. Die Einstellungsvorrichtung 4 kann die Vorrichtungs-XML-Datei 31c erlangen, indem die Vorrichtungs-XML-Datei 31c heruntergeladen wird. Die Vorrichtungs-XML-Datei 31c, die der Kamera 31 entspricht, kann durch eine andere Einrichtung erlangt werden (beispielsweise von einer Website heruntergeladen werden), ohne aus der verbundenen Kamera 31 heruntergeladen zu werden, und kann für den GenApi41a bestimmt sein, wenn die Einstellungsvorrichtung mit der Kamera verbunden wird.
Bei der Vorrichtungs-XML-Datei 31c werden alle Einstellungselemente 31 in Zusammenhang mit Verzeichnisadressen (Verzeichnisinformationen bzw. Registerinformationen) beschrieben, in denen Einstellwerte der Einstellungselemente gespeichert sind. Das Einstellungselement wird Merkmal bzw. „Feature“ genannt, und ein Text zum Spezifizieren jedes Merkmals wird jedem Merkmal zugewiesen. Eine Referenz bzw. ein Verweis zu einem Knoten, in dem eine konkrete Verzeichnisadresse beschrieben wird, wird in einem Knoten von jedem Merkmal beschrieben. Die Verzeichnisinformationen beinhalten die Verzeichnisadresse und den Text, der das Verzeichnis konkretisiert.
Beispielsweise gibt es ein Merkmal, das „Belichtungszeit“ genannt wird (Belichtungszeiteinstellung) in der Vorrichtungs-XML-Datei 31c. Ein Attribut dieses Merkmals wird angewiesen, auf eine Verzeichnisadresse „ExposureTimeReg“ zurückzugreifen, und es wird ein bestimmter Wert als konkrete Adresse vorgegeben. Sind die Kameras 31 unterschiedlich, haben die Adressen unterschiedliche Werte, der Name des Merkmals „ExposureTime“ wird jedoch gemeinsam genutzt. Auf diese Weise ist es möglich, die Kamera 31 einzustellen und zu steuern, ohne einen Unterschied zwischen Modellen der Kameras 31 oder einen Unterschied zwischen Herstellern der Kameras in der Bildinspektionsanwendung 40 zu berücksichtigen, indem die Einstellungselemente, die vielen Kameras 31 gemeinsam sind, mit einem einheitlichen Namen verwaltet werden.
Wie oben beschrieben wird in der Hierarchie des GenApi 41a der Text des Merkmals, der als Argument von der Bildinspektionsanwendung 40 geliefert wird, bei der es sich um die höhere Hierarchie handelt, in die Adresse des Verzeichnisses konvertiert, indem der Beschreibungsinhalt der Vorrichtungs-XML-Datei 31c analysiert wird. Dann, wenn beispielsweise ein bestimmter Wert (Wert: 100,5) in das Verzeichnis geschrieben wird, das dem Merkmal „ExposureTime“ entspricht, kann der Wert des Verzeichnisses der Kamera 31 durch den physischen Kommunikationsstandard, z.B. GigE-Vision-Standard 3A oder USB3-Vision-Standard 3B, eingestellt werden, indem eine Funktion ausgeführt wird, die zwei Werte, den Adresswert und den zu schreibenden Wert, als Argument verwendet, z.B. WriteRegister (Adresswert, 100,5).
Obgleich die Vorrichtungs-XML-Datei 31c ein Merkmal definiert, welches als Merkmal enthalten ist, dass zu mehreren Herstellern passt, ist es auch möglich, ein verkäuferspezifisches bzw. herstellerspezifisches Merkmal zu definieren. Im Falle der Kamera 31, die eine einzigartige Funktion hat, kann die Kamera eine spezielle Funktion haben, die in einer Mehrzweckkamera nicht vorhanden ist, indem durch das dedizierte Merkmal auf die Kamera 31 zugegriffen wird.
(Interne Verarbeitungseinheit der Bildgebungsvorrichtung 3)
8 ist ein Ablaufdiagramm, das entwurfsmäßig ein Beispiel einer internen Verarbeitung einer Bildgebungsvorrichtung 3 darstellt. Obgleich in diesem Ablaufdiagramm beschrieben wird, das eine Gruppe von Positionskorrekturen 1 eine Mustersucheinheit und eine in der Gruppe beinhaltete Positionskorrektureinheit aufweist, werden Gruppen der Positionskorrekturen 2 bis 5 nicht beschrieben. Dies ist der Fall, weil die Gruppen der Positionskorrekturen 2 bis 5 zum Zwecke der vereinfachten Beschreibung eingefaltet bzw. gefaltet sind.
Wie in diesem Ablaufdiagramm veranschaulicht, wird die Gruppe von einer Kombination einer Vielzahl von Einheiten gebildet. Die Einheit ist eine Einheit zum Steuern von Bildgebung und Bildverarbeitung, und die Bildgebungsvorrichtung 3 kann einen gewünschten Betrieb verwirklichen, indem die Einheiten auf den Ablaufdiagrammen kombiniert werden. In dem in 8 gezeigten Ablaufdiagramm wird die Einheit als ein Schritt beschrieben.
Wenn beispielsweise eine Funktion zum Durchführen einer bestimmten Verarbeitung durch die Einstellung des Nutzers ermöglicht wird, kann die Verarbeitung ausgeführt werden, indem die Einheit entsprechend der Funktion hinzuergänzt wird. Die Einheit kann als Zusammenstellung eines Programms definiert werden, das die Verarbeitung durchführt, ein Parameter, der zum Ausführen der Verarbeitung benötigt wird, und ein Speicherbereich, der Daten des Verarbeitungsergebnisses speichert. Jede Verarbeitung kann von der Bildgebungssteuerungseinheit 33 durchgeführt werden, die in 1 gezeigt ist, und der Speicherbereich kann in der Speichervorrichtung der Bildgebungssteuerungseinheit 33 gesichert werden. Das Konzept der Einheit selbst ist nicht essentiell, wenn die externen Spezifikationen der Kamera 31, die der GenICam-Norm entspricht, verwirklicht werden.
Das in 8 dargestellte Ablaufdiagramm wird erhalten, indem die Vielzahl von Einheiten in einer Vertikalrichtung und einer Horizontalrichtung in Form eines Ablaufdiagramms angeordnet werden, und kann einfach als Ablauf bezeichnet werden. Dieses Ablaufdiagramm kann ein Ablaufdiagramm sein, bei dem die Vielzahl von Einheiten nur in der Vertikalrichtung angeordnet sind. Die Verarbeitung wird nacheinander vom Beginn bis zum Ende des in 8 gezeigten Ablaufdiagramms ausgeführt, es ist jedoch auch möglich, dieses Ablaufdiagramm zu verzweigen, indem ein Abzweigeschritt SB 1 in der Mitte erstellt wird. Wenn das Ablaufdiagramm verzweigt wird, kann bis zum Ende ein Verbindungsschritt SB2 erstellt werden, und somit kann die Verarbeitung ab dem Verbindungschritt bis zum Ende voranschreiten.
(Parametermenge)
Wenn die Bildinspektionsanwendung 40 in einer tatsächlichen Inspektionsumgebung betrieben wird, und das Werkstück W gewechselt wird oder eine Änderung in der Umgebung, wie etwa Helligkeit detektiert wird, können Einstellparameter der Bildgebungsvorrichtung 3 dynamisch geändert werden. Wenn nur ein sehr begrenzter Parameter, wie etwa die Belichtungszeit geändert wird, ist es möglich, mit einem solchen einer Änderung zu begegnen, indem der Wert des entsprechenden Merkmals direkt aus dem entsprechenden Merkmal aus der Bildinspektionsanwendung 40 zu schreiben.
Wenn hierbei eine hochfunktionale Bildgebungsvorrichtung 3 verwendet wird, nimmt die Anzahl einstellbarer Elemente zu, und die Anzahl von Parametern, die gleichzeitig geändert werden soll, nimmt ebenfalls zu, wenn das Werkstück W gewechselt wird. In diesem Fall wird eine Zeit, die zur Einstellungsänderung benötigt wird, proportional zur Anzahl von Parametern länger. Bei einer tatsächlichen Bildinspektionslinie wird das Werkstück W gewechselt, und es wird in vielen Fällen nur eine kurze Zeit benötigt, bis ein neues Werkstück W ein Bildgebungssichtfeld der Bildgebungsvorrichtung 3 erreicht, bis das Werkstück außerhalb des Sichtfelds ist. Somit liegt ein Fall vor, bei dem eine Reihe von Einstellungsänderungen mit hoher Geschwindigkeit durchgeführt wird. In einem solchen Fall kann eine Funktion verwendet werden, die Parametermenge genannt wird.
In der Parametermenge werden Kombinationen verschiedener Parameter zum Zeitpunkt des Durchführens der Bildgebung in der Bildgebungsvorrichtung 3 mit einer Vielzahl von Mustern vorgehalten, und jedes Muster kann durch eine Parametermengennummer verwaltet werden. Beispielsweise werden in einem Fall, bei dem es drei Arten von Werkstücken W gibt und der Nutzer die Bildgebung und die nachfolgende Bearbeitung mithilfe unterschiedlicher Parameter durchführen möchte, drei Parametermengen vorbereitet.
Wenn die Parametermengen verwendet werden, kann die Reihe von Einstellungsänderungen in kurzer Zeit geändert werden, indem lediglich die Parametermenge, die der Art des Werkstücks W entspricht, das aufgenommen werden soll, als nächstes aufgenommen werden, bevor das Werkstück W aufgenommen wird. Von der Bildinspektionsvorrichtung 40 aus gesehen kann das Merkmal, das die Parametermengennummer bezeichnet, als eine Art Selektor betrachtet werden, der unten beschrieben wird.
Ein Selektor, der ein Ziel wechselt, das von der Seite der Bildinspektionsanwendung 40 eingestellt werden soll, und ein Verzeichnis bzw. Register, das den Parameter wechselt, auf den intern während des Betriebs von der Bildgebungsvorrichtung 3 zurückgegriffen bzw. verwiesen wird, können unabhängig bereitgestellt sein, oder können gleich sein. Eine Obergrenze der Anzahl von Parametermengen, die eingestellt werden können, ist auf einen Parameterhaltespeicherplatz eines internen Speichers beschränkt, der mit der Bildgebungsvorrichtung 3 versehen ist.
Das Konzept der Parametermenge kann ebenfalls in der Bildgebungsvorrichtung 3 entwickelt werden, die eine Filterverarbeitungsposition hat. Beispielsweise wird angenommen, dass der Parameter, der dem Parametermengenindex entspricht, derart eingestellt wird, dass wenn ein Parametermengenindex 1 ist, ein Binarisierungsfilter ausgeführt wird, und wenn eine Parametermengenindex 3 ist, der Filter nicht ausgeführt wird. Indem so verfahren wird, ist es möglich, zwischen der Bildgebung und dem als Filterverarbeitung auszuführenden Inhalt dynamisch umzuschalten bzw. zu wechseln, indem der Parametermengenindex verwendet wird.
Die GenICam-Norm unterstützt eine Funktion zum dynamischen Umschalten der Bildgebungsparameter. Die Bildgebungsvorrichtung 3 kann mithilfe der Merkmale gemäß der GenICam-Norm auf alle Einstellparameter zugreifen. Als Bildgebungsfunktion gibt es eine Vielzahl von Beleuchtungs- und Bildsteuerungsmodi, wie etwa eine Funktion zum Kombinieren von Bildern, die in einer Vielzahl von Mustern aufgenommen wurden, indem die Beleuchtungsvorrichtung 2 und die Bildgebungsvorrichtung 3 miteinander auf einen dedizierten Algorithmus synchronisiert werden (Erzeugung eines Inspektionsbilds mithilfe des oben beschriebenen Prinzips der Deflektometrie) und eine Funktion zur multispektralen Bildgebung zum Erlangen einer Vielzahl von Bilden durch Aufbringen von Licht mit unterschiedlichen Wellenlängen. Diese Modi können für jede oben beschriebene Parametermenge eingestellt werden, und es ist möglich, eine Bildverarbeitung, Filterverarbeitung, Kombinationsverarbeitung und Bildausgabe auszuführen, und dabei gemäß Bedingungen dynamisch zwischen den Modi umzuschalten. Die von der Bildgebungsfunktion erzeugten Bilder können das Bild selbst sein, das vom Bildsensor erlangt wird, während zwischen dem Anschalten von Mustern der Beleuchtung umgeschaltet wird, oder kann eine Vielzahl von Bildern umfassen, die gemäß dem oben dedizierten Algorithmus kombiniert wurden.
Die Filterverarbeitung kann eine Vielzahl von Mustern innerhalb derselben Parametermenge einstellen. Beispielsweise werden bei der vorgenannten Bildgebungsfunktion die Bilder in der Vielzahl von Mustern erzeugt, indem eine Reihe von Bildgebung ausgeführt wird, und es ist möglich, die Filterverarbeitung einzeln an der Vielzahl erzeugter, unterschiedlicher Bilder durchzuführen. Bei einem anderen Muster ist es möglich, die Filterverarbeitung nur innerhalb jedes Bereichs durchzuführen, indem eine konkrete Bereichsweite (Bereich von Interesse, ROI) eingestellt wird. Die konkrete Bereichsweite kann beispielsweise dadurch eingestellt werden, indem die Tastatur 6 oder die Maus 7 bedient werden. Der konkrete Bereich kann einzeln oder mehrzahlig sein. Eine Größe des konkreten Bereichs kann beliebig festgelegt werden.
Die Filterverarbeitung kann ein Mehrstufenfilter sein, der wiederholt eine Vielzahl von Arten in mehreren Stufen für dasselbe Bild einstellen kann. Beispielsweise kann an dem Bild eine Binarisierungsfilter-Verarbeitung durchgeführt werden, nachdem an einem bestimmten Bild eine Dilatationsfilterverarbeitung durchgeführt wurde. Die Filterverarbeitung ist nicht auf den Mehrstufenfilter beschränkt und kann eine Einzelfilterverarbeitung sein.
Die Vielzahl von Parametermengen kann in einem wie in 8 dargestellten Ablaufdiagramm mithilfe der Funktion des dynamischen Umschaltens zwischen den Bildgebungsparametern der GenICam-Norm veranschaulicht werden. An einem internen Verarbeitungsablaufdiagramm der Bildgebungsvorrichtung 3 kann eine Einheitsgruppe, die ein Ablaufdiagramm ab dem Abzweigeschritt SB 1 zum Verbindungsschritt SB2 bildet, in ihrer Gesamtheit als Parametermenge bezeichnet werden. Bei dem in 8 veranschaulichten Beispiel gibt es vier Parametermengen, also erste bis vierte Parametermengen. Das bedeutet, dass es Kombinationen von Werten von einer Vielzahl von Selektoren zum Verwirklichen der von dem Nutzer eingestellten Verarbeitung in einer Vielzahl von Mustern gibt. Der Nutzer kann festlegen, welche der ersten bis vierten Parametermengen ausgewählt wird, beispielsweise wählt er automatisch die erste Parametermenge aus, wenn eine Parametermengennummer 1 gewählt wird.
Nach dem Beginn des in 8 dargestellten Ablaufdiagramms kann die Verarbeitung jede Einheit durchlaufen, die bei dem Abzweigungsschritt SB1 eine ersten bis vierten Parametermengen darstellt, kann im Anschluss in den Verbindungsschritt SB2 einfließen, und kann bis zum Ende voranschreiten. Wird die Parametermenge 1 ausgewählt, wird eine Abzweignummer im Abzweigschritt SB1 zu 1, und jede Verarbeitung der ersten Parametermenge wird ausgeführt. Wenn eine Parametermengennummer 2 ausgewählt wird, wird die Abzweignummer im Abzweigschritt SB1 zu 2, und es wird jede Verarbeitung der zweiten Parametermenge 2 ausgeführt. Wenn eine Parametermengennummer 3 ausgewählt wird, wird die Abzweignummer im Abzweigschritt SB 1 zu 3, und es wird jede Verarbeitung der dritten Parametermenge ausgeführt. Wenn eine Parametermengennummer 4 ausgewählt, wird die Abzweignummer im Abzweigschritt SB 1 zu 4, und es wird jede Verarbeitung der vierten Parametermenge ausgeführt. Die Anzahl von Parametermengen ist nicht auf vier beschränkt und kann beliebig festgelegt werden.
Konkrete Beispiele der Parametermenge sind in 9 und 10 gezeigt. 9 ist eine Parametermenge, wenn das Inspektionsbild mithilfe des Prinzips der Deflektometrie erzeugt wird. In einer Einheit UA1 wird eine Vielzahl von Teilen von Bildverarbeitung mithilfe eines einzelnen Auslösesignals durchgeführt, so dass das Inspektionsbild mithilfe des Prinzips der Deflektometrie erzeugt wird. Die Dilatationsfilterverarbeitung wird in einer Einheit UA2 ausgeführt, eine Filtermittlungsverarbeitung wird in einer Einheit UA3 ausgeführt und eine Dichteumkehrverarbeitung wird in einer Einheit UA4 ausgeführt. Das bedeutet, die mehrstufige Verarbeitung, die von den Parametermengen einschließlich der Filterverarbeitung definiert wird, wird nacheinander an dem aufgenommenen Bild ausgeführt, das in der Einheit UA1 aufgenommen wurde. Danach werden in einer Einheit UA5 die Bilddaten, an denen nacheinander die mehrstufige Verarbeitung durchgeführt wird, an den PC übertragen, d.h. an die Einstellungsvorrichtung 4 oder dergleichen als externe Vorrichtung ausgegeben. Die Bilddaten können im Inneren vorgehalten werden, ohne übertragen zu werden. Es ist möglich, das Einstellen derart durchzuführen, dass die mehrstufige Verarbeitung bei manchen Parametermengen nicht durchgeführt wird. Dann, wenn die Bilddaten an die Einstellungsvorrichtung 4 übertragen werden, kann die Inspektionseinheit 4A der Bildinspektionsanwendung 40, die in 7 gezeigt ist, die Fehlerinspektion und die Qualitätsinspektion durchführen. Ein aus der verwandten Technik bekannter Algorithmus kann als Algorithmen der Fehlerinspektion und Qualitätsbestimmung verwendet werden.
Hierbei veranschaulicht 10 die Parametermenge, wenn das Inspektionsbild von der multispektralen Bildgebung erzeugt wird. In einer Einheit UB1 wird eine Vielzahl von Teilen von Bildverarbeitung mithilfe eines einzelnen Auslösesignals durchgeführt, so dass das Inspektionsbild durch die multispektrale Bildgebung erzeugt wird. Für einen bestimmten Bereich wird in einer Einheit UB2 eine Binarisationsfilterungsverarbeitung ausgeführt (Bereich 0), und in einer Einheit UB3 wird die Dilatationsfilterungsverarbeitung für einen Bereich (Bereich 1) ausgeführt, der sich von dem Bereich 0 unterscheidet. Das bedeutet, dass in diesem Beispiel die mehrstufige Verarbeitung, die von der Parametermenge einschließlich der Filterungsverarbeitung definiert wird, ebenfalls nacheinander an dem aufgenommenen Bild ausgeführt wird, das in der Einheit UB1 aufgenommen wurde. Danach wird die Verarbeitung nicht in einer Einheit UB4 ausgeführt. In einer Einheit UB5 werden die Bilddaten an den PC übertragen, wie in dem in 9 veranschaulichten Fall. Wie bei diesem Beispiel kann innerhalb der Parametermenge eine Einheit vorhanden sein, bei der die Verarbeitung nicht durchgeführt wird, also kann innerhalb der Parametermenge eine deaktivierte Einheit vorhanden sein, und eine Parametermenge enthält eine Mischung aus aktivierter Einheit und deaktivierter Einheit.
Daher kann, da die Bildgebungsvorrichtung 3 die mehrstufige Verarbeitung nacheinander an dem aufgenommenen Bild durchführen kann, wie durch die Einstellungsvorrichtung 4 vorgegeben, der Nutzer einen Ablauf bzw. eine Prozedur mit Reihenfolge frei einstellen, und die Bildgebungsvorrichtung 3 kann eine komplizierte Bildverarbeitung durchführen. Es ist ebenfalls möglich, eine Einstellung zu reflektieren, die keine Reihenfolge hat, wie etwa die Belichtungszeit.
(Art der Einheit)
Es gibt eine Vielzahl von Arten von Einheiten. Beispielsweise gibt es eine hochfunktionelle Einheit, die erhalten wird, indem ein Muster, wie etwa eine Mustersucheinheit, die eine Mustersuche durchführt, um einen Inspektionsbereich festzulegen, eine Positionskorrektureinheit, eine Bildberechnungseinheit, die Positionskorrektur, Farbextraktion oder Filterverarbeitung an dem Bild durchführt, und eine Einheit, die eine verhältnismäßig einfache Verarbeitung durchführt, kombiniert werden. Die Einheiten sind Einheiten zum Ausführen der Verarbeitung, die an dem aufgenommenen Bild durchgeführt werden soll, bevor das von der Bildgebungsvorrichtung 3 aufgenommene Bild nach außen ausgegeben wird. Wie in den 9 und 10 gezeigt können die Einheiten derart angeordnet sein, die mehrstufige Verarbeitung an dem aufgenommenen Bild durchzuführen.
Die Mustersucheinheit ist eine Einheit, die nach dem Werkstück W und ein Inspektionszielabschnitt des Werkstücks W aus dem Bild einschließlich dem Werkstück W, das von der Bildgebungsvorrichtung 3 aufgenommen wurde, sucht, und in dem aufgenommenen Bild die Positionskorrektur des Werkstücks W durchführt. Wenn beispielsweise das Bildinspektionssystem 1 eingestellt wird, wird mittels eines weithin bekannten Kantendetektionsverfahrens an dem durch Aufnehmen eins Bild des Werkstücks W erhaltenen Bildes eine Kantendetektion durchgeführt, und somit kann ein von der detektierten Kante spezifizierter Bereich als Modell (Suchmodellbild) des Werkstücks W oder des Inspektionszielabschnitts des Werkstücks W in der Speichervorrichtung der Bildgebungsvorrichtung 3 gespeichert werden. Die Kantendetektionsverarbeitung selbst kann mithilfe eines aus der verwandten Technik bekannten Verfahrens durchgeführt werden. Beispielsweise wird ein Pixelwert von jedem Pixel auf dem Leuchtdichtebild erlangt, und wenn es einen Bereich gibt, in dem eine Änderung des Pixelwerts auf dem Leuchtdichtebild größer gleich einem Schwellenwert zur Kantendetektion ist, wird ein Begrenzungsabschnitt desselben als Kante extrahiert. Der Schwellenwert zur Kantenextraktion kann beliebig furch den Nutzer festgelegt werden.
Nachdem das Bildinspektionssystem 1 eingestellt wurde, während des Betriebs des Bildinspektionssystems 1, wird das Inspektionsbild durch Aufnehmen eines Bildes des danach transportierten Werkstücks W erlangt, und die Mustersucheinheit ermittelt durch die Suchverarbeitung an dem gespeicherten Modell, ob das Werkstück W, oder ob der Inspektionszielabschnitt des Werkstücks W an dem erhaltenen Inspektionsbild vorhanden ist oder nicht, und misst eine Position und einen Winkel des Werkstücks W durch die Suchverarbeitung.
Die Position des Werkstücks W kann durch eine X-Koordinate und eine Y-Koordinate vorgegeben werden. Der Winkel des Werkstücks W kann ein Winkel um eine optische Achse des Bildgebungsvorrichtung W oder ein Winkel um eine in 1 gezeigte Z-Achse sein.
Die Positionskorrektureinheit ist eine Einheit, die die Positionskorrektur des Werkstücks W in dem Bild durchführt, nachdem die Mustersucheinheit nach dem Werkstück W sucht und der Inspektionszielabschnitt des Werkstücks W aus dem Bild, das das Werkstück W beinhaltet, das von der Bildgebungsvorrichtung 3 aufgenommen wurde, sucht, und die Position und den Winkel des Werkstücks W misst. Während dem Betrieb des Bildinspektionssystems 1 können die Vielzahl von Werkstücken W nicht an derselben Position und in der selben Lage transportiert werden, und die Werkstücke W, die an verschiedenen Positionen vorhanden sind, und die Werkstücke W, die in verschiedenen Lagen vorhanden sind, können transportiert werden. Da die Mustersucheinheit nach einer Referenzposition des Werkstücks W suchen kann, und die Positionskorrektureinheit im Anschluss die Positionskorrektur durchführen kann, wird die Positionskorrektur durchgeführt, indem das Bild gedreht wird oder indem das Bild in der Vertikalrichtung oder der Horizontalrichtung derart bewegt wird, dass der Referenzabschnitt des Werkstücks W durchgehend an einer festen Position ist und das Werkstück W in einer vorgegebenen Lage eingestellt wird. Beispielsweise können eine Vielzahl von Arten von Werkzeugen, wie etwa eine Mustersuche als Positionskorrekturwerkzeug vorbereitet werden, um die Positionskorrektur durchzuführen.
Es gibt eine Vielzahl von Typen von Bildberechnungseinheiten. Beispielsweise gibt es eine Einheit, die die Filterverarbeitung durchführt, eine Einheit, die die Kombinationsverarbeitung zum Kombinieren der Vielzahl von der Bildgebungsvorrichtung 3 aufgenommenen Bildern durchführt, eine Einheit, die eine Deflektometrieverarbeitung durchführt, eine Einheit, die mithilfe eines photometrischen Stereoverfahrens das Inspektionsbild erzeugt, und eine Einheit, die eine multispektrale Bildgebung durchführt. Da es eine Vielzahl von Arten von Filterverarbeitung gibt, kann eine Vielzahl von Arten von Einheiten vorgesehen sein, die die Filterverarbeitung wie etwa den Binarisierungsfilter und den Dilationsfilter durchführt. Wie oben beschrieben, kann eine Einheit für jede Verarbeitung vorgesehen sein, das die Erzeugung des Inspektionsbild durch die Deflektometrieverarbeitung von der Vielzahl von Teilen von Verarbeitung durchgeführt wird, und es kann ein Einheit vorgesehen sein, die das Spiegelreflexionskomponentenbild erzeugt, eine Einheit, die das diffuse Reflexionskomponentenbild erzeugt, und eine Einheit, die das Referenzphasendifferenzbild erzeugt.
(Vorverarbeitungsmodul)
11 veranschaulicht ein Beispiel eines Vorverarbeitungsmoduls. Das Vorverarbeitungsmodul kann eine Kombination einer Gruppe sein, die von der Mustersucheinheit und der Positionskorrektureinheit und der Bildberechnungseinheit gebildet wird, dies ist jedoch ein Beispiel. Das Vorverarbeitungsmodul kann ein Vorverarbeitungsmodul sein, das nur von einer Gruppe gebildet wird oder kann ein Vorverarbeitungsmodul sein, in dem weitere, beliebige Einheiten kombiniert werden. Die Vorverarbeitungsmodule werden mit Zahlen bezeichnet, und können unterschieden werden von „Vorverarbeitungsmodul 0“ und „Vorverarbeitungsmodul 1“.
Eine Vielzahl von Vorverarbeitungsmodulen kann hinzugefügt oder nacheinander eingestellt werden, um die Erweiterbarkeit der Funktion zu verbessern, und die Vorverarbeitungsmodul werden durch Kennzahlen, wie etwa „Vorverarbeitungsmodul 0 (PreprocessingModule0)“ und „Vorverarbeitungsmodul 1 (PreprocessingModulel)“ bezeichnet.
(Selektor)
Die Vielzahl von Vorverarbeitungsmodulen kann einer beliebigen Menge von Parametermengen in dem in 8 gezeigten Ablaufdiagramm hinzugefügt werden. Beispielsweise kann ein beliebiges Vorverarbeitungsmodul um den Einstellungsparameter, um die Mustersuchverarbeitung auszuführen, und den Einstellungsparameter, um die Filterverarbeitung durchzuführen, ergänzt werden.
Wenn jedoch in jedem Vorverarbeitungsmodul ein einzelnes Einstellungsverzeichnis bereitgestellt wird, kommt es zu Redundanz, da dasselbe Verzeichnis (Merkmal) wiederholt auftaucht. Bei dieser Ausführungsform kann ein Editierungsziel (Einstellziel) dynamisch mithilfe des Selektors umgeschaltet werden. Die Einstellungsparameter, die von dem Selektor umgeschaltet werden können, umfassen beispielsweise eine Parametermenge (Abzweiganzahl), eine Vorverarbeitungsmodulanzahl und die Anzahl von Stufen der Filter (welche Filterstufe eingestellt ist) in einem Fall, bei dem der mehrstufige Filter verwendet wird. Das bedeutet, dass ein Merkmal, das die Parametermengennummer bezeichnet, ein Merkmal, das die Vorverarbeitungsmodulnummer bezeichnet, und ein Merkmal, das die Anzahl von Stufen der Filter bezeichnet, Selektorarten sind. Der Wert dieses Selektors ist in der Vorrichtungs-XML-Datei enthalten, zusammen mit Verzeichnisinformationen, die einen Ort angeben, wo der Wert des Selektors gespeichert ist. Das bedeutet, dass in der Vorrichtungs-XML-Datei, bevor das von der Bildgebungsvorrichtung 3 aufgenommene Bild nach außen ausgegeben wird, die Vielzahl von Selektoren, die mit den gleichen Einstellungselementen zum Einstellen der mehrstufigen Verarbeitung, die auf das aufgenommene Bild angewendet werden soll, und die Verzeichnisinformationen, die den Ort angeben, wo der Wert von jedem Selektor gespeichert ist, enthalten sind.
(Mehrstufiger Selektor)
Wie in 8 gezeigt verzweigt sich das Ablaufdiagramm durch die Parametermenge in der horizontalen Richtung, und beispielsweise kann die Vielzahl von Vorverarbeitungsmodulen innerhalb jeder Parametermenge hinzuaddiert werden. Mehrere Stufen von Vorverarbeitung (Filterverarbeitung) können in einem Vorverarbeitungsmodul eingestellt sein. Eine Beziehung zwischen Merkmalen, mit denen Einstellungsparameter einer Einstellungsbenutzeroberfläche 50 in Beziehung stehen, und eine Editierzieleinheit, die Einheiten von Parametern vorhält, die tatsächlich von dem Merkmal zu editieren sind, wird durch diese Selektoren in mehreren Stufen spezifiziert. Bei dieser Ausführungsform können die Funktionen der Selektoren breit in drei unterteilt werden, Zuweisung der Parametermenge, Zuweisung der Filterverarbeitung, und Zuweisung des mehrstufigen Filters. Diese Funktionen haben jedoch eine Beziehung, bei der die Zuweisung der Parametermenge bei einer höchsten Schicht positioniert ist, die Zuweisung der Filterverarbeitung unter der Parametermenge positioniert ist, und die Zuweisung des mehrstufigen Filters unter der Zuweisung der Filterverarbeitung positioniert ist, und die Beziehung ist nicht hierauf beschränkt. Der Selektor zum Zuweisen der Filterverarbeitung gibt das Innere einer anderen Parametermenge (Ablaufdiagramm) an, wenn die Parametermenge gewechselt wird. Ferner wird das Einstellen der tatsächlichen Filtermenge innerhalb der Filterverarbeitung durch die Zuweisung des mehrstufigen Filters spezifiziert. Auf diese Weise kann eine Einheit spezifiziert werden, der Filter zugeordnet werden, indem Werte der Vielzahl von Selektoren kombiniert werden. Wenn der Selektor, der die Parametermenge bezeichnet, gewechselt wird, wird zumindest das Einstellziel des Parameters gewechselt, aber das Wechseln eines Ausführungsziels ist von der Implementierung abhängig.
Beispielsweise kann in einem in 12 gezeigten Ablaufdiagramm, wenn eine Einheit UX, die von einer Doppellinie umgeben ist, angegeben wird, die Einheit UX dadurch angegeben werden, dass zwei Werte eines Wertes festgelegt werden, die angeben, dass der Selektor der höchsten Parametermenge die Parametermenge 3 ist, und ein Wert, der angibt, dass der Selektorindex des Vorverarbeitungsmoduls 1 ist. Die Einheiten, die in der Lage sind, durch den Selektorwert festgelegt zu werden, sind beispielsweise die Mustersucheinheit, die Positionskorrektureinheit und die Bildberechnungseinheit (einschließlich der Filterverarbeitungseinheit). Die Parameter, die durch eine Zieleinheit UX vorgehalten werden, können erhalten werden, indem das Merkmal, das zu einer beliebigen Einheit der Mustersucheinheit, der Positionskorrektureinheit und der Bildberechnungseinheit gehört, von der Seite der Bildinspektionsanwendung 40 basierend auf dem Namen des Merkmals, auf das zugegriffen werden soll, angegeben wird.
(Konfiguration der Einstellungsvorrichtung 4)
Die Einstellungsvorrichtung ist eine Vorrichtung, die Daten, die den Einstellungswert von jedem Einstellelement angeben, der vom Nutzer eingestellt wird, und die Verzeichnisinformationen, die jedem Einstellelement entsprechen, das in der Vorrichtungs-XML-Datei 31c enthalten ist, an die Bildgebungsvorrichtung 3 sendet und die Bildgebungsvorrichtung 3 einstellt.
Wie in 7 gezeigt, beinhaltet die Einstellungsvorrichtung 4 eine UI-Erzeugungseinheit 4a. The UI-Erzeugungseinheit 4a ist ein Teil, das verschiedene Benutzeroberflächen erzeugt, und ist eingerichtet, beispielsweise die Einstellungsbenutzeroberfläche 50 zu erzeugen, die in 13 dargestellt ist. Die verschiedenen Benutzeroberflächen, die von der UI-Erzeugungseinheit 4a erzeugt werden, werden auf der Anzeigeeinheit 5 angezeigt.
Die Einstellungsbenutzeroberfläche 50 beinhaltet einen ersten Bereich 50a zum Umschalten zwischen den Editierzielen, einen zweiten Bereich 50b zum Anzeigen und Verändern der Einstellelemente, und einen Bildgebungsanzeigebereich 50c zum Anzeigen der Bilder als Editierziele. Ein Bildumschaltbedienbereich 51 zum Umschalten zwischen den Bildern als Editierziele ist in dem ersten Bereich 50a vorgesehen. Bei dem Bildumschaltbedienbereich 51 werden Identifizierungsinformationen bzw. Erkennungsinformationen des von der Bildgebungsvorrichtung 3 aufgenommenen Bildes in einem Listenformat angezeigt. Die Identifizierungsinformation des Bildes kann beispielsweise einen Namen des Bildes und eine dem Bild zugewiesene Zahl beinhalten. Bei diesem Beispiel werden die Namen der vier Bilder angezeigt, um in der Vertikalrichtung angeordnet zu werden, die Anzahl und Anaordnungsrichtung der Bilder, die angezeigt werden sollen, kann jedoch beliebig festgelegt werden. Der Nutzer kann einen beliebigen Namen aus den Namen der beim Bildumschaltbedienbereich 51 angezeigten Bilder durch Bedienen der Tastatur 6 und der Maus 7 auswählen. Wenn der Name ausgewählt ist, zeigt die UI-Erzeugungseinheit 4a das Bild entsprechend dem ausgewählten Namen in dem Bildanzeigebereich 50c an. Das in dem Bildanzeigebereich 50c angezeigte Bild kann verändert bzw. gewechselt werden.
Ein Positionskorrektureinstellbereich 52 zum Durchführen einer Positionskorrektureinstellung als Einstellelement und ein Filtereinstellbereich 53 zum Durchführen von Filterverarbeitungseinstellung als Einstellelement sind in dem zweiten Bereich 50b vorgesehen. In dem Positionskorrektureinstellbereich 52 werden ein Abschnitt zum Auswählen, ob die Positionskorrektur aktiviert wird oder nicht, und ein Abschnitt zum Auswählen der Klassifizierung des Positionskorrekturwerkzeugs als Merkmale entsprechend der Positionskorrektureinstellung angezeigt. Da das Auswählen der Klassifizierung des Positionskorrekturwerkzeugs eingangs eingestellt werden kann, nachdem die Positionskorrektur aktiviert wurde, sind die Auswahl, ob die Positionskorrektur aktiviert wird oder nicht, und die Auswahl des Positionskorrekturwerkzeugs in einer Abhängigkeitsbeziehung.
In dem Filtereinstellbereich 53 werden die Art des ausgewählten Filterns und ein Abschnitt zum Auswählen und Anpassen des Parameters, der mit der Einstellung der Filter, wie etwa einer Extraktionsgröße und einer Extraktionsfarbe in Beziehung stehen, zugewiesen und als Merkmale entsprechend der Filterverarbeitungseinstellung angezeigt. Mehrere Arten von Filterverarbeitung können an einem Bild durchgeführt werden, das im Bildumschaltbedienbereich 51 ausgewählt wurde, und in diesem Fall ist eine Vielzahl von Filtereinstellbereichen 53 vorgesehen, und Merkmale, die jeder Filterverarbeitungseinstellung entsprechen, werden zugewiesen und bereitgestellt.
Ein Einstellvorgang, der vom Nutzer durchgeführt wird, wird beschrieben. Wenn der Nutzer einen beliebigen der Namen, der in dem Bildumschaltbedienbereich 51 angezeigten Bilder auswählt, wird das Bild mit dem ausgewählten Namen in dem Bildanzeigebereich 50c angezeigt. Die Anzeige des zweiten Bereichs 50b wird automatisch für die Parameter umgeschaltet, die editierbar sind, und zum Erzeugen des ausgewählten Bildes eingestellt. Intern wird beispielsweise dann, wenn ein bestimmtes Vorverarbeitungsbild in dem Bildumschaltbedienbereich 51 ausgewählt wird, der Wert des Selektors, der das Einstellziel bestimmt, auf den Wert der Kennzahl umgeschaltet, die dem zur Erzeugung des Bildes eingestellten Vorverarbeitungsmodul entspricht. Im Ergebnis wird der Einstellinhalt, der in dem zweiten Bereich 50b angezeigt wird, gemäß dem Bild umgeschaltet. Wenn der Wert des Selektors, der das Einstellziel bestimmt, bestimmt wird, werden einer oder eine Vielzahl von Merkmalen des Vorverarbeitungsmoduls, auf die der Selektor hindeutet, ausgelesen, und ein Bild, das das Einstellelement reflektiert, wird erzeugt, und das erzeugte Bild wird in dem Bildanzeigebereich 50c angezeigt. Die Werte, die für die Parameter eingestellt wurden, werden in dem Positionskorrektureinstellbereich 52 und dem Filtereinstellbereich 53 angezeigt. Wenn der Nutzer den in dem Positionskorrektureinstellbereich 52 oder dem Filtereinstellbereich 53 angezeigten Bedienabschnitt bedient, wird die Bedienung angenommen, und das Einstellelement der Einheit, die dem Vorverarbeitungsmodul entspricht, das dem Wert des Selektors entspricht, der das Einstellziel bestimmt, wird geändert.
Das nachfolgende Verfahren kann als Verfahren zum Vorgeben der Einheit, auf die zugegriffen werden soll, aus dem Wert des Selektors verwendet werden. Das bedeutet, das Vorverarbeitungsmodul wird von einer Vielzahl von Einheiten gebildet. Ein Selektor, der diesen Einheiten gemeinsam ist, kann als der Selektor verwendet werden, der zwischen den Kennzahlen des Vorverarbeitungsmoduls, und der Vielzahl von Einheiten wechselt, und die Vielzahl von Einheiten, die das Vorverarbeitungsmodul bilden, kann derart benannt werden, dass die Einheit, zu der das Merkmal gehört, durch den Namen des Merkmals festgelegt werden kann. Dementsprechend kann die Einheit, auf die zugegriffen werden soll, aus der Kombination des Wertes des Selektors und dem Merkmal, das als Editierziel ausgewählt wird, vorgegeben werden.
14 ist eine schematische Darstellung, die einen Fall veranschaulicht, bei dem der zweite Bereich 50b der Einstellungsbenutzeroberfläche 50 umgeschaltet wird, indem die Parametermengenzahl ausgewählt wird, und die Anzeige der Benutzeroberfläche kann wie in diesem Diagramm dargestellt umgeschaltet werden. Beispielsweise wird eine Parametermengenzahlauswahleinheit 54, wie auf einer linken Seite der 14 gezeigt, auf der Benutzeroberfläche 50 bereitgestellt. Wie auf einer rechten Seite der 14 gezeigt sind in Beziehung mit den Parametermengenzahlen eine Benutzeroberfläche zum Einstellen einer ersten Parametermenge 50A, eine Benutzeroberfläche zum Einstellen einer zweiten Parametermenge 50B, eine Benutzeroberfläche zum Einstellen einer dritten Parametermenge 50C und eine Benutzeroberfläche zum Einstellen einer vierten Parametermenge 50D vorhanden. Wenn die Parametermengenzahl durch die Parametermengenzahlauswahleinheit 54 umgeschaltet wird, rekonstruiert die UI-Erzeugungseinheit 4a die Einstellungsbenutzeroberfläche 50 gemäß der Parametermengenzahl. Das bedeutet, wenn der Nutzer die Parametermengenzahl 3 auswählt, wird die Benutzeroberfläche 50C zum Einstellen der Parametermengenzahl 3 erzeugt und auf der Anzeigeeinheit 5 angezeigt.
15 ist ein Schaubild zum entwurfsmäßigen Beschreiben eines internen Mechanismus, der zwischen den Parametermengen umschaltet, indem die Parametermengenzahl ausgewählt wird. Die Bildgebungsvorrichtung 3 beinhaltet eine Parametermengenumschalteinheit 30d, die das Umschalten zwischen den Parametermengen ausführt. Eine Parametermengenzahl (Parametermengenindex), der von dem Nutzer ausgewählt wird, wird der Parametermengenumschalteinheit 30d eingegeben. Die Parametermengenumschalteinheit 30d wählt die Parametermenge entsprechend der eingegebenen Parametermengenzahl aus und wendet die ausgewählte Parametermenge auf einen Bildsensor 3c an.
Daher kann die Einstellungsvorrichtung 4 die Einstellungsbenutzeroberfläche 50 auf der Anzeigeeinheit 5 anzeigen, und kann verschiedene Einstellungen vom Nutzer auf der Einstellungsbenutzeroberfläche 50 entgegennehmen. Wenn der Nutzer das Einstellen durchführt, um die mehrstufige Verarbeitung an dem von der Bildgebungsvorrichtung 3 aufgenommenen Bild durchzuführen, gibt die Einstellungsvorrichtung 4 die Kombination der Werte der Vielzahl von Selektoren vor, um die mehrstufige Verarbeitung zu verwirklichen, die von dem Nutzer eingestellt wurde, als mehrstufiger Selektor vorzugeben, und kann die Werte der Vielzahl von Selektoren und die Verzeichnisinformationen, die die Orte angeben, wo die Vielzahl von Selektoren gespeichert sind, an die Bildgebungsvorrichtung 3 übertragen. Die Bildgebungsvorrichtung 3 empfängt die Werte der Vielzahl von Selektoren, die von der Einstellungsvorrichtung 4 gesendet wurden, und die Verzeichnisinformationen, die die Orte angeben, wo die Vielzahl von Selektoren gespeichert sind, speichert die Werte der Vielzahl von Selektoren an den Orten, die von den entsprechenden Verzeichnisinformationen angegeben werden, und führt aufeinanderfolgend die mehrstufige Verarbeitung aus, die durch die Kombination der Werte der Selektoren vorgegeben wird.
Wenn der Nutzer den Einstellwert für das Einstellelement der Bildgebungsvorrichtung 3 ändert, kann deswegen, da die Bildgebungsvorrichtung 3 durch Senden der Daten, die den Einstellwert für jedes Einstellelement angeben, das von dem Nutzer eingestellt wird, und die Verzeichnisinformationen, die jedem in dem Vorrichtungs-XML-Datei beinhalteten Einstellelement entsprechen, an die Bildgebungsvorrichtung 3, der Einstellwert von der Seite der Einstellungsvorrichtung 4 gesendet werden, wenn die Bildgebungsvorrichtung 3 mit der Standardisierungsnorm konform ist, und der Freiheitsgrad der Auswahl des Modells der Bildgebungsvorrichtung 3 wird verbessert.
Da ein Teil der aufeinanderfolgend ausgeführten, mehrstufigen Verarbeitung einzigartig durch die Kombination der Werte der Selektoren vorgegeben werden kann, führt die Bildgebungsvorrichtung 3, die mit der Standardisierungsnorm konform ist, beispielsweise eine mehrstufige Verarbeitung wie etwa die Erzeugung des Inspektionsbilds mithilfe des Prinzips des photometrischen Stereos oder der Deflektometrie, der multispektralen Bildgebung und der Filterverarbeitung des erzeugten Inspektionsbilds durch.
(Virtuelles Ablaufdiagramm und virtuelle Einheit)
Anders als bei dem in 8 dargestellten Ablaufdiagramm gibt es in einer tatsächlichen Betriebsumgebung in vielen Fällen keine Regularien dahingehend, dass das Einstellziel einfach durch Kombinieren der Selektoren mit den Einheiten, die in Horizontalrichtung oder in Vertikalrichtung erscheinen, zugewiesen werden kann. In diesem Zustand ist es immer dann, wenn die Einheitskonfiguration an dem Ablaufdiagramm geändert wird, schwierig, die Bildgebungsvorrichtung zu nutzen, da die Vorrichtungs-XML-Datei innerhalb der Kamera 3 regeneriert wird oder die Seite der PC- Software die Vorrichtungs-XML-Datei wiedererlangen muss.
Wenn das Ablaufdiagramm durch so wenige Merkmalsausdrücke wie möglich mithilfe einer festen Vorrichtungs-XML-Datei gestützt wird, ist gewünscht, dass dieses Ablaufdiagramm ein Muster besitzt, dass in einem gewissen Ausmaß in der Vertikalrichtung festgelegt ist und eine durch das Konzept der Parametermenge in gewissem Maße in der Horizontalrichtung kopierte Form ist. Beispielsweise wird dann, wenn das Ablaufdiagramm in der Vertikalrichtung erweitert werden kann, wenn also die Anzahl einstellbarer Filterverarbeitung zunimmt, das gesamte Ablaufdiagramm durch die Anzahl einstellbarer Filterverarbeitung in Vertikalrichtung erweitert. Wenn die Anzahl einstellbarer Parametermengen zunimmt, wird das Ablaufdiagramm in Horizontalrichtung erweitert. In der tatsächlichen Betriebsumgebung ist es jedoch schwierig anzunehmen, dass die Filterverarbeitung bis zu einer einstellbaren Obergrenze für alle Parametermengen genutzt wird, und insbesondere dann, wenn es sich bei der einstellbaren Obergrenze um einen hohen Wert handelt, ist zu erwarten, dass die meisten der Einheiten auf eine „nicht-Ausführung“ eingestellt werden, wie es in beispielsweise in der in 10 dargestellten Einheit UB4 gezeigt ist.
Da die Kombinationen der Werte der Vielzahl von Selektoren zur Verwirklichung der durch den Nutzer eingestellten Verarbeitung in der Vielzahl von Mustern vorhanden sind, kann die Einstellungsvorrichtung 4 die Kombination der Werte der Selektoren in der Vielzahl von Mustern an die Bildgebungsvorrichtung 3 übertragen. Die Bildgebungsvorrichtung 3 ist eingerichtet, die Kombination der Werte der Selektoren in der Vielzahl der aus der Einstellungsvorrichtung 4 übertragenen Muster zu empfangen, die durch die Kombination der Werte der Selektoren in einem beliebigen, von dem Nutzer aus den Kombinationen der Werte der Selektoren in der Vielzahl von Mustern ausgewählten Muster vorzugeben, und die Einstellparameter zum Ausführen der vorgegebenen Verarbeitung in dem internen Speicher der Bildgebungsvorrichtung 3 dynamisch zu entwickeln.
Innerhalb der Bildinspektionsanwendung 40 wird eine Einheit, auf die zugegriffen werden kann, gemäß der Kombination der Selektoren und der Art des Merkmals festgelegt, und die Einheit, der tatsächlich ein interner Speicherbereich zugewiesen ist, wird automatisch dem Merkmal zugeordnet. Dementsprechend kann ein Zugriff des Nutzers erfolgen, ohne dass er sich der Form des virtuellen Ablaufdiagramms, das tatsächlich innerhalb der Bildinspektionsanwendung erzeugt wurde, und der Anordnung der virtuellen Einheiten bewusst ist.
(Positionskorrektur und Filterverarbeitung)
Unter den Teilen von Filterverarbeitung gibt es einen Filter, der eine Wirkung zeigt, die stark von der Direktionalität des Bildes abhängt. Konkret gibt es einen richtungsspezifischen Filter und einen Differenzfilter, die einen Teil extrahieren, bei dem eine Änderung des Leuchtdichtewerts zwischen benachbarten Pixeln in einer vorgegebenen Richtung des Bildes größer gleich einem vorgegebenen Schwellenwert ist. Der richtungsspezifische Filter ist ein Filter, der in der Lage ist, die vorgegebene Richtung aus X-Richtung und Y-Richtung auszuwählen.
Wie in 16 gezeigt, wenn das aufgenommene Bild des Werkstücks W ein Bild ist, bei dem fehlerhafte schwarze und weiße Abschnitte an einem gestreiften Hintergrund in Y-Richtung reflektiert wurden und Fehlerextraktionsfilterverarbeitung in X-Richtung und Y-Richtung gleich an dem aufgenommenen Bild durchgeführt wird, da ein Fehlerextraktionsfilter ein Filter ist, der einen Teil extrahiert, bei dem die Änderung zwischen benachbarten Pixeln groß ist, wird die Änderung in X-Richtung ebenfalls inspiziert und der fehlerhafte Abschnitt ist, durch den gestreiften Hintergrund, nicht zu erkennen. Wenn die Filterverarbeitung hierbei derart ausgeführt wird, nur die Änderung in der X-Richtung zu erfassen, verschwindet das Streifenmuster des Hintergrunds, und es kann nur der fehlerhafte Abschnitt extrahiert werden. Im Ergebnis kann das Vorhandensein des fehlerhaften Abschnitts leicht verstanden werden.
Auf diese Weise kann der Fehler des Werkstücks W inspiziert werden. Das Fehlerinspektionsverfahren ist nicht auf das vorgenannte Verfahren beschränkt, und es können andere Fehlerinspektionsverfahren verwendet werden. Das Fehlerinspektionsverfahren kann von der Bildgebungsvorrichtung 3 durchgeführt werden, oder kann von der Einstellungsvorrichtung 4 durchgeführt werden. Wenn die Fehlerinspektion von der Bildgebungsvorrichtung 3 durchgeführt wird, kann das Inspektionsergebnis von der Bildgebungsvorrichtung 3 an die Einstellungsvorrichtung 4 ausgegeben und auf der Anzeigeeinheit 5 angezeigt werden. Wenn die Fehlerinspektion von der Einstellungsvorrichtung 4 durchgeführt wird, kann das von der Bildgebungsvorrichtung 3 erzeugte Inspektionsbild an die Einstellungsvorrichtung 4 ausgegeben werden, und die Fehlerinspektion kann von der Einstellungsvorrichtung 4 durchgeführt werden. Ferner kann das von der Bildgebungsvorrichtung 3 aufgenommene Bild an die Einstellungsvorrichtung 4 ausgegeben werden, und die Einstellungsvorrichtung 4 kann das Inspektionsbild erzeugen und die Fehlerinspektion durchführen.
Der Filter, der einen Effekt zeigt, der stark von der Direktionalität des Bildes abhängt kann ein geeignetes Verarbeitungsergebnis erzielen, wenn der Winkel des aufzunehmenden Werkstücks W geändert wird. Somit misst die Bildgebungsvorrichtung 3, bevor die Filterverarbeitung ausgeführt wird, die Position und den Winkel des Werkstücks W durch die Mustersucheinheit, und die Bildgebungsvorrichtung 3 führt die Positionskorrektur durch die Positionskorrektureinheit durch. Dementsprechend ist es möglich, das Bild, auf dem das Werkstück W in eine bestimmte Richtung weist, zu korrigieren. Dabei handelt es sich um die Positionskorrekturfunktion. Die Vielzahl von Arten von Werkzeugen, die als Sucheinheiten verwendet werden sollen, können derart eingestellt werden, dass Werkzeuge ausgewählt werden können, die sich zum Detektieren des Werkstücks W eignen. Die Suche durch die Sucheinheit ist eine Suche zum Durchführen der Positionskorrektur des Werkstücks W an dem aufgenommenen Bild, und dieses Einstellelement ist in der Vorrichtungs-XML-Datei beinhaltet.
Nachdem die Positionskorrektur durch die Positionskorrekturfunktion durchgeführt wird, wird die Filterverarbeitung, die den Effekt zeigt, der stark von der Direktionalität des Bildes abhängt, ausgeführt, und somit wird der Einfluss des Winkels um die optische Achse zum Zeitpunkt der Aufnahme eines Bildes des Werkstücks W beseitigt. Dementsprechend kann ein geeignetes Verarbeitungsergebnis erzielt werden. Wie in 17 gezeigt, wenn das Suchmodellbild spezifiziert und in der Bildgebungsvorrichtung 3 zum Zeitpunkt des Einstellens des Bildinspektionssystems 1 gespeichert wird, wird ein Bild des Werkstücks W in einem Zustand aufgenommen, bei dem das Werkstück W um die optische Achse der Bildgebungsvorrichtung 3 zum Zeitpunkt des Betreibens des Bildinspektionssystems 1 gedreht wird, so dass das Werkstück W, basierend auf dem Suchmodellbild, der konkreten Richtung zugewandt ist. Dementsprechend wird ein Bereich, in dem das Werkstück W reflektiert wird, derart gedreht, dass das Werkstück W der konkreten Richtung zugewandt ist. Die Richtungs-spezifische Filterverarbeitung wird an dem Bild durchgeführt, nachdem die Positionskorrekturverarbeitung durchgeführt wird.
18 veranschaulicht eine Filter-Einstellungsbenutzeroberfläche 55. Die Filter-Einstellungsbenutzeroberfläche 55 wird von der UI-Erzeugungseinheit 4a der in 7 gezeigten Einstellungsvorrichtung erzeugt, und wird auf der in 1 und dergleichen dargestellten Anzeigeeinheit 5 angezeigt. Die Filter-Einstellungsbenutzeroberfläche 55 beinhaltet eine Bildauswahleinheit 55a zum Auswählen eines Bildes, an dem die Filterverarbeitung durchgeführt werden soll, eine Farbextraktionseinstellungseinheit 55b zum Durchführen einer Extraktionseinstellung einer Farbe, eine Filtereinstellungseinheit 55c zum Durchführen einer Filtereinstellung, eine Bereichseinstellungseinheit 55d, die verwendet wird, wenn ein vorgegebener Bereich des Bilds geschnitten wird und ein gefiltertes Bild erzeugt wird, und eine Positionskorrektureinstelleinheit 55e zum Durchführen der Positionskorrektureinstellung (Sucheinstellung).
19 ist ein Schaubild, das Bilder an dem die Filterverarbeitung ausgeführt werden soll, in Listenform anzeigt, und die Bilder, an denen die Filterverarbeitung ausgeführt werden kann, unterscheiden sich abhängig von der Klassifizierung oder dem Verfahren zur Erzeugung des Inspektionsbilds. Die Bildauswahleinheit 55a, die in 18 gezeigt ist, kann ein beliebiges aus der Vielzahl von Bildern, die in 19 gezeigt sind, auswählen. Die in 19 gezeigten Bilder sind Beispiele, und die vorliegende Erfindung ist nicht auf diese Bilder beschränkt.
20 veranschaulicht eine detaillierte Benutzeroberfläche 56 zur konkreten Durchführung der Filtereinstellung, und die detaillierte Benutzeroberfläche 56 wird von der UI-Erzeugungsvorrichtung 4a der in 7 dargestellten Einstellungsvorrichtung 4 erzeugt, und wird auf der in 1 dargestellten Anzeigeeinheit 5 angezeigt. Wird beispielsweise ein „Hinzufügen“-Feld der in 18 gezeigten Filtereinstellungseinheit gedrückt, kann die in 20 gezeigte, detaillierte Benutzeroberfläche angezeigt werden. Die detaillierte Benutzeroberfläche 56 beinhaltet eine Auswahleinheit 56a, die die auszuführende Filterklassifizierung anzeigt, und eine Parameteränderungseinheit 56b, die verschiedenen Parameter des durch die Auswahleinheit 56a ausgewählten Filters ändert.
21 ist ein Diagramm, das die Klassifizierung des Filters und die Richtungsabhängigkeit jedes Filters anzeigt. In der in 18 angezeigten Auswahleinheit 56a kann ein beliebiger oder eine Vielzahl von Filtern aus der Vielzahl von in 21 gezeigten Filtern ausgewählt werden. Beispiele des Filters mit Richtungsabhängigkeit umfassen einen Dilatationsfilter (X/Y-Richtung), einen Erosionsfilter (X/Y-Richtung), einen Kantenextraktionsfilter, einen Echtzeitdilatationskorrekturfilter (X/Y-Richtung) und einen Unschärfeverarbeitungsfilter (X/Y-Richtung) und einen Linienfehlerextraktionsfilter (Winkel). Diese Filterverarbeitungen sind Filtereinstellungen, die die Wirkung der Richtungsabhängigkeit von jedem Filter durch Korrigieren des Bildes vorab mithilfe des Ergebnisses der Positionskorrektur zeigen, und sind Einstellelemente, die in der Vorrichtungs-XML-Datei enthalten sind.
22 veranschaulicht ein Ablaufdiagramm zum Ausführen des Richtungs-spezifischen Filters, nachdem die Positionskorrektur durchgeführt wurde. Die Bildgebung wird in Schritt SC1 nach dem Start durchgeführt. Danach wird in Schritt SC2 die Mustersuche an dem in Schritt SC1 aufgenommenen Bild durchgeführt, und dann wird in Schritt SC3 die Positionskorrektur derart durchgeführt, dass das Werkstück W der konkreten Richtung zugewandt ist. In Schritt SC4 wird die Bildberechnung durchgeführt. Die Richtungs-spezifische Filterverarbeitung wird als Teil der Verarbeitung durchgeführt. Danach schreitet die Verarbeitung zu Schritt SC5 voran, und das erzeugte Bild wird an die Einstellungsvorrichtung 4 ausgegeben.
23 veranschaulicht ein Ablaufdiagramm zum Ausführen des Richtungs-spezifischen Filters, nachdem die Positionskorrektur durchgeführt wurde, wenn eine Vielzahl von Bereichen (Bereich 1 und Bereich 2) in einem Bild in der Bereichseinstellungseinheit 55d der Filter-Einstellungsbenutzeroberfläche 55, die in 18 gezeigt ist, eingestellt wurden. Wird die Bildgebung beispielsweise in Schritt SD1 nach dem Start durchgeführt, wird die Positionskorrektur für den Bereich 1 durchgeführt, nachdem in Schritt SD2 die Mustersuche durchgeführt wurde, und die Positionskorrektur wird für den Bereich 2 durchgeführt, nachdem in Schritt SD3 die Mustersuche durchgeführt wurde. Danach wird das erzeugte Bild ausgegeben, nachdem für den Bereich 1 in Schritt SD4 die Bildberechnung durchgeführt wurde, und das erzeugte Bild wird ausgegeben, nachdem in Schritt SD5 die Bildberechnung für den Bereich 2 durchgeführt wurde.
Das bedeutet, die Einstellungsvorrichtung 4 ist eingerichtet, die Filter-Einstellungsbenutzeroberfläche 55 und die detaillierte Benutzeroberfläche 56 anzuzeigen und den Einstellungsinhalt zum Verwirklichen der Sucheinstellung und der Filtereinstellung, die durch den Nutzer eingestellt werden, und die Verzeichnisinformationen, die den Ort angeben, an dem der Einstellungsinhalt gespeichert ist, an die Bildgebungsvorrichtung 3 zu übertragen. Wenn der Einstellungsinhalt und die Verzeichnisinformationen, die von der Einstellungsvorrichtung 4 übertragen wurden, empfangen werden, ist die Bildgebungsvorrichtung 3 eingerichtet, den Einstellungseinhalt in dem Ort zu speichern, der von den entsprechenden Verzeichnisinformationen angegeben wird, die Positionskorrektur des Werkstücks W auf Grundlage der Sucheinstellung des aufgenommenen Bildes durchzuführen, und die Filterverarbeitung auf Grundlage des Ergebnisses der Positionskorrektur durch die Sucheinstellung durchzuführen. Dementsprechend kann in ausreichender Weise die Wirkung der Filterverarbeitung erhalten werden, abhängig von der Position zum Zeitpunkt der Aufnahme eines Bildes des Werkstücks W.
(Nachverfolgung eines sich bewegenden Objekts)
Wenn das Inspektionsbild auf Grundlage des Prinzips des photometrischen Stereos oder Multispektrums erzeugt wird, wird die Vielzahl von Teilen von Bildverarbeitung mithilfe des einzelnen Auslösesignals ausgeführt, und die Vielzahl erhaltener Bilder wird kombiniert. In diesem Fall, wenn sich das Werkstück W zwischen der Vielzahl von Teilen von Bildverarbeitung bewegt, ist es notwendig eine Verlagerungsmenge in jedem Bild zu detektieren, da die Kombinationsverarbeitung, die durchgeführt wird, nachdem die Bildgebung durchgeführt wird, nicht korrekt durchgeführt werden kann. Die Suche zum Detektieren der Verlagerungsmenge kann von der Sucheinheit durchgeführt werden, und die Kombinationsverarbeitung der Vielzahl von Bildern wird durchgeführt, nachdem die Verlagerungsmenge auf Grundlage der detektierten Verlagerungsmenge korrigiert wurde.
Die Kombinationsverarbeitung kann von der Bildberechnungseinheit durchgeführt werden. Eine Kombinationsverarbeitung zum Kombinieren der Vielzahl aufgenommener Bilder ist als Einstellelement in der Vorrichtungs-XML-Datei enthalten. Daher ist die Kombinationseinstellung zum Kombinieren der Vielzahl aufgenommener Bilder als Einstellelement bezogen auf die auf die aufgenommenen Bilder anzuwendende Verarbeitung in der Vorrichtungs-XML-Datei enthalten, bevor das von der Bildgebungsvorrichtung 3 aufgenommene Bild nach außen ausgegeben wird.
24 ist ein Ablaufdiagramm, wenn die Nachverfolgung des sich bewegenden Körpers durchgeführt wird. Bei einem Bildgebungsschritt des Schritts SE1 wird mehrere Male eine Bildverarbeitung durchgeführt, und es wird an jedem Bild die Mustersuche durchgeführt, mittels Ausführen eines eigenen bzw. privaten Ablaufdiagramms. Danach wird in Schritt SE2 unter Berücksichtigung der Verlagerungsmengen der Vielzahl von Bildern die Kombinationsverarbeitung durchgeführt. In Schritt SE3 wird das kombinierte Bild ausgegeben. Wie in dem auf der rechten Seite dargestellten Ablaufdiagramm angegeben kann nach Schritt Se1 in Schritt Se2 die Mustersuche durchgeführt werden, in Schritt Se3 kann die Bildgebung durchgeführt werden, und diese Verarbeitung kann eine vorgegebene Anzahl von Malen wiederholt werden.
Die Einstellungsvorrichtung 4 ist eingerichtet, die Benutzeroberfläche zum Durchführen der Kombinationseinstellung durch den Nutzer auf der Anzeigeeinheit 5 anzuzeigen und den Einstellungsinhalt zum Verwirklichen der Kombinationseinstellung, die durch den Nutzer eingestellt wurde, auf der Benutzeroberfläche anzuzeigen, und die Verzeichnisinformationen, die den Ort angeben, wo der Einstellungsinhalt gespeichert ist, an die Bildgebungsvorrichtung 3 zu übertragen. Die Bildgebungsvorrichtung 3 ist eingerichtet, den Einstellungsinhalt und die Verzeichnisinformationen, die von der Einstellungsvorrichtung 4 übertragen wurden, zu empfangen, den Einstellungsinhalt in dem durch die entsprechenden Verzeichnisinformationen angegebenen Ort zu speichern, und die Kombinationsverarbeitung zum Kombinieren der Vielzahl aufgenommener Bilder auszuführen.
(Ausgabe des Fixpunkts)
Ein Fixpunkt ist eine Textformatausgabe des Einstellungsinhalts der Bildgebungsvorrichtung 3 entsprechend der der GenICam-Norm. Die Einstellungselemente werden durch Kombinationen der Einstellungsnamen und Einstellungswerte dargestellt, und diese Einstellungselemente sind in Listenform aufgelistet bzw. aufgeführt. Bei der vorliegenden Ausführungsform bedient die Bildinspektionsanwendung 40 die Einstellungsvorrichtung 4 und die Einstellungsvorrichtung 4 und die Bildgebungsvorrichtung 3 werden gemäß der oben beschriebenen Standardisierungsnorm verbunden. Daher wird der eingestellte Inhalt aus der Bildgebungsvorrichtung 3 zur Seite der Einstellungsvorrichtung 4 ausgelesen, und der ausgelesene Inhalt wird in Textform aus der Einstellungsvorrichtung 4 ausgegeben und wird auf der Seite der Einstellungsvorrichtung 4 verwaltet und gespeichert. Es ist erforderlich, wenn nötig von der Seite der Einstellungsvorrichtung 4 hin zur Seite der Bildgebungsvorrichtung 3 zurückzuschreiben.
Wenn jedoch das Inspektionsbild auf Grundlage des Prinzips des photometrischen Stereos und der Deflektometrie erzeugt wird, oder wenn das Inspektionsbild durch die multispektrale Bildgebung erzeugt wird, nimmt die Anzahl der Elemente zu und es wird eine Ordnung bzw. Reihenfolge erforderlich. Daher können die Einstellelemente kompliziert werden. Bei der vorliegenden Ausführungsform ist eine Funktion zum einfachen Ausgeben einer Struktur der komplizierten Einstellelemente als Fixpunkt installiert. Dies ist eine Funktion, die durch eine in 7 dargestellte Fixpunkt-Ausgabeeinheit 4b verwirklicht wird.
Wenn der Fixpunkt ausgegeben wird, gibt es ein Verfahren, bei dem Verzeichniswerte einfach in aufsteigender Reihenfolge der Verzeichnisadressen geschrieben werden. Um den Einstellinhalt jedoch ordnungsgemäß wiederherzustellen, ist es notwendig, jedes Verzeichnis gemäß einer Einstellreihenfolge zwischen den Verzeichnissen einzustellen. Somit ist es bevorzugt, dass der Fixpunkt zuvor in einer korrekten Einstellreihenfolge geschrieben wird.
Die Einstellreihenfolge umfasst die nachfolgenden Punkte (1) und (2). (1) Wenn ein weiteres Verzeichnis eingestellt werden kann, indem bestimmte Verzeichnisse aktiviert werden
Beispielsweise handelt es sich bei einem Einstellelement einer Bildfrequenz um ein Beispiel des in der GenICam-Norm definierten Verzeichnisses. Wenn der Nutzer eine beliebige Bildfrequenz einstellen möchte, ist es erforderlich, das Verzeichnis dahingehend zu steuern, die einzustellende Bildfrequenz zu aktivieren. Kann die Bildfrequenz nicht eingestellt werden, arbeitet die Bildgebungsvorrichtung 3 bei einer intern festgelegten Bildfrequenz. Das bedeutet, das Verzeichnis des Einstellelements der Bildfrequenz kann eingestellt werden, indem das Verzeichnis aktiviert wird, welches die Bildfrequenz einstellen kann. Daher ist es erforderlich, zunächst die Einstellung des Verzeichnisses zu schreiben, die es ermöglicht, die Bildfrequenz einzustellen, und dann das Verzeichnis bzw. Register des Einstellelements der Bildfrequenz zu schreiben.
Wenn auf Grundlage des Prinzips der Deflektometrie das Formbild erzeugt wird, kann die Merkmalsgröße des Formbilds eingestellt werden, indem die Erzeugung des Formbilds aktiviert wird. Daher ist es erforderlich, zunächst die Verzeichniseinstellung zum Aktivieren der Erzeugung des Formbilds zu schreiben, und dann die Merkmalsgrößeneinstellverzeichnis des Formbilds zu schreiben.
(2) Wenn das Verzeichnis des Selektors überschrieben wird, wird eine Einheit, auf die durch ein weiteres Verzeichnis hingewiesen wird, gewechselt.
In der vorliegenden Ausführungsform wird ein Verzeichnis (Selektorverzeichnis), also ein Array-Index getrennt eingebracht, um den Verzeichnisverbrauch bzw. -Speicherplatz eines Parameters vom Array-Typ zu verringern. Dies liegt daran, dass dann, wenn es das Selektor-Verzeichnis gibt, nur ein Verzeichnis eines Parameterkörpers definiert werden muss. Beispielsweise wird die Beziehung (2) zwischen einem Anschluss-Selektor, der einen Anschluss auswählt, und einem Selektor, der einstellt, ob ein Signal des ausgewählten Anschlusses invertiert wird oder nicht, hergestellt bzw. begründet. Die Beziehung (2) wird zwischen einem Selektor einer Weißabgleichseinstellung, die einen beliebigen Wert von rot, grün und blau erhalten kann, und einem Weißabgleichseinstellwert der ausgewählten Farbe hergestellt. Daher ist es erforderlich, das Verzeichnis des Parameterkörpers einzustellen, nachdem das Selektorverzeichnis eingestellt wurde.
Das bedeutet, dass es eine Vielzahl von Einstellelementen gibt, die eine Abhängigkeitsbeziehung haben, bei der die Gültigkeit oder der Wert des anderen Einstellelements sich abhängig von der Einstellung eines Einstellelements ändert. Bei der vorliegenden Ausführungsform wird eine Erscheinungsreihenfolge der Verzeichnisse in der Vorrichtungs-XML-Datei vorab festgelegt, so dass es keine umgekehrte Abhängigkeitsbeziehung an der Einstellreihenfolge gibt, unter Berücksichtigung der in den obigen Punkten (1) und (2) dargestellten Reihenfolge. Es ist möglich, den Aufbau der komplexen Einstellelemente in Form des Fixpunkts in einer korrekten Einstellreihenfolge auszugeben, indem der Fixpunkt in die Reihenfolge geschrieben wird.
25 veranschaulicht ein Beispiel des Fixpunkts, in dem Verzeichnisse mit zwei Abhängigkeitsbeziehungen einer Abhängigkeitsbeziehung 1 und einer Abhängigkeitsbeziehung 2 beschrieben werden. Jedes Verzeichnis ist derart definiert, dass die Verzeichnisse in einer Gruppe zusammengefasst werden, die „Kategorie“ genannt wird. Es ist ebenfalls möglich, Kategorien in eine Gruppe gemäß einer höheren Kategorie zusammenzufassen. Eine Beziehung zwischen jeder Kategorie und jedem Verzeichnis hat eine wie in 25 dargestellte Baumstruktur. Da die Kategorien durch Klassifizieren der Vielzahl von Einstellelementen, die die Abhängigkeitsbeziehung haben, bei der sich die Gültigkeit oder der Wert des anderen Einstellelements abhängig von der Einstellung des anderen Einstellelements gemäß einem Relevanzgrad verändert, ist die Struktur leicht nachzuvollziehen. In einem Fixpunkt ist eine Vielzahl von Kategorien vorgesehen.
Die Klassifizierung der Verzeichnisse durch die Kategorien ist nützlich, wenn das Verzeichnis, das dem Inhalt entspricht, den der Nutzer einstellen möchte, aus einer Liste herausgesucht wird. Daher wird, wenn die Struktur der Kategorien ignoriert wird und die Erscheinungsreihenfolge der Verzeichnisse in der korrekten Reihenfolge nur vom Gesichtspunkt der Abhängigkeitsbeziehung ausgerichtet wird, die Struktur der Kategorien zerstört, und der Nutzerkomfort wird signifikant beeinträchtigt. Daher richtet die Fixpunktausgabeeinheit 4b die Verzeichnisse derart aus, dass die Erscheinungsreihenfolge korrekt ist, und dabei die Klassifizierungsstruktur durch die Kategorien beibehalten wird.
Konkret sind Zwillingsknoten von einem Ende des Baums in der korrekten Erscheinungsreihenfolge neu angeordnet. Danach werden die Zwillingknoten an einer ersten Hierarchie in dem Baum in der korrekten Erscheinungsreihenfolge neu angeordnet. Dies wird rekursiv hin zu einer Wurzel des Baums wiederholt. Zu diesem Zeitpunkt meint die Erscheinungsreihenfolge der Verzeichnisse, dass die Abhängigkeitsbeziehung zwischen den Verzeichnissen konstant in einer Richtung von vorne nach hinten liegt. Die Erscheinungsreihenfolge der Kategorien meint, dass die Kategorien derart angeordnet werden, dass zuerst eine Kategorie 2 auftaucht und dann eine Kategorie 2 auftaucht, wenn es eine Abhängigkeitsbeziehung von Verzeichnissen innerhalb der Kategorie 1 zu Verzeichnissen innerhalb einer Kategorie 2 gibt.
Wenn die Kategorien in jeder Hierarchie des Baums neu angeordnet werden, wird eine topologische Sortierung, bei der die Abhängigkeitsbeziehungen zwischen den Verzeichnissen und den Kategorien als gerichtete Seite bezeichnet wird, durchgeführt. Die topologische Sortierung selbst ist ein weithin bekanntes Verfahren, und die Knoten sind derart angeordnet, dass ein beliebiger Knoten von einem Knoten vor einer Ausgabeseite in der Reihenfolge der Knoten positioniert ist.
Als nächstes wird unter Bezugnahme auf die 26 und 27 ein konkretes Beispiel eines Neuanordnungsvorgangs beschrieben. Bei diesem Beispiel haben die Kategorien und die Einstellelemente eine hierarchische Abhängigkei tsbeziehung.
Vorgang 1: Reihenfolgen einer Kategorie 2-2 und eines Verzeichnisses 2-3 am untersten Ende werden ersetzt. Dementsprechend weist die Abhängigkeitsbeziehung 2 von einem Verzeichnis 3-0 zu dem Verzeichnis 2-3 korrekterweise von hinten nach vorne, wie in 26 dargestellt ist.
Vorgang 2: Reihenfolgen einer Kategorie 1-0 und eines Verzeichnisses 1-1 an der ersten Hierarchie werden ersetzt. Dementsprechend weist die Abhängigkeitsbeziehung 1 von einem Verzeichnis 2-1 zu dem Verzeichnis 3-0 korrekterweise von hinten nach vorne, wie in 27 dargestellt ist. Ist dort die höhere Hierarchie vorhanden, kann die Reihenfolge auf dieselbe Weise geändert werden.
28 ist eine Darstellung, die die Erscheinungsreihenfolgen der Verzeichnisse vor und nach der Durchführung der Neuanordnung und den Ausgabefixpunkt zeigt.
LtrxShlImageEnable ist ein Verzeichnis, das festlegt, ob das Formbild auf Grundlage des Prinzips des photometrischen Stereos erzeugt wird oder nicht. LineInverter ist ein Verzeichnis, das festlegt, ob ein Ausgangssignal des ausgewählten Anschlusses invertiert werden soll oder nicht. LineSelecter ist ein Verzeichnis, welches den Anschluss auswählt. LtrxSh1FeatureSize ist eine Merkmalsgrößeneinstellverzeichnis, welches das Verzeichnis des Formbilds auswählt. In der Erscheinungsreihenfolge der Verzeichnisse erscheint, bevor die Neuanordnung durchgeführt wird, LineInverter vor LineSelecter, und die Erscheinungsreihenfolge unterscheidet sich von der Einstellreihenfolge. Somit werden die Verzeichnisse derart neuangeordnet, dass die Reihenfolge der Verzeichnisse die Einstellreihenfolge ist, und dann wie in der Form des Fixpunkts ausgegeben werden. Wie als „Ausgabefixpunkt“ dargestellt, wird die Ausgabeverarbeitung um die Anzahl von Indices der Selektoren an dem Selektorort als Schleife durchlaufen.
Eine Verzeichnisdefinitionsreihenfolge wird automatisch durch die Fixpunktausgabeeinheit 4b der Einstellvorrichtung 4 neuangeordnet. 29 veranschaulicht eine Verzeichnisstruktur zum Einstellen eines Bildmodus des photometrischen Stereos. In dem Modus des photometrischen Stereos gibt es einen Modus, bei dem die Vielzahl von Bildern aufgenommen wird, während zwischen Einschaltrichtungen der Beleuchtung durch die Beleuchtungsvorrichtung 2 und dem Inspektionsbild, das die Kratzer und Unebenheiten auf der Oberfläche des Werkstücks W hervorhebt, umgeschaltet wird, indem die Vielzahl von Bilddaten kombiniert werden. Der Modus des photometrischen Stereos hat ferner eine Funktion zum Nachverfolgen des oben beschriebenen, sich bewegenden Körpers. Ist die Nachverfolgung des sich bewegenden Körpers aktiviert, können die Bilder korrekt kombiniert werden, selbst wenn sich das Werkstück W bewegt, indem zusätzlich ein Bild zur Berechnung der Bewegungsmenge des Werkstücks W aufgenommen wird. Beispielsweise kann es sich bei dem Bild zur Berechnung der Bewegungsmenge des Werkstücks W um ein Bild zu einem Zeitpinkt handeln, wenn die Bildgebung des ersten Bildes gestartet wird, und um ein Bild zu einem Zeitpunkt handeln, wenn das letzte Bild aufgenommen wurde.
Beim Modus des photometrischen Stereos ist es erforderlich, die Einstellreihenfolge zwischen den Verzeichnissen einzuhalten, wie bei einem Fall, bei dem es erforderlich ist, auszuwählen, ob das Bild an die Einstellungsvorrichtung 4 ausgegeben werden soll oder nicht, auf der Annahme, dass ein bestimmtes Bild zuerst aufgenommen wird. Das bedeutet, dass wie durch die Pfeile in 30 angegeben, eine Abhängigkeitsbeziehung vom Verzeichnis dahingehend besteht, ob das Bild an das Verzeichnis ausgegeben werden soll oder nicht, um das Bild von vorne nach Hinten aufzunehmen oder nicht. Bei diesem Beispiel ist eine anteroposteriore Beziehung zwischen den Verzeichnissen nicht in der Einstellreihenfolge (Eingabereihenfolge). Daher kommt es während der Eingabe zu einem Fehler und die Einstellung kann nicht abgeschlossen werden, wenn versucht wird, die Fixpunktausgabe in dieser Reihenfolge einzugeben.
In der vorliegenden Ausführungsform kann die Neuanordnung der Verzeichnisse automatisch mittels des vorgenannten Verfahrens durchgeführt werden. 31 veranschaulicht einen Zustand, bei dem die Vielzahl der in 30 dargestellten Verzeichnisse neu angeordnet wird. Da diese Definitionsreihenfolge die Reihenfolge (Einstellreihenfolge) ist, die vom Nutzer festgelegt werden soll, kommt es zum Zeitpunkt, bei dem die Einstellelemente dem Ausgabefixpunkt eingegeben werden, nicht zu einem Fehler.
Dementsprechend ist die Einstellungsvorrichtung 4 eingerichtet, den Fixpunkt auszugeben, bei dem die Einstellelemente gemäß der Einstellreihenfolge basierend auf der Abhängigkeitsbeziehung zwischen der Vielzahl von Kategorien beschreiben wird, die durch Klassifizieren der Vielzahl von Einstellelementen, die die Abhängigkeitsbeziehung haben, bei der die Gültigkeit oder der Wert des anderen Einstellelements abhängig von der Einstellung eines Einstellelements gemäß dem Relevanzgrad und zwischen den Einstellelementen geändert wird. Dementsprechend wird, da die Einstellelemente in dem Fixpunkt gemäß der Einstellreihenfolge basierend auf der Abhängigkeitsbeziehung zwischen der Vielzahl von Kategorien und zwischen den Einstellelementen beschrieben werden, der Fixpunkt vereinfacht, und eine versehentliche Wiederherstellung des Einstellinhalts wird erschwert.
(Vorteilhafte Wirkungen der Ausführungsform)
Gemäß dieser Ausführungsform ist es wie oben beschrieben deshalb, weil die Vielzahl aufgenommener Bilder von der Bildgebungsvorrichtung 3 der Standardisierungsnorm entsprechend kombiniert werden können, möglich, die Erzeugung des Inspektionsbilds beispielsweise mithilfe des Prinzips des photometrischen Stereos oder der Deflektometrie und der multispektralen Bildgebung durchzuführen.
Es ist möglich, sowohl eine Verbesserung eines Freiheitsgrads beim Auswählen des Modells der Bildgebungsvorrichtung 3 als auch eine Verbesserung der Genauigkeit der Bildinspektion zu erreichen, indem die Bildgebungsvorrichtung 3, die mit der Standardisierungsnorm konform ist, veranlasst wird, nacheinander die mehrstufige Verarbeitung durchzuführen.
Da der Einstellungsparameter zum Ausführen der vorgegebenen Verarbeitung dynamisch im internen Speicher der Bildgebungsvorrichtung 3 entwickelt wird, kann die Speichernutzung der Bildgebungsvorrichtung 3 unterbunden werden, während flexible Funktionserweiterungen für die Bildgebungsvorrichtung 3 verwirklicht werden, die mit der Standardisierungsnorm konform sind.
Da es möglich ist, die Filterverarbeitung auf Grundlage des Ergebnisses der Positionskorrektur durchzuführen, nachdem die Positionskorrektur des Werkstücks W in dem aufgenommenen Bild durchgeführt wurde, wird die Wirkung der Filterverarbeitung abhängig von der Position und Ausrichtung zum Zeitpunkt des Aufnehmens eines Bildes des Werkstücks W ausreichend erhalten.
Die Vielzahl von Kategorien kann gebildet werden, indem die Vielzahl von Einstellelementen mit der Abhängigkeitsbeziehung, und der Fixpunkt, bei dem die Einstellelemente gemäß der Einstellreihenfolge beschrieben werden, basierend auf der Abhängigkeitsbeziehung zwischen der Vielzahl von Kategorien und zwischen den Einstellelementen ausgegeben werden. Dementsprechend ist es möglich, den Fixpunkt, der zwischen der Bildgebungsvorrichtung 3 und der Einstellungsvorrichtung 4, die der Standardisierungsnorm entspricht, ausgetauscht werden soll, auf einfache Weise auszugeben. Es ist möglich, die Implementierung zu vereinfachen, und die Einstellinhalte können nicht versehentlich wiederhergestellt werden.
Die vorgenannte Ausführungsform ist in jeder Hinsicht lediglich ein Beispiel und sollte nicht als beschränkend verstanden werden. Alle Modifizierungen und Änderungen, die zum entsprechenden Schutzumfang der Ansprüche gehören, liegen innerhalb des Schutzumfangs der vorliegenden Erfindung.
Wie oben beschrieben kann die vorliegende Erfindung verwendet werden, wenn das Inspektionsobjekt, wie etwa das Werkstück, inspiziert wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015232486 [0069]

Claims

Bildinspektionssystem, das eine Bildgebungsvorrichtung für eine Bildinspektionsvorrichtung, die ein Bild eines Inspektionsobjekts aufnimmt, und eine Einstellungsvorrichtung aufweist, die über ein Netzwerk mit der Bildgebungsvorrichtung verbunden ist, von außen eine Datei erlangt, in der ein Einstellungselement der Bildgebungsvorrichtung und Verzeichnisinformationen beschrieben werden, die einen Ort angeben, an dem ein Einstellungswert von jedem Einstellelement gespeichert ist, Daten, die den Einstellungswert von jedem Einstellelement, der von einem Nutzer eingestellt wurde, und die Verzeichnisinformationen, die jedem in der Datei enthaltenen Einstellungselement entsprechen, an die Bildgebungsvorrichtung überträgt, und die Bildgebungsvorrichtung einstellt, wobei eine Vielzahl von Selektoren, die den Einstellelementen zum Einstellen einer mehrstufigen Verarbeitung zugeordnet sind, die auf ein aufgenommenes Bild angewendet werden soll, und Verzeichnisinformationen, die einen Ort angeben, an dem ein Wert von jedem Selektor gespeichert ist, in der Datei enthalten sind, bevor das aufgenommene Bild, das von der Bildgebungsvorrichtung aufgenommen wurde, nach außerhalb ausgegeben wird, die Einstellungsvorrichtung eingerichtet ist, eine Benutzeroberfläche anzuzeigen, eine Kombination der Werte der Vielzahl von Selektoren zum Verwirklichen der mehrstufigen Verarbeitung, die von dem Nutzer auf der Benutzeroberfläche eingestellt wird, vorzugeben, und die Werte der Vielzahl von Selektoren und die Verzeichnisinformationen, die den Ort angeben, an dem die Vielzahl von Selektoren gespeichert ist, an die Bildgebungsvorrichtung zu übertragen, und die Bildgebungsvorrichtung eingerichtet ist, die Werte der Vielzahl von Selektoren an dem Ort, der von der entsprechenden Verzeichnisinformation angegeben wird, zu speichern, und nacheinander die mehrstufige Verarbeitung auszuführen, die durch die Kombination der Werte der Selektoren wird.
Bildinspektionssystem nach Anspruch 1, wobei die Bildgebungsvorrichtung eingerichtet ist, ein Bild, an dem nacheinander die mehrstufige Verarbeitung durchgeführt wird, nach außen auszugeben.
Bildinspektionssystem nach Anspruch 1 oder 2, wobei die mehrstufige Verarbeitung durch eine Parametermenge einschließlich Filterverarbeitung für das aufgenommene Bild definiert wird, eine Vielzahl von sich voneinander unterscheidenden Parametermengen vorab vorbereitet wird, und ein beliebiger der Vielzahl von Selektoren ein Einstellelement zum Auswählen einer beliebigen der Vielzahl von vorab vorbereiteten Parametermengen ist.
Bildinspektionssystem nach Anspruch 3, wobei eine Vielzahl von Teilen von Filterverarbeitung in jeder der Parametermengen enthalten ist, und ein beliebiger der Vielzahl von Selektoren ein Einstellelement zum Auswählen einer Filterverarbeitung ist, die unter der Vielzahl von Teilen von Filterverarbeitung angewendet werden soll.
Bildinspektionssystem nach einem der Ansprüche 3 oder 4, wobei eine Vielzahl von Teilen von Bildverarbeitung und Kombinationsverarbeitung der Kombination einer Vielzahl aufgenommener Bilder in jeder der Parametermengen enthalten sind.
Bildinspektionssystem nach Anspruch 5, wobei die Vielzahl von Teilen von Bildverarbeitung eine Verarbeitung zum Erlangen von drei oder mehr Bildern durch individuelles Anwenden von Beleuchtung in mindestens drei oder mehr Richtungen ist, und die Kombinationsverarbeitung eine Verarbeitung zum Erzeugen eines Bildes ist, das eine dreidimensionale Form des Inspektionsobjekts auf Grundlage eines Prinzips photometrischen Stereos auf Grundlage von den drei oder mehr Bildern angibt, die von der Vielzahl von Teilen von Bildverarbeitung erlangt werden.
Bildinspektionsverfahren zum Inspizieren eines Inspektionsobjekts durch Herstellen einer Bildgebungsvorrichtung für eine Bildinspektionsvorrichtung, die ein Bild des Inspektionsobjekts aufnimmt, und einer Einstellungsvorrichtung, die über ein Netzwerk mit der Bildgebungsvorrichtung verbunden ist, von außen eine Datei erlangt, in der ein Einstellungselement der Bildgebungsvorrichtung und Verzeichnisinformationen, die einen Ort angeben, wo ein Einstellungswert von jedem Einstellungselement gespeichert ist, beschrieben werden, Daten, die den Einstellungswert von jedem durch einen Nutzer eingestellten Einstellungswert und die Verzeichnisinformationen, die jedem in der Datei enthaltenen Einstellungselement entsprechen, angeben, an die Bildgebungsvorrichtung überträgt, und die Bildgebungsvorrichtung einstellt, wobei das Verfahren umfasst: Hinzufügen, zu der Datei, einer Vielzahl von Selektoren, die den Einstellungselementen zum Einstellen von mehrstufiger Verarbeitung zugeordnet sind, die auf das aufgenommene Bild angewendet werden soll, und Verzeichnisinformationen, die einen Ort angeben, wo ein Wert von jedem Selektor gespeichert ist, bevor ein von der Bildgebungsvorrichtung aufgenommenes Bild nach außerhalb ausgegeben wird; durch die Einstellungsvorrichtung, Anzeigen einer Benutzeroberfläche, Vorgeben einer Kombination der Werte der Vielzahl von Selektoren zum Verwirklichen der mehrstufigen Verarbeitung durch den Nutzer auf der Benutzeroberfläche, und Übertragen der Werte der Vielzahl von Selektoren und der Verzeichnisinformationen, die den Ort vorgeben, in dem die Vielzahl von Selektoren gespeichert sind, an die Bildgebungsvorrichtung; und durch die Bildgebungsvorrichtung, Speichern der Werte der Vielzahl von Selektoren an dem Ort, der von den entsprechenden Verzeichnisinformationen angegeben wird, und aufeinanderfolgendes Ausführen der mehrstufigen Verarbeitung, die durch die Kombination der Werte der Selektoren vorgegeben wird.