DE102015210442A1

DE102015210442A1 - Inspektionsvorrichtung, Inspektionsverfahren und Programm

Info

Publication number: DE102015210442A1
Application number: DE102015210442.7A
Authority: DE
Inventors: Norimasa Mayumi
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2014-06-09
Filing date: 2015-06-08
Publication date: 2015-12-10
Also published as: US20150358602A1; US20170098300A1; JP2015232476A; US9773304B2; JP6290720B2; CN105184765B; CN105184765A; US9571817B2

Abstract

Ein photometrischer Verarbeitungsabschnitt berechnet einen Normalenvektor einer Oberfläche eines Werkstückes aus einer Vielzahl an Leuchtdichtebildern, die von einer Kamera gemäß dem photometrischen Stereoverfahren aufgezeichnet wurden, und führt eine Syntheseverarbeitung des Synthetisierens von zumindest zwei Bilder aus einem Neigungsbild, das aus Pixelwerten ausgebildet ist, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern berechnet wurde, und zumindest einem reduzierten Bild des Neigungsbildes, durch, um ein Inspektionsbild zu erzeugen, das eine Oberflächenform des Inspektionszieles zeigt. Im Speziellen stellt ein Einstellabschnitt für eine charakteristische Größe eine charakteristische Größe ein, welches ein Parameter zum Wichten einer Komponente eines reduzierten Bildes zum Zeitpunkt des Durchführens der Syntheseverarbeitung ist. Der photometrische Verarbeitungsabschnitt kann ein unterschiedliches Inspektionsbild gemäß der eingestellten charakteristischen Größe erzeugen.

Description

Hintergrund der Erfindung
1. Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Inspektionsvorrichtung, ein Inspektionsverfahren und ein Programm.
2. Stand der Technik
Um eine genaue dreidimensionale Form eines Werkstücks (Inspektionszielprodukt) unter Verwendung eines photometrischen Stereoprinzips (engl.: photometric stereo principle) zu messen, wird eine Illuminationslichtquelle benötigt, deren Illuminationslicht auf jede Oberfläche des Werkstücks mit einem gleichmäßigen Lichtbetrag einfällt. Weiterhin ist es erforderlich, dass der Einfallwinkel des Illuminationslichts bekannt ist. Ferner, da der Einfallswinkel des Lichtes sich nicht gemäß einer Veränderung des Bereiches des Werkstücks verändern soll, wird eine Illuminationslichtquelle mit einer Größer benötigt, die der Größe des zu inspizierenden Werkstücks entspricht. Ferner wird eine Scalainformation (tatsächliche Pixelgröße) eines Bildes, das von einer Kamera aufgenommen wird, auch benötigt. Eine visuelle Inspektionsvorrichtung wird oft durch einen Nutzer angeordnet und es ist schwierig für den Nutzer die strengen Aufstellbedingungen zu erfüllen. Daher wird gemäß JP 2007-206797 A eine geeignete Vorrichtung, die durch Integrieren von Beleuchtung/Illumination und einer Kamera ausgebildet wird, vorgeschlagen, um dadurch die Hürde einer Anordnung/Installation durch den Nutzer zu reduzieren.
Gemäß der in JP 2007-206797 A beschriebenen Erfindung, da die Beleuchtung und die Kamera integriert sind, gibt es einen Vorteil des Reduzierens der Hürde der Anordnung durch den Nutzer. Nichtsdestotrotz konnte sich eine visuelle Inspektionsvorrichtung verwendend das photometrische Stereoprinzip im Markt nicht durchsetzen. Dafür gibt es eine Vielzahl an Gründen. Gemäß JP 2007-206797 A wird ein Normalenvektorbild (ein Bild, in dem jedes Pixel einen Normalenvektor der Oberfläche des Werkstücks zeigt) oder ein Reflexionsbild (ein Bild, in dem jedes Pixel eine Reflexion der Oberfläche des Werkstücks zeigt), welche unter Verwendung des photometrische Stereoprinzips erhalten wurde, bei der Bildinspektion verwendet. Demgemäß ist in der Erfindung der JP 2007-206797 A eine Anwendbarkeit bei der Nutzung beschränkt. Beispielsweise ist das Reflexionsbild (engl.: reflectance image) verwendbar für die Inspektion eines Werkstücks, welches auf seiner Oberfläche eine Vielzahl an glitzernden Abschnitten aufweist, in denen die Leuchtdichte gesättigt ist, und dergleichen, jedoch ist das Reflexionsbild nicht geeignet zur Inspektion eines feinen unebenen Mangels an der Oberfläche des Werkstücks oder zur OCR (optischen Buchstabenerkennung; optical character regonition) eines aufgebrachten Buchstabens. Im Übrigen werden bei der Inspektion, wie der Inspektion eines feinen, unebenen Fehlers auf der Oberfläche des Werkstücks oder der OCR des aufgebrachten Buchstabens, strenge Aufstellbedingungen nicht benötigt.
Jedoch, in solch einer Inspektionsanwendung wird es vom Nutzer gefordert einige Bildbearbeitungsparameter zum Zeitpunkt des Erzeugens eines Bildes zur Inspektion aus dem Normalenvektorbild oder dem Reflexionsbild einzustellen. Folglich wird eine Belastung des Nutzers auch bei dieser Einstelltätigkeit wünschenswerterweise reduziert.
Zusammenfassung der Erfindung
Daher ist es eine Aufgabe der vorliegenden Erfindung das Einstellen eines Parameters zum Zeitpunkt des Erzeugens eines Inspektionsbilds aus einem Bild, das unter Verwendung eines photometrischen Stereoprinzips erhalten wurde, zu vereinfachen.
Gemäß der vorliegenden Erfindung wird beispielweise eine Inspektionsvorrichtung zur Verfügung gestellt, umfassend: einen Illuminationsbereich/Illuminationsabschnitt (Beleuchtungsbereich, Beleuchtungsabschnitt) zum Beleuchten eines Inspektionszieles gemäß einem photometrischen Stereoverfahren (engl.: photometric stereo method); einen Bilderfassungsbereich zum Empfangen von Reflexionslicht (reflektiertem Licht) von dem illuminierten Inspektionsziel, um ein Illuminationsbild gemäß dem photometrischen Stereoverfahren zu erzeugen; einen Berechnungsabschnitt zum Berechnen eines Normalenvektors einer Oberfläche des Inspektionszieles aus einer Vielzahl an Leuchtdichtebildern (auch bezeichnet als Leuchtstärkebilder; engl: luminance images), die von dem Bilderfassungsabschnitt aufgenommen wurden, und das Durchführen einer Akkumulationsberechnung eines Pixelwertes eines Pixels von Interesse unter Verwendung eines Normalenvektors eines Pixels angrenzend an das Pixel von Interesse in Bezug auf ein Neigungsbild (engl: inclination image), das aus Pixelwerten ausgebildet ist, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern und einem reduzierten Bild des Neigungsbildes berechnet wurde, um ein Inspektionsbild mit dem Pixelwert zu erzeugen; und einen Ermittlungsabschnitt zum Ermitteln einer Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Inspektionsbildes, wobei die Inspektionsvorrichtung ferner einen Einstellabschnitt zum Einstellen einer charakteristischen Größe umfasst, welches ein Parameter ist, um einer Komponente/Bestandteil des in der Akkumulationsberechnung verwendeten, reduzierten Bildes ein Gewicht/eine Wichtung zu geben.
Gemäß der vorliegenden Erfindung, durch Einführen des Konzeptes einer charakteristischen Größe, kann ein Parameter einfach zum Zeitpunkt des Erzeugens eines Inspektionsbildes aus einem Bild, das unter Verwendung des photometrischen Stereoprinzips erhalten wurde, eingestellt werden.
Kurze Beschreibung der Zeichnungen
1 ist eine Ansicht, die eine Übersicht einer Inspektionsvorrichtung zeigt;
2 ist eine Ansicht zum Beschreiben eines photometrischen Stereoprinzips;
3 ist ein Diagramm zum Beschreiben einer Akkumulationsberechnung;
4 ist ein Diagramm, das ein Verfahren zum gewichtsbasierten Entscheiden im Hinblick auf eine charakteristische Größe zeigt;
5 ist eine Ansicht, die ein Beispiel von Inspektionsbildern mit unterschiedlichen charakteristischen Größen zeigt;
6 ist eine Ansicht, die Bilder, die in Bezug zum Erzeugen eines Formbildes stehen, beschreibt;
7 ist eine Ansicht, die ein Verfahren zum Erzeugen eines Texturbildes zeigt;
8 ist Funktionsblockdiagramm der Inspektionsvorrichtung;
9 ist ein Flussdiagramm, das ein Einstellverfahren zeigt;
10 ist eine Ansicht, die ein Beispiel einer Benutzeroberfläche zeigt;
11 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
12 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
13 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
14 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
15 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
16 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
17 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
18 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
19 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
20 ist ein Flussdiagramm, das eine Inspektionsart zeigt;
21 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
22 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
23 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
24 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt;
25 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt; und
26 ist eine Ansicht, die ein Beispiel der Benutzeroberfläche zeigt.
Detaillierte Beschreibung der bevorzugten Ausführungsform
Im Folgenden wird eine Ausführungsform der vorliegenden Erfindung gezeigt. Eine individuelle Ausführungsform, die weiter unteren beschrieben wird, ist nützlich zum Verstehen einer Vielzahl an Konzepten, wie einem übergeordneten Konzept, einem Übergangskonzept, und einem untergeordneten Konzept der vorliegenden Erfindung. Ferner wird ein technischer Bereich der vorliegenden Erfindung durch die Ansprüche festgelegt und ist nicht auf die folgende individuelle Ausführungsform beschränkt.
1 ist eine Ansicht, die ein Beispiel eines visuellen Inspektionssystems zeigt. Eine Linie 1 stellt ein Förderband zum Fördern eines Werkstücks 2 dar, welches ein Inspektionsziel ist. Eine Illuminationsvorrichtung 3 ist ein Beispiel eines Illuminationsabschnittes zum Illuminieren eines Inspektionszieles gemäß einem photometrischen Stereoverfahren. Eine Kamera 4 ist ein Beispiel eines Bilderfassungsabschnittes zum Empfangen von Reflexionslicht von dem illuminierten Inspektionsziel, um ein Leuchtdichtebild (engl.: luminance image) gemäß dem photometrischen Stereoverfahren zu erzeugen. Eine Bildverarbeitungsvorrichtung 5 ist eine visuelle Inspektionsvorrichtung zum Berechnen eines Normalenvektors der Oberfläche des Werkstücks 2 aus einer Vielzahl von Leuchtdichtebildern, die durch die Kamera 4 erfasst wurden, zum Durchführen einer Akkumulationsberechnung eines Pixelwertes eines Pixels von Interesse unter Verwendung eines Normalenvektors eines Pixels angrenzend an das Pixel von Interesse unter Bezug auf ein Neigungsbild, das Pixelwerte basierend auf dem Normalenvektor umfasst, der aus der Vielzahl an Leuchtdichtebildern berechnet wurde, und ein reduziertes Bild des Neigungsbildes, und zum Erzeugen eines Inspektionsbildes mit dem Pixelwert, um die Schadhaftigkeit / Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Inspektionsbildes zu ermitteln. Das Neigungsbild kann als Normalenvektorbild bezeichnet werden. Die Bildverarbeitungsvorrichtung 5 kann ein Reflexionsbild (Albedobild) aus dem Leuchtdichtebild erzeugen. Ein Anzeigeabschnitt 7 zeigt eine Benutzeroberfläche zum Einstellen eines Steuerparameters an, der sich auf die Inspektion bezieht, ein Neigungsbild, eine Reflexionsbild, ein Inspektionsbild, und dergleichen. Ein Eingangsabschnitt 6 ist eine Konsole, eine Mauseinrichtung und eine Tastatur und wird zum Einstellen eines Steuerparameters verwendet.
photometrisches Stereoprinzip
In einem üblichen photometrischen Stereoverfahren, wie in 2 gezeigt, wird das Illuminationslicht L1 bis zum Illuminationslicht L4 an das Werkzeug 2 aus vier Richtungen angelegt, während es gewechselt wird, um vier Leuchtdichtebilder zu erzeugen. Die Richtung des Leuchtdichtelichtes, das zum Zeitpunkt des Erfassens von jedem Leuchtdichtebildes verwendet wird, ist nur eine Richtung. Es sei angemerkt, dass ein Leuchtdichtebild aus einer Vielzahl an Pixeln gebildet wird und vier Pixel, deren Koordinaten in den vier Leuchtdichtebildern zueinander passen, derselben Oberfläche des Werkstückes entsprechen. Gleichung 1 wird aus den Pixelwerten (Leuchtdichtewerte) I1, I2, I3, I4 der vier Pixel und dem Normalenvektor n erhalten.
Hier stellt ρ einen Reflexionsgrad dar. L ist ein Lichtbetrag des Illuminationslichtes aus jeder Richtung und ist bekannt. Hier sind die Lichtbeträge aus den vier Richtungen die gleichen. S ist eine Illuminationsrichtungsmatrix und ist bekannt. Durch Lösen dieser mathematischen Gleichung werden die Reflexion ρ und der Normalenvektor n für die jede Koordinate (Oberfläche des Werkstücks) erhalten. Im Ergebnis wird ein Reflexionsbild und ein Neigungsbild erhalten. [mathematische Gleichung 1]
In der vorliegenden Ausführungsform wird ferner eine Höhekomponente aus dem Neigungsbild extrahiert, um, als dem Inspektionsbild, ein Formbild zu erzeugen, das eine Form des Werkstücks zeigt. Das Inspektionsbild wird durch eine Akkumulationsberechnungsgleichung erhalten, welches Gleichung 2 ist. Hier ist zn ein Ergebnis der n-ten Berechnung und zeigt die Form der Oberfläche des Werkstücks, x und y bezeichnen Koordinaten eines Pixels und n zeigt wie viele Male die Iterationsberechnung durchgeführt wurde. Ferner zeigt p eine Neigungskomponente in einer horizontalen Richtung, q zeigt eine Neigungskomponente in einer vertikalen Richtung, p und q werden aus dem Normalenvektor n erhalten und w ist das Gewicht. Ferner wird ein 1/1-Neigungsbild bei der ersten Akkumulationsberechnung verwendet, ein 1/2-reduziertes Neigungsbild wird in der zweiten Akkumulationsberechnung verwendet und ein 1/4-reduziertes Neigungsbild wird in der dritten Akkumulationsberechnung verwendet. Zum Zeitpunkt des Erzeugens des reduzierten Bildes kann eine Reduktionsbearbeitung durchgeführt werden nach dem eine Gauß-Bearbeitung durchgeführt wurde. [mathematische Gleichung 2]
In der vorliegenden Ausführungsform wird ein Parameter, welcher charakteristische Größe genannt wird, bei der Akkumulationsberechnung verwendet. Die charakteristische Größe ist ein Parameter zum Wichten (engl.: giving weight) einer Komponente eines reduzierten Bildes, um in der Akkumulationsberechnung verwendet zu werden. Die charakteristische Größe ist ein Parameter, der eine Größe einer Oberflächenform des Werkstücks 2 zeigt. Beispielsweise, wenn die charakteristische Größe 1 beträgt, wird die Wichtung in Bezug auf vier Pixel, die an das Pixel von Interesse in einer x-y Richtung angrenzen, am größten eingestellt und die Akkumulationsberechnung wird durchgeführt. Wenn die charakteristische Größe 2 beträgt, wird die Wichtung in Bezug auf 8 angrenzende Pixel an das Pixel von Interesse in der x-y Richtung am größten eingestellt und die Akkumulationsberechnung wird durchgeführt. Jedoch, da die Berechnung unter Verwendung der acht Pixel einen Anstieg des Berechnungsbetrages hervorruft, wird das vorgenannte reduzierte Bild erzeugt und zur Berechnung verwendet. D.h., anstatt der Verwendung der acht angrenzenden Pixel wird das Neigungsbild reduziert auf 1/2 und die Berechnung wird durchgeführt. Dadurch können betreffend ein bestimmtes Pixel von Interesse, vier Pixel in dem reduzierten Bild bei der Berechnung berücksichtig werden. Auch wenn die charakteristische Größe auf 4, 8, 16 und 32 erhöht wird, werden reduzierte Bilder, die dem entsprechen, erzeugt und eine Wichtung in Bezug auf das reduzierte Bild, das der charakteristischen Größe entspricht, wird am größten eingestellt, wodurch ein ähnlicher Effekt des Reduzierens einer Berechnungslast erhalten werden kann.
3 zeigt ein Beispiel der Akkumulationsberechnung. In diesem Beispiel werden zwei Neigungsbilder (ein Bild mit einer horizontalen Neigungskomponente p und ein Bild mit einer vertikalen Neigungskomponente q), die aus dem Normalenvektor n erhalten wurden, eingegeben. Zunächst wird eine gesamte Form durch ein Neigungsbild mit einem großen Reduzierungsgrad angesammelt/akkumuliert und eine feine Form durch ein Bild mit einem geringeren Reduzierungsgrad angesammelt. Dies gestattet eine Wiederstellung der gesamten Form in einer kurzen Zeitdauer. Gemäß 3, beispielsweise, in Bezug auf das 1/32-reduzierte Bild wird z, welches ein Parameter ist, der die Form der Oberfläche des Werkstücks betreffend das Pixel von Interesse anzeigt, berechnet durch Gleichung 2. Die Wichtung w wird gemäß der charakteristischen Größe festgelegt. Jedes Pixel, das das reduzierte Bild ausbildet, wird als ein Pixel von Interesse hergenommen und die Akkumulationsberechnung wird einer Iteration (wiederholte Bearbeitung) ausgesetzt. Ein anfänglicher Wert von z beträgt null. Anschließend wird z in Bezug auf das 1/16-reduzierte Bild gemäß Gleichung 2 berechnet. Hier wird eine Neigungskomponente des 1/16-reduzierten Bildes auf einem Ergebnis der Berechnung 1/32 akkumuliert. Auf ähnliche Weise wird die Akkumulationsberechnung ausgehend von dem 1/8-reduzierten Bild hin zu dem 1/1-Bild durchgeführt.
4 zeigt ein Beispiel der Wichtung in Bezug auf jede charakteristische Größe. Eine horizontale Achse zeigt ein Auflösungsniveau (Reduzierungsgrad) an und eine vertikale Achse zeigt eine Wichtung an. Wie aus 4 ersichtlich ist, ist bei der charakteristischen Größe 1 die Wichtung am größten beim Niveau 0 (1/1-Bild) mit dem geringsten Reduzierungsgrad. Dies gestattet die Akkumulation einer feineren Form. Bei der charakteristischen Größe 2 ist die Wichtung am Größten beim Niveau 1 (1/2-Bild). Dies gestattet eine weitere Akkumulation einer Form mit einer größeren Größe. Wie folglich beschrieben, wird jede Wichtung entschieden, sodass eine Spitze bei dem Niveau erzeugt wird, das der charakteristischen Größe entspricht.
Als ein Verfahren zum Wiederherstellen des Formbildes welches sich von der obigen Akkumulationsberechnung unterscheidet, ist es auch möglich eine bekannte Fourier-Transformations-Integration anzuwenden („Verfahren zum Durchführen der Integrierbarkeit einer Form aus Shading Algoritmen“ (A Method for Enforcing Integrability in Shape from Shading Algorithms" (IEEE Transactions on Pattern Analysis and Machine Intelligence), IEEE Transkationen bei Musteranalyse und maschineller Intelligenz, Band 10, Nr. 4, Juli 1988). Auch bei diesem Verfahren ist es möglich eine charakteristische Größe, die zu extrahieren ist, zu verändern, in dem ein reduziertes Bild bei einem Berechnungsprozess erzeugt wird und indem eine Wichtungskomponente eingestellt wird.
5 zeigt ein Beispiel an Inspektionsbildern gemäß Unterschieden einer charakteristischen Größe. Es ist ersichtlich, dass eine feinere Form bei der charakteristischen Größe 4 extrahiert wird, eine ganze Form bei der charakteristischen Größe 64 extrahiert wird und eine Form einer Zwischengröße bei der charakteristischen Größe 16 extrahiert wird. Auf diese Weise ist eine geringe charakteristische Größe nützlich zum Inspizieren eines feinen Fehlers/Mangels, eine große charakteristische Größe ist geeignet zum Erkennen des Vorhandenseins oder Fehlens eines Objektes, und eine dazwischenliegende charakteristische Größe ist geeignet für OCR von ungleichmäßigen Buchstaben und dergleichen. D.h. das Auswählen einer geeigneten charakteristischen Größe gemäß dem Inspektionswerkzeug kann die Inspektionsgenauigkeit verbessern.
6 ist eine Ansicht, die einen Schritt des Erzeugens eines Inspektionsbildes durch das photometrische Stereoverfahren zeigt. Leuchtdichtebilder 601 bis 604 stellen Leuchtdichtebilder dar, die durch Beleuchten des Werkstücks 2 mit Beleuchtungslicht aus entsprechend unterschiedlichen Beleuchtungsrichtungen erhalten wurden. Es sei angemerkt, dass ein Leuchtdichtebild 600 ein Leuchtdichtebild ist, das durch gleichzeitiges Beleuchten des Werkstücks 2 aus vier Richtungen erhalten wurde. Ein Normalenvektor der Oberfläche des Werkstückes wird durch Berechnen aus der Vielzahl an Leuchtdichtebildern erhalten, die durch Beleuchten des Werkstücks 2 mit Illuminationslicht aus den entsprechenden unterschiedlichen Illuminationsrichtungen erhalten wurden. Ein Neigungsbild 611 ist in Neigungsbild, dessen Pixelwert eine Neigungskomponente in einer x-Richtung des Normalenvektors ist, der aus den Leuchtdichtebildern 601 bis 604 erhalten wurde. Ein Neigungsbild 612 ist ein Neigungsbild, dessen Pixelwert eine Neigungskomponente in der y-Richtung des Normalenvektors ist, der aus den Leuchtdichtebildern 601 bis 604 erhalten wurde. Ein Reflexionsbild 610 ist ein Reflexionsbild, das durch Entfernen eines Veränderungsbetrages eines Leuchtdichtewertes auf Grund der Neigung der Oberfläche des Werkstückes zu dem Normalenvektor erhalten wurde, der aus den Leuchtdichtebildern 601 bis 604 erhalten wird, um ein Bild mit einer Reflexion der Oberfläche des Werkstückes auszubilden. Inspektionsbilder 621 bis 623 stellen Bilder mit entsprechend unterschiedlichen charakteristischen Größen dar, die aus den Neigungsbildern 611, 612 erhalten wurden. Jedes der Inspektionsbilder 621 bis 623 umfasst auch Pixel basierend auf einer Neigungskomponente und ist folglich ein Typ des Neigungsbildes. Bei solch einer Prozedur wird das Inspektionsbild des Werkstückes 2 erzeugt. Es sei angemerkt, dass das Leuchtdichtebild 600 oder das Reflexionsbild 610 als ein Allrichtungs-Illuminationsbild als dem Leuchtdichtebild verwendet werden kann, in Abhängigkeit von dem Inspektionswerkzeug. Das Allrichtungs-Illuminationsbild (Illuminationsbild aus allen Richtungen ist ein Leuchtdichtebild, welches durch Beleuchtung aller einer Vielzahl an Lichtquellen, die in der Illuminationsvorrichtung 3 vorgesehen sind, erhalten wird.
Texturinformation
Texturinformation stellt eine Information basierend auf einer Reflexion ρ der Oberfläche des Werkstücks 2 dar. Die Reflexion ρ wird erhalten durch Gleichung 1, genauer gesagt, eine Reflexionsbild wird erhalten aus vier Leuchtdichtebildern. Das Reflexionsbild ist ein Bild aufweisend einen Pixelwert proportional zu der Reflexion ρ der Oberfläche des Werkstücks. Wie in 7 gezeigt, wird ein Normalenvektor berechnet aus vier Leuchtdichtebildern 701 bis 704 und basiert auf dem berechneten Normalenvektor und einem Leuchtdichtewert eines Pixels gemäß jedem der Vielzahl an Leuchtdichtebildern, wobei ein Pixelwert proportional zu einer Reflexion von jedem Pixel berechnet wird, um Texturbilder 711, 712 zu erhalten, welches Reflexionsbilder sind. Beispiele dieses Syntheseverfahrens umfassen ein Verfahren zum Mitteln von Pixeln der vier Leuchtdichtebilder, um ein Texturbild zu erhalten, und ein Verfahren zum Entfernen eines Lichthofes (halation) aus den vier Leuchtdichtebildern und dem anschließenden Mitteln von Pixeln, um ein Texturbild zu erhalten. Das Texturbild 711 stellt ein Beispiel des Bildes dar, das durch Mitteln von Pixeln erhalten wird und das Texturbild 712 ist ein Beispiel des Bildes, das durch Entfernen eines Lichthofes erhalten wird. In den vier Leuchtdichtebildern existieren vier Pixel, deren Koordinaten übereinstimmen/zusammenpassen. Es ist möglich einen Lichthof zu entfernen in dem ein Pixel mit dem größten Pixelwert unter den vier Pixeln entfernt wird oder durch Entfernen von Pixeln mit dem größten bis zum N-ten, größten Pixelwert (N ist eine natürliche Zahl nicht größer als 3). Dies so, da ein Lichthof als eine hohe Leuchtdichte in dem Bild auftritt. Beide Texturbilder 711, 712 umfassen Pixel basierend auf der Reflexion und sind folglich Typen des Reflexionsbildes.
Funktionsblock
8 stellt ein Blockdiagramm der Inspektionsvorrichtung dar. In diesem Beispiel werden die Illuminationsvorrichtung 3, die Kamera 4 und die Bildverarbeitungsvorrichtung 5 jeweils in getrennten Gehäusen untergebracht, jedoch stellt dies nur ein Beispiel dar, und die Illuminationsvorrichtung 3, die Kamera 4 und die Bildverarbeitungsvorrichtung 5 können einstückig sein, wenn geeignet. Die Illuminationsvorrichtung 3 ist ein Beispiel des Illuminationsabschnittes zum Illuminieren des Inspektionszieles gemäß dem photometrischen Stereoverfahren und ist mit einer Lichtquellengruppe 801 und einem Illuminationssteuergerät 802 zum Steuern dieser Lichtquellengruppe versehen. Ein Segment kann aus einer Vielzahl an lichtaussendenden Elementen ausgebildet sein und die Lichtquellengruppe 801 kann aus einer Vielzahl an Segmenten ausgebildet sein. Die Anzahl an Segmenten beträgt im Allgemeinen vier, kann jedoch jede Zahl annehmen solange sie nicht geringer als drei ist. Dies ist so, da ein Inspektionsbild durch das photometrische Stereoverfahren erzeugt werden kann, falls das Werkstück 2 aus drei oder mehr Illuminationsrichtungen illuminiert werden kann. Wie in 1 gezeigt, kann eine äußere Form der Illuminationsvorrichtung 3 eine Ringform sein. Ferner kann die Illuminationsvorrichtung 3 durch eine Vielzahl an Illuminationseinheiten konfiguriert sein, die jeweils voneinander getrennt sind. Beispielsweise, obwohl Illuminationseinheiten, die zum Aufnehmen eines Bildes des Werkstückes 2 verwendet werden, auf dem Markt existieren, wurden diese Illuminationseinheiten nicht für photometrische Stereoverfahren entwickelt. Jedoch kann die Illuminationsvorrichtung 3 durch Vorbereiten einer Vielzahl an solchen Illuminationseinheiten und durch Verbinden eines Illuminationssteuergerätes zum Steuern dieser Illuminationseinheiten konfiguriert werden. Das Illuminationssteuergerät 802 steuert die Belichtungszeit und ein Belichtungsmuster der Lichtquellengruppe 801 gemäß einem Steuerbefehl von der Bildverarbeitungsvorrichtung 5. Obwohl eine Beschreibung unter der Annahme erfolgt, dass das Illuminationssteuergerät 802 in die Illuminationsvorrichtung 3 integriert ist, kann das Illuminationssteuergerät 802 in die Kamera 4 oder die Bildverarbeitungsvorrichtung 5 integriert sein oder kann in einem von diesen Einheiten unabhängigen Gehäuse untergebracht sein.
Die Kamera 4 ist ein Beispiel des Bilderfassungsabschnittes zum Aufnehmen von Reflexionslicht von dem illuminierten Inspektionsziel, um ein Leuchtdichtebild gemäß dem photometrischen Stereoverfahren zu erzeugen und führt die Bildverarbeitung gemäß einem Steuerbefehl von der Bildverarbeitungsvorrichtung 5 durch. Die Kamera 4 kann ein Leuchtdichtebild des Werkstücks 2 erzeugen und überträgt das Leuchtdichtebild an die Bildverarbeitungsvorrichtung 5 oder die Kamera 4 kann ein Leuchtdichtesignal übertragen, das von einem Bilderfassungselement erhalten wurde an die Bildverarbeitungsvorrichtung 5 und die Bildverarbeitungsvorrichtung 5 kann ein Leuchtdichtebild erzeugen. Da das Leuchtdichtesignal ein Signal ist, das zum Erzeugen eines Leuchtdichtebildes verwendet wird, stellt das Leuchtdichtesignal auch das Leuchtdichtebild in einem weiteren Sinn dar.
Die Bildverarbeitungsvorrichtung 5 weist einen Prozessor 810, wie beispielsweise eine CPU und ein ASIC, eine Speichereinrichtung 820 wie beispielsweise einen RAM, einen ROM und ein tragbares Speichermedium, einen Bildverarbeitungsabschnitt 830, beispielsweise einen ASIC und einen Kommunikationsabschnitt 850, wie beispielweise eine Netzwerkschnittstelle, auf. Der Prozessor 810 dient dazu, um ein Inspektionswerkszeug einzustellen und um ein Inspektionsbild zu erzeugen. Ein photometrischer Stereoabschnitt 811 wirkt als Berechnungsabschnitt zum Berechnen des Normalenvektors n der Oberfläche des Werkstücks 2 aus einer Vielzahl an Leuchtdichtebildern, die von der Kamera 4 aufgenommen wurden und zum Durchführen einer Akkumulationsberechnung eines Pixelwertes eines Pixels von Interesse unter Verwendung des Normalenvektors n eines Pixels angrenzend an das Pixel von Interesse in Bezug auf ein Neigungsbild mit einem Pixelwert basierend auf dem Normalenvektor n, der aus der Vielzahl von Leuchtdichtebildern berechnet wurde und einem reduzierten Bild des Neigungsbildes, um ein Neigungsbild mit dem Pixelwert zu erzeugen. Es sei angemerkt, dass im Speziellen das Bild erzeugt wird unter Verwendung der vorgenannten mathematischen Gleichung oder dergleichen. Ein Illuminationssteuerabschnitt 810 überträgt einen Steuerbefehl an das Illuminationssteuergerät 802, um ein Illuminationsmuster, einen Illuminationswechselzeitpunkt oder dergleichen zu steuern. Ein Bilderfassungsabschnitt 813 steuert die Kamera 4. Ein UI-Handhabungsabschnitt 814 zeigt auf dem Displayabschnitt 7 eine Benutzeroberfläche (UI; User interface) zum Einstellen eines Inspektionswerkzeuges, ein UI zum Einstellen eines Parameters, der zum Erzeugen eines Inspektionsbildes benötigt wird und dergleichen an und stellt das Inspektionswerkzeug und den Parameter gemäß Informationen ein, die von dem Eingangsabschnitt 6 eingegeben werden. Im Speziellen wirkt ein Einstellabschnitt 815 für die charakteristische Größe als ein Einstellabschnitt zum Einstellen einer charakteristischen Größe, welches ein Parameter zum Wichten w einer Komponente eines reduzierten Bildes ist, der bei der Ansammlungsberechnung verwendet wird. Ein Bildauswahlabschnitt 816 wählt ein anzuzeigendes Bild oder dergleichen aus einer Vielzahl an Leuchtdichtebildern, einer Vielzahl an Inspektionsbildern, einer Vielzahl an Neigungsbildern und einer Vielzahl an Reflexionsbildern aus. Der Bildauswahlabschnitt 816 kann ein Bild auswählen, welches zu speichern ist oder auszugeben ist, aus der Vielzahl an Leuchtdichtebildern, die von der Kamera 4 und dem Inspektionsbild erfasst wurden. Ein Inspektionswerkzeugeinstellabschnitt 817 stellt ein Inspektionswerkzeug für das Inspektionsbild ein, das von dem Bildauswahlabschnitt 816 ausgewählt wurde. Ein Bezugsbildeinstellabschnitt 818 stellt ein Bezugsbild ein, das von einem nicht-schadhaften Produkt aufgenommen wurde. Der Inspektionswerkzeugeinstellabschnitt 817 kann den Einstellabschnitt 815 für die charakteristische Größe, den Bildauswahlabschnitt 816, den Bezugsbildeinstellabschnitt 818 und einen Zustandseinstellabschnitt 819 umfassen. Der Bildverarbeitungsabschnitt 830 wirkt als ein Inspektionsbereichseinstellabschnitt zum Ausführen einer Mustersuche (engl: pattern search) auf einem Inspektionsbild unter Verwendung des Bezugsbildes, um einen Inspektionsbereich in dem Inspektionsbild einzustellen. Der Inspektionsbereich ist beispielsweise ein Buchstabenerkennungsbereich. Der Zustandseinstellabschnitt 819 stellt einen Zustand zum Ausgeben eines Bildes an eine externe Einrichtung dar, die mit dem Anzeigeabschnitt 7 oder dem Kommunikationsabschnitt 850 verbunden ist oder stellt einen Zustand zum Speichern eines Bildes in ein portables Speichermedium dar. Ein Ermittlungsabschnitt 840 wirkt als ein Ermittlungsabschnitt zum Ermitteln der Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung des Inspektionsbildes. Beispielsweise empfängt der Ermittlungsabschnitt 840 ein Ergebnis der Inspektion, die von dem Bildverarbeitungsabschnitt 830 durchgeführt wurde, unter Verwendung des Inspektionsbildes und ermittelt, ob oder nicht das Inspektionsergebnis einen nicht-schadhaften Produktzustand erfüllt (Toleranz oder dergleichen)
Die Speichereinheit 820 speichert Leuchtdichtebilddaten 821 welche Daten des Leuchtdichtebildes darstellen, das von der Kamera 4 erfasst wurde und Neigungsbilddaten 822 und Reflexionsbilddaten 823, die von dem photometrischen Verarbeitungsabschnitt 811 erzeugt wurden. Ferner speichert die Speichereinrichtung 802 auch eine Vielzahl an Einstelldaten, einen Programmcode zum Erzeugen einer Nutzerschnittstelle und dergleichen. Die Speichereinrichtung 820 kann Inspektionsbilder mit entsprechend unterschiedlichen charakteristischen Größen speichern und darin aufbewahren.
Ferner, zusätzlich zu dem Inspektionsbild, kann die Speichereinrichtung 820 auch Neigungswinkeldaten oder Reflexionswinkeldaten speichern, die zum Erzeugen des Inspektionsbildes verwendet werden. Wenn eine fehlerhafte Ermittlung an dem Werkstück 2 ermittelt wurde, können diese Daten nützlich zum Spezifizieren sein, welches aus dem Inspektionsbild, den Neigungsbildern und dem Reflexionsbild ein Problem aufweist und dessen Steuerparameter können korrigiert werden.
Der Bildverarbeitungsabschnitt 830 führt eine visuelle Inspektion unter Verwendung des Inspektionsbildes (die Neigungsbilddaten 822, die Reflexionsbilddaten 823), das von dem photometrischen Verarbeitungsabschnitt 811 erzeugt wurde durch. Ein Fehlerinspektionsabschnitt 831 führt eine Fehlerinspektion an einer Vielzahl an Inspektionsbildern durch, die erzeugt werden unter Verwendung entsprechend unterschiedlicher charakteristischer Größen. Ein OCR-Abschnitt 832 wirkt als ein Buchstabenerkennungsverarbeitungsabschnitt zum Durchführen einer Buchstabenerkennungsverarbeitung an einer Vielzahl an Inspektionsbildern, die unter Verwendung entsprechend unterschiedlicher charakteristischer Größen erzeugt wurden. Der Fehlerinspektionsabschnitt 831 und der OCR-Abschnitt 832 können das Inspektionsbild auslesen (die Neigungsbilddaten 822, die Reflexionsbilddaten 823), das in der Speichereinrichtung 820 gespeichert ist, und führen eine Inspektion durch, um ein Inspektionsergebnis in die Speichereinrichtung 820 zu schreiben oder um das Inspektionsergebnis an den Ermittlungsabschnitt 840 weiterzugeben. Der Ermittlungsabschnitt 840 ermittelt die Schadhaftigkeit/Nicht-schadhaftigkeit des Werkstückes basierend auf diesem Inspektionsergebnis.
Einstellmodus
Das Inspektionssystem weist einen Einstellmodus zum Einstellen eines Inspektionswerkzeuges und einen Inspektionsmodus (Betriebsmodus) zum Ausführen einer visuellen Inspektion des Werkstückes 2 gemäß dem eingestellten Inspektionswerkzeug auf. Hier wird ein Beispiel des Einstellmodus beschrieben.
9 ist ein Flussdiagramm betreffend den Einstellmodus. Wenn der Beginn des Einstellmodus durch den Eingabeabschnitt 6 ausgewählt wird, zeigt der UI-Handhabungsabschnitt 814 des Prozessors 810 ein UI zum Einstellen des Inspektionswerkzeuges auf dem Anzeigeabschnitt 7 (Displayabschnitt) an.
10 zeigt ein Beispiel des UI. Ein UI 1000, das an dem Anzeigeabschnitt 7 durch den UI-Handhabungsabschnitt 814 angezeigt wird, ist mit einem Herabziehmenü 1001(engl: pull-down menu) zum Auswählen eines Speicherortes eines Inspektionsergebnisses und einer Textbox 1002 zum Eingeben eines Namens des Inspektionswerkzeuges versehen. Wenn das Herunterdrücken eines Ausführknopfes („Ausführen“) erfasst wird, zeigt der UI-Handhabungsabschnitt 814 das nächste UI an.
Ein UI 1100, das in 11 gezeigt ist, weist eine Anleitung 1101 zum Einstellen des Inspektionswerkzeuges, einen Messungsknopf 1102 zum Auswählen der Kamera 4 zum Durchführen der Bildaufzeichnung, einen Anzeigebereich 1103 zum Anzeigen eines Bildes, das von der Kamera 4 aufgenommen wurde, und einen Kameraeinstellknopf 1104 zum Auswählen des Beginns des Einstellens der Kamera. Ein Bildauswahlabschnitt 1105 ist ein Knopf zum Auswählen eines anzuzeigenden Bildes in dem Anzeigebereich 1103 oder eines Bildes zur Verwendung für die Inspektion. In diesem Fall kann irgendein Bild aus einer Form 1, einer Form 2, einer Textur und einer Normalen optional durch den Bildauswahlabschnitt 1105 ausgewählt werden. Wenn der Messungsdurchführknopf 1102 betätigt wird, wählt der Bildsteuerabschnitt die Kamera 4 zum Durchführen der Bildaufzeichnung aus. Der UI-Handhabungsabschnitt 814 überträgt ein Leuchtdichtebild, das von der Kamera 4 ausgenommen wurde, an den Anzeigebereich 1103. Es sei angemerkt, dass, wenn ein weiteres Bild von dem Bildauswahlabschnitt 1105 ausgewählt wird, der UI-Habungsabschnitt 814 das Bild, das von dem Bildauswahlabschnitt 1105 ausgewählt wurde, an den Anzeigebereich 1103 übertragt. Demgemäß kann der Nutzer ein Bild wechseln, das in dem Bildanzeigebereich 1103 angezeigt wurde, durch Betätigen des Bildauswahlabschnittes 1105 oder durch Auswählen des Wechselns des Bildes durch den Eingangsabschnitt 6. Wenn der Kameraeinstellknopf 1104 betätigt wird, führt der UI-Handhabungsabschnitt 814 das Wechseln zu der nächsten UI durch.
In S901, zeigt der UI-Handhabungsabschnitt 814 ein UI zum Einstellen der Kamera 4 an dem Anzeigeabschnitt 7, um das Einstellen der Kamera durchzuführen. 2 zeigt ein Beispiel einer Kameraeinstell-UI 1200. Ein Kameraeinstelltab 1201 weist ein Herabziehmenü 1201 zum Einstellen eines Models einer Kamera, ein Herabziehmenü 1203 zum Einstellen einer Bildgröße, ein Herabziehmenü 1204 zum Einstellen einer Verschlussgeschwindigkeit, und einen Verschieber 1205 zum Einstellen der Sensitivität der Kamera auf. Wenn der Messungsdurchführknopf 1102 betätigt wird, zeigt der UI-Handhabungsabschnitt 814 den Anzeigebereich 1103 eines Leuchtdichtebildes an, das von der Kamera 4 aufgenommen wurde, gemäß einem Bildparameter, der zu dem Zeitpunkt eingestellt ist. Folglich ist es möglich zu ermitteln, ob oder nicht der eingestellte Parameter geeignet ist.
In S902 zeigt der UI-Handhabungsabschnitt 814 ein UI zum Einstellen der photometrischen Verarbeitung an dem Anzeigeabschnitt 7 an, um die Einstellung zu übernehmen. Beispielsweise, wenn ermittelt wird, dass ein photometrisches Stereoeinstelltab 1201, das in der Kameraeinstell-UI 1200 vorgesehen ist, betätigt wird, wechselt der UI-Handhabungsabschnitt 814 das photometrische Stereoeinstelltab 1201, um aktiv zu sein, wie in 13 gezeigt. Das Wechseln des photometrischen Stereoeinstellstab 1201, um aktiviert zu sein, bedeutet das Wechseln eines Anzeigezustandes des photometrischen Stereoeinstellstabs 1210 hin zu einem durch einen Nutzer bedienbaren Status. Das photometrische Stereoeinstellstab 1210 umfasst ein Herabziehmenü 1301 zum Auswählen eines Bildes und des Einstellabschnitts 1302 einer charakteristischen Größe. In diesem Beispiel wird angenommen, dass irgendeines der Inspektionsbilder (Form 1, Form 2, Form 3) mit jeweils unterschiedlichen charakteristischen Größen ausgewählt werden kann. Eine charakteristische Größe wird durch den Einstellabschnitt 1302 für die charakteristische Größe für jedes durch das Herabziehmenü 1301 ausgewählte Bild eingestellt.
Ein Auswahlabschnitt zum Auswählen eines Illuminationsmusters kann in dem photometrischen Stereoeinstellstab 1210 angeordnet sein. Ferner kann ein Auswahlabschnitt zum Auswählen eines Betrags an Emission für eine Illumination vorgesehen sein.
In S903 zeigt der UI-Handhabungsabschnitt 814 ein UI zum Einstellen des Inspektionswerkzeuges an dem Anzeigeabschnitt 7, um die Einstellung zu übernehmen, an. 14 ist ein Beispiel einer UI 1400 zum Einstellen des Inspektionswerkzeugs. Ein Bildauswahlknopf 1401 ist ein Knopf zum Auswählen eines Inspektionsbildes, um für die Inspektion verwendet zu werden, aus einer Vielzahl an Inspektionsbildern. Ein Inspektionskategorieauswahlknopf 1402 ist ein Knopf zum Auswählen einer Kategorie eines Werkzeuges, um zu dem Inspektionswerkzeug hinzugefügt zu werden, aus einer Vielzahl an Inspektionskategorien. Ein Erkennungszielauswahlknopf 1403 ist ein Knopf zum Auswählen eines aus einer Vielzahl an Erkennungszielen. In diesem Beispiel wird „Form 1“ als das Inspektionsbild ausgewählt, „Erkennung“ wird als die Kategorie ausgewählt und „Buchstabenerkennung“ wird als die Erkennungsverarbeitung ausgewählt. Wenn ein Hinzufügeknopf 1404 betätigt wird, führt der UI-Handhabungsabschnitt 814 das Wechseln hin zu der nächsten UI durch. 15 zeigt ein Bezugsbildregistrierungs-UI 1500. Das Bezugsbildregistrierungs-UI 1500 ist mit einem Registrierungsknopf 1501 zusätzlich zu dem Messungsdurchführknopf 1102 und dem Anzeigebereich 1103, die beide oben beschrieben wurden, versehen. Wenn der Registrierungsknopf 1501 betätigt wird, registriert der UI-Handhabungsabschnitt 814 als das Bezugsbild ein Bild, das von dem Messungsdurchführknopf 1102 aufgenommen wurde und in dem Anzeigebereich 1103 angezeigt wurde. Wenn die Registrierung abgeschlossen ist, führt der UI-Handhabungsabschnitt 814 ein Wechseln zur nächsten UI durch.
16 zeigt eine Messungsbereicheinstell-UI 1600. Der Anzeigebereich 1103 der Messungsbereichseinstell-UI 1600 ist mit einem Bezugsbild 1601 und einem Rahmen 1602 versehen, der einen Messungsbereich zeigt. Der UI-Handhabungsabschnitt 814 verändert eine Position und eine Größe des Rahmens 1602 gemäß der Auswahl durch den Eingabeabschnitt 6. Der Nutzer stellt die Position und die Größe des Rahmens 1602 gemäß einer Position und einer Größer eines zu messenden Abschnitts in dem Bezugsbild 1601 ein. Der UI-Handhabungsabschnitt 814 führt ferner eine Buchstabensegmentierungseinstellung oder eine Wörterbucheinstellung zum Registrieren eines spezifischen Beispiels (Buchstabenbild) eines zu erkennenden Buchstabens, eines Buchstabens der dem Buchstabenbild entspricht, und dergleichen durch.
Als nächstes wird ein Fehlerinspektionswerkzeug beschrieben. Wie in 17 gezeigt, wenn die Fehlerinspektion durch den Inspektionskategorieauswahlknopf 1402 ausgewählt wird, zeigt der UI-Handhabungsabschnitt 814 einen Inspektionsinhaltsauswahlknopf 1701 an. In diesem Beispiel wurde ein Werkzeug zum Messen einer gesamten Fläche eines Fehlers durch den Inspektionsinhaltsauswahlknopf 1701 ausgewählt. Wenn der Hinzufügeknopf 1404 betätigt wird, wechselt der UI-Handhabungsabschnitt 814 die UI.
18 zeigt ein Messungsbereichseinstell-UI 1800. Das Messungsbereichseinstell-UI 1800 ist mit einem Rahmen 1802 zum Zeigen eines Messungsbereiches versehen. Eine Form des Rahmens 1802 ist veränderbar und beispielsweise jede Form einer Vielzahl an Formen wird durch ein Herabziehmenü 1801 zum Auswählen der Form ausgewählt. Der UI-Handhabungsabschnitt 814 überträgt den Rahmen 1802 mit der Form, die durch das Herabziehmenü 1801 ausgewählt wurde, an den Anzeigebereich 1103. Der UI-Handhabungsabschnitt 814 verändert eine Position und eine Größe des Rahmens 1802 gemäß der Auswahl durch den Eingabeabschnitt 6.
19 zeigt eine Einstell-UI 1900 zum Einstellen von Fehlerauswahlzuständen. Die Einstell-UI 1900 ist mit einem Herabziehmenü 1901 zum Auswählen einer Fehlererfassungsrichtung, einer Box 1902 zum Auswählen einer Fehlersegmentgröße und einem Verschieber 1903 zum Auswählen eines Fehlerniveaus versehen. Wenn der Fehlerinspektionsabschnitt 803 einen Fehler basierend auf den eingestellten Fehlererfassungsbedingungen, die durch die Einstell-UI 1900 eingestellt wurden, ermittelt, kann der UI-Handhabungsabschnitt 814 eine Fehlererkennungsmarkierung 1910 an einer Position des Fehlers anzeigen. Dies gestattet es dem Nutzer zu unterteilen, ob oder nicht die Fehlererfassungsbedingungen geeignet sind.
Inspektionsmodus
20 ist ein Flussdiagramm, das den Inspektionsmodus zeigt. Wenn der Start des Inspektionsmodus durch den Eingabeabschnitt 6 ausgewählt wird, wechselt der Prozessor 810 den Betriebsmodus hin zu dem Inspektionsmodus.
Im Schritt S2001 nimmt der Prozessor 810 ein Bild des Werkstückes auf, während er die Illuminationsrichtung gemäß dem eingestellten Illuminationsmuster verändert. Im Speziellen legt der Illuminationssteuerabschnitt 812 das Illuminationsmuster in Bezug auf die Einstelldaten fest, die in der Speichereinrichtung 820 gespeichert sind und überträgt einen Befehl zum Auswählen des Illuminationsmusters an das Illuminationssteuergerät 802. Der Bilderfassungssteuerabschnitt 813 legt Steuerparameter (Verschlussgeschwindigkeit, Sensitivität und dergleichen) betreffend die Kamera 4 unter Bezugnahme auf die Einstelldaten, die in der Speichereinrichtung 820 gespeichert sind, fest und überträgt einen Befehl zum Auswählen der Steuerparameter an die Kamera 4. Der photometrische Verarbeitungsabschnitt 811 überträgt ein Triggersignal zum Auswählen des Beginns der Illumination an das Illuminationssteuergerät 802 und in diesem Zusammenhang überträgt der photometrische Verarbeitungsabschnitt 811 ein Triggersignal zum Auswählen des Beginns der Bilderfassung der Kamera 4. Das Illuminationssteuergerät 802 wechselt die Illuminationsrichtung synchronisiert mit dem Tägersignal. Beispielsweise bringt, gemäß dem Illuminationsmuster, das durch den Befehl ausgewählt wurde, das Illuminationssteuergerät 802 die entsprechenden lichtaussenden Elemente der Reihe nach einzelnen in Bezug auf die vier Illuminationsrichtungen zum Leuchten. Das Illuminationssteuergerät 802 kann die entsprechende Beziehung zwischen dem Befehl und dem Illuminationsmuster in einem Speicher oder dergleichen aufbewahren. Nur ein Triggersignal kann zu Beginn der Illumination ausgegeben werden oder das Triggersignal kann zum Wechselzeitpunkt ausgegeben werden. Die Kamera 4 nimmt ein Bild des Werkstückes 2 gemäß den Steuerparametern auf und überträgt das Leuchtdichtebild an die Bildverarbeitungsvorrichtung 5. Auf eine solche Weise wird ein Leuchtdichtebild für eine Illuminationsrichtung erzeugt.
Im Schritt S2002 erhält der Prozessor 810 den Normalenvektor n und den Reflexionsgrad ρ aus der Vielzahl an Leuchtdichtebildern. Wie oben beschrieben wurde, wendet der photometrische Verarbeitungsabschnitt 811 Gleichung 1 an die Pixelwerte der Vielzahl an Leuchtdichtebildern an, um den Normalenvektor n und den Reflexionsgrad ρ zu erhalten.
In S2003 erzeugt der Prozessor 810 ein Inspektionsbild gemäß der eingestellten charakteristischen Größe. Wie oben beschrieben wurde, entscheidet der photometrische Verarbeitungsabschnitt 811 die Wichtung W, die der charakteristischen Größe entspricht, aus einer Wichtungstabelle oder dergleichen und führt die Akkumulationsberechnung unter Verwendung von Gleichung 2 durch, um ein Inspektionsbild (Neigungsbild) zu erzeugen. Demgemäß kann der photometrische Verarbeitungsabschnitt 811 ein Neigungsbild mit einem Pixelwert basierend auf dem Normalenvektor n der Oberfläche des Werkstücks 2 aus einer Vielzahl an Leuchtdichtebildern erzeugen. Wenn eine Vielzahl an charakteristischen Größen mit jeweils unterschiedlichen Werten eingestellt ist, kann der photometrische Verarbeitungsabschnitt 811 ein Inspektionsbild in Bezug auf jede der Vielzahl an charakteristischen Größen erzeugen. Ferner kann der photometrische Verarbeitungsabschnitt 811 ein Reflexionsbild oder ein Texturbild durch die vorgenannte Technik erzeugen. Beispielsweise kann der photometrische Verarbeitungsabschnitt 811 den Reflexionsgrad ρ der Oberfläche des Werkstückes 2 gemeinsam mit dem Normalenvektor n der Oberfläche des Werkstücks aus der Vielzahl an Leuchtdichtebildern berechnen, um ein Reflexionsbild mit einem Pixelwert basierend auf dem Reflexionsgrad ρ zu erzeugen. Hier wird ein zu inspizierendes Bild erzeugt und ein Erzeugen eines nicht zu inspizierenden Bildes kann weggelassen werden.
In S2004, zeigt der Prozessor 810 das Inspektionsbild auf dem Anzeigeabschnitt 7 an. Der UI-Handhabungsabschnitt 814 kann simultan oder wahlweise an dem Anzeigeabschnitt 8 das Leuchtdichtebild, das Neigungsbild und das Reflexionsbild gemeinsam mit dem Inspektionsbild anzeigen. Wenn die Bilder wahlweise angezeigt werden, kann der UI-Handhabungsabschnitt 814 beispielsweise die vier Leuchtdichtebilder durch sequentielles Wechseln gemäß einer Wechselauswahl durch den Eingabeabschnitt 6 wechseln. Beispielsweise kann durch den Eingabeabschnitt 6 eine spezielle Taste, die in der Konsole vorgesehen ist, als Bildwechselknopf zugeordnet werden.
In S2005 wählt der Prozessor 810 den Bildverarbeitungsabschnitt 830 aus, um die Inspektion durchzuführen. Wenn die Inspektion ausgewählt wurde, aktiviert der Bildverarbeitungsabschnitt 830 ein vorher eingestelltes Inspektionswerkzeug, um die Inspektion an dem Inspektionsbild durchzuführen. Beispielsweise benachteiligt der Fehlerinspektionsabschnitt 831 ein Fehlerniveau gemäß dem einstellten Messungsbereich und den Erfassungsbedingungen, und überträgt ein Ergebnis der Inspektion (Fehlerniveau) an den Erfassungsabschnitt 840. Es sei angemerkt, dass der Fehlerinspektionsabschnitt 831 eine Mustersuche unter Verwendung des vorgenannten Bezugsbildes ausführen kann und einen Inspektionsbereich einstellen kann, um die Inspektion in dem Inspektionsbereich durchzuführen. Ferner führt der OCR-Abschnitt 832 eine Buchstabenerkennungsverarbeitung an dem Inspektionsbild gemäß einer vorher eingestellten Buchstabenerkennungseinstellung durch und überträgt ein Ergebnis der Buchstabenerkennung an den Erfassungsabschnitt 840. Der OCR-Abschnitt 832 kann auch eine Mustersuche unter Verwendung des vorgenannten Bezugsbildes durchführen und einen Inspektionsbereich (Buchstabenerkennungsbereich) einstellen, um eine Inspektion in dem Inspektionsbereich durchzuführen.
In S2006 vergleicht der Ermittlungsabschnitt 840 des Prozessors 810 das Inspektionsergebnis und einen Ermittlungsgrenzwert, um zu ermitteln, ob oder nicht das Werkstück 2 ein nicht-schadhaftes Produkt ist. Beispielsweise, in einem Fall, in dem eine Einstellung durchgeführt wurde, um sowohl die Fehlerinspektion und die OCR durchzuführen, ermittelt der Erfassungsabschnitt 840 das Werkstück 2 als nicht-schadhaftes Produkt, wenn sowohl das Ergebnis der Inspektion durch den Fehlerinspektionsabschnitt 830 als auch das Ergebnis der Buchstabenerkennung durch den OCR-Abschnitt 832 das Sollniveau erreicht haben.
Bildspeichereinstellung
21 zeigt ein Beispiel eines UI 2100 zum Einstellen eines Inspektionsflusses. Der UI-Handhabungsabschnitt 814 zeigt die UI 2100 an dem Anzeigeabschnitt 7 an und stellt eine Vielzahl an Schritten, die durchzuführen sind, ausgehend vom Start bis hin zum Ende des Inspektionsflusses gemäß der Auswahl, die mit dem Eingabeabschnitt 6 eingegeben wurde, ein. In diesem Beispiel werden ein Bilderfassungsschritt, ein Mustersuchschritt, ein Positionskorrekturschritt und ein Fehlerinspektionsschritt zu dem Inspektionsfluss hinzugefügt. Beispielweise, wenn das Ende des Inspektionsflusses durch den Eingabeabschnitt 6 ausgewählt wurde, kann der UI-Handhabungsabschnitt 814 solch eine Einstellung durchführen, um eine Inspektionsgeschichte (History) am Ende zu speichern. Die Inspektionsgeschichte ist ein Inspektionsergebnis, ein Bild, das bei der Inspektion verwendet wurde, und dergleichen.
Zum Zeitpunkt des Hinzufügens von jedem Schritt kann der UI-Handhabungsabschnitt 814 die Auswahl eines zu verwendenden Bildes in jedem Schritt durch den Eingabeabschnitt 6 akzeptieren. Beispielsweise kann durch den Eingabeabschnitt 6 der Nutzer vier Leuchtdichtebilder mit vier unterschiedlichen Leuchtdichterichtungen auswählen, ein Neigungsbild, ein Reflexionsbild oder dergleichen als ein Aneignungsziel für den Bilderfassungsschritt. Der Nutzer kann irgendeines der Inspektionsbilder auswählen (das Illuminationsbild aus allen Richtungen, etc.) als ein Suchziel für den Mustersucheschritte. Der Nutzer kann ein Inspektionsbild, das aus dem Neigungsbild erzeugt wurde, als ein Inspektionsziel für den Fehlerinspektionsschritt bestimmen. In der vorliegenden Ausführungsform kann eine Vielzahl Formbildern und Reflexionsbildern, die aus der Vielzahl an Leuchtdichtebildern erzeugt wird, die in dem Bilderfassungsabschnitt ausgenommen wurden, in einem späteren Inspektionsschritt ausgegeben werden, wodurch der Nutzer eine Vielzahl an Inspektionsbildern anwenden kann, die in dem gemeinsamen Bilderfassungsschritt erzeugt wurden, an eine Vielzahl an Inspektionen, die den Eigenschaften von jedem Bild entsprechen.
22 zeigt ein Beispiel eines UI 2200 zum Einstellen eines Zustandes zum Speichern von Historien. Ein Einstellabschnitt 2201 zum Einstellen einer Identifizierungsinformation zum Identifizieren eines Speicherzustandes ist ein Herabziehmenü zum Auswählen von Identifizierungsinformationen, um gemäß einer Vielzahl an Teilen an Identifizierungsinformationen eingestellt zu werden. In diesem Beispiel wird in dem Einstellabschnitt 2201 ein Speicherzustand für Identifizierungsinformationen mit „0“ ausgewählt. Beispiele des Speicherzustandes umfassen einen Zustand, in dem Bilder nur gespeichert werden, wenn ein Inspektionsergebnis zeigt, dass das Werkzeug ein nicht-schadhaftes Produkt ist, und einen Zustand, in dem Bilder konstant für jedes Werkstück gespeichert werden, unabhängig von dem Inspektionsergebnis. Hier aktiviert der Prozessor 810 den Zustandseinstellabschnitt 819, wenn er erfasst, dass der Detaileinstellknopf oder dergleichen gedrückt ist. Der Zustandseinstellabschnitt 819 kann beispielweise einen Modus zum konstanten Speichern oder Ausgeben eines Bildes und einen Modus zum Speichern oder Ausgeben eines Bildes, wenn der Erfassungsabschnitt 840 ermittelt, dass ein Inspektionsziel nicht ein nicht-schadhaftes Produkt ist, aufweisen. Ein Inspektionsauswahlabschnitt 2202 wählt ein Bild aus, das gespeichert wird, wenn der Speicherzustand erfüllt ist. Hier kann „alle“ oder „bezeichne“ (alternativ auch „bestimme") durch den Bildauswahlabschnitt 2202 ausgewählt werden. Ein Speicherzielauswahlabschnitt 2203 ist ein Herabziehmenü zum Auswählen eines Bildspeicherzieles (beispielsweise ein portables Medium, wie ein interner Speicher oder eine Speicherkarte, oder ein Netzwerkspeicher, wie beispielweise ein FTP-Server).
23 zeigt ein Beispiel einer UI 2300, bei der der UI-Handhabungsabschnitt 814 an dem Anzeigeabschnitt 7 anzeigt, wenn „bestimmen“ in dem Bildauswahlabschnitt 2202 ausgewählt wird. In diesem Beispiel ist eine Auswahlbox 2301 zum Auswählen eines tatsächlich zu speichernden Bildes aus all den Typen an Bildern, die in dem Inspektionsfluss gehandhabt werden, vorgesehen. „Form 1“ und „Form 2“ sind Inspektionsbilder (Neigungsbilder) mit unterschiedlichen charakteristischen Größen. „Textur“ ist ein Reflexionsbild. „Normal“ ist ein Bild, das durch eine Beleuchtung aus allen Richtungen aufgenommen wurde. Jeder der vier Richtungspfeile bezeichnet ein Bild für eine Illuminationsrichtung. Ein Bild, dessen Auswahlbox markiert ist, ist als zu speicherndes Bild eingestellt.
Im Übrigen kann der Prozessor 810 mit einem Auswahlabschnitt zum Auswählen, ob oder nicht ein Zustand zum Speichern oder Ausgeben eines Bildes erfüllt ist, nachdem der Ermittlungsabschnitt 840 die Ermittlung abschließt, versehen sein. D.h. in dem Endabschnitt des Inspektionsflusses kann der Prozessor 810 urteilen, ob oder nicht der Speicherzustand oder die Ausgabebedingung, die von dem Bedingungseinstellabschnitt 819 eingestellt wurde, erfüllt ist.
24 zeigt ein Beispiel des Hinzufügens eines Bildausgabeschrittes 2401 zu dem Inspektionsfluss. In dem vorgenannte Bespiel wurde das Einstellen durchgeführt, um ein Bild an dem Ende des Inspektionsflusses auszugeben, jedoch stellt in diesem Beispiel der UI-Handhabungsabschnitt 814 den Bildausgabeschritt 2401 an einer beliebigen Position des Inspektionsflusses gemäß der Nutzerauswahl, die mittels des Eingabeabschnitts 6 eingegeben wurde, ein. Auf eine solche Weise kann der Prozessor 810 unterteilen, ob oder nicht die Bedingung zum Speichern oder Ausgeben eines Bildes in dem Bildausgabeschritt 2401 erfüllt wurde, der angeordnet ist bevor der Ermittlungsabschnitt 840, die Ermittlung abschließt. Die Speichereinstellung und dergleichen, die in Bezug zu dem Bildausgabeschritt 2401 steht, kann ähnlich zu der unter Bezugnahme auf 21 bis 23 beschriebenen sein oder unterschiedlich sein.
25 zeigt ein unterschiedliches Beispiel einer UI in Bezug auf die Speichereinstellung (Ausgabeeinstellung). In einem Zustand, in dem der Bildausgabeschritt 2401 durch den Eingabeabschnitt 6 ausgewählt wurde, wenn die Auswahl eine Einstellung vorzunehmen durch den Eingabeabschnitt 6 eingegeben wird, zeigt der UI-Handhabungsabschnitt 814 eine UI 2501 an. Eine Bildvariable 2502 wirkt als ein Bildauswahlabschnitt zum Auswählen eines auszugebenen Bildes und in diesem Beispiel wird ein auszugebendes Bild durch die Bildvariable bestimmt, die zu jedem Schritt in dem Inspektionsfluss hinzugefügt wird. D.h., das auszugebende Bild kann für jeden Schritt ausgewählt werden. In der UI 2501 können die Anzahl an ausgegeben Bildern, eine Bildform und dergleichen eingestellt werden. Ein Ausgabezielauswahlabschnitt 2503 ist ein Herabziehmenü zum Auswählen eines Bildausgabezieles (beispielweise ein tragbares Speichermedium, wie ein interner Speicher oder eine Speicherkarte, eine Netzwerkspeicher, wie beispielweise ein FTP-Server).
26 ist ein Beispiel eines UI 2600 zum Auswählen eines Bildes. Wenn ein Detaileinstellknopf in dem UI 2501 gedrückt wird, zeigt der UI-Handhabungsabschnitt 814 ein UI 2600. Das UI 2600 ist mit einem Schaltknopf zum Auswählen, ob alle Bilder zu speichern sind oder zum individuellen Auswählen der Bilder, und dergleichen versehen. In diesem Beispiel, da das individuelle Einstellen durch den Schaltknopf ausgewählt wird, sind Auswahlboxen markiert und einige Bilder werden durch die Auswahlboxen ausgewählt. Auf diese Weise kann ein zu speicherndes oder auszugebendes Bild aus einer Vielzahl an Leuchtdichtebildern, ein Inspektionsbild, ein Illuminationsbild aus allen Richtungen und ein künstlich hergestelltes Leuchtdichtebild, das durch Synthetisieren der Vielzahl an Leuchtdichtebildern erhalten wurde, ausgewählt werden. Ferner kann das UI 2600 ausgebildet sein, um ein Bild, welches zu speichern oder auszugeben ist, aus einer Vielzahl an Inspektionsbildern mit jeweils unterschiedlichen charakteristischen Größen auszuwählen. Ferner kann das UI 2600 konfiguriert sein, so dass ein zu speicherndes oder auszugebendes Bild aus einer Vielzahl an Leuchtdichtebildern, einem Inspektionsbild, und einem Reflexionsbild, dessen Pixelwert eine Reflexion der Oberfläche des Inspektionszieles ist, ausgewählt werden.
Zusammenfassung
Gemäß der vorliegenden Ausführungsform berechnet der photometrische Verarbeitungsabschnitt 811 einen Normalenvektor der Oberfläche des Werkstückes 2 aus einer Vielzahl an Leuchtdichtebildern, die von der Kamera 4 gemäß dem photometrischen Stereoverfahren erhalten wurden und führt eine Akkumulationsberechnung eines Pixelwertes eines Pixels von Interesse unter Verwendung eines Normalenvektors eines Pixels angrenzend an das Pixel von Interesse in Bezug auf ein Neigungsbild, das aus Pixelwerten ausgebildet wurde, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern berechnet wurde, und einem reduzierten Bild des Neigungsbildes durch, um ein Inspektionsbild mit dem Pixelwert zu erzeugen. Ferner kann der photometrische Verarbeitungsabschnitt 811 ein Neigungsbild und zumindest ein reduziertes Bild des Neigungsbildes erzeugen und eine Syntheseverarbeitung des Synthetisierens von zumindest zwei Bildern aus dem Neigungsbild und zumindest einem reduzierten Bild durchführen, um ein Inspektionsbild zu erzeugen, das eine Oberflächenform des Inspektionszieles zeigt. Insbesondere, gemäß der vorliegenden Ausführungsform, wird der Einstellabschnitt 815 für die charakteristische Größe zum Einstellen einer charakteristischen Größe vorgesehen, welches ein Parameter zum Wichten einer Komponente eines reduzierten Bildes ist, der in der Syntheseverarbeitung verwendet wird (beispielweise Akkumulationsberechnung). Somit, durch Einführen des Konzeptes der charakteristischen Größe, kann ein Parameter einfach zum Zeitpunkt des Erzeugens eines Inspektionsbildes aus einem Bild eingestellt werden, das unter Verwendung des photometrischen Stereoprinzips aufgenommen wurde. Es sei angemerkt, dass der photometrische Verarbeitungsabschnitt 811 ein unterschiedliches Inspektionsbild gemäß einer charakteristischen Größe erzeugen kann, die durch den Einstellabschnitt 815 für die charakteristische Größe eingestellt wurde. Der photometrische Verarbeitungsabschnitt 811 kann eine Vielzahl an reduzierten Bildern mit jeweils unterschiedlichen Reduzierungsverhältnissen erzeugen. Ferner, wenn die charakteristische Größe durch den Einstellabschnitt 815 für die charakteristische Größe verändert wird, kann der photometrische Verarbeitungsabschnitt 811 die charakteristische Größe in Bezug auf das benötigte Neigungsbild ohne erneute Bildaufnahme verändern, um das Inspektionsbild zu aktualisieren. Da dies die Notwendigkeit des erneuten Aufnehmens eines Bildes eliminiert, wird das Reproduzieren einer Bildaufnahmeumgebung zum Zeitpunkt des Einstellens nicht benötigt und folglich ist es möglich eine optimale Einstellung durchzuführen, während die Einstellung der charakteristischen Größe in Bezug auf das Bild, welches erfasst und gespeichert wird, verändert wird. Der Einstellabschnitt 815 für die charakteristische Größe kann unterschiedliche charakteristische Größen auf eine stufenweise Art entsprechend einer Inspektionsapplikation einstellen. Beispielsweise wird in Betracht gezogen, dass die charakteristische Größe auf eine stufenweise Art entsprechend der Anwendung eingestellt werden kann, beispielweise ist die charakteristische Größe eher gering in dem Fehlerinspektionsmodus und die charakteristische Größe ist größer in dem OCR-Erkennungsmodus. Beispielsweise kann die charakteristische Größe auf eine stufenweise Art entsprechend der Anwendung eingestellt werden, beispielsweise ist die charakteristische Größe eher geringer in dem Fehlerinspektionsmodus und die charakteristische Größe ist eher groß in dem OCR-Erkennungsmodus. Die ist nützlich, wenn eine geeignete charakteristische Größe vorher nicht bekannt ist.
Der Einstellabschnitt 815 für die charakteristische Größe kann eine Vielzahl an charakteristischen Größen mit jeweils unterschiedlichen Werten einstellen. In diesem Fall kann der photometrische Verarbeitungsabschnitt 811 ein Inspektionsbild in Bezug auf jede der Vielzahl an charakteristischen Größen, die durch den Einstellabschnitt 815 für die charakteristische Größe eingestellt werden, erzeugen. Es wird in Erwägung gezogen, dass eine geeignete charakteristische Größe sich gemäß einem Typ an Inspektionswerkzeug unterscheidet. Daher ist das Erzeugen von Inspektionsbildern gemäß einer Vielzahl an charakteristischen Größen mit jeweils unterschiedlichen Werten vorteilhaft beim Auswählen eines geeigneteren Bildes gemäß der Inspektion.
Der Fehlerinspektionsabschnitt 831 kann eine Fehlerinspektion an einer Vielzahl an Inspektionsbildern durchführen, die unter Verwendung jeweils unterschiedlicher charakteristischer Größen erzeugt wurden und der Ermittlungsabschnitt 840 kann die Schadhaftigkeit/Nicht-Schadhaftigkeit an dem Werkstück 2 unter Verwendung eines Ergebnisses der Inspektion durch den Fehlerinspektionsabschnitt 831 ermitteln. Das Ausführen der Fehlerinspektion an der Vielzahl an Inspektionsbildern eliminiert die Notwendigkeit zum vorherigen Auswählen eines Inspektionsbildes, was angenehmen für den Nutzer ist. Der OCR-Abschnitt 832 kann eine Buchstabenerkennungsverarbeitung an einer Vielzahl Inspektionsbildern durchführen, die unter Verwendung von jeweils unterschiedlichen charakteristischen Größen erzeugt wurden und der Ermittlungsabschnitt 840 kann eine Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung eines Ergebnisses der Buchstabenerkennung durch den OCR-Abschnitt 832 ermitteln. Das Durchführen der Buchstabenerkennungsverarbeitung an der Vielzahl an Inspektionsbildern eliminiert die Notwendigkeit zum vorherigen Einstellen eines Inspektionsbildes, was für den Nutzer angenehm ist.
Eigentlich kann ein Höhenbild, das eine Höhe des Werkstückes 2 zeigt, durch das photometrische Stereoverfahren erzeugt werden. Jedoch benötigt das Messen der Höhe an der Oberfläche des Werkstückes 2 eine erkennbar strenge Einstellung einer Positionsbeziehung zwischen der Kamera 4 und der Illuminationsvorrichtung 3. Im Übrigen kann aus den Bildern, die durch das photometrische Stereoverfahren erhalten wurden, eine Forminformation oder Texturinformation (Gestaltung/Design) verwendet werden, ohne die Höheninformation einzuholen. Beispielsweise, wenn die Fehlerinspektion oder die OCR durchzuführen ist, wird eine genaue Einstellung der Kamera 4 und der Illuminationsvorrichtung 3 nicht benötigt. Demgemäß, wenn das Inspektionswerkezeug nicht genaue Höhendaten benötigt, ist es möglich die Anordnungsbedingungen für die Kamera 4 und die Illuminationsvorrichtung 3 zu lockern. Es sei angemerkt, dass die Anzahl an Illuminationsrichtungen 3 oder mehr betragen kann.
Der photometrische Verarbeitungsabschnitt 811 kann einen Reflexionsgrad der Oberfläche des Werkstückes 2 gemeinsam mit einem Normalenvektor der Oberfläche des Werkstückes 2 aus der Vielzahl an Leuchtdichtebildern berechnen, die von der Kamera 4 aufgenommen wurden, um ein Reflexionsbild zu erzeugen, das aus Pixelwerten ausgebildet ist, die auf dem Reflexionsgrad basieren, und der Ermittlungsabschnitt 840 kann die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung des Reflexionsbildes ermitteln. Dies ist so, da es auch ein Inspektionswerkzeug gibt, in dem ein Reflexionsbild auf geeignete Weise für die Inspektion verwendet wird. Der photometrische Verarbeitungsabschnitt 811 kann ein Neigungsbild erzeugen, das aus Pixelwerten ausgebildet ist, basierend auf einem Normalenvektor der Oberfläche des Werkstückes 2 aus der Vielzahl an Leuchtdichtebildern, die von der Kamera 4a aufgenommen wurden und der Ermittlungsabschnitt 840 kann die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung des Neigungsbildes ermitteln. Dies ist so, da es auch ein Inspektionswerkzeug gibt, in dem ein Neigungsbild auf geeignete Weise für die Inspektion verwendet wird. Der Ermittlungsabschnitt 840 kann die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung eines Leuchtdichtebildes ermitteln. Die ist so, da es auch ein Inspektionswerkzeug gibt, in dem ein Leuchtdichtebild bevor es in ein Neigungsbild oder ein Reflexionsbild verarbeitet wird, auf geeignete Weise für die Inspektion verwendet wird. Der Ermittlungsabschnitt 840 kann eine Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstücks 2 unter Verwendung von zumindest einem Leuchtdichtebild aus einer Vielzahl von Leuchtdichtebildern mit jeweils unterschiedlichen Illuminationsrichtungen ermitteln. Da es einen Fehler oder dergleichen gibt, der klar durch die Unterschiede in der Illuminationsrichtung wird, ist ein Leuchtdichtebild, das durch Illuminieren des Werkstückes 2 aus einer bestimmten Richtung erhalten wird, geeignet zum Ermitteln solch eines Fehlers.
Der Ermittlungsabschnitt 840 kann simultan alle die Lichtquellen der Illuminationsvorrichtung 3 zum Leuchten bringen und die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung eines Leuchtdichtebildes ermitteln, das von der Kamera 4 aufgenommen wurde. D.h. unter Verwendung eines sogenannten Illuminationsbildes aus allen Richtungen (engl.: all-directional illumination image) kann ermittelt werden, ob das Werkstück 2 schadhaft oder nicht schafhaft ist. Beispielsweise kann das Illuminationsbild aus allen Richtungen geeignet sein zur Berechnung eines Bereiches eines bestimmten Abschnitts des Werkstückes 2 oder zur Messung einer Länge eines Anschlusses.
Der Ermittlungsabschnitt 840 kann eine Vielzahl an Leuchtdichtebildern mit jeweils unterschiedlichen Illuminationsrichtungen synthetisieren und die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 unter Verwendung des erzeugten synthetisierten Leuchtdichtebildes ermitteln. Das synthetisierte Leuchtdichtebild ist ein Bild ähnlich zu dem Leuchtdichtebild aus allen Richtungen. Daher, unter Verwendung des synthetisierten Leuchtdichtebildes anstatt des Leuchtdichtebildes aus allen Richtungen, ist es möglich die Inspektion durchzuführen ohne das Illuminationsbild aus allen Richtungen aufzunehmen. In dem Fall, in dem ein Illuminationsbild aus allen Richtungen benötigt wird, ist es nötig vier Leuchtdichtebilder mit jeweils unterschiedlichen Illuminationsrichtungen aufzunehmen und ein Leuchtdichtebild aus allen Richtungen kann durch simultane Illumination aus vier Richtungen erhalten werden. D.h. fünfmalige Illumination und fünfmaliges Bildaufzeichnen werden benötigt. Auf der anderen Seite, wenn das synthetisierte Leuchtdichtebild verwendet wird, kann ein viermaliges Illuminieren und ein viermaliges Bildaufzeichnen durchgeführt werden. Auf diese Weise kann ein Auswählen des synthetisierten Leuchtdichtebildes eine Verarbeitungslast des Prozessors 810 reduzieren, wenn eine Vielzahl an Inspektionsbildern in einer kurzen Zeitdauer verarbeitet werden muss. Ferner, sowie die Anzahl an aufgezeichneten Bildern ansteigt, wird es notwendig eine Fördergeschwindigkeit des Förderbandes 1 abzusenken. Jedoch, in der vorliegenden Ausführungsform, da die Anzahl an benötigten Bildern reduziert werden kann, kann die Fördergeschwindigkeit des Förderbandes 1 erhöht werden.
Die Speichereinrichtung 820 kann ein Inspektionsbild speichern und halten. Der Ermittlungsabschnitt 840 oder der Bildverarbeitungsabschnitt 830 kann das Inspektionsbild aus der Speichereinrichtung 820 lesen und die Inspektion durchführen, um die Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstückes 2 basierend auf dem Inspektionsergebnis zu ermitteln. Es sei angemerkt, dass die Speichereinrichtung 820 der interne Speicher, das Speichermedium vom portablen Typ und/oder der Netzwerkspeicher sein kann. Beispielweise, wenn ein Inspektionsbild in dem portablen Speichermedium oder in dem Netzwerkspeicher gespeichert wird, ist es möglich, eine Inspektionsverarbeitung in einer unterschiedlichen Vorrichtung zu der Vorrichtung durchzuführen, die das Inspektionsbild erzeugt hat.
Die Speichereinrichtung 820 kann eine Vielzahl an Inspektionsbildern speichern, die durch Anwenden charakteristischer Größen mit jeweils unterschiedlichen Werten erzeugt wurden. Zusätzlich zu dem Inspektionsbild kann die Speichereinrichtung 820 zumindest ein Neigungsbild und ein Reflexionsbild speichern. Der Bildauswahlabschnitt 816 kann ein Inspektionsbild aus einer Vielzahl an Inspektionsbildern auswählen. Ferner kann der Inspektionswerkzeugeinstellabschnitt 817 ein Inspektionswerkzeug für das Inspektionsbild einstellen, das durch den Bildeinstellabschnitt 816 ausgewählt wurde. Unter der Vielzahl an Inspektionsbildern, die durch Anwenden der charakteristischen Größen mit jeweils unterschiedlichen Werten erzeugt wurden, kann ein für die Inspektion nicht notwendiges Inspektionsbild existieren. Folglich kann der Nutzer ein Inspektionsbild gemäß einem Inspektionswerkzeug auswählen.
Wie unter Verwendung von 15 und dergleichen beschrieben wurde, kann ein Bildverarbeitungsabschnitt 830 eine Mustersuche unter Verwendung eines Referenzbildes durchführen, das aus einem nicht-schadhaften Produkt erhalten wurde, um einen Inspektionsbereich einzustellen. Der Ermittlungsabschnitt 840 kann eine Schadhaftigkeit/Nicht-Schadhaftigkeit des Werkstücks 2 unter Verwendung eines Ergebnisses der Inspektion ermitteln, die in dem Inspektionsbereich durchgeführt wurde. Der Inspektionsbereich ist beispielweise ein Buchstabenerkennungsbereich.
Wie unter Verwendung von 11 und 21 bis 26 beschrieben wurde, kann der Bildauswahlabschnitt 816 ein Bild auswählen, das zu speichern oder auszugeben ist, aus einer Vielzahl an Leuchtdichtebildern die von der Kamera 4 und einem Inspektionsbild aufgenommen wurden. Ferner kann der Bildauswahlabschnitt 816 ein Bild auswählen, das zu speichern oder auszugeben ist, aus einer Vielzahl an Leuchtdichtebildern, einem Inspektionsbild, einem Leuchtdichtebild, das durch Beleuchten aller einer Vielzahl an Lichtquellen, die in der Illuminationsvorrichtung 3 vorgesehen sind, erhalten wurde, und einem synthetisierten Leuchtdichtebild, das durch Synthetisieren der Vielzahl an Leuchtdichtebildern erhalten wurde. Ferner, kann der Bildauswahlabschnitt 816 ein Bild auswählen, das zu speichern oder auszugeben ist, aus einer Vielzahl an Inspektionsbildern mit jeweils unterschiedlichen charakteristischen Größen. Ferner kann der Bildauswahlabschnitt 816 ein Bild auswählen, das zu speichern und auszugeben ist, aus einer Vielzahl an Leuchtdichtebildern, einem Inspektionsbild, und einem Reflexionsbild, dessen Pixelwert ein Reflexionsgrad der Oberfläche des Werkstücks 2 ist. Demgemäß wird das Zulassen eines Bildes, das in Bezug zu der als geeignet auszuwählenden Inspektion steht, das Speichern oder Ausgeben eines gewünschten Bildes vereinfachen.
Der Zustandseinstellabschnitt 819 zum Einstellen eines Zustandes zum Speichern oder Ausgeben eines Bildes kann ferner zur Verfügung gestellt werden. Beispielweise, wie unter Verwendung von 22 und 26 beschrieben, kann der Zustandseinstellabschnitt 819 beispielsweise den Modus zum konstanten Speichern oder Ausgeben eines Bildes und/oder den Modus zum Speichern und Ausgeben eines Bildes, wenn der Ermittlungsabschnitt 840 ermittelt, dass das Werkstück 2 ein nicht-schadhaftes Produkt ist, einstellen. Wie unter Verwendung von 21 bis 26 beschrieben wurde, kann der Prozessor 810 unterteilen, ob oder nicht die Bedingung zum Speichern oder Ausgeben eines Bildes erfüllt ist bevor oder nachdem der Ermittlungsabschnitt 840 die Ermittlung abschließt. Beispielweise ob oder nicht ein Bild gespeichert wird, kann zum dem Zeitpunkt beurteilt werden, wenn die Inspektion in dem Inspektionsfluss abgeschlossen ist, oder ob oder nicht ein Bild gespeichert wird kann in irgendeinem Schritt des Inspektionsflusses beurteilt werden. Insbesondere in dem letztgenannten Fall ist es auch möglich ein Zwischenbild zu speichern, das in der Mitte des Inspektionsflusses erzeugt wurde. Solch ein Zwischenbild ist nützlich zum Zeitpunkt des Suchens einer Ursache eines Fehlers bei der Inspektion und beim Einstellen eines Steuerparameters.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007-206797 A [0002, 0003, 0003, 0003]

Zitierte Nicht-Patentliteratur

A Method for Enforcing Integrability in Shape from Shading Algorithms“ (IEEE Transactions on Pattern Analysis and Machine Intelligence), IEEE Transkationen bei Musteranalyse und maschineller Intelligenz, Band 10, Nr. 4, Juli 1988 [0042]

Claims

Inspektionsvorrichtung, umfassend: einen Illuminationsabschnitt zum Illuminieren eines Inspektionszieles gemäß einem photometrischen Stereoverfahren; einen Bilderfassungsabschnitt zum Empfangen von reflektierendem Licht von dem illuminierten Inspektionsziel, um ein Leuchtdichtebild gemäß dem photometrischen Stereoverfahren zu erzeugen; einen Berechnungsabschnitt zum Berechnen eines Normalenvektors einer Oberfläche des Inspektionszieles aus einer Vielzahl an Leuchtdichtebildern, die von dem Bildverfassungsabschnitt aufgenommen wurden, zum Erzeugen eines Neigungsbildes, das aus Pixelwerten ausgebildet ist, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern berechnet wurde und zumindest einem reduzierten Bild des Neigungsbildes, und zum Durchführen einer Syntheseverarbeitung des Synthetisierens von zumindest zwei Bildern aus dem Neigungsbild und dem zumindest einen reduzierten Bild, um ein Inspektionsbild zu erzeugen, das eine Oberflächenform des Inspektionszieles zeigt; einen Ermittlungsabschnitt zum Ermitteln einer Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Inspektionsbildes; und einen Einstellabschnitt zum Einstellen einer charakteristischen Größe, welches ein Parameter zum Wichten einer Komponente des reduzierten Bildes zum Zeitpunkt des Durchführens der Syntheseverarbeitung ist, wobei der Berechnungsabschnitt ein unterschiedliches Inspektionsbild gemäß der charakteristischen Größe, die von dem Einstellabschnitt eingestellt wurde, erzeugt.
Inspektionsvorrichtung nach Anspruch 1, bei der der Berechnungsabschnitt eine Vielzahl an reduzierten Bildern unter Verwendung unterschiedlicher Reduzierungsverhältnisse erzeugt.
Inspektionsvorrichtung nach Anspruch 1 oder 2, bei der, wenn die charakteristische Größe durch den Einstellabschnitt verändert wird, der Berechnungsabschnitt die charakteristische Größe in Bezug auf das erhaltene Neigungsbild ohne erneute Bildaufzeichnung durch den Bilderfassungsabschnitt verändert, um das Inspektionsbild zu aktualisieren.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, bei der Einstellabschnitt unterschiedliche charakteristische Größen auf eine gestufte Weise gemäß einer Inspektionsapplikation einstellt.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, bei der der Einstellabschnitt eine Vielzahl an charakteristischen Größen mit jeweils unterschiedlichen Werten einstellt, und der Berechnungsabschnitt das Inspektionsbild in Bezug auf jede der Vielzahl an charakteristischen Größen, die durch den Einstellabschnitt eingestellt wurden, erzeugt.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: einen Fehlerinspektionsabschnitt zum Durchführen einer Fehlerinspektion an einer Vielzahl an Inspektionsbildern, die unter Verwendung jeweils unterschiedlicher charakteristischer Größen erzeugt wurden, wobei der Ermittlungsabschnitt die Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung eines Ergebnisses der Inspektion des Fehlerinspektionsabschnittes ermittelt.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: einen Buchstabenerkennungsabschnitt zum Durchführen einer Buchstabenerkennungsbearbeitung an einer Vielzahl an Inspektionsbildern, die unter Verwendung jeweils unterschiedlicher charakteristisches Größen erzeugt wurden, wobei der Ermittlungsabschnitt die Schadhaftigkeit/ Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung eines Ergebnisses der Buchstabenerkennung durch den Buchstabenerkennungsabschnitt ermittelt.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, bei der der Berechnungsabschnitt einen Reflexionsgrad der Oberfläche des Inspektionszieles gemeinsam mit einem Normalenvektor der Oberfläche des Inspektionszieles aus einer Vielzahl an Leuchtdichtebildern berechnet, die von dem Bilderfassungsabschnitt erfasst wurden, um ein Reflexionsbild zu erzeugen, dessen Pixelwert der Reflexionsgrad ist, und wobei der Ermittlungsabschnitt die Schadhaftigkeit/ Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Reflexionsbildes ermittelt.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, bei der der Berechnungsabschnitt ein Neigungsbild, das aus Pixelwerten ausgebildet ist, basierend auf einem Normalenvektor der Oberfläche des Inspektionszieles, aus einer Vielzahl an Leuchtdichtebildern erzeugt, die von dem Bilderfassungsabschnitt aufgenommen wurden, und wobei der Erfassungsabschnitt die Schadhaftigkeit/ Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Neigungsbildes ermittelt.
Die Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: einen Speicherabschnitt zum Speichern des Inspektionsbildes, wobei der Ermittlungsabschnitt das Inspektionsbild aus dem Speicherabschnitt ausließt und eine Inspektion durchführt, um die Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles basierend auf einem Ergebnis der Inspektion zu ermitteln.
Inspektionsvorrichtung nach Anspruch 10, bei der der Inspektionsabschnitt eine Vielzahl an Inspektionsbildern, die durch Anwenden charakteristischer Größen mit jeweils unterschiedlichen Werten erzeugt wurden, speichert.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: einen Auswahlabschnitt zum Auswählen eines Inspektionsbildes aus einer Vielzahl an Inspektionsbildern; und einen Inspektionswerkzeugeinstellabschnitt zum Einstellen eines Inspektionswerkzeuges für das Inspektionsbild, das von dem Auswahlabschnitt ausgewählt wurde.
Inspektionsvorrichtung nach einem der vorhergehenden Ansprüche, ferner umfassend: einen Bildauswahlabschnitt zum Auswählen eines Bildes, das zu speichern oder auszugeben ist, aus einer Vielzahl an Leuchtdichtebildern, die von dem Bilderfassungsabschnitt erfasst wurden, und dem Inspektionsbild.
Inspektionsvorrichtung Anspruch 13, bei der der Auswahlabschnitt ein Bild auswählt, das zu speichern oder auszugeben ist, aus der Vielzahl an Leuchtdichtebildern, dem Inspektionsbild, einem Leuchtdichtebild, das durch zum Leuchten bringen aller der Vielzahl an Lichtquellen, die in den Illuminationsabschnitten vorhanden sind, erhalten wurde, und einem synthetisierten Leuchtdichtebild, das durch synthetisieren der Vielzahl an Leuchtdichtebildern erhalten wurde.
Inspektionsvorrichtung nach Anspruch 13, bei der der Bildauswahlabschnitt ein Bild auswählt, das zu speichern oder auszugeben ist, aus der Vielzahl an Inspektionsbildern mit jeweils unterschiedlichen charakteristischen Größen.
Inspektionsvorrichtung nach Anspruch 13, bei der der Bildauswahlabschnitt ein Bild auswählt, das zu speichern oder auszugeben ist, aus der Vielzahl an Leuchtdichtebildern, dem Inspektionsbild, und einem Reflexionsbild, dessen Pixelwert ein Reflexionsgrad der Oberfläche des Inspektionszieles ist.
Inspektionsvorrichtung nach Anspruch 13, ferner aufweisend: einen Bedingungseinstellabschnitt zum Einstellen einer Bedingung zum Speichern und/oder Ausgeben eines Bildes.
Inspektionsvorrichtung nach Anspruch 17, bei der der Zustandseinstellabschnitt einen Modus zum konstanten Speichern und/oder Ausgeben eines Bildes einstellt oder einen Modus zum Speichern und/oder Ausgeben eines Bildes einstellt, wenn der Ermittlungsabschnitt ermittelt, dass das Inspektionsziel ein nicht-schadhaftes Produkt ist.
Programm, welches einen Computer dazu bringt, zu wirken als: ein Illuminationsabschnitt zum Illuminieren eines Inspektionszieles gemäß einem photometrischen Stereoverfahren; einen Bilderfassungsabschnitt zum Empfangen von reflektierendem Licht von dem illuminierten Inspektionsziel, um ein Leuchtdichtebild gemäß dem photometrischen Stereoverfahren zu erzeugen; einen Berechnungsabschnitt zum Berechnen eines Normalenvektors einer Oberfläche des Inspektionszieles aus einer Vielzahl an Leuchtdichtebildern, die von dem Bilderfassungsabschnitt erfasst wurden, und zum Durchführen einer Syntheseverarbeitung des Synthetisierens von zumindest zwei Bildern aus einem Neigungsbild, das aus Pixelwerten ausgebildet ist, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern und zumindest einem reduzierten Bild des Neigungsbildes erzeugt wurde, um ein Inspektionsbild zu erzeugen, das eine Oberflächenform des Inspektionszieles zeigt; einen Ermittlungsabschnitt zum Ermitteln der Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Inspektionsbildes; und einen Einstellabschnitt zum Einstellen einer charakteristischen Größe, welches ein Parameter zum Wichten einer Komponente des reduzierten Bildes zum Zeitpunkt des Durchführens der Synthesebearbeitung ist, wobei der Berechnungsabschnitt ein unterschiedliches Inspektionsbild gemäß der charakteristischen Größe, die durch den Einstellabschnitt eingestellt wurde, erzeugt.
Inspektionsverfahren umfassend: einen Illuminationsschritt des Illuminierens eines Inspektionszieles gemäß einem photometrischen Stereoverfahren; einen Bilderfassungsschritt des Empfanges von reflektierendem Licht von dem illuminierten Inspektionsziel, um ein Leuchtdichtebild gemäß dem photometrischen Stereoverfahren zu erzeugen; einen Berechnungsschritt des Berechnens eines Normalenvektors einer Oberfläche des Inspektionszieles aus einer Vielzahl an Leuchtdichtebildern, die in dem Bilderfassungsschritt aufgezeichnet wurden, und des Durchführens einer Synthesebearbeitung des Synthetisierens von zumindest zwei Bildern aus einem Neigungsbild, das aus Pixelwerten ausgebildet ist, basierend auf dem Normalenvektor, der aus der Vielzahl an Leuchtdichtebildern berechnet wurde, und zumindest einem reduzierten Bild des Neigungsbildes, um ein Inspektionsbild zu erzeugen, das eine Oberflächenform des Inspektionszieles zeigt; und einen Ermittlungsschritt des Ermittelns einer Schadhaftigkeit/Nicht-Schadhaftigkeit des Inspektionszieles unter Verwendung des Inspektionsbildes, wobei das Verfahren ferner umfasst: einen Einstellschritt des Einstellens einer charakteristischen Größe, welches ein Parameter zum Wichten einer Komponente des reduzierten Bildes zum Zeitpunkt des Durchführend des Syntheseverarbeitung ist, wobei in dem Berechnungsschritt ein unterschiedliches Inspektionsbild gemäß der charakteristischen Größe, die in dem Einstellschritt eingestellt wurde, erzeugt wird.