-
TECHNISCHES
GEBIET
-
Die
vorliegende Erfindung betrifft ein Bildverarbeitungsverfahren für eine Prüfung eines
Erscheinens oder Aussehens, und insbesondere ein Verfahren zur Prüfung des
Aussehens eines Gegenstands im Vergleich zu einem vorbestimmten
Referenzbild, das bereits als eine Referenz für den Gegenstand vorbereitet wurde.
-
STAND DER
TECHNIK
-
Die
japanische Patentschrift JP 2001-175865 offenbart ein Bildverarbeitungsverfahren
für eine
Prüfung
eines Aussehens (Aussehensprüfung),
wobei ein Objektbild im Vergleich zu einem Referenzbild untersucht
wird, um Fehlerparameter zu erhalten, d.h., eine Position, einen
Drehwinkel und einen Maßstab
des Objektbilds relativ zum Referenzbild. Die so erhaltenen Fehlerparameter
werden dann angewandt, um das Referenzbild in Übereinstimmung mit dem Objektbild
zu transformieren, um einen Bereich zu erhalten, der den Bildern
nicht gemeinsam ist. Schließlich
wird anhand des Werts des so erhaltenen Bereichs bestimmt, ob der
Gegenstand einen Aussehensfehler wie z.B. ein Makel oder Fehler
(auch „Narbe" genannt), einen
Riß, Rost
oder ähnliches
aufweist oder nicht.
-
Doch
beim obigen System zur Prüfung
des Aussehens eines Gegenstands, das sich auf die Menge des differenzierten
Bereichs stützt,
ist es schwer, den Einfluß einer
möglichen
Verzerrung zu kompensieren oder zu beseitigen, wie z.B. einer linearen
Transformation, die auf eine relative Bewegung des Gegenstands zu
einer Kamera zurückzuführen ist,
oder einer quadratischen Transformation, die auf eine Abweichung
des Gegenstands von einer optischen Achse der Kamera zurückzuführen ist.
Mit diesem Ergebnis kann der Gegenstand als fehlerhaft erkannt werden,
obwohl er es tatsächlich
nicht ist.
-
In
der Veröffentlichung
von W.A. Perkins „A
Model-Based Vision System for Industrial Parts" (IEEE Transaction on Computers, IEE
Inc., New York, USA, vol. C-27, no. 2, Februar 1978, Seiten 126-143)
wird ein Bildverarbeitungsverfahren offenbart, das die Position
und Orientierung von komplex gebogenen Gegenständen in einer verrauschten
Grauwertszene bestimmen kann. Das System organisiert und reduziert
die Bilddaten von einem digitalisierten Bild zu einer kompakten
Darstellung, die das Aussehen einer Strichzeichnung hat.
-
T.G.
Cleaver und C.-L. Su, „Registration
techniques for image subtraction" (Proceedings
IEEE Southeastcon, 11-13 April 1988, Knoxville, TN, USA, Seiten
205-210), offenbaren die Überlagerung
von Konturbildern, die von einem Referenz- und von einem Testbild
erhalten werden. Es werden Momente analysiert, um Transformationsparameter
(Translation, Drehung und Maßstab)
zu erhalten. Das Originaltestbild wird transformiert und vom Originalreferenzbild
subtrahiert. Die Überlagerungsqualität wird als
die Summe der Absolutwerte der Grauskalendifferenzen gemessen.
-
OFFENBARUNG
DER ERFINDUNG
-
In
Anbetracht des obigen Problems wurde die vorliegende Erfindung entwickelt,
um ein einzigartiges Verfahren für
die Aussehensprüfung
bereitzustellen, das in der Lage ist, das Aussehen eines Gegenstands
mit guter Kompensation für
eine mögliche
lineare oder quadratische Verformung zu untersuchen, und dennoch
mit einem reduzierten Rechenaufwand.
-
Dem
erfindungsgemäßen Bildverarbeitungsverfahren
gemäß wird ein
Bild eines Gegenstands aufgenommen, um ein Objektbild zum Vergleich
mit einem vorbestimmten Referenzbild zu erhalten. Dann wird das Objektbild
verarbeitet, um einen Umriß daraus
zu extrahieren, um zusätzlich
zum Referenzbild, das zu einem Referenzumriß verarbeitet wird, einen Objektumriß zu erhalten.
Dann werden Koordinatendaten des Objektumrisses und des Referenzumrisses
einer Fehlerfunktion der kleinsten Quadrate entsprechend verarbeitet,
die eine lineare oder quadratische Transformation des Objektbilds
anzeigt, um Fehlerparameter einschließlich einer Position, eines
Drehwinkels und eines Maßstabs
des Objektumrisses relativ zum Referenzumriß abzuleiten. Dann werden die
resultierenden Fehlerparameter angewandt, um den Referenzumriß zu transformieren. Der
obige Schritt des Aktualisierens der Fehlerparameter und Transformierens
des Referenzumrisses wird wiederholt, bis die aktualisierten Fehlerparameter
ein vorbestimmtes Kriterium in Bezug auf eine lineare oder quadratische
Transformation des Objektbilds erfüllen. Danach werden die letzten
aktualisierten Fehlerparameter angewandt, um das Referenzbild in
ein finales Referenzbild zu transformieren. Das Objektbild wird
dann mit dem finalen Referenzbild verglichen, um Pixel des Objektbilds
zu wählen,
deren Grauskalenintensität
um einen vorbestimmten Wert oder mehr von einem entsprechenden Pixel
des finalen Referenzbilds abweicht. Schließlich werden die so gewählten Pixel
analysiert, um zu beurteilen, ob das Objektbild sich vom Referenzbild
unterscheidet, und um ein Fehlersignal auszugeben, wenn das Objektbild
sich vom Referenzbild unterscheidet. Auf diese Weise kann das Referenzbild
durch eine Schleife, die den Referenzumriß nur durch Aktualisieren der
Fehlerparameter transformiert, in das finale Referenzbild zum genauen
und einfachen Vergleich mit dem Objektbild transformiert werden.
Daher kann die Transformation in das finale Referenzbild im Vergleich
zu einem Fall, in dem das Referenzbild selbst nacheinander transformiert
wird, leicht mit einem reduzierten Rechenaufwand durchgeführt werden.
Mit diesem Ergebnis ist es möglich,
die lineare oder quadratische Transformation mit einer reduzierten
Rechenkapazität
zu kompensieren, wodurch eine zuverlässige Aussehensprüfung bei
reduzierten Hardwareanforderungen ermöglicht wird.
-
In
einer bevorzugten Ausführungsform
wird eine Vorverarbeitung durchgeführt, um das Referenzbild aus
einem Standardreferenzbild zu erzeugen, das bereits vorbereitet
wurde, um einen fehlerfreien Gegenstand anzuzeigen. Das Bild des
Gegenstands wird untersucht, um ein Frame (Einzelbild) zu bestimmen,
der der Gegenstand in grober Übereinstimmung
mit dem Standardreferenzbild steht. Dann wird der Gegenstand im
Frame mit dem Standardreferenzbild verglichen, um vorläufige Fehlerparameter
einschließlich
der Position, des Drehwinkels und des Maßstabs des Gegenstands relativ
zum Standardreferenzbild zu erhalten. Dann werden die vorläufigen Fehlerparameter
angewandt, um das Standardreferenzbild in das Referenzbild zu transformieren.
Da die obige Vorverarbeitung ohne Berücksichtigung der linearen oder
quadratischen Transformation durchgeführt wird, kann das Referenzbild
gleich für
die nachfolgende Datenverarbeitung der der Fehlerfunktion der kleinsten
Quadrate entsprechend vorbereitet werden.
-
Es
wird bevorzugt, daß der
Objektumriß und
der Referenzumriß beide
mit Hilfe des Sobelfilters erhalten wird, um eine Kante zu verfolgen,
die den Pixeln folgt, die eine lokale Maximalintensität und eine
Richtung (θ)
von –45° bis +45° aufweisen,
wobei die Richtung (θ)
durch θ =
tan–1(R/S)
ausgedrückt
wird, R eine erste Ableitung des Pixels in der X-Richtung und S
eine zweite Ableitung des Pixels in der Y-Richtung des Bilds ist. Dies
ist vorteilhaft, um irrelevante Linien zu beseitigen, die andernfalls
erkannt werden könnten,
um den Umriß zu
formen, wodurch die Zuverlässigkeit
der Prüfung
verbessert wird.
-
Ferner
können
der Objektumriß und
der Referenzumriß beide
durch die Schritte des Glättens
des Objektbilds und des Referenzbilds in unterschiedlichem Ausmaß erhalten
werden, um ein erstes geglättetes
Bild und ein zweites geglättetes
Bild zu ergeben, des Differenzierens des ersten und zweiten geglätteten Bilds,
um ein Array von Pixeln mit verschiedenen numerischen Vorzeichen
zu erhalten, und des Auswählens
der Pixel, die jeweils durch eines der numerischen Vorzeichen angezeigt
werden und zugleich zu mindestens einem Pixel des anderen numerischen
Vorzeichens benachbart sind, und des Verfolgens der so aufgewählten Pixel,
um den Umriß zu
definieren.
-
Das
Verfahren kann ferner die Schritte des Glättens des Bilds in unterschiedlichem
Ausmaß umfassen,
um ein erstes geglättetes
Bild und ein zweites geglättetes
Bild zu erhalten, des Differenzierens des ersten und zweiten geglätteten Bilds,
um ein Array von Pixeln mit verschiedenen numerischen Vorzeichen
zu erhalten, und des Auswählens
der Pixel mit dem gleichen Vorzeichen, um eine Prüfzone zu
erhalten, die nur durch die so ausgewählten Pixel definiert wird.
Das Objektbild wird nur innerhalb der Prüfzone mit dem finalen Referenzbild
verglichen, um innerhalb der Prüfzone
Pixel zu wählen,
deren Grauskalenintensität
um den vorbestimmten Wert oder mehr vom entsprechenden Pixel des
finalen Referenzbilds abweicht. Dies ist vorteilhaft, um bei der
Bestimmung des Fehlers Hintergrundstörungen zu beseitigen.
-
In
der vorliegenden Erfindung wird die Analyse der Pixel bevorzugt
in Bezug auf einen Kopplungsbereich durchgeführt, in dem die gewählten Pixel
in einer benachbarten Beziehung zueinander angeordnet sind. Nach
dem Bestimmen des Kopplungsbereichs wird eine Pixelintensitätsverteilung
innerhalb des Kopplungsbereichs berechnet und die Geometrie des
Kopplungsbereichs untersucht. Dann wird der Kopplungsbereich untersucht,
um die Fehler der Pixelintensitätsverteilung
und der Geometrie entsprechend als eine der vorbestimmten Fehlerarten
zu klassifizieren, wobei Information über die so klassifizierte Fehlerart
ausgegeben wird, um durch einen Menschen oder eine Vorrichtung zur
verfeinerten Kontrolle des Gegenstands bestätigt zu werden.
-
Diese
und weitere Aufgaben und vorteilhaften Merkmale der Erfindung gehen
aus der folgenden Beschreibung einer bevorzugten Ausführungsform
in Verbindung mit den beiliegenden Zeichnungen hervor.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, das ein System darstellt, das ein Bildverarbeitungsverfahren
zur Aussehensprüfung
nach einer bevorzugten Ausführungsform
der Erfindung durchführt;
-
2 ist
ein Flußdiagramm,
das Schritte des obigen Verarbeitungsverfahrens veranschaulicht;
-
3 veranschaulicht,
wie ein Objektbild dem obigen Verfahren entsprechend mit einem Referenzbild verglichen
wird;
-
4A zeigt
das Objektbild mit einem normalen Aussehen;
-
4B und 4C zeigen
das mögliche
Aussehen von Objektbildern mit linearer Transformation;
-
5A und 5B zeigen
das mögliche
Aussehen von Objektbildern mit quadratischer Transformation;
-
6 ist
eine Ansicht, die ein Schema der Ausführung einer Fehlerfunktion
zur Bewertung des Objektbilds mit Bezugnahme auf der Referenzbild
veranschaulicht;
-
7 zeigt
einen Kopplungsbereich, der zur Analyse des Objektbilds verwendet
wird;
-
8 zeigt
ein Muster-Referenzbild zur Erläuterung
der verschiedenen möglichen
Fehler, die in der vorliegenden Erfindung definiert werden;
-
9A bis 9D sind
Objektbilder, die einzelne Fehler aufweisen;
-
10A bis 10D veranschaulichen
die Fehlerarten, die jeweils für
die Objektbilder von 9A bis 9B bestimmt
werden.
-
BESTE ART
DER AUSFÜHRUNG
DER ERFINDUNG
-
Nun
Bezug nehmend auf 1, wird ein System gezeigt,
das das Bildverarbeitungsverfahren zur Aussehensprüfung nach
einer bevorzugten Ausführungsform
der Erfindung durchführt.
Das System umfasst eine Kamera 20 und einen Mikrocomputer 40,
der verschiedene Verarbeitungseinheiten einschließt. Die
Kamera 20 nimmt ein Bild eines Gegenstands 10 auf,
der geprüft
werden soll, und gibt ein Grauskalenbild aus, das aus Pixeln aufgebaut
ist, die jeweils digitale Grauskalenintensitätswerte aufweisen, und in einem
Bildspeicher 41 des Computers gespeichert wird. Der Computer
umfasst eine Vorlagenspeichereinheit 42, in der ein Standardreferenzbild
gespeichert ist, das als originaler und fehlerfreier Gegenstand
zum Vergleich mit einem Objektbild genommen wird, das aus dem von
der Kamera 20 aufgenommenen Bild extrahiert wird.
-
Bevor
auf die Einzelheiten des Systems eingegangen wird, folgt nun, Bezug
nehmend auf 2 und 3, eine
kurze Erläuterung
zum Verfahren der Aussehensprüfung
eines Gegenstands. Nachdem das Bild des Gegenstands aufgenommen
wurde, wird das Objektbild 51 unter Verwendung eines Standardreferenzbilds 60 aus
dem Bild 50 extrahiert, um vorläufige Fehlerparameter einer
Position, eines Drehwinkels und eines Maßstabs des Objektbilds relativ
zum S andardreferenzbild 60 zu bestimmen. Auf der Basis
der so bestimmten vorläufigen
Fehlerparameter wird das Standardreferenzbild 60 in ein
Referenzbild 61 transformiert, das in grober Übereinstimmung
mit dem Objektbild 51 steht. Dann werden Umrisse aus dem
Objektbild 51 extrahiert, und auch aus dem Referenzbild 61,
um jeweils einen Objektumriß 52 und
einen Referenzumriß 62 zu
erhalten. Diese Umrisse 52 und 62 werden benutzt,
um ein finales Referenzbild 63 zu erhalten, das die mögliche lineare Verformung
oder quadratische Verformung des Bilds berücksichtigt, und das mit dem
Objektbild verglichen wird, um auf zuverlässige Weise nur wirkliche Fehler
zu erkennen. Das heißt,
der Referenzumriß 62 wird
wiederholt transformiert, bis ein bestimmtes Kriterium erfüllt wird,
um den Einfluß der
linearen oder quadratischen Verformung des Bilds zu entfernen. Zum
Beispiel ist die lineare Verformung des Objektbilds, die in 4B und 4C zu
sehen ist, das Ergebnis der relativen Bewegung des Gegenstands von 4A zur
Kamera, während
die quadratische Verformung des Objektbilds, die in 5A zu
sehen ist, das Ergebnis der Abweichung des Gegenstands von einer
optischen Achse der Kamera ist, und die in 5B das
Ergebnis einer Verzerrung einer Kameralinse.
-
Nachdem
der Referenzumriß 62 schließlich bestimmt
wurde, um das Kriterium zu erfüllen,
wird das finale Referenzbild 63 mit Parametern erzeugt,
die in einem Transformationsprozeß des Referenzumrisses 62 erhalten
wurden. Dann wird das Objektbild 51 mit dem finalen Referenzbild 63 verglichen,
um zu bestimmen, ob das Objektbild 51 einen der vordefinierten
Fehler enthält
oder nicht. Wenn der Fehler identifiziert ist, wird ein entsprechendes
Signal ausgegeben, um eine geeignete Maßnahme zu ergreifen, zusätzlich dazu,
daß ein Code
oder eine ähnliche
optische Information ausgegeben wird, um auf einem Bildschirm 49 angezeigt
zu werden.
-
Um
die obigen Funktionen zu erfüllen,
umfasst das System eine Vorverarbeitungseinheit 43, die
das Standardreferenzbild 60 aus der Vorlagenspeichereinheit 42 abruft
und das Objektbild 51 unter Verwendung des Standardreferenzbilds
extrahiert, um das Standardreferenzbild in das Referenzbild zum
Grobvergleich mit dem Objektbild 51 zu transformieren.
Die Transformation wird auf der Basis einer konventionellen Technik
wie z.B. die allgemeine Hough-Transformation oder die normalisierte
Korrelation durchgeführt,
die vorläufige
Fehlerparameter der Position, der Drehwinkels und des Maßstabs des
Objektbilds 51 relativ zum Standardreferenzbild 60 ergibt.
Die resultierenden Fehlerparameter werden angewandt, um das Standardreferenzbild 60 in das
Referenzbild 61 zu transformieren.
-
Das
so transformierte Referenzbild 61 und das Objektbild 51 werden
einer Umrissextraktionseinheit 44 zugeführt, die den Umriß dieser
Bilder extrahiert und den Referenzumriß 62 und den Objektumriß 52 einer Fehlerfunktionsausführungseinheit 45 zuführt. Die
Fehlerfunktionsausführungseinheit 45 führt unter
der Steuerung einer Hauptverarbeitungseinheit 46 eine Fehlerfunktion
der kleinsten Quadrate durch, die eine lineare Transformation des
Objektumrisses 52 anzeigt, um Fehlerparameter einschließlich der
Position, des Drehwinkels und des Maßstabs des Objektumrisses 52 relativ
zum Referenzumriß 62 zu
erhalten. Die Fehlerfunktion betrifft die lineare Beziehung zwischen
dem Objektumriß und
dem Referenzumriß und
wird ausgedrückt
durch Q = Σ(Qx2 + Qy2), wobei Qx = αn(Xn – (A·xn + B·yn + C)), Qy = αn(Yn – (D·xn + E·yn + F)),Xn,
Yn Koordinaten von Punkten entlang der Kontur des Referenzumrisses 62 sind,
xn,
yn Koordinaten von Punkten entlang der Kontur des Objektumrisses 52 sind,
und
αn
ein Gewichtungsfaktor ist.
-
Wie
in 6 gezeigt, ist jeder Punkt (xn, yn) als ein Punkt
auf dem Objektumriß 52 definiert,
der von einer Linie normal zu einem entsprechenden Punkt (Xn, Yn)
auf dem Referenzumriß 62 geschnitten
wird.
-
Parameter
A bis F bezeichnen die Position, den Drehwinkel und den Maßstab des
Objektumrisses relativ zum Referenzumriß in Form der folgenden Beziehungen. A = β cosθ B = –γ sinφ C = dx D = β sinθ E = γ cosφ F = dy
- β
- = Maßstab (%)
in der X-Richtung
- γ
- = Maßstab (%)
in der Y-Richtung
- θ
- = Drehwinkel (°) der X-Achse
- φ
- = Drehwinkel (°) der Y-Achse
- dx
- = Bewegung in der
X-Richtung
- dy
- = Bewegung in der
Y-Richtung
-
Diese
Parameter werden durch Lösen
von simultanen Gleichungen berechnet, die aus den Bedingungen resultieren,
daß ∂Q/∂A = 0, ∂Q/δB = 0, ∂Q/∂C = 0, ∂Q/∂D = 0, ∂Q/∂E = 0 und ∂Q/∂F = 0.
-
Auf
der Basis der so berechneten Parameter wird der Referenzumriß 62 transformiert,
so daß die
obige Fehlerfunktion wieder ausgeführt wird, um frische Parameter
zu erhalten. Die Ausführung
der Fehlerfunktion mit der begleitenden Transformation des Referenzumrisses 62 wird
in einer Schleife wiederholt, bis die aktualisierten Parameter ein
vorbestimmtes Kriterium in Bezug auf eine lineare Transformation
des Objektbilds erfüllen.
Wenn zum Beispiel bestimmt wird, daß alle oder einige der Parameter β, γ, θ, φ, dx und
dy jeweils kleiner als vorbestimmte Werte sind, wird die Schleife
aufgrund dessen beendet. daß die
lineare Transformation berücksichtigt
wurde, und die Parameter werden abgerufen, um das Standardreferenzbild
oder das Referenzbild in das finale Referenzbild zu transformieren.
-
Das
so erhaltene finale Referenzbild 63 kompensiert die mögliche lineare
Verformung des Objektbilds und wird an einer Fehlerextraktionseinheit 47 auf
einer pixelweisen Basis mit dem Objektbild 51 verglichen, wobei
Pixel des Objektbilds 51 gewählt werden, deren Grauskalenintensität um einen
vorbestimmten Wert oder mehr von einem entsprechenden Pixel des
finalen Referenzbilds 63 abweicht. Die gewählten Pixel
können
den Einfluß der
möglichen
linearen Verformung des Objektbilds entfernen und leicht auf Fehler
im Aussehen des Gegenstands hinweisen. Die gewählten Pixel werden an einer
Fehlerklassifizierungseinheit 48 untersucht, die die gewählten Pixel
analysiert, um zu bestimmen, ob das Objektbild den Fehler enthält oder
nicht, und den Fehler als eine der vorbestimmten Fehlerarten zu
klassifizieren. Wenn der Fehler identifiziert ist, wird ein Fehlersignal
von der Fehlerklassifizierungseinheit 48 ausgegeben, das
zur Zurückweisung
des Gegenstands oder zumindestens zu seiner Kennzeichnung als fehlerhaft
verwendet wird. Gleichzeitig wird zur optischen Bestätigung ein
Code, der die Fehlerart anzeigt, auf der Anzeige 49 ausgegeben.
-
Im
folgenden wird die Klassifizierung des Fehlers als eine der vorbestimmten
Arten erläutert,
der „Makel
oder Fehler", „Bruch", „Schwund" und „dünn" für einen
Vordergrund und „Hintergrundstörung", „fett", „Überschuß", „verschwommen" und „dick" für einen
Hintergrund des Objektbilds einschließen. Zuerst werden die gewählten Pixel
ausgewählt,
die benachbart zueinander sind, und es wird ein Kopplungsbereich 70 definiert. Dann
wird der Kopplungsbereich 70, wie in 7 gezeigt,
verarbeitet, um einen Umriß 71 zu
extrahieren. Das Identifizierungsschema des Fehlers ist unterschiedlich,
je nachdem, ob der Vordergrund oder der Hintergrund untersucht wird.
Bei der Untersuchung des Vordergrunds werden folgenden vier (4)
Schritte durchgeführt,
um den Fehler zu klassifizieren, der vom Kopplungsbereich 70 definiert
wird.
- 1) Das Untersuchen, ob der extrahierte
Umriß 71 einen
Abschnitt des Umrisses des finalen Referenzbilds 63 enthält, und
das Setzen eines Flags auf „Ja", wenn der extrahierte
Umriß einen
solchen enthält,
und andernfalls auf „Nein".
- 2) Das Untersuchen, ob der enthaltene Abschnitt des Umrisses
des Referenzbilds 63 in zwei oder mehr Segmente aufgetrennt
ist, und das Setzen eines Flags auf „Ja", wenn der enthaltene Umriß des Referenzbilds
so getrennt ist.
- 3) Das Berechnen einer Pixelwertintensitätsverteilung (Verteilung) innerhalb
des Kopplungsbereichs 70 und das Prüfen, ob die Verteilung innerhalb
eines vorbestimmten Bereichs liegt, um zu sehen, ob der Kopplungsbereich
eine Grauskalenabstufung aufweist, und Setzen eines Flags auf "Ja", wenn die Verteilung
innerhalb des vorbestimmten Bereichs liegt.
- 4) Das Berechnen einer Länge
des Umrisses des Kopplungsbereichs 70, die den entsprechenden
Umriß des
finalen Referenzbilds 63 überlappt, um ein Verhältnis der
Länge des
so überlappenden
Umrisses zur Gesamtlänge
des Umrisses des Kopplungsbereichs zu bestimmen, und das Prüfen, ob
das Verhältnis
in einem vorbestimmten Bereich liegt, um ein Flag auf "Ja" zu setzen, wenn
das Verhältnis
innerhalb des Bereichs liegt.
-
Die
Ergebnisse werden einer in Tabelle 1 aufgelisteten Regel entsprechend
ausgewertet, um die Fehlerart für
den Kopplungsbereich zu identifizieren. Tabelle
1
- (–)
entweder Ja oder Nein
-
9A und 9B veranschaulichen
auf beispielhafte Weise die obigen vier (4) Fehlerarten, die in verschiedenen
möglichen
Objektbildern unter Verwendung des finalen Referenzbilds 63 von 8 ermittelt werden.
Das finale Referenzbild 63 ist dadurch gekennzeichnet,
daß es
ein dickes Kreuz mit einem länglichen Ausschnitt
in einem vertikalen Segment des Kreuzes aufweist.
-
Für das Objektbild
in 9A, das verschiedene Fehler in seinem Vordergrund
aufweist, werden die Kopplungsbereiche 70 extrahiert, wie
in 10A als Ergebnis des Vergleichs zwischen dem Objektbild 51 und dem
finalen Referenzbild 63 gezeigt. Jeder Kopplungsbereich 70 wird
den oben genannten Schritten entsprechend untersucht, um die Fehler
jeweils als „Makel
oder Fehler", „Bruch" oder „Schwund" zu klassifizieren,
wie in der Zeichnung angegeben.
-
Für das Objektbild
von 9B, bei dem das Kreuz verdünnt ist, wird der das Kreuz
umgebende Kopplungsbereich 70 gewählt, wie in 10B gezeigt, um den obigen Schritten entsprechend
untersucht zu werden, und wird als „dünn" klassifiziert.
-
Andrerseits
werden bei der Untersuchung des Hintergrunds des Objektbilds 51 die
folgenden fünf
(5) Schritte durchgeführt,
um den Fehler zu klassifizieren, der vom Kopplungsbereich 70 definiert
wird.
- 1) Das Untersuchen, ob der extrahierte
Umriß 71 einen
Abschnitt des Umrisses des finalen Referenzbilds enthält, und
das Setzen eines Flags auf „Ja", wenn der extrahierte
Umriß einen
solchen enthält,
und andernfalls auf „Nein".
- 2) Das Untersuchen, ob der Abschnitt des Umrisses des Referenzbilds
in zwei oder mehr Segmente aufgetrennt ist, und das Setzen eines
Flags auf „Ja", wenn der enthaltene
Umriß des
Referenzbilds so getrennt ist.
- 3) Das Berechnen einer Länge
des Umrisses des finalen Referenzbilds 63, die im Kopplungsbereich 70 enthalten
ist, um ein Verhältnis
der so berechneten Länge
zur Gesamtlänge
des Umrisses des finalen Referenzbilds 63 zu bestimmen,
und das Setzen des Flags auf "Ja", wenn das Verhältnis in
einem vorbestimmten Bereich liegt.
- 4) Das Berechnen einer Pixelwertintensitätsverteilung (Verteilung) innerhalb
des Kopplungsbereichs 70 und das Prüfen, ob die Verteilung innerhalb
eines vorbestimmten Bereichs liegt, um zu sehen, ob der Kopplungsbereich
eine Grauskalenabstufung aufweist, und Setzen des Flags auf "Ja", wenn die Verteilung
innerhalb des vorbestimmten Bereichs liegt.
- 5) Das Berechnen einer Länge
des Umrisses des Kopplungsbereichs 70, die den entsprechenden
Umriß des
finalen Referenzbilds 63 überlappt, um ein Verhältnis der
Länge des
so überlappenden
Umrisses zur Gesamtlänge
des Umrisses des Kopplungsbereichs zu bestimmen, und das Prüfen, ob
das Verhältnis
in einem vorbestimmten Bereich liegt, um ein Flag auf "Ja" zu setzen, wenn
das Verhältnis
innerhalb des Bereichs liegt.
-
Die
Ergebnisse werden einer in Tabelle 2 aufgelisteten Regel entsprechend
ausgewertet, um die Fehlerart für
den Kopplungsbereich im Hintergrund zu identifizieren. Tabelle
2
- (–)
Entweder Ja oder Nein
-
9C und 9D veranschaulichen
die obigen fünf
(5) Fehlerarten, die in verschiedenen möglichen Objektbildern unter
Verwendung des finalen Referenzbilds von 8 bestimmt werden.
Für das
Objektbild in 9C, das verschiedene Fehler
in seinem Hintergrund aufweist, werden die Kopplungsbereiche 70 extrahiert,
wie in 10C als Ergebnis des Vergleichs
zwischen dem Objektbild 51 und dem finalen Referenzbild 63 gezeigt,
und werden dann den obigen Schritten entsprechend untersucht, um
die Fehler jeweils als „Rauschen", „fett", "Überschuß" und "verwischt" zu klassifizieren, wie in der Zeichnung
angegeben.
-
Für das Objektbild
von 9D, bei dem das Kreuz verdickt ist, wird der das
Kreuz umgebende Kopplungsbereich 70 gewählt, wie in 10D gezeigt, um den obigen Schritten entsprechend
untersucht zu werden, und wird als „dick" klassifiziert.
-
Statt
die obige Fehlerfunktion zu verwenden, ist es ebenfalls möglich, eine
andere Fehlerfunktion zu verwenden, wie nachstehend ausgedrückt, welche
die quadratische Verformung darstellt, die möglicherweise im Objektbild
zu sehen ist, wie zuvor Bezug nehmend auf 5A und 5B erläutert. Q = Σ(Qx2 + Qy2), wobei Qx = αn(Xn – (A·xn2 + B·xn·yn + C·yn2 + D·xn
+ E·yn
+ F)) Qy = αn(Yn – (G·xn2 +
H·xn·yn + I·yn2 + J·xn
+ K·yn
+ L))Xn, Yn Koordinaten von Punkten entlang der Kontur des
Referenzumrisses 62 sind,
xn, yn Koordinaten von Punkten
entlang der Kontur des Objektumrisses 52 sind, und
an
ein Gewichtungsfaktor ist.
-
Wie
in 6 gezeigt, ist jeder Punkt (xn, yn) als ein Punkt
auf dem Objektumriß 52 definiert,
der von einer Linie normal zu einem entsprechenden Punkt (Xn, Yn)
auf dem Referenzumriß 62 geschnitten
wird.
-
Parameter
A bis F bezeichnen die Position, den Drehwinkel und den Maßstab des
Objektumrisses relativ zum Referenzumriß in Form der folgenden Beziehungen. D = β cosθ E = –γ sinφ F = dx J = β sinθ K = γ cosφ L = dy
- β
- = Maßstab (%)
in der X-Richtung
- γ
- = Maßstab (%)
in der Y-Richtung
- θ
- = Drehwinkel (°) der X-Achse
- φ
- = Drehwinkel (°) der Y-Achse
- dx
- = Bewegung in der
X-Richtung
- dy
- = Bewegung in der
Y-Richtung
-
Diese
Parameter werden durch Lösen
von simultanen Gleichungen berechnet, die sich den Bedingungen resultieren,
daß ∂Q/∂A = 0, ∂Q/∂B = 0, ∂Q/∂C = 0, ∂Q/∂D = 0, ∂Q/∂E = 0, ∂Q/∂F = 0, ∂Q/∂G = 0, ∂Q/∂H = 0, ∂Q/∂I = 0, ∂Q/∂J = 0, ∂Q/∂K = 0 und ∂Q/∂L = 0.
-
Unter
Verwendung der so berechneten Parameter wird der Referenzumriß transformiert,
bis die aktualisierten Parameter ein vorbestimmtes Kriterium erfüllen, das
eine quadratische Transformation des Objektbilds anzeigt, wie in
Bezug auf die Fehlerfunktion erläutert,
die eine lineare Transformation anzeigt.
-
Beim
Extrahieren der Umrisse des Objektbilds sowie des Referenzbilds
mit Hilfe des Sobelfilters wird eine Kante verfolgt, die den Pixeln
folgt, die eine lokale Maximalintensität und eine Richtung (θ) von –45° bis +45° haben, wobei
die Richtung (θ)
durch eine Formel θ =
tan–1(R/S)
ausgedrückt
wird, wobei R eine erste Ableitung des Pixels in der x-Richtung
und S eine zweite Ableitung des Pixels in der y-Richtung des Bilds
ist. Auf diese Weise können
die Umrisse korrekt extrahiert werden.
-
Die
vorliegende Erfindung beschränkt
sich nicht auf die Verwendung des Sobelfilters und kann statt dessen
eine andere vorteilhafte Technik anwenden, um die Umrisse auf zuverlässige Weise
mit reduziertem Rechenaufwand zu extrahieren. Diese Technik stützt sich
auf das Glätten
von Bildern und das Differenzieren des geglätteten Bilds. Zuerst werden
das Objektbild und das Referenzbild beide in unterschiedlichen Ausmaßen geglättet, um
ein erstes geglättetes
Bild und ein zweites geglättetes
Bild zu ergeben. Dann werden die geglätteten Bilder differenziert,
um ein Array von Pixeln mit verschiedenen numerischen Vorzeichen
(+/–)
zu erhalten. Anschließend
werden die Pixel ausgewählt,
die jeweils durch eines von den positiven oder negativen Vorzeichen
angegeben werden und zugleich zu mindestens einem Pixel mit dem
anderen numerischen Vorzeichen benachbart sind. Schließlich werden
die so aufgewählten
Pixel verfolgt, um den Umriß sowohl
für das Objekt-
als auch für
das Referenzbild zu definieren. Mit diesem Ergebnis ist es einfach,
die Umrisse ausreichend zu extrahieren, um nur das finale Referenzbild
mit einer reduzierten Rechenlast zu bestimmen, und demnach mit einer
erhöhten
Verarbeitungsgeschwindigkeit.
-
Ferner
ist anzumerken, daß das
Objektbild erfolgreich aus dem Bild des Gegenstands extrahiert werden
kann, um Hintergrundstörungen
zu beseitigen, die irrelevant für
den Fehler des Objektbilds sind. Das Bild 50 wird in unterschiedlichem
Ausmaß geglättet, um
ein erstes Bild und ein zweites Bild zu ergeben. Dann werden die
geglätteten
ersten und zweiten Bilder differenziert, um ein Array von Pixeln
mit verschiedenen numerischen Vorzeichen (+/–) zu erhalten, aus dem die
Pixel mit dem gleichen Vorzeichen ausgewählt werden, um eine Prüfzone zu
ergeben, die nur durch die ausgewählten Pixel definiert wird.
Das Objektbild wird nur in der Prüfzone mit dem finalen Referenzbild
verglichen, um Pixel innerhalb der Prüfzone zu wählen, die jeweils eine Grauskalenintensität aufweisen,
die um den vorbestimmten Wert oder mehr von einem entsprechenden
Pixel des finalen Referenzbilds abweichen. Mit dieser Technik ist
es leicht, den Rechenprozeß zur
Bestimmung des Kopplungsbereichs zu vereinfachen, der schließlich zur
Bestimmung und Klassifizierung der Fehler analysiert wird.
