DE19521346C2 - Bilduntersuchungs/-Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür - Google Patents

Description

Die vorliegende Erfindung betrifft ein Bilduntersuchungs/-erkennungs-Verfahren zur visuellen Untersuchung von Objekten, beispielsweise auf Fehler, oder zu deren visueller Sortierung oder Erkennung unter Verwendung ihrer Bilder. Die Erfindung betrifft außerdem eine Vorrichtung zur Erzeugung von Referenzdaten zur Verwendung bei der visuellen Untersuchung oder Erkennung von Objekten.

Es sollen zunächst typische Untersuchungsverfahren beschrieben werden, wie sie bislang verwendet wurden.

Unter Bezugnahme auf Fig. 1 wird ein herkömmliches Untersuchungsverfahren beschrieben, das eine Binärquantisierungsverarbeitung verwendet. Es sei angenommen, daß Fig. 1A ein projizier­ tes Bild eines untersuchten Objekts darstellt, und davon ausgegangen, daß seine visuelle Unter­ suchung der Bestimmung des Verschmutzungsgrades eines Chips oder Ausdehnung eines zentralen rechteckigen Bereichs 11a des Bildes dient.

Gemäß Darstellung in Fig. 1A nimmt die Intensität des Bildes in der Reihenfolge der Bereiche 11b - 11c - 11d - 11a zu. Die Intensitätsvariation auf einer gestrichelten Linie 12, die durch die Mitten der Bereiche 11a und 11d des Bildes verläuft, ist durch Kurve 15 in Fig. 1B dargestellt, die durch Addition einer stufenartigen Variation, die durch Kurve 13 dargestellt ist, und einer Variation nach Kurve 14 erhalten wurde. Die Kurve 15 wird dadurch binärquantisiert (gemu­ stert), daß einzelne Intensitätswerte in jene unterhalb und jene oberhalb eines Schwellenwerts 16 aufgeteilt werden. Der Schwellenwert 16 für diese Binärquantisierung ist gemäß Darstellung in Fig. 1C auf einen Intensitätswert entsprechend der minimalen Anzahl von Pixeln zwischen Intensitätshistogrammkurven 17a und 17d in den Bereichen 11a und 11d eingestellt. Gewöhn­ lich liegt solch ein stufenartiges Muster, wie es durch die Kurve 13 dargestellt ist, nicht vor. In der Praxis bietet sich ein Muster, wie es durch die Kurve 15 dargestellt ist, das Intensitätsvaria­ tionen enthält, welche von einem Fleck auf der Oberfläche des Objekts oder einer Änderung seines Beleuchtungszustands hervorgerufen werden, und das Muster wird einer Binärquantisie­ rungsverarbeitung unter Verwendung des Schwellenwerts 16 unterzogen. Die Binärquantisie­ rungsverarbeitung wird über die gesamte Fläche des angegebenen rechteckigen Bereichs 11a ausgeführt und das resultierende Intensitätsverteilungsmuster in binärer Darstellung wird geprüft, um festzustellen, ob das untersuchte Objekt gut ist. Es ist wünschenswert, den Schwellenwert 16 unter Vorwegnahme solch eines Intensitätsvariationsmusters 14 einzustellen, was jedoch in vielen Fällen große Schwierigkeiten beinhaltet. Wenn der Schwellenwert 16 auf einen falschen Wert eingestellt ist, werden Variationskomponenten 19, wie etwa die diagonal schraffierten Flächen in Fig. 1D, unter dem direkten Einfluß einen Flecks oder von Änderungen des Beleuchtungszustands erzeugt, und die Konfiguration des binärquantisierten Musters des Rechteckbereichs 11a stimmt wegen dieser Variationskomponenten nicht mit seiner tatsächli­ chen Konfiguration überein. Es ist damit unmöglich, Defekte des Objekts, wie etwa Chips, und deren Ausdehnungen festzustellen und zu beurteilen.

Unter Bezugnahme auf Fig. 2 wird als nächstes ein anderes herkömmliches visuelles Untersu­ chungsverfahren beschrieben, das von einem normierten Intensitätskorrelationsschema Gebrauch macht. Die Intensitätsverteilung M_kl, wobei k = 1, . . ., K und l = 1, . . ., L ist, wird über die gesamte Fläche eines Standardfensters 22 in einem in Fig. 2A gezeigten Standardbild 21 berechnet, bei dem es sich um das zu untersuchende Objekt handelt, und die Verteilung wird als ein Intensitätsmuster registriert, wie es in Fig. 2B gezeigt ist. Ein Bereich 24 in einem Untersuchungsbild 23, das in Fig. 2C gezeigt ist, und dem Standardfenster 22 entspricht, wird von der linken oberen Ecke zur rechten unteren Ecke des Bereichs 24 abgetastet, und für jeden Abtastpunkt (i, j) wird die folgende Berechnung ausgeführt, um einen Korrelationsfaktor γ_ÿ zu berechnen (wobei -1 γ_ÿ 1).

wobei M₀ der Intensitätsmittelwert in dem Standardfenster 22 ist und T₀ der Intensitätsmittel­ wert in dem Bereich 24 des Untersuchungsbildes ist.

Der Maximalwert γ_max wird anhand dieser Korrelationsfaktoren γ_ÿ ermittelt, die für einzelne Abtastpunkte definiert sind. Je dichter der Maximalwert γ_max bei 1 liegt desto mehr wird das untersuchte Objekt als gut beurteilt. Der Korrelationsfaktor ändert sich nicht mit einer Versatz­ variation der Intensität, unterliegt aber Änderungen entsprechend einem Fleck, einer Änderung des Beleuchtungszustands oder einer ähnlichen ungleichmäßigen Intensitätsänderung, wie durch die schraffierten Flächen 26′ dargestellt, die von einem Standardintensitätsmuster 25 und einem untersuchten Intensitätsmuster 26 in Fig. 2D umgeben sind. D.h., der Korrelationsfaktor ändert sich selbst bei einem guten Objekt stark, was dazu führt, daß das untersuchte Objekt fehlbeur­ teilt wird.

Zum Implementierung der oben beschrieben Bild- oder visuellen Untersuchungsverfahren ist es wichtig, welche Bildmerkmale extrahiert werden sollen (Bildmerkmalextraktionsverfahren) welche Merkmale verwendet werden sollen (Bildmerkmalauswahlverfahren) und wie das ausge­ wählte Bildmerkmal verwendet werden soll (Anpaß- oder Übereinstimmungsverfahren.

Merkmalsbildextraktionsverfahren sind beispielsweise in der JP 63-213085 A2, der JP 63-213093 A2 und der JP 63-226785 A2 offenbart. Bei dem Stand der Technik der JP 63-226785 A2 wird das Objektbild verarbeitet, um daraus ein Bereichsmerkmalbild und ein Konturmerkmalbild zu extrahieren, von denen ersteres die Eigenschaften seines bezeichneten Bereichs wie die Intensitätsstatistik, Komplexität und Ersteckung des Bildes reflektieren, während letzteres die Eigenschaften seiner Kontur wie Kanten und ihre Biegung reflektieren. Der oben erwähnte angegebene Bereich in dem Bereichsmerkmalbild ist ein durch lokalisierte Filterung zu verarbeitender lokalisierter Bereich, nicht ein durch Segmentierung erhaltener Bereich.

Die Intensitätsstatistik ist ein Merkmalswert eines Pixels, der durch die Varianz oder Streuung des Intensitätswerts innerhalb eines bestimmten Extraktionsfeldradius von dem Pixel definiert ist. Die Komplexität ist ein Merkmalswert jedes Pixels, der durch den Mittelwert der Gesamt­ summe von Kanten akkumuliert auf jeweiligen radialen Abtastlinien von dem Pixel innerhalb eines bestimmten Extraktionsfeldradius definiert ist. In diesem Fall gilt wt(r) =a/r_k (wobei a und k Konstante sind und r die Adresse der jeweiligen Abtastlinie ist), um die Ausgangsschärfe zu erhöhen und, im Hinblick auf die Berechnung der wahren Kantendichte, wird keine einfache akkumulierte Anzahl von Kanten verwendet, sondern es wird die Häufigkeit akkumuliert, mit der jede Abtastlinie Kanten kreuzt. Die Erstreckung ist eine Größe entsprechend der Fläche des Bereichs und ist ein Merkmalswert jedes Pixels, der durch den Mittelwert der Längen radialer Abtastlinien von einem Pixel innerhalb eines bestimmten Extraktionsfeldradius jeweils zu Kanten definiert ist, die die Abtastlinien das erste Mal treffen. Die Kantenbiegung wird als die Differenz (eine quadratische Norm) zwischen der jeweiligen Richtung von jedem Pixel zur Kante innerhalb eines bestimmten Extraktionsfeldradius und der jeweiligen Richtung der Kante von dem Nach­ barpixel berechnet. Wegen des Integrationseffekts ist dieses Merkmal äußerst immun dagegen, von einem Bruch in der Kante infolge einer externen Störung beeinflußt zu werden.

Das Bereichsmerkmalbild und das Konturmerkmalbild sind Bildmerkmale, die zueinander komplementär sind. Das Bereichsmerkmal allein kann nicht ausreichend die Konfiguration des Objekts repräsentieren, und das Konturmerkmal allein kann ebenso wenig ausreichend die Diffe­ renz der Textur repräsentieren. Darüber hinaus unterscheiden sich das Bereichsmerkmalbild und das Konturmerkmalbild in der Empfindlichkeit gegenüber Rauschen. Das Bereichsmerkmalbild zeigt über einen weiten Bereich keine Streuung, selbst wenn aufgrund von Rauschen einige Brüche in der Kontur vorhanden sind. Das Anwenden solcher Bildmerkmale verschiedener Eigenschaften bei der Objektuntersuchung und -erkennung dient dazu, das Bild von verschie­ denen Winkeln darzustellen, und die Verwendung vieler solcher komplementärer Merkmalsbilder stellt eine hohe Zuverlässigkeit bei der Untersuchung und Erkennung von Objekten sicher.

Die Verwendung des Bildmerkmalextraktionsverfahrens und des Übereinstimmungsverfahrens sind bereits in der JP 04-175885 A2 mit dem Titel "Bildmerkmalauswahlverfahren bei der verallgemeinerten Hough-Transformation" vorgeschlagen worden. Fig. 3 zeigt ein Flußdiagramm einer in dem vorgeschlagenen Bildmerkmalauswahlverfahren enthaltenen Prozedur.

Die Prozedur beginnt mit Schritt S1, in welchem Standardproben für jeweilige Kategorien ausgewählt werden, d. h. gute und nicht gute (schlechte) Objekte bei einer Untersuchung, und eine Vielzahl von einander zu unterscheidender Objekte bei einer Sortierung und Erkennung. Merkmalsbilder unterschiedlicher Eigenschaften werden von den Probenbildern extrahiert und als Standardmerkmalsbilder verwendet. Dann werden für jedes Standardmerkmalsbild Merkmals­ punkte ausgewählt. Wenn das Merkmalsbild beispielsweise ein Kantenbild ist, wird jeder Pixel an jedem Punkt (ein Merkmalspunkt), der jeweils eine Kante repräsentiert, aus dem Kantenbild ausgewählt. Wenn das Merkmalsbild ein Intensitätsbild ist, wird jeder Pixel (ein Merkmalspunkt), der einen jeweiligen quantisierten Intensitätswert annimmt (ein Merkmalswert), aus dem Intensi­ tätsbild ausgewählt. Im Schritt S2 wird eine Referenztabelle für jedes Merkmal der jeweiligen Kategorie entsprechend solch einem ausgewählten Merkmalspunkt vorbereitet. Die in Fig. 4 mit 27 bezeichnete Referenztabelle verwendet jeden Merkmalswert f_i als einen Index zum Halten der Position jedes Pixels des Merkmalswerts (d. h. des Merkmalspunkts in dem Merkmalsbild) als einen Polarkoordinatenvektor (γ_i, α_i), wobei i = 1 . . ., N_p (N_p ist die Anzahl von Merkmalspunk­ ten), mit dem Ursprung als einem Referenzpunkt. Der Referenzpunkt ist im Prinzip kein besonde­ rer Punkt, es ist aber im Stand der Technik bekannt, daß ein Transformationsfehler bei der verallgemeinerten Hough-Transformation minimalisiert wird, wenn der Referenzpunkt an die Stelle des Schwerpunkts eines Objekts gesetzt wird.

Im Schritt S3 wird ein Merkmalsbild jedes Merkmals für jede Kategorie von M Proben mit verschiedenen externen Störungen extrahiert, und das Merkmalsbild und die Referenztabelle, die im Schritt 2 vorbereitet wurde, werden zur Ausführung der verallgemeinerten Hough-Transfor­ mation verwendet.

Unter Bezugnahme auf Fig. 4 wird das Prinzip der Ableitung der verallgemeinerten Hough-Trans­ formation anhand einer Kante als Beispiel beschrieben. Ein Kantenbild (ein Standardmerkmals­ bild) 28 eines Standardbildes stellt Konturpunkte eines Objekts dar. Also ist jeder Konturpunkt ein Merkmalspunkt des Kantenbildes; sein Merkmalswert, d. h. ein Kantenwert ist "1" während ein Kantenwert mit Ausnahme des Konturpunktes "0" ist. Folglich wird im Schritt S2 nur der Wert "1" an dem Kantenpunkt als ein Index in einer Indexspalte des Merkmalspunktwerts f_i der Referenztabelle 27 gespeichert, und die Polarkoordinatenadresse (γ_i, α_i) jedes Bildes (des Merkmalspunktes) p_i eines Konturbildes (eines Kantenbildes) 29 des Kantenbildes 28 des Stan­ dardbildes, wobei i=1 . . ., N_p (wobei N_p die Anzahl von Konturpunkten, d. h. die Anzahl von Merkmalspunkten ist) wird in einer Adressenspalte der Referenztabelle 27 gespeichert.

Als nächstes wird beschrieben, wie ein unbekanntes Eingangsbild 31 unter Verwendung der Referenztabelle 27 in Schritt 3 verarbeitet wird. Die Parameter, deren Berechnung erwünscht ist, sind in diesem Fall die Position und Lage (Rotationswinkel) des Objekts des Eingangsbildes 31. Die Position des Objekts ist die Position des Referenzpunkts (des Ursprungs der Polarkoor­ dinaten), der bereits in dem Standardmerkmalsbild 28 bestimmt wurde, d. h. der Referenzpunkt des Objekts in dem Eingangsbild 31. Für das Eingangsbild 31 wird ein Merkmalsbild, das mit dem Standardmerkmalsbild identisch ist, d. h. ein Kantenbild 32 erzeugt, und nur, wenn der Kanten wert jedes Pixels mit den orthogonalen Koordinaten (x, y) des Kantenbildes 32 "1" ist, was der in der Referenztabelle 27 gespeicherte Wert (der Merkmalswert) ist, werden die Polar­ koordinatenadressen (γ_i, α_i) die in der Referenztabelle 27 entsprechend dem Merkmalswert gespeichert sind, nacheinander ausgelesen, um die folgende Adressenübersetzung auszuführen:

x_G = x + y_icos (α_i+Θ
y_G = y + y_isin (α_i+Θ

wobei Θ der Rotationswinkel des Objekts ist. Es sei nun der Kürze halber angenommen, daß der Rotationswinkel Θ des Objekts vorbekannt ist. Die so durch diese Adressenübersetzung errech­ neten Koordinaten (x_G, y_G) stellen die Position dar, die wahrscheinlich der Referenzpunkt des Objekts ist, der vorhergesagt wurde. Wie in Fig. 5 gezeigt wird jede Adresse (x_G, y_G), die für eine Pixelposition (x, y) umgesetzt wurde, wo der Kantenwert "1" erhalten wurde, mit eins zu dem Wert an der Position (x_G, y_G) auf einem Akkumulatorarray 34 "votiert", der einen Parame­ terraum darstellt. D.h., alle in der Referenztabelle 27 gespeicherten Adressen werden der Reihe nach aus dieser ausgelesen, und zwar entsprechend beispielsweise dem Punkt A in einem unbekannten Kantenmerkmalsbild 32 und dann umgesetzt, und das aufeinanderfolgende "Votie­ ren" dieser umgesetzten Adressen (x_G, y_G) zu dem Wert an der Position (x_G, y_G) auf dem Akkumulatorarray 34 bedeutet, daß eine Ortskurve (des Werts "1") 35a, bei der es sich wahr­ scheinlich um den Referenzpunkt handelt, physisch auf dem Akkumulatorarray 34 abgelegt wird. Mittels Durchführen einer ähnlichen Verarbeitung für die Punkte B und C in dem unbe­ kannten Kantenmerkmalsbild 32 werden Ortskurven 35b und 35c erhalten. Der Wert an jeder Position (x_G, y_G) in dem Akkumulatorarray 34 ist ein votierter (akkumulierter) Wert. Wenn also die Ortskurven 35b und 35c die Ortskurve 35a einmal schneiden, geht der Wert am Schnitt­ punkt auf 2, und wenn sie die Ortskurve 35a zweimal schneiden, geht der Wert am Schnitt­ punkt auf 3. Nimmt man an, daß die relative Position des Kantenbildes des unbekannten Kantenmerkmalsbildes 32 zu dem Kantenbild 29 des Standardkantenmerkmalsbildes 28 wenig­ stens an den Punkten A, B und C unverändert gehalten wird, schneiden sich die drei Ortskurven 35a, 35b und 35c in einem Punkt 36. Mittels Durchführung dieser Verarbeitung für alle Kanten­ punkte auf dem unbekannten Kantenmerkmalsbild 32 sowie für die oben erwähnten drei Punkte, schneiden sich Ortskurven, die wahrscheinlich der Referenzpunkt in dem Akkumulatorarray 34 sind, im selben Punkt N_p Male, wenn das Objekt des Eingangsbildes 31 mit dem Objekt des Standardbildes exakt übereinstimmt. Die Häufigkeit der Ortskurvenüberschneidung, d. h. die akkumulierte Votierungsverteilung erhält man, wie beispielsweise durch die Kurve 37 in Fig. 4 dargestellt. Die Berechnung des maximalen Punkts (Position) und des maximalen Spitzenwerts (maximalen Häufigkeits- bzw. Frequenzwerts) der Verteilung dient der Berechnung der Position des Referenzpunkts in dem Eingangsbild 31 und seiner Kreisförmigkeit relativ zu dem Standard­ bild 21. Wenn der Rotationswinkel Θ unbekannt ist, wird er mit einer Schrittweite ΔΘ über den Bereich des Winkels Θ allein variiert und eine ähnliche Verarbeitung für jeden Rotationswinkel Θ durchgeführt, wobei das Akkumulatorarray 34 als ein dreidimensionales (x_G, y_G, Θ), nicht als das zweidimensionale (x_G, y_G) verwendet wird. Hierdurch wird die Position errechnet, wo der maximale Spitzenwert (x_G*, y_G*, Θ*) der akkumulierten Votierungsverteilung auftritt. Dieser Winkel Θ* ist der gesuchte Rotationswinkel des Objekts. Beispielsweise im Fall einer Objektun­ tersuchung wird der Änderungsbereich des Rotationswinkels Θ des Objekts unter Berücksichti­ gung der Genauigkeit einer bei der Fabrikation des Objekts benutzten Lehre als innerhalb von ± 10° liegend vorhergesagt. In diesem Fall braucht der Rotationswinkel Θ nur in kleinen Stücken innerhalb des vorhergesagten Bereichs verändert zu werden.

In der Adresse (x_G*, y_G*, Θ*) wo der votierte Wert in dem Akkumulatorarray 34, der der Parameterraum ist, maximal wird, geben die Parameter x_G* und y_G* die Position des Referenz­ punkts an und Θ* den Rotationswinkel des Objekts, und der maximale votierte Wert (die maxi­ male Häufigkeit) ist ehe Größe, die die Nähe des Eingangsbildes zum Standardbild repräsentiert.

Im Schritt S3 in Fig. 3 wird der Häufigkeitsmaximalwert für die jeweilige Probe in jeder Katego­ rie berechnet, dann eine Häufigkeitsmaximalwertverteilung innerhalb der Kategorie erzeugt sowie eine Häufigkeitsmaximalswertsverteilung zwischen Kategorien erzeugt, beispielsweise für eine Bildprobe eines schlechten Objekts in bezug auf ein gutes Objekt. Dann wird für jedes Merkmal in jeder Kategorie der Abstand zwischen der Häufigkeitsmaximalwertverteilung inner­ halb der Kategorie und der Häufigkeitsmaximalwertverteilung zwischen den Kategorien errech­ net. Der so errechnete Abstand wird zur Bestimmung des Gewichts jedes Merkmals in jeder Kategorie verwendet. Im Schritt S4 werden die Merkmale in den jeweiligen Kategorien im Hinblick auf das Gewicht sortiert, um die Rangfolge der Merkmale zu bestimmen. Im Schritt S5 wird die Anzahl von Referenztabellen zum Kombinieren der Merkmale in absteigender Ordnung der Rangfolge für jede Kategorie erhöht, d. h. die Anzahl von Merkmalen, die kombiniert werden, wird erhöht, und jede Kombination wird daraufhin bewertet, in welchem Ausmaß die Kategorien voneinander unterschieden werden können. Im Schritt S6 wird die Auflösung des Eingangsbil­ des geändert, und die Schritte S1 bis S5 werden wiederholt, bis die Fehlerrate ausreichend klein wird, d. h. bis gute und nicht gute Objekte unterschieden werden können, oder bis die Anzahl nicht unterscheidbarer Kategorien auf Null reduziert ist.

Durch eine Verarbeitung, wie sie oben beschrieben wurde, wird eine Vielzahl von Arten von Merkmalsbildern, die von dem Eingangsbild ableitbar sind, der verallgemeinerten Hough-Trans­ formation unterzogen, und zwar unter Verwendung der Referenztabellen der jeweiligen Merk­ malsbilder. Ein Abstand, der von dem Zusammenhang zwischen einer Intravarianz und einer Intervarianz der Häufigkeitsverteilung der Ausgabe der verallgemeinerten Hough-Transformation auf den Akkumulatorarray abhängt, wird als das Gewicht für jedes Merkmal verwendet. Die Merkmale werden in absteigender Reihenfolge des Gewichts kombiniert, und der Abstand zwischen den Kategorien wird bewertet, und die Merkmale werden eines nach dem anderen kombiniert, bis der gewichtete Abstand einen bestimmten Wert überschreitet, oder bis der Zusammenhang zwischen dem Eingangsbild und dem Standardbild nicht mehr verbessert wird. In der erwähnten JP 04-175885 A2 wird die Gewichtung von Merkmalssätzen und die Auswahl von Kombinationen der Merkmalssätze vorgeschlagen.

Was hingegen das Merkmalspunktauswahlverfahren angeht, schlägt der Stand der Technik nicht mehr vor, als die Auswahl von Merkmalspunkten, die am weitesten in dem von dem Standard­ bild erhaltbaren Merkmalsbild von einander entfernt sind. Wenn bei diesem Merkmalspunktaus­ wahlverfahren einige der auszuwählenden Merkmalspunkte des Standardbildes Flecke aufgrund von Staub oder anderen Störungen aufweisen, wird das Untersuchungsvermögen verschlech­ tert, da das Standardbild unvollständig ist. Selbst wenn darüber hinaus ein Bild manuell als Standardbild gewählt wird, besteht keine Sicherheit, daß es sich um ein wahres Standardbild handelt. Zur Beseitigung dieses Nachteiles werden gemäß dem Stand der Technik Gewichte automatisch den Merkmalspunkten zugewiesen, die von einer Vielzahl von Bildfolgen guter Objekte ausgewählt werden, und bei der Merkmalssatzauswahl und -anpassung wird ein größe­ rer Einfluß auf die Merkmalspunkte großer Gewichte oder hoher Zuverlässigkeit ausgeübt, während der Einfluß auf die Merkmalspunkte kleiner Gewichte oder niedriger Zuverlässigkeit verringert wird.

Fig. 6 zeigt Beispiele von Bildern von Untersuchungsmustern. Verglichen mit einem idealen Muster, wie es in Fig. 6A dargestellt ist, sind den Bildern tatsächlicher guter Objekte Rausch- oder Störkomponenten infolge von Staub oder Flecken überlagert. Wie beispielsweise in den Fig. 6B bis 6D gezeigt, sind die tatsächlichen Bilder relativ zu dem idealen Muster etwas versetzt (verschoben) oder verdreht. Das Bild eines nicht guten Objekts, das in Fig. 6E gezeigt ist, ist verglichen mit dem idealen Muster von Fig. 6A etwa flach. Ihm ist also Rauschen überla­ gert, und es ist relativ zu dem idealen Muster versetzt/verdreht. Die guten und die nicht guten Objekte müssen unter solchen Umständen unterscheidbar sein. Dieses Problem tritt auch bei der Sortierung und Erkennung von Objekten unter Verwendung ihrer Bilder auf.

Die DE 41 33 590 A1 offenbart ein Verfahren zur Klassifikation von Signalen, das zum Erkennen fehlerhafter Teile in einem Produktionsprozeß oder von Objekten in Bildern natürlicher Szenen geeignet ist. Die Signale stellen jeweils einen von mehreren möglichen Amplitudenwerten der Signale dar. Aus jeweils mehreren Abtastwerten werden Proben gebildet, aus jeder Probe wird mindestens ein Merkmal extrahiert, und das Merkmal bzw. die Merkmale jeder Probe werden als Adressen verwendet, um aus einer Tabelle gespeicherte Auftrittswahrscheinlichkeiten auszulesen. Die Tabelle wird vorher in einem Lernprozeß erstellt. Aus den Auftrittswahrscheinlichkeiten aller Proben wird eine Entscheidungsgröße berechnet und mit einem Schwellenwert verglichen.

Die DE 44 38 278 A1 beschreibt ein automatisches optisches Prüfsystem für Leiterplatten, bei dem ein Referenzmuster mit maximaler Toleranz und ein Referenzmuster mit minimale Toleranz pixelweise mit einem Eingangsmuster einer zu prüfenden Leiterplatte verglichen werden.

Aus der US 4,446,531 A ist ein Verfahren zur Berechnung der Ähnlichkeit zwischen zwei Mustern bekannt, bei dem beide Muster durch eine Folge von Merkmalsvektoren repräsentiert sind. Die Ähnlichkeit wird auf der Basis des Abstands zwischen Merkmalsvektoren ermittelt.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Untersuchungs/Erkennungsverfahren zu schaffen, das die oben beschriebenen Fehler des Standes der Technik vermeidet und sicher­ stellt, daß zwischen guten und nicht guten Objekten unterschieden werden kann, oder korrektes Sortieren oder Erkennen von Objekten erlaubt, und zwar unabhängig von Intensitätsschwankun­ gen guter Objekte oder Standardprobenbilder, die von einer Änderung der Beleuchtungsumge­ bung oder der Reflexionseigenschaft der Probenoberfläche oder Staub und Flecken auf den Objekten herrühren.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Bilduntersuchungs/-erkennungsverfahren gemäß den Ansprüchen 1, 25 und 26, ein Verfahren zur Erzeugung von Referenzdaten für die Bilduntersuchung/-erkennung gemäß Anspruch 19, sowie eine Vorrichtung zur Bilduntersu­ chung/-erkennung gemäß Anspruch 23 bzw. eine Vorrichtung zur Erzeugung von Referenzdaten gemäß Anspruch 24.

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.

Gemäß der vorliegenden Erfindung werden in einem Bilduntersuchungs/-erkennungsverfahren, welches einen ersten Schritt der Extraktion von Bildmerkmalen aus einem eingegebenen Bild zum Erhalt eines Merkmalsbildes, einen zweiten Schritt der Quantisierung des Merkmalsbildes zum Erhalt eines quantisierten Merkmalsbildes und einen dritten Schritt zum Erhalt der Ähnlich­ keit von oder der Differenz zwischen Merkmalspunkten des quantisierten Merkmalsbildes und der Verwendung von Lerndaten der entsprechenden Merkmale enthält, die von einer Vielzahl von Lernbildern vorab extrahiert wurden, die Gewichte der Merkmalspunkte vorab berechnet, wobei Merkmalswerthistogramme an den jeweiligen Merkmalspunkten in quantisierten Merk­ malsbildern der Vielzahl von Lernbildern verwendet werden, und die vorab berechneten Gewichte werden dazu verwendet, die Ähnlichkeit oder Differenz in dem dritten Schritt als gewichtete Ähnlichkeit oder gewichtete Differenz zu erhalten. In dem dritten Schritt wird eine Vielzahl verschiedener Merkmalsbilder einer Merkmalskombination mit Gewichten unterzogen, um die gewichtete Ähnlichkeit oder die gewichtete Differenz zu erhalten.

Die gewichtete Ähnlichkeit in dem dritten Schritt wird durch die verallgemeinerte Hough-Trans­ formationsoperation erhalten, die die Gewichte von Merkmalspunkten in den Parameterraum votiert. Alternativ wird eine gewichtete normierte Korrelationsoperation eingesetzt, die eine Merkmalspunktgewichtsfolge verwendet zum Erhalt normierter Korrelationsfaktoren zwischen einer Merkmalspunktwertfolge des aus dem Eingangsbild erhaltenen Merkmalsbildes und einer Merkmalspunktwertfolge des Merkmalsbildes von dem Lernbild. Die gewichtete Differenz in dem dritten Schritt wird dadurch berechnet, daß eine Hough-Ebene gewonnen wird, indem das quan­ tisierte Merkmalsbild einer gewichteten Hough-Transformationsoperation unterzogen wird, die das Gewicht des Merkmalspunkts für jeden Quantisierungspegel in den Parameterraum votiert, und durch Berechnen der Differenz zwischen der Hough-Ebene und einer Referenz-Hough-Ebene, die von dem Merkmalsbild des Lernbildes erhalten wird.

Für ein Merkmalsbild wird die Gesamtsumme der Gewichte jeweiliger Merkmalspunkte auf die Anzahl von Merkmalspunkten normiert. Wenn die Kontraste der Vielzahl von Lernbildern größer sind als ein vorbestimmter Wert, wird ein Bereichsmerkmalsbild als ein Merkmalsbild in dem ersten Schritt extrahiert, und eine normierte Korrelationsoperation in dem dritten Schritt ausge­ führt. Wenn die Kontraste geringer sind als der vorbestimmte Wert, wird ein Konturmerkmals­ bild in dem ersten Schritt extrahiert und eine gewichtete verallgemeinerte Hough-Transforma­ tionsoperation in dem dritten Schritt ausgeführt. Alternativ werden für eine Vielzahl von Lernbil­ dern unterschiedlicher Kategorien, wie guter und schlechter Objekte, die gewichtete verallge­ meinerte Hough-Transformationsoperation und die gewichtete normierte Korrelationsoperation ausgeführt und der Abstand oder die Entfernung zwischen Ähnlichkeitsverteilungen in jeder Kategorie ermittelt; eine Operation findet für die Kategorie des größeren Interverteilungsab­ stands statt.

Bei der Quantisierung des Merkmalsbildes wird eine Quantisiserungsbreite für die Vielzahl von Lernbildern verwendet, die den Abstand zwischen den Ähnlichkeits- oder Differenzverteilungen in jeder der Kategorien, wie gute und schlechte Objekte, maximiert, aber diese Quantisierungs­ breite minimiert mittlere integrierte quadratische Fehler von Merkmalswerthistogrammen von Merkmalspunkten in Merkmalsbildern der Vielzahl von Lernbildern.

Das Gewicht jedes Merkmalspunkts wird auf folgende Weise bestimmt. D.h., ein quantisiertes Merkmalsbild wird aus einer Vielzahl von Lernbildern erhalten, und dann werden ein Histogramm des Merkmalswert an jedem Merkmalspunkt des quantisierten Merkmalsbildes und das Gewicht des Merkmalspunkts nach Maßgabe der Streuung des Histogramms bestimmt.

In einem anderen Bilduntersuchungs/-erkennungsverfahren gemäß der vorliegenden Erfindung wird, wie im Fall des zuvor erwähnten Verfahrens, das quantisierte Merkmalsbild des Eingangs­ bildes erhalten und die Ähnlichkeit oder Differenz jedes Merkmalspunkts des quantisierten Merkmalsbildes unter Verwendung von Referenzdaten gewonnen, die von dem Lernbild abgelei­ tet wurden. In diesem Fall wird jedoch eine Mehrfachbitebene erzeugt, die sich aus Bitebenen zusammensetzt von denen jede einem von Quantisierungspegeln des quantisierten Merkmals­ bildes entspricht, und jede Bitebene wird dann der verallgemeinerten Hough-Transformation oder der Hough-Transformation unter Verwendung der Referenzdaten unterzogen, und die Ähnlich­ keit wird aus der mittels der verallgemeinerten Hough-Transformation transformierten Bitebene errechnet, oder es wird die Differenz durch Berechnen der Differenz zwischen der Hough-trans­ formierten Bitebene und der Referenz-Mehrfach-Hough-Ebene errechnet. In beiden Fällen wird die gewichtete Ähnlichkeitsberechnung oder die gewichtete Differenzoperation unter Verwen­ dung des der Bitebenen zugewiesenen Gewichts durchgeführt.

Eine Vielzahl quantisierter Merkmalsbilder wird von einer Vielzahl von Lernbildern einer Vielzahl jeweiliger Kategorien gewonnen. Die Lerndaten im dritten Schritt werden dazu verwendet, gewichtet Ähnlichkeiten oder gewichtete Differenzen von Merkmalspunkten von Merkmalsbil­ dern der Lernbilder nach derselben Methode wie der der im dritten Schritt verwendeten Berech­ nung zu berechnen, und die berechneten Ergebnisse werden dazu verwendet, Ähnlichkeiten oder Differenzen der jeweiligen Merkmalsbilder zu gewinnen, und diese Ähnlichkeiten oder Differenzen werden dann dazu benutzt, die Gewichte der Merkmale zu berechnen. Die so gewichteten Merkmale werden kombiniert und die Ähnlichkeit oder Differenz in jeder Kategorie und der Abstand zwischen diesen Ähnlichkeiten oder Differenzen in den jeweiligen Kategorien werden berechnet; die Kombination der gewichteten Merkmale wird geändert, bis der Abstand eine vorbestimmte Bedingung erfüllt. Auf diese Weise wird die Kombination von Merkmalsbil­ dern zur Verwendung bei der Berechnung in dem dritten Schritt bestimmt.

Zwischen der Ähnlichkeit oder Differenz in jeder Kategorie und der Ähnlichkeit oder Differenz zwischen den Kategorien in der bestimmten Kombination von Merkmalsbildern wird ein Schwellenwert zur Unterscheidung zwischen den Kategorien bestimmt. D.h., der Schwellenwert dient dem Vergleich der Ähnlichkeit oder Differenz mit jenen, die im dritten Schritt erhalten werden, zur Beurteilung, ob das betroffene Objekt gut oder schlecht ist, oder zur Beurteilung von Objekten, um sie zu sortieren oder zu erkennen. Darüber hinaus wird der Betrag der Verschiebung (Versatz), Rotation oder Maßstabsänderung des Ursprungs des untersuchten Objekts, der die gewichtete Ähnlichkeit oder die gewichtete Differenz, die im dritten Schritt erhalten wird, maximiert oder minimiert, berechnet, und der berechnete Betrag wird als ein Untersuchungsmaß verwendet.

Die Bilduntersuchungs/-erkennungsvorrichtung gemäß der vorliegenden Erfindung umfaßt: eine Bildspeicheranordnung zur Speicherung eines Eingangsbildes; eine Einrichtung zur Extraktion von Merkmalsbildern des Eingangsbildes und zur Erzeugung eines Merkmalsbildes; eine Einrich­ tung zum Quantisieren des Merkmalsbildes; eine Merkmalsbildspeichereinrichtung zum Spei­ chern des quantisierten Merkmalsbildes; eine Referenztabellenspeichereinrichtung zum Spei­ chern von Merkmalswerten, ihrer Punkte und Gewichte als eine Referenztabelle für jedes Merk­ malsbild; eine Berechnungseinrichtung zur Berechnung der gewichteten Ähnlichkeit oder Diffe­ renz für jedes quantisierte Merkmalsbild unter Verwendung der entsprechenden Referenztabelle, die in der Referenztabellenspeichereinrichtung gespeichert ist; und eine Steuereinrichtung zur Steuerung der jeweiligen Einrichtungen.

Die Referenzdatenerzeugungsvorrichtung zur Verwendung bei der Bilduntersuchung/-erkennung gemäß der vorliegenden Erfindung umfaßt: eine Bildspeichereinrichtung zum Speichern eines Eingangslernbildes; eine Einrichtung zur Extraktion von Bildmerkmalen aus dem Lernbild unter Erzeugung eines Merkmalsbildes; eine Einrichtung zum Quantisieren des Merkmalsbildes; eine Merkmalsbildspeichereinrichtung zum Speichern des quantisierten Merkmalsbildes; eine Einrich­ tung zum Erhalt dem Merkmalspunktwertverteilung aus dem quantisierten Merkmalsbild; einen Merkmalspunktwertverteilungsspeicher zum Speichern der Merkmalspunktwertverteilung für jedes Merkmalsbild; eine Einrichtung zur Bestimmung des Gewichts jedes Merkmalspunkts auf der Basis der Merkmalspunktwertverteilung; eine Referenztabellenspeichereinrichtung zum Spei­ chern des Merkmalspunkts und seines Gewichts für jedes Merkmal; eine gewichtete Ähnlich­ keits-(Differenz)-Berechnungseinrichtung zum Erhalt der gewichteten Ähnlichkeit oder Differenz des Merkmalsbildes dadurch, daß für dieses eine Korrelationsoperation unter Verwendung des Gewichts des Merkmalspunkts, das in der Referenztabellenspeichereinrichtung gespeichert ist, durchgeführt wird; eine Ähnlichkeits-(Differenz)-Verteilungsspeichereinrichtung zum Speichern der gewichteten Ähnlichkeits- oder Differenzverteilung; eine Einrichtung zum Erhalt der Gewichte der jeweiligen Merkmale von der Ähnlichkeits- oder Differenzverteilung entsprechend jeder Kategorie; eine Einrichtung zur Bestimmung einer Kombination von Merkmalen und zum Erhalt des Abstand zwischen der gewichteten Ähnlichkeit oder Differenz in der Kategorie und den gewichteten Ähnlichkeiten oder Differenzen zwischen verschiedenen Kategorien in der Kombination von Merkmalen; und eine Einrichtung zur Änderung der Kombination von Merkma­ len, bis der oben erwähnte Abstand eine vorbestimmte Bedingung erfüllt sowie zur Lieferung, als Referenzdaten, der Merkmalspunkte und ihrer Gewichte in jedem der kombinierten Merk­ malsbilder.

Zum Erhalt von Merkmalspunktgewichten, die auf der Basis der Streuung in Mehrfachzellen­ merkmalen (Mehrfachauflösungsmerkmalen) einer Vielzahl von Lernbildproben bestimmt werden, werden Versatze (Verschiebungen) von Merkmalspunkten in Lernmerkmalsbildern korrigiert und dann die Streuung der Merkmalspunktwerte gemessen, und die Merkmalspunkt­ gewichte werden auf der Basis der gemessenen Ergebnisse bestimmt. Die Merkmalspunktge­ wichte werden für jedes Merkmal berechnet. Die so berechneten Merkmalspunktgewichte werden als Koeffizienten zur Verwendung in der gewichteten Ähnlichkeitsberechnung und der gewichteten Differenzberechnung geliefert. Der Abstand, der auf dem Zusammenhang zwischen der Intra- und der Intervarianz der resultierenden Ähnlichkeits- oder Differenzverteilung abhängt, wird als das Gewicht jedes Merkmals verwendet, und die Merkmale werden in abfallender Reihenfolge der Gewichte kombiniert. Die Merkmale werden kombiniert, bis der Abstand einen vorbestimmten Wert übersteigt oder bis die Beziehung des Eingangsbildes zu dem Standardbild nicht länger verbessert wird.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnungen im einzelnen erläutert. Es zeigen:

Fig. 1A ein Diagramm, das ein Beispiel eines untersuchten Bildes darstellt,

Fig. 1B eine ideale Intensitätsvariationskurve 13 und ein Beispiel der tatsächlichen Intensi­ tätsvariationskurve 14 längs der gestrichelten Linie 12 in Fig. 1A sowie ihre kombi­ nierte Kurve 15,

Fig. 1C eine Grafik, die ein Beispiel eines Intensitätshistogramms im Bereich 11a in Fig. 1A darstellt,

Fig. 1D ein Diagramm, das die Extraktionsergebnisse des Bereichs 11a mittels eines herkömmlichen Untersuchungsverfahrens darstellt,

Fig. 2A ein Diagramm, das ein Standardfenster in einem Standardbild darstellt,

Fig. 2B eine Grafik, die ein Beispiel eines Intensitätsmusters in dem Standardfenster von Fig. 2A zeigt,

Fig. 2C ein Diagramm, das einen Suchbereich in einem untersuchten Bild zeigt,

Fig. 2D ein Diagramm, das ein Beispiel des Zusammenhangs zwischen einem Intensitätsmu­ ster in dem Suchbereich und einem Intensitätsmuster in dem entsprechenden Stan­ dardfenster zeigt,

Fig. 3 ein Flußdiagramm, das die Prozedur in einem herkömmlichen Bilduntersuchungsver­ fahren unter Verwendung des verallgemeinerten Hough-Transformationsschemas benutzt,

Fig. 4 Diagramme zur Erläuterung einer herkömmlichen Hough-Transformation,

Fig. 5 ein Diagramm, das zeigt, wie auf einen Akkumulatorarray (einem Parameterraum) zum Zeitpunkt der Durchführung der verallgemeinerten Hough-Transformation eines Eingangskantenbildes in bezug auf ein Standardkantenbild votiert wird,

Fig. 6 ein Diagramm, das ein ideales Muster zeigt,

Fig. 6B bis 6D Diagramme, die gute Objekte zeigen, die jeweils ein wenig Rauschen und Rotation verglichen mit dem idealen Muster von Fig. 6A enthalten,

Fig. 6E ein Diagramm des Musters eines schlechten Objekts,

Fig. 7 ein Flußdiagramm, das die in einer ersten Ausführungsform des Verfahrens gemäß der Erfindung enthaltene Prozedur zeigt,

Fig. 8 ein Diagramm zur Erläuterung der Idee der Extraktion von Mehrfachzellenmerkmalen aus einem Eingangsbild,

Fig. 9A bis 9D Diagramme, die Bilder von Ortsfrequenzen zeigen, die sich von denen der Bilder unterscheiden, welche jeweils in den Fig. 6B bis 6E gezeigt sind,

Fig. 10 Beispiele von mit Lernmerkmalen korrigierten Bildern des in Fig. 9A gezeigten Bildes,

Fig. 11 ein Diagramm, das ein Beispiel der Merkmalspunktwertverteilung in einem Lern-Null­ durchgangspunktbild zeigt,

Fig. 12A bis 12D Beispiele der Lernmerkmalspunktwertverteilung in einem Intensitätsbild,

Fig. 13 ein Diagramm eines Beispiels einer Referenztabelle für ein Nulldurchgangspunktbild bei der ersten Ausführungsform,

Fig. 14 Beispiele der Referenztabelle zur Verwendung für den Fall der Behandlung von N Merkmalen,

Fig. 15 ein Diagramm, das das Konzept des Unterschieds (Abstands) zwischen einer Ähnlich­ keitsverteilung eines schlechten Objekts (die Interkategorieähnlichkeitsverteilung) und der Ähnlichkeitsverteilung für ein gutes Objekt (die Intrakategorieähnlichkeitsvertei­ lung) zeigt,

Fig. 16 Diagramme, die die Ausrichtung von Merkmalsgewichten auf Referenztabellen bei der ersten Ausführungsform zeigen,

Fig. 17 ein Flußdiagramm, das die bei einer zweiten Ausführungsform der vorliegenden Erfin­ dung enthaltene Prozedur darstellt,

Fig. 18 und 19 Beispiele von Referenztabellen bei der zweiten Ausführungsform,

Fig. 20 ein Flußdiagramm, das die Prozedur der Erzeugung von Referenzdaten bei einer drit­ ten Ausführungsform der vorliegenden Erfindung zeigt,

Fig. 21 ein Diagramm, das die bei einer dritten Ausführungsform enthaltene Untersuchungs­ prozedur zeigt,

Fig. 22 ein Diagramm, das ein Beispiel eines Erstreckungsmerkmals zeigt,

Fig. 23 konzeptionell den Zusammenhang zwischen einem Merkmalsbild und seinen Mehr­ fachbitebenen und Referenztabellen,

Fig. 24 ein Flußdiagramm der in der Erzeugung von Referenzdaten bei einer vierten Ausfüh­ rungsform der vorliegenden Erfindung enthaltenen Prozedur,

Fig. 25 ein Flußdiagramm der bei der vierten Ausführungsform enthaltenen Untersuchungs­ prozedur,

Fig. 26 ein Blockdiagramm, das eine Ausführungsform einer Bilduntersuchungs/-erkennungs­ vorrichtung gemäß der vorliegenden Erfindung darstellt,

Fig. 27 ein Blockdiagramm, das eine Ausführungsform der Referenzdatenerzeugungsvorrich­ tung gemäß der vorliegenden Erfindung zeigt,

Fig. 28 ein Flußdiagramm, das die in einer fünften Ausführung der vorliegenden Erfindung enthaltene Prozedur darstellt, und

Fig. 29A und 29B Flußdiagramme, die jeweils Prozeduren für die Auswahl von Merkmalsbildern in Lernbildern zeigen.

Erste Ausführungsform

Fig. 7 ist ein Flußdiagramm, das die bei einer ersten Ausführungsform dieser Erfindung enthal­ tene Prozedur darstellt. Die Prozedur ist in eine Prozedur 100 zur Erzeugung von Referenzdaten für die Verwendung zur Bilduntersuchung und eine Untersuchungsprozedur 200 unterteilt. Es sollen nun konkret der Ablauf zur Berechnung einer gewichteten Ähnlichkeit und der Ablauf zur Berechnung einer gewichteten Differenz beschrieben werden, die für die vorliegende Erfindung charakteristisch sind. In Fig. 7 ist die gewichtete Ähnlichkeitsberechnung eine verallgemeinerte Hough-Transformation mit Gewichten. Bei der ersten Ausführungsform sind ein Lernmerkmals­ bilderstellungsschritt 102 bis zu einem Lerndatenspeicherschritt 107, ein Schritt 113 zur gewichteten verallgemeinerten Hough-Transformation und ein Schritt 204 zur gewichteten verallgemeinerten Hough-Transformation besonders charakteristisch für die vorliegende Erfin­ dung. In einem Lernbildeingabeschritt 101 wird eine Vielzahl von Lernbildern guter Objekte eingegeben. Es wird angenommen, daß die Lernbilder nach Quantisierung mit mehreren Graustufen (normalerweise 256 Graustufen) eingegeben werden. Im Lernmerkmalsbilderstel­ lungsschritt 102 werden aus den eingegebenen Lernbildern durch eine Mehrfachzellenmerkmal­ sextraktionsverarbeitung Lernmerkmalsbilder erzeugt. Das Mehrfachzellenmerkmalsextraktions­ schema ist in Fig. 8 gezeigt. D.h., vier grundlegende Darstellungen der eingegebenen Lernbilder wie etwa eine Intensitätsverteilung 41, eine Richtungsverteilung 42, eine Kantendichteverteilung 43 und Kantenkonfigurationsverteilung 44 werden bezeichnet. Von der Intensitätsverteilung 41 wird ein Intensitätsvarianz- oder ähnliches Intensitätsstatistikbild 45 durch lokalisierte Filterung extrahiert. Von der Richtungsverteilung 42 werden ein Krümmungsbild (ein Kantenbiegungsbild) 46 und ein die Parallelität anzeigendes Stabmerkmalsbild 47 extrahiert. Von dem Kantendichte­ bild 43 wird ein Komplexitätsbild 48 extrahiert, das die Anzahl radialer Abtastlinien angibt, die eine Kante kreuzen. Von der Kantenkonfigurationsverteilung 44 werden ein Erstreckungsbild 49, welches die Entfernungen (radialen Entfernungen) zu den Punkten angibt, wo die radialen Abtastlinien das erste Mal auf eine Kante treffen, und ein Fleckbild 50 extrahiert, welches die "Zirkularität" angibt, die aus dem diagonalen Entfernungsverhältnis zwischen den jeweiligen radialen Entfernungen errechnet wird. Die Verfahren zum Extrahieren dieser Merkmalsbilder 45 bis 50 sind beispielsweise in der JP 63-213085 A2, der JP 63-213093 A2 und der JP 63-226785 A2 offenbart. Die Merkmalsbilder 45 bis 50 werden in Bereichsmerkmalsbilder, die Eigenschaften eines Bereichs reflektieren, wie etwa die Intensitätsstatistik, die Komplexität und die Erstreckung sowie Konturmerkmalsbilder unterteilt, welche solche Eigenschaften einer Kontur wie die Kante und die Krümmung reflektieren (Bereich ist dabei nicht ein von einer Segmentierung resultierender Bereich, sondern ein durch lokalisierte Filterung zu verarbeitender lokalisierter Bereich). Auf der Grundlage von Differenzen der Ortsfrequenz zur Filterung und der Auflösung (der Differenz hinsichtlich der ein Muster repräsentierenden Zelle) zusätzlich zu der oben erwähnten Merkmalssatzdifferenz der Merkmalsbilder einschließlich Originalintensitäts- und Kantenbildern, werden für die oben bezeichneten Merkmale neue Bilder erzeugt.

Es sei nun der Fall betrachtet, daß Nulldurchgangspunktbilder, bei denen es sich um Kontur­ merkmalsbilder handelt, von den untersuchten Musterbildern extrahiert werden, die in Fig. 6 gezeigt sind. Solch ein Nulldurchgangspunktbild erhält man durch Berechnung eines quadrati­ schen Differentialbildes, durch Faltung des Originalbildes und ein Laplace′sches Gaus′sches Filter und durch Berechnung von Nulldurchgangspunkten des quadratischen Differentialwerts (entsprechend Wendepunkten, wo sich der Graustufenwert des Originalbildes ändert). Das Laplace′sche Gaus′sche Filter ist definiert durch ein quadratisches Differential G′′ der Form (G(x, y, σ) = (1/(2πσ²))exp(-(x² + y²)/(2σ²))). σ wird geändert, und die Nulldurchgangspunkte werden für diese verschiedenen σ extrahiert.

Die Fig. 9A bis 9D zeigen Nulldurchgangspunktbilder, die jeweils von den Bildern 6B bis 6E extrahiert wurden. Die obersten Merkmalsbilder in Fig. 9 sind Bilder, die für ein kleines σ erhal­ ten wurden, in welchem Fall die Ortsfrequenz hoch ist und eine feine Konturstruktur extrahiert werden kann, jedoch auch Rauschen erfaßt wird. Die untersten Merkmalsbilder sind Bilder, die für ein großes σ erhalten wurden, in welchem Fall die Ortsfrequenz niedrig ist und kein Rauschen erfaßt wird, aber nur eine rauhe Konturstruktur erhalten wird.

Derartige Mehrfachauflösungszellen (Mehrfachzellenmerkmal) werden kollektiv als eine Pyrami­ den-mehrschichtmerkmalsebene 51 (Fig. 8) behandelt. Durch Extrahieren des Mehrfachzellen­ merkmals, das auf der Grundlage der vier grundlegenden Darstellungen (41 bis 44 in Fig. 8) geschaffen wird, und der Unterschiede in der Ortsfrequenz und in der Auflösung, ist es möglich zwischen guten und schlechten Objekten zu unterscheiden, selbst wenn Rauschen vorhanden ist. In dem Lernmerkmalsbilderstellungsschritt 102 in Fig. 7 wird ein Teil des Mehrfach­ zellenmerkmals, welches im Hinblick auf die Effizienz des Systems als effektiv betrachtet wird, gewöhnlich unter Berücksichtigung des untersuchten Objekts extrahiert.

In dem Lernmerkmalspunktversatzkorrekturschritt 103 wird die Vielzahl von Lernmerkmalsbil­ dern, die im Schritt 102 erhalten wurden, hinsichtlich Versatz(Verschiebung)/Rotation/Maßstab korrigiert. Der hier erwähnte Merkmalspunkt ist ein Pixelpunkt, der einfach die Eigenschaft des Objekts in dem Merkmalsbild angibt. Beispielsweise im Nulldurchgangspunktbild ist der Pixel des Werts 1 der Merkmalspunkt. Die Versatz/Rotations/Maßstabskorrektur ist eine einfache Korrek­ tur im Hinblick auf die Position und kann damit beispielsweise erzielt werden durch Berechnung der Verschiebung des Merkmalspunkts durch Anpassung mittels Abschätzung des kleinsten quadratischen Fehlers und dann Durchführung einer affinen Transformation zur Korrektur des Verschiebungsbetrags. Verschiedene bekannte Verfahren können eingesetzt werden, ein einfa­ ches Verfahren ist jedoch vorzuziehen.

Bei dieser Ausführungsform wird ein die verallgemeinerte Hough-Transformation, die eine Anpassungsverarbeitung ist, verwendendes Verfahren beschrieben. Irgendeines der Lernmerk­ malsbilder wird als ein Standardmerkmalsbild verwendet, und die Positionen von Merkmalspunk­ ten in dem Objekt (dem Objekt in dem Lernbild) und der Ursprung des Objekts (der Referenz­ punkt), die zu korrigieren sind, werden spezifiziert. Um den Korrekturfehler zu minimieren, ist es vorzuziehen, daß die Position des Ursprungs des zu korrigierenden Objekts das Zentrum des Objekts ist. Wie in Schritt 2 in Fig. 3 werden die Positionen der Merkmalspunkte von dem Ursprung des Objekts im Standardmerkmalsbild unter Verwendung ihrer Merkmalswerte als Indizes in einer Referenztabelle gespeichert. Diese Referenztabelle wird zur Durchführung der verallgemeinerten Hough-Transformation anderer Lernmerkmalsbilder verwendet. Da hierbei noch kein Merkmalspunktgewicht w in der später beschriebenen gewichteten verallgemeinerten Hough-Transformation bestimmt ist, wird der Wert w für die Merkmalspunkte übereinstimmend gemacht. D.h., der Inkrementwert eines Akkumulationshistogramms ist nicht der Wert w, sondern wie bei der herkömmlichen verallgemeinerten Hough-Transformation 1.

Wenn in der verallgemeinerten Hough-Transformation jeder Merkmalspunktwert in dem Lern­ merkmalsbild mit dem entsprechenden Merkmalswertindex der Referenztabelle übereinstimmt, wird eine Adressenübersetzung ausgeführt, wobei die Position des Merkmalspunkts verwendet wird, der entsprechend dem übereinstimmenden Merkmalswertindex gespeichert ist, wie dies im Fall von Fig. 4 der Fall ist. Dann findet ein Votieren in den Parameterraum des Posi­ tions/Rotationswinkels des Ursprungs des Objekts statt, und Änderungen in Position/Rota­ tionswinkel/Maßstab des Ursprungs des Objekts werden aufgrund einer Entscheidung nach dem Mehrheitsprinzip berechnet. Die so bestimmten Positions/Rotationswinkel/Maßstabs-Änderun­ gen des Ursprungs des Objekts werden dazu verwendet, das Lernmerkmalsbild durch affine Transformation um seinen Betrag einer Verschiebung gegenüber dem Standardmerkmalsbild hinsichtlich Position, Rotationswinkel und Maßstab zu korrigieren. Als Folge davon wird ein korrigiertes Lernmerkmalsbild errechnet. In den Fig. 10A bis 10C sind Bilder gezeigt, die durch Korrektur der jeweiligen Lernmerkmalsbilder hoher, mittlerer und niedriger Ortsfrequenzen, die in den Fig. 9A bis 9D gezeigt sind, erhalten wurden.

Wenn das Merkmalsbild mehrere Graustufen als ein Merkmal aufweist, wird das Bildmerkmal unter Verwendung einer bevorzugten Quantisierungsbreite in dem später beschriebenen Bild­ merkmalquantisierungsschritt 104 quantisiert. Wenn F(x, y) das Bildmerkmal repräsentiert, G(x, y) das quantisierte Bildmerkmal und I_q die Anzahl von Quantisierungspegeln, dann gilt

G(x, y) = ((F(x, y) - F_min)/R × I_q

wobei 0 G(x, y) I_q-1.

Darin ist F_min der Minimalwert des Bildmerkmals F und R ist sein Dynamikbereich. Die Quanti­ sierungsbreite ist als R/I_q definiert. Bei dieser Quantisierung ist es vorzuziehen, eine Quantisie­ rungsbreite zu verwenden, die den Abstand zwischen der Ähnlichkeitsverteilung eines guten Objekts (der maximalen Intrakategorie-Häufigkeitsverteilung, auf die zuvor im Zusammenhang mit Fig. 3 Bezug genommen wurde) und der Ähnlichkeitsverteilung eines schlechten Objekts (der maximalen Interkategoriehäufigkeitsverteilung) minimiert. Wenn die Quantisierungsbreite nicht optimal ist, sinkt die Trefferrate der verallgemeinerten Hough-Transformation, was dazu führt, daß das Untersuchungsvermögen verschlechtert wird. Die optimale Quantisierungsbreite kann dadurch akkurat berechnet werden, daß der Abstand zwischen den oben erwähnten Ähnlichkeitsverteilungen bewertet wird, wobei jedoch zuviel Zeit dafür erforderlich ist, den Optimalwert durch Änderung der Quantisierungsbreite in kleinen Stücken zu suchen. Daher ist es im Hinblick auf die Effizienz des Lernsystems wünschenswert, den Bereich der optimalen Quantisierungsbreite auf der Basis der Verteilung eines Bildmerkmals des guten Objekts ohne Notwendigkeit der Berechnung des Abstands zwischen den Ähnlichkeitsverteilungen grob zu beschränken.

Ein mittlerer integrierter quadratischer Fehler eines Merkmalswerthistogramms des Lernbildes des guten Objekts wird als ein Maß zur Abschätzung des Bereichs der optimalen Quantisie­ rungsbreite bezeichnet. Die Quantisierungsbreite, die diesen Fehler minimiert, wird als eine im wesentlichen optimale Quantisierungsbreite verwendet, und nach der Quantisierungsbreite, die den Abstand zwischen den Ähnlichkeitsverteilungen minimiert, wird in dem Bereich des Vorhandenseins der im wesentlichen optimalen Quantisierungsbreite gesucht.

Der mittlere integrierte quadratische Fehler des Merkmalswerthistogramms ist durch folgenden Ausdruck gegeben:

wobei H(k) das Merkmalswerthistogramm ist, k=1 . . ., I_q, und H_ideal(k) ein Idealmerkmals­ werthistogramm ist. Der so definierte mittlere integrierte quadratische Fehler wird minimiert. Da das ideale Merkmalswerthistogramm H_ideal(k) unbekannt ist, wird ein Erwartungswert des obigen Fehlers, d. h. des mittleren integrierten quadratischen Fehlers mittels der folgenden Glei­ chung unter Verwendung des Abschätzverfahrens größter Wahrscheinlichkeit (maximum likeli­ hood) berechnet.

wobei n die Gesamtsumme der Häufigkeits- oder Frequenzwerte des Merkmalswerthistogramms ist. Durch Berechnung der Anzahl von Quantisierungspegeln I_q, die den Fehler E_error (I_q) mini­ miert, ist es möglich, den Bereich des Vorhandenseins der optimalen Anzahl von Quantisie­ rungspegeln (die Quantisierungsbreite) zu begrenzen.

Durch Setzen eines einfacheren Maßes

I_{q *} (2n)^1/3

ist es ebenfalls möglich, den Bereich der optimalen Anzahl von Quantisierungspegeln (die Quan­ tisierungsbreite) zu definieren.

Als nächstes wird in dem Lernmerkmalspunktwertverteilungsmeßschritt 105 ein Merkmals­ werthistogramm für jeden Merkmalspunkt aus einer Folge korrigierter Lernmerkmalsbilder (quan­ tisierter Bilder), die in jedem Merkmal gespeichert sind, erzeugt. Da in diesem Fall ein Versatz­ korrekturfehler gewöhnlich vorhanden ist, wird das Merkmalswerthistogramm so erzeugt daß es Pixel um den bezeichneten Merkmalspunkt in Übereinstimmung mit einem zugelassenen Korrekturfehler abdeckt. Es ist auch möglich, das korrigierte Merkmalsbild in Bildblöcke zu unterteilen, die sich entsprechend dem zugelassenen Korrekturfehler überlappen, und das Histo­ gramm in jedem Block zu erzeugen. In Fig. 11 sind Merkmalswerthistogramme gezeigt die von einer Folge von Nulldurchgangspunktmerkmalsbildern 52 (1 am Nulldurchgangspunkt und 0 an anderen Punkten) abgeleitet wurden. Ein Merkmalswerthistogramm 54 nahe einer Grenze 53 weist eine große Häufigkeit des Nulldurchgangspunkts 1 auf, was eine hohe Wahrscheinlich­ keit des Nulldurchgangspunkts anzeigt. Auf der anderen Seite weist ein Merkmalswerthisto­ gramm 56 an einem Abschnitt 55 deutlich abseits von der Grenze eine geringe Häufigkeit des Nulldurchgangspunkts 1 auf, was eine geringe Wahrscheinlichkeit des Nulldurchgangspunkts anzeigt.

In dem Lernmerkmalspunktgewichtbestimmungsschritt 106 wird unter Berücksichtigung des Zustands der Lernmerkmalspunktwerthistogrammverteilung für den Merkmalspunkt das Gewicht jedes Merkmalspunkts, das die Größe seines Merkmals anzeigt eingestellt. Es sei nun ange­ nommen, daß M die Anzahl von Lernproben ist. In dem Fall von Fig. 1 wird das Gewicht propor­ tional zur Größe des Häufigkeitsverhältnisses R (Häufigkeit/M) von Nulldurchgangspunkten (die Punkte, wo der Wert des Nulldurchgangspunktbildes 1 ist) bestimmt. Da die Punkte, wo der Wert 0 ist, keine Nulldurchgangspunkte sind, werden sie nicht gewichtet. Im Hinblick auf den Rechenaufwand ist es vorzuziehen, in dieser Stufe Punkte geringen Gewichts auszuschließen. Wenn beispielsweise das Häufigkeitsverhältnis R über etwa 1/2 liegt dann wird angenommen, daß eine Abnahme des Häufigkeitsverhältnisses von einem Quantisierungsfehler herrührt. Damit kann der Merkmalspunkt als ein Nulldurchgangspunkt betrachtet werden. Wenn das Häufig­ keitsverhältnis extrem niedrig ist, wird davon ausgegangen, daß es von einer Rauschkompo­ nente herrührt, und der Merkmalspunkt braucht nicht als ein Nulldurchgangspunkt betrachtet zu werden. Auf diese Weise werden die Merkmalspunkte einer Schwellenwertverarbeitung mit dem Häufigkeitsverhältnis R unterzogen, wodurch Punkte eliminiert werden, die wahrscheinlich Rauschen sind. Die übrigbleibenden Nulldurchgangspunkte werden mit dem Häufigkeitsverhält­ nis R gewichtet. Die Gewichtsverteilung jeder der übrig gebliebenen Nulldurchgangspunkte wird dazu benutzt, jedem Punkt (einem Merkmalspunkt) eines Standardnulldurchgangspunktsatzes (eines Standardmerkmalspunktsatzes) ein Gewicht zuzuweisen. In einem speziellen Fall ist es möglich, dasselbe Gewicht jedem der übriggebliebenen Nulldurchgangspunkte zuzuweisen. Der Standardnulldurchgangspunktsatz kann mittels der unten erwähnten Verfahren erhalten werden.

• 1) Man stelle die Spitzen der Gewichtsverteilungen der Nulldurchgangspunkte fest und behandle sie neu als den Standardnulldurchgangsatz.
• 2) Man bezeichne das gemeinsamste der korrigierten Nulldurchgangspunktlernmerkmalsbilder (korrigierte Nulldurchgangspunktmerkmalsbilder) und verwende Nulldurchgangspunkte in dem bezeichneten Bild als den Standardnulldurchgangspunktsatz.

In beiden Fällen wird jedem Nulldurchgangspunkt des Standardnulldurchgangspunktsatzes ein Gewichtswert w_i der entsprechenden Nulldurchgangspunktgewichtsverteilung zugewiesen (wobei i = 1 . . ., N_p). Jeder Gewichtswert ist so normiert, daß die Gesamtsumme der Gewichte der Nulldurchgangspunkte in dem Standardnulldurchgangspunktsatz gleich der Anzahl N_p der Standardnulldurchgangspunkte ist. Nimmt man an, daß die Gewichte alle gleich sind, ist folglich jedes Gewicht 1/N_p. Auf diese Weise werden die Gewichte der Merkmalspunkte unabhängig von der Art verallgemeinert.

Es sei angenommen, daß die Merkmalswertverteilungen in einem Intensitätsbild so sind, wie es in den Fig. 12A bis 12D gezeigt ist. Je mehr sich die Verteilung auf einen bestimmten Merk­ malswert (Intensität) konzentriert, wie in Fig. 12B gezeigt, d. h. je kleiner die Streuung in der Verteilung ist, umso größer ist das Gewicht. In diesem Fall kann das Häufigkeitsverhältnis R, das durch Teilen der maximalen Häufigkeit durch die Anzahl M der Lernproben erhalten wird, als ein Maß des Gewichts betrachtet werden. Es ist auch möglich, das Gewicht in ein umgekehrt proportionales Verhältnis zur Größe der Varianz der Verteilung zu setzen. Dann werden die Merkmalspunkte wie im obigen Fall einer Schwellenwertverarbeitung mit dem Häufigkeitsver­ hältnis R oder dem Wert der Varianz der Verteilung unterzogen, um Punkte zu entfernen, die wahrscheinlich Rauschen sind. Ein Satz übrigbleibender Merkmalspunkte wird als ein Standard­ merkmalspunktsatz verwendet. Der Merkmalswert jedes Merkmalspunkts in dem Standard­ merkmalspunktsatz wird auf einen Wert gesetzt, der zum Beispiel die maximale Häufigkeit oder das Mittel der Verteilung liefert. Der Gewichtswert w_i (i = 1, . . ., N_p) für den Standardmerkmals­ punktsatz wird so normiert, daß die Gesamtsumme der Gewichtswerte gleich dem Wert N_p wird. In einem speziellen Fall ist es auch möglich, jedem der übriggebliebenen Merkmalspunkte dasselbe Gewicht zuzuweisen, so daß die Summe der Gewichte gleich dem Wert N_p wird.

Darüberhinaus können Hintergrundbilder oder ähnliches, die nicht gewichtet werden sollen, dadurch eliminiert werden, daß solche Merkmalspunkte direkt auf einem Anzeigeschirm von einer Bedienungsperson unter Benutzung einer Maus, eines Cursors oder einer ähnlichen Einrich­ tung spezifiziert werden. Alternativ können unnötige Flächen auf dem untersuchten Bild durch Auslesen von CAD-(Computer Aided Design)-Daten des untersuchten Objekts entfernt werden. Durch Bestimmen der Gewichte der Lernmerkmalspunkte unter Bevorzugung der von einer Bedienungsperson auf dem Schirm oder mittels CAD-Daten spezifizierten Merkmalspunkte können die Merkmalspunkte feiner gewichtet werden.

In dem Lerndatenspeicherschritt 107 in Fig. 7 wird der Ursprung C_G (x_G, y_G) des in dem Merk­ malsbild zu berechnenden Objekts bestimmt, und seine Positionsbeziehung zu jedem Merkmals­ punkt P_i, der im Schritt 105 erhalten wurde, wird unter Verwendung von Polarkoordinaten (γ_i, α_i) (wobei i = 1, . . ., N_p) dargestellt, wie in Fig. 13 gezeigt. Dann werden die Polarkoordinaten (γ_i, α_i) des Merkmalspunkts P_i, der den im Schritt 105 oder 106 erhaltenen Merkmalswert aufweist, und das im Schritt 106 erhaltene Gewicht des Merkmalspunkts P_i in einer Referenzta­ belle 61 gespeichert, wobei der Merkmalswert als Index verwendet wird. In Fig. 13 sind Beispiele von Konfigurationen von Referenztabellen 61a, 61b und 61c gezeigt, die den Null­ durchgangspunktbildern 52 hoher, mittlerer bzw. niedriger Ortsfrequenzen entsprechen. In dem Nulldurchgangspunktmerkmalsbild 52 ist der Merkmalswert des Merkmalspunkts nur 1, weshalb die Indexspalte in jeder der Tabellen 61a, 61b und 61c fortgelassen ist.

In Fig. 14 sind Beispiele von Referenztabellen 61 für N Merkmalsbilder gezeigt. Für ein Merk­ malsbild f(1) werden Merkmalswerte I₀(1), I₁(1), . . . als Indizes zur Speicherung von Positionsin­ formation und Gewichtsinformation von Merkmalspunkten in der Referenztabelle 61₁ verwen­ det, welche die Merkmalswerte γ_i0(1) α_i0(1) w_i0(1) (wobei i=1, . . ., N_p0(1)) und (γ_i1(1), α_i1(1), w_i1(1) (wobei i=1, . . ., N_p1(1)) aufweisen. Für die anderen Merkmalsbilder werden ebenfalls Positionsinformation und Gewichtsinformation γ_i0(k), a_i0(k), w_i0(k), γ_i2(k), a_i2(k), w_i2(k), in ähnlicher Weise in Referenztabellen 61 _k gespeichert (wobei k=1, . . ., N), wobei jeweils die Merkmalswerte I₀(k), I₁(k), . . . als Indizes verwendet werden. Als nächstes wird das Gewicht W_k (wobei k=1, . . ., N) jedes Merkmalsbildes bestimmt, und es wird eine Merkmalskombinations­ verarbeitung ausgeführt, um die optimale Kombination von Merkmalen zu bestimmen. Die Merkmalsbildgewichtung bei dieser Merkmalskombinationsverarbeitung ist im einzelnen in der JP-A-175885/92 beschrieben. Bei dieser Ausführungsform wird das Merkmalspunktgewicht (ein analoger Wert) auf der Basis einer Vielzahl von Bildern bestimmt, wie zuvor erwähnt, und das Gewicht wird für die Anwendung auf die verallgemeinerte Hough-Transformation bei der zukünftigen Bildgewichtung erweitert.

Um dies durchzuführen werden in einem Lernbildeingabeschritt 109 in Fig. 7 Lernbilder sowohl guter als auch schlechter Objekte eingegeben. In einer Lernmerkmalskombinationsprozedur 110 werden Lernmerkmalsbilder guter und schlechter Objekte in einem Lernmerkmalsbilderstellungs­ schritt 111 mittels des Mehrfachzellenextraktionsverfahrens wie im Schritt 102 (Fig. 8) erstellt, und in einem Bildmerkmalquantisierungsberechnungsschritt 112 werden quantisierte Lernmerk­ malsbilder aus den obigen Merkmalsbildern erhalten. Die bei dieser Quantisierung verwendete Quantisierungsbreite ist die gleiche wie die im Schritt 104 verwendete.

In dem Schritt 113 der gewichteten verallgemeinerten Hough-Transformation wird für jeden Merkmalspunkt (x, y) des quantisierten Lernmerkmalsbildes eine gewichtete verallgemeinerte Hough-Transformationsverarbeitung ausgeführt. In dem bereits hinsichtlich des Versatzes korri­ gierten Bild des guten Objekts werden nur Folgen von Merkmalspunkten in einem umschriebe­ nen Rechteck eines Standardobjekts der gewichteten verallgemeinerten Hough-Transformations­ verarbeitung unterzogen. Der Rotationswinkel Θ und das Maßstabsänderungsverhältnis s können fest auf "0" bzw. "1" gesetzt werden. Für ein hinsichtlich des Versatzes nicht korrigier­ tes Bild eines guten Objekts und ein Bild eines schlechten Objekts sind die Folgen von zu verar­ beitenden Merkmalspunkten alle Merkmalspunkte in den Lernbildern, und ihre Rotationswinkel und Maßstabänderungsverhältnisse werden frei eingestellt. Die Bilder sowohl guter als auch schlechter Objekte können hinsichtlich des Versatzes korrigiert werden, jedoch werden bei dem Bild eines schlechten Objekts und bei Bildern mit überlagertem Rauschen Halbgrößenmerkmals­ bilder wie Kantenbilder und Nulldurchgangspunktbilder leicht durch Rauschen beeinträchtigt und ihre Bildqualität durch die Versatzkorrektur stark verschlechtert, abgesehen davon, daß das Versatzkorrekturvermögen mit der Art des Bildmerkmals unterschiedlich ist. Daher ist das Lernen mit der Versatzkorrektur allgemein schwierig. Aus diesem Grund wird bei dieser Ausfüh­ rungsform keine Versatzkorrektur vorher ausgeführt. Bei der verallgemeinerten Hough-Trans­ formation tritt jedoch eine Anpassung für den Versatz automatisch auf, wie zuvor beschrieben.

Nachfolgend wird ein allgemeiner Ausdruck für die gewichtete verallgemeinerte Hough-Trans­ formation beschrieben.

Wenn der Merkmalswert jedes Punkts (x, y) in dem Merkmalsbild des im Schritt 109 eingege­ benen Bildes zu dem Merkmalswertindex paßt, der in der Referenztabelle 61 gespeichert ist, dann wird die unter dem Merkmalswertindex gespeicherte Merkmalslage (γ, α) zur Durchfüh­ rung der folgenden Adressenübersetzung verwendet:

x′ = x + s × γ × cos (Θ+α)
y′ = y + s × γ × sin (Θ+α) (2)

wobei x′, y′ die vorhergesagte Lage des Ursprungs des Objekts (des Referenzpunkts) in dem Lernbild ist, Θ ein vorhergesagter Rotationswinkel ist und s ein vorhergesagter Maßstab ist. Nur das Gewicht w jedes Merkmalspunkt wird an der Adresse eines Parameterraums (x′, y′, Θ, s) der von diesen vorhergesagten Parametern gebildet wird, akkumuliert. Das heißt, wenn A(x′, y′, Θ, s) ein akkumuliertes Histogramm in dem Parameterraum (x′, y′, Θ, s) repräsentiert, gilt

A(x′, y′, Θ, s): = A(x′, y′, Θ, s) + w (3)

Die obige Verarbeitung wird wiederholt ausgeführt, wobei vorhergesagte Änderungsbereiche für den Rotationswinkel Θ und das Maßstabsänderungsverhältnis s leicht verändert werden, beispielsweise ein ± 10° Änderungsbereich, abhängig von der Genauigkeit der bei der Fabrika­ tion des Objekts in dem Bild verwendeten Lehre, und ein ± 10% Maßstabsänderungsbereich. Normalerweise ist das Maßstabsänderungsverhältnis s in vielen Fällen fixiert, und ein akkumu­ liertes Histogramm A(x′, y′, Θ) wird in einem Parameterraum (x′, y′, Θ) gebildet.

In einem Ähnlichkeitsbestimmungsschritt 114 wird ein optimaler Ursprungs­ lage/Rotationswinkel/Maßstab-Parameter (x*, y*, Θ*, s*) berechnet, der die maximale Häufig­ keit für das akkumulierte Histogramm A(x′, y′, Θ, s) liefert, das durch die oben erwähnte gewichtete verallgemeinerte Hough-Transformationsverarbeitung errechnet wurde. Die maximale Häufigkeit Hm wird mit der Merkmalspunktanzahl N_p zum Erhalt der Ähnlichkeit S normiert.

In einem Merkmalsgewicht-Meßschritt 115 wird für N Merkmalsbilder jeweils guter und schlech­ ter Objekte die gewichtete verallgemeinerte Hough-Transformationsverarbeitung durchgeführt und die Ähnlichkeit bestimmt. Nimmt man die Anzahl von Probenbildern des guten Objekts und die Anzahl von Probenbildern des schlechten Objekts mit M_ok bzw. M_ng an, wird die Ähnlichkeit zu einem k-ten Merkmalsbild durch eine Ähnlichkeitsfolge S_ok(k, m) (wobei m = 1, . . ., M_ok) im Fall des guten Objekts und durch eine Ähnlichkeitsfolge S_ng (k, m) (wobei m = 1, . . ., M_ng) im Fall des schlechten Objekts ausgedrückt. Auf diese Weise werden die Ähnlichkeitsverteilung des guten Objekts und die Ähnlichkeitsverteilung des schlechten Objekts für das k-te Merkmalsbild erzeugt, wie durch 63 und 64 in Fig. 15 dargestellt. Das Gewicht für das k-te Merkmalsbild wird abhängig von der Differenz zwischen der Ähnlichkeitsverteilung 63 des guten Objekts und der Ähnlichkeitsverteilung 64 des schlechten Objekts berechnet. Wenn die Anzahl von Proben groß ist, werden Mittelwert und Varianz beider Verteilungen zur Berechnung der oben erwähn­ ten Differenz im Hinblick auf einen Battacharyya-Abstand oder ein ähnliches Abstandsmaß verwendet. Da ebenso erwartet wird, daß die Anzahl von Lernproben klein ist, wird ein einfa­ ches statisches Maß eingesetzt, beispielsweise der Abstand W(k) zwischen dem schlechtesten Wert im guten Objekt, das heißt dem Wert in dem guten Objekt, der am weitesten von dem Standardmerkmalsbild entfernt ist, und dem besten Wert im schlechten Objekt, das heißt dem Wert im schlechten Objekt, der dem Standardmerkmalsbild am nächsten ist, als die Differenz zwischen den beiden Verteilungen benutzt, und diese Differenz wird als ein Gewichtungsfaktor verwendet. Das heißt, der Gewichtungsfaktor W(k) für das k-te Merkmalsbild ist durch folgende Gleichung gegeben:

W(k) = MIN(S_ok(k, m)) - MAX(S_ng (k, m))+c (4)

wobei c eine Einstellkonstante ist, die zu W(k) 0 führt. Die Gewichtungsfaktoren W(1), . . ., W(N) sind in Vorspännen jeweiliger Merkmale in den Referenzdatentabellen 61₁ bis 61 _N von Fig. 14 gespeichert, wie in Fig. 16 gezeigt.

In einem Merkmalskombinationsschritt 116 werden die Merkmale in absteigender Reihenfolge des Gewichtungsfaktors W(k) kombiniert. Zunächst werden die Gewichtungsfaktoren W(k) in absteigender Folge der Größe sortiert. Dann werden die Merkmale kombiniert, wobei mögliche Verfahren sie zu kombinieren eine ODER-Verknüpfung und eine UND-Verknüpfung sind. Im Fall der UND-Verknüpfung erfolgt nur dann, wenn die entsprechenden Merkmalspunkte der kombi­ nierten Merkmalsbilder denselben Wert aufweisen, ein Inkrement in der gewichteten verallge­ meinerten Hough-Transformation, das heißt eine gewichtete Akkumulation wird für den betrof­ fenen Merkmalspunkt ausgeführt. Das in diesem Fall akkumulierte Merkmalspunktgewicht w ist beispielsweise ein unter den betroffenen Merkmalen gemittelter Wert. Im Fall der ODER-Verknüpfung wird das nachfolgende gewichtete Akkumulationshistogramm berechnet, wenn man davon ausgeht, daß das Akkumulationshistogramm der verallgemeinerten Hough-Transfor­ mation für das k-te Merkmalsbild durch A(k|x′, y′, Θ, s) dargestellt wird und daß die Merkmals­ bilder, die in absteigender Folge der Größe des Gewichtungsfaktors neu geordnet sind, bis hinauf zu solchen hoher Ordnung N_c kombiniert werden:

Acc(N_c|x′, y′, Θ, s) = ΣW(k)A(k|x′, y′, Θ, s) (5)

wobei Σ die Gesamtsumme der N_c Merkmale ist. In diesem Fall erfolgt die gewichtete Akkumu­ lation des Akkumulationshistogramm nicht für alle Werte in dem Parameterraum, sondern nur für Werte nahe dem Spitzenwert, womit beabsichtigt ist, die Effizienz zu steigern.

In einem Gut/Schlecht-Objektabstandsmeßschritt 117 wird der Grad der Trennung der oben bezeichneten kombinierten Merkmale zwischen guten und schlechten Objekten (der Abstand zwischen guten und schlechten Objekten) gemessen. Der Häufigkeitsmaximalwert S(N_c) wird für das gewichtete Akkumulationshistogramm Acc(N_c|x′, y′, Θ, s) berechnet und auf die Anzahl von Standardmerkmalspunkten N_p(N_c) normiert, das heißt die Summe der Anzahl von Merkmalspunkten in den Referenztabellen der kombinierten Merkmale (die Anzahl von Refe­ renzmerkmalspunkten ist ebenfalls in absteigender Folge des Merkmalsgewichtungsfaktors neu geordnet), um eine Ähnlichkeit S(N_c) zu erhalten. Das heißt, es gilt

s(N_c): = S(N_c)/(N_p(N_c)ΣW(k)) (6)

wobei Σ die Gesamtsumme der N_c Merkmale ist. Nimmt man nun an, daß S_ok(N_c, m), m=1, . . ., M_ok die normierte Ähnlichkeitsverteilung für die gute Objektprobe repräsentiert und S_ng(N_c, m), m=1, . . ., M_ng die normierte Ähnlichkeitsverteilung für die schlechte Objektprobe repräsentiert, dann wird die Differenz D(N_c) zwischen beiden Verteilungen berechnet, wobei als ein einfaches statistisches Maß die Differenz zwischen dem Minimalwert der Verteilung S_ok(N_c, m) und der Maximalwert der Verteilung S_ng(N_c, m) verwendet werden. Das heißt, es gilt

D(N_c) = MIN(S_ok(N_c, m)) - MAX(S_ng(N_c, m)) (7)

In einem Merkmalsauswahlstoppbeurteilungsschritt 118 erfolgt eine Prüfung zur Feststellung, ob die beiden Verteilungen um eine Toleranz auseinanderliegen, das heißt ob die folgende Bedingung zum Stoppen der Merkmalskombination erfüllt ist

D(N_c) - ε < 0 (8)

Dabei ist ε ( 0) ein Parameter zur Einstellung der Toleranz. Obwohl abhängig von jedem behandelten Bild, wird der Parameter E auf einen Wert gesetzt, der das System stabilisiert, in dem der Wert unter Erhöhung des Parameters in kleinen Schritten immer wieder ausgewertet wird. Der Wert, der das System stabilisiert liegt gewöhnlich bei 0,1 oder 0,2.

Wenn die Bedingung zum Stoppen der Merkmalskombination erfüllt ist, wird der Schwellenwert T_h zum Trennen von guten und schlechten Objekten in einem Schwellenwertbestimmungsschritt 119 bestimmt. Nach Maßgabe der Strenge der Beurteilung kann der Schwellenwert T_h auf den Grenzwert des guten Objekts oder einen Wert in der Mitte zwischen dem Grenzwert MIN(S_ok(N_c, m)) des guten Objekts und dem Grenzwert MAX(S_ng(N_c, m)) des schlechten Objekts gesetzt werden. Wenn andererseits die Bedingung für das Stoppen der Merkmalskombi­ nation nicht erfüllt ist, dann geht der Prozeß zurück zum Merkmalskombinationsschritt 116, in welchem die Anzahl N_c kombinierter Merkmal um Eins erhöht wird, und die Merkmalskombina­ tionsverarbeitung wird ausgeführt.

Als nächstes wird eine Untersuchungsprozedur 200 beschrieben.

In einem Untersuchungsbildeingabeschritt 201 wird ein Untersuchungsbild eingegeben. In einem Untersuchungsmerkmalsbilderstellungsschritt 202 wird eine Mehrfachzellenmerkmalsextrak­ tionsberechnung ausgeführt, um ein untersuchtes Merkmalsbild zu erstellen. Dieses untersuchte Merkmal wird für die Merkmalskombination zu dem Zeitpunkt vorgesehen, wo die Bedingung zum Stoppen der Merkmalskombination (Gleichung 8) in der Lernprozedur erfüllt ist. In einem Bildmerkmalquantisierungsschritt 203 wird eine Merkmalsbildquantisierungsverarbeitung für jedes Merkmal ausgeführt, wobei die in der Lernprozedur errechnete optimale Anzahl von Quantisierungspegeln verwendet wird. In dem gewichteten verallgemeinerten Hough-Transformationsschritt 204 werden die so errechneten untersuchten quantisierten Merkmalsbilder je der gewichteten verallgemeinerten Hough-Transformationsverarbeitung (Gleichung (3)) unterzogen, wobei die Referenztabelle 61 verwendet wird, in welcher die Merkmalskombinations- und Merkmalspunktgewichtsinformation gespeichert ist, die in der Lernprozedur bestimmt wurde.

In einem Ähnlichkeitsbestimmungsschritt 205 wird die Verarbeitung der Gleichungen (5) und (6) ausgeführt, um eine Untersuchungsähnlichkeit S_t zu berechnen, wobei die Anzahl N_c kombinierter Merkmale, die in der Lernprozedur bestimmt wurde, verwendet wird.

In einem Gut/Schlecht-Beurteilungsschritt 206 werden die untersuchten Objekte abhängig davon, ob S_t T_h oder S_t < T_h als gut oder schlecht beurteilt.

Zweite Ausführungsform

Unter Bezugnahme auf Fig. 17 erfolgt als nächstes eine Beschreibung einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens. In Fig. 17 sind die Schritte, die solchen in Fig. 7 entsprechen, mit denselben Bezugszahlen versehen, und die folgende Erörterung wird sich auf die Schritte konzentrieren, die sich von denen der ersten Ausführungsform unterscheiden.

Im Schritt 101 wird ein Lernbild eines guten Objekts eingegeben. In dem Lernmerkmalsbilder­ stellungsschritt 102 wird, wie bei der Verarbeitung von Fig. 7, ein Lernmerkmalsbild erstellt und dann im Lernmerkmalspunktversatzkorrekturschritt 103 im Hinblick auf Position, Rotations­ winkel und Maßstab korrigiert. Diese Korrektur kann auch die gewichtete normierte Korrela­ tionsberechnung einsetzten, die später beschrieben wird. Da das Merkmalspunktgewicht w noch nicht bestimmt ist, wird es für alle Merkmalspunkte bei der gewichteten normierten Korrelationsberechnung gleich gehalten, zum Beispiel w_i(k) = 1, wobei i = 1, . . ., N_p(k) Das versatzkorrigierte Lernmerkmalsbild wird unter Verwendung der optimalen Quantisierungsbreite wie im Schritt 104 in Fig. 7 quantisiert.

Darüberhinaus werden Merkmalswerthistogramme jeweiliger Merkmalspunkte erzeugt, und ihre Verteilung wird dazu verwendet, die Merkmalspunktgewichte zu bestimmen.

Die Referenztabelle 71, in der Lerndaten im Lerndatenspeicherschritt 107 gespeichert werden, unterscheidet sich in der Ausgestaltung von der bei der ersten Ausführungsform verwendeten Referenztabelle. Wie in Fig. 18 gezeigt, ist beispielsweise eine Folge von x-y Koordinatenwert, Merkmalswert f und Merkmalspunktgewicht w jedes Merkmalspunkts in jedem Merkmalsbild gespeichert. Das heißt, für ein erstes Merkmalsbild f(1) ist eine Folge von Daten ((x_i(1), y_i(1), f_i(1), w_i(1); i = 1, . . ., N_p(1)) für jeden Merkmalspunkt in einer Referenztabelle 71₁ gespeichert und für ein N-tes Merkmalsbild f(N) ist eine Folge von Daten ((x_i(N), y_i(N), f_i(N), w_i(N); i = 1, . . ., N_p(N)) für jeden Merkmalspunkt in einer Referenztabelle 71 _N gespeichert.

Der Lernmerkmalsbilderstellungsschritt 111 in der Lernmerkmalskombinationsprozedur 110 ist der gleiche wie bei der ersten Ausführungsform. Was die bereits versatzkorrigierten Merkmalsbilder angeht, werden nur Folgen von Merkmalspunkten in einem umschriebenen Rechteck eines Standardobjekts der gewichteten verallgemeinerten Hough-Transformationsver­ arbeitung unterzogen. In diesem Fall können der Rotationswinkel e und das Maßstabsände­ rungsverhältnis s fest auf "0" bzw. "1" eingestellt werden. Für ein nicht-versatzkorrigiertes Bild eines guten Objekts und ein Bild eines schlechten Objekts sind die zu verarbeitenden Folgen von Merkmalspunkten alle Merkmalspunkte in den Lernbildern, und ihre Rotationswinkel und Maßstabsänderungsverhältnisse werden frei eingestellt. Die Bilder sowohl guter als auch schlechter Objekte können versatzkorrigiert werden, jedoch ist bei dem Bild eines schlechten Objekts und bei Bildern, denen Rauschen überlagert ist, die Versatzkorrekturfähigkeit allgemein mit den Arten von Bildmer 47314 00070 552 001000280000000200012000285914720300040 0002019521346 00004 47195kmalen unterschiedlich. Somit ist es notwendig, Merkmale unter Berücksichtigung eines Versatzkorrekturfehlers auszuwählen. Aus diesem Grund wird bei dieser Ausführungsform keine Versatzkorrektur durchgeführt.

Das im Schritt 111 erstellte Lernmerkmalsbild wird mit der im Schritt 104 verwendeten Quantisierungsbreite quantisiert, und das quantisierte Merkmalsbild wird im Schritt 309 einer gewichteten normierten Korrelationsoperation unterzogen. Im Schritt 309 wird für jeden Rotationswinkel Θ, jedes Maßstabsänderungsverhältnis s und jeden Punkt (x, y) die folgende Verarbeitung ausgeführt. Geht man davon aus, daß jeder Punkt (x′, y′) eine vorhergesagte Lage des Ursprungs des Objekts repräsentiert, dann wird die gewichtete normierte Korrelations­ operation zwischen einer Folge von Lernmerkmalspunktwerten f_i(k), i = 1 N_p(k) k = 1, . . ., N (einer Folge von Merkmalspunktgewichten: w_i(k), i = 1, . . ., N_p(k)) und Bildmerkmalswerten g_i(k), i = 1, . . ., N_p(k) an denselben relativen Positionen (x′ + x_i(k), y′ + y_i(k)) von Probenbildern guter und schlechter Objekte wie die Lernmerkmalspunkte ausgeführt. In diesem Fall ist die benutzte Adresse x_i(k), y_i(k) des Lernmerkmalspunktwerts eine Adresse, die für die vorhergesagten Werte des Rotationswinkels θ und des Maßstabs s transformiert (durch affine Transformation) wurde. Bezeichnet man einen gewichteten normierten Korrelationsfaktor für einen vorhergesagten Parameter (x′, y′, θ, s) mit A(k | x′, y′, θ, s), dann gilt

A(k|x′, y′, θ, s)
= Σ(w₁(k) (f₁(k) - f′_m(k) × (g₁(k) - g′_m(k)) (9)
/((Σw₁(k)) (Σ(f₁(k) - f′_m(k))² × Σ(g₁(k) - g′_m(k))²)^1/2

wobei f′_m(k) und g′_m(k) Mittelwerte von Merkmalswertfolgen sind, die wie folgt gegeben sind:

f′_m(k) = (1/N_p(k)) Σf_i(k)
g′_m(k) = (1/N_p(k)) Σg_i(k) (10)

Darin ist Σ die Summe von i = 1 bis N_p(k). Der errechnete Parameter A(k | x′, y′, θ, s) ist ein Akkumulationshistogramm für den Parameterraum (x′, y′, θ, s) in der gewichteten verallge­ meinerten Hough-Transformation; im Fall der gewichteten normierten Korrelation ist es jedoch die normierte Korrelationsfaktorverteilung für den Parameterraum (x′, y′, Θ, s).

Die nachfolgende Verarbeitung des Parameters A(k | x′, y′, Θ, s) ist die gleiche wie bei der ersten Ausführungsform.

In dem Merkmalsgewichtmeßschritt 115 werden Gewichtswerte für die Merkmalsbilder in gleicher Weise wie bei der ersten Ausführungsform gespeichert. Wie in Fig. 1 9 gezeigt wird der Gewichtswert W(k) in dem Vorspann jedes Merkmals in der Referenztabelle 71 von Fig. 18 gespeichert.

Die Untersuchungsprozedur 200 ist ebenfalls identisch mit derjenigen der ersten Ausführungs­ form mit Ausnahme der Errechnung des gewichteten normierten Korrelationsfaktors durch Gleichung (9) in einem gewichteten normierten Korrelationsoperationsschritt 310 anstelle des gewichteten verallgemeinerten Hough-Transformationsschritts 204 bei der ersten Ausführungs­ form.

Als nächstes wird vorab der Kontrast R/σ², der als das Verhältnis des Dynamikbereichs R eines Intensitätsbildes zu seiner Varianz σ² definiert ist, für eine Vielzahl von Lernbildern eines guten Objekts gemessen. Durch Auswahl des verwendeten Anpassungsverfahrens nach Maßgabe der Größe des Kontrasts der Lernbilder eines guten Objekts ist es möglich, eine vergrößerte Flexibilität bei der Verarbeitung von untersuchten Objekten zu erzielen. Das heißt die gewichtete verallgemeinerte Hough-Transformation basierend auf einem Konturmerkmalsbild wie einem Kantenbild erzeugt einen sehr exzellenten Effekt bei einem Bild mit hohem Rauschanteil und geringem Kontrast. Andererseits eignet sich die gewichtete normierte Korrelation auf der Basis eines Bereichsmerkmalsbildes wie eines Intensitätsmerkmalsbildes zur Anwendung bei einem Bild mit geringem Rauschen und hohem Kontrast. Wie in Fig. 29A gezeigt, wird der Kontrast jedes Lernbildes gemessen, und der Meßwert wird einer Schwellenwertverarbeitung unterzogen. Wenn der Kontrast kleiner ist als der Schwellenwert, wird die gewichtete verallgemeinerte Hough-Transformation nach Fig. 7 unter Verwendung des Konturmerkmals­ bildes zur Erzeugung von Lerndaten ausgeführt. Wenn der Kontrast größer als der Schwellen­ wert ist, wird die gewichtete normierte Korrelationsoperation nach Fig. 17 unter Verwendung des Bereichsmerkmalsbildes zur Erzeugung von Lerndaten ausgeführt. Solch eine automatische Auswahl des Anpassungsverfahrens erlaubt eine flexiblere Untersuchungssteuerung. In diesem Fall ist der Schwellenwert bei jedem speziellen Bild des untersuchten Objekts anders und wird daher experimentell bestimmt.

Wie in Fig. 29B gezeigt, wird alternativ die gewichtete verallgemeinerte Hough-Transformation für das Konturmerkmalsbild des Lernbildes ausgeführt, und der Verteilungsabstand zwischen den Ähnlichkeitsverteilungen guter und schlechter Objekte wird gemessen, während für das Bereichsmerkmalsbild die gewichtete normierte Korrelationsoperation ausgeführt wird und der Verteilungsabstand zwischen den Ähnlichkeitsverteilungen guter und schlechter Objekte gemessen wird. Durch Wahl der Lerndaten des größeren Verteilungsabstandes kann das optimale Anpassungsverfahren übernommen werden.

Dritte Ausführungsform

Unter Bezugnahme als nächstes auf die Fig. 20 und 21 wird eine Untersuchung auf der Basis einer gewichteten Differenzoperation an Hough-Ebenen als ein Beispiel einer Untersuchung beschrieben, die eine gewichtete Differenzoperation verwendet. Diese Ausführungsform verwendet die Erstreckung als ein Merkmal einschließlich der Phasenbeziehung um einen Kantenpunkt. Die Erstreckung ist ein Merkmalswert jedes Pixels, der durch den Mittelwert

von Längen radialer Abtastlinien von dem Pixel innerhalb eines bestimmten Extraktionsfeldradius zu Kanten, welche die Abtastlinien jeweils zum ersten Mal treffen (s. Fig. 22). Auf der Kante ist die Erstreckung Null und schließt Eigenschaften der Kante ebenso ein. Es sei hier angenommen, daß der Kanten punkt ein Nulldurchgangspunkt ist, der von einer Intensitätsvariation nicht leicht beeinflußt wird. Diese Ausführungsform zielt auf ein verbessertes Erkennungsvermögen durch Ausnutzung von Merkmalssätzen sowohl der Erstreckungsverteilung als auch der Intensitäts­ verteilung ab. Diese Bildmerkmale werden in dem Rahmen mehrfacher Auflösung (Mehrfachauf­ lösungsebenen) beschrieben, so daß eine grob-zu-feine effiziente Erkennungsstrategie in der Hough-Transformationsoperation übernommen werden kann.

Diese Ausführungsform ist auf die Untersuchungsverarbeitung auf der Basis einer "merkmals­ multiplizierten Hough-Transformation" gerichtet. In einem Lernmerkmalsbilderstellungsschritt 102 wird eine Vielzahl von Lernmerkmalsbildern eines guten Objekts durch Glättungs- und Wiederabtastungsverarbeitung komprimiert, wonach Merkmale für jeden spezifizierten Auflösungspegel extrahiert und in einer Mehrfachauflösungs-Mehrschichtmerkmalsebene gespeichert werden.

Ein für jede Auflösung extrahierter Satz von Merkmalen sei repräsentiert durch

Ω = ((F_k(x, y), x=1. . .D_x), Y=1. . .Dy), k=1. . .N_f

wobei N_f die Anzahl von Merkmalen und D_xxD_y die Auflösung ist.

Wie bei der ersten und der zweiten Ausführungsform erfolgt im Schritt 104 die Quantisierung von Bildmerkmalen, und die Gewichte jeweiliger Merkmalspunkte werden auf der Basis von Merk­ malswerthistogrammen von in den Schritten 105 und 106 erhaltenen Lernmerkmalspunkten bestimmt. Die Gewichte werden so normiert, das die Gesamtsumme von Merkmalspunkten gleich einer vorbestimmten Merkmalspunktanzahl N_p wird. Gleichzeitig wird in einem Standardbilderstellungsschritt 401 ein Merkmalswert oder Mittelwert, der den Häufigkeits­ maximalwert liefert, aus dem Merkmalshistogramm jedes Lernmerkmalspunktes errechnet, und der errechnete Wert wird dem Merkmalspunkt zugewiesen, wodurch ein Standardmerkmalsbild erstellt wird.

Das Standardmerkmalsbild wird der unten beschriebenen Verarbeitung unterzogen.

Im Schritt 104 werden Bildmerkmale in dem Standardmerkmalsbild im Hinblick auf die Erhöhung der Effizienz des Systems und der Effizienz der Anpassung durch die Hough-Transformations­ operation quantisiert, wie zuvor im Hinblick auf die erste Ausführungsform beschrieben. Wenn G_k(x, y) den durch Quantisieren des Merkmalswerts F_k(x, y) an jedem Merkmalspunkt (x, y) in dem jeweiligen Standardmerkmalsbild k unter Verwendung der Anzahl I_q(k) von Quantisierungs­ pegeln erhaltenen Merkmalswert repräsentiert, dann gilt

G_k(x, y) = ((F_k(x, y) - F_min)/R_k) × I_q(k)

wobei

0 G_k(x, y) I_q(K)-1

Darin ist F_min der Minimalwert des Merkmalswerts F_k, und R_k ist der Dynamikbereich des Merkmalswerts F_k.

In einem Mehrfachbitebenenerstellungsschritt 402 wird der Merkmalswert G_k(x, y) auf eine Mehrfachmerkmalsbitebene B_k abgebildet (gemapped), die EIN/AUS einer jedem Quantisierungspegel (Merkmalswertpegel) entsprechenden (x, y)-Ebene ausdrückt. Das heißt,

B_k = [B_ku(x, y), u = 0, . . ., I_q(k)-1]

Man nehme beispielsweise an, daß der quantisierte Merkmalswert G_k(x, y am Merkmalspunkt (x, y) nach Quantisierung mit der Anzahl I_q(k)=4 von Quantisierungspegeln 2 ist. Auf der Ebene B_ku(x, y) ist das Bit nur dann EIN, wenn u=2, das heißt B_k2(x, y)=1. Wenn u≠2, ist das Bit AUS, das heißt B_k0(x, y)=B_k1(x, y)=B_k3(x, y)=0. Beispielsweise wird ein Merkmalsbild G_k(x, y) 73, das in drei Werte einer bestimmten Zelle quantisiert wurde, wie in Fig. 23 gezeigt, auf eine Merkmalsbitebene (B_k0(x, y)) 74 eines quantisierten Werts (eines Merkmalswertpegels 0, eine Merkmalsbitebene (B_k1(x, y) 75 eines quantisierten Werts (Merkmalswertpegels) 1 und eine Merkmalsbitebene (B_k2(x, y) 76 eines quantisierten Werts (Merkmalswertpegels) 2 abgebildet.

Dieses Abbilden findet für jedes Merkmal statt, und die Elemente werden dann in Kaskade verkoppelt, wodurch eine Mehrfachmerkmalsbitebene B für alle Merkmale definiert wird. Das heißt,

[(B_1u(x, y), u = 0, . . ., I_q(1)-1),
      . . .
[(B_ku(x, y), u = 0, . . ., I_q(k)-1),
      . . .
[(B_Nfu(x, y), u = 0, . . ., I_q(Nf)-1),
→ B = [B_vx, y), v = 0, . . ., V-1),

wobei V die Mehrwertigkeit der Mehrfachmerkmalsbitebene B ist, die gegeben ist durch

Als nächstes wird in einem gewichteten Hough-Transformationsschritt 403 die gewichtete Hough-Transformationsoperation ausgeführt. Das heißt, nur wenn das Bit an dem Punkt (x, y) EIN ist,

Θ = (t-1) ΔΘ.

Für ΔΘ = π/D_Θ, t=1, . . ., D_Θ wird jedoch folgende Adressenübersetzung ausgeführt

ρ = (X-X₀) cos Θ + (y-y₀) sin Θ

und das Gewicht w an dem Punkt (x, y) wird zu einem Punkt (ρ, Θ) auf eine Hough-Ebene H akkumuliert, die eine Votierungsebene ist, erhalten durch Quantisieren von (ρ, Θ) mit einer Teilerzahl D_ρD_Θ.

H = ((h(r,t), r=1, . . ., D_ρ), t=1, . . ., D_Θ)

Hierin ist

r = (ρ+ρ₀)/Δρ

wobei

(x₀, y₀): Koordinaten des Ursprungs.

Diese Operation wird für alle Punkte (x, y) (x=1, . . ., D_x, y=1, . . ., D_y) ausgeführt.

In einem Mehrfach-Hough-Ebenenerstellungsschritt 404 wird die oben beschriebene Operation für jede Bitebene B_v (v=0, . . ., V-1) der Mehrfachmerkmalsbitebene durchgeführt, wodurch eine Mehrfach-Hough-Ebene HM gebildet wird:

HM = (((h_v(r,t), r=1, . . ., D(ρ)), t=1, . . ., D(Θ)), v=0, . . ., V-1)

Jede Merkmalspunktgewichtinformation und die Mehrfach-Hough-Ebeneninformation, die durch die obige Operation errechnet wurde, werden für jedes Bildmerkmal im Schritt 107 in einer Referenztabelle gespeichert. Ferner werden die Lage und das Gewicht jedes Merkmalspunkts auf jeder Bitebene in einer solchen Referenztabelle gespeichert, wie sie in Fig. 14 gezeigt ist. In diesem Fall kann das Merkmalspunktgewicht für die jeweiligen Bitebenen für dasselbe Merk­ malsbild gemeinsam verwendet werden, oder das Merkmalspunktgewicht kann für jede Bitebene errechnet werden. Fig. 23 zeigt den Fall der Verwendung einer Merkmalspunktsgewichtebene 74 gemeinsam für die mehreren Bitebenen 73. Diese Ebenen und eine Referenz-Mehr­ fach-Hough-Ebene 75 werden in dem Referenzspeicher gespeichert.

Die Lernmerkmalskombinationsprozedur 110 beginnt mit Schritt 111, der Erstellung von Lern­ merkmalsbildern aus Lernbildern guter und schlechter Objekte, gefolgt von Schritt 405, der Korrektur der Lernmerkmalsbilder hinsichtlich Merkmalspunktversatzes. Der Grund für die Durchführung der Versatzkorrektur in dieser Stufe ist es, die Erstellung einer Korrespondenz zwischen den Lernmerkmalspunkten und Adressen von Merkmalspunkten in einem Standard­ merkmalsbit zum Zeitpunkt der Durchführung der gewichteten Hough-Transformationsoperation zu erleichtern.

Im Schritt 112 werden die versatzkorrigierten Merkmalsbilder quantisiert, worauf Schritt 406 folgt, in welchem eine Mehrfachbitebene erstellt wird. Daran schließt sich Schritt 407 an, in welchem die gewichtete Hough-Transformationsoperation unter Verwendung von Merkmals­ punktgewichten des Standardmerkmalsbildes ausgeführt wird. Als Resultat wird im Schritt 408 eine Mehrfach-Hough-Ebene gebildet, und im Schritt 409 die Differenz zwischen der Mehr­ fach-Hough-Ebene und der für das Standardbild errechnet, welche in der Referenztabelle gespeichert ist, wie unten beschrieben.

Da in diesem Fall der relative Versatz zwischen den mehreren Hough-Ebenen bereits korrigiert wurde, ist die Differenz dist(v) zwischen den zwei Hough-Ebenen h und h′ in Relation zum Merkmalswertpegel (dem quantisierten Wert v wie folgt definiert:

Wenn die Merkmalspunktgewichte des Standardbildes alle gleich sind, kann die Versatzkorrektur auf der Basis der Verteilungen der mehreren Bitebenen erfolgen. Die Rotationskorrektur kann dadurch erzielt werden, daß Element der Mehrfach-Hough-Ebenen in unterschiedlichen Reihen­ folgen so geordnet werden, daß ihre Arrayelemente, die beispielsweise t betreffen, in Richtung der maximalen Häufigkeit übereinstimmen bzw. zusammenpassen.

t_MAX = MAX [t|h_v(r,t),r=1,.,Dρ,t=1,.,DΘ]

Die Korrektur der Position des Schwerpunkts kann durch Berechnung des Betrages des Versatzes erfolgen, der die Differenz minimiert.

In einem Bitebenengewichtsmeßschritt 410 wird die Differenz gewichtet. Dies wird ausgeführt, indem der Merkmalswertpegel v gewichtet wird, das heißt indem die Bitebene gewichtet wird. Ein statistischer Gewichtungsfaktor wie der Bhattacharyya-Abstand kann verwendet werden, wenn die Intrakategorieverteilung (beispielsweise die Verteilung für ein gutes Objekt) und die Interkategorieverteilung (die Verteilung von schlechtem Objekt zu gutem Objekt) hinsichtlich der Differenz der normalen Verweilung folgen. Da jedoch die Anzahl von Lernproben in vielen Fällen gering ist, ist ein anderes Maß erforderlich. Diese Ausführungsform verwendet als solch ein Maß die Entfernung oder den Abstand zwischen der schlechtesten der einfachsten Intrakate­ gorieverteilungen (das schlechteste unter guten Objekten beispielsweise) und dem besten der Interkategorieverteilungen (das guten Objekten nächstkommende schlechte Objekt).

Wenn M die Anzahl von Lernproben für jede Kategorie repräsentiert, dann ist eine Folge von Differenzverteilungen unter guten Objekten bis zu einem v-ten Merkmalspegel wie folgt definiert:

dist_w(v) = {dist_w(1,v), . . ., dist_w(m,v), . . ., dist_w(M, v)}

Wenn N die Anzahl von Proben schlechter Objekte ist, dann ist die Folge von Differenz­ verteilungen zwischen guten und schlechten Objekten bis zum v-ten Merkmalspegel wie folgt definiert:

dist_B(v) = {dist_B(1,v), . . ., dist_w(n′,v), . . ., dist_B(N, v)}

Darin ist das Gewicht des v-ten Merkmalspegels wie folgt gegeben:

W(v) = MIN(diSt_B(v)) - MAX(dist_w(v)) + c

wobei c ein Versatzwert (Offsetwert) für W(v) 0 ist.

Allgemein sollte das Untersuchungsvermögen für alle Kombinationen an jedem Merkmalspegel bewertet werden, im Hinblick auf ein Lernen hoher Effizienz wird jedoch eine sequentielle Merkmalsauswahlprozedur der Kombination von Merkmalen in absteigender Folge des Merk­ malspegels in einem Merkmalskombinationsschritt 411 eingesetzt. Das heißt, setzt man eine in neue Reihenfolge gebrachte Gewichtsfolge auf

W(v) = SORT[v|W(v)]

dann ist die Differenzverteilung dist_w(m, v_r) unter guten Objekten und die Differenzverteilung dist_B(n′, V_r) zwischen guten und schlechten Objekten, die erzeugt werden, wenn Merkmale bis hinunter zu einem V_r-ten in absteigender Folge des Gewichts kombiniert werden, wie folgt gegeben:

Dann wird im Schritt 412 die Häufigkeit, mit der die Folge der Differenzverteilung zwischen guten und schlechten Objekten die Folge der Differenzverteilung unter guten Objekten über­ lappt, das heißt ein Überlappungszählwert (n, V_r) der Differenzverteilung zwischen guten und schlechten Objekten dist_B(n, V_r), die unten definiert ist, als ein einfaches Maß berechnet, das die Differenz zwischen der Verteilung dist_w(m, V_r) und der Verteilung dist_B(n′, V_r) liefert:

Allgemein nähert sich dieser Zählwert asymptotisch Null, wenn die Anzahl V_r kombinierter Merkmale zunimmt. (ε ( 0) ist hierin ein Sicherheitsparameter, der die Anzahl von Überlappun­ gen erhöht und eine Erhöhung der Anzahl kombinierter Merkmale bewirkt, was eine Sicherheit des Systems bietet. Wenn der Zählwert nicht abnimmt, selbst wenn die Anzahl kombinierter Merkmalspegel V_r erhöht wird, wird die Kombination von Merkmalspegeln im Schritt 413 abge­ brochen. Die Anzahl der in diesem Moment kombinierten Merkmalspegel sei mit L_r* bezeichnet und der Wert, der durch Teilen des Grenzzählwerts durch die Probenanzahl N schlechter Objekte erhalten wird, sei mit N_u* bezeichnet (0 N_u* 1). Das heißt,

L_{r *}(n) = OPTMIN[V_r|overlap(V_r)]
N_{u *}(n) = overlap(L_{r *})/N (13)

Der Wert N_u* ist ein Bewertungsmaß; je kleiner der Wert, desto mehr nimmt das Untersu­ chungsvermögen zu. Ein Maß ψ, das aus dem obigen Maß so abgeleitet ist, daß je größer sein Wert, umso weiter nimmt das Untersuchungsvermögen zu, ist wie folgt definiert:

ψ = 1 - N_{u *} (14)

Im Schritt 414 wird ein Schwellenwert zur Beurteilung, ob das untersuchte Objekt gut oder schlecht ist, auf einen Wert zwischen der Intrakategoriedifferenzverteilung (gutes Objekt) und der Interkategoriedifferenzverteilung (zwischen guten und schlechten Objekten) oder auf den Grenzwert eines guten Objekts (einen Grenzwert mit einer Toleranz des Sicherheitsparameters ε gesetzt).

In der Untersuchungsprozedur wird im Schritt 201 ein Untersuchungsbild eingegeben, im Schritt 202 ein Untersuchungsmerksmalsbild erstellt, im Schritt 420 der Versatz korrigiert, im Schritt 203 das Untersuchungsmerkmalsbild quantisiert, im Schritt 421 eine Mehrfachbitebene erstellt, im Schritt 422 eine gewichtete Hough-Transformation ausgeführt, im Schritt 423 eine Mehr­ fach-Hough-Ebene gebildet und, wenn nötig, ein Versatz korrigiert, im Schritt 424 wird die Differenz zwischen der Mehrfach-Hough-Ebene und der im Schritt 404 gebildeten Refe­ renz-Mehrfach-Hough-Ebene durch Gleichung (11) errechnet, wobei die optimale Kombination von Merkmalspunktgewichten und die optimale Kombination von Merkmalspegeln verwendet wird, die in der Lernprozedur erhalten wurden, und im Schritt 206 ein Schwellenwert zur Beurteilung benutzt, ob das untersuchte Objekt gut oder schlecht ist.

Vierte Ausführungsform

Obwohl bei der dritten Ausführungsform die gewichtete Hough-Transformation basierend auf dem Merkmalspunktgewicht eingesetzt wird, ist es auch möglich, mit der einfachen Hough-Transformation mit hoher Zuverlässigkeit zwischen guten und schlechten Objekten zu unter­ scheiden, mit hoher Erkennungsrate Objekte zu erkennen und mit Sicherheit Objekte zu sortie­ ren, und zwar in Umgebungen, wo die Bildintensität unter dem Einfluß von Rauschen oder einer Änderung im Zustand der Beleuchtung variiert. Der Verarbeitungsfluß in diesem Fall ist in den Fig. 24 und 25 gezeigt, wo die Schritte, die solchen in den Fig. 20 und 21 entsprechen, mit denselben Bezugszahlen versehen sind. Da die Verarbeitung bei dieser Ausführungsform weitestgehend die gleiche wie bei der dritten Ausführungsform ist, wird hauptsächlich der Unterschied zwischen diesen Ausführungsformen beschrieben werden. Diese Ausführungsform verwendet ebenfalls Merkmalssätze sowohl der Erstreckungsverteilung, die in Fig. 22 dargestellt ist, als auch der Intensitätverteilung als das Merkmal, das die Phasenbeziehung um den Kanten­ punkt einschließt. In dieser Ausführungsform wird das quantisierte Lernmerkmalsbild zur Erstel­ lung der Mehrfachbitebene B in dem Mehrfachbitebenenerstellungsschritt 402 verarbeitet. In einem Hough-Transformationsoperationsschritt 501 wird die Hough-Transformation für jede Bitebene der Mehrfachbitebene B durchgeführt. Bei dem gewichteten Hough-Transformations­ schritt 403, der in Fig. 20 gezeigt ist, wird das Merkmalspunktgewicht B des Punktes (x, y), wo das Bit EIN geschaltet wird, zu dem entsprechendem Punkt (ρ, Θ) akkumuliert (votiert), während im Schritt 501 "1" akkumuliert wird. Im Schritt 404 wird solch eine Mehrfach-Hough-Ebene erzeugt und im Schritt 107 wird sie in der Referenztabelle gespeichert.

Im Versatzkorrekturschritt 405 der Lernmerkmalskombinationsprozedur 110 wird der Schwer­ punkt des im Schritt 109 eingegebenen Merkmalsbildes auf den Koordinatenursprung (x₀, y₀) gesetzt, und mögliche Maßnahmen für die Stellung sind i) die Hauptachsenrichtung durch eine Momentenoperation, ii) Berechnung der mittleren Richtung und iii) Richtung der maximalen Häufigkeit. Vom Gesichtspunkt der Robustheit und Affinität für die Hough-Transformation wird jedoch die Richtung maximaler Häufigkeit zur Korrektur der Rotation der Stellung verwendet, was die gleiche Korrektur ist, wie sie im Schritt 405 in Fig. 20 ausgeführt wird. Im Schritt 502 wird eine einfache Hough-Transformationsoperation, nicht eine gewichtete, für die im Schritt 406 erhaltene Mehrfachbitebene ausgeführt. Diese Hough-Transformationsoperation wird in gleicher Weise wie im Schritt 501 ausgeführt. Auf diese Weise wird im Schritt 409 die Differenz zwischen der Mehrfach-Hough-Ebene des im Schritt 109 eingegebenen Lernbildes und der Refe­ renz-Hough-Ebene, die im Schritt 107 in die Referenztabelle gespeichert wurde, errechnet. Im Schritt 410 werden die Gewichte der Bitebenen bestimmt. Im Schritt 411 werden die Merkmals­ pegel kombiniert. Im Schritt 412 wird die Anzahl gezählt, bei der die Folge der Differenzvertei­ lung zwischen guten und schlechten Objekten kleiner wird als der schlechteste Wert der Diffe­ renzverteilung unter guten Objekten, das heißt die Anzahl von Überlappungen. Im Schritt 413 wird die Anzahl von kombinierten Merkmalspegeln erhöht, bis der Zählwert nicht weiter abnimmt, und der in diesem Moment vorhandene Zählwert wird dazu verwendet, Maße für die Bewertung des Untersuchungs- und Erkennungsvermögens zu erhalten. Im Schritt 141 wird der Schwellenwert für die Beurteilung mittels der Verarbeitung wie bei der dritten Ausführungsform bestimmt.

In der Untersuchungsprozedur 200 stimmt diese Ausführungsform mit der dritten Ausführungs­ form in der Verarbeitung von Schritt 201 bis Schritt 412 überein. Bei dieser Ausführungsform wird jedoch jede Bitebene der Mehrfachbitebene im Schritt 503 der Hough-Transformationsver­ arbeitung unterzogen, das heißt die Hough-Transformationsverarbeitung im Schritt 422 in Fig. 21 wird durchgeführt, wobei das Merkmalspunktgewicht "1" ist. Im Schritt 423 wird die Mehr­ fach-Hough-Ebene für einen vorbestimmten Merkmalspegel erzeugt. Im Schritt 424 wird die Differenz zwischen dieser Mehrfach-Hough-Ebene und der Referenz-Mehrfach-Hough-Ebene, die im Schritt 102 erhalten wird, errechnet, und im Schritt 206 wird auf gleiche Weise wie bei der dritten Ausführungsform beurteilt, ob das Objekt gut oder schlecht ist.

Mit der Verwendung solch einer Mehrfach-Hough-Ebene ist es ebenso möglich, eine Bildunter­ suchung/-erkennung unter Ausnutzung der Ähnlichkeit anstelle der Differenz vorzunehmen. Wie in Fig. 28 gezeigt, in der Schritte, die solchen in den Fig. 7, 20 und 21 entsprechen, mit denselben Bezugszahlen versehen sind, wird in diesem Fall das im Schritt 104 erhaltene quanti­ sierte Merkmalsbild im Schritt 402 zu einer Mehrfachbitebene gemacht, und im Schritt 107 wird eine Referenztabelle, in der Adressen von Merkmalspunkten gespeichert sind unter Verwendung von Merkmalspegeln als Indizes für jede Bitebene erstellt und in einem Speicher gespeichert. In der Lernmerkmalsbildkombinationsverarbeitung wird das im Schritt 112 quantisierte Merkmals­ bild im Schritt 406 zu einer Mehrfachbitebene gemacht, und im Schritt 131 wird jede Bitebene unter Verwendung der entsprechenden Referenztabelle der verallgemeinerten Hough-Transfor­ mationsverarbeitung unterzogen. Das heißt, die Votierungsgröße (Vote) in der Verarbeitung von Schritt 113 in Fig. 7 ist ständig auf "1" gesetzt, nicht auf das Merkmalspunktgewicht W. Im Schritt 114 wird in gleicher Weise wie im Schritt 114 in Fig. 7 für jeden Merkmalspegel, das heißt für jede Bitebene, die Ähnlichkeit berechnet. Im Schritt 115 wird das Gewicht jeder Bitebene (jeder Merkmalspegel) mit derselben Verarbeitung wie im Schritt 115 in Fig. 7 bestimmt. Im Schritt 117 wird der Abstand zwischen guten und schlechten Objekten für kombinierte Bitebenen (Merkmalspegel) mit derselben Verarbeitung wie im Schritt 117 in Fig. 7 berechnet. Im Schritt 118 wird wie im Fall von Fig. 7 die Kombination von Merkmalspegeln bestimmt, und im Schritt 119 wird in ähnlicher Weise der Schwellenwert bestimmt. In der Untersuchungsprozedur 200 wird das im Schritt 203 erhaltene quantisierte Merkmalsbild zur Erstellung einer Mehrfachbitebene verarbeitet. Im Schritt 204 wird jede Bitebene der verallge­ meinerten Hough-Transformationsverarbeitung unterzogen, wobei die Referenztabelle mit darin im Schritt 107 eingespeicherten Lerndaten verwendet wird. Im Schritt 205 wird in ähnlicher Weise wie im Schritt 205 in Fig. 7 die Ähnlichkeit berechnet. Im Schritt 206 werden die Ähnlichkeit und ein Schwellenwert verglichen, um zu beurteilen, ob das untersuchte Objekt gut oder schlecht ist.

Bei dem Voranstehenden ist das Maß der Beurteilung die Ähnlichkeit, aber im Fall der Untersu­ chung einer Installationsposition sind der Betrag eines Versatzes (einer Verschiebung), einer Rotationsänderung und einer Maßstabsänderung relativ zu Standardwerten wichtig. Die gewich­ tete verallgemeinerte Hough-Transformationsoperation und die gewichtete normierte Korrela­ tionsoperation erlauben beide die Berechnung des Versatzes und des Betrags der Rotation des Ursprungs des Objekts die die maximale Häufigkeit liefern, und erlauben auch die Erfassung des Betrags einer Maßstabsänderung. Diese Operationen können somit auf die Untersuchung einer Installationsposition angewendet werden. Im Fall der Anwendung der oben beschriebenen Ausführungsformen auf die Sortierung oder die Erkennung beispielsweise, ob ein Eingangsbild in eine spezielle einer ersten bis n-ten Kategorie fällt, wird eine i-te Kategorie (wobei i = 1, 2, . . ., n) als eine gute Objektkategorie und die anderen Kategorien als schlechte Objektkategorien eingestellt. Lerndaten für die i-te Kategorie, das heißt die Referenztabelle (die Referenz-Hough-Ebene) in den Ausführungsformen, werden dazu benutzt die Verteilung der Ähnlichkeit oder Differenz in der i-ten Kategorie und die Verteilung der Ähnlichkeit oder Differenz zwischen der i-ten Kategorie und jeder der anderen zu erhalten. Die optimale Kombination von Merkmalen (Kombination von Merkmalspegeln) wird auf der Basis des Abstands zwischen den beiden Verteilungen bestimmt, und das Eingangsbild wird als in die Kategorie fallend sortiert oder erkannt, die der maximalen der n Ähnlichkeiten oder der minimalen der n Differenzen entspricht, die für die erste bis n-te Kategorie erhalten wurden.

Auch im Fall der Berechnung der gewichteten normierten Korrelation, die in Fig. 17 gezeigt ist, ist es möglich, die in Fig. 20 gezeigte Verarbeitung einzusetzen. Das heißt eine Mehrfachbit­ ebene wird gebildet; die gewichtete normierte Korrelation zwischen ihren entsprechenden Bitebenen wird berechnet; die Gewichte von Merkmalspegeln (in den Bitebenen) wird berechnet; die Kombination von Merkmalspegeln wird bestimmt; und die gewichtete normierte Korrelation zwischen der Mehrfachbitebene des Merkmalsbildes des Eingangsbildes und der Mehrfachbit­ ebene des Merkmalsbildes der Lernbildes wird für die obige Kombination berechnet. Wie es hinsichtlich des Zusammenhangs zwischen den Fig. 24 und 25 der Fall ist, ist es auch möglich die Ähnlichkeit auf der Mehrfachbitebene in Fig. 20 zu berechnen, das heißt das Schema von Fig. 7 auf die Mehrfachbitebene anzuwenden.

Im Fall der Erkennung von Objekten aus N Kategorien entsprechend der dritten Ausführungs­ form wird das Bewertungsmaß MEAN (N_u*) zur gleichmäßigen Unterscheidung der N Kategorien aus Gleichung (12) wie folgt abgeleitet:

Die folgende Gleichung kann dazu verwendet werden, dieses Bewertungsmaß zu einem Maß ψ zu ändern, welches das Unterscheidungsvermögen mit einer Zunahme seines Werts erhöht:

ψ = 1 - MEAN(N_u*)

Die mittlere Anzahl von Merkmalspegelkombinationen in allen der N Kategorien sei MEAN(L_r*), das heißt

Dieses Maß ψ wird zur Bewertung der Auswahl der Merkmalspegel-(Bitebenen)-Kombination verwendet.

Die Differenz zwischen einem unbekannten Eingangsbild und jeder Kategorie kann auf der Basis von Gleichung (11) durch die folgende Gleichung ausgedrückt werden, wobei die optimale Merkmalspegelkombination verwendet wird, die durch Lernen bestimmt wurde:

dist(n, L_r*(n)) = Σ(W(n,v)dist(v))/ΣW(n,v)

wobei Σ die Summe von v = 1 bis L_r*(n) angibt. Die Kategorie n, die diese Differenz minimiert ist das Ergebnis der Erkennung des unbekannten Eingangsbildes. Im Fall des Vergleiches dieser Differenz unter den Kategorien, muß die Differenz jedoch vornormiert werden. Ein Wert Dm(n) in der Mitte zwischen der Intrakategoriedifferenzverteilung (Gleichung 10) jeder Kategorie und der Interkategoriedifferenzverteilung (Gleichung 11), die zum Zeitpunkt der Auswahl der Merk­ malspegelkombinationen bestimmt werden, wird zur Definition einer Toleranz V_a verwendet, die durch folgende Gleichung gegeben ist:

In diesem Fall wird der Zwischenwert Dm(n) unter Berücksichtigung des Sicherheitsparameters ε bestimmt. Die Kategorie mit der Toleranz V_a größer als Null und am größten unter den betrof­ fenen Kategorien wird als das Ergebnis der Erkennung beurteilt.

Als nächstes wird unter Bezugnahme auf Fig. 26 ein Beispiel einer Vorrichtung beschrieben, die das oben beschriebene erfindungsgemäße Verfahren verkörpert. Mit einem gemeinsamen Bus 81 sind ein Rahmenspeicher 82, eine Bildmerkmalextraktionseinheit 83, ein Merkmalsbildspei­ cher 84, eine Bildmerkmalquantisiereinheit 85, eine gewichtete Ähnlichkeits-(Differenz)-Berech­ nungseinheit 86, ein Referenztabellenspeicher 87, eine Gut/Schlecht-Beurteilungseinheit 88 und eine Steuereinheit 89, etwa ein Personalcomputer verbunden. Darüberhinaus sind die Speicher 82, 84 und 87 und die Einheiten 83, 85, 86 und 88 über einen dedizierten Bus 90 untereinan­ der verbunden.

Das Bild eines untersuchten Objekts (nicht gezeigt) wird mittels einer Videokameraeinheit 91 aufgenommen, und das Eingangsbild (Untersuchungsbild) von dieser wird in dem Rahmenspei­ cher 82 nach Umwandlung mittels eines A/D-Umsetzers in digitale Form gespeichert. In der Merkmalsextraktionseinheit 83 wird ein Bild eines bestimmten Merkmals, das heißt ein Bild jedes Merkmals einer von Referenztabellen, die in dem Referenztabellenspeicher 87 vorab gespeichert sind, aus dem Eingangsbild mittels der Verarbeitung des vorher unter Bezugnahme auf die Fig. 7, 17 und 20 beschriebenen Schritts 202 extrahiert. Das so extrahierte Merk­ malsbild wird in dem Merkmalsbildspeicher 84 gespeichert. In der Bildmerkmalquantisiereinheit 85 wird das Merkmalsbild durch den zuvor erwähnten Schritt 203 in den Fig. 7, 17 und 20 quantisiert, und das quantisierte Merkmalsbild wird in dem Merkmalsbildspeicher 84 gespei­ chert. Der gespeicherte Inhalt des Referenztabellenspeicher 87 ist: im Fall des Verfahrens von Fig. 7 diejenige der in Fig. 16 gezeigten Referenztabellen, die dem im Schritt 118 ausgewählten Merkmal entspricht; im Fall des Verfahrens von Fig. 17 diejenige der in Fig. 19 gezeigten Refe­ renztabellen, welche dem in ähnlicher Weise in Schritt 118 ausgewählten Merkmal entspricht; im Fall des Verfahrens von Fig. 20 diejenige der Referenztabellen, die dem im Schritt 413 ausgewählten Merkmalspunktgewicht entspricht, so wie die entsprechende Referenz-Mehrfach- Hough-Ebene; im Fall des Verfahrens von Fig. 24 eine Referenz-Mehrfach-Hough-Ebene; und im Fall des Verfahrens von Fig. 28 ein Merkmalspunkt und sein Gewicht. Ferner werden die Schwellenwerte, die in den Schritten 119 der Fig. 7, 17 und 28 und den Schritten 414 der Fig. 21 und 28 bestimmt werden, jeweils entsprechend den oben erwähnten Daten gespei­ chert. In der gewichteten Ähnlichkeits-(Differenz)-Berechnungseinheit 86 werden das quanti­ sierte Bild im Speicher 84 und die entsprechende Referenztabelle in dem Referenztabellenspei­ cher 87 dazu verwendet, folgendes auszuführen: im Fall des Verfahrens von Fig. 7 die gewich­ tete verallgemeinerte Hough-Transformationsoperation im Schritt 204; im Fall des Verfahrens von Fig. 17 die gewichtete normierte Korrelationsberechnung im Schritt 310; im Fall des Verfahrens von Fig. 28 die verallgemeinerte Hough-Transformationsoperation und die entspre­ chende Ähnlichkeitsberechnung; im Fall des Verfahrens von Fig. 20 die Erstellung der Mehr­ fachbitebene, ihre gewichtete Hough-Transformationoperation und die Differenzberechnung in den Schritten 421, 422 und 424; und im Fall des Verfahrens von Fig. 24 die Erstellung der Mehrfachbitebene, die Hough-Transformationsoperation und die Differenzberechnung in den Schritten 421, 503 und 424. Das Ergebnis der Operation durch die gewichtete Ähnlichkeits- (Differenz)-Berechnungseinheit 86 wird in der Beurteilungseinheit 88 mit dem entsprechenden Schwellenwert verglichen, der in dem Referenztabellenspeicher 87 gespeichert ist. Das Ergebnis der Beurteilung wird über die Steuereinheit 89 zur Anzeige auf einer nicht dargestellten Anzei­ gevorrichtung nach außen gegeben. Nebenbei bemerkt kann die Beurteilungseinheit 88 auch durch Ausnutzung der Funktionen in der Steuereinheit 89 gebildet werden.

Beispielsweise im Fall einer Untersuchung verschiedener Teile auf gut oder schlecht, wird eine große Menge Referenzdaten benötigt die vorab in einem Speicher großer Kapazität, etwa einer externen Magnetplatte, gespeichert sind, zusammen mit entsprechenden Schwellenwerten, und wenn die Nummer des untersuchten Teils eingegeben wird, liest die Steuereinheit 89 von dem Speicher großer Kapazität den entsprechenden Satz von Referenztabellen und den Schwellen­ wert aus und lädt sie in den Referenztabellenspeicher 87, womit die Untersuchung beginnt. In diesem Fall hält die Steuereinheit 89 den Schwellenwert und macht die endgültige Beurteilung hinsichtlich gut und schlecht.

Unter Bezugnahme auf Fig. 27 wird nun ein Beispiel des Vorrichtungsaufbaus eines Referenzda­ tengeneratorteiles beschrieben. Diese Vorrichtung weist die meisten Funktionen der in Fig. 26 gezeigten Bilduntersuchungsvorrichtung auf und wird oft auch als die Bilduntersuchungsvorrich­ tung verwendet, weshalb die Teile in Fig. 27, die solchen in Fig. 26 entsprechen, mit denselben Bezugszahlen versehen sind. Diese Vorrichtung umfaßt ferner einen Lernmerkmalspunktwertver­ teilungsspeicher 93, eine Merkmalswertverteilungsmeßeinheit 94, eine Merkmalspunktgewicht­ bestimmungseinheit 95, einen Ähnlichkeits-(Differenz)-Verteilungsspeicher 96, eine Merkmals­ gewichtmeßeinheit 97, eine Merkmalskombinationseinheit 98 und eine Schwellenwertbestim­ mungseinheit 99. Der Merkmalsbildspeicher 84, der Merkmalspunktwertverteilungsspeicher 93 und der Ähnlichkeits-(Differenz)-Verteilungsspeicher 96 haben je einen Aufbau mit mehreren Platten zur Speicherung einer größeren Datenmenge als in der in Fig. 26 gezeigten Untersu­ chungsvorrichtung.

Wie zuvor beschrieben, werden in diesem Fall Lernbilder in den Rahmenspeicher 82 eingegeben. Dann werden verschiedene Merkmalsbilder mittels der Extraktionseinheit 83 aus jedem der Lernbilder extrahiert und in dem Merkmalsbildspeicher 84 gespeichert. Diese Merkmalsbilder werden durch die Quantisiereinheit 85 quantisiert und danach wieder in den Speicher 84 gespeichert. Für Bilder desselben Merkmals wird die Merkmalspunktwertverteilung des Schritts 105 in der Merkmalswertverteilungsmeßeinheit 94 errechnet und dann in den Speicher 93 gespeichert. Die Merkmalspunktgewichtbestimmungseinheit 95 verwendet die Merkmalspunkt­ wertverteilung zur Bestimmung des Merkmalspunktgewichts im Schritt 106, und für jeden Merkmalswert, wird die sich aus jedem Merkmalspunkt und seinem Gewicht zusammensetzende Referenztabelle in dem Speicher 87 gespeichert. Bei dem Verfahren von Fig. 20 werden die Bildung des Standardbildes im Schritt 401, die Bildung der Mehrfachbitebene im Schritt 402 und die gewichtete Hough-Transformationsoperation im Schritt 403 durchgeführt, um die Mehr­ fach-Hough-Ebene zu erzeugen, die ebenfalls in dem Referenztabellenspeicher 87 gespeichert wird.

Als nächstes wird eine Vielzahl von Lernbildern eines guten Objekts und Lernbildern eines schlechten Objekts eingegeben, und ihre Merkmalsbilder werden erzeugt, quantisiert und im Merkmalsbildspeicher 84 gespeichert. Für diese quantisierten Merkmalsbilder führt die gewich­ tete Ähnlichkeits-(Differenz)-Berechnungseinheit 86 die gewichtete verallgemeinerte Hough-Transformationsoperation im Schritt 113, die gewichtete normalisierte Korrelationsoperation im Schritt 309 oder die Bildung der Mehrfachbitebene, die gewichtete Hough-Transformationsope­ ration und die Bildung der Mehrfach-Hough-Ebene in den Schritten 406 bis 408 durch und berechnet dann die Ähnlichkeiten (Differenzen) aus den Ergebnissen dieser Operationen und ihrer Verteilungen in dem Speicher 96. Die Merkmalsgewichtmeßeinheit 97 führt im Schritt 115 die Merkmalsgewichtberechnung (im Schritt 410 die Bitebenengewichtsberechnung) durch und speichert das berechnete Merkmalsgewicht in dem Speicher 96. Darüber hinaus kombiniert die Merkmalskombinationseinheit 98 Merkmale (Bitebenen) im Schritt 117 (im Schritt 411) errech­ net dann den Abstand zwischen Verteilungen guten und schlechten Objekts im Schritt 117 (im Schritt 412) und setzt die Kombination von Merkmalen (Bitebenen) fort, bis der Abstand die zuvor erwähnte Bedingung erfüllt. Danach wird der Schwellenwert durch die Einheit 99 bestimmt.

In beiden Vorrichtungen der Fig. 26 und 27 kann jede Einheit von einem digitalen Signalprozes­ sor gebildet werden.

Gemäß der ersten Ausführungsform werden, wie in Fig. 9 gezeigt Nulldurchgangspunkte von einem Konturbild wie einem Kantenbild extrahiert, wird die Ortsfrequenz der Kante variiert und der optimale Nulldurchgangspunkt der verallgemeinerten Hough-Transformationsoperation unterzogen. Hierdurch ist es möglich, eine Merkmalsextraktionsfunktion zu implemen­ tieren, die im wesentlichen unempfindlich ist gegenüber Offsetänderung der Intensität und einem relativen Abfall der Empfindlichkeit, sowie eine Anpassungsfunktion, die die Ähnlichkeit mittels Mehrheitslogik selbst dann beibehält, wenn Rauschen vorhanden ist. Darüber hinaus stellt das Lernen jedes Merkmalspunktgewichts für eine Vielzahl von Lernbildern eine stabile Extraktion von Merkmalspunkten gegenüber Rauschen sicher, und eine Mehrfachzahlenextrak­ tionsfunktion, die komplementäre Bereichs- und Konturmerkmale in Kombination verwendet und außerdem eine Auflösungsänderung berücksichtigt, wird auf die gewichtete verallgemeinerte Hough-Transformation angewandt, um eine automatische Bestimmung von Gewichten von Merkmalen nach Maßgabe der Eigenschaft des Bildes durch Lernen zu erlauben. Durch Kombi­ nation solcher Merkmale ist es möglich, eine sehr zuverlässige Bilduntersuchung mit einer nied­ rigen Gut/Schlecht-Unterscheidungsfehlerrate in Umgebungen zu realisieren, wo Intensitätsva­ riationen von Probenbildern guter Objekte durch Änderungen des Zustands der Beleuchtung und der Reflexionseigenschaft der Probenoberflächen sowie Staub auf den Proben verursacht werden. Es ist ebenfalls möglich, eine Bilderkennung mit einer hohen Erkennungsrate und eine Bildsortierung mit einer niedrigen Fehlerrate zu implementieren.

Gemäß dem zweiten Ausführungsbeispiel stellt das Lernen jedes Merkmalspunktgewichts für eine Vielzahl von Lernbildern eine stabile Extraktion von Merkmalspunkten gegenüber Rauschen sicher und eine Mehrfachzellenextraktionsfunktion, die komplementäre Bereichs- und Kontur­ merkmale in Kombinationen verwendet und ebenso eine Auflösungsänderung berücksichtigt wird auf die gewichtete normierte Korrelationsoperation angewandt, um eine automatische Bestimmung von Gewichten von Merkmalen nach Maßgabe der Eigenschaft des Bildes durch Lernen zu ermöglichen. Durch Kombination dieser Merkmale ist es möglich, ein sehr zuverläs­ siges Bilduntersuchungssystem mit einer niedrigen Gut/Schlecht-Unterscheidungsfehlerrate, ein Bilderkennungssystem mit einer hohen Erkennungsrate und ein Bildsortiersystem mit einer nied­ rigen Fehlerrate in Umgebungen zu realisieren, wo Intensitätsvariationen von Probenbildern guter Objekte durch Änderungen des Zustands der Beleuchtung und der Reflexionseigenschaft der Probenoberflächen sowie Staub auf den Proben verursacht werden.

Gemäß der dritten und der vierten Ausführungsform wird ein selektives Merkmalsextraktionssy­ stem für eine Anzahl von Sätzen komplementärer Merkmale wie Erstreckung und ähnliches auf die Haupttransformation angewandt, und die Erkennung erfolgt auf der Basis der Ähnlichkeit oder Differenz für die resultierende Mehrfach-Hough-Ebene. Hierdurch ist es möglich, ein effi­ zientes Bilderkennungs- oder Sortiersystem oder ein sehr zuverlässiges Untersuchungssystem aufzubauen, das sein hohes Unterscheidungsvermögen selbst in Umgebungen beibehält, wo die Bildintensität mit einer Änderung des Zustands der Beleuchtung variiert oder Rauschen vorhan­ den ist.

Es ist ersichtlich, daß viele Modifikationen und Variationen ausgeführt werden können ohne den Rahmen des neuen Konzepts der vorliegenden Erfindung zu verlassen.

Claims (28)

1. Bilduntersuchungs/-erkennungsverfahren umfassend:
einen ersten Schritt der Extraktion eines Bildmerkmals von einem Eingangsbild und der Bildung eines Merkmalsbildes,
einen zweiten Schritt der Quantisierung des Merkmalsbildes zum Erhalt eines quanti­ sierten Merkmalsbildes, und
einen dritten Schritt der Berechnung der Ähnlichkeit oder Differenz von Merkmalspunk­ ten des quantisierten Merkmalsbildes durch Verwendung von Referenzdaten der entsprechenden Merkmale, die vorab mit einer Vielzahl von Lernbildern gewonnen wurden,
wobei Merkmalswerthistogramme an jeweiligen Merkmalspunkten des quantisierten Merkmalsbildes der Vielzahl von Lernbildern dazu verwendet werden, vorweg Gewichte der jeweiligen Merkmalspunkte zu berechnen, und die Gewichte dazu verwendet werden, die Ähnlichkeit oder Differenz in dem dritten Schritt als gewichtete Ähnlichkeit oder Differenz zu erhalten.

2. Verfahren nach Anspruch 1, bei dem der dritte Schritt ein Schritt zum Erhalt der gewichteten Ähnlichkeit oder Differenz für eine Vielzahl von Differenzmerkmalsbildern mittels Durchführung einer Merkmalskombination mit Gewichten ist.

3. Verfahren nach Anspruch 2, bei dem der dritte Schritt ein Schritt zum Erhalt der gewichteten Ähnlichkeit durch eine gewichtete verallgemeinerte Hough-Transformationsopera­ tion des Votierens der Merkmalspunktgewichte zu einem Parameterraum ist.

4. Verfahren nach Anspruch 2, bei der dritte Schritt ein Schritt zum Erhalt der Ähnlich­ keit durch eine gewichtete normierte Korrelationsoperation der Gewinnung eines normierten Korrelationsfaktors zwischen einer Merkmalspunktwertfolge des Merkmalsbildes des Eingangs­ bildes und einer Merkmalspunktwertfolge des quantisierten Merkmalsbildes jedes der Lernbilder durch Gewichten derselben mit einer Folge von Gewichten der Merkmalspunkte ist.

5. Verfahren nach Anspruch 2, bei dem der dritte Schritt ein Schritt zum Erhalt der gewichteten Differenz dadurch ist, daß das quantisierte Merkmalsbild einer gewichteten Hough-Transformationsoperation des Votierens der Gewichte der Merkmalspunkte zu einem Parameter­ raum für jeden Quantisierungspegel zum Erhalt einer Hough-Ebene unterzogen wird, und daß die Differenz zwischen der Hough-Ebene und einer Referenz-Hough-Ebene berechnet wird, die von den quantisierten Merkmalsbildern der Lernbilder erhalten wird.

6. Verfahren nach Anspruch 2, bei dem die Gesamtsumme der Gewichte der Merk­ malspunkte in jedem der Merkmalsbilder auf die Anzahl von Merkmalspunkten normiert ist.

7. Verfahren nach Anspruch 2, bei dem Häufigkeitsverhältnisse von Merkmalswerten an jeweiligen Pixeln von Merkmalsbildern derselben Art, die von der Vielzahl von Lernbildern extrahiert sind, einer Schwellenwertverarbeitung unterzogen werden, um Pixel zu entfernen, bei denen es sich wahrscheinlich um Rauschen handelt, während die übrigen Pixel als Merkmals­ punkte der Merkmalswerte verwendet werden.

8. Verfahren nach einem der Ansprüche 2 bis 7, bei dem, wenn der Kontrast der Viel­ zahl von Lernbildern derselben Kategorie höher ist als ein vorbestimmter Wert, ein Bereichs­ merkmalsbild als das Merkmalsbild in dem ersten Schritt extrahiert wird und eine gewichtete normierte Korrelationsoperation in dem dritten Schritt zum Erhalt der gewichteten Ähnlichkeit ausgeführt wird, und bei dem, wenn der Kontrast niedriger als der vorbestimmte Wert ist, ein Konturmerkmalsbild als das Merkmalsbild in dem ersten Schritt extrahiert wird und eine gewich­ tete verallgemeinerte Hough-Transformationsoperation in dem dritten Schritt zum Erhalt der gewichteten Ähnlichkeit ausgeführt wird.

9. Verfahren nach einem der Ansprüche 2 bis 7, bei dem eine gewichtete verallge­ meinerte Hough-Transformationsoperation und eine gewichtete normierte Korrelationsoperation jeweils für eine Vielzahl unterschiedlicher Kategorien ausgeführt werden, der Abstand zwischen Intra- und Inter-Kategorie-Ähnlichkeitsverteilungen durch jede der Operationen errechnet wird und wobei eine der Operationen, welche den größeren Abstand als die andere lieferte, in dem dritten Schritt ausgeführt wird.

10. Verfahren nach einem der Ansprüche 2 bis 7, bei dem der zweite Schritt ein Schritt zum Quantisieren der Vielzahl von Lernbildern durch Verwendung einer Quantisierungs­ breite ist, welche den Abstand zwischen Intra- und Inter-Kategorie-Ähnlichkeits- oder -Diffe­ renzverteilungen maximiert.

11. Verfahren nach einem der Ansprüche 2 bis 7, bei dem der zweite Schritt ein Schritt zum Quantisieren des Merkmalsbildes durch Verwendung einer Quantisierungsbreite ist, welche einen mittleren integrierten quadratischen Fehler von Merkmalswerthistogrammen der Merkmalspunkte in den Merkmalsbildern der Vielzahl von Lernbildern einer Kategorie minimiert.

12. Verfahren nach Anspruch 10, bei dem die Lernbilder Bilder sind, die von einem guten Objekt gewonnen wurden und der Verteilungsabstand der Abstand zwischen Verteilungen von guten und schlechten Objekten ist, und welches ferner einen vierten Schritt des Vergleichs der gewichteten Ähnlichkeit oder der gewichteten Differenz mit einem Schwellenwert umfaßt zur Beurteilung, ob ein dem Eingangsbild entsprechendes Objekt gut oder schlecht ist.

13. Verfahren nach Anspruch 11, das ferner einen vierten Schritt umfaßt zum Erhalt, als ein Untersuchungsmaß, des Betrags einer Verschiebung, Rotation oder Maßstabsänderung des Ursprungs eines untersuchten Objekts, welcher die gewichtete Ähnlichkeit maximiert oder die gewichtete Differenz minimiert.

14. Verfahren nach Anspruch 11, bei dem die Lernbilder Bilder sind, die von einem guten Objekt gewonnen wurden, und der mittlere integrierte quadratische Fehler für das gute Objekt gilt, und das ferner einen vierten Schritt umfaßt zum Vergleich der Ähnlichkeit oder Differenz mit einem Schwellenwert zur Beurteilung, ob ein dem Eingangsbild entsprechendes Objekt gut oder schlecht ist.

15. Verfahren nach Anspruch 14, ferner umfassend einen weiteren Schritt zum Erhalt des Betrags einer Verschiebung, Rotation oder Maßstabsänderung des Ursprungs eines untersuchten Objekts, welcher die gewichtete Ähnlichkeit maximiert oder die gewichtete Differenz minimiert.

16. Verfahren nach einem der Ansprüche 2 bis 7, ferner umfassend:
einen fünften Schritt der Extraktion der Merkmalsbilder von der Vielzahl von Lernbil­ dern,
einen sechsten Schritt der Quantisierung der Merkmalsbilder,
einen siebten Schritt der Gewinnung eines Histogramms des Merkmalswerts an jedem Merkmalspunkt in jedem der quantisierten Lernmerkmalsbilder, und
einen achten Schritt zum Erhalt des Gewichts jedes der Merkmalspunkte nach Maßgabe der Schärfe der Streuung in dem Histogramm.

17. Verfahren nach Anspruch 16, welches die Vielzahl verschiedener Merkmalsbilder in dem dritten Schritt dadurch bestimmt, daß in Kombination ausgeführt werden:
ein neunter Schritt zum Erhalt einer Vielzahl quantisierter Merkmalsbilder von einer Vielzahl von Lernbildern einer Vielzahl von Kategorien,
ein zehnter Schritt zum Erhalt der gewichteten Ähnlichkeit oder Differenz von Merk­ malspunkten in jedem Merkmalsbild der Vielzahl von Lernbildern durch die gleiche Operation wie in dem dritten Schritt unter Verwendung der darin benutzten Referenzdaten,
ein elfter Schritt zum Erhalt der Ähnlichkeit oder Differenz für jedes Merkmalsbild von den Ergebnissen der Operation in dem zehnten Schritt,
ein zwölfter Schritt zum Erhalt des Merkmalsgewichts von der im elften Schritt gewonnenen Ähnlichkeit oder Differenz,
ein dreizehnter Schritt der Kombination der Merkmale zum Erhalt des Abstands zwischen der Ähnlichkeit oder Differenz in jeder der Kategorien und der Ähnlichkeit oder Diffe­ renz in einer anderen der Kategorien, und
ein vierzehnter Schritt der Änderung der Kombination von Merkmalen bis der Abstand eine vorbestimmte Bedingung erfüllt.

19. Verfahren zur Erzeugung von Referenzdaten für eine Bilduntersuchung/-erkennung umfassend:
einen ersten Schritt der Extraktion einer Vielzahl von Bildmerkmalen von einem Lernbild und der Bildung von Merkmalsbildern,
einen zweiten Schritt der Quantisierung der Merkmalsbilder zum Erhalt quantisierter Merkmalsbilder,
einen dritten Schritt zum Erhalt der Merkmalswertverteilung an jedem Merkmalspunkt in den quantisierten Merkmalsbildern jeder Art,
einen vierten Schritt der Bestimmung des Gewichts jedes Merkmalspunkts auf der Basis der Merkmalspunktwertverteilung,
einen fünften Schritt der Erzeugung quantisierter zweiter und dritter Merkmalsbilder von einem zweiten Lernbild derselben Kategorie wie das genannte Lernbild und eines dritten Lernbildes einer anderen Kategorie,
einen sechsten Schritt zum Erhalt der Ähnlichkeit oder Differenz zwischen jedem des zweiten und des dritten Merkmalsbildes und jedes der Merkmalsbilder von dem genannten Lern­ bild durch eine gewichtete Korrelationsverarbeitung für die Merkmalspunkte unter Verwendung ihrer Gewichte,
einen siebten Schritt der Bestimmung der Gewichte der Merkmale auf der Basis der Ähnlichkeiten oder Differenzen jeweils entsprechend den beiden Kategorien, einen achten Schritt zur Kombination der Merkmale und zum Erhalt des Abstands zwischen den Ähnlichkeiten oder Differenzen entsprechend den beiden Kategorien, und
einen neunten Schritt der Änderung der Kombination der Merkmale, bis der Abstand ausreichend groß wird, und der Bestimmung des Merkmalspunkts und seines Gewichts entspre­ chend einer letzten Merkmalskombination als Referenzdaten.

20. Verfahren nach Anspruch 19, bei dem die Korrelationsoperation in dem sechsten Schritt eine gewichtete verallgemeinerte Hough-Transformationsoperation des Votierens des Merkmalspunktgewichts zu einem Parameterraum ist.

21. Verfahren nach Anspruch 19, bei dem die Korrelationsoperation in dem sechsten Schritt eine gewichtete normierte Korrelationsoperation ist, die als Gewichte eine Folge der Merkmalsbilder, eine Folge der zweiten oder dritten Merkmalsbilder und eine Folge von Gewich­ ten der Merkmalspunkte verwendet.

22. Verfahren nach Anspruch 19, bei dem die Korrelationsoperation in dem sechsten Schritt dadurch ausgeführt wird, daß das quantisierte Merkmalsbild einer gewichteten Hough-Transformationsoperation des Votierens der Gewichte der Merkmalspunkte zu einem Parameter­ raum für jeden Quantisierungspegel zum Erhalt von Hough-Ebenen unterzogen wird und die Differenz zwischen einander entsprechenden Merkmalsbildern auf den Hough-Ebenen berech­ net wird.

23. Bilduntersuchungs/-erkennungsvorrichtung, umfassend:
einen Bildspeicher (82) zum Speichern eines Eingangsbildes,
eine Einrichtung (83) zum Extrahieren von Bildmerkmalen von dem Eingangsbild und zum Erstellen von Merkmalsbildern,
eine Einrichtung (85) zum Quantisieren der Merkmalsbilder,
einen Merkmalsbildspeicher (84) zum Speichern der quantisierten Merkmalsbilder,
einen Referenztabellenspeicher (87) zum Speichern des Merkmalswerts und seines Merkmalspunkts und des Gewichts für jedes der Merkmalsbilder,
eine Berechnungseinrichtung (86) zur Berechnung, für jedes der quantisierten Merk­ malsbilder, einer gewichteten Ähnlichkeit oder Differenz durch Benutzung der entsprechenden in dem Referenztabellenspeicher (87) gespeicherten Referenztabellen, und eine Steuerungseinrichtung (89) zur Steuerung jeder dieser Einrichtungen.

24. Vorrichtung zur Erzeugung von Referenzdaten für eine Bilduntersuchung/-erken­ nung, umfassend:
einen Bildspeicher (82) zum Speichern eines Eingangslernbildes,
eine Einrichtung (83) zum Extrahieren von Bildmerkmalen von dem Lernbild und zur Erstellung von Merkmalsbildern,
eine Einrichtung (85) zum Quantisieren der Merkmalsbilder,
einen Merkmalsbildspeicher (84) zum Speichern der quantisierten Merkmalsbilder,
eine Einrichtung (94) zum Erhalt ihrer Punktwertverteilungen von den quantisierten Merkmalsbildern,
einen Merkmalspunktwertverteilungsspeicher (93) zum Speichern der Merkmalspunkt­ wertverteilung jedes der Merkmalsbilder,
eine Einrichtung (95) zur Bestimmung des Gewichts jedes Merkmalspunkts aus jeder Merkmalspunktwertverteilung,
einen Referenztabellenspeicher (87) zum Speichern des Merkmalspunkts und seines Gewichts für jedes Merkmalsbild,
eine Berechnungseinrichtung (86) für gewichtete Ähnlichkeit (Differenz) zur Durchfüh­ rung einer Korrelationsoperation für die Merkmalsbilder durch Benutzung der Merkmalspunkte und ihrer Gewichte, die in dem Referenztabellenspeicher (87) gespeichert sind, zum Erhalt einer gewichteten Ähnlichkeit oder Differenz,
einen Ähnlichkeits-(Differenz)-Verteilungsspeicher (96) zum Speichern der Verteilung der gewichteten Ähnlichkeit oder Differenz,
eine Einrichtung (97) zum Erhalt des Merkmalsgewichts von der Ähnlichkeits- oder Differenzverteilung entsprechend jeder Kategorie,
eine Einrichtung (98) zur Bestimmung der Kombination von Merkmalen verschiedener Kategorien und zum Erhalt des Abstands zwischen der gewichteten Ähnlichkeit oder Differenz in jeder Kategorie und der gewichteten Ähnlichkeit oder Differenz zwischen der Kategorie und einer anderen der Kategorien, wenn die Merkmalskombination bestimmt wird, und
eine Einrichtung zur Änderung der Kombination bis der Abstand eine vorbestimmte Bedingung erfüllt und zur Bestimmung von Merkmalspunkten und ihren Gewichten in jedem Merkmalsbild entsprechend einer letzten Merkmalskombination als Referenzdaten.

25. Bilduntersuchungs/-erkennungsverfahren, umfassend:
einen ersten Schritt der Extraktion eines Bildmerkmals aus einem Eingangsbild und der Bildung eines Merkmalsbildes,
einen zweiten Schritt der Quantisierung des Merkmalsbildes zum Erhalt eines quanti­ sierten Merkmalsbildes, und
einen dritten Schritt der Berechnung der Ähnlichkeit jedes Merkmalspunkts in dem quantisierten Merkmalsbild unter Verwendung von Referenzdaten des entsprechenden Merk­ mals, die vorab mit einem Lernbild gewonnen wurden,
wobei der dritte Schritt umfaßt:
einen vierten Schritt zur Erzeugung einer Mehrfachbitebene, die sich aus Bitebenen entsprechend jeweiligen Quantisierungspegeln der quantisierten Merkmalsbilder zusammensetzt aus dem quantisierten Merkmalsbild,
einen fünften Schritt, bei dem jede Bitebene der Mehrfachbitebene einer Hough-Trans­ formationsoperation zur Bildung einer Mehrfach-Hough-Ebene unterzogen wird, und
einen sechsten Schritt zum Erhalt der Differenz durch Berech­ nung der Differenz zwischen der Mehrfach-Hough-Ebene und einer Referenz-Mehrfach-Hough-Ebene, als Referenzdatum.

26. Bilduntersuchungs/-erkennungsverfahren, umfassend:
einen ersten Schritt der Extraktion eines Bildmerkmals aus einem Eingangsbild und der Bildung eines Merkmalsbildes,
einen zweiten Schritt der Quantisierung des Merkmalsbildes zum Erhalt eines quanti­ sierten Merkmalsbildes, und
einen dritten Schritt der Berechnung der Ähnlichkeit jedes Merkmalspunkts in dem quantisierten Merkmalsbild unter Verwendung von Referenzdaten des entsprechenden Merk­ mals, die vorab mit einem Lernbild gewonnen wurden,
wobei der dritte Schritt umfaßt:
einen vierten Schritt zur Erzeugung einer Mehrfachbitebene, die sich aus Bitebenen entsprechend jeweiligen Quantisierungspegeln der quantisierten Merkmalsbilder zusammensetzt, aus dem quantisierten Merkmalsbild,
einen fünften Schritt, bei dem vorbestimmte Bitebenen einer verallgemeinerten Hough-Transformationsoperation unter Verwendung der Referenzdaten unterzogen werden, und
einen sechsten Schritt der Berechnung der Ähnlichkeit von den Hough-transformierten Bitebenen.

27. Verfahren nach Anspruch 25 oder 26, bei dem das Merkmalsbild mehrfach ist und die Berechnung für vorbestimmte Bitebenen jeder der Mehrfachbitebenen ausgeführt wird, die von den mehreren Merkmalsbildern durch eine gewichtete Berechnung unter Verwendung der Gewichte zu den vorbestimmten Bitebenen erhalten werden.

28. Verfahren nach Anspruch 27, welches die in dem dritten Schritt zuverwendenden Bitebenen dadurch bestimmt, daß in Kombination ausgeführt werden:
ein siebter Schritt zum Erhalt einer Vielzahl von quantisierten Merkmalsbildern von einer Vielzahl von Lernbildern einer Vielzahl von Kategorien,
ein achter Schritt der Erzeugung einer Mehrfachbitebene von jedem der quantisierten Merkmalsbilder,
ein neunter Schritt zur Ermittlung der Ähnlichkeit oder Differenz jeder der Bitebenen der Vielzahl von Mehrfachbitebenen durch dieselbe Operation wie in dem dritten Schritt unter Benutzung der darin verwendeten Lerndaten,
ein zehnter Schritt zum Erhalt des Gewichts jeder Bitebene an einem Merkmalswertpe­ gel aus der Ähnlichkeit oder Differenz,
ein elfter Schritt zum Kombinieren der Bitebene und zum Erhalt des Abstands zwischen der Ähnlichkeit oder Differenz in jeder Kategorie und der Ähnlichkeit oder Differenz zwischen jeder Kategorie und einer anderen, und
ein zwölfter Schritt der Änderung der Kombination von Bitebenen, bis der Abstand eine vorbestimmte Bedingung erfüllt.

18. Verfahren nach Anspruch 17 ferner umfassend einen fünfzehnten Schritt zur Bestimmung eines Schwellenwerts zwischen der Ähnlichkeit oder Differenz in jeder der Kategorien und der Ähnlichkeit oder Differenz in der anderen Kategorie zur Unterscheidung zwischen den Kategorien, wenn die Kombination der Merkmale im vierzehnten Schritt bestimmt wird.