DE10234086B4

DE10234086B4 - Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers

Info

Publication number: DE10234086B4
Application number: DE10234086A
Authority: DE
Inventors: Volker Lohweg
Original assignee: Koenig and Bauer AG
Current assignee: Koenig and Bauer AG
Priority date: 2002-07-26
Filing date: 2002-07-26
Publication date: 2004-08-26
Anticipated expiration: 2022-07-27
Also published as: US7483573B2; EP1525554A1; AU2003258460A1; CN1331086C; CN1672167A; DE10234086A1; WO2004017252A1; US20060050995A1

Abstract

Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers, wobei der Bildsensor ein Lichteingangssignal empfängt und ein elektrisches Ausgangssignal ausgibt, welches zum Lichteingangssignal korreliert, dadurch gekennzeichnet, dass das Lichteingangssignal wie folgt abgearbeitet wird,
– Unterteilen des Bildes des Prüfkörpers in N × N rasterförmig angeordnete Fenster (01) der Größe n × n Pixel (02),
– Analyse des Bildinhalts (03) eines Fensters (01) der Größe n × n Pixel (02) durch,
– Umwandlung des mittelbar oder unmittelbar vom Bildsensor ausgegebenen Ausgangssignals in zumindest einen translationsinvarianten Merkmalswert (08) mittels zumindest einer Rechenvorschrift (04, 07),
– die Rechenvorschrift (04) zur Umwandlung des Signals des Bildsensors in einen translationsinvarianten Merkmalswert (08) ist ein zweidimensionales mathematisches Spektraltransformationsverfahren (04), insbesondere eine zweidimensionale Fourier-, oder Walsh-, oder Hadamard-, oder Zirkulartransformation,
– Gewichtung des Merkmalswerts (08) mit zumindest einer unscharfen Zugehörigkeitsfunktion (13), wobei die Zugehörigkeitsfunktion (13) in funktionalem Zusammenhang...

Description

Die Erfindung betrifft ein Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers gemäß dem Oberbegriff des Anspruchs 1.

Bekannte Verfahren zur Analyse von Bildinhalten eines Prüfkörpers beruhen zumeist auf Metriken zur Bestimmung von Gleichartigkeiten, wie beispielsweise Abstandsmaße für segmentierte Objekte oder der Berechnung von globalen Schwellenverteilungen. Diese Verfahren beruhen auf translationsinvarianten Ausgangsspektren. In Realität treten oftmals Situationen auf, wie beispielsweise Objektverschiebungen unter dem Aufnahmesystem oder verschiedene Untergründe bei der Aufnahme oder Aliasing-Effekte, so dass ein direkter Vergleich dieser Ausgangsspektren in vielen Fällen nicht durchgeführt werden kann.

Durch das Fachbuch Thomas TILLI „Mustererkennung mit Fuzzy-Logik: Analysieren, klassifizieren, erkennen und diagnostizieren" Franzis-Verlag GmbH, München, 1993, S. 183/184, 208–210, 235–257 ist es bekannt, bei Verfahren zur Bildverarbeitung Fuzzy-Logik zu verwenden, wobei eine Art der Signalvorbereitung eine Spektraltransformation sein kann.

In dem Fachartikel „Mustererkennung mit Fuzzy-Logik" von Peter ARNEMANN, Elektronik 22/1992, Seiten 88–92 ist beschrieben, Mustererkennung mittels Fuzzy-Logik durchzuführen.

Der Artikel von Charalampidis, D.; Kasparis, T.; Georgiopoulos, M.; Rolland, J. „A fuzzy ARTMAP based classification technique of natural textures" Fuzzy Information Processing Society, 1999. NAFIPS. 18^th International Conference of the North American, 10.–12.06.1999, S. 507–511 beschreibt, Mustererkennung mit einer Trainingsphase durchzuführen und zur Bilderkennung ein Fenster mit 16 × 16 Pixel zu verwenden.

Durch den Artikel von Dr. R. FELIX, "Ein deutliches 'Jein'!" ELRAD 1997, Heft 9, Seiten 60–65 ist es bekannt Fuzzy Logik bei sektorisierten Bildinhalten anzuwenden.

In dem Artikel von V. Lohweg und D. Müller "Ein generalisiertes Verfahren zur Berechnung von translationsinvarianten Zirkulartransformationen für die Anwendung in der Signal- und Bildverarbeitung" Mustererkennung 2000, 22. DAGM-Symposium, 13.–15.09.2000, Springer-Verlag, Seiten 213–220 wird beschrieben, bei Bildverarbeitung translationsinvariante Merkmalswerte mittels Zirkulartransformation zu bestimmen.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers zu schaffen, mit dem aus Bildfenstern gewonnene Informationen sicher analysiert werden können.

Die Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1 gelöst.

Ein Vorteil des Verfahrens liegt insbesondere darin, dass ein Sensorsignal in einem Bildfenster der Größe n × n Pixel analysiert wird. Daraus folgend kann das Sensorsignal dieses Bildfensters als lokal angesehen werden. Das erfindungsgemäße Bildanalyseverfahren kann in die wesentliche Schritte: Merkmalsbildung, Fuzzyfizierung, Interferenz, Defuzzyfizierung und Entscheidung über Klassenzugehörigkeit gegliedert werden.

Bei der Merkmalsbildung wird das Sensorsignal mittels zumindest einer Rechenvorschrift in ein translationsinvariantes Signal im Merkmalsraum überführt. Ziel der Merkmalsbildung ist es solche Größen zu bestimmen, durch welche typische Signaleigenschaften des Bildinhalts charakterisiert werden. Die typischen Signaleigenschaften des Bildinhalts werden durch sogenannte Merkmale repräsentiert. Die Merkmale können hierbei durch Werte im Merkmalsraum oder durch linguistische Variablen repräsentiert werden. Durch Überführung des Sensorsignals in den Merkmalsraum entsteht ein Signal, welches aus einem Merkmalswert oder aus mehreren Merkmalswerten besteht.

Die Zugehörigkeit eines Merkmalswerts zu einem Merkmal wird durch zumindest eine unscharfe Zugehörigkeitsfunktion beschrieben. Hierbei handelt es sich um eine weiche oder auch unscharfe Zuordnung, wobei abhängig vom Wert des Merkmalswerts die Zugehörigkeit des Merkmalswerts zum Merkmal in einem normierten Intervall zwischen 0 und 1 vorliegt. Das Konzept der Zugehörigkeitsfunktion führt dazu, dass ein Merkmalswert nicht mehr entweder ganz oder gar nicht einem Merkmal zuordenbar ist, sondern vielmehr eine Fuzzyzugehörigkeit annehmen kann, welche zwischen den Bool'schen Wahrheitswerten 1 und 0 liegt. Den eben beschriebenen Schritt nennt man Fuzzyfizierung. Bei der Fuzzyfizierung findet also im Wesentlichen eine Umwandlung eines scharten Merkmalswerts in eine oder mehrere unscharfe Zugehörigkeiten statt.

Bei der Interferenz wird mittels einer Berechnungsvorschrift, welche zumindest aus einer Regel besteht, eine übergeordnete Zugehörigkeitsfunktion generiert, wobei alle Zugehörigkeitsfunktionen miteinander verknüpft werden. Im Ergebnis erhält man somit für jedes Fenster eine übergeordnete Zugehörigkeitsfunktion.

Bei der Defuzzyfizierung wird aus der in der Interferenz gebildeten übergeordneten Zugehörigkeitsfunktion ein Zahlenwert auch Sympathiewert genannt ermittelt. Bei der Entscheidung über die Klassenzugehörigkeit findet ein Vergleich des Sympathiewertes mit einem vorher festgelegten Schwellwert statt, anhand dessen die Zugehörigkeit des Fensters zu einer bestimmten Klasse entschieden wird.

Welcher Art die Merkmalswerte im Merkmalsraum sind, ist für das Prinzip der Erfindung von untergeordneter Bedeutung. So besteht beispielsweise bei Zeitsignalen die Möglichkeit, als Merkmalswerte den Mittelwert oder die Varianz zu bestimmen. Wird an das Auswerteverfahren die Anforderung gestellt, dass es die Bildinhalte unabhängig von der jeweils vorherrschenden Signalintensität fehlerfrei bearbeiten kann, und sollen des weiteren kleine aber zulässige Schwankungen des Bildsignals nicht zu Störungen führen, so ist es sinnvoll, wenn die Umwandlung des Sensorsignals aus dem zweidimensionalen Ortsraum mittels einer zweidimensionalen Spektraltransformation, wie beispielsweise einer zweidimensionalen Fourier-, oder einer zweidimensionalen Walsh-, oder einer zweidimensionalen Hadamard- oder einer zweidimensionalen Zirkulartransformation durchgeführt wird. Durch die zweidimensionale Spektraltransformation erhält man translationsinvariante Merkmalswerte. Eine weitere bevorzugte Ausführungsform besteht darin, den Betrag der durch Spektraltransformation gewonnenen Spektralkoeffizienten als Merkmalswert zu verwenden.

Nach einem bevorzugten Ausführungsbeispiel sind die Zugehörigkeitsfunktionen unimodale Potentialfunktionen und die übergeordnete Zugehörigkeitsfunktion ist eine multimodale Potentialfunktion.

Nach einem weiteren bevorzugten Ausführungsbeispiel ist zumindest eine Zugehörigkeitsfunktion parametrisiert. Weist die Zugehörigkeitsfunktion positive und negative Steigungen auf, so ist es vorteilhaft, wenn die Parameter der positiven und negativen Steigung getrennt bestimmt werden können. Dadurch wird eine bessere Anpassung der Parameter an die zu untersuchenden Datensätze gewährleistet.

Nach einem besonders bevorzugten Ausführungsbeispiel kann das Verfahren in eine Lernphase und eine Arbeitsphase unterteilt werden. Sind die Zugehörigkeitsfunktionen parametrisiert, so können in der Lernphase aus gemessenen Datensätzen die Parameter der Zugehörigkeitsfunktion ermittelt werden. In der Lernphase werden die Parameter der Zugehörigkeitsfunktionen an sogenannte Referenzbilder angeglichen, d. h. in der Lernphase wird eine Zugehörigkeit der Merkmalswerte, die sich aus den Referenzbildern ergeben, zu den entsprechenden Merkmalen mittels der Zugehörigkeitsfunktionen und deren Parametern hergeleitet. In der nachfolgenden Arbeitsphase werden die Merkmalswerte, die sich aus den nun gemessenen Datensätzen ergeben, mit den Zugehörigkeitsfunktionen, deren Parameter in der Lernphase ermittelt wurden, gewichtet, wodurch eine Zugehörigkeit der Merkmalswerte der nun gemessenen Datensätze zu den entsprechenden Merkmalen hergestellt wird. Durch die Unterteilung des Verfahrens in eine Lern- und eine Arbeitsphase werden also die Parameter der Zugehörigkeitsfunktionen anhand von gemessenen Referenzdatensätzen ermittelt und in der nachfolgenden Arbeitsphase die gemessenen, zu prüfenden Datensätze mit den in der Lernphase festgelegten Zugehörigkeitsfunktionen gewichtet und bewertet.

Nach einem weiteren bevorzugten Ausführungsbeispiel ist zumindest eine Regel, mittels der die Zugehörigkeitsfunktionen miteinander verknüpft werden, eine konjunktive Regel im Sinne einer WENN... DANN-Verknüpfung.

Ein weiteres bevorzugtes Ausführungsbeispiel unterteilt die Generierung der übergeordneten unscharfen Zugehörigkeitsfunktion in die Abarbeitung der Teilschritte: Prämissenauswertung, Aktivierung und Aggregation. Hierbei wird bei der Prämissenauswertung für jeden WENN-Teil einer Regel ein Zugehörigkeitswert bestimmt und bei der Aktivierung eine Zugehörigkeitsfunktion für jede WENN... DANN-Regel festgelegt. Nachfolgend wird bei der Aggregation die übergeordnete Zugehörigkeitsfunktion durch Überlagerung aller bei der Aktivierung erzeugten Zugehörigkeitsfunktionen generiert.

Nach einem weiteren bevorzugten Ausführungsbeispiel wird die Sympathiewertermittlung insbesondere nach einer Schwerpunkts- und/oder Maximumsmethode durchgeführt.

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird im folgenden näher beschrieben.
Die einzige Zeichnung zeigt ein Flussdiagramm des Signalauswerteverfahrens.
Beim Verfahren zur Signalauswertung von Bildinhalten eines Prüfkörpers wird über das gesamte zu analysierende Bild ein Raster aus N × N Fenstern 01 gelegt. Jedes Fenster 01 besteht hierbei aus n × n Pixel 02. Bei der Bildanalyse wird das Signal jedes Fensters 01 getrennt analysiert. Daraus folgend kann der Bildinhalt 03 jedes Fensters 01 als lokal betrachtet werden.
Durch eine oder mehrere Spektraltransformationen 04 wird das zweidimensionale Bild des Ortsraums in ein zweidimensionales Bild im Frequenzraum transformiert. Das erhaltene Spektrum nennt man Frequenzspektrum. Da es sich im vorliegenden Ausführungsbeispiel um ein diskretes Spektrum handelt, ist auch das Frequenzspektrum diskret. Das Frequenzspektrum wird durch die Spektralkoeffizienten 06 – auch Spektralwerte 06 genannt – gebildet.
Im nächsten Verfahrensschritt findet die Betragsbildung 07 der Spektralwerte 06 statt. Der Betrag der Spektralwerte 06 wird Spektralamplitudenwert 08 genannt. Die Spektralamplitudenwerte 08 bilden im vorliegenden Ausführungsbeispiel die Merkmalswertem d. h. sie sind identisch den Merkmalswerten.
Als weiterer Verfahrensschritt folgt die Merkmalsauswahl 09; Ziel bei der Merkmalsauswahl 09 ist es, die Merkmale 11, die charakteristisch für den Bildinhalt 03 des zu analysierenden Bilds sind, auszuwählen. Als Merkmale 11 sind sowohl charakteristische Spektralamplitudenwerte 08, welche durch ihre Position im Frequenzraum und durch ihre Amplitude das Merkmal 11 definieren, als auch linguistische Variablen wie beispielsweise „grau", „schwarz" oder „weiß" möglich.
Im nun folgenden Verfahrensschritt, der Fuzzyfizierung 12, wird die Zugehörigkeit jedes Spektralamplitudenwerts 08 zu einem Merkmal 11 durch eine weiche oder unscharfe Zugehörigkeitsfunktion 13 festgelegt; d. h. es findet eine Gewichtung statt.
Sollen die Zugehörigkeitsfunktionen 13 in einer Lernphase an sog. Referenzdatensätze angepasst werden können, ist es sinnvoll, wenn die Zugehörigkeitsfunktionen 13 parametrisierte monomodale, d.h. eindimensionale Potentialfunktionen sind, bei denen die Parameter der positiven und negativen Steigung getrennt an die zu untersuchenden Datensätze angepasst werden können. In der der Lernphase nachfolgenden Arbeitsphase werden dann die Datensätze des Bildinhalts, aus welchen sich die Merkmalswerte 08 der Prüfbilder ergeben, mit den jeweiligen Zugehörigkeitsfunktionen 13 gewichtet, deren Parameter in der vorangegangenen Lernphase ermittelt wurden. D. h. es findet für jedes Merkmal 11 eine Art SOLL-IST Vergleich zwischen Referenzdatensatz, der in den Parametern der Zugehörigkeitsfunktionen 13 zum Ausdruck kommt, und dem Datensatz des Prüfbildes statt. Durch die Zugehörigkeitsfunktionen 13 wird eine weiche oder unscharfe Zuordnung zwischen dem jeweiligen Merkmalswert 08 und dem Merkmal 11 hergestellt.
Im nächsten Verfahrensschritt, der Interferenz 14, findet im Wesentlichen eine konjunktive Verknüpfung 15 – auch Aggregation 15 genannt – aller Zugehörigkeitsfunktionen 13 der Merkmale 11 statt, wodurch eine übergeordnete Zugehörigkeitsfunktion 16 erzeugt wird.
Der nächste Verfahrensschritt, die Defuzzyfizierung 17, ermittelt aus der übergeordneten Zugehörigkeitsfunktion 16 einen konkreten Zugehörigkeits- oder Sympathiewert 18.
Dieser Sympathiewert 18 wird bei der Klassifikation 19 mit einem vorher eingestellten Schwellwert 21 verglichen, wodurch eine Klassifikationsaussage getroffen werden kann. Der Schwellwert 21 wird entweder manuell oder automatisch eingestellt. Die Einstellung des Schwellwerts 21 erfolgt ebenfalls in der Lernphase.

1: Fenster, N × N Fenster
2: n × n Pixel
3: Bildinhalt
4: 2-dimensionale Spektraltransformation, Rechenvorschrift
5: -
6: Spektralkoeffizient, Spektralwert
7: 2-dimensionale Betragsbildung, Rechenvorschrift
8: Spektralamplitudenwert=Merkmalswert
9: Merkmalsauswahl
10: -
11: Merkmal
12: Fuzzyfizierung
13: Zugehörigkeitsfunktion
14: Interferenz, Berechnungsvorschrift
15: -
16: übergeordnete Zugehörigkeitsfunktion, Verknüpfung, Aggregation, Berechnungsvorschrift
17: Defuzzyfizierung
18: Zugehörigkeitswert, Sympathiewert
19: Klassifikation, Klassenzugehörigkeit
20: -
21: Schwellwert

Claims

Verfahren zur Signalauswertung eines elektronischen Bildsensors bei der Mustererkennung von Bildinhalten eines Prüfkörpers, wobei der Bildsensor ein Lichteingangssignal empfängt und ein elektrisches Ausgangssignal ausgibt, welches zum Lichteingangssignal korreliert, dadurch gekennzeichnet, dass das Lichteingangssignal wie folgt abgearbeitet wird, – Unterteilen des Bildes des Prüfkörpers in N × N rasterförmig angeordnete Fenster (01) der Größe n × n Pixel (02), – Analyse des Bildinhalts (03) eines Fensters (01) der Größe n × n Pixel (02) durch, – Umwandlung des mittelbar oder unmittelbar vom Bildsensor ausgegebenen Ausgangssignals in zumindest einen translationsinvarianten Merkmalswert (08) mittels zumindest einer Rechenvorschrift (04, 07), – die Rechenvorschrift (04) zur Umwandlung des Signals des Bildsensors in einen translationsinvarianten Merkmalswert (08) ist ein zweidimensionales mathematisches Spektraltransformationsverfahren (04), insbesondere eine zweidimensionale Fourier-, oder Walsh-, oder Hadamard-, oder Zirkulartransformation, – Gewichtung des Merkmalswerts (08) mit zumindest einer unscharfen Zugehörigkeitsfunktion (13), wobei die Zugehörigkeitsfunktion (13) in funktionalem Zusammenhang mit dem Wertebereich des Merkmalswerts (08) steht, und eine unimodale, parametrisierte Potentialfunktion ist, – Generierung einer übergeordneten unscharfen Zugehörigkeitsfunktion (16) durch Verknüpfung aller Zugehörigkeitsfunktionen (13) mittels einer aus zumindest einer Regel bestehenden Berechnungsvorschrift (14, 15), – Ermittlung eines einzigen Sympathiewertes (18) pro Fenster (01) aus der übergeordneten unscharfen Zugehörigkeitsfunktion (16), – Vergleich des Sympathiewertes (18) mit einem Schwellwert (21), – Entscheidung über eine Klassenzugehörigkeit (19).
Verfahren zur Signalauswertung nach Anspruch 1, dadurch gekennzeichnet, dass ein Merkmalswert (08) durch den Betrag eines Spektralkoeffizienten (06) repräsentiert wird.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die übergeordnete Zugehörigkeitsfunktion (16) eine multimodale Funktion ist.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die übergeordnete Zugehörigkeitsfunktion (16) eine Potentialfunktion ist.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Verfahren in eine Lernphase und eine Arbeitsphase unterteilt wird, wobei in der Lernphase zumindest ein Parameter und/oder zumindest ein Schwellwert (21) bestimmt und angeglichen wird, und wobei in der Arbeitsphase der Bildinhalt (03) eines Prüfkörpers anhand der Ergebnisse aus der Lernphase beurteilt wird.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zumindest eine Berechnungsvorschrift (14; 15), mittels der die Zugehörigkeitsfunktionen (13) miteinander verknüpft werden, eine konjunktive Berechnungsvorschrift (14; 15) im Sinne einer WENN ... DANN-Verknüpfung ist.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Generierung der übergeordneten unscharfen Zugehörigkeitsfunktion (16) durch die Abarbeitung der Teilschritte Prämissenauswertung, Aktivierung und Aggregation (15) erfolgt, wobei bei der Prämissenauswertung für jeden WENN-Teil einer Berechnungsvorschrift (14; 15) ein Zugehörigkeitswert bestimmt wird, und wobei bei der Aktivierung eine Zugehörigkeitsfunktion für jede WENN ... DANN-Berechnungsvorschrift bestimmt wird, und wobei bei der Aggregation (15) die übergeordnete Zugehörigkeitsfunktion (16) durch Überlagerung aller bei der Aktivierung erzeugten Zugehörigkeitsfunktionen (13) generiert wird.
Verfahren zur Signalauswertung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Sympathiewert (18) insbesondere nach einer Schwerpunkts- und/oder Maximumsmethode ermittelt wird.