DE102010046867A1

DE102010046867A1 - Verfahren zur Klassifizierung von Mustern in Bilddatensätzen

Info

Publication number: DE102010046867A1
Application number: DE102010046867A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-09-29
Filing date: 2010-09-29
Publication date: 2012-03-29
Also published as: WO2012052106A1; EP2622540A1

Abstract

Die Erfindung betrifft Verfahren zur Klassifizierung von Mustern in Bilddatensätzen, wobei die Klassifizierung ein Fuzzy c-Means Clustering umfasst, wobei das Verfahren umfasst eine Erfassung von Trainings-Bilddatensätzen, wobei die Trainings-Bilddatensätze Bilddaten unterschiedlicher Klassen von Mustern enthalten, Wavelet-Transformation der Trainielet-Koeffizienten für jeden Trainings-Bilddatensatz, Bestimmung eines Satzes von statistischen Maßen für jeden Trainings-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten, Klassifizierung aller Sätze von statistischen Maßen der Trainings-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen, wobei jeder Cluster ein Cluster-Zentrum aufweist, wobei jedes Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist, Bestimmung der nicht eindeutig zugeordneten Cluster, welche mehreren Klassen von Mustern zugeordnet sind, sowie eine erneute Klassifizierung der Sätze von statistischen Maßen der Trainings-Bilddatensätze der nicht eindeutig zugeordneten Cluster zur Bildung von weiteren Clustern der Sätze von statistischen Maßen für jeden nicht eindeutig zugeordneten Cluster, wobei jeder weitere Cluster ein weiteres Cluster-Zentrum aufweist, wobei jedes weitere Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist.

Description

Die Erfindung betrifft ein Verfahren zur Klassifizierung von Mustern in Bilddatensätzen, sowie ein Computerprogrammprodukt.
Texturen oder Muster spielen eine wichtige Rolle in der Komposition von natürlichen Bilder, deren Analyse und Klassifikation in verschiedenen Bildanalyse-Applikationen (Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188). Das Anwendungsgebiet hat ein großes Spektrum: Untersuchung von Oberflächen, Objekterkennung anhand seiner Textur, OCR, Dokumentsegmentierung, Gewebeerkennung in medizinischen Bildern, automatisierte visuelle Untersuchungen, inhaltsbasierte Bildsuche und Fernerkennung (vgl. Hiremath, P. S.; Shivashankar, S.: Wavelet Based Features for Texture Classification. In: GVIP Journal 6 (2006), Nr. 3, S. 55–58).
Die meisten existierenden Texturanalysemethoden basieren auf der Annahme, dass die Texturbilder mit derselben Orientierung und Skalierung aufgenommen worden sind. Dies ist eine Einschränkung bei der Anwendung dieser Methoden. Meistens ist es sehr schwierig oder sogar unmöglich, dieselbe Orientierung, Skalierung und Translation zu gewährleisten (Zhang, J.; Tan, T.: Brief review of invariant texture analysis methods. In: Pattern Recognition 35 (2002), S. 735–747).
Die Methoden zur Darstellung der Texturmerkmale können grob in einen statistischen oder strukturellen Ansatz unterteilt werden (Haralick, R. M.: Statistical and Structural Approaches to Texture. In: Proceedings of the IEEE 67 (1979), Nr. 5, S. 786–804). Bei der statistischen Methode werden Texturen anhand der statistischen Eigenschaften der lokalen Grauwerte dargestellt. Diese Werte haben innerhalb einer Textur meistens konstante oder sehr wenig abweichende Eigenschaften. Somit können unterschiedliche Texturen durch einen Vergleich dieser Werte erkannt werden.
Strukturelle Modelle gehen davon aus, dass die Texturen aus Textur-Primitiven bestehen. Sie können mit einer Positionierungsregelung der Primitiven wieder reproduziert werden (vgl. Tuceryan, M.; Jain, A. K.: The Handbook of Pattern Recognition and Computer Vision. World Scientific and Publishing Co.„ 1998. – 207–248 S. – http://www.cs.iupui.edu/~tuceryan/research/ComputerVision/texturereview.pdf). Strukturelle Texturanalyse-Modelle bestehen aus zwei Phasen: a) Bestimmung der Textur-Elemente b) Definition der Positionierungsregeln. Dies ist bei sehr regelmässigen Texturen anwendbar. Die Textur-Primitiven können z. B. mit einer Kantenerkennung mit der Methode „Laplacian-of-Gaussian” oder „difference-of-Gaussian” extrahiert werden. Sobald die Primitiven feststehen, werden entweder die Primitiven statistisch ausgewertet oder die Positionierungsregeln dechiffriert (Wu, J.: Rotation Invariant Classification of 3D Surface Texture Using Photometric Stereo. Thesis submitted for the Degree of Doctor of Philosophy, Department of Computer Science, School of Mathematical and Computer Sciences, Heriot-Watt University, Edinburgh, 2003).
Bei früheren Texturanalyse-Methoden wurden zunächst „first-order” oder „second-order” Statistiken angewendet, danach wurden modellbasierte Methoden wie „Gaussian Markov Random Fields”, „Gibbs Random Fields” oder „Wold Model” entwickelt. In diesen Methoden wird die Textur entweder als Linearkombination einer Menge von Basisfunktionen oder als Wahrscheinlichkeitsmodell dargestellt. Die Koeffizienten dieser Modelle werden zur Beschreibung der Textur benutzt. Das Hauptproblem dieser Vorgehensweise ist die Schätzung der Koeffizienten und die Auswahl eines bestmöglich passenden Modells zur gegebenen Textur. Meistens werden die Koeffizienten so transformiert, dass sie translations-, rotations- und skalierungsinvariant sind. Zu den modellbasierten Methoden zählen „Simultaneous autoregressive (SAR)”, „Circular Simultaneous Autoregressive (CSAR)”, „Rotation Invariant SAR (RISAR)”, „Multichanell Gabor Filter”, „Fraktalen”, „Steerable pyramid” und „Wavelet-Transformation” (vgl. z. B. Zhang, J.; Tan, T.: Brief review of invariant texture analysis methods. In: Pattern Recognition 35 (2002), S. 735–747; sowie Mandelbrot, B. B.: The Fractal Geometry of Nature. Freeman, New York, 1983).
Die Wavelet-Theorie hat sich im Laufe der Zeit als eine einheitliche Basis für verschiedene signalverarbeitende Applikationen wie „multiresolution” Signalbearbeitung, maschinelles Sehen, Teilbandkodierung und Sprach-Kompression, gebildet (Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789). Wie der Name „multiresolution” schon sagt, befasst es sich mit der Repräsentation und Analyse eines Signals (Bildes) in mehreren Auflösungen. Der Reiz dieser Methode liegt darin, dass man die in einer Auflösung übersehenen Eigenschaften in einer anderen Auflösung feststellen kann. Bis Ende der achtziger Jahre blieb das Interesse an dieser Methode gering, doch zur Zeit ist es schwierig, den Überblick über die Vielzahl der wissenschaftlichen Arbeiten über Wavelets zu behalten (Gonzalez, R. C.; Woods, R. E.: Digital Image Processing. Pearson Education, Inc. Pearson Prentice Hall, New Jersey, 2008).
Anschaulich kann der Grund für eine Wavelet-Transformation wie folgt beschreiben werden: Wenn wir ein Bild betrachten, sehen wir zusammenhängende Bereiche aus ähnlichen Texturen und Intensitätsstufen, die die Objekte bilden. Falls diese Objekte von der Größe her sehr klein sind und einen niedrigen Kontrast haben, untersuchen wir sie in höheren Auflösungen. Falls sie sehr groß sind und hohe Kontrastwerte haben, werden sie grobkörniger dargestellt. Aber wenn in einem Bild gleichzeitig kleine und große Objekte bzw. Objekte mit niedrigem und hohem Kontrast vorhanden sind, ist es vorteilhaft, das Bild in verschiedenen Auflösungen zu untersuchen. Dies ist der fundamentale Hintergrund für die „multiresolution”-Bearbeitung, vgl Gonzalez, R. C.; Woods, R. E.: Digital Image Processing. Pearson Education, Inc. Pearson Prentice Hall, New Jersey, 2008.
Man unterscheidet zwischen der sogenannten „kontinuierlichen Wavelet-Transformation” und der „diskreten Wavelet-Transformation”. Letztere ist eine unendliche Reihenentwicklung und erfordert damit bei numerischer Rechnung den Abbruch nach endlich vielen Termen.
Ein Beispiel für eine Diskrete Wavelet-Funktion ist das Haar-Wavelet, welches in einer Ausführungsform dieser Erfindung genutzt wird. Das Haar-Wavelet ist von Alfred Haar im 1910 vorgeschlagen und ist in der Literatur das erste bekannt gewordene Wavelet. Es wird auch als „D2” Wavelet bezeichnet, als eine spezielle Form von „Daubechies Wavelet”. Das Haar-Wavelet ist auch bekannt als ein möglichst einfaches und orthonormales Wavelet. Dadurch ist es auch sehr einfach implementierbar. Der Nachteil ist, dass das Haar-Wavelet nicht stetig und dadurch nicht differenzierbar ist. Diese Eigenschaft kann je nach Signal von Vorteil oder Nachteil sein.
Die Diskrete Wavelet-Transformation (Wavelet Reihe) einer Funktion f(x) ist definiert durch
mit den Wavelet Koeffizienten d_μ,k
Das Haar-Wavelet φ(x) und seine Skalierungsfunktion ϕ(x) sind definiert durch
Die Magnitude der Wavelet-Koeffizienten in einem bestimmten Kanal ist für diejenigen Bilder größer, die eine starke texturelle Eigenschaft in Orientierung und Frequenz haben, die durch den Kanal repräsentiert wird. Daher kann die Textur eines Bildes mit einem Merkmalsvektor abgebildet werden, der durch statistische Maße aus den Wavelet-Koeffizienten aus dem jeweiligen Kanal (Sub-band) gebildet wird. Dies ermöglicht schließlich die Verwendung der Charakteristika der Wavelet-Koeffizienten zur Texturklassifikation.
Ein Problem herkömmlicher Klassifizierungsmethoden zur Texturklassifikation ist jedoch, dass die Erkennungsrate von Texturen nur unzureichend ist.
Dem gegenüber liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zur Klassifizierung von Mustern in Bilddatensätzen vorzuschlagen, mit welchem sich herkömmliche Klassifizierungsmethoden zur Texturklassifikation verbessern lassen.
Die der Erfindung zugrunde liegende Aufgabe wird mit den Merkmalen der unabhängigen Patentansprüche gelöst. Bevorzugte Ausführungsformen der Erfindung sind in den abhängigen Patenansprüchen angegeben.
Es wird ein Verfahren zur Klassifizierung von Mustern in Bilddatensätzen vorgeschlagen, wobei die Klassifizierung ein Fuzzy c-Means Clustering umfasst, wobei das Verfahren umfasst („Trainingsphase”):

a) Erfassung von Trainings-Bilddatensätzen, wobei die Trainings-Bilddatensätze Bilddaten unterschiedlicher Klassen von Mustern enthalten,
b) Wavelet-Transformation der Trainings-Bilddatensätze zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Trainings-Bilddatensatz,
c) Bestimmung eines Satzes von statistischen Maßen für jeden Trainings-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten,
d) Klassifizierung aller Sätze von statistischen Maßen der Trainings-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen, wobei jeder Cluster ein Cluster-Zentrum aufweist, wobei jedes Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist,
e) Bestimmung der nicht eindeutig zugeordneten Cluster, welche mehreren Klassen von Mustern zugeordnet sind,
f) erneute Klassifizierung der Sätze von statistischen Maßen der Trainings-Bilddatensätze der nicht eindeutig zugeordneten Cluster zur Bildung von weiteren Clustern der Sätze von statistischen Maßen für jeden nicht eindeutig zugeordneten Cluster, wobei jeder weitere Cluster ein weiteres Cluster-Zentrum aufweist, wobei jedes weitere Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist.

Ausführungsformen der Erfindung haben den Vorteil, dass hiermit in zuverlässiger Weise eine Klassifizierung von Mustern in Bilddatensätzen ermöglicht wird. Im Falle dessen in einem initialen Klassifizierungsdurchgang gemäß der Schritte a)–d) zur Bestimmung von Cluster-Zentren einzelne Cluster mehreren Klassen von Mustern zugeordnet sind, wird die Klassifizierung für diese nicht eindeutig zugeordneten Cluster in den Schritten e) und f) wiederholt, wodurch sich die Erkennungsrate signifikant steigert. Kern der Erfindung ist somit die kaskadierte Wiederholung der Schritte e) und f) in Kombination der Ermittlung von statistischen Maßen aus den Koeffizienten von Wavelet-Transformationen und Fuzzy c-Means Clustering. Diese gewährleistet, dass Sätze von statistischen Maßen der Trainings-Bilddatensätze eindeutig einer einzelnen Klasse von Mustern zugeordnet werden können.
Durch diese „Trainingsphase” wird somit eine Wissensbasis (auch „Knowledgebase” genannt) erstellt, welche dann zur Klassifikation von realen Test-Bilddatensätzen verwendet werden kann.
Mit Hilfe von Fuzzy-Mengen lassen sich allgemein Cluster-Probleme lösen. Aufgabe ist bei Cluster-Problemen, eine Menge von Daten mit ähnlichen Eigenschaften zu gruppieren und demselben Cluster zuzuordnen. Nahe beieinander liegende Datenpunkte haben ähnliche Eigenschaften und sollen in gemeinsame Cluster gruppiert werden.
Die Anwendung von Fuzzy-Mengen in einer Klassifikationsaufgabe bewirkt, dass diese Klassenzugehörigkeit relaxiert wird und infolgedessen ein Datenelement gleichzeitig allen Klassen mit unterschiedlichen Graden angehören kann (vgl. Tizhoosh, H. R.: Fuzzy-Bildverarbeitung, Einführung in Theorie und Praxis, Springer-Verlag, Heidelberg, 1998). Die Idee von Fuzzy C-Means ist, dass jedes der N Datenelemente xi nicht nur einem Cluster zugeordnet wird, sondern jedem Cluster mit einer gewissen Zugehörigkeit μ_ij(x). Statt nun für alle Datenelemente die Distanz zum Cluster-Zentrum zu minimieren, wird die Distanz jedes Elementes mit der Zugehörigkeit zum Cluster-Zentrum μ_ij multipliziert, vgl. Kapitel Fuzzy-Logik, In: Kramer, O.: Computational Intelligence, Eine Einführung, Springer Verlag, Berlin Heidelberg, 2009, S. 75–99.
Minimiert werden
mit dem Modifizierer „m” (auch als Fuzzyfikator benannt). Die Zugehörigkeitsfunktion und die Cluster-Zentren ergeben sich wie folgt:
Nach Initialisierung der Zugehörigkeiten μ_ij werden in jedem Schritt abwechselnd gemäß der vorstehenden Gleichung die Cluster-Zentren berechnet und daraufhin die Zugehörigkeiten zu den Clustern aktualisiert. Diese beiden Schritte werden abwechselnd so lange ausgeführt, bis die Summe der Änderungen der Zugehörigkeitswerte μ_ij einen Wert ε unterschreiten. Damit sind die Cluster-Zentren und die Wissensbasis definiert.
Bei der Klassifikation wird somit zunächst anhand einer Trainingsdatenmenge die Wissensbasis aufgebaut.
Nach einer Ausführungsform der Erfindung umfasst das Verfahren ferner folgende Schritte („Testphase”):

a) Erfassung von Test-Bilddatensätzen,
b) Wavelet-Transformation der Test-Bilddatensätze zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Test-Bilddatensatz,
c) Bestimmung eines Satzes von statistischen Maßen für jeden Test-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten,
d) Klassifizierung aller Sätze von statistischen Maßen der Test-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen der Test-Bilddatensätze, wobei die Klassifizierung unter Verwendung der zuvor bestimmten Cluster-Zentren erfolgt,
e) Erneute Klassifizierung der Cluster der Test-Bilddatensätze, für welche zugehörigen Cluster-Zentren mehreren der Klassen der Muster der Trainings-Bilddatensätze zugeordnet waren, wobei die erneute Klassifizierung unter Verwendung der zuvor bestimmten weiteren Cluster-Zentren erfolgt.

Durch diese Schritte wird somit nach Abschluss der Trainingsphase die erzeugte Wissensbasis in Form der eindeutigen Zuordnung von Cluster-Zentren zu Sätzen von statistischen Maßen auf zu analysierende Test-Bilddatensätze angewandt. Schritt e) gewährleistet, dass selbst im Falle einer potentiellen nicht-eindeutigen Zuordnung eines Satzes von statistischen Maßen zu einem der Klassen der Muster durch den erneuten Klassifizierungsvorgang der entsprechende Satz von statistischen Maßen des Test-Bilddatensatzes eindeutig einer einzelnen Klasse von Mustern zugeordnet werden kann.
Anders ausgedrückt, im Rahmen des Tests wird in Schritt d) die zuvor erzeugte Wissensbasis benutzt. In Schritt e) werden die in Schritt e) der Trainingsphase bestimmten Cluster erneut klassifiziert, wobei jeweils die Wissensbasis des einzelnen Clusters aus Schritt f) der Trainingsphase herangezogen wird.
Nach einer weiteren Ausführungsform der Erfindung enthalten die Trainings-Bilddatensätze Bilddaten eine erste Anzahl unterschiedlicher Klassen von Mustern, wobei die durch die Klassifizierung der Trainings-Bilddatensätze gebildete Anzahl von Clustern der ersten Anzahl entspricht, wobei für einen nicht eindeutig zuordbaren Cluster

– diesem Cluster eine zweite Anzahl der unterschiedlichen Klassen von Mustern zugeordnet ist,
– bei der erneuten Klassifizierung dieses Clusters die Anzahl der weiteren Cluster der zweiten Anzahl entspricht.

Nach einer weiteren Ausführungsform der Erfindung werden die Schritte e) und f) der Trainingsphase solange kaskadiert wiederholt, bis die Anzahl der eindeutig zuordenbaren Cluster einen vorbestimmten Minimalwert überschritten hat. Beispielsweise beträgt der Minimalwert mindestens 95%.
Nach einer weiteren Ausführungsform der Erfindung werden die statistischen Maße so gewählt, dass diese invariant gegenüber einer Rotation der Bilddatensätze sind. Damit wird das Verfahren stabil ausführbar, da die Orientierung der Bilddatensätze keine Rolle mehr spielt. Bei jeder beliebigen Orientierung der Bilddatensätze liefert das Verfahren das gleich präzise Klassifizierungsergebnis. Sofern Rotationsinvarianz erreicht werden soll, werden die Paare der zueinander diagonalliegenden Kanäle aus der Wavelet-Transformation zu einem statistischen Merkmal kombiniert (Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188)
Es sei angemerkt, dass Wavelet-Transformationen im Übrigen skalierungsinvariant sind, sodass die Skalierung der zu klassifizierenden Bilddatensätze ebenfalls keine Rolle spielt.
Nach einer weiteren Ausführungsform der Erfindung umfassen die statistischen Maße einen Energie-Wert und/oder einen Entropie-Wert und/oder eine Standardabweichung.
Im Detail können z. B. folgende statistische Maße definiert werden:

• Energy: Bei der Analyse der Texturen von wavelet-transformierten Bilder wird meistens der Mittelwert der Magnitude der Wavelet-Koeffizienten benutzt. Die Energie des n'ten Kanals ist gemäß Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188 wie folgt definiert:
wobei die Dimensionen des Kanals MxN ist, i und j sind die Zeile und Spalte desn'ten Kanals, und x ist der Wavelet-Koeffizient innerhalb dieses Kanals.
• Energy2: Anstatt des obengenannten Energy-Parameters kann gemäß Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789 eine andere „Energy”-Norm benutzt werden. Dieser Wert kann als zweites Merkmal berechnet werden gemäß:
• Entropy: Das dritte Merkmal kann der Entropie-Wert in jedem Kanal sein. Dieses Merkmal wurde z. B. von Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789 beschrieben und berechnet sich nach:
• Standardabweichung: Dieses Maß wurde z. B. beschrieben durch Manthalkar, R. Biswas, P. K.; Chatterji, B. N.: Rotation and scale invariant texture features using discrete wavelet packet transform. In: Pattern Recognition Letters 24 (2003), S. 2455–2462:

Es sei angemerkt, dass die Trainings-Bilddatensätze eindeutige Klassen von Mustern enthalten. In andern Worten ist ein einzelnes Bild nicht zu 2 unterschiedlichen Klassen zugeordnet, sondern die Klassenzuordnung der Bilder ist eindeutig.
Nach einer weiteren Ausführungsform der Erfindung umfasst das Verfahren während der Trainingsphase ferner eine Festlegung des Satzes von statistischen Maßen, wobei die Schritte d)–f) für verschiedene festgelegte Sätze von statistischen Maßen durchgeführt werden, wobei der Satz an statistischen Maßen festgelegt wird, für den die Erkennungsrate der Trainingsphase maximiert wird. Dieser so festgelegte Satz von statistischen Maßen wird dann auch in entsprechender Weise identisch bei der Klassifizierung der Testbilder angewandt.
Die Festlegung des Satzes von statistischen Maßen kann beispielsweise als Zwischenschritt zwischen den Schritten c) und d) erfolgen. Allerdings kann auch in mathematischer Weise vorab (vor Schritt c) bestimmt werden, welche Sätze von statistischen Maße Verwendung finden sollen.
Somit gehen nach einer Ausführungsform der Erfindung z. B. nicht alle (rotationsinvarianten) statistischen Merkmale in die Klassifizierung ein. Es kann durchaus sein, dass – je nach Untersuchungsaufgabe – einige Merkmale besser geeignet erscheinen, die Klassen zu trennen, als andere. Möglich wäre ein iteratives Verfahren bei dem eine Klassifizierung der Trainingsdaten mit nur einem Teil der statistischen Merkmale vorgenommen wird. Das ”bessere” Ergebnis/die bessere Auswahl kann dann weiter verwendet werden. Die im Rahmen des Trainings festgelegten statistischen Maße bleiben beim Test unverändert.
Es sei angemerkt, dass eine Reduktion der Merkmale zur Beschleunigung des Verfahrens führen kann.
In einem weiteren Aspekt betrifft die Erfindung ein Computerprogrammprodukt mit von einem Computer ausführbaren Instruktionen zur Durchführung der Verfahrensschritte wie obig beschrieben.
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung anhand der Zeichnungen näher erläutert. Es zeigen:
1 eine Übersicht über Gefügebilder,
2 eine tabellarische Übersicht über die Trainingsphase unter Verwendung von 6 Wavelet-Merkmalen,
3 schematische Schritte eines Aufbaus einer kaskadierten Klassifikation in der Trainingsphase,
4 schematische Schritte eines Aufbaus einer kaskadierten Klassifikation in der Testphase,
5 eine tabellarische Übersicht der Wavelet-Fehlerrate nach der 2ten Stufe der kaskadierten Klassifizierung der Gefügebilder.
1 zeigt eine grafische Übersicht über verschiedene Gefügebilder (Verlag, Stahleisen: Richtreihe zur Bewertung der Gefüge von geglühten Warmarbeitstählen, SEP1614 Tafel 2. Verlag Stahleisen, Düsseldorf, 1996). Gefügebilder sind mikroskopische Bilder von Rohstahl, die Strukturen zeigen, die beim Erkalten des heißen Stahls entstehen und die ein Maß für die Qualität des Materials darstellen. Die Proben werden dem weichgeglühten Material entnommen, geschliffen und poliert und in 3% alkoholischer Salpetersäure so geätzt, dass sie Mikrohomogenität erkennen lassen. Zur Bewertung der Qualität wird die unter Mikroskop in Vergrößerung von 500:1 betrachtete Probe einem Bild einer Richtreihe zugeordnet.
Die 1 zeigt die Richtreihe mit den Stufen von GA1 bis GF5. Diese 30 Bilddaten wurden digitalisiert, ein Bildausschnitt standardisiert ausgeschnitten und jeder Auschnitt in 5 Grad Schritten rotiert, so dass insgesamt 2.160 Bilddatensätze zur Verfügung standen. Zu den Trainingsdaten sind die Bilder mit Rotationswinkel von 0 bis 135 zugeordnet worden. Dies ergibt insgesamt 840 Bilder (28 Bilder für jede der 30 Klassen). Außerdem wurden Testdaten erzeugt, welche die Bilder mit Winkel größer 135 Grad enthalten, also insgesamt 1.320 Bilder.
Zur beispielhaften Klassifizierung dieser 840 Bilder in der Trainingsphase wurde nun wie obig beschrieben unter Verwendung von Fuzzy c-Means Clustering vorgegangen: Es wurden zunächst eine Wavelet-Transformation für jeden Bilddatensatz zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Trainings-Bilddatensatz vorgenommen, wobei anschließend ein Satz von statistischen Maßen für jeden Trainings-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten bestimmt wurde. Anschließend erfolgte die Klassifizierung aller Sätze von statistischen Maßen der Trainings-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen, wobei jeder Cluster ein Cluster-Zentrum aufweist, wobei jedes Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist.
2 zeigt eine tabellarische Übersicht über die Trainingsphase unter Verwendung von 6 Wavelet-Merkmalen: Die Erkennungsrate bei reinen Wavelet-Merkmalen betrug 72,9%, 27,1% der Bilder (d. h. deren Sätze von statistischen Maßen) waren einer falschen Klasse zugeordnet. Lediglich 24 Cluster waren eindeutig, 2 Cluster beinhalteten 2 Klassen, 2 Cluster bestanden aus 3 Klassen, ein Cluster aus 4 und einer aus 5 Klassen.
So zeigt beispielsweise Cluster Nr. 9 sowohl eine mögliche Zugehörigkeit zur Klasse GC5, als auch zur Klasse GD3, wobei 56 der Sätze von statistischen Maßen (zugehörig zu unterschiedlichen Bildern) in den Cluster Nr. 9 zugeordnet wurden.
Aus der Trainingsphase ist bekannt, welche Cluster aus mehreren Klassen bestehen. Erfindungsgemäß erfolgt nun in einem weiteren Schritt durch erneute Klassifizierung derjenigen Cluster, die aus mehreren Klassen bestehen, eine Trennung der vorher zusammengefassten Klassen. Die Klassifizierung wird dabei für jeden Cluster einzeln durchgeführt. Die 3 zeigt die Vorgehensweise im Schema.
Zunächst wird davon ausgegangen, dass die zur Trainingszwecken verwendeten Bilder in eindeutiger Weise aus k Klassen bestehen, d. h. dass jedes Bild eindeutig einer einzelnen Klasse zuordenbar ist. Diese Trainingsbilddaten werden daraufhin entsprechend den Schritten b) bis d) der Trainingsphase klassifiziert, woraus sich in Schritt 302 eine Anzahl von k Clustern der Sätze von statistischen Maßen der Trainings-Bilddatensätze ergeben. In anderen Worten weisen die Trainings-Bilddatensätze Bilddaten eine Anzahl k unterschiedlicher Klassen von Mustern auf, wobei die durch die Klassifizierung der Trainings-Bilddatensätze gebildete Anzahl von Clustern der Anzahl k entspricht.
Für die eindeutig identifizierten Cluster, welche nur einer Klasse zugeordnet werden können, wird die Wissensbasis entsprechend aktualisiert. Anschaulich gesprochen werden in der Wissensbasis die Cluster-Zentren der Sätze von einer Anzahl p (p > 0) statistischen Maßen gespeichert, wobei jedem Cluster Zentrum eindeutig eine Klasse zugeordnet ist. Jeder Satz von statistischen Maßen kann anschaulich als Punkt in einem p-Dimensionalen Raum dargestellt werden, wobei das zugehörige Cluster-Zentrum ebenfalls in diesem p-Dimensionalen Raum angeordnet ist. Jeder weitere Satz von statistischen Maßen (beispielsweise eines Testdatensatzes), welcher in der Nähe dieses Cluster-Zentrums liegt, kann somit als zu diesem Cluster-Zentrum zugehörig identifiziert werden.
Wie 3 zeigt, besteht jedoch auch die Möglichkeit, dass einzelne Cluster (z. B. Cluster 2 und Cluster m) nicht eindeutig einer sondern mehreren Klassen zugeordnet wurden. Für diese nicht eindeutig zugeordneten Cluster wird nun in Schritt 304 eine erneute Klassifizierung durchgeführt zur Bildung von weiteren Clustern der Sätze von statistischen Maßen für jeden nicht eindeutig zugeordneten Cluster in Schritt 302, wobei jeder weitere Cluster ein weiteres Cluster-Zentrum aufweist, wobei jedes weitere Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist. Bestand Cluster 2 aus n verschiedenen Klassen, wird eine Klassifizierung auf n verschiedene Klassen durchgeführt. In gleicher Weise wird für Cluster m, welcher aus I verschiedenen Klassen besteht, eine Klassifizierung auf I verschiedene Klassen durchgeführt. Dies resultiert in weiteren Clustern in Schritt 306. Für die nun eindeutig identifizierten Cluster, welche wiederum nur einer Klasse zugeordnet werden können, wird die Wissensbasis entsprechend aktualisiert.
Entsprechend der geforderten Erkennungsquote kann dieses Verfahren so lange für nicht eindeutig zuordenbare Cluster kaskadiert fortgeführt werden, bis eine gewünschte Erkennungsquote erreicht ist. Somit entsteht für jeden Cluster, der erneut klassifiziert wird, eine neue Wissensbasis.
Da aus der Trainingsphase bekannt ist, welche Cluster nicht eindeutig zugeordnet waren und für welche eine neue Wissensbasis erzeugt wurde, kann das Verfahren in gleicher Weise bei der Testdurchführung angewandt werden. Als „Testdurchführung” wird hiermit z. B. die Anwendung des Verfahrens zur Klassifizierung von realen Bildern verstanden.
Dies ist in 4 gezeigt, wo in Schritt 400 eine Erfassung von Test-Bilddatensätzen erfolgt, auf welche die in 3 Schritt 300 erzeugte Wissensbasis zur Klassifizierung angewendet wird. Im Detail wird zunächst eine Wavelet-Transformation der Test-Bilddatensätze zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Test-Bilddatensatz durchgeführt, woraufhin eine Bestimmung eines Satzes von statistischen Maßen für jeden Test-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten erfolgt. Daraufhin werden die in der gemäß 3 erzeugten Wissensbasis gespeicherten Zuordnungen von Cluster-Zentren dazu verwendet, alle Sätze von statistischen Maßen der Test-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen der Test-Bilddatensätze zu klassifizieren. Daraus resultieren in Schritt 402 verschiedene Cluster 1... k.
Anschließend werden, wie in 4 gezeigt, die aus dem Training bekannten Cluster mit mehrfacher Zuordnung erneut klassifiziert, wobei die erneute Klassifizierung unter Verwendung der zuvor bestimmten weiteren Cluster-Zentren erfolgt. D. h., hierzu werden die in Schritt 304 erzeugten neuen Wissensbasen verwendet. Dies resultiert in Schritt 404 in Clustern von Sätzen von statistischen Maßen (d. h. für einzelne Testbilder), welche eindeutig entsprechenden Klassen zugeordnet werden können.
Bezugnehmend auf 2 wurde die getrennte Klassifizierung entsprechend dem Verfahren der 3 für die sechs bisher nicht eindeutigen Cluster der Wavelet-Merkmale durchgeführt. Dabei konnten ein Cluster vollständig korrekt zugeordnet werden, bei den anderen wurde eine deutlich Reduktion der verbleibenden Fehler verzeichnet, weil die Klassen besser getrennt wurden.
Die 5 zeigt die nicht eindeutigen Cluster vor und nach der zweiten Klassifikation. Von den vorher 228 falschen Zuordnungen verbleiben nur noch 31. Damit ergibt sich für die kaskadierten Klassifikation der Trainingsdaten aus den Wavelet-Merkmalen eine Verbesserung der Erkennungsrate von 72,9% auf 96.3%.
In einer Testphase wurde zur Verifikation des Verfahrens die o. g. 1320 Gefügebilder klassifiziert. In der ersten Stufe wurden 72,5% korrekt zugeordnet, 362 Bilder waren falsch klassifiziert. Anschließend wurden, wie in 4 dargestellt, die aus dem Training bekannten Cluster mit mehrfacher Zuordnung erneut klassifiziert. In der 2. Stufe konnten weitere 321 Bilder korrekt zugeordnet werden. Die verbleibenden 42 bedeuteten eine Fehlerquote von 3,2% und eine Erkennungsrate von 96,8%.
Somit hat das Verfahren einer zweistufigen Klassifizierung mit Fuzzy c-Means Clustering mit den statistischen Merkmalen aus den Koeffizienten der Wavelet-Transformation den Vorteil, dass in zuverlässiger Weise ein sehr gutes Klassifizierungsergebnis erzielt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188 [0002]
Hiremath, P. S.; Shivashankar, S.: Wavelet Based Features for Texture Classification. In: GVIP Journal 6 (2006), Nr. 3, S. 55–58 [0002]
Zhang, J.; Tan, T.: Brief review of invariant texture analysis methods. In: Pattern Recognition 35 (2002), S. 735–747 [0003]
Haralick, R. M.: Statistical and Structural Approaches to Texture. In: Proceedings of the IEEE 67 (1979), Nr. 5, S. 786–804 [0004]
Tuceryan, M.; Jain, A. K.: The Handbook of Pattern Recognition and Computer Vision. World Scientific and Publishing Co.„ 1998. – 207–248 S. – http://www.cs.iupui.edu/~tuceryan/research/ComputerVision/texturereview.pdf [0005]
Wu, J.: Rotation Invariant Classification of 3D Surface Texture Using Photometric Stereo. Thesis submitted for the Degree of Doctor of Philosophy, Department of Computer Science, School of Mathematical and Computer Sciences, Heriot-Watt University, Edinburgh, 2003 [0005]
Zhang, J.; Tan, T.: Brief review of invariant texture analysis methods. In: Pattern Recognition 35 (2002), S. 735–747 [0006]
Mandelbrot, B. B.: The Fractal Geometry of Nature. Freeman, New York, 1983 [0006]
Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789 [0007]
Gonzalez, R. C.; Woods, R. E.: Digital Image Processing. Pearson Education, Inc. Pearson Prentice Hall, New Jersey, 2008 [0007]
Gonzalez, R. C.; Woods, R. E.: Digital Image Processing. Pearson Education, Inc. Pearson Prentice Hall, New Jersey, 2008 [0008]
Tizhoosh, H. R.: Fuzzy-Bildverarbeitung, Einführung in Theorie und Praxis, Springer-Verlag, Heidelberg, 1998 [0021]
Fuzzy-Logik, In: Kramer, O.: Computational Intelligence, Eine Einführung, Springer Verlag, Berlin Heidelberg, 2009, S. 75–99 [0021]
Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188 [0030]
Porter, R.; Canagarajah, N.: Robust rotation invariant texture classification: wavelet, Gabor filter and GMRF based schemes. In: IEE Proc.-Vis. Image Signal Processing 144 (1997), Nr. 3, S. 180–188 [0033]
Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789 [0033]
Chitre, Y.; Dhawan, A. P.: M-band wavelet discrimination of natural textures. In: Pattern Recognition 32 (1999), S. 773–789 [0033]
Manthalkar, R. Biswas, P. K.; Chatterji, B. N.: Rotation and scale invariant texture features using discrete wavelet packet transform. In: Pattern Recognition Letters 24 (2003), S. 2455–2462 [0033]
Verlag, Stahleisen: Richtreihe zur Bewertung der Gefüge von geglühten Warmarbeitstählen, SEP1614 Tafel 2. Verlag Stahleisen, Düsseldorf, 1996 [0046]

Claims

Verfahren zur Klassifizierung von Mustern in Bilddatensätzen, wobei die Klassifizierung ein Fuzzy c-Means Clustering umfasst, wobei das Verfahren umfasst: a) Erfassung von Trainings-Bilddatensätzen, wobei die Trainings-Bilddatensätze Bilddaten unterschiedlicher Klassen von Mustern enthalten, b) Wavelet-Transformation der Trainings-Bilddatensätze zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Trainings-Bilddatensatz, c) Bestimmung eines Satzes von statistischen Maßen für jeden Trainings-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten, d) Klassifizierung aller Sätze von statistischen Maßen der Trainings-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen, wobei jeder Cluster ein Cluster-Zentrum aufweist, wobei jedes Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist, e) Bestimmung der nicht eindeutig zugeordneten Cluster, welche mehreren Klassen von Mustern zugeordnet sind, f) erneute Klassifizierung der Sätze von statistischen Maßen der Trainings-Bilddatensätze der nicht eindeutig zugeordneten Cluster zur Bildung von weiteren Clustern der Sätze von statistischen Maßen für jeden nicht eindeutig zugeordneten Cluster, wobei jeder weitere Cluster ein weiteres Cluster-Zentrum aufweist, wobei jedes weitere Cluster-Zentrum einem oder mehreren der Klassen der Muster zugeordnet ist.
Verfahren nach Anspruch 1, weiter umfassend: a) Erfassung von Test-Bilddatensätzen, b) Wavelet-Transformation der Test-Bilddatensätze zum Erhalt eines Satzes von Wavelet-Koeffizienten für jeden Test-Bilddatensatz, c) Bestimmung eines Satzes von statistischen Maßen für jeden Test-Bilddatensatz aus dem zugehörigen Satz von Wavelet-Koeffizienten, d) Klassifizierung aller Sätze von statistischen Maßen der Test-Bilddatensätze zur Bildung von Clustern der Sätze von statistischen Maßen der Test-Bilddatensätze, wobei die Klassifizierung unter Verwendung der zuvor bestimmten Cluster-Zentren erfolgt, e) Erneute Klassifizierung der Cluster der Test-Bilddatensätze, für welche zugehörigen Cluster-Zentren mehreren der Klassen der Muster der Trainings-Bilddatensätze zugeordnet waren, wobei die erneute Klassifizierung unter Verwendung der zuvor bestimmten weiteren Cluster-Zentren erfolgt.
Verfahren nach Anspruch 1, wobei die Trainings-Bilddatensätze Bilddaten eine erste Anzahl unterschiedlicher Klassen von Mustern enthalten, wobei die durch die Klassifizierung der Trainings-Bilddatensätze gebildete Anzahl von Clustern der ersten Anzahl entspricht, wobei für einen nicht eindeutig zuordenbaren Cluster – diesem Cluster eine zweite Anzahl der unterschiedlichen Klassen von Mustern zugeordnet ist, – bei der erneuten Klassifizierung dieses Clusters die Anzahl der weiteren Cluster der zweiten Anzahl entspricht.
Verfahren nach Anspruch 1, wobei die Schritte e) und f) solange kaskadiert wiederholt werden, bis die Anzahl der eindeutig zuordenbaren Cluster einen vorbestimmten Minimalwert überschritten hat.
Verfahren nach Anspruch 4, wobei der Minimalwert mindestens 95% beträgt.
Verfahren nach Anspruch 1, wobei die statistischen Maße invariant gegenüber einer Rotation der Bilddatensätze sind.
Verfahren nach Anspruch 5, wobei die statistischen Maße einen Energie-Wert und/oder einen Entropie-Wert und/oder eine Standardabweichung umfassen.
Verfahren nach Anspruch 1, ferner mit einer Festlegung des Satzes von statistischen Maßen, wobei die Schritte d)–f) für verschiedene festgelegte Sätze von statistischen Maßen durchgeführt werden, wobei der Satz an statistischen Maßen festgelegt wird, für den die Erkennungsrate maximiert wird.
Computerprogrammprodukt mit von einem Computer ausführbaren Instruktionen zur Durchführung der Verfahrensschritte gemäß den vorigen Ansprüchen.