DE19928231C2

DE19928231C2 - Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung

Info

Publication number: DE19928231C2
Application number: DE19928231A
Authority: DE
Inventors: Christoph Raeth; Gregor Morfill
Original assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 1999-06-21
Filing date: 1999-06-21
Publication date: 2003-03-27
Anticipated expiration: 2019-06-22
Also published as: WO2000079471A3; JP2003502765A; WO2000079471A2; US6888965B1; EP1203342A2; DE19928231A1

Description

Die Erfindung betrifft ein Verfahren zur Segmentierung einer Punkteverteilung in Teilbereiche mit verschiedenen Struktur eigenschaften und eine Vorrichtung zur Durchführung eines derartigen Segmentierungsverfahrens.

Die Bildsegmentierung, also die Unterteilung eines Bildes in Segmente oder Teilbereiche auf der Grundlage bestimmter, je weils für einen Teilbereich gemeinsamer Bildmerkmale, ist eine der wichtigsten Aufgaben der Bildverarbeitungstechnik. Im ein fachsten Fall basiert eine Bildsegmentierung auf der Erkennung von Grauwertunterschieden, z. B. im Umfeld eines betrachteten Bildpunkts, oder auf Kantendetektionstechniken. Damit lassen sich jedoch nur einfach strukturierte Bilder mit flächig aus gedehnten, homogenen Bildelementen segmentieren. Bei prakti schen Aufgabenstellungen, z. B. bei der Bildverarbeitung in der Medizintechnik oder Werkstofftechnik, treten jedoch komplexere Bildstrukturen, z. B. in Form differenzierter, sich wiederho lender Grauwertmuster oder unscharfer Begrenzungen von Bild elementen, auf, die mit den einfachen Segmentierungstechniken nicht erfaßt werden können.

Zur Bearbeitung komplexerer Bilder wurden eine Reihe von Merk malsextraktionsverfahren entwickelt (s. M. Tuceryan et al. in "Handbook of pattern recognition and computer vision", Heraus geber C. H. Cheng et al., World Scientific Publishing, 1993, Seite 235 ff.), bei denen zunächst lokale Merkmale entspre chend verschiedener Bildstrukturen oder Texturen extrahiert und ein aus diesen Merkmalen zusammengesetzter Merkmalsvektor jedem Bildpunkt zugeordnet werden. Unter Verwendung von Clustertechniken im Merkmalsraum werden dann die Merkmalsvek toren der Bildpunkte in wenige Klassen unterteilt und auf die ser Grundlage die Segmentierung des Bildes in entsprechende Teilflächen vorgenommen. Diese Verfahren sind nicht parameter frei, so daß für eine konkrete Bildsegmentation anwendungsab hängig unter Umständen ein hoher Vorbereitungsaufwand zur Er mittlung optimaler Eingangsparameter betrieben werden muß. Es sind auch statistische Analysen zur Auswertung lokaler Grauwertverteilungen der Bildstrukturen bekannt (s. R. M. Haralick in "Proceedings of the IEEE", Bd. 67, 1979, S. 786 ff.), wobei beispielsweise Korrelationstechniken zur Strukturerfassung verwendet werden. Diese herkömmlichen Tech niken besitzen Nachteile in Bezug auf den Datenverarbeitungs aufwand und die Zuverlässigkeit.

Von F. W. Campbell et al. in "J. Physiol.", Bd. 197, 1968, S. 551 ff., bzw. von R. De Valois et al. in "Vision Res." Bd. 22, 1982, S. 545 ff., werden psychophysiologische Experimente beschrieben, aus denen hervorgeht, daß das menschliche visuel le System das Netzhautbild in eine Anzahl gefilterter Bilder zerlegt, von denen jedes Intensitätsvariationen über einen en gen Ortsfrequenz- oder Orientierungsbereich enthält. Auf die ser Grundlage wurden Merkmalsextraktionsverfahren unter Ver wendung einer Mehrkanalfilterung mit sogenannten Gabor-Filtern entwickelt (s. A. K. Jain et al. in "Pattern Recognition", Bd. 24, 1991, S. 1167 ff.). Bei diesen Verfahren wird ein Fen ster mit einer bestimmten Filterfunktion schrittweise über das Bild geschoben und die Filterantwort als lokaler Mittelwert für den jeweils betrachteten Fensterbereich weiter ausgewer tet. Diese Verfahren besitzen den Nachteil, daß eine lineare Merkmalsfilterung erfolgt, mit der eine Mustererkennung nur beschränkt möglich ist. So ist es beispielsweise nicht mög lich, mit einem linearen Filter Texturunterschiede in einem Bild gemäß Fig. 7a (s. unten) zu erkennen. Um diesem Problem zu begegnen, wurden zwar Filterverfahren entwickelt, bei denen jeweils ermittelte lokale Mittelwert für einen Fensterbereich einer nichtlinearen Weiterverarbeitung unterzogen wird. Dies setzt aber zusätzliche Informationen über die zu erkennenden Muster voraus, um eine ausreichende Zuverlässigkeit bei der Texturerkennung zu erzielen.

Neben der Erfassung der Bildmerkmale nach einem der verfügba ren Verfahren, stellt sich als weiteres Problem die Frage nach der Auswertung der in den Bildmerkmalen enthaltenen Infor mationen, um die gewünschte Bildsegmentierung zu erzielen. Hierzu wird in der Regel eine sogenannte Cluster-Analyse in einem Merkmalsraum durchgeführt, in dem jede Achse eines der untersuchten Merkmale repräsentiert. Jedem Bildpunkt wird ein charakteristischer Marker oder ein Label zugeordnet, wobei Bildpunkte mit gleichen Labeln zur gleichen Merkmalsklasse bzw. Struktur gehören, wohingegen Bildpunkte mit verschiedenen Labeln unterschiedlichen Strukturen zuzuordnen sind. Die ver fügbaren Cluster-Analysen werden beispielsweise von R. C. Dubes in "Handbook of pattern recognition and computer vision", Herausgeber C. H. Cheng et al., World Scientific Publishing, 1993, S. 3 ff., und B. D. Ripley in "Pattern Recognition and Neural Networks", Cambridge University Press, 1996, beschrieben. Nicht-überwachte Cluster-Algorithmen, d. h. Cluster-Algorithmen ohne Supervision, verarbeiten zunächst un markierte Daten und erfordern daher die Lösung der folgenden zwei Probleme.

Erstens ist es für die Zuverlässigkeit der Bildsegmentation wichtig, die richtige Clusterzahl auszuwählen bzw. zu bestäti gen. Zweitens muß sichergestellt werden, daß die vom Algorith mus gelieferten Label auch physikalisch sinnvollen Merkmalen entsprechen. Ein weiterer Nachteil der nicht-überwachten Ver fahren besteht darin, daß diese auf der Minimierung einer bildumfassenden (globalen) Energiefunktion durch iterative Me thoden basieren. Dadurch ergibt sich eine Tendenz hin zu Lösungen, die ausgeglichene Clusterbesetzungen liefern (s. A. M. Bensaid et al. in "Pattern Recognition", Bd. 29, 1996, S. 859 ff.).

Die oben erläuterten Probleme treten nicht nur bei der Segmen tation von Bildern auf, die die optische Abbildung einer Szene materieller Gegenstände repräsentieren. Anstelle des dabei be trachteten zweidimensionalen Gebildes, bei dem jedem Bildpunkt beispielsweise ein Grauwert zugeordnet ist, kann ein Bild im weitesten Sinne auch ein niedriger- oder höherdimensionales Gebilde sein, bei dem jeder Bildpunkt zunächst durch eine An zahl von Koordinaten entsprechend der Dimension des Gebildes definiert ist und jedem Bildpunkt eine bestimmte Anzahl von Bildmerkmalen (Meßwerte) zugeordnet wird. Die Dimensionen des Gebildes können neben Raum- und Zeitdimensionen auch durch be liebige weitere Merkmalsachsen aufgespannt werden. Die unter suchten Systeme umfassen somit im weitesten Sinne alle physi kalischen, chemischen oder biologisch-medizinischen Vorgänge oder Materialien, deren Zustand oder Einzelmerkmale mit einem Satz von n Parametern entsprechend der Dimension charakteri sierbar sind. Die Systeme können im Untersuchungszeitraum un veränderlich (statisch) oder zeitlich veränderlich (dynamisch) sein. Im letzteren Fall ist die Zeit einer der n Parameter.

Aus DE-OS 43 17 746 ist ein Raumfilterverfahren zur Erkennung von Strukturen in n-dimensionalen Bildern auf der Grundlage des Konzepts des sogenannten isotropen Skalierungsfaktors a bekannt. Mit dem Skalierungsfaktor α wird die Änderung der Punktdichte (Gradient) um einen untersuchten Bildpunkt durch Angabe der umgebenden Punktzahl in Abhängigkeit vom Abstand vom untersuchten Bildpunkt beschrieben. Eine Erweiterung die ses Raumfilterverfahrens auf die Erkennung der Orientierung von Strukturen in n-dimensionalen Bildern wird in DE-PS 196 33 693 beschrieben. Bei diesem Konzept werden ani sotrope Skalierungsfaktoren α_ji eingeführt, die für die Punkt dichtevariation nach Projektion auf bestimmte Raumrichtungen charakteristisch sind. Die Raumfilterung auf der Basis der Skalierungsfaktoren stellt ein nichtlineares Verfahren dar, das mit Erfolg bei der Mustererkennung und auch bei der nicht linearen Zeitreihenanalyse eingesetzt wurde. Eine Bildsegmen tierung in Bezug auf verschiedene Texturen im betrachteten Bild wurde damit jedoch nicht ermöglicht.

Aus der Applikation von L. Abele ("Bildsegmentation mittels struktureller Texturanalyse", Angewandte Szenenanalyse 1979, DAGM-Symposium, Karlsruhe, Springer-Verlag, 1979, Seiten 269 ff.) ist ein Verfahren zur Bildsegmentation mittels struktureller Texturanalyse bekannt. Unter Annahme einer Bildhierarchie werden schrittweise Elemente einer jeweils niedrigen Hierarchieebene zu Elementen der nächsthöheren Ebene zusammengefasst, bis eine Aufteilung des Bildes in homogene, disjunkte Bildsegmente erreicht ist. Dieses Verfahren besitzt die gleichen Nachteile wie die oben genannten iterativen Methoden zur Bildsegmentierung. Weitere Verfahren zur Texturklassifizierung werden von O. Pichler et al. ("Rotations- und skaleninvariante Textursegmentierung mit Mehrkanalfilterung" Mustererkennung 1997, 19. DAGM-Symposium, Braunschweig, Springer-Verlag, 1997, Seiten 79 ff.) und T. Randen et al. ("Filtering for Texture Classification: A Comparative Study", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 4, Seiten 291 ff.) beschrieben.

Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Segmentierung einer Punkteverteilung in Bezug auf Texturen anzugeben, mit dem die genannten Nachteile herkömmlicher Ver fahren überwunden werden und das insbesondere eine hohe Empfindlichkeit und Zuverlässigkeit besitzt, möglichst wenig Vorabinformation über die Punkteverteilung erfordert und mög lichst breit bei den verschiedenartigsten Aufgaben sowohl bei herkömmlichen optischen Bildern als auch bei nieder- oder hö herdimensionalen Gebilden angewendet werden kann. Die Aufgabe der Erfindung ist es auch, eine Vorrichtung zur Umsetzung eines derartigen Verfahrens und Verwendungen des Verfahrens anzugeben.

Diese Aufgabe wird durch ein Verfahren bzw. eine Vorrichtung mit den Merkmalen gemäß den Patentansprüche 1 bzw. 8 gelöst. Vorteilhafte Ausführungsformen und Anwendungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Gemäß einem ersten wichtigen Gesichtspunkt der Erfindung wird ein Verfahren zur teilweise überwachten Segmentierung von Punkteverteilungen bereitgestellt, bei dem Struktur- oder Tex turmerkmale unter Verwendung der genannten Konzepte isotroper und anisotroper Skalierungsfaktoren für jeden Punkt ermittelt und zur Segmentierung ein Clusterverfahren mit teilweiser Su pervision angewendet wird. Bei dem Clusterverfahren wird von einer vorbestimmten Anzahl bekannter Klassen von Strukturele menten (Texturklassen) und deren Zuordnung zu bestimmten Punk ten (Bezugspunkte, Punkte mit Label) und einem Abstandsmaß ausgehend, das für jeden der übrigen Punkte (Punkte ohne La bel) den Unterschied zwischen den jeweiligen Texturmerkmalen und jeder der Texturklassen definiert, jeder Punkt einer der vorbestimmten Texturklassen zugeordnet. Die Anzahl der Bezugs punkte wird anwendungsabhängig, insbesondere in Abhängigkeit von der Bildgröße, so gewählt, daß für jede Texturklasse genü gend viele Punkte für eine statistisch zuverlässige Beurtei lung berücksichtigt werden können. In jede Texturklasse sollen vorzugsweise rd. 30 bis 40 (oder auch 100) Bezugspunkte fal len.

Die genannte Zuordnung erfolgt für die zunächst nicht klassi fizierten Punkte ohne Label durch Auswertung des Abstandsma ßes, vorzugsweise durch Zuordnung des jeweiligen Punktes zu der Texturklasse, zu der er den geringsten Abstand besitzt. Das erfindungsgemäß realisierte Clusterverfahren wird als teilweise überwacht oder als Verfahren mit teilweiser Supervi sion bezeichnet, da die Klassifizierung von der begrenzten An zahl von Bezugspunkten mit bekannter Texturzuordnung ausgeht. Dadurch ist sichergestellt, daß die Bildsegmentierung von ei ner ausreichenden Clusterzahl und physikalisch sinnvollen La beln ausgeht. Ein besonderer Vorteil der Erfindung besteht darin, daß die Bildsegmentierung eine hohe Zuverlässigkeit be sitzt, auch wenn die Zahl der Bezugspunkte wesentlich kleiner (der Anteil der Bezugspunkte kann unterhalb 1%, z. B. bei 0.1%, liegen) als die Zahl der labelfreien Punkte ist.

Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt die Definition des Abstandsmaßes für jede Texturklasse spezi fisch in Abhängigkeit von der Orientierung und Gestalt der Punktmenge, die im Rahmen der teilweisen Supervision der vor bestimmten Textur zugeordnet worden ist. Es können aber auch einfacher definierte Abstandsmaße verwendet werden, die für alle Texturklasse gemeinsam im globalen Merkmalsraum der Punk teverteilung definiert sind.

Alle Punkte der Punkteverteilung, die einer Texturklasse zuge ordnet werden, bilden ein Textursegment, das anschließend an gezeigt oder einer weiteren Verarbeitung unterzogen wird.

Gemäß einem weiteren wichtigen Gesichtspunkt der Erfindung wird eine Vorrichtung zur Umsetzung des Textursegmentierungs verfahrens beschrieben. Diese Vorrichtung umfaßt eine Einrich tung zur Messung der Punkteverteilung und der zu jedem Punkt gehörenden Merkmale des jeweiligen Systemzustands, eine Fil tereinrichtung mit Mitteln zur Abtastung der betrachteten Punkte der Punkteverteilung, Mitteln zur Zählung von Punkten der Umgebung von untersuchten Punkten, Mitteln zur Erfassung vorbestimmter Skalierungsfaktoren und Mitteln zur statisti schen Bearbeitung der Skalierungsfaktoren, eine Eingabeein richtung, die dazu ausgelegt ist, vorbestimmten Bezugspunkten für die eine Texturklassenzugehörigkeit bekannt ist, den ent sprechenden Texturklassen zuzuordnen, eine Recheneinrichtung zur Ermittlung und Auswertung von Abstandsmaßen für die Tex turmerkmale der übrigen Punkte in Bezug auf die Texturklassen und eine Ausgabeeinrichtung, mit der die Textursegmente ange zeigt, zwischengespeichert oder zur weiteren Verarbeitung wei tergeleitet werden.

Die erfindungsgemäß bearbeiteten Punkteverteilungen können im weitesten Sinne Systemzustände in einem n-dimensionalen Zu standsraum darstellen. Die Punkteverteilung repräsentiert eine zwei- oder höherdimensionale Abbildung des Systemzustands, so daß im folgenden allgemein von Bildsegmentierung und Bildpunk ten die Rede ist. Die segmentierten Bilder können auch Signal- oder Amplitudenverläufe in Abhängigkeit von einem Bezugspara meter (z. B. Zeit, Energie oder dgl.) oder optische Grauwert- und/oder Farbbilder umfassen. Die untersuchten Systeme können neben Bildmustern insbesondere auch Werkstoffe, mechanische Vorrichtungen oder biologische Systeme umfassen. Die Erfassung eines Systemzustands wird anwendungsabhängig durch Maßnahmen der Aktorik, Sensorik, Analyse und der Registrierung bzw. Si gnalisierung erzielt. Die gegebenenfalls erforderliche Aktorik umfaßt Maßnahmen zur Erzeugung von Systemreaktionen, die für charakteristische Zustände repräsentativ sind, wie z. B. die Anregung mechanischer Schwingungen in einem Untersuchungsge genstand oder die Auslösung evozierter Potentiale in neurolo gischen Systemen. Die Sensorik umfaßt die Detektion von Sy stemmerkmalen in Bezug auf die interessierenden n Parameter und die Darstellung der Merkmale in einem hochdimensionalen Merkmalsraum, z. B. durch Speicherung geeigneter Wertegruppen, die den Merkmalen zugeordnet sind.

In der betrachteten Punkteverteilung oder dem Bild wird eine komplexe, jedoch abgrenzbare Bildstruktur als Textur bezeich net. Eine Textur bildet einen Bildbereich oder eine Bildregi on, in der sich die Bildstruktur auf sich wiederholende Muster zurückführen läßt, in denen Elemente gemäß einer Anordnungsre gel angeordnet sind. Mit anderen Worten kann einer Bildregion eine bestimmte (konstante) Textur zugeordnet werden, wenn ein Satz lokaler Statistiken oder anderer lokaler Eigenschaften der Bildmerkmale konstant ist oder sich nur wenig ändert. Eine Bildtextur wird durch die Anzahl und Art ihrer (grau)tonlichen Grundelemente und die räumliche Anordnung dieser Elemente be schrieben.

Allgemein können Texturen die folgenden Eigenschaften zugeord net werden. Eine lokale Ordnung wiederholt sich über eine Bildregion, die groß im Vergleich zur Größe der lokalen Ord nung ist. Dabei besteht die Ordnung aus einer nicht zufälligen Anordnung grundlegender Bestandteile, die als sogenannte Mikromuster etwa gleiche Einheiten bilden, innerhalb der Tex tur dieselbe Größe besitzen und sich durch spezifische lokale Eigenschaften charakterisieren lassen.

Bei Anwendungen in der Bildverarbeitung, z. B. in der Medizin technik oder Werkstofftechnik, erlaubt die Erkennung und Seg mentierung von Texturen die Unterscheidung verschiedener Ob jektbereiche. Werden beispielsweise Ultraschallbilder von innerem Gewebe untersucht, so können über die Textursegmentie rung Tumorgewebe und gesundes Gewebe differenziert und die Größe des Tumorgewebes ermittelt werden. Hierbei ist insbeson dere eine Automatisierung der Erkennung und Größenangabe von Interesse. Die erfindungsgemäße Textursegmentierung erlaubt allgemein sowohl das Zuordnen von Texturen zu bestimmten Punk ten als auch die Ermittlung der Größe der jeweiligen Bildre gionen mit einer konstanten Textur.

Die Erfindung liefert die folgenden Vorteile. Das Texturseg mentierungsverfahren ist, wie unten im einzelnen ausgeführt wird, parameterfrei und nicht-iterativ. Bei der Klassifizie rung von Bildmerkmalen müssen keine freien Parameter optimiert werden. Dadurch besitzt das Verfahren eine hohe Segmentie rungsgeschwindigkeit und -zuverlässigkeit. Das Segmentierungs ergebnis besitzt eine geringe Empfindlichkeit von der konkre ten Wahl von Randbedingungen bei der Bildauswertung. Es wird erstmalig eine nichtlinare Filtertechnik zur Texturmerkmalsex traktion eingeführt. Das Segmentierungsverfahren ist ohne wei teres durch eine anwendungsabhängige Anpassung der nichtlinea ren Filterung bei beliebigen Aufgabenstellungen einsetzbar. Es ist erstmalig möglich, simultan Texturen zu erkennen und in Bezug auf ihre Ausdehnung quantitativ zu analysieren.

Weitere Vorteile und Einzelheiten der Erfindung werden im fol genden unter Bezug auf die beigefügten Flußdiagramme und Zeichnungen beschrieben. Es zeigen:

Fig. 1 ein Beispiel eines Pixelbildes mit vier natürlichen Texturen (a) und das Ergebnis der Textursegmentierung in vier Merkmals klassen (b),

Fig. 2 ein Flußdiagramm zur Illustration der Hauptschritte einer erfindungsgemäßen Textursegmentierung,

Fig. 3 ein Flußdiagramm zur Illustration der Merkmalserfassung bei einem Verfahren gemäß Fig. 2,

Fig. 4 eine Illustration zur Ermittlung einer Vielzahl von anisotropen Skalierungs faktoren für einen Bildpunkt,

Fig. 5 ein Flußdiagramm zur Illustration der Texturklassifizierung bei einem Ver fahren gemäß Fig. 2,

Fig. 6 eine Illustration zur Erläuterung der Initialisierungsphase bei einem Verfahren gemäß Fig. 5,

Fig. 7 eine Bildfolge zur Illustration der Segmentierung von Brodatz-Texturen mit einem Originalbild (a), einem gefilterten Bild (b) und einem Merkmalsbild (c),

Fig. 8 eine Bildfolge zur Illustration der Segmentierung eines Pixelbildes mit zwei künstlichen Texturen mit einem Original bild (a), einer Darstellung des Bezugspunkte für die Klassifizierung (b) und einem Segmentierungsbild (c),

Fig. 9 eine weitere Bildfolge zur Illustration der Bildsegmentierung eines Originalbildes (a) bei Verwendung verschiedener Abstands maße (b, c),

Fig. 10 eine Bildfolge zur Illustration der Textursegmentierung an einem verrauschten Originalbild (a) und Segmentierungen mit verschiedenen Abstandsmaßen (b-e),

Fig. 11 eine Kurvendarstellung zur Illustration der Textursegmentierung bei verschiedenen Rauschleistungen, und

Fig. 12 eine schematische Übersichtsdarstellung einer erfindungsgemäßen Textursegmentie rungsvorrichtung.

Die erfindungsgemäße Textursegmentierung wird im folgenden am Beispiel zweidimensionaler Grauwertbilder erläutert, ist je doch darauf nicht beschränkt, sondern in entsprechender Weise an beliebigen Punkteverteilungen und Merkmalskombinationen an wendbar. Die Punkteverteilung kann z. B. auch durch mehrere synchron aufgenommene Zeitserien von Sensorsignalen, z. B. an einer Maschine, gebildet werden, wobei die erfindungsgemäße Segmentierung auf die Suche nach bestimmten Zeitintervallen innerhalb der Zeitserien gerichtet ist, in denen beispielswei se normale Betriebszustände der Maschine oder besondere Fehl zustände gegeben sind. Die betrachteten Punkteverteilungen können kontinuierlich oder diskret sein. Die Bildbeispiele sind teilweise aus drucktechnischen Gründen vereinfacht darge stellt oder mit künstlichen Strukturen (Schraffuren oder dgl.) versehen, ohne daß dies zwingende Merkmale der Erfindung sind. Im folgenden werden zunächst unter Bezug auf die Fig. 2 bis 6 die einzelnen Schritte der erfindungsgemäßen Segmentierung er läutert. Anschließend werden Beispiele zur Illustration der Umsetzung der einzelnen Schritte gegeben und eine Vorrichtung zur Implementierung des Verfahrens beschrieben.

A) Segmentierungsverfahren

Es wird ein zweidimensionales Grauwertbild G(x, y) der Größe N.M betrachtet (N, M: Zahl der Bildpunkte oder Pixel in x- bzw. y-Richtung). Jedem Pixel ist ein diskreter Grauwert g(x, y) zugeordnet (g ∈ [0; 255]). Durch die jedem Pixel zuge ordnete Orts- und Merkmalsinformation wird ein höherdimensio nales Gebilde erzeugt, das beim betrachteten Beispiel eine dreimdimensionale Punkteverteilung ist. In dieser ist jedem Pixel ein dreidimensionaler Vektor _i = (x, y, g(x, y)) zugeord net. Damit die x-, y- und g-Werte in einem vergleichbaren Wer tebereich liegen, kann es erforderlich sein, die Grauwerte g_i zu normieren. Eine mögliche Normierung ist durch g_norm = g.(N/255) gegeben. Das Pixelbild wird somit als Punktevertei lung in einem künstlichen dreimdimensionalen Einbettungsraum betrachtet.

Ein Beispiel für ein Pixelbild G ist in Fig. 1a dargestellt. Das Pixelbild mit N = M = 256 enthält vier natürliche Textu ren, die bei visueller Betrachtung ohne weiteres als einfaches Streifenmuster (rechts oben), als regelmäßiges Wabenmuster (links unten), als völlig unregelmäßiges Muster mit scharf be grenzten Strukturen (links oben) bzw. als unregelmäßiges "un scharfes" Muster (rechts unten) identifiziert werden. Die er findungsgemäße Bildsegmentierung ist nun darauf gerichtet, diese Texturerkennung durch eine Erfassung lokaler Merkmale des Pixelbildes für jeden Bildpunkt und eine Klassifizierung der Bildpunkte aufgrund der erfaßten Merkmale durchzuführen. Diese Schritte sind übersichtsweise in Fig. 2 mit der Merk malserfassung 100, der Texturklassifizierung 200 und der Aus wertung 300 angegeben. Anwendungsabhängig kann im Ergebnis der Auswertung eine erneute Durchführung der Merkmalserfassung und/oder der Texturklassifizierung vorgesehen sein.

1) Merkmalserfassung

Die Merkmalserfassung 100 (s. Fig. 3) ist auf die Ermittlung lokaler Merkmale für jeden Bildpunkt gerichtet. Die lokalen Merkmale umfassen charakteristische Bildeigenschaften in der unmittelbaren Umgebung des Bildpunktes, die wesentlich kleiner als das (globale) Gesamtbild ist. Im einzelnen umfaßt die Merkmalserfassung 100 eine Ermittlung der Punkteverteilung 110, eine Ermittlung von Skalierungsfaktoren 120, 130 und eine Merkmalsextraktion 140 zur Bildung von Merkmalsvektoren, die jedem Bildpunkt zugeordnet sind.

Die Ermittlung der Punkteverteilung (Schritt 110) besteht beim betrachteten Beispiel in einer einfachen Bildaufnahme und ei ner an sich bekannten Grauwertauswertung (gegegenenfalls mit der genannten Normierung). Allgemein umfaßt der Schritt 110 eine Meßwertaufnahme auf der Grundlage der anwendungsabhängig gewählten Sensorik.

In Bezug auf die Ermittlung der isotropen und anisotropen Ska lierungsfaktoren (Schritte 120, 130) wird auf die obengenann ten DE-OS 43 17 746 und DE-PS 196 33 693 Bezug genommen. Die Verfahrensweisen sind an sich bekannt und werden daher hier im einzelnen nur teilweise erläutert.

Zuerst wird für jeden Bildpunkt der isotrope Skalierungsfaktor (Skalierungsindex) ermittelt (Schritt 120). Hierzu werden um jeden Punkt _i im Orts- und Grauwertraum konzentrisch zwei Sphären mit unterschiedlichen Radien a₁, a₂ (a₁ < a₂) gelegt. Innerhalb jeder Sphäre befindet sich eine bestimmte Anzahl von Bildpunkten jeweils mit einem Grauwert, die auch als Gesamtma sse M (jeweils bezogen auf den Sphärenradius a_1,2) bezeichnet wird. Der isotrope Skalierungsfaktor α ergibt sich gemäß Glei chung (1) als logarithmische Ableitung der Gesamtmassen für beide Sphären:

wobei x_i, y_i die Koordinaten des betrachteten Bildpunktes, Θ die Heaviside-Funktion und ∥.∥₂ die Euklidische Norm bezeich nen. Die Berechnung des Skalierungsfaktors stellt eine Filter funktion dar, wobei die Koordinaten x_i, y_i den Mittelpunkt des Filters bezeichnen.

Bei starken Punktdichtegradienten um den betrachteten Bild punkt ergibt sich ein hoher Skalierungsfaktor, bei geringen Gradienten hingegen lediglich ein geringer Skalierungsfaktor. Der isotrope Skalierungsfaktor α ist dabei jedoch nur für ra diale Gradienten charakteristisch. Für Anwendungen mit komple xen Strukturen ist es erforderlich, auch Orientierungseigen schaften der lokalen Merkmale zu ermitteln. Dies erfolgt durch Bestimmung der anisotropen Skalierungsfaktoren (Schritt 130).

Die anisotropen Skalierungsfaktoren werden analog zur Ermitt lung der isotropen Skalierungsfaktoren aus Gradienten in der Dichte der Umgebungspunkte eines betrachteten Punktes ermittelt, wobei zur Erfassung einer Orientierung des Gebildes aus Umgebungspunkten die Projektionen der Punktezahlen (projizier te Massen M_x, M_y) ermittelt werden. Um festzustellen, daß die Umgebungspunkte um einen betrachteten Punkt überhaupt eine Orientierung besitzen, würde es grundsätzlich genügen, daß bei einem zweidimensionalen Pixelbild zwei anisotrope Skalierungs faktoren ermittelt werden, die sich jeweils auf die x- bzw. y- Achsen des Pixelbildes beziehen. Eine Besonderheit der Merk malserfassung zur erfindungsgemäßen Bildsegmentierung besteht nun darin, daß bei einem betrachteten Bild für jeden Bildpunkt nicht nur ein Wertepaar oder Wertetupel aus anisotropen Ska lierungsfaktoren entsprechend der Dimensionalität des Bildes ermittelt wird. Erfindungsgemäß ist die Bestimmung mehrerer Wertepaare oder Wertetupel anisotroper Skalierungsfaktoren entsprechend den unter Bezug auf Fig. 4 erläuterten Prinzipien vorgesehen.

Fig. 4 zeigt beispielhaft in einem zweidimensionalen Pixelbild drei verschieden orientierte Strukturen 41, 42 und 43. Die Strukturen besitzen gegenüber der x-Achse einen charakteristi schen Drehwinkel ϕ von 0°, 45° bzw. 90°. Die Ermittlung der anisotropen Skalierungsfaktoren α_x bzw. α_y ist an der Struktur 41 durch Einzeichnung der Sphären mit den Radien a₁, a₂ illustriert. Die Projektion der zur Struktur 41 gehörenden Umgebungspunkte zum betrachteten Punkt p₄₁ besitzen starke Gra dienten in y-Richtung weniger starke Gradienten in x-Richtung. Damit ergibt sich ein niedriger Skalierungsfaktor α_x und ein hoher Skalierungsfaktor α_y. Bei den Strukturen 42 und 43 sind die Verhältnisse entsprechend anders.

Es zeigt sich, daß durch die anisotropen Skalierungsfaktoren zwar angegeben werden kann, daß die Umgebungspunkte eine Orientierung besitzen. Es kann jedoch nicht im einzelnen die Ausrichtung der Orientierung abgeleitet werden. Diese Information läßt sich erst gewinnen, wenn für jeden betrachteten Punkt die anisotropen Skalierungsfaktoren in mindestens zwei, relativ zueinander verdrehten Koordinatensysteme bestimmt wer den. Die Skalierungsfaktoren in den x-, y- und x*-, y*- Koordinatensystemen (s. Stuktur 42) ergeben bei Kenntnis des Drehwinkels (≠ 90°) zwischen den Koordinatensystemen eine Zu satzinformation über die Ausrichtung der Struktur.

Die Ermittlung anisotroper Skalierungsfaktoren beim erfin dungsgemäßen Verfahren (Schritt 130) umfaßt somit für jeden betrachteten Bildpunkt die Erfassung von einem Skalierungs faktor-Tupel aus mehreren Skalierungsfaktoren, die jeweils den verdrehten Koordinatensystemen entsprechen. Das unter Bezug auf Fig. 4 vereinfacht dargestellte Prinzip der Skalierungs faktorermittlung in gedrehten Koordinatensystemen wird anwen dungsabhängig angepaßt. Dies wird in Fig. 3 durch den Schritt 131 der Definition von Bezugsgrößen zur Skalierungsfaktorer mittlung dargestellt. Diese Bezugsgrößen umfassen die Zahl der pro Bildpunkt betrachteten anisotropen Skalierungsfaktoren, die Sphärengrößen und die Zahl und Winkel der Koordinaten systemdrehungen.

Für die Auswertung von Grauwertbildern hat sich bei der Koor dinatensystemdrehung ein Winkelschema als vorteilhaft erwie sen, bei dem vier Drehwinkel eingestellt werden, die sich je weils um 45° unterscheiden. Es werden somit für jeden Bild punkt in vier, jeweils um einen Drehwinkel ϕ gedrehten Koordi natensystem jeweils ein oder zwei anisotrope Skalierungsfakto ren ermittelt. Es wird betont, daß die Zahl und Beträge der Koordinatensystemdrehungen anwendungsabhängig größer oder kleiner gewählt werden können. Dabei kommt es nicht darauf an, daß die jeweils ermittelten anisotropen Skalierungsfaktoren in bestimmter Weise interpretiert oder mit visuell erfaßbaren Bildmerkmalen korreliert werden können. Es ist lediglich von Bedeutung, mehrere Werte für verschiedene Koordinatensystemdrehungen zu erhalten, da diese Werte die vollständige Infor mation enthalten, die für die weitere Texturklassifizierung (s. unten) erforderlich ist.

Um die anisotropen Skalierungsfaktoren zu berechnen, wird von den projizierten lokalen Massen M_x* gemäß Gleichung (3) ausge gangen.

Die x*-Achse stellt die Raumrichtung im gedrehten Koordinaten system dar, auf die der Skalierungsfaktor bezogen wird. In Gleichung (3) bezeichnet ^* die Vektoren der Bildpunkte im ge drehten Koordinatensystem. Der Übergang vom ursprünglichen Ko ordinatensystem ( = (x, y, g)) zum gedrehten Koordinatensystem (^* = (x*, y*, g*)) wird gemäß ^* = D. mit der Drehmatrix D aus Gleichung (4) erzielt.

Die Drehmatrix D ist die an sich bekannte Rotationsmatrix, wo bei hier die g-Achse die Drehachse ist. Die zweite Heaviside- Funktion in Gleichung (3) stellt sicher, daß nur Punkte in der Nähe des betrachteten Bildpunktes in Betracht gezogen werden. Analog zu Gleichung (1) ergibt die Berechnung der logarithmi schen Ableitung der projizierten Massen M_x* gemäß Gleichung (5) die anisotropen Skalierungsfaktoren α:

Der anisotrope Skalierungsfaktor α gemäß Gleichung (5) wird für jeden Bildpunkt jeweils für vier verschiedene Drehwinkel ϕ be rechnet. Bei den unten erläuterten Bildbeispielen werden die Drehwinkel 0°, 45°, 90° und 135° verwendet. Da die Orientie rungsinformation für jeden Drehwinkel bereits in einem der beiden anisotropen Skalierungsfaktoren enthalten ist, die zu einem Drehwinkel gehören, genügt es für die spätere Textur klassifizierung, wenn für jeden Drehwinkel lediglich ein ani sotroper Skalierungsfaktor ermittelt wird.

Gemäß einer bevorzugten Ausführungsform der Erfindung werden die Skalierungsfaktoren nicht nur für ein Sphärenpaar, sondern für zwei Sphärenpaare ermittelt. Bei den hier betrachteten 256.256-Pixelbildern hat sich ein kleinerer Skalierungsbe reich mit Sphärenradien a₁ = 2 und a₂ = 6 und ein größerer Be reich mit a₁ = 6 und a₂ = 12 als vorteilhaft erwiesen. Es kön nen auch noch mehr Skalierungsbereiche (Sphärenpaare) berück sichtigt werden.

Für einen Bildpunkt ergeben sich somit bei zwei Skalierungsbe reichen und vier Drehwinkeln zwei isotrope und vier anisotrope Skalierungsfaktoren, die verschiedene nichtlineare Filterfunk tionen zur Charakterisierung des texturierten Bildes darstel len. Wie unten gezeigt wird, ist mit diesem Satz aus zehn Ska lierungsfaktoren bereits ein hervorragendes Segmentierungser gebnis ableitbar. Anwendungsabhängig können diese Parameter jedoch an die konkrete Aufgabe angepaßt oder sogar während des Segmentierungsverfahrens optimiert werden.

Am Ende der Merkmalserfassung 100 (s. Fig. 3) erfolgt die Merkmalsextraktion 140, in deren Ergebnis für jeden Bildpunkt ein Merkmalsvektor gebildet wird. Die Merkmalsvektoren stellen die Eingangsgrößen für die folgende Texturklassifizie rung 200 (s. unten) dar.

Im einfachen Fall werden die Komponenten der Merkmalsvektoren durch die zu jedem Bildpunkt ermittelten lokalen Merkmale gebildet. Beim obengenannten Beispiel umfaßt der Merkmalsvek tor somit zehn Komponenten aus zwei isotropen und acht ani sotropen Skalierungsfaktoren.

Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt jedoch zunächst im Rahmen von Schritt 141 eine statistische Auswertung der zu den Bildpunkten ermittelten lokalen Merkma len und anschließend die Vektorenbildung 142 aus lokalen Er wartungswerten der einzelnen lokalen Merkmale. Für jedes loka le Merkmal wird gemäß Gleichung (6) der zugehörige lokale Er wartungswert <α< berechnet.

Der Parameter k stellt dabei die Größe eines über die Bild punkte verschobenen Fensters zur Berücksichtigung benachbarter lokaler Merkmale dar. Bei den unten erläuterten Bildbeispielen hat sich eine Fenstergröße von k = 40 als günstig erwiesen. Für jeden Bildpunkt werden somit zehn Erwartungswerte gebil det, in denen die lokalen Merkmale der benachbarten Bildpunkte berücksichtigt sind. Diese statistische Bearbeitung der loka len Merkmale besitzt den Vorteil, daß die folgende Texturklas sifizierung damit erheblich weniger durch Begrenzungseffekte an den Bildrändern beeinflußt wird. Es hat sich gezeigt, daß die Grenzeffekte an den Bildrändern überhaupt nicht berück sichtigt werden müssen, um dennoch gute Segmentierungsergeb nisse zu erhalten.

Mit der Ermittlung der Merkmalsvektoren aus den Skalierungs faktoren bzw. aus den Erwartungswerten der Skalierungsfaktoren endet die Merkmalserfassung 100. Zur weiteren Bildsegmentierung folgt nun die eigentliche Texturklassifizierung (Cluste ring) 200 gemäß Fig. 5.

2) Texturklassifizierung (Clustering)

Die n Merkmalsvektoren _i bilden einen Satz X gemäß Gleichung (7).

In einem ersten Schritt 210 werden zunächst eine endliche Zahl von im untersuchten Bild auftretenden Texturklassen betrach tet. Diese vorbestimmten Texturklassen werden anwendungsabhän gig jeweils vom Bediener definiert oder aus einem Speicher eingegeben. Jeder Texturklasse (Anzahl c) wird ein Index i (i = 1, . . ., c) zugeordnet. Die Definition der Texturklassen er folgt anwendungsabhängig aus Erfahrungswerten oder auch im Rahmen einer Optimierung, bei der die Bildsegmentierung mehr fach mit verschiedenen Klassenzahlen und -typen durchgeführt wird.

Im Rahmen der erfindungsgemäß eingesetzten teilweisen Supervi sion wird nun davon ausgegangen, daß für eine bestimmte be grenzte Anzahl von Bildpunkten die Zuordnung zu einer bestimm ten Texturklasse bekannt ist. Bestimmten Bildpunkten bzw. Bildvektoren können somit bestimmte Label 1 bis c ("label") zugeordnet werden. Die übrigen Bildpunkte bzw. Bildvektoren bleiben ohne Label ("unlabeled"). Dies kann gemäß Gleichung (8) unter Bezug auf den oben eingeführten Satz X geschrieben werden:

X = X^l ∪ X^u

In Gleichung (8) beziehen sich die hochgestellten Indizes je weils auf ein Label bzw. den nicht-bezeichneten Zustand ohne Label (u). Die tiefgestellten Indizes laufen von 1 bis n (s. Gleichung (7). Die Teilmenge X^u ist wesentlich größer als die Teilmenge X^l der Merkmalsvektoren, für die das Label bekannt ist.

Nach der Zuordnung der Bezugspunkte mit Label zu den bekannten Texturklassen (Schritt 220) folgen die eigentlichen Schritte des Clusterverfahrens, nämlich die Initialisierungsphase 230 und die Umsetzungsphase 240. Während der Initialisierungsphase 230 werden im Merkmalsraum sogenannte ellipsoidale Abstandsma ße oder ein euklidisches Abstandsmaß definiert, die für die jeweils einer Texturklasse zugeordneten Bezugspunkte bestimmte Maßstäbe festlegen. In der folgenden Umsetzungsphase werden die übrigen Bildpunkte auf der Grundlage der Abstandsmaße oder Metriken den verschiedenen Texturklassen zugeordnet.

(2a) Initialisierungsphase

Die Initialisierungsphase 230 umfaßt die Schritte Schwerpunkt berechnung 231, Kovarianzmatrixberechnung 232, Eigenwertbe rechnung 233, Eigenvektorberechnung 234 und Metrikdefinition 235. Diese Schritte werden in dem hochdimensionalen Merkmals raum ausgeführt, der durch die Komponenten der Merkmalsvekto ren aufgespannt wird. Beim vorliegenden Beispiel ist der Merk malsraum somit 10-dimensional. Die Schritte der Initialisie rungsphase werden im folgenden unter Bezug auf die vereinfach te Darstellung in einem zweidimensionalen Mermalsraum gemäß Fig. 6 erläutert.

Im Merkmalsraum stellen die Punkte einer Textur jeweils eine Texturklasse als zusammenhängende Gebilde dar, die auch als Cluster bezeichnet werden. Fig. 6 zeigt vier Cluster 61-64 für zwei willkürlich herausgegriffene Komponenten des Merkmals raums entsprechend den Erwartungswerten der Skalierungsfakto ren α₁ und α₂. Das Ziel der Initialisierungsphase 230 besteht darin, für einen zunächst unklassifizierten Punkt 65 (ohne Label) festzustellen, welchem Cluster und somit welcher Tex turklasse er zuzuordnen ist. Gemäß einem einfachen Zuordnungs verfahren könnte ein Punkt ohne Label einfach dem Cluster zu geordnet werden, zu dem er den geringsten euklidischen Abstand besitzt. Dies kann jedoch zu Fehlzuordnungen führen, falls nicht die Ausdehnung und Ausrichtung des Clusters mit berück sichtigt werden. Beim dargstellten Beispiel besitzt der Punkt 65 einen geringen Abstand zum Cluster 62, der jedoch eine ganz charakteristische Längserstreckung aufweist. Aus diesem Grunde kann es wahrscheinlicher sein, daß der Punkt 65 zum weiter entfernten Cluster 63 gehört, da diese Zuordnung mit der radialen Ausdehnung dieses Clusters besser kompatibel ist. In der Initialisierungsphase 230 wird daher für jeden Cluster, d. h. für jede Texturklasse, ein eigenes Abstandsmaß definiert, das von charakteristischen Eigenschaften der Clusterorientie rung und -gestalt abhängt.

Zunächst erfolgt die Schwerpunktberechnung 231. Dabei wird für jeden Cluster oder jede Texturklasse i das Clusterzentrum mit dem Ortsvektor ⁱ im Merkmalsraum gemäß Gleichung (9)

berechnet. Die Komponenten ( i|1, i|2, . . . i|d des Vektors ⁱ sind die Schwerpunktkoordinaten des durch die Merkmalsvektoren

gebildeten Clusters. Dabei bezeichnet d die Anzahl der Dimensionen im Merkmalsraum. In Fig. 6 ist am Cluster 61 der Schwerpunkt symbolisch eingezeichnet.

Anschließend wird bei Schritt 232 für jeden Cluster i die Ko varianzmatrix Cⁱ berechnet, deren Elemente C i|rs durch Gleichung (10) gegeben sind.

Die Elemente der Kovarianzmatrizen stellen eine Verknüpfung zwischen der Abweichung der Komponenten jedes Merkmalsvektors und dem Schwerpunkt des jeweiligen Clusters i her. Beim ver einfachten Fall gemäß Fig. 6 sind dies die Abweichungen in Abszissen- und Ordinatenrichtung. Die Matrizen Cⁱ sind symme trisch, so daß eine Diagonalisierung und Hauptachsentransfor mation möglich sind.

Im folgenden Schritt 233 werden die Eigenwerte λ i|1, λ i|2, . . ., λ i|d der Matrix Cⁱ für jeden Cluster i berechnet. Die Quadratwurzeln der Eigenwerte entsprechen den Standardabweichungen der Punkt verteilungen { i|k}(k = 1, 2, . . ., n_k) in Bezug auf die jeweili gen Hauptachsen. Anschließend werden bei Schritt 234 die Eigenvektoren für jede Matrix Cⁱ berechnet. Die Eigenvektoren bilden die Matrizen Dⁱ gemäß Gleichung (11).

Die Matrizen Dⁱ beschreiben den Übergang vom ursprünglichen, für alle Cluster gemeinsamen Koordinatensystem zu einem clu sterspezifischen Koordinatensstem, das durch die Hauptachsen der jeweiligen Cluster i aufgespannt wird. Dieses Koordinaten system ist beispielsweise am Cluster 64 in Fig. 6 illustriert.

In der Initialisierungsphase 230 werden somit für jede im Rah men der partiellen Supervision eingeführten Texturklassen ein lokales Koordinatensystem eingeführt, dessen Achsen durch die Gestalt des jeweiligen Clusters geeicht sind. Die lokalen Eichungen liefern Informationen über die Orientierung und Ge stalt der jeweiligen Cluster und damit die Möglichkeit der De finition clusterspezifischer, im Merkmalsraum lokaler Ab standsmaße (ellipsoidale Metriken). Diese Abstandsmaße werden bei Schritt 235 definiert. Für jede Texturklasse bzw. für je den Cluster werden die Koordinaten der Clusterzentren, die Quadratwurzeln der Eigenwerte und die Eigenvektoren gespei chert. Damit ergeben sich N_var = i.(2.d + d²) Variablen ent sprechend der Anzahl der verschiedenen Cluster (Klassen) i und der Dimension des Merkmalsraumes d, da für jeden Cluster d Pa rameter λ_i, d Ortskoordinaten der Clusterzentren und d² Eigen vektoren berücksichtigt werden. Diese Variablen bestimmen die ellipsoidalen Abstandsmaße (Metriken) im Merkmalsraum, in dem die Clusterzuordnung der übrigen Punkte ohne Label durchge führt wird (siehe auch Gleichung (15)).

Es ist darauf hinzuweisen, daß die hier beschriebene Defi nition des Abstandsmaßes mit den Schritten 232 bis 234 kein zwingendes Merkmal der Erfindung ist. Die Bildsegmentierung auf der Grundlage der bei der Merkmalserfassung 100 durch nichtlineare Filterung ermittelten Merkmalsvektoren ist auch mit einem einfacheren Abstandsmaß, z. B. auf der Basis des euklidischen Abstandes zwischen einem Bildpunkt und dem Schwerpunkt eines Clusters, realisierbar. Dementsprechend könnten die Schritte 232 bis 234 übersprungen werden (gestrichelter Pfeil in Fig. 5). Die Wahl des Abstands maßes wirkt sich jedoch auf die Qualität der Bildsegmentierung aus (s. Fig. 10, 11).

(2b) Umsetzungsphase

In der Umsetzungsphase 240 erfolgt nun die Zuordnung bisher unklassifizierter Bildpunkte zu einem der Cluster jeweils auf der Grundlage des zu diesem Cluster gehörigen Abstandsmaßes. Hierzu werden zunächst bei Schritt 241 für jeden Bildpunkt ohne Label u|l (l = 1, 2, . . ., n_u) die Abstandsvektoren i*|l zu je dem der y Clusterzentren gemäß Gleichung (12) berechnet.

Anschließend werden die Abstandsvektoren i*|l in die Koordina tensysteme der Hauptachsen jedes Clusters transformiert (Schritt 242). Dies erfolgt gemäß Gleichung (13) unter Verwen dung der Übergangsmatrizen Dⁱ.

Im Ergebnis liegen für jeden noch nicht klassifizierten Bild punkt c Abstandsvektoren entsprechend den c lokalen Koordina tensystemen der Cluster vor. In jedem Koordinatensystem werden die Komponenten der Vektoren i|l unter Verwendung der Eigenwer te der jeweiligen lokalen Kovarianzmatrix Cⁱ in Bezug auf die Standardabweichungen jedes Clusters kalibriert (Schritt 243).

Diese Kalibrierung erfolgt gemäß Gleichung (14):

Auf der Basis der kalibrierten Komponenten werden die Abstände jedes zu klassifizierenden Bildpunktes zu jedem der i Cluster zentren gemäß Gleichung (15) berechnet (Schritt 244).

Schließlich wird der Merkmalsvektor u|l (bzw. der zugehörige Bildpunkt) dem Cluster oder der Texturklasse zugeordnet, zu der die Größe Δ i|l den geringsten Wert besitzt (Schritt 245). Im Ergebnis ist die Menge sämtlicher Bildpunkte vollständig klas sifiziert, d. h. jeder Bildpunkt ist einem Cluster oder einer Texturklasse zugeordnet.

Falls die Klassifizierung mit einem einfachen euklidischen Ab stand erfolgt, umfaßt Schritt 241 die Berechung der Vektoren von einem Bildpunkt zu jedem Schwerpunkt der Cluster. An schließend kann direkt zu Schritt 241 übergegangen werden.

(3) Auswertung

Im Rahmen der sich anschließenden Auswertung 300 (s. Fig. 2) erfolgt nun ein Segmentierungsschritt, bei dem Bildpunkte, die einem gemeinsamen Cluster zugeordnet worden sind, mit einem gemeinsamen Label versehen, gemeinsam abgespeichert und/oder durch eine Falschfarbendarstellung in einer Anzeige des verar beiteten Bildes markiert werden. Die zu einer Texturklasse ge hörigen Bildpunkte lassen auch ohne weiteres eine zu dieser Segmentierung simultane Größenbestimmung des Teilbereiches des Bildes, der durch eine Textur gebildet wird, nach einem der an sich bekannten numerischen Auswertungsverfahren zu. Weitere Schritte bei der Auswertung 300 sind die Weiterleitung der Texturdaten an verschiedene, anwendungsabhängig gestaltete Zusatzprozessoren und/oder Anzeigemittel. Ein Teilbereich kann geschlossen sein oder aus mehreren, voneinander getrennten Ab schnitten bestehen.

Es kann im Rahmen der Auswertung 300 auch die Erfüllung eines Qualitätsmaßes überprüft und bei einem negativen Ergebnis ein Rücksprung zur Merkmalserfassung 100 oder zur Texturklassifi zierung 200 unter Einstellung neuer Parameter vorgesehen als. Als Qualitätsmaß dienen beispielsweise richtig klassifizierte, vorab bekannte Bildpunkte. Hierzu kann die oben erläuterte Verfahrensweise dahingehend modifiziert werden, daß bei Schritt 220 nicht alle bekannten Bildpunkte berücksichtigt werden und in die folgende Initialisierungsphase 230 eingehen. Mit einem ersten Teil der bekannten Bildpunkte mit bekannter Texturklassifizierung kann die Initialisierung durchgeführt werden. Mit den übrigen bekannten Bildpunkten kann dann das Ergebnis der Umsetzungsphase 240 überprüft werden.

B) Experimentelle Ergebnisse

Im folgenden werden unter Bezug auf die Fig. 1 und 7 bis 11 Ergebnisse einer erfindungsgemäßen Bildsegmentierung am Bei spiel von Grauwertbildern natürlicher oder künstlicher Textu ren gezeigt. Fig. 1 zeigt ein 256.256-Pixelbild mit vier na türlichen Texturen, die bereits oben benannt wurden (Fig. 1a). Es handelt sich um die Brodatz-Texturen D03, D90, D93 und D51. Fig. 1b zeigt das Segmentierungsergebnis. 97.3% der Bildpunkte wurden richtig klassifiziert. Es zeigt sich ferner, daß die Grenzen zwischen den Texturen relativ gut wiedergegeben sind.

Fig. 7 zeigt weitere Brodatz-Texturen in einem 128.256- Pixelbild. Die Originaltexturen D55, D68 sind in Fig. 7a dar gestellt. Fig. 7b zeigt das mit den Parametern a₁ = 6, a₂ = 12 und ϕ = 45° gefilterte Bild der anisotropen Skalie rungsfaktoren. Nach einer Glättung entsprechend dem obenge nannten Schritt 141 ergibt sich Fig. 7c.

Die Bildfolge in Fig. 8 illustriert die erfindungsgemäße Bild segmentierung am Beispiel künstlicher Texturen. Fig. 8a zeigt zwei künstliche Texturen, von denen die erste Textur in der linken Bildhälfte aus Dreiecken und die zweite Textur in der rechten Bildecke aus Pfeilen besteht. Die Texturen besitzen dieselbe Statistik zweiter Ordnung und sind daher unter Ver wendung lokaler linearer Merkmalserfassungen nicht unter scheidbar (s. B. Julesz in "Rev. Mod. Phys.", Bd. 63, 1991, S. 735 ff.). In Fig. 8b illustrieren die weißen, aus Klar heitsgründen verstärkt gedruckten, weißen Bildpunkte die Be zugspunkte bzw. Bildpunkte mit Label, die zur Initialisierung des Clusterverfahrens verwendet werden. Es handelt sich um 655 Pixel, die zufällig verteilt ausgewählt wurden. Der Anteil der Bezugspunkte liegt somit bei 1% in Bezug auf die Gesamt punktzahl (diese Verhältnisse wurden auch bei den übrigen Bei spielen eingestellt). Schließlich zeigt Fig. 8c, daß trotz der identischen Statistiken zweiter Ordnung mit dem erfindungsge mäßen Verfahren eine zuverlässige Bildsegmentierung erzielbar ist. 98.2% der Bildpunkte sind richtig klassifiziert worden.

Ein weiterer Satz von vier natürlichen Brodatz-Texturen (D96, D55, D38 und D77) ist in Fig. 9a gezeigt. Die Fig. 9b und 9c illustrieren die verschiedenen Ergebnisse bei Anwendung ver schiedener Abstandsmaße zur Texturklassifizierung. Bei der An wendung ellipsoidaler Metriken ergibt sich gemäß Fig. 9b ein Anteil von 97.1% richtig klassifizierter Punkte. Wird hingegen zur Texturklassifizierung lediglich eine euklidische Metrik verwendet, so sind gemäß Fig. 9c lediglich 94.9% der Bildpunk te richtig klassifiziert. Damit ist ein gegenüber Fig. 9b zwar verschlechtertes Segmentierungsergebnis erzielt, das jedoch für verschiedene Anwendungen dennoch ausreichend gut ist.

Wird nun das Texturbild gemäß Fig. 9a mit einem Rauschen über lagert, so ergibt sich Fig. 10a. Das Rauschen ist ein additives weißes Gauß-Rauschen mit einem Rauschpegel entspre chend einer vorbestimmten Standardabweichung σ_rausch. Bei der Darstellung gemäß Fig. 10a beträgt σ_rausch = 0.1.ΔI, wobei ΔI den Intensitätsbereich des ungestörten Bildes bezeichnet.

Für das verrauschte Bild ergibt sich bei Anwendung ellipsoida ler Metriken gemäß Fig. 10b immer noch ein akzeptables Segmen tierungsergebnis, wohingegen bei Anwendung einer euklidischen Metrix gemäß Fig. 10c das Ergebnis stark gestört ist. Bei Er höhung des Rauschanteils auf σ_rausch = 0.2.ΔI zeigt sich eine hohe Stabilität der Bildsegmentierung, falls diese auf den ellipsoidalen Metriken basiert (Fig. 10d). Die Bildsegmentie rung auf der Basis der euklidischen Metrik zeigt jedoch eine weitere Verschlechterung (Fig. 10e).

Der in Fig. 10 visualisierte Rauscheffekt wird auch in der Kurvendarstellung gemäß Fig. 11 illustriert. Fig. 11 zeigt die Zahl der richtig klassifizierten Bildpunkte (ccp) in Prozent in Abhängigkeit vom Rauschpegel σ_rausch. Die durchgezogene Linie entspricht dem Segmentierungsergebnis bei Anwendung der ellip soidalen Metriken, wohingegen die gestrichelte Linie dem Er gebnis bei Anwendung der euklidischen Metrik entspricht. Es zeigt sich die wesentlich höhere Stabilität der Bildsegmentie rung im ersten Fall.

Die Bildbeispiele verdeutlichen die folgenden wesentlichen Vorteile der erfindungsgemäßen Bildsegmentierung. Zunächst ist darauf hinzuweisen, daß sämtliche Texturerkennungen lediglich auf der Kenntnis des Merkmalsbildes (Merkmalsvektoren) basie ren. Bei der Bildsegmentierung kommt es nicht auf die konkre ten Bildpunktkoordinaten an, sondern lediglich auf die Eigenschaften der Merkmalsvektoren. Das Verfahren ist in Bezug auf die Clusterzuordnung parameterfrei. Dies stellt einen wesentlichen Unterschied gegenüber den bei herkömmlichen Textur klassifizierungsverfahren zu optimierenden Parametern dar.

C) Segmentierungsvorrichtung

Die in Fig. 12 schematisch illustrierte erfindungsgemäße Seg mentierungsvorrichtung umfaßt im einzelnen eine Meßeinrichtung 1, mit der die zu segmentierende Punkteverteilung erfaßt wird, eine Filtereinrichtung 2, die dazu ausgelegt ist, die gemesse ne Punkteverteilung entsprechend den oben erläuterten Filter funktionen auszuwerten und hierzu Abtastmittel, Zählmittel und Mittel zur Erfassung bzw. statistischen Bearbeitung von Ska lierungsfaktoren umfaßt, eine Eingabeeinrichtung 3, an der die Informationen zur teilweisen Supervision der Bildsegmentie rung, also die vorbestimmten Texturen und die Gruppe der Be zugspunkte mit Label, eingegeben werden, eine Recheneinrich tung 4 zur Ermittlung und Auswertung von Abstandsmaßen für die Texturmerkmale aller übrigen Punkte und eine Ausgabeeinrich tung 5 zur Anzeige, Zwischenspeicherung oder Weiterleitung der Textursegmente. Weitere Komponenten einer erfindungsgemäßen Vorrichtung, wie z. B. eine Steuerungseinrichtung sind nicht gezeigt. Die Filtereinrichtung 2 und Recheneinrichtung 4 wer den vorzugsweise durch einen gemeinsamen Computer gebildet.

Claims

1. Verfahren zur Segmentierung einer Punkteverteilung mit ei ner Vielzahl von Punkten in Teilbereiche, mit jeweils ver schiedenen Strukturelementen, bei dem für jeden Punkt (_i) ein Merkmalsvektor (_i) bestimmt und jeder Punkt auf der Grundlage eines Abstandsmaßes einem der Teilbereiche zugeordnet wird, dadurch gekennzeichnet, daß die Teilbereiche durch eine vorbestimmte Anzahl bekannter Klassen von Strukturelementen gebildet und die Komponenten der Merkmalsvektoren auf der Basis mehrerer, zum jeweiligen Punkt gehörender isotroper und anisotroper Skalierungsfaktoren (α) ermittelt werden, wobei zur Ermittlung des Abstandsmaßes und der Zurordnung zu den Teilbereichen folgende Schritte vorgese hen sind:

a) für eine vorbestimmte Vielzahl von Bezugspunkten ( l|i) der Punkteverteilung, für die jeweils die Zuordnung zu einem der Strukturelemente gegeben ist, werden die zugehörigen Merkmalsvektoren ( l|i) ermittelt, und aus den Merkmalsvekto ren der Bezugspunkte werden Texturklassen jeweils entspre chend den zugrundeliegenden Strukturelementen gebildet,
b) für alle übrigen Punkte ( u|i) der Punkteverteilung, die keine Bezugspunkte sind, wird der Abstand des jeweiligen Punktes zu jeder der Texturklassen auf der Grundlage eines Abstandsmaßes im Merkmalsraum ermittelt, der durch die Komponenten der Merkmalsvektoren aufgespannt wird,
c) die Punkte ( u|i) werden jeweils der Texturklasse zuge ordnet, zu denen der geringste Abstand ermittelt worden ist, und
d) aus den jeweils zu einer Texturklasse gehörenden Bezugs punkten und den bei Schritt d) zugeordneten Punkten werden die Teilbereiche der Segmentierung gebildet.

2. Verfahren gemäß Anspruch 1, bei dem als Komponenten der Merkmalsvektoren (_i) Erwartungswerte von mehreren Skalie rungsfaktoren ermittelt werden.

3. Verfahren gemäß Anspruch 1 oder 2, bei dem die zu einem Punkt ermittelten anisotropen Skalierungsfaktoren in verschie denen, relativ zueinander gedrehten Koordinatensystemen ermit telt werden.

4. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem bei Schritt b) für jede Texturklasse als lokales Abstandsmaß ein ellipsoidales Abstandsmaß verwendet wird.

5. Verfahren gemäß einem der Ansprüche 1 bis 4, bei dem für Schritt b) alle Texturklassen als gemeinsames Abstandsmaß ein euklidisches Abstandsmaß verwendet wird.

6. Verfahren gemäß einem der vorstehenden Ansprüche, bei dem die segmentierten Teilbereiche angezeigt, zwischengespeichert und/oder weiterbearbeitet werden.

7. Verfahren gemäß Anspruch 6, bei dem simultan zur Anzeige der segmentierten Teilbereiche eine quantitative Erfassung der Größe der Teilbereiche erfolgt.

8. Bildsegmentierungsvorrichtung zur Segmentierung einer Punk teverteilung aus einer Vielzahl von Punkten, mit einer Meßein richtung (1) zur Erfassung der Punkteverteilung, einer Filter einrichtung (2) zur Abtastung und Filterung der Punktevertei lung, einer Eingabeeinrichtung (3), einer Recheneinrichtung (4) und einer Ausgabeeinrichtung (5), wobei die Filter-, Ein gabe- und Recheneinrichtungen (2, 3, 4) dazu ausgebildet sind, ein Verfahren gemäß einem der Ansprüche 1 bis 8 auszuführen.

9. Verwendung eines Verfahrens oder einer Vorrichtung gemäß einem der vorhergehenden Ansprüche zur Bearbeitung von
Bildern medizinischer oder biologischer Objekte,
Bildern von Werkstoffen,
Punkteverteilungen komplexer statischer Systeme,
Punkteverteilungen, die Systemzustände komplexer, dynamischer Systeme abbilden, und
Zeitmustern dynamischer Systeme.