DE19928231C2

DE19928231C2 - Method and device for segmenting a point distribution

Info

Publication number: DE19928231C2
Application number: DE19928231A
Authority: DE
Inventors: Christoph Raeth; Gregor Morfill
Original assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 1999-06-21
Filing date: 1999-06-21
Publication date: 2003-03-27
Anticipated expiration: 2019-06-22
Also published as: WO2000079471A2; EP1203342A2; DE19928231A1; WO2000079471A3; US6888965B1; JP2003502765A

Description

Die Erfindung betrifft ein Verfahren zur Segmentierung einer Punkteverteilung in Teilbereiche mit verschiedenen Struktur eigenschaften und eine Vorrichtung zur Durchführung eines derartigen Segmentierungsverfahrens.The invention relates to a method for segmenting a Distribution of points in sub-areas with different structures properties and a device for carrying out a such segmentation method.

Die Bildsegmentierung, also die Unterteilung eines Bildes in Segmente oder Teilbereiche auf der Grundlage bestimmter, je weils für einen Teilbereich gemeinsamer Bildmerkmale, ist eine der wichtigsten Aufgaben der Bildverarbeitungstechnik. Im ein fachsten Fall basiert eine Bildsegmentierung auf der Erkennung von Grauwertunterschieden, z. B. im Umfeld eines betrachteten Bildpunkts, oder auf Kantendetektionstechniken. Damit lassen sich jedoch nur einfach strukturierte Bilder mit flächig aus gedehnten, homogenen Bildelementen segmentieren. Bei prakti schen Aufgabenstellungen, z. B. bei der Bildverarbeitung in der Medizintechnik oder Werkstofftechnik, treten jedoch komplexere Bildstrukturen, z. B. in Form differenzierter, sich wiederho lender Grauwertmuster oder unscharfer Begrenzungen von Bild elementen, auf, die mit den einfachen Segmentierungstechniken nicht erfaßt werden können.The image segmentation, i.e. the division of an image into Segments or subsections based on certain, each because for a sub-area of common image features, is one of the most important tasks in image processing technology. In one In the simplest case, image segmentation is based on the recognition of gray value differences, e.g. B. in the environment of a considered Pixel, or on edge detection techniques. Leave with it however, only simply structured images with flat areas segment stretched, homogeneous picture elements. At practi tasks, z. B. in image processing in the Medical technology or materials technology, however, occur more complex Image structures, e.g. B. in the form of differentiated, repeat lending grayscale pattern or blurred image borders elements on with the simple segmentation techniques cannot be detected.

Zur Bearbeitung komplexerer Bilder wurden eine Reihe von Merk malsextraktionsverfahren entwickelt (s. M. Tuceryan et al. in "Handbook of pattern recognition and computer vision", Heraus geber C. H. Cheng et al., World Scientific Publishing, 1993, Seite 235 ff.), bei denen zunächst lokale Merkmale entspre chend verschiedener Bildstrukturen oder Texturen extrahiert und ein aus diesen Merkmalen zusammengesetzter Merkmalsvektor jedem Bildpunkt zugeordnet werden. Unter Verwendung von Clustertechniken im Merkmalsraum werden dann die Merkmalsvek toren der Bildpunkte in wenige Klassen unterteilt und auf die ser Grundlage die Segmentierung des Bildes in entsprechende Teilflächen vorgenommen. Diese Verfahren sind nicht parameter frei, so daß für eine konkrete Bildsegmentation anwendungsab hängig unter Umständen ein hoher Vorbereitungsaufwand zur Er mittlung optimaler Eingangsparameter betrieben werden muß. Es sind auch statistische Analysen zur Auswertung lokaler Grauwertverteilungen der Bildstrukturen bekannt (s. R. M. Haralick in "Proceedings of the IEEE", Bd. 67, 1979, S. 786 ff.), wobei beispielsweise Korrelationstechniken zur Strukturerfassung verwendet werden. Diese herkömmlichen Tech niken besitzen Nachteile in Bezug auf den Datenverarbeitungs aufwand und die Zuverlässigkeit.A number of Merk painting extraction method developed (see M. Tuceryan et al. in "Handbook of pattern recognition and computer vision", edited C.H. Cheng et al., World Scientific Publishing, 1993, Page 235 ff.), Which initially correspond to local characteristics extracted according to different image structures or textures and a feature vector composed of these features can be assigned to each pixel. Under the use of Cluster techniques in the feature space then become the feature vector gates of the pixels divided into a few classes and on the this basis the segmentation of the image into corresponding Subareas made. These procedures are not parameters free, so that application-specific for a specific image segmentation depending on the circumstances, a high level of preparation for the Er averaging optimal input parameters must be operated. There are also statistical analyzes to evaluate local ones Gray value distributions of the image structures known (see R. M. Haralick in "Proceedings of the IEEE", Vol. 67, 1979, P. 786 ff.), Whereby, for example, correlation techniques for Structure acquisition can be used. This conventional tech Technologies have disadvantages with regard to data processing effort and reliability.

Von F. W. Campbell et al. in "J. Physiol.", Bd. 197, 1968, S. 551 ff., bzw. von R. De Valois et al. in "Vision Res." Bd. 22, 1982, S. 545 ff., werden psychophysiologische Experimente beschrieben, aus denen hervorgeht, daß das menschliche visuel le System das Netzhautbild in eine Anzahl gefilterter Bilder zerlegt, von denen jedes Intensitätsvariationen über einen en gen Ortsfrequenz- oder Orientierungsbereich enthält. Auf die ser Grundlage wurden Merkmalsextraktionsverfahren unter Ver wendung einer Mehrkanalfilterung mit sogenannten Gabor-Filtern entwickelt (s. A. K. Jain et al. in "Pattern Recognition", Bd. 24, 1991, S. 1167 ff.). Bei diesen Verfahren wird ein Fen ster mit einer bestimmten Filterfunktion schrittweise über das Bild geschoben und die Filterantwort als lokaler Mittelwert für den jeweils betrachteten Fensterbereich weiter ausgewer tet. Diese Verfahren besitzen den Nachteil, daß eine lineare Merkmalsfilterung erfolgt, mit der eine Mustererkennung nur beschränkt möglich ist. So ist es beispielsweise nicht mög lich, mit einem linearen Filter Texturunterschiede in einem Bild gemäß Fig. 7a (s. unten) zu erkennen. Um diesem Problem zu begegnen, wurden zwar Filterverfahren entwickelt, bei denen jeweils ermittelte lokale Mittelwert für einen Fensterbereich einer nichtlinearen Weiterverarbeitung unterzogen wird. Dies setzt aber zusätzliche Informationen über die zu erkennenden Muster voraus, um eine ausreichende Zuverlässigkeit bei der Texturerkennung zu erzielen.By FW Campbell et al. in "J. Physiol.", Vol. 197, 1968, p. 551 ff., or by R. De Valois et al. in "Vision Res." 22, 1982, pp. 545 ff., Psychophysiological experiments are described, from which it emerges that the human visual system breaks down the retinal image into a number of filtered images, each of which contains intensity variations over a narrow spatial frequency or orientation range. On this basis, feature extraction methods using multi-channel filtering with so-called Gabor filters were developed (see AK Jain et al. In "Pattern Recognition", Vol. 24, 1991, p. 1167 ff.). In these methods, a window with a specific filter function is gradually pushed over the image and the filter response is further evaluated as a local mean for the window area in question. These methods have the disadvantage that linear feature filtering takes place, with which pattern recognition is only possible to a limited extent. For example, it is not possible to recognize texture differences in an image according to FIG. 7a (see below) with a linear filter. In order to counter this problem, filter methods have been developed in which the local mean value determined for a window area is subjected to a non-linear further processing. However, this requires additional information about the patterns to be recognized in order to achieve sufficient reliability in texture recognition.

Neben der Erfassung der Bildmerkmale nach einem der verfügba ren Verfahren, stellt sich als weiteres Problem die Frage nach der Auswertung der in den Bildmerkmalen enthaltenen Infor mationen, um die gewünschte Bildsegmentierung zu erzielen. Hierzu wird in der Regel eine sogenannte Cluster-Analyse in einem Merkmalsraum durchgeführt, in dem jede Achse eines der untersuchten Merkmale repräsentiert. Jedem Bildpunkt wird ein charakteristischer Marker oder ein Label zugeordnet, wobei Bildpunkte mit gleichen Labeln zur gleichen Merkmalsklasse bzw. Struktur gehören, wohingegen Bildpunkte mit verschiedenen Labeln unterschiedlichen Strukturen zuzuordnen sind. Die ver fügbaren Cluster-Analysen werden beispielsweise von R. C. Dubes in "Handbook of pattern recognition and computer vision", Herausgeber C. H. Cheng et al., World Scientific Publishing, 1993, S. 3 ff., und B. D. Ripley in "Pattern Recognition and Neural Networks", Cambridge University Press, 1996, beschrieben. Nicht-überwachte Cluster-Algorithmen, d. h. Cluster-Algorithmen ohne Supervision, verarbeiten zunächst un markierte Daten und erfordern daher die Lösung der folgenden zwei Probleme.In addition to recording the image features according to one of the avail procedure, the question arises as a further problem the evaluation of the information contained in the image features mations to achieve the desired image segmentation. For this purpose, a so-called cluster analysis is usually carried out in a feature space in which each axis is one of the examined characteristics represented. Each pixel becomes one characteristic marker or label assigned, wherein Pixels with the same labels for the same feature class or structure belong, whereas pixels with different Labels can be assigned to different structures. The ver available cluster analyzes are, for example, by R. C. Dubes in "Handbook of pattern recognition and computer vision ", edited by C.H. Cheng et al., World Scientific Publishing, 1993, pp. 3 ff., And B. D. Ripley in "Pattern Recognition and Neural Networks ", Cambridge University Press, 1996. Unsupervised cluster algorithms, i. H. Cluster algorithms without supervision, initially process un marked data and therefore require the solution of the following two problems.

Erstens ist es für die Zuverlässigkeit der Bildsegmentation wichtig, die richtige Clusterzahl auszuwählen bzw. zu bestäti gen. Zweitens muß sichergestellt werden, daß die vom Algorith mus gelieferten Label auch physikalisch sinnvollen Merkmalen entsprechen. Ein weiterer Nachteil der nicht-überwachten Ver fahren besteht darin, daß diese auf der Minimierung einer bildumfassenden (globalen) Energiefunktion durch iterative Me thoden basieren. Dadurch ergibt sich eine Tendenz hin zu Lösungen, die ausgeglichene Clusterbesetzungen liefern (s. A. M. Bensaid et al. in "Pattern Recognition", Bd. 29, 1996, S. 859 ff.).First, it is for the reliability of the image segmentation important to select or confirm the correct number of clusters Second, it must be ensured that the algorithm The label supplied must also have physically meaningful characteristics correspond. Another disadvantage of unsupervised ver driving is that this minimizes one comprehensive (global) energy function through iterative me methods based. This results in a tendency towards Solutions that provide balanced cluster occupations (see A.M. Bensaid et al. in "Pattern Recognition", Vol. 29, 1996, P. 859 ff.).

Die oben erläuterten Probleme treten nicht nur bei der Segmen tation von Bildern auf, die die optische Abbildung einer Szene materieller Gegenstände repräsentieren. Anstelle des dabei be trachteten zweidimensionalen Gebildes, bei dem jedem Bildpunkt beispielsweise ein Grauwert zugeordnet ist, kann ein Bild im weitesten Sinne auch ein niedriger- oder höherdimensionales Gebilde sein, bei dem jeder Bildpunkt zunächst durch eine An zahl von Koordinaten entsprechend der Dimension des Gebildes definiert ist und jedem Bildpunkt eine bestimmte Anzahl von Bildmerkmalen (Meßwerte) zugeordnet wird. Die Dimensionen des Gebildes können neben Raum- und Zeitdimensionen auch durch be liebige weitere Merkmalsachsen aufgespannt werden. Die unter suchten Systeme umfassen somit im weitesten Sinne alle physi kalischen, chemischen oder biologisch-medizinischen Vorgänge oder Materialien, deren Zustand oder Einzelmerkmale mit einem Satz von n Parametern entsprechend der Dimension charakteri sierbar sind. Die Systeme können im Untersuchungszeitraum un veränderlich (statisch) oder zeitlich veränderlich (dynamisch) sein. Im letzteren Fall ist die Zeit einer der n Parameter.The problems discussed above do not only occur with the segmen tation of images that represent the optical representation of a scene represent material objects. Instead of be sought two-dimensional structure, with each pixel For example, a gray value is assigned, an image in the in the broadest sense also a lower or higher dimensional Be a structure in which each pixel is initially defined by an An number of coordinates according to the dimension of the structure is defined and each pixel a certain number of Image characteristics (measured values) is assigned. The dimensions of the In addition to space and time dimensions, objects can also be formed by be any other feature axes can be spanned. The below The systems sought thus encompass all physi calic, chemical or biological-medical processes or materials, their condition or individual characteristics with a Set of n parameters according to the dimension characteristic are sizable. The systems can un during the investigation period changeable (static) or temporally changeable (dynamic) his. In the latter case, time is one of the n parameters.

Aus DE-OS 43 17 746 ist ein Raumfilterverfahren zur Erkennung von Strukturen in n-dimensionalen Bildern auf der Grundlage des Konzepts des sogenannten isotropen Skalierungsfaktors a bekannt. Mit dem Skalierungsfaktor α wird die Änderung der Punktdichte (Gradient) um einen untersuchten Bildpunkt durch Angabe der umgebenden Punktzahl in Abhängigkeit vom Abstand vom untersuchten Bildpunkt beschrieben. Eine Erweiterung die ses Raumfilterverfahrens auf die Erkennung der Orientierung von Strukturen in n-dimensionalen Bildern wird in DE-PS 196 33 693 beschrieben. Bei diesem Konzept werden ani sotrope Skalierungsfaktoren α_ji eingeführt, die für die Punkt dichtevariation nach Projektion auf bestimmte Raumrichtungen charakteristisch sind. Die Raumfilterung auf der Basis der Skalierungsfaktoren stellt ein nichtlineares Verfahren dar, das mit Erfolg bei der Mustererkennung und auch bei der nicht linearen Zeitreihenanalyse eingesetzt wurde. Eine Bildsegmen tierung in Bezug auf verschiedene Texturen im betrachteten Bild wurde damit jedoch nicht ermöglicht. DE-OS 43 17 746 discloses a spatial filter method for recognizing structures in n-dimensional images based on the concept of the so-called isotropic scaling factor a. The scaling factor α describes the change in the point density (gradient) around an examined pixel by specifying the surrounding number of points as a function of the distance from the examined pixel. An extension of this spatial filter method to the detection of the orientation of structures in n-dimensional images is described in DE-PS 196 33 693. With this concept, anisotropic scaling factors α _{ji are} introduced, which are characteristic of the point density variation after projection onto certain spatial directions. The spatial filtering on the basis of the scaling factors represents a non-linear method that has been successfully used in pattern recognition and also in non-linear time series analysis. An image segmentation with regard to different textures in the viewed image was however not made possible.

Aus der Applikation von L. Abele ("Bildsegmentation mittels struktureller Texturanalyse", Angewandte Szenenanalyse 1979, DAGM-Symposium, Karlsruhe, Springer-Verlag, 1979, Seiten 269 ff.) ist ein Verfahren zur Bildsegmentation mittels struktureller Texturanalyse bekannt. Unter Annahme einer Bildhierarchie werden schrittweise Elemente einer jeweils niedrigen Hierarchieebene zu Elementen der nächsthöheren Ebene zusammengefasst, bis eine Aufteilung des Bildes in homogene, disjunkte Bildsegmente erreicht ist. Dieses Verfahren besitzt die gleichen Nachteile wie die oben genannten iterativen Methoden zur Bildsegmentierung. Weitere Verfahren zur Texturklassifizierung werden von O. Pichler et al. ("Rotations- und skaleninvariante Textursegmentierung mit Mehrkanalfilterung" Mustererkennung 1997, 19. DAGM-Symposium, Braunschweig, Springer-Verlag, 1997, Seiten 79 ff.) und T. Randen et al. ("Filtering for Texture Classification: A Comparative Study", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 4, Seiten 291 ff.) beschrieben.From the application by L. Abele ("Image segmentation using structural texture analysis ", applied scene analysis 1979, DAGM Symposium, Karlsruhe, Springer-Verlag, 1979, pages 269 ff.) is a method for image segmentation using structural texture analysis known. Assuming one Image hierarchy are gradually elements of each low hierarchical level to elements of the next higher level summarized until the image is divided into homogeneous, disjoint image segments is reached. This method owns the same disadvantages as the iterative above Image segmentation methods. Further procedures for Texture classification are described by O. Pichler et al. ("Rotation and scale invariant texture segmentation with Multi-channel filtering "Pattern recognition 1997, 19th DAGM symposium, Braunschweig, Springer-Verlag, 1997, pages 79 ff.) And T. Randen et al. ("Filtering for Texture Classification: A Comparative Study ", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 4, pages 291 ff.) described.

Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Segmentierung einer Punkteverteilung in Bezug auf Texturen anzugeben, mit dem die genannten Nachteile herkömmlicher Ver fahren überwunden werden und das insbesondere eine hohe Empfindlichkeit und Zuverlässigkeit besitzt, möglichst wenig Vorabinformation über die Punkteverteilung erfordert und mög lichst breit bei den verschiedenartigsten Aufgaben sowohl bei herkömmlichen optischen Bildern als auch bei nieder- oder hö herdimensionalen Gebilden angewendet werden kann. Die Aufgabe der Erfindung ist es auch, eine Vorrichtung zur Umsetzung eines derartigen Verfahrens und Verwendungen des Verfahrens anzugeben.The object of the invention is to provide an improved method to segment a point distribution in relation to textures specify with which the disadvantages of conventional Ver driving can be overcome and in particular a high Has sensitivity and reliability, as little as possible Preliminary information about the distribution of points is required and possible as broad as possible in the most varied of tasks conventional optical images as well as low or high dimensional structures can be applied. The task the invention is also a device for implementation such a method and uses of the method specify.

Diese Aufgabe wird durch ein Verfahren bzw. eine Vorrichtung mit den Merkmalen gemäß den Patentansprüche 1 bzw. 8 gelöst. Vorteilhafte Ausführungsformen und Anwendungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.This task is accomplished by a method or a device with the features according to claims 1 and 8 solved. Advantageous embodiments and applications of the invention result from the dependent claims.

Gemäß einem ersten wichtigen Gesichtspunkt der Erfindung wird ein Verfahren zur teilweise überwachten Segmentierung von Punkteverteilungen bereitgestellt, bei dem Struktur- oder Tex turmerkmale unter Verwendung der genannten Konzepte isotroper und anisotroper Skalierungsfaktoren für jeden Punkt ermittelt und zur Segmentierung ein Clusterverfahren mit teilweiser Su pervision angewendet wird. Bei dem Clusterverfahren wird von einer vorbestimmten Anzahl bekannter Klassen von Strukturele menten (Texturklassen) und deren Zuordnung zu bestimmten Punk ten (Bezugspunkte, Punkte mit Label) und einem Abstandsmaß ausgehend, das für jeden der übrigen Punkte (Punkte ohne La bel) den Unterschied zwischen den jeweiligen Texturmerkmalen und jeder der Texturklassen definiert, jeder Punkt einer der vorbestimmten Texturklassen zugeordnet. Die Anzahl der Bezugs punkte wird anwendungsabhängig, insbesondere in Abhängigkeit von der Bildgröße, so gewählt, daß für jede Texturklasse genü gend viele Punkte für eine statistisch zuverlässige Beurtei lung berücksichtigt werden können. In jede Texturklasse sollen vorzugsweise rd. 30 bis 40 (oder auch 100) Bezugspunkte fal len.According to a first important aspect of the invention a method for partially monitored segmentation of Distribution of points provided in the structure or text Tower features using the concepts mentioned isotropic and anisotropic scaling factors for each point and for segmentation a cluster procedure with partial su pervision is applied. In the cluster process, a predetermined number of known classes of structure elements (texture classes) and their assignment to certain punk ten (reference points, points with label) and a distance measure assuming that for each of the remaining points (points without La bel) the difference between the respective texture features and each of the texture classes defines, each point one of the assigned to predetermined texture classes. The number of reference points becomes application-dependent, especially depending of the image size, chosen so that enough for each texture class enough points for a statistically reliable assessment tion can be taken into account. In every texture class preferably approx. 30 to 40 (or also 100) reference points fal len.

Die genannte Zuordnung erfolgt für die zunächst nicht klassi fizierten Punkte ohne Label durch Auswertung des Abstandsma ßes, vorzugsweise durch Zuordnung des jeweiligen Punktes zu der Texturklasse, zu der er den geringsten Abstand besitzt. Das erfindungsgemäß realisierte Clusterverfahren wird als teilweise überwacht oder als Verfahren mit teilweiser Supervi sion bezeichnet, da die Klassifizierung von der begrenzten An zahl von Bezugspunkten mit bekannter Texturzuordnung ausgeht. Dadurch ist sichergestellt, daß die Bildsegmentierung von ei ner ausreichenden Clusterzahl und physikalisch sinnvollen La beln ausgeht. Ein besonderer Vorteil der Erfindung besteht darin, daß die Bildsegmentierung eine hohe Zuverlässigkeit be sitzt, auch wenn die Zahl der Bezugspunkte wesentlich kleiner (der Anteil der Bezugspunkte kann unterhalb 1%, z. B. bei 0.1%, liegen) als die Zahl der labelfreien Punkte ist.The assignment mentioned is done for the initially not classi points without a label by evaluating the distance measure ßes, preferably by assigning the respective point the texture class to which it is closest. The cluster method implemented according to the invention is called partially monitored or as a procedure with partial supervision sion because the classification of the limited An number of reference points with known texture assignment. This ensures that the image segmentation of egg a sufficient number of clusters and physically reasonable La beln goes out. There is a particular advantage of the invention in that the image segmentation be high reliability sits, even if the number of reference points is much smaller (The percentage of reference points can be below 1%, e.g. at 0.1%, are) than the number of label-free points.

Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt die Definition des Abstandsmaßes für jede Texturklasse spezi fisch in Abhängigkeit von der Orientierung und Gestalt der Punktmenge, die im Rahmen der teilweisen Supervision der vor bestimmten Textur zugeordnet worden ist. Es können aber auch einfacher definierte Abstandsmaße verwendet werden, die für alle Texturklasse gemeinsam im globalen Merkmalsraum der Punk teverteilung definiert sind.According to a preferred embodiment of the invention the definition of the distance dimension for each texture class spec fish depending on the orientation and shape of the Set of points under the partial supervision of the previous has been assigned to a specific texture. But it can also Easier defined distance measurements are used for all texture classes together in the global feature space of punk distribution are defined.

Alle Punkte der Punkteverteilung, die einer Texturklasse zuge ordnet werden, bilden ein Textursegment, das anschließend an gezeigt oder einer weiteren Verarbeitung unterzogen wird.All points of the point distribution that are assigned to a texture class are arranged, form a texture segment, which then shown or undergoes further processing.

Gemäß einem weiteren wichtigen Gesichtspunkt der Erfindung wird eine Vorrichtung zur Umsetzung des Textursegmentierungs verfahrens beschrieben. Diese Vorrichtung umfaßt eine Einrich tung zur Messung der Punkteverteilung und der zu jedem Punkt gehörenden Merkmale des jeweiligen Systemzustands, eine Fil tereinrichtung mit Mitteln zur Abtastung der betrachteten Punkte der Punkteverteilung, Mitteln zur Zählung von Punkten der Umgebung von untersuchten Punkten, Mitteln zur Erfassung vorbestimmter Skalierungsfaktoren und Mitteln zur statisti schen Bearbeitung der Skalierungsfaktoren, eine Eingabeein richtung, die dazu ausgelegt ist, vorbestimmten Bezugspunkten für die eine Texturklassenzugehörigkeit bekannt ist, den ent sprechenden Texturklassen zuzuordnen, eine Recheneinrichtung zur Ermittlung und Auswertung von Abstandsmaßen für die Tex turmerkmale der übrigen Punkte in Bezug auf die Texturklassen und eine Ausgabeeinrichtung, mit der die Textursegmente ange zeigt, zwischengespeichert oder zur weiteren Verarbeitung wei tergeleitet werden.According to another important aspect of the invention becomes a device for implementing texture segmentation described procedure. This device comprises a device device for measuring the point distribution and for each point belonging features of the respective system state, a fil tereinrichtung with means for scanning the considered Points of the point distribution, means for counting points the area around examined points, means of detection predetermined scaling factors and statistical means processing the scaling factors, one input direction, which is designed to predetermined reference points for which a texture class membership is known, the ent assigning speaking texture classes, a computing device for determining and evaluating distance dimensions for the Tex Tower features of the remaining points in relation to the texture classes and an output device with which the texture segments are indicated shows, cached or white for further processing be forwarded.

Die erfindungsgemäß bearbeiteten Punkteverteilungen können im weitesten Sinne Systemzustände in einem n-dimensionalen Zu standsraum darstellen. Die Punkteverteilung repräsentiert eine zwei- oder höherdimensionale Abbildung des Systemzustands, so daß im folgenden allgemein von Bildsegmentierung und Bildpunk ten die Rede ist. Die segmentierten Bilder können auch Signal- oder Amplitudenverläufe in Abhängigkeit von einem Bezugspara meter (z. B. Zeit, Energie oder dgl.) oder optische Grauwert- und/oder Farbbilder umfassen. Die untersuchten Systeme können neben Bildmustern insbesondere auch Werkstoffe, mechanische Vorrichtungen oder biologische Systeme umfassen. Die Erfassung eines Systemzustands wird anwendungsabhängig durch Maßnahmen der Aktorik, Sensorik, Analyse und der Registrierung bzw. Si gnalisierung erzielt. Die gegebenenfalls erforderliche Aktorik umfaßt Maßnahmen zur Erzeugung von Systemreaktionen, die für charakteristische Zustände repräsentativ sind, wie z. B. die Anregung mechanischer Schwingungen in einem Untersuchungsge genstand oder die Auslösung evozierter Potentiale in neurolo gischen Systemen. Die Sensorik umfaßt die Detektion von Sy stemmerkmalen in Bezug auf die interessierenden n Parameter und die Darstellung der Merkmale in einem hochdimensionalen Merkmalsraum, z. B. durch Speicherung geeigneter Wertegruppen, die den Merkmalen zugeordnet sind.The point distributions processed according to the invention can be in System states in the broadest sense in an n-dimensional approach represent stand space. The distribution of points represents one two- or higher-dimensional mapping of the system state, see above that in the following generally of image segmentation and pixel ten is mentioned. The segmented images can also signal or amplitude curves depending on a reference pair meter (e.g. time, energy or the like) or optical gray scale and / or include color images. The systems examined can in addition to image patterns, especially materials, mechanical Devices or biological systems. The capture a system state becomes application-dependent through measures the actuators, sensors, analysis and registration or Si gnalization achieved. The actuators that may be required includes measures for the generation of system reactions for characteristic states are representative, such as e.g. B. the Excitation of mechanical vibrations in an investigation area subject or the triggering of evoked potentials in neurolo systems. The sensors include the detection of Sy features in relation to the n parameters of interest and the representation of the features in a high dimensional Feature space, e.g. B. by storing suitable value groups, that are assigned to the characteristics.

In der betrachteten Punkteverteilung oder dem Bild wird eine komplexe, jedoch abgrenzbare Bildstruktur als Textur bezeich net. Eine Textur bildet einen Bildbereich oder eine Bildregi on, in der sich die Bildstruktur auf sich wiederholende Muster zurückführen läßt, in denen Elemente gemäß einer Anordnungsre gel angeordnet sind. Mit anderen Worten kann einer Bildregion eine bestimmte (konstante) Textur zugeordnet werden, wenn ein Satz lokaler Statistiken oder anderer lokaler Eigenschaften der Bildmerkmale konstant ist oder sich nur wenig ändert. Eine Bildtextur wird durch die Anzahl und Art ihrer (grau)tonlichen Grundelemente und die räumliche Anordnung dieser Elemente be schrieben.In the considered distribution of points or in the picture there is a Complex but delimitable picture structure called texture net. A texture forms an image area or image region on, in which the image structure is based on repeating patterns can be returned in which elements according to an arrangement re gel are arranged. In other words, an image region a certain (constant) texture can be assigned if a Set of local statistics or other local properties the image features is constant or changes little. A Image texture is determined by the number and type of their (gray) tonal Basic elements and the spatial arrangement of these elements be wrote.

Allgemein können Texturen die folgenden Eigenschaften zugeord net werden. Eine lokale Ordnung wiederholt sich über eine Bildregion, die groß im Vergleich zur Größe der lokalen Ord nung ist. Dabei besteht die Ordnung aus einer nicht zufälligen Anordnung grundlegender Bestandteile, die als sogenannte Mikromuster etwa gleiche Einheiten bilden, innerhalb der Tex tur dieselbe Größe besitzen und sich durch spezifische lokale Eigenschaften charakterisieren lassen.In general, textures can be assigned the following properties be net. A local order repeats itself over a Image region that is large compared to the size of the local ord is. The order consists of a non-random one Arrangement of basic components, the so-called Micropatterns form approximately equal units within the Tex have the same size and are characterized by specific local Let properties be characterized.

Bei Anwendungen in der Bildverarbeitung, z. B. in der Medizin technik oder Werkstofftechnik, erlaubt die Erkennung und Seg mentierung von Texturen die Unterscheidung verschiedener Ob jektbereiche. Werden beispielsweise Ultraschallbilder von innerem Gewebe untersucht, so können über die Textursegmentie rung Tumorgewebe und gesundes Gewebe differenziert und die Größe des Tumorgewebes ermittelt werden. Hierbei ist insbeson dere eine Automatisierung der Erkennung und Größenangabe von Interesse. Die erfindungsgemäße Textursegmentierung erlaubt allgemein sowohl das Zuordnen von Texturen zu bestimmten Punk ten als auch die Ermittlung der Größe der jeweiligen Bildre gionen mit einer konstanten Textur.For applications in image processing, e.g. B. in medicine technology or materials technology, allows detection and seg mentation of textures the differentiation of different ob jektbereiche. For example, ultrasound images from inner tissue examined, so the texture segment Tumor tissue and healthy tissue differentiated and the Size of the tumor tissue can be determined. Here is in particular automation of the detection and size of Interest. The texture segmentation according to the invention allows generally both mapping textures to specific punk as well as determining the size of the respective image regions with a constant texture.

Die Erfindung liefert die folgenden Vorteile. Das Texturseg mentierungsverfahren ist, wie unten im einzelnen ausgeführt wird, parameterfrei und nicht-iterativ. Bei der Klassifizie rung von Bildmerkmalen müssen keine freien Parameter optimiert werden. Dadurch besitzt das Verfahren eine hohe Segmentie rungsgeschwindigkeit und -zuverlässigkeit. Das Segmentierungs ergebnis besitzt eine geringe Empfindlichkeit von der konkre ten Wahl von Randbedingungen bei der Bildauswertung. Es wird erstmalig eine nichtlinare Filtertechnik zur Texturmerkmalsex traktion eingeführt. Das Segmentierungsverfahren ist ohne wei teres durch eine anwendungsabhängige Anpassung der nichtlinea ren Filterung bei beliebigen Aufgabenstellungen einsetzbar. Es ist erstmalig möglich, simultan Texturen zu erkennen und in Bezug auf ihre Ausdehnung quantitativ zu analysieren.The invention provides the following advantages. The texture segment mentation procedure is as detailed below becomes parameter-free and non-iterative. With the classification No free parameters need to be optimized for image features become. As a result, the process has a high segment speed and reliability. The segmentation result has low sensitivity from the conc selection of boundary conditions for image evaluation. It will for the first time a nonlinear filter technique for texture feature sex traction introduced. The segmentation process is without white teres through an application-dependent adaptation of the non-linear filtering can be used for any task. It is for the first time possible to recognize textures simultaneously and in Analyze quantitatively with regard to their extent.

Weitere Vorteile und Einzelheiten der Erfindung werden im fol genden unter Bezug auf die beigefügten Flußdiagramme und Zeichnungen beschrieben. Es zeigen: Further advantages and details of the invention are described in the fol with reference to the accompanying flowcharts and Described drawings. Show it:

Fig. 1 ein Beispiel eines Pixelbildes mit vier natürlichen Texturen (a) und das Ergebnis der Textursegmentierung in vier Merkmals klassen (b), Fig. 1 shows an example of a pixel image with four natural textures (a) and the result of the texture segmentation in four feature classes (b),

Fig. 2 ein Flußdiagramm zur Illustration der Hauptschritte einer erfindungsgemäßen Textursegmentierung, Fig. 2 is a flowchart illustrating the main steps of a texture segmentation according to the invention,

Fig. 3 ein Flußdiagramm zur Illustration der Merkmalserfassung bei einem Verfahren gemäß Fig. 2, Fig. 3 is a flowchart illustrating the feature detection in a method according to Fig. 2,

Fig. 4 eine Illustration zur Ermittlung einer Vielzahl von anisotropen Skalierungs faktoren für einen Bildpunkt, Fig. 4 is an illustration for determining a plurality of anisotropic scaling factors for a pixel,

Fig. 5 ein Flußdiagramm zur Illustration der Texturklassifizierung bei einem Ver fahren gemäß Fig. 2, Fig. 5 is a flowchart for illustrating the texture classification with a drive Ver shown in FIG. 2,

Fig. 6 eine Illustration zur Erläuterung der Initialisierungsphase bei einem Verfahren gemäß Fig. 5, Fig. 6 is an illustration for explaining the initialization phase, in a method according to FIG. 5,

Fig. 7 eine Bildfolge zur Illustration der Segmentierung von Brodatz-Texturen mit einem Originalbild (a), einem gefilterten Bild (b) und einem Merkmalsbild (c), Fig. 7 is a sequence of images for illustration of segmentation of Brodatz textures with an original image (a), a filtered image (b) and a feature image (c),

Fig. 8 eine Bildfolge zur Illustration der Segmentierung eines Pixelbildes mit zwei künstlichen Texturen mit einem Original bild (a), einer Darstellung des Bezugspunkte für die Klassifizierung (b) und einem Segmentierungsbild (c), Fig. 8 is a sequence of images illustrating the segmentation of a pixel image with two artificial textures with an original image (a), a representation of the reference points for the classification (b) and a segmentation image (c),

Fig. 9 eine weitere Bildfolge zur Illustration der Bildsegmentierung eines Originalbildes (a) bei Verwendung verschiedener Abstands maße (b, c), Fig. 9 shows a further sequence of images to illustrate the image segmentation of an original image (a) when using different distance dimensions (b, c),

Fig. 10 eine Bildfolge zur Illustration der Textursegmentierung an einem verrauschten Originalbild (a) und Segmentierungen mit verschiedenen Abstandsmaßen (b-e), Fig. 10 shows a sequence of images to illustrate the texture segmentation in a noisy original image (a) and segmentations with various distance measures (be),

Fig. 11 eine Kurvendarstellung zur Illustration der Textursegmentierung bei verschiedenen Rauschleistungen, und Fig. 11 is a graph showing the texture segmentation at different noise levels, and

Fig. 12 eine schematische Übersichtsdarstellung einer erfindungsgemäßen Textursegmentie rungsvorrichtung. Fig. 12 is a schematic overview representation of a texture segmentation device according to the invention.

Die erfindungsgemäße Textursegmentierung wird im folgenden am Beispiel zweidimensionaler Grauwertbilder erläutert, ist je doch darauf nicht beschränkt, sondern in entsprechender Weise an beliebigen Punkteverteilungen und Merkmalskombinationen an wendbar. Die Punkteverteilung kann z. B. auch durch mehrere synchron aufgenommene Zeitserien von Sensorsignalen, z. B. an einer Maschine, gebildet werden, wobei die erfindungsgemäße Segmentierung auf die Suche nach bestimmten Zeitintervallen innerhalb der Zeitserien gerichtet ist, in denen beispielswei se normale Betriebszustände der Maschine oder besondere Fehl zustände gegeben sind. Die betrachteten Punkteverteilungen können kontinuierlich oder diskret sein. Die Bildbeispiele sind teilweise aus drucktechnischen Gründen vereinfacht darge stellt oder mit künstlichen Strukturen (Schraffuren oder dgl.) versehen, ohne daß dies zwingende Merkmale der Erfindung sind. Im folgenden werden zunächst unter Bezug auf die Fig. 2 bis 6 die einzelnen Schritte der erfindungsgemäßen Segmentierung er läutert. Anschließend werden Beispiele zur Illustration der Umsetzung der einzelnen Schritte gegeben und eine Vorrichtung zur Implementierung des Verfahrens beschrieben.The texture segmentation according to the invention is explained in the following using the example of two-dimensional gray-scale images, but is not limited to this, but can be applied in a corresponding manner to any point distributions and combinations of features. The distribution of points can e.g. B. also by several synchronously recorded time series of sensor signals, for. B. are formed on a machine, the segmentation according to the invention is directed to the search for specific time intervals within the time series in which, for example, normal operating conditions of the machine or special faulty conditions are given. The point distributions considered can be continuous or discrete. The image examples are partly simplified for printing reasons Darge provides or provided with artificial structures (hatching or the like.) Without these being mandatory features of the invention. In the following, he will first explain the individual steps of the segmentation according to the invention with reference to FIGS. 2 to 6. Then examples are given to illustrate the implementation of the individual steps and a device for implementing the method is described.

A) Segmentation process

Es wird ein zweidimensionales Grauwertbild G(x, y) der Größe N.M betrachtet (N, M: Zahl der Bildpunkte oder Pixel in x- bzw. y-Richtung). Jedem Pixel ist ein diskreter Grauwert g(x, y) zugeordnet (g ∈ [0; 255]). Durch die jedem Pixel zuge ordnete Orts- und Merkmalsinformation wird ein höherdimensio nales Gebilde erzeugt, das beim betrachteten Beispiel eine dreimdimensionale Punkteverteilung ist. In dieser ist jedem Pixel ein dreidimensionaler Vektor _i = (x, y, g(x, y)) zugeord net. Damit die x-, y- und g-Werte in einem vergleichbaren Wer tebereich liegen, kann es erforderlich sein, die Grauwerte g_i zu normieren. Eine mögliche Normierung ist durch g_norm = g.(N/255) gegeben. Das Pixelbild wird somit als Punktevertei lung in einem künstlichen dreimdimensionalen Einbettungsraum betrachtet.A two-dimensional gray scale image G (x, y) of size NM is considered (N, M: number of pixels or pixels in the x or y direction). A discrete gray value g (x, y) is assigned to each pixel (g ∈ [0; 255]). The location and feature information assigned to each pixel produces a higher-dimensional structure, which in the example under consideration is a three-dimensional point distribution. In this, a three-dimensional vector _i = (x, y, g (x, y)) is assigned to each pixel. So that the x, y and g values are in a comparable value range, it may be necessary to normalize the gray values g _i . A possible standardization is given by g _norm = g. (N / 255). The pixel image is thus viewed as a distribution of points in an artificial three-dimensional embedding space.

Ein Beispiel für ein Pixelbild G ist in Fig. 1a dargestellt. Das Pixelbild mit N = M = 256 enthält vier natürliche Textu ren, die bei visueller Betrachtung ohne weiteres als einfaches Streifenmuster (rechts oben), als regelmäßiges Wabenmuster (links unten), als völlig unregelmäßiges Muster mit scharf be grenzten Strukturen (links oben) bzw. als unregelmäßiges "un scharfes" Muster (rechts unten) identifiziert werden. Die er findungsgemäße Bildsegmentierung ist nun darauf gerichtet, diese Texturerkennung durch eine Erfassung lokaler Merkmale des Pixelbildes für jeden Bildpunkt und eine Klassifizierung der Bildpunkte aufgrund der erfaßten Merkmale durchzuführen. Diese Schritte sind übersichtsweise in Fig. 2 mit der Merk malserfassung 100, der Texturklassifizierung 200 und der Aus wertung 300 angegeben. Anwendungsabhängig kann im Ergebnis der Auswertung eine erneute Durchführung der Merkmalserfassung und/oder der Texturklassifizierung vorgesehen sein.An example of a pixel image G is shown in Fig. 1a. The pixel image with N = M = 256 contains four natural textures which, when viewed visually, are easily identified as a simple stripe pattern (top right), a regular honeycomb pattern (bottom left), a completely irregular pattern with sharply delimited structures (top left) or can be identified as an irregular "unsharp" pattern (bottom right). The image segmentation according to the invention is now aimed at performing this texture recognition by detecting local features of the pixel image for each pixel and classifying the pixels on the basis of the detected features. These steps are shown in an overview in FIG. 2 with the feature detection 100 , the texture classification 200 and the evaluation 300 . Depending on the application, the result of the evaluation can be carried out again for the feature acquisition and / or the texture classification.

1) Feature registration

Die Merkmalserfassung 100 (s. Fig. 3) ist auf die Ermittlung lokaler Merkmale für jeden Bildpunkt gerichtet. Die lokalen Merkmale umfassen charakteristische Bildeigenschaften in der unmittelbaren Umgebung des Bildpunktes, die wesentlich kleiner als das (globale) Gesamtbild ist. Im einzelnen umfaßt die Merkmalserfassung 100 eine Ermittlung der Punkteverteilung 110, eine Ermittlung von Skalierungsfaktoren 120, 130 und eine Merkmalsextraktion 140 zur Bildung von Merkmalsvektoren, die jedem Bildpunkt zugeordnet sind.The feature detection 100 (see FIG. 3) is directed to the determination of local features for each pixel. The local features include characteristic image properties in the immediate vicinity of the pixel, which is significantly smaller than the (global) overall image. In particular, the feature detection 100 comprises a determination of the point distribution 110 , a determination of scaling factors 120 , 130 and a feature extraction 140 for the formation of feature vectors which are assigned to each pixel.

Die Ermittlung der Punkteverteilung (Schritt 110) besteht beim betrachteten Beispiel in einer einfachen Bildaufnahme und ei ner an sich bekannten Grauwertauswertung (gegegenenfalls mit der genannten Normierung). Allgemein umfaßt der Schritt 110 eine Meßwertaufnahme auf der Grundlage der anwendungsabhängig gewählten Sensorik.The determination of the point distribution (step 110 ) consists in the example considered in a simple image acquisition and a known gray value evaluation (if necessary with the mentioned standardization). In general, step 110 comprises a measured value recording on the basis of the sensor technology selected depending on the application.

In Bezug auf die Ermittlung der isotropen und anisotropen Ska lierungsfaktoren (Schritte 120, 130) wird auf die obengenann ten DE-OS 43 17 746 und DE-PS 196 33 693 Bezug genommen. Die Verfahrensweisen sind an sich bekannt und werden daher hier im einzelnen nur teilweise erläutert. With regard to the determination of the isotropic and anisotropic scaling factors (steps 120 , 130 ), reference is made to the above-mentioned DE-OS 43 17 746 and DE-PS 196 33 693. The procedures are known per se and are therefore only partially explained in detail here.

Zuerst wird für jeden Bildpunkt der isotrope Skalierungsfaktor (Skalierungsindex) ermittelt (Schritt 120). Hierzu werden um jeden Punkt _i im Orts- und Grauwertraum konzentrisch zwei Sphären mit unterschiedlichen Radien a₁, a₂ (a₁ < a₂) gelegt. Innerhalb jeder Sphäre befindet sich eine bestimmte Anzahl von Bildpunkten jeweils mit einem Grauwert, die auch als Gesamtma sse M (jeweils bezogen auf den Sphärenradius a_1,2) bezeichnet wird. Der isotrope Skalierungsfaktor α ergibt sich gemäß Glei chung (1) als logarithmische Ableitung der Gesamtmassen für beide Sphären:
First, the isotropic scaling factor (scaling index) is determined for each pixel (step 120 ). For this purpose, two spheres with different radii a ₁ , a ₂ (a ₁ <a ₂ ) are placed concentrically around each point _i in the spatial and gray value space. Within each sphere there is a certain number of pixels, each with a gray value, which is also referred to as the overall dimension M (in each case based on the sphere radius a _1.2 ). According to equation (1), the isotropic scaling factor α is the logarithmic derivative of the total masses for both spheres:

wobei x_i, y_i die Koordinaten des betrachteten Bildpunktes, Θ die Heaviside-Funktion und ∥.∥₂ die Euklidische Norm bezeich nen. Die Berechnung des Skalierungsfaktors stellt eine Filter funktion dar, wobei die Koordinaten x_i, y_i den Mittelpunkt des Filters bezeichnen.where x _i , y _i denote the coordinates of the pixel under consideration, Θ the Heaviside function and ∥.∥ ₂ the Euclidean norm. The calculation of the scaling factor represents a filter function, the coordinates x _i , y _i denoting the center of the filter.

Bei starken Punktdichtegradienten um den betrachteten Bild punkt ergibt sich ein hoher Skalierungsfaktor, bei geringen Gradienten hingegen lediglich ein geringer Skalierungsfaktor. Der isotrope Skalierungsfaktor α ist dabei jedoch nur für ra diale Gradienten charakteristisch. Für Anwendungen mit komple xen Strukturen ist es erforderlich, auch Orientierungseigen schaften der lokalen Merkmale zu ermitteln. Dies erfolgt durch Bestimmung der anisotropen Skalierungsfaktoren (Schritt 130).With high point density gradients around the image point under consideration there is a high scaling factor, with low gradients, however, only a low scaling factor. However, the isotropic scaling factor α is only characteristic of radial gradients. For applications with complex structures, it is also necessary to determine the orientation properties of the local features. This is done by determining the anisotropic scaling factors (step 130 ).

Die anisotropen Skalierungsfaktoren werden analog zur Ermitt lung der isotropen Skalierungsfaktoren aus Gradienten in der Dichte der Umgebungspunkte eines betrachteten Punktes ermittelt, wobei zur Erfassung einer Orientierung des Gebildes aus Umgebungspunkten die Projektionen der Punktezahlen (projizier te Massen M_x, M_y) ermittelt werden. Um festzustellen, daß die Umgebungspunkte um einen betrachteten Punkt überhaupt eine Orientierung besitzen, würde es grundsätzlich genügen, daß bei einem zweidimensionalen Pixelbild zwei anisotrope Skalierungs faktoren ermittelt werden, die sich jeweils auf die x- bzw. y- Achsen des Pixelbildes beziehen. Eine Besonderheit der Merk malserfassung zur erfindungsgemäßen Bildsegmentierung besteht nun darin, daß bei einem betrachteten Bild für jeden Bildpunkt nicht nur ein Wertepaar oder Wertetupel aus anisotropen Ska lierungsfaktoren entsprechend der Dimensionalität des Bildes ermittelt wird. Erfindungsgemäß ist die Bestimmung mehrerer Wertepaare oder Wertetupel anisotroper Skalierungsfaktoren entsprechend den unter Bezug auf Fig. 4 erläuterten Prinzipien vorgesehen.The anisotropic scaling factors are determined analogously to the determination of the isotropic scaling factors from gradients in the density of the surrounding points of a point under consideration, the projections of the number of points (projected masses M _x , M _y ) being determined to determine an orientation of the structure from surrounding points. In order to determine that the surrounding points have any orientation at all around a point under consideration, it would basically suffice that two anisotropic scaling factors are determined in a two-dimensional pixel image, each of which relates to the x and y axes of the pixel image. A special feature of the feature acquisition for image segmentation according to the invention is that not only a pair of values or tuple of values from anisotropic scaling factors is determined for each image point in accordance with the dimensionality of the image. According to the invention, the determination of a plurality of value pairs or value tuples of anisotropic scaling factors is provided in accordance with the principles explained with reference to FIG. 4.

Fig. 4 zeigt beispielhaft in einem zweidimensionalen Pixelbild drei verschieden orientierte Strukturen 41, 42 und 43. Die Strukturen besitzen gegenüber der x-Achse einen charakteristi schen Drehwinkel ϕ von 0°, 45° bzw. 90°. Die Ermittlung der anisotropen Skalierungsfaktoren α_x bzw. α_y ist an der Struktur 41 durch Einzeichnung der Sphären mit den Radien a₁, a₂ illustriert. Die Projektion der zur Struktur 41 gehörenden Umgebungspunkte zum betrachteten Punkt p₄₁ besitzen starke Gra dienten in y-Richtung weniger starke Gradienten in x-Richtung. Damit ergibt sich ein niedriger Skalierungsfaktor α_x und ein hoher Skalierungsfaktor α_y. Bei den Strukturen 42 und 43 sind die Verhältnisse entsprechend anders. Fig. 4 shows an example in a two-dimensional pixel image three differently oriented structures 41, 42 and 43. The structures have a characteristic angle of rotation ϕ of 0 °, 45 ° or 90 ° with respect to the x-axis. The determination of the anisotropic scaling factors α _x and α _y is illustrated on structure 41 by drawing in the spheres with the radii a ₁ , a ₂ . The projection of the surrounding points belonging to the structure 41 to the point p ₄₁ under consideration have strong gradients in the y direction and less strong gradients in the x direction. This results in a low scaling factor α _x and a high scaling factor α _y . The situation is correspondingly different for structures 42 and 43 .

Es zeigt sich, daß durch die anisotropen Skalierungsfaktoren zwar angegeben werden kann, daß die Umgebungspunkte eine Orientierung besitzen. Es kann jedoch nicht im einzelnen die Ausrichtung der Orientierung abgeleitet werden. Diese Information läßt sich erst gewinnen, wenn für jeden betrachteten Punkt die anisotropen Skalierungsfaktoren in mindestens zwei, relativ zueinander verdrehten Koordinatensysteme bestimmt wer den. Die Skalierungsfaktoren in den x-, y- und x*-, y*- Koordinatensystemen (s. Stuktur 42) ergeben bei Kenntnis des Drehwinkels (≠ 90°) zwischen den Koordinatensystemen eine Zu satzinformation über die Ausrichtung der Struktur.It turns out that the anisotropic scaling factors can indicate that the surrounding points have an orientation. However, the orientation of the orientation cannot be derived in detail. This information can only be obtained if the anisotropic scaling factors are determined in at least two coordinate systems rotated relative to each other for each point under consideration. The scaling factors in the x-, y- and x * -, y * - coordinate systems (see structure 42 ) provide additional information about the alignment of the structure when the angle of rotation (≠ 90 °) between the coordinate systems is known.

Die Ermittlung anisotroper Skalierungsfaktoren beim erfin dungsgemäßen Verfahren (Schritt 130) umfaßt somit für jeden betrachteten Bildpunkt die Erfassung von einem Skalierungs faktor-Tupel aus mehreren Skalierungsfaktoren, die jeweils den verdrehten Koordinatensystemen entsprechen. Das unter Bezug auf Fig. 4 vereinfacht dargestellte Prinzip der Skalierungs faktorermittlung in gedrehten Koordinatensystemen wird anwen dungsabhängig angepaßt. Dies wird in Fig. 3 durch den Schritt 131 der Definition von Bezugsgrößen zur Skalierungsfaktorer mittlung dargestellt. Diese Bezugsgrößen umfassen die Zahl der pro Bildpunkt betrachteten anisotropen Skalierungsfaktoren, die Sphärengrößen und die Zahl und Winkel der Koordinaten systemdrehungen.The determination of anisotropic scaling factors in the method according to the invention (step 130 ) thus includes the detection of a scaling factor tuple from a plurality of scaling factors for each pixel under consideration, each corresponding to the twisted coordinate systems. The principle of scaling factor determination in rotated coordinate systems, shown in simplified form with reference to FIG. 4, is adapted to the application. This is shown in FIG. 3 by step 131 of defining reference values for determining the scaling factor. These reference values include the number of anisotropic scaling factors considered per pixel, the sphere sizes and the number and angle of the coordinate system rotations.

Für die Auswertung von Grauwertbildern hat sich bei der Koor dinatensystemdrehung ein Winkelschema als vorteilhaft erwie sen, bei dem vier Drehwinkel eingestellt werden, die sich je weils um 45° unterscheiden. Es werden somit für jeden Bild punkt in vier, jeweils um einen Drehwinkel ϕ gedrehten Koordi natensystem jeweils ein oder zwei anisotrope Skalierungsfakto ren ermittelt. Es wird betont, daß die Zahl und Beträge der Koordinatensystemdrehungen anwendungsabhängig größer oder kleiner gewählt werden können. Dabei kommt es nicht darauf an, daß die jeweils ermittelten anisotropen Skalierungsfaktoren in bestimmter Weise interpretiert oder mit visuell erfaßbaren Bildmerkmalen korreliert werden können. Es ist lediglich von Bedeutung, mehrere Werte für verschiedene Koordinatensystemdrehungen zu erhalten, da diese Werte die vollständige Infor mation enthalten, die für die weitere Texturklassifizierung (s. unten) erforderlich ist.For the evaluation of grayscale images, the Koor an angle scheme proved to be advantageous sen, at which four rotation angles are set, which each because differ by 45 °. So it will be for every picture point in four coordinates, each rotated by an angle of rotation ϕ data system one or two anisotropic scaling factors ren determined. It is emphasized that the number and amounts of Coordinate system rotations larger or depending on the application can be chosen smaller. It doesn't matter that the respectively determined anisotropic scaling factors in interpreted in a certain way or with visually perceptible Image features can be correlated. It is only from Meaning, multiple values for different coordinate system rotations to get, because these values the complete Infor mation included for further texture classification (see below) is required.

Um die anisotropen Skalierungsfaktoren zu berechnen, wird von den projizierten lokalen Massen M_x* gemäß Gleichung (3) ausge gangen.
In order to calculate the anisotropic scaling factors, the projected local masses M _{x *} according to equation (3) are used.

Die x*-Achse stellt die Raumrichtung im gedrehten Koordinaten system dar, auf die der Skalierungsfaktor bezogen wird. In Gleichung (3) bezeichnet ^* die Vektoren der Bildpunkte im ge drehten Koordinatensystem. Der Übergang vom ursprünglichen Ko ordinatensystem ( = (x, y, g)) zum gedrehten Koordinatensystem (^* = (x*, y*, g*)) wird gemäß ^* = D. mit der Drehmatrix D aus Gleichung (4) erzielt.
The x * axis represents the spatial direction in the rotated coordinate system to which the scaling factor is based. In equation (3) ^* denotes the vectors of the pixels in the rotated coordinate system. The transition from the original coordinate system (= (x, y, g)) to the rotated coordinate system ( ^* = (x *, y *, g *)) is achieved according to ^* = D. with the rotation matrix D from equation (4).

Die Drehmatrix D ist die an sich bekannte Rotationsmatrix, wo bei hier die g-Achse die Drehachse ist. Die zweite Heaviside- Funktion in Gleichung (3) stellt sicher, daß nur Punkte in der Nähe des betrachteten Bildpunktes in Betracht gezogen werden. Analog zu Gleichung (1) ergibt die Berechnung der logarithmi schen Ableitung der projizierten Massen M_x* gemäß Gleichung (5) die anisotropen Skalierungsfaktoren α:
The rotation matrix D is the rotation matrix known per se, where here the g axis is the rotation axis. The second Heaviside function in equation (3) ensures that only points in the vicinity of the pixel under consideration are taken into account. Analogous to equation (1), the calculation of the logarithmic derivative of the projected masses M _{x *} according to equation (5) gives the anisotropic scaling factors α:

Der anisotrope Skalierungsfaktor α gemäß Gleichung (5) wird für jeden Bildpunkt jeweils für vier verschiedene Drehwinkel ϕ be rechnet. Bei den unten erläuterten Bildbeispielen werden die Drehwinkel 0°, 45°, 90° und 135° verwendet. Da die Orientie rungsinformation für jeden Drehwinkel bereits in einem der beiden anisotropen Skalierungsfaktoren enthalten ist, die zu einem Drehwinkel gehören, genügt es für die spätere Textur klassifizierung, wenn für jeden Drehwinkel lediglich ein ani sotroper Skalierungsfaktor ermittelt wird.The anisotropic scaling factor α according to equation (5) is for each pixel for four different angles of rotation ϕ be expects. In the image examples explained below, the Angle of rotation 0 °, 45 °, 90 ° and 135 ° used. Because the Orientie information for each angle of rotation already in one of the two anisotropic scaling factors is included, too belong to an angle of rotation, it is sufficient for the later texture classification if only one ani for each angle of rotation Sotropic scaling factor is determined.

Gemäß einer bevorzugten Ausführungsform der Erfindung werden die Skalierungsfaktoren nicht nur für ein Sphärenpaar, sondern für zwei Sphärenpaare ermittelt. Bei den hier betrachteten 256.256-Pixelbildern hat sich ein kleinerer Skalierungsbe reich mit Sphärenradien a₁ = 2 und a₂ = 6 und ein größerer Be reich mit a₁ = 6 und a₂ = 12 als vorteilhaft erwiesen. Es kön nen auch noch mehr Skalierungsbereiche (Sphärenpaare) berück sichtigt werden.According to a preferred embodiment of the invention, the scaling factors are determined not only for one pair of spheres, but for two pairs of spheres. In the 256,256 pixel images considered here, a smaller scaling area with spherical radii a ₁ = 2 and a ₂ = 6 and a larger area with a ₁ = 6 and a ₂ = 12 have proven to be advantageous. Even more scaling ranges (pairs of spheres) can be taken into account.

Für einen Bildpunkt ergeben sich somit bei zwei Skalierungsbe reichen und vier Drehwinkeln zwei isotrope und vier anisotrope Skalierungsfaktoren, die verschiedene nichtlineare Filterfunk tionen zur Charakterisierung des texturierten Bildes darstel len. Wie unten gezeigt wird, ist mit diesem Satz aus zehn Ska lierungsfaktoren bereits ein hervorragendes Segmentierungser gebnis ableitbar. Anwendungsabhängig können diese Parameter jedoch an die konkrete Aufgabe angepaßt oder sogar während des Segmentierungsverfahrens optimiert werden.For one pixel there are two scaling values range and four angles of rotation two isotropic and four anisotropic Scaling factors, the different nonlinear filter radio representations to characterize the textured image len. As shown below, this set is made up of ten ska an excellent segmentation factor result can be derived. Depending on the application, these parameters can however adapted to the specific task or even during the Segmentation procedure can be optimized.

Am Ende der Merkmalserfassung 100 (s. Fig. 3) erfolgt die Merkmalsextraktion 140, in deren Ergebnis für jeden Bildpunkt ein Merkmalsvektor gebildet wird. Die Merkmalsvektoren stellen die Eingangsgrößen für die folgende Texturklassifizie rung 200 (s. unten) dar. At the end of the feature detection 100 (see FIG. 3), the feature extraction 140 takes place, in the result of which a feature vector is formed for each pixel. The feature vectors represent the input variables for the following texture classification 200 (see below).

Im einfachen Fall werden die Komponenten der Merkmalsvektoren durch die zu jedem Bildpunkt ermittelten lokalen Merkmale gebildet. Beim obengenannten Beispiel umfaßt der Merkmalsvek tor somit zehn Komponenten aus zwei isotropen und acht ani sotropen Skalierungsfaktoren.In the simple case, the components of the feature vectors by the local characteristics determined for each pixel educated. In the example above, the feature vek includes thus ten components from two isotropic and eight ani sotropic scaling factors.

Gemäß einer bevorzugten Ausführungsform der Erfindung erfolgt jedoch zunächst im Rahmen von Schritt 141 eine statistische Auswertung der zu den Bildpunkten ermittelten lokalen Merkma len und anschließend die Vektorenbildung 142 aus lokalen Er wartungswerten der einzelnen lokalen Merkmale. Für jedes loka le Merkmal wird gemäß Gleichung (6) der zugehörige lokale Er wartungswert <α< berechnet.
According to a preferred embodiment of the invention, however, a statistical evaluation of the local characteristics determined for the pixels is carried out first in step 141 and then the vector 142 is formed from local expected values of the individual local characteristics. The corresponding local expected value <α <is calculated for each local characteristic in accordance with equation (6).

Der Parameter k stellt dabei die Größe eines über die Bild punkte verschobenen Fensters zur Berücksichtigung benachbarter lokaler Merkmale dar. Bei den unten erläuterten Bildbeispielen hat sich eine Fenstergröße von k = 40 als günstig erwiesen. Für jeden Bildpunkt werden somit zehn Erwartungswerte gebil det, in denen die lokalen Merkmale der benachbarten Bildpunkte berücksichtigt sind. Diese statistische Bearbeitung der loka len Merkmale besitzt den Vorteil, daß die folgende Texturklas sifizierung damit erheblich weniger durch Begrenzungseffekte an den Bildrändern beeinflußt wird. Es hat sich gezeigt, daß die Grenzeffekte an den Bildrändern überhaupt nicht berück sichtigt werden müssen, um dennoch gute Segmentierungsergeb nisse zu erhalten.The parameter k represents the size of one over the image points shifted window to take into account neighboring local characteristics. In the image examples explained below a window size of k = 40 has proven to be favorable. Ten expected values are thus generated for each pixel Detects the local characteristics of the neighboring pixels are taken into account. This statistical processing of the loka len features has the advantage that the following texture class sification significantly less through limitation effects is influenced at the edges of the picture. It has been shown that the border effects at the edges of the picture are not taken into account at all must be considered in order to achieve good segmentation results to receive nits.

Mit der Ermittlung der Merkmalsvektoren aus den Skalierungs faktoren bzw. aus den Erwartungswerten der Skalierungsfaktoren endet die Merkmalserfassung 100. Zur weiteren Bildsegmentierung folgt nun die eigentliche Texturklassifizierung (Cluste ring) 200 gemäß Fig. 5.The feature detection 100 ends when the feature vectors are determined from the scaling factors or from the expected values of the scaling factors. The actual texture classification (cluster ring) 200 according to FIG. 5 now follows for further image segmentation.

2) Texture classification (clustering)

Die n Merkmalsvektoren _i bilden einen Satz X gemäß Gleichung (7).
The n feature vectors _i form a set X according to equation (7).

In einem ersten Schritt 210 werden zunächst eine endliche Zahl von im untersuchten Bild auftretenden Texturklassen betrach tet. Diese vorbestimmten Texturklassen werden anwendungsabhän gig jeweils vom Bediener definiert oder aus einem Speicher eingegeben. Jeder Texturklasse (Anzahl c) wird ein Index i (i = 1, . . ., c) zugeordnet. Die Definition der Texturklassen er folgt anwendungsabhängig aus Erfahrungswerten oder auch im Rahmen einer Optimierung, bei der die Bildsegmentierung mehr fach mit verschiedenen Klassenzahlen und -typen durchgeführt wird.In a first step 210 , a finite number of texture classes occurring in the examined image are first considered. These predetermined texture classes are defined depending on the application by the operator or entered from a memory. An index i (i = 1,..., C) is assigned to each texture class (number c). Depending on the application, the definition of the texture classes follows from empirical values or as part of an optimization in which the image segmentation is carried out several times with different class numbers and types.

Im Rahmen der erfindungsgemäß eingesetzten teilweisen Supervi sion wird nun davon ausgegangen, daß für eine bestimmte be grenzte Anzahl von Bildpunkten die Zuordnung zu einer bestimm ten Texturklasse bekannt ist. Bestimmten Bildpunkten bzw. Bildvektoren können somit bestimmte Label 1 bis c ("label") zugeordnet werden. Die übrigen Bildpunkte bzw. Bildvektoren bleiben ohne Label ("unlabeled"). Dies kann gemäß Gleichung (8) unter Bezug auf den oben eingeführten Satz X geschrieben werden:
In the context of the partial supervision used according to the invention, it is now assumed that the assignment to a certain texture class is known for a certain limited number of pixels. Certain pixels or image vectors can thus be assigned specific labels 1 to c ("label"). The remaining pixels or image vectors remain without a label ("unlabeled"). This can be written according to equation (8) with reference to the sentence X introduced above:

X = X^l ∪ X^u X = X ^l ∪ X ^u

In Gleichung (8) beziehen sich die hochgestellten Indizes je weils auf ein Label bzw. den nicht-bezeichneten Zustand ohne Label (u). Die tiefgestellten Indizes laufen von 1 bis n (s. Gleichung (7). Die Teilmenge X^u ist wesentlich größer als die Teilmenge X^l der Merkmalsvektoren, für die das Label bekannt ist.In equation (8), the superscript indices each relate to a label or the non-designated state without label (u). The subscripts run from 1 to n (see equation (7). The subset X ^u is significantly larger than the subset X ^{l of} the feature vectors for which the label is known.

Nach der Zuordnung der Bezugspunkte mit Label zu den bekannten Texturklassen (Schritt 220) folgen die eigentlichen Schritte des Clusterverfahrens, nämlich die Initialisierungsphase 230 und die Umsetzungsphase 240. Während der Initialisierungsphase 230 werden im Merkmalsraum sogenannte ellipsoidale Abstandsma ße oder ein euklidisches Abstandsmaß definiert, die für die jeweils einer Texturklasse zugeordneten Bezugspunkte bestimmte Maßstäbe festlegen. In der folgenden Umsetzungsphase werden die übrigen Bildpunkte auf der Grundlage der Abstandsmaße oder Metriken den verschiedenen Texturklassen zugeordnet.After the assignment of the reference points with the label to the known texture classes (step 220 ), the actual steps of the cluster process follow, namely the initialization phase 230 and the implementation phase 240 . During the initialization phase 230 , so-called ellipsoidal distance measures or a Euclidean distance measure are defined in the feature space, which define specific standards for the reference points assigned to a texture class. In the following implementation phase, the remaining pixels are assigned to the different texture classes on the basis of the distance dimensions or metrics.

(2a) Initialization phase

Die Initialisierungsphase 230 umfaßt die Schritte Schwerpunkt berechnung 231, Kovarianzmatrixberechnung 232, Eigenwertbe rechnung 233, Eigenvektorberechnung 234 und Metrikdefinition 235. Diese Schritte werden in dem hochdimensionalen Merkmals raum ausgeführt, der durch die Komponenten der Merkmalsvekto ren aufgespannt wird. Beim vorliegenden Beispiel ist der Merk malsraum somit 10-dimensional. Die Schritte der Initialisie rungsphase werden im folgenden unter Bezug auf die vereinfach te Darstellung in einem zweidimensionalen Mermalsraum gemäß Fig. 6 erläutert.The initialization phase 230 comprises the steps of center of gravity calculation 231 , covariance matrix calculation 232 , eigenvalue calculation 233 , eigenvector calculation 234 and metric definition 235 . These steps are carried out in the high-dimensional feature space that is spanned by the components of the feature vectors. In the present example, the feature space is thus 10-dimensional. The steps of the initialization phase are explained below with reference to the simplified representation in a two-dimensional drawing space according to FIG. 6.

Im Merkmalsraum stellen die Punkte einer Textur jeweils eine Texturklasse als zusammenhängende Gebilde dar, die auch als Cluster bezeichnet werden. Fig. 6 zeigt vier Cluster 61-64 für zwei willkürlich herausgegriffene Komponenten des Merkmals raums entsprechend den Erwartungswerten der Skalierungsfakto ren α₁ und α₂. Das Ziel der Initialisierungsphase 230 besteht darin, für einen zunächst unklassifizierten Punkt 65 (ohne Label) festzustellen, welchem Cluster und somit welcher Tex turklasse er zuzuordnen ist. Gemäß einem einfachen Zuordnungs verfahren könnte ein Punkt ohne Label einfach dem Cluster zu geordnet werden, zu dem er den geringsten euklidischen Abstand besitzt. Dies kann jedoch zu Fehlzuordnungen führen, falls nicht die Ausdehnung und Ausrichtung des Clusters mit berück sichtigt werden. Beim dargstellten Beispiel besitzt der Punkt 65 einen geringen Abstand zum Cluster 62, der jedoch eine ganz charakteristische Längserstreckung aufweist. Aus diesem Grunde kann es wahrscheinlicher sein, daß der Punkt 65 zum weiter entfernten Cluster 63 gehört, da diese Zuordnung mit der radialen Ausdehnung dieses Clusters besser kompatibel ist. In der Initialisierungsphase 230 wird daher für jeden Cluster, d. h. für jede Texturklasse, ein eigenes Abstandsmaß definiert, das von charakteristischen Eigenschaften der Clusterorientie rung und -gestalt abhängt.In the feature space, the points of a texture each represent a texture class as coherent structures, which are also referred to as clusters. Fig. 6 shows four clusters 61-64 for two arbitrarily selected components of the feature space corresponding to the expected values of the scaling factors α ₁ and α ₂ . The aim of the initialization phase 230 is to determine, for an initially unclassified point 65 (without a label), which cluster and thus which texture class it is to be assigned to. According to a simple assignment procedure, a point without a label could simply be assigned to the cluster to which it has the smallest Euclidean distance. However, this can lead to incorrect assignments if the expansion and alignment of the cluster are not taken into account. In the example shown, the point 65 is at a short distance from the cluster 62 , but has a very characteristic longitudinal extent. For this reason, the point 65 may be more likely to belong to the more distant cluster 63 , since this assignment is more compatible with the radial extent of this cluster. Therefore, in the initialization phase 230, a distance measure is separate for each cluster, that is, for each texture class, defined, the tion of characteristic properties of the Clusterorientie and shape dependent.

Zunächst erfolgt die Schwerpunktberechnung 231. Dabei wird für jeden Cluster oder jede Texturklasse i das Clusterzentrum mit dem Ortsvektor ⁱ im Merkmalsraum gemäß Gleichung (9)
The center of gravity calculation 231 is carried out first. For each cluster or texture class i, the cluster center with the location vector ⁱ in the feature space according to equation (9)

berechnet. Die Komponenten ( i|1, i|2, . . . i|d des Vektors ⁱ sind die Schwerpunktkoordinaten des durch die Merkmalsvektoren
calculated. The components (i | 1, i | 2,... I | d of the vector ⁱ are the centroid coordinates of the by the feature vectors

gebildeten Clusters. Dabei bezeichnet d die Anzahl der Dimensionen im Merkmalsraum. In Fig. 6 ist am Cluster 61 der Schwerpunkt symbolisch eingezeichnet. formed clusters. D denotes the number of dimensions in the feature space. In Fig. 6 the cluster 61, the focus is drawn symbolically.

Anschließend wird bei Schritt 232 für jeden Cluster i die Ko varianzmatrix Cⁱ berechnet, deren Elemente C i|rs durch Gleichung (10) gegeben sind.
The co-variance matrix C ⁱ , the elements C i | rs of which are given by equation (10), is then calculated in step 232 for each cluster i.

Die Elemente der Kovarianzmatrizen stellen eine Verknüpfung zwischen der Abweichung der Komponenten jedes Merkmalsvektors und dem Schwerpunkt des jeweiligen Clusters i her. Beim ver einfachten Fall gemäß Fig. 6 sind dies die Abweichungen in Abszissen- und Ordinatenrichtung. Die Matrizen Cⁱ sind symme trisch, so daß eine Diagonalisierung und Hauptachsentransfor mation möglich sind.The elements of the covariance matrices establish a link between the deviation of the components of each feature vector and the focus of the respective cluster i. When ver simplified case of FIG. 6, these are the variations in abscissa and ordinate. The matrices C ⁱ are symmetrical so that diagonalization and main axis transformation are possible.

Im folgenden Schritt 233 werden die Eigenwerte λ i|1, λ i|2, . . ., λ i|d der Matrix Cⁱ für jeden Cluster i berechnet. Die Quadratwurzeln der Eigenwerte entsprechen den Standardabweichungen der Punkt verteilungen { i|k}(k = 1, 2, . . ., n_k) in Bezug auf die jeweili gen Hauptachsen. Anschließend werden bei Schritt 234 die Eigenvektoren für jede Matrix Cⁱ berechnet. Die Eigenvektoren bilden die Matrizen Dⁱ gemäß Gleichung (11).
In the following step 233 , the eigenvalues λ i | 1, λ i | 2,. , , Λ i | d of the matrix C ⁱ i calculated for each cluster.. The square roots of the eigenvalues correspond to the standard deviations of the point distributions {i | k} (k = 1, 2,..., N _k ) with respect to the respective main axes. The eigenvectors for each matrix C ⁱ are then calculated in step 234 . The eigenvectors form the matrices D ⁱ according to equation (11).

Die Matrizen Dⁱ beschreiben den Übergang vom ursprünglichen, für alle Cluster gemeinsamen Koordinatensystem zu einem clu sterspezifischen Koordinatensstem, das durch die Hauptachsen der jeweiligen Cluster i aufgespannt wird. Dieses Koordinaten system ist beispielsweise am Cluster 64 in Fig. 6 illustriert. The matrices D ⁱ describe the transition from the original coordinate system common to all clusters to a cluster-specific coordinate system that is spanned by the main axes of the respective clusters i. This coordinate system is illustrated, for example, on cluster 64 in FIG. 6.

In der Initialisierungsphase 230 werden somit für jede im Rah men der partiellen Supervision eingeführten Texturklassen ein lokales Koordinatensystem eingeführt, dessen Achsen durch die Gestalt des jeweiligen Clusters geeicht sind. Die lokalen Eichungen liefern Informationen über die Orientierung und Ge stalt der jeweiligen Cluster und damit die Möglichkeit der De finition clusterspezifischer, im Merkmalsraum lokaler Ab standsmaße (ellipsoidale Metriken). Diese Abstandsmaße werden bei Schritt 235 definiert. Für jede Texturklasse bzw. für je den Cluster werden die Koordinaten der Clusterzentren, die Quadratwurzeln der Eigenwerte und die Eigenvektoren gespei chert. Damit ergeben sich N_var = i.(2.d + d²) Variablen ent sprechend der Anzahl der verschiedenen Cluster (Klassen) i und der Dimension des Merkmalsraumes d, da für jeden Cluster d Pa rameter λ_i, d Ortskoordinaten der Clusterzentren und d² Eigen vektoren berücksichtigt werden. Diese Variablen bestimmen die ellipsoidalen Abstandsmaße (Metriken) im Merkmalsraum, in dem die Clusterzuordnung der übrigen Punkte ohne Label durchge führt wird (siehe auch Gleichung (15)).In the initialization phase 230 , a local coordinate system is thus introduced for each texture class introduced in the context of partial supervision, the axes of which are calibrated by the shape of the respective cluster. The local calibrations provide information about the orientation and shape of the respective clusters and thus the possibility of defining cluster-specific distance dimensions that are local in the feature space (ellipsoidal metrics). These distance measures are defined in step 235 . The coordinates of the cluster centers, the square roots of the eigenvalues and the eigenvectors are saved for each texture class or for each cluster. This results in N _var = i. (2.d + d ² ) variables corresponding to the number of different clusters (classes) i and the dimension of the feature space d, since for each cluster d parameter λ _i , d location coordinates of the cluster centers and d ² eigenvectors are taken into account. These variables determine the ellipsoidal distance measurements (metrics) in the feature space in which the cluster assignment of the other points is carried out without a label (see also equation (15)).

Es ist darauf hinzuweisen, daß die hier beschriebene Defi nition des Abstandsmaßes mit den Schritten 232 bis 234 kein zwingendes Merkmal der Erfindung ist. Die Bildsegmentierung auf der Grundlage der bei der Merkmalserfassung 100 durch nichtlineare Filterung ermittelten Merkmalsvektoren ist auch mit einem einfacheren Abstandsmaß, z. B. auf der Basis des euklidischen Abstandes zwischen einem Bildpunkt und dem Schwerpunkt eines Clusters, realisierbar. Dementsprechend könnten die Schritte 232 bis 234 übersprungen werden (gestrichelter Pfeil in Fig. 5). Die Wahl des Abstands maßes wirkt sich jedoch auf die Qualität der Bildsegmentierung aus (s. Fig. 10, 11). It should be noted that the definition of the distance measure described here with the steps 232 to 234 is not a mandatory feature of the invention. The image segmentation on the basis of the feature vectors determined in the feature detection 100 by non-linear filtering can also be carried out with a simpler distance measure, e.g. B. on the basis of the Euclidean distance between a pixel and the center of gravity of a cluster. Accordingly, steps 232 to 234 could be skipped (dashed arrow in FIG. 5). The choice of the distance measure, however, affects the quality of the image segmentation (see Fig. 10, 11).

(2b) Implementation phase

In der Umsetzungsphase 240 erfolgt nun die Zuordnung bisher unklassifizierter Bildpunkte zu einem der Cluster jeweils auf der Grundlage des zu diesem Cluster gehörigen Abstandsmaßes. Hierzu werden zunächst bei Schritt 241 für jeden Bildpunkt ohne Label u|l (l = 1, 2, . . ., n_u) die Abstandsvektoren i*|l zu je dem der y Clusterzentren gemäß Gleichung (12) berechnet.
In the implementation phase 240 , previously unclassified pixels are now assigned to one of the clusters on the basis of the distance dimension belonging to this cluster. For this purpose, at step 241 the distance vectors i * | l to each of the y cluster centers are calculated according to equation (12) for each pixel without label u | l (l = 1, 2,..., N _u ).

Anschließend werden die Abstandsvektoren i*|l in die Koordina tensysteme der Hauptachsen jedes Clusters transformiert (Schritt 242). Dies erfolgt gemäß Gleichung (13) unter Verwen dung der Übergangsmatrizen Dⁱ.
The distance vectors i * | l are then transformed into the coordinate systems of the main axes of each cluster (step 242 ). This is done according to equation (13) using the transition matrices D ⁱ .

Im Ergebnis liegen für jeden noch nicht klassifizierten Bild punkt c Abstandsvektoren entsprechend den c lokalen Koordina tensystemen der Cluster vor. In jedem Koordinatensystem werden die Komponenten der Vektoren i|l unter Verwendung der Eigenwer te der jeweiligen lokalen Kovarianzmatrix Cⁱ in Bezug auf die Standardabweichungen jedes Clusters kalibriert (Schritt 243).As a result, c distance vectors corresponding to the c local coordinate systems of the clusters are available for each unclassified pixel. In each coordinate system, the components of the vectors i | l are calibrated using the eigenvalues of the respective local covariance matrix C ⁱ with respect to the standard deviations of each cluster (step 243 ).

Diese Kalibrierung erfolgt gemäß Gleichung (14):
This calibration is carried out according to equation (14):

Auf der Basis der kalibrierten Komponenten werden die Abstände jedes zu klassifizierenden Bildpunktes zu jedem der i Cluster zentren gemäß Gleichung (15) berechnet (Schritt 244).
On the basis of the calibrated components, the distances of each pixel to be classified from each of the i cluster centers are calculated in accordance with equation (15) (step 244 ).

Schließlich wird der Merkmalsvektor u|l (bzw. der zugehörige Bildpunkt) dem Cluster oder der Texturklasse zugeordnet, zu der die Größe Δ i|l den geringsten Wert besitzt (Schritt 245). Im Ergebnis ist die Menge sämtlicher Bildpunkte vollständig klas sifiziert, d. h. jeder Bildpunkt ist einem Cluster oder einer Texturklasse zugeordnet.Finally, the feature vector u | l (or the associated pixel) is assigned to the cluster or the texture class for which the size Δ i | l has the lowest value (step 245 ). As a result, the set of all pixels is fully classified, ie each pixel is assigned to a cluster or a texture class.

Falls die Klassifizierung mit einem einfachen euklidischen Ab stand erfolgt, umfaßt Schritt 241 die Berechung der Vektoren von einem Bildpunkt zu jedem Schwerpunkt der Cluster. An schließend kann direkt zu Schritt 241 übergegangen werden.If the classification is done with a simple Euclidean distance, step 241 includes calculating the vectors from one pixel to each center of gravity of the clusters. You can then proceed directly to step 241 .

(3) evaluation

Im Rahmen der sich anschließenden Auswertung 300 (s. Fig. 2) erfolgt nun ein Segmentierungsschritt, bei dem Bildpunkte, die einem gemeinsamen Cluster zugeordnet worden sind, mit einem gemeinsamen Label versehen, gemeinsam abgespeichert und/oder durch eine Falschfarbendarstellung in einer Anzeige des verar beiteten Bildes markiert werden. Die zu einer Texturklasse ge hörigen Bildpunkte lassen auch ohne weiteres eine zu dieser Segmentierung simultane Größenbestimmung des Teilbereiches des Bildes, der durch eine Textur gebildet wird, nach einem der an sich bekannten numerischen Auswertungsverfahren zu. Weitere Schritte bei der Auswertung 300 sind die Weiterleitung der Texturdaten an verschiedene, anwendungsabhängig gestaltete Zusatzprozessoren und/oder Anzeigemittel. Ein Teilbereich kann geschlossen sein oder aus mehreren, voneinander getrennten Ab schnitten bestehen. In the course of the subsequent evaluation 300 (see FIG. 2), a segmentation step now takes place, in which pixels which have been assigned to a common cluster are provided with a common label, stored together and / or by means of a false color representation in a display of the process marked image. The pixels belonging to a texture class also permit a size determination of the partial area of the image which is formed by a texture, which is simultaneous with this segmentation, according to one of the known numerical evaluation methods. Further steps in the evaluation 300 are the forwarding of the texture data to various additional processors and / or display means designed according to the application. A partial area can be closed or consist of several, separate sections.

Es kann im Rahmen der Auswertung 300 auch die Erfüllung eines Qualitätsmaßes überprüft und bei einem negativen Ergebnis ein Rücksprung zur Merkmalserfassung 100 oder zur Texturklassifi zierung 200 unter Einstellung neuer Parameter vorgesehen als. Als Qualitätsmaß dienen beispielsweise richtig klassifizierte, vorab bekannte Bildpunkte. Hierzu kann die oben erläuterte Verfahrensweise dahingehend modifiziert werden, daß bei Schritt 220 nicht alle bekannten Bildpunkte berücksichtigt werden und in die folgende Initialisierungsphase 230 eingehen. Mit einem ersten Teil der bekannten Bildpunkte mit bekannter Texturklassifizierung kann die Initialisierung durchgeführt werden. Mit den übrigen bekannten Bildpunkten kann dann das Ergebnis der Umsetzungsphase 240 überprüft werden.Within the scope of the evaluation 300 , the fulfillment of a quality measure can also be checked and, in the case of a negative result, a return to the feature detection 100 or to the texture classification 200 provided by setting new parameters as Correctly classified, previously known pixels serve as a quality measure, for example. For this purpose, the procedure explained above can be modified such that not all known pixels are taken into account in step 220 and are included in the following initialization phase 230 . The initialization can be carried out with a first part of the known pixels with known texture classification. The result of the implementation phase 240 can then be checked with the other known pixels.

B) Experimental results

Im folgenden werden unter Bezug auf die Fig. 1 und 7 bis 11 Ergebnisse einer erfindungsgemäßen Bildsegmentierung am Bei spiel von Grauwertbildern natürlicher oder künstlicher Textu ren gezeigt. Fig. 1 zeigt ein 256.256-Pixelbild mit vier na türlichen Texturen, die bereits oben benannt wurden (Fig. 1a). Es handelt sich um die Brodatz-Texturen D03, D90, D93 und D51. Fig. 1b zeigt das Segmentierungsergebnis. 97.3% der Bildpunkte wurden richtig klassifiziert. Es zeigt sich ferner, daß die Grenzen zwischen den Texturen relativ gut wiedergegeben sind.In the following, with reference to FIGS. 1 and 7 to 11, results of an image segmentation according to the invention are shown on the example of gray value images of natural or artificial textures. Fig. 1 shows a 256,256-pixel image with four natural textures that have already been named above ( Fig. 1a). These are the Brodatz textures D03, D90, D93 and D51. FIG. 1b shows the segmentation result. 97.3% of the pixels were classified correctly. It also shows that the boundaries between the textures are reproduced relatively well.

Fig. 7 zeigt weitere Brodatz-Texturen in einem 128.256- Pixelbild. Die Originaltexturen D55, D68 sind in Fig. 7a dar gestellt. Fig. 7b zeigt das mit den Parametern a₁ = 6, a₂ = 12 und ϕ = 45° gefilterte Bild der anisotropen Skalie rungsfaktoren. Nach einer Glättung entsprechend dem obenge nannten Schritt 141 ergibt sich Fig. 7c. Figure 7 shows further Brodatz textures in a 128,256 pixel image. The original textures D55, D68 are shown in Fig. 7a. Fig. 7b shows the filtered with the parameters a ₁ = 6, a ₂ = 12 and ϕ = 45 ° image of the anisotropic scaling factors. After smoothing in accordance with the above-mentioned step 141 , FIG. 7c results.

Die Bildfolge in Fig. 8 illustriert die erfindungsgemäße Bild segmentierung am Beispiel künstlicher Texturen. Fig. 8a zeigt zwei künstliche Texturen, von denen die erste Textur in der linken Bildhälfte aus Dreiecken und die zweite Textur in der rechten Bildecke aus Pfeilen besteht. Die Texturen besitzen dieselbe Statistik zweiter Ordnung und sind daher unter Ver wendung lokaler linearer Merkmalserfassungen nicht unter scheidbar (s. B. Julesz in "Rev. Mod. Phys.", Bd. 63, 1991, S. 735 ff.). In Fig. 8b illustrieren die weißen, aus Klar heitsgründen verstärkt gedruckten, weißen Bildpunkte die Be zugspunkte bzw. Bildpunkte mit Label, die zur Initialisierung des Clusterverfahrens verwendet werden. Es handelt sich um 655 Pixel, die zufällig verteilt ausgewählt wurden. Der Anteil der Bezugspunkte liegt somit bei 1% in Bezug auf die Gesamt punktzahl (diese Verhältnisse wurden auch bei den übrigen Bei spielen eingestellt). Schließlich zeigt Fig. 8c, daß trotz der identischen Statistiken zweiter Ordnung mit dem erfindungsge mäßen Verfahren eine zuverlässige Bildsegmentierung erzielbar ist. 98.2% der Bildpunkte sind richtig klassifiziert worden.The image sequence in FIG. 8 illustrates the image segmentation according to the invention using the example of artificial textures. Fig. 8a shows two artificial textures, of which the first texture in the left half of triangles, and the second texture in the right corner consists of arrows. The textures have the same second-order statistics and are therefore not distinguishable using local linear feature acquisitions (see, for example, Julesz in "Rev. Mod. Phys.", Vol. 63, 1991, pp. 735 ff.). In FIG. 8b, the white white pixels, which are printed for clarity, illustrate the reference points or pixels with a label that are used to initialize the cluster method. It concerns 655 pixels, which were chosen randomly distributed. The share of the reference points is therefore 1% in relation to the total number of points (these relationships were also set for the other examples). Finally, FIG. 8c shows that, despite the identical second-order statistics, reliable image segmentation can be achieved with the method according to the invention. 98.2% of the pixels have been correctly classified.

Ein weiterer Satz von vier natürlichen Brodatz-Texturen (D96, D55, D38 und D77) ist in Fig. 9a gezeigt. Die Fig. 9b und 9c illustrieren die verschiedenen Ergebnisse bei Anwendung ver schiedener Abstandsmaße zur Texturklassifizierung. Bei der An wendung ellipsoidaler Metriken ergibt sich gemäß Fig. 9b ein Anteil von 97.1% richtig klassifizierter Punkte. Wird hingegen zur Texturklassifizierung lediglich eine euklidische Metrik verwendet, so sind gemäß Fig. 9c lediglich 94.9% der Bildpunk te richtig klassifiziert. Damit ist ein gegenüber Fig. 9b zwar verschlechtertes Segmentierungsergebnis erzielt, das jedoch für verschiedene Anwendungen dennoch ausreichend gut ist.Another set of four natural Brodatz textures (D96, D55, D38 and D77) is shown in Fig. 9a. FIGS. 9b and 9c illustrate the different results when using different spacing measures for texture classification. When using ellipsoidal metrics, there is a proportion of 97.1% of correctly classified points according to FIG. 9b. If, on the other hand, only a Euclidean metric is used for texture classification, only 94.9% of the pixels are correctly classified according to FIG. 9c. This results in a segmentation result which is worse than in FIG. 9b, but which is nevertheless sufficiently good for various applications.

Wird nun das Texturbild gemäß Fig. 9a mit einem Rauschen über lagert, so ergibt sich Fig. 10a. Das Rauschen ist ein additives weißes Gauß-Rauschen mit einem Rauschpegel entspre chend einer vorbestimmten Standardabweichung σ_rausch. Bei der Darstellung gemäß Fig. 10a beträgt σ_rausch = 0.1.ΔI, wobei ΔI den Intensitätsbereich des ungestörten Bildes bezeichnet.If the texture image according to FIG. 9a is now superimposed with noise, FIG. 10a results. The noise is an additive white Gaussian noise with a noise level corresponding to a predetermined standard deviation σ _noise . In the illustration according to Fig. 10a is σ = 0.1.ΔI _noise, wherein .DELTA.I denotes the intensity range of the unperturbed image.

Für das verrauschte Bild ergibt sich bei Anwendung ellipsoida ler Metriken gemäß Fig. 10b immer noch ein akzeptables Segmen tierungsergebnis, wohingegen bei Anwendung einer euklidischen Metrix gemäß Fig. 10c das Ergebnis stark gestört ist. Bei Er höhung des Rauschanteils auf σ_rausch = 0.2.ΔI zeigt sich eine hohe Stabilität der Bildsegmentierung, falls diese auf den ellipsoidalen Metriken basiert (Fig. 10d). Die Bildsegmentie rung auf der Basis der euklidischen Metrik zeigt jedoch eine weitere Verschlechterung (Fig. 10e).For the noisy image, when using ellipsoidal metrics according to FIG. 10b, there is still an acceptable segmentation result, whereas when using an Euclidean metrix according to FIG. 10c, the result is severely disturbed. Increasing the noise component to σ _noise = 0.2.ΔI shows a high stability of the image segmentation if this is based on the ellipsoidal metrics ( Fig. 10d). However, the image segmentation based on the Euclidean metric shows a further deterioration ( Fig. 10e).

Der in Fig. 10 visualisierte Rauscheffekt wird auch in der Kurvendarstellung gemäß Fig. 11 illustriert. Fig. 11 zeigt die Zahl der richtig klassifizierten Bildpunkte (ccp) in Prozent in Abhängigkeit vom Rauschpegel σ_rausch. Die durchgezogene Linie entspricht dem Segmentierungsergebnis bei Anwendung der ellip soidalen Metriken, wohingegen die gestrichelte Linie dem Er gebnis bei Anwendung der euklidischen Metrik entspricht. Es zeigt sich die wesentlich höhere Stabilität der Bildsegmentie rung im ersten Fall.The noise effect visualized in FIG. 10 is also illustrated in the curve representation according to FIG. 11. Fig. 11 shows the number of correctly classified pixels (ccp) in percent as a function of noise level σ _noise. The solid line corresponds to the segmentation result when using the elliptical metrics, whereas the dashed line corresponds to the result when using the Euclidean metric. It shows the much higher stability of the image segmentation in the first case.

Die Bildbeispiele verdeutlichen die folgenden wesentlichen Vorteile der erfindungsgemäßen Bildsegmentierung. Zunächst ist darauf hinzuweisen, daß sämtliche Texturerkennungen lediglich auf der Kenntnis des Merkmalsbildes (Merkmalsvektoren) basie ren. Bei der Bildsegmentierung kommt es nicht auf die konkre ten Bildpunktkoordinaten an, sondern lediglich auf die Eigenschaften der Merkmalsvektoren. Das Verfahren ist in Bezug auf die Clusterzuordnung parameterfrei. Dies stellt einen wesentlichen Unterschied gegenüber den bei herkömmlichen Textur klassifizierungsverfahren zu optimierenden Parametern dar.The image examples illustrate the following essential ones Advantages of the image segmentation according to the invention. First is to point out that all texture recognition only based on the knowledge of the feature image (feature vectors) ren. When it comes to image segmentation, it is not a question of the specific pixel coordinates, but only to the Properties of the feature vectors. The procedure is related on the cluster assignment without parameters. This represents an essential one Difference from that of conventional texture classification methods to be optimized parameters.

C) segmentation device

Die in Fig. 12 schematisch illustrierte erfindungsgemäße Seg mentierungsvorrichtung umfaßt im einzelnen eine Meßeinrichtung 1, mit der die zu segmentierende Punkteverteilung erfaßt wird, eine Filtereinrichtung 2, die dazu ausgelegt ist, die gemesse ne Punkteverteilung entsprechend den oben erläuterten Filter funktionen auszuwerten und hierzu Abtastmittel, Zählmittel und Mittel zur Erfassung bzw. statistischen Bearbeitung von Ska lierungsfaktoren umfaßt, eine Eingabeeinrichtung 3, an der die Informationen zur teilweisen Supervision der Bildsegmentie rung, also die vorbestimmten Texturen und die Gruppe der Be zugspunkte mit Label, eingegeben werden, eine Recheneinrich tung 4 zur Ermittlung und Auswertung von Abstandsmaßen für die Texturmerkmale aller übrigen Punkte und eine Ausgabeeinrich tung 5 zur Anzeige, Zwischenspeicherung oder Weiterleitung der Textursegmente. Weitere Komponenten einer erfindungsgemäßen Vorrichtung, wie z. B. eine Steuerungseinrichtung sind nicht gezeigt. Die Filtereinrichtung 2 und Recheneinrichtung 4 wer den vorzugsweise durch einen gemeinsamen Computer gebildet.The segmentation device according to the invention, illustrated schematically in FIG. 12, comprises in particular a measuring device 1 with which the point distribution to be segmented is detected, a filter device 2 which is designed to evaluate the measured point distribution in accordance with the filter functions explained above and for this purpose scanning means, Counting means and means for recording or statistical processing of scaling factors comprises an input device 3 , on which the information for partial supervision of the image segmentation, ie the predetermined textures and the group of reference points with a label, are input, a computing device 4 for Determination and evaluation of distance dimensions for the texture features of all other points and an output device 5 for displaying, temporarily storing or forwarding the texture segments. Other components of a device according to the invention, such as. B. a control device are not shown. The filter device 2 and computing device 4 are preferably formed by a common computer.

Claims

1. Method for segmenting a point distribution with a plurality of points in partial areas, each with different structural elements, in which a feature vector ( _i ) is determined for each point ( _i ) and each point is assigned to one of the partial areas on the basis of a distance measure, characterized in that the partial areas are formed by a predetermined number of known classes of structural elements and the components of the feature vectors are determined on the basis of a plurality of isotropic and anisotropic scaling factors (α) belonging to the respective point, the distance dimension and the assignment to the partial areas being determined The following steps are planned:

a) for a predetermined plurality of reference points (l | i) of the point distribution, for which the assignment to one of the structural elements is given, the associated feature vectors (l | i) are determined, and texture classes correspond to the feature vectors of the reference points formed according to the underlying structural elements,
b) for all other points (u | i) of the point distribution, which are not reference points, the distance of the respective point to each of the texture classes is determined on the basis of a distance measure in the feature space, which is spanned by the components of the feature vectors,
c) the points (u | i) are each assigned to the texture class to which the smallest distance has been determined, and
d) the partial areas of the segmentation are formed from the reference points belonging in each case to a texture class and the points assigned in step d).

2. The method according to claim 1, in which, as components of the feature vectors ( _i ), expected values of a plurality of scaling factors are determined.

3. The method according to claim 1 or 2, wherein the to one Point determined anisotropic scaling factors in various with those coordinate systems rotated relative to each other be communicated.

4. The method according to any one of the preceding claims, in which in step b) for each texture class as a local distance measure an ellipsoidal distance measure is used.

5. The method according to any one of claims 1 to 4, in which for Step b) enter all texture classes as a common distance measure Euclidean distance measure is used.

6. The method according to any one of the preceding claims, in which the segmented sub-areas are displayed and buffered and / or further processed.

7. The method according to claim 6, wherein the simultaneous display of the segmented subareas a quantitative recording of the The size of the subareas takes place.

8. Image segmentation device for segmenting a point distribution from a plurality of points, with a measuring device ( 1 ) for detecting the point distribution, a filter device ( 2 ) for scanning and filtering the point distribution, an input device ( 3 ), a computing device ( 4th ) and an output device ( 5 ), the filter, input and computing devices ( 2 , 3 , 4 ) being designed to carry out a method according to one of claims 1 to 8.

9. Use of a method or a device according to one of the preceding claims for processing
Images of medical or biological objects,
Pictures of materials,
Distribution of points of complex static systems,
Point distributions, which represent the system states of complex, dynamic systems, and
Time patterns of dynamic systems.