AT505631B1

AT505631B1 - PROCESS FOR EXTRACTION OF EDGES

Info

Publication number: AT505631B1
Application number: AT0100407A
Authority: AT
Original assignee: Advanced Comp Vision Gmbh Acv
Priority date: 2007-06-28
Filing date: 2007-06-28
Publication date: 2009-03-15
Also published as: AT505631A4

Description

2 AT 505 631 B12 AT 505 631 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.The invention relates to a method according to the preamble of claim 1.

Segmentierungsalgorithmen trennen relevante Daten von irrelevanten Daten und erkennen Bildmerkmale (Konturen, Regionen, Volumen), die unter bestimmten Homogenitätskriterien inhaltlich zusammen gehören. Die Detektion von Segmenten in einem Bild kann durch mehrere Algorithmustypen durchgeführt werden:Segmentation algorithms separate relevant data from irrelevant data and recognize image features (contours, regions, volumes) that belong together under certain homogeneity criteria. The detection of segments in an image can be performed by several types of algorithms:

Kantenorientierte Verfahren: Kantenoperatoren versuchen Übergänge zwischen Bildbereichen homogener Intensität zu erkennen. Die bekanntesten Kantenoperatoren sind das Sobel, Lapla-ce und das Canny-Verfahren. Kantendetektion ist oft ein Vorverarbeitungschritt für regionorientierte oder modellbasierte Segmentierungsverfahren.Edge-oriented methods: Edge operators try to detect transitions between image areas of homogeneous intensity. The most popular edge operators are the Sobel, Lapla-ce and the Canny method. Edge detection is often a preprocessing step for region-oriented or model-based segmentation techniques.

Regionenorientierte Verfahren: Diese Verfahren betrachten bestimmte Pixelmengen als zusammenhängende Objekte. Schwellwertverfahren wie das „Region Growing“ und „Split and Merge“ sind typische Beispiele. Diese Verfahren haben den Nachteil, dass lokale Bildstörungen oft zur inkorrekt segmentierten Kanten führen können.Regions-Oriented Techniques: These methods look at certain sets of pixels as contiguous objects. Threshold methods such as "region growing" and "split and merge" are typical examples. These methods have the disadvantage that local image disturbances can often lead to incorrectly segmented edges.

Modellbasierte Verfahren: die Beschreibung von Objektkonturen oder Kontursegmenten kann auch mit Hilfe von aktiven Konturen (auch „snakes“ gennant) realisiert werden (Kass et al.: Snakes: Active contour models, 1987). Aktive Konturen sind parametrische Kurven und basieren auf der Minimierung einer Energiefunktion die hauptsächlich aus zwei Ausdrücken besteht: die Innere Energie (Energie des Modells) und die Äußere Energie (wie gut das gegebene Model die detektierten Bildmerkmale beschreibt). Aktive Konturen können Vorwissen (wie etwa die Form der gesuchten Kontur sein sollte) berücksichtigen und können trotz hohen Bildrauschens Konturen guter Qualität extrahieren. Aktive Konturen können nicht mit topologischen Veränderungen umgehen: sie sind nicht in der Lage sich aufzuteilen, wenn ein Segment aus mehreren Teilen besteht. Weiterhin sind sie auf den Initialisierungszustand empfindlich, eine Initialisierung die weiter vom tatsächlichen Kantensegment entfernt ist kann nicht zur gewünschten Lösung führen.Model-based methods: the description of object contours or contour segments can also be realized by means of active contours (also called "snakes") (Kass et al .: Snakes: Active Contour Models, 1987). Active contours are parametric curves and are based on minimizing an energy function consisting mainly of two expressions: the internal energy (energy of the model) and the external energy (how well the given model describes the detected image features). Active contours can take into account prior knowledge (such as the shape of the contour you are looking for) and can extract contours of good quality despite high image noise. Active contours can not deal with topological changes: they are unable to split when a segment consists of several parts. Furthermore, they are sensitive to the initialization state, an initialization that is farther from the actual edge segment can not lead to the desired solution.

Deformierbare Modelle repräsentiert durch die Level-Set Methode basieren auf einem geometrischen Ansatz (Osher and Sethian, 1988). Es ist ein mathematisches Verfahren um geometrische Objekte numerisch zu beschreiben. Der Vorteil der Methode liegt darin, dass man Kurven auf einem räumlich festen Koordinatensystem berechnen kann, ohne eine Parametrisierung dieser Objekte verwenden zu müssen.Deformable models represented by the level-set method are based on a geometric approach (Osher and Sethian, 1988). It is a mathematical method to numerically describe geometric objects. The advantage of this method is that you can calculate curves on a spatially fixed coordinate system without having to use a parameterization of these objects.

Texturorientierte Verfahren: die Aufteilung eines Bildes in Bereiche die sich aufgrund einheitlicher Texturmerkmale wie zum Beispiel die Textur-Energie von dem Bildhintergrund und anderen Objekten unterscheiden.Texture-oriented methods: the division of an image into areas that differ from the image background and other objects due to uniform texture features such as the texture energy.

Das angemeldete Verfahren ist ein kantenorientiertes Verfahren, wobei der Kantensegmentierungsschritt nur von den extrahierten Bildmerkmalen (Gradienten) getrieben wird. Anders als alle für uns bekannte Methoden, arbeitet es direkt an einem Gradientenbild ohne Verwendung eines Schwellwerts oder Binarisierung. Methoden für Konturverfolgung existieren für binäre Bilder (.contour tracing’) wobei die Nachbarschaft jedes Konturpixels geprüft wird und dementsprechend die Kontur ergänzt wird.The pending method is an edge-oriented method wherein the edge segmentation step is driven only by the extracted image features (gradients). Unlike all methods known to us, it works directly on a gradient image without using a threshold or binarization. Contour tracing methods exist for binary images (contour tracing) where the neighborhood of each contour pixel is checked and the contour is complemented accordingly.

Die DE 10 2004 009 143 A1 und die WO 2005/008569 A1 beschreiben Verfahren, die auf einer iterativen Verfeinerung einer Initialsegmentierung mittels aus einem Bild abgeleiteten Größen beruhen (Gradientenorientierung bzw. Gradienten-Vektorflußfeld).DE 10 2004 009 143 A1 and WO 2005/008569 A1 describe methods which are based on an iterative refinement of an initial segmentation by means of variables derived from an image (gradient orientation or gradient vector flux field).

Die Methode gemäß der DE 10 2004 009 143 A1 erzielt eine Segmentierung oder Grenzenbestimmung, wo eine geschlossene Kurve als Grenze entsteht. Eine geometrische Form wird als Initialisierung für ein ROI (region-of-interest), manuell oder automatisch bestimmt. Innerhalb der Region, von einem Punkt ausgehend, wird ein Regionenwachstum-Algorithmus (region gro- 3 AT 505 631 B1 wing) verwendet um eine Initialsegmentierung zu erhalten. Für eine Mehrzahl von Orten wird die Randrichtung relativ zur Bildgradientenrichtung bestimmt. Die Richtungsinformation wird für eine iterative Anpassung/Verbesserung verwendet, wobei eine Aufwandfunktion minimiert wird und dadurch die Initialsegmentierung verfeinert wird.The method according to DE 10 2004 009 143 A1 achieves a segmentation or boundary determination, where a closed curve arises as a boundary. A geometric shape is determined as an initialization for a ROI (region-of-interest), manually or automatically. Within the region, starting from a single point, a region growth algorithm (region large) is used to obtain an initial segmentation. For a plurality of locations, the edge direction is determined relative to the image gradient direction. The directional information is used for iterative fitting / improvement, minimizing an expense function and thereby refining the initial segmentation.

Die Methode gemäß der WO 2005/008569 A1 beruht auf einer Initialkontur (Seite 10), die durch Segmentierung des Zellenkernes erhalten wird. Die Initialkontur wird anhand eines genäherten Gradienten-Vektorflußfeldes iterativ verfeinert, wobei ein parametrisches Konturmodell verwendet wird.The method according to WO 2005/008569 A1 is based on an initial contour (page 10), which is obtained by segmentation of the cell nucleus. The initial contour is iteratively refined using an approximated gradient vector flow field using a parametric contour model.

Die zuverlässige Extraktion von zusammenhängenden Kantensegmenten bzw. Kanten aus digitalen Bildern ist ein relevantes Basisthema der Bildverarbeitung. Kanteninformation kann relevante Hinweise über Konturen, d. h. über die Grenzen zwischen Objekten oder von Objekten zum Hintergrund, liefern oder Texturen im Bild charakterisieren. Die abgeleiteten Kontur-und Texturinformationen sind essentielle Informationsträger und wichtige Basismerkmale um Segmentierung, Registrierung oder ansichtsbasierte Objekterkennung realisieren zu können.The reliable extraction of contiguous edge segments or edges from digital images is a relevant basic topic of image processing. Edge information can provide relevant hints about contours, i. H. across the boundaries between objects or objects to the background, deliver or characterize textures in the image. The derived contour and texture information are essential information carriers and important basic features to realize segmentation, registration or view-based object recognition.

Die Problematik der zuverlässigen Kantenextraktion wird durch Störungen wie Rauschen, ungleichmäßige Beleuchtung oder inhomogenen Hintergrund erschwert. Kanten sind hochfrequente Bildanteile wie Rauschsignale. Die Schwierigkeit besteht nun darin, die hochfrequenten Bildanteile, die durch tatsächliche Kanten verursacht worden sind, auch diesen zuzuordnen und das Rauschen als solches zu erkennen. Die meisten Kantenextraktionsverfahren verwenden eine Suchmethode oder eine Detektionsmethode der Nulldurchgänge. Suchmethoden lokalisieren und segmentieren Maxima und Minima im Gradientenbild (erste Ableitung der Intensitätsverteilung im Bild). Methoden mit Nulldurchgangdetektion verwenden die zweite Ableitung der Bildintensitäten. Beide Verfahren benötigen mehrere Nachbearbeitungsschritte, wie Binarisie-rung unter Verwendung eines oder mehrerer Schwellwerte und Eliminierung von falschen Stellen mit Gradientenextrema. Das Ergebnis eines Kantenextraktionsverfahrens ist ein binäres Bild. Zusätzlich, um eine Vektorrepräsentation, d. h. eine Liste diskreter Punkte, geordnet entlang der Kantensegmente zu erzielen, müssen die Kantensegmente noch auf Segmente mit der Breite von 1 Pixel reduziert und verfolgt werden.The problem of reliable edge extraction is hampered by disturbances such as noise, uneven lighting or inhomogeneous background. Edges are high-frequency image components such as noise signals. The difficulty now is to assign the high-frequency image components which have been caused by actual edges to this and to recognize the noise as such. Most edge extraction methods use a zero crossing search method or detection method. Search methods locate and segment maxima and minima in the gradient image (first derivative of the intensity distribution in the image). Zero-crossing detection methods use the second derivative of the image intensities. Both methods require several post-processing steps, such as binarization using one or more thresholds and elimination of false digits with gradient extrema. The result of an edge extraction process is a binary image. In addition, to make a vector representation, i. H. To obtain a list of discrete points ordered along the edge segments, the edge segments must still be reduced to 1-pixel width segments and tracked.

Ziel der Erfindung ist die Erstellung einer Methode für Kantenextraktion, die direkt in einem Gradientenbild ohne Binarisierung bzw. Einsatz von Schwellwerten auf eine effiziente Weise eine vektorielle Repräsentation der Kanten liefert, robust gegen Störeffekte wie Bildrauschen ist und mit geringem Rechenaufwand durchführbar ist.The aim of the invention is the creation of a method for edge extraction, which provides directly in a gradient image without binarization or use of thresholds in an efficient way, a vectorial representation of the edges, is robust against noise effects such as image noise and can be performed with little computational effort.

Diese Ziele werden bei einem Verfahren der eingangs genannten Art mit den im Kennzeichen des Anspruches 1 angeführten Merkmalen erreicht.These objects are achieved in a method of the type mentioned above with the features mentioned in the characterizing part of claim 1.

Das erfindungsgemäße Verfahren ermöglicht eine fehlertolerante Kurvenapproximation der Gradienten mittels lokaler Statistik im Bildraum. Die Kurvenapproximation ergibt Kantensegmente auf eine robuste Weise in Echtzeit.The method according to the invention enables a fault-tolerant curve approximation of the gradients by means of local statistics in the image space. The curve approximation provides edge segments in a robust manner in real time.

Bei der erfindungsgemäßen Vorgangsweise wird keine Bedingung für die Eigenschaften der Grenzen (geschlossen, offen) festgelegt. Es wird ferner keine Region-Initialisierung verwendet oder benötigt. Es wird auch Initialsegmentierung benötigt. Das erfindungsgemäße iterative Verfahren erzeugt inkrementeil einen Satz verbundener, stückweise geradliniger Liniensegmente aus einem Gradientenbild. Die Repräsentation der Kantensegmente entspricht einer Vektorrepräsentation (Stützpunkte), im Gegensatz zur diskreten Pixelrepräsentation. Es wird die lokale Orientierung der Bildgradienten auch für eine Mehrzahl von Orten bestimmt. Diese Information wird aber in einem iterativen Vorgang zur inkrementellen Erstellung von Kurvenstützpunkten entlang der gerechneten Richtungen verwendet. Diese Vorgangsweise stellt keine iterative Anpassung einer Initialform zu Bildgradienten dar. 4 AT 505 631 B1In the procedure according to the invention, no condition is defined for the properties of the boundaries (closed, open). Furthermore, no region initialization is used or needed. It also requires initial segmentation. The iterative method of the invention incrementally generates a set of connected, piecewise linear line segments from a gradient image. The representation of the edge segments corresponds to a vector representation (vertices), in contrast to the discrete pixel representation. The local orientation of the image gradients is also determined for a plurality of locations. However, this information is used in an iterative process for the incremental creation of curve bases along the calculated directions. This procedure does not represent an iterative adaptation of an initial form to image gradients. 4 AT 505 631 B1

Erfindungsgemäß wird keine Kontur-Initialisierung verwendet oder benötigt. Das erfindungsgemäße Verfahren beschreibt die inkrementelle Erstellung eines parametrischen Konturmodells, wobei keine Initialkontur benötigt und keine iterative Verfeinerung/Optimierung durchgeführt wird.According to the invention, no contour initialization is used or needed. The method according to the invention describes the incremental creation of a parametric contour model, wherein no initial contour is required and no iterative refinement / optimization is carried out.

Eine rechnerisch einfache Vorgangsweise für die Anwendung eines Ähnlichkeitsmaßes wird mit den Merkmalen des Anspruches 3 erreicht. Bei dieser Vorgangsweise erhält man klare Aussagen hinsichtlich der Zusammengehörigkeit von Kantensegmenten. Diese Vorgangsweise wird durch Anwendung der Merkmale des Anspruches 4 gestützt. Für eine rasche Rechnung, insbesondere in Echtzeit, sind die Merkmale des Anspruches 6 von Vorteil. Die derart vorgenommene Ermittlung liefert exakte Ergebnisse, die der Realität gut entsprechen. Für die Durchführung des Verfahrens zeigte es sich in der Praxis als vorteilhaft, wenn die Merkmale der Ansprüche 7 bis 9 verwirklicht sind, da damit die Vorgangsweise vereinfacht und praxisgerecht ausgelegt werden kann.A computationally simple procedure for the application of a similarity measure is achieved with the features of claim 3. In this procedure, one obtains clear statements regarding the affiliation of edge segments. This procedure is supported by application of the features of claim 4. For a quick calculation, in particular in real time, the features of claim 6 are advantageous. The determination made in this way produces exact results that correspond well with reality. For the implementation of the method, it has been found in practice to be advantageous if the features of claims 7 to 9 are realized, since thus the procedure can be simplified and interpreted practice-oriented.

Die Vorgangsweise gemäß den Merkmalen der Ansprüche 10 und 12 betreffen Abbruchkriterien, um die Vorgangsweise an die Praxis anzupassen bzw. um die wesentlichen Einzelheiten des Gradientenbildes zu erfassen.The procedure according to the features of claims 10 and 12 relate to termination criteria in order to adapt the procedure to the practice or to capture the essential details of the gradient image.

Die Erfindung umfasst des weiteren auch einen Datenträger, auf dem ein Programm zur Ausführung der erfindungsgemäßen Vorgangsweise gespeichert ist.The invention also includes a data carrier on which a program for carrying out the procedure according to the invention is stored.

Im Folgenden wird die Erfindung anhand der Zeichnungen näher erläutert.In the following the invention will be explained in more detail with reference to the drawings.

Abb. 1 zeigt einzelne Schritte einer lokalen Kurvenapproximation mittels Verfolgung, um Kantensegmente aus einem Gradientenbild zu bestimmen. Abb. 2 zeigt die Verbindung von Kantensegmenten. Abb. 3 zeigt ein Flussdiagramm. Für die Durchführung des erfindungsgemäßen Kantenextraktion-Verfahrens wird, wie Abb. 1 zugrundegelegt, ein Gradientenbild mittels bekannter Verfahren (z. B. Hochpass-Filter) berechnet. Dieses Gradientenbild enthält die Verteilung der Stärke der Gradienten. Es ist dabei zu beachten, dass die Ergebnisse der Gradientenberechnung typischerweise mit Fehlern behaftet sein können; insbesondere werden bestimmte Gradienten nicht oder schwach erfasst, wie z.B. Objektkonturen eines Objektes mit niedrigem Kontrast oder mit überlagertem Bildrauschen. Zusätzlich können auch falsche Detektionsergebnisse vorliegt, hauptsächlich durch Bildrauschen.Fig. 1 shows individual steps of a local curve approximation by means of tracking in order to determine edge segments from a gradient image. Fig. 2 shows the connection of edge segments. Fig. 3 shows a flow chart. As shown in FIG. 1, a gradient image is calculated by means of known methods (eg high-pass filter) for carrying out the edge extraction method according to the invention. This gradient image contains the distribution of the strength of the gradients. It should be noted that the results of the gradient calculation can typically be error-prone; In particular, certain gradients are not or are poorly detected, e.g. Object contours of an object with low contrast or with superimposed image noise. In addition, false detection results may be present, mainly due to image noise.

Die Gradientendaten bilden Strukturen, wie z.B. Linien, gekrümmte Strukturen, die die Intensitätsänderungen innerhalb von Bildobjekten und entlang ihrer Grenzen widerspiegeln. Ziel der Kantenextraktion ist die Verfolgung dieser Strukturen und die konsistente Beschreibung der Gradientenverteilung.The gradient data forms structures such as e.g. Lines, curved structures that reflect intensity changes within image objects and along their boundaries. The goal of edge extraction is the tracking of these structures and the consistent description of the gradient distribution.

Entsprechend Abb. 1 werden innerhalb eines lokalen Fensters F vorgegebener Größe bzw. mit einer lokal abgegrenzten Bilddatenmenge statistische Größen berechnet, nämlich 1. der Schwerpunkt 2 und Absatz 5 gegenüber einem vorgegebenen Startpunkt 1 2. die lokale Orientierung bzw. Hauptachsen H der GradientenverteilungAccording to Fig. 1, statistical variables are calculated within a local window F of predetermined size or with a locally delimited image data set, namely 1. the center of gravity 2 and paragraph 5 with respect to a given starting point 1 2. the local orientation or main axes H of the gradient distribution

Der Schwerpunkt der lokalen Bilddatenmenge deutet auf die wahrscheinlichste Kantenposition hin und die lokale bzw. dominante Orientierung zeigt die Hauptrichtung des lokalen Kantensegments an. Die Kurvenverfolgung wird an allen Stellen im Gradientenbild, an denen ausgeprägte Gradienten vorhanden sind, iterativ ausgeführt. Entlang der Hauptachse bzw. der domi- 5 AT 505 631 B1 nanten Orientierung wird schrittweise eine Kurve gelegt, wobei die Kurvenstützpunkte durch die Schwerpunktpositionen der Gradientenverteilung definiert sind. Die vorgenommene Kurvenapproximation ist in Abb. 1 näher dargestellt. Bildbereiche im Gradientenbild, die durch eine Kurve beschrieben sind, werden markiert und nur einmal für die Kurvenbeschreibung verwendet.The focus of the local image dataset indicates the most likely edge position and the local or dominant orientation indicates the major direction of the local edge segment. Curve tracking is performed iteratively at all points in the gradient image where pronounced gradients are present. Along the main axis or the domed orientation, a curve is gradually created, wherein the curve support points are defined by the center of gravity positions of the gradient distribution. The curve approximation is shown in Fig. 1 in more detail. Image areas in the gradient image, which are described by a curve, are marked and used only once for the curve description.

Gemäß Abb. 1a geht die lokale Kurvenapproximation von einem beliebigen Startpunkt 1 aus. Dieser Startpunkt 1 liegt in einem vorgegebenen Fenster F mit einer vorgegebenen Anzahl von Bilddaten. Für die Fenster F bzw. die Bilddaten wird mit lokalen statistischen Methoden der Schwerpunkt 2 ermittelt. Der Schwerpunkt 2 wird aus der vorgegebenen lokalen Gradientenverteilung ermittelt. Mit lokalen statistischen Methoden wird für einen Schwerpunkt 2 die Hauptachse H dieser Verteilung ermittelt. In Richtung der Hauptachse H der Verteilung, an beiden Enden der Hauptachse, werden neue, in einem vorbestimmten Abstand A gelegene Startpunkte 3, 4 gewählt. Wie in Abb. 1b dargestellt, werden in der Umgebung der neuen Startpunkte 3, 4 erneut der Schwerpunkt und ferner die Orientierung bzw. eine neue Hauptachse bezüglich dieses neuen Schwerpunktes bestimmt. Im Folgenden werden, wie in Abb. 1c dargestellt, basierend die gefundenen Schwerpunkte als Kurvenstützpunkte definiert und es werden Verbindungslinien V gezogen, die als Kurvensegment betrachtet werden. Es wird so lange iteriert, bis keine neuen Schwerpunkte gefunden werden. Die aneinandergereihten Kurvensegmente ergeben ein Kantensegment.According to Fig. 1a, the local curve approximation starts from an arbitrary starting point 1. This starting point 1 lies in a predetermined window F with a predetermined number of image data. For the windows F and the image data, the center of gravity 2 is determined using local statistical methods. The center of gravity 2 is determined from the given local gradient distribution. With local statistical methods, the main axis H of this distribution is determined for a center of gravity 2. In the direction of the main axis H of the distribution, at both ends of the main axis, new starting points 3, 4 located at a predetermined distance A are selected. As shown in Fig. 1b, in the vicinity of the new starting points 3, 4 again the center of gravity and also the orientation or a new main axis with respect to this new center of gravity determined. In the following, as shown in Fig. 1c, based on the found priorities are defined as curve support points and connecting lines V are drawn, which are considered as a curve segment. It is iterated until no new focuses are found. The juxtaposed curve segments result in an edge segment.

Es ist festzustellen, dass die Gradienten in der Praxis üblicherweise unvollständig definiert sind. Schwacher Kontrast, Bildrauschen erzeugen schwach ausgeprägte oder fehlerbehaftete Datenverteilungen. Die durch lokale Kurvenapproximation generierten Kantensegmente KS werden aus diesem Grund miteinander verglichen und Kantensegmente KS1, KS2 mit ähnlichen Eigenschaften, insbesondere in Hinblick auf die Steigung der Kantensegmente bzw. Steigung bzw. Orientierung der Verbindungslinie VL, werden miteinander verbunden und bilden sodann eine Kante.It should be noted that gradients are usually incompletely defined in practice. Weak contrast, image noise produces weak or erroneous data distributions. The edge segments KS generated by local curve approximation are therefore compared with one another and edge segments KS1, KS2 with similar properties, in particular with regard to the slope of the edge segments or slope of the connecting line VL, are connected to one another and then form an edge.

Auf diese Weise können Kanten erfasst werden und Störungen in den Bilddaten, z.B. aufgrund des Fehlens von Gradienteninformation oder aufgrund stark verrauschter Bildintensitäten, werden zu großen Maßen toleriert.In this way edges can be detected and disturbances in the image data, e.g. due to the lack of gradient information or due to very noisy image intensities, tolerated to a great extent.

Es ist vor allem zu bemerken, dass durch Anwendung einer lokalen Statistik, die einen größeren Bildbereich umfasst, Messwerte erhalten werden, die gegen Störungen wie Rauschen oder fehlende Information robuster sind.It is especially noteworthy that by using local statistics that include a larger image area, measurements are obtained which are more robust against disturbances such as noise or missing information.

Die Auswertung der lokalen Statistik der Gradientenverteilung erfolgt vorteilhaft nach der Methode von Einbeck et al., so wie diese in J. Einbeck, G. Tutz, L. Evers, "Exploring Multivariate Data Structures with local Principal Curves", Proceedings GfKI (Conference of the German Classification Society), April 2004, beschrieben ist. Es ist auch möglich, andere lokale Statistiken einzusetzen.The evaluation of the local statistics of the gradient distribution advantageously takes place according to the method of Einbeck et al., As described in J. Einbeck, G. Tutz, L. Evers, "Exploring Multivariate Data Structures with Local Principal Curves", Proceedings GfKI (Conference of the German Classification Society), April 2004. It is also possible to use other local statistics.

Bildbereiche mit ausgeprägten Gradienten werden konsekutiv verarbeitet und Kantensegmente werden generiert. Ein Kantensegment wird beendet, falls die Dichte der Gradientenwerte in einem Fenster unter einen Schwellwert fällt oder die Grenze des Bildes erreicht wird.Image areas with pronounced gradients are processed consecutively and edge segments are generated. An edge segment is terminated if the density of the gradient values in a window falls below a threshold or the border of the image is reached.

Die Kurvenapproximation durch lokale Statistik toleriert größere Unterbrechungen bzw. Diskrepanzen in der Datenverteilung nicht, da dies über die Grenzen einer lokalen Beschreibung geht.Curve approximation by local statistics does not tolerate larger breaks or discrepancies in the data distribution, as this goes beyond the limits of a local description.

Die Kurvenverfolgung liefert k Kantensegmente {Τ^.....Tk} mit 2k Endpunkten. Abb. 2 zeigt einThe curve trace provides k edge segments {Τ ^ ..... Tk} with 2k endpoints. Fig. 2 shows

Beispiel, wie eine Verbindung zwischen zwei Segmenten vorgenommen wird.For example, how to connect two segments.

Eine Verbindung muss folgende Bedingungen erfüllen: (1) die Verbindung zwischen zwei Kantensegmenten KS1, KS2 soll stetig verlaufen, d.h. die Orientierung der Verbindungslinie VL muss ähnlich sein wie die von den Kantensegmenten, 6 AT 505 631 B1 d.h., die Orientierung der Kantensegmente und der Verbindungslinie müssen konsistent und möglichst stetig sein, d.h. vorgegebene Verbindungskriterien erfüllen. (2) die Endpunkte der Kantensegmente KS1, KS2 müssen ferner eine vorgegebene räumliche Proximität haben.A connection must satisfy the following conditions: (1) the connection between two edge segments KS1, KS2 should be continuous, i. the orientation of the connecting line VL must be similar to that of the edge segments, i.e., the orientation of the edge segments and the connecting line must be consistent and as continuous as possible, i.e., as long as possible. fulfill specified connection criteria. (2) The end points of the edge segments KS1, KS2 must also have a given spatial proximity.

Abb. 2 zeigt eine Möglichkeit der Verbindung von zwei Kantensegmenten KS1, KS2. Die Verbindung dieser zwei Kantensegmente kann erfolgen, wenn die Steigungswerte der Enden der beiden Kantensegmente einen gewissen Wert unterschreiten. In der dargestellten Form gemäß Abb. 2 müssen die Winkel a und ß ein gewissen Ähnlichkeitskriterium erfüllen. Des weiteren darf der Abstand bzw. die Länge der Verbindungslinie VL zwischen den Enden der beiden Kantensegmente einen vorgegebenen Wert nicht überschreiten. Vorteilhafterweise wird I < 15 Pixel gewählt.Fig. 2 shows a possibility of connecting two edge segments KS1, KS2. The connection of these two edge segments can take place if the slope values of the ends of the two edge segments fall below a certain value. In the illustrated form according to Fig. 2, the angles a and ß must meet a certain similarity criterion. Furthermore, the distance or the length of the connecting line VL between the ends of the two edge segments may not exceed a predetermined value. Advantageously, I < 15 pixels selected.

Bei der Bestimmung des Neigungswinkels bzw. Orientierung der Endbereiche der Kantensegmente KS1, KS2, werden die Winkel α und ß bestimmt, indem durch eine vorgegebene Anzahl von am Ende der Kantensegmente KS1, KS2 liegenden Datenpunkten einer Gerade G gelegt wird. Die Anzahl der Datenpunkte, die von dieser Geraden G angenähert wird, wird vorgegeben und kann z.B. größer als 5 sein, insbesondere zwischen 8 und 12 Datenpunkten, liegen. Die Winkel α und ß werden in Bezug auf die Verbindungsgerade VL bzw. die Richtung des Abstandes zwischen den Endpunkten gemessen.When determining the angle of inclination or orientation of the end regions of the edge segments KS1, KS2, the angles α and β are determined by placing a straight line G through a predetermined number of data points lying at the end of the edge segments KS1, KS2. The number of data points approximated by this straight line G is given and may be e.g. greater than 5, especially between 8 and 12 data points. The angles α and β are measured with respect to the connecting line VL and the direction of the distance between the end points, respectively.

Sofern die Enden der Kantensegmente einen vorgegebenen Abstand I unterschreiten, werden die Enden der Kantensegmente KS1, KS2 durch eine Verbindungslinie verbunden oder die Kantensegmente KS1, KS2 werden durch Verschieben eines oder beider Kantensegmente direkt aneinander gereiht.If the ends of the edge segments fall below a predetermined distance I, the ends of the edge segments KS1, KS2 are connected by a connecting line or the edge segments KS1, KS2 are strung together by moving one or both edge segments directly to each other.

Abb. 3 zeigt den Verfahrensablauf bei der Kantenextraktion mittels Gradientenverfolgung. Die Generierung der Kantensegmente aus den ursprünglichen Bilddaten erfolgt in Echtzeit für herkömmliche Bildauflösungen. Nach der Berechnung eines Gradientenbildes wird das Vorhandensein von Startpunkten überprüft. Startpunkte sind dann nicht vorhanden, wenn bereits sämtliche Bildpunkte verbraucht wurden oder eine gewisse Gradientenstärke nicht überschreiten. Wenn ein Bild abgearbeitet ist, und keine neuen Kantensegmente erstellt werden können, erfolgt die Verbindung der Kantensegmente abhängig von der ermittelten Ähnlichkeit. Es werden vorteilhaft alle Enden der Kantensegmente miteinander bezüglich ihrer Ähnlichkeit zueinender überprüft. Diese Kanten können für die aufgenommenen Objekte durchgehend deren Kanten wiedergeben oder nur Teile der am bzw. im Objekt vorhandenen Kanten wiedergeben. Die mit der erfindungsgemäßen Vorgangsweise ermittelten Kanten geben je nach der Qualität des durchgeführten Verfahrens die im Bild vorhandenen Kanten mehr oder weniger exakt wieder.Fig. 3 shows the procedure for edge extraction by means of gradient tracking. The generation of the edge segments from the original image data takes place in real time for conventional image resolutions. After calculating a gradient image, the presence of starting points is checked. Starting points are not available if all the pixels have already been consumed or do not exceed a certain gradient strength. If an image has been processed and no new edge segments can be created, the edge segments will be linked depending on the determined similarity. Advantageously, all ends of the edge segments are checked for their similarity to one another. These edges can continuously represent their edges for the recorded objects or only reproduce parts of the edges present on or in the object. The edges determined with the procedure according to the invention give the edges present in the picture more or less exactly, depending on the quality of the method performed.

Sofern Startpunkte vorhanden sind, wird ein Startpunkt gewählt und es erfolgt, wie beschrieben, eine Ermittlung des Schwerpunktes für eine lokal begrenzte Datenmenge bzw. erfolgt durch iterative Berechnung von weiteren Schwerpunkten eine Kurvenapproximation. Diese Approximation erfolgt solange bis die Stärke der Gradienten kleiner wird als ein vorgegebener Schwellwert oder der Bildrand erreicht wird. Eine weitere Verfolgung der Gradienten kann dann abgebrochen werden, wenn die Summe der Gradientenstärken der lokal abgegrenzten Bilddatenmenge geteilt durch die Anzahl der in der lokalen Bilddatenmenge vorhandenen Bilddaten einen vorgegebenen Schwellwert bzw. Dichtewert unterschreitet.If starting points are present, a starting point is selected and, as described, there is a determination of the center of gravity for a locally limited data set, or a curve approximation is carried out by iterative calculation of further focal points. This approximation takes place until the strength of the gradients becomes smaller than a predefined threshold value or the image edge is reached. Further tracking of the gradients can then be stopped if the sum of the gradient strengths of the locally delimited image data quantity divided by the number of image data present in the local image data quantity falls below a predefined threshold value or density value.

Ein lokales Fenster F wird vorzugsweise quadratisch gewählt und umfasst üblicherweise 10 bis 20 Werte in jeder seiner Richtungen. Der Abstand des neuen Startpunktes 3, 4 in Hauptrichtung H gesehen von einem ermittelten Schwerpunkt 2 beträgt etwa die Diagonale eines lokalen Fensters F.A local window F is preferably chosen to be square and usually comprises 10 to 20 values in each of its directions. The distance of the new starting point 3, 4 in the main direction H seen from a determined center of gravity 2 is approximately the diagonal of a local window F.

Claims

A dominant orientation is used when the detected anisotropy of the local image data is greater than a predetermined value. The provided statistical methods for determining the main axis of the locally delineated image data set allow the determination of anisotropy values, and if the determined anisotropy does not exceed a predetermined threshold value, the image data set acquired by the local window is not used to determine another center of gravity. At best, this involves image data with compactly distributed gradient maxima or areas in the image without significant contrast difference. Paragraph 5 refers to the vector that runs from the selected starting point 1 to the determined center of gravity 2. In order to determine the center of gravity 2, a local window F with respect to the starting point 1 is specified or established, and the image data located in a local window F with respect to the center of gravity 2 are used to determine the main axes H. The image data, which are used to determine the center of gravity 2 and the image data, which are used to determine the main axes 4, are thus different. Fig. 4 shows the result of edge extraction by means of gradient tracking. It can be seen that edge segments can be extracted along all significant gradients. 1. A method for extracting edges of objects in a digital image, characterized in that - of the image to be assessed a gradient image is created and using local statistics or a statistical curve approximation edge segments are determined, - that the edge segments in terms be checked for their mutual spatial distance and spatial orientation using a measure of similarity, that the ends of the edge segments are connected, if the determined similarity value exceeds a predetermined value, and that the thus connected edge segments and the unconnected edge segments remain as edges of the image contained in the image Objects are valued.

2. The method according to claim 1, characterized in that the connection of edge segments is allowed if a connection of these segments is to be assessed as consistent and continuous.

3. The method according to claim 1 or 2, characterized in that for determining the similarity values, the length (I) of the distance between the end points of edge segments to be connected (KS1, KS2) and the angles (a, ß) of the end regions of provided for connection Edge segments with a the end points of the edge segments (KS1, KS2) connecting lines (VL) are used and a connection is then allowed if the length (I) of the distance and the sum of the angles (a, ß) each fall below a predetermined threshold.

4. The method according to claim 3, characterized in that for determining the angles (a, ß) the orientation or direction of the end region of the respective edge segment (KS1, KS2) is determined by a predetermined number of points in the end region of the respective edge segment ( KS1, KS2) is approximated by a straight line (G).

5. The method according to any one of claims 1 to 4, characterized in that the gradient image produced in particular by applying at least one high-pass filter contains the intensity of the gradients or normalized gradient strengths.

6. The method according to any one of claims 1 to 5, characterized in that in the gradient image, starting from a predetermined starting point (1) of the center of gravity (2) and 5 by the center of gravity (2) extending and in particular dominant orientation aufwei send main axis for a locally delimited image data set (2) are determined using local statistics, whereupon for a new, located on this major axis at a predetermined distance from the determined center of gravity (2) starting point (3, 4) a new locally delimited image data set selected and turn the focus and the io are determined in this way by the main axis extending main axis and the iteratively determined focal points are considered as curve support points of an edge segment.

7. The method according to any one of claims 1 to 6, characterized in that as a starting point 15 (1) a local maximum of the gradient image is selected.

8. The method according to any one of claims 1 to 7, characterized in that the individual locally delimited image data sets are the same size or by the same size windows (F) are limited, the starting point (1) advantageously in the middle of the window (F) gele - 20 gene is.

9. Method according to one of claims 1 to 8, characterized in that the eigenvalues of the covariance matrix of the image data set delimited locally by the window (F) are used to determine the orientation of the main axes. 25

10. The method according to any one of claims 1 to 9, characterized in that from a locally delimited image data amount detected but located outside the gradient matrix points, the gradient value 0 is assigned.

11. The method according to any one of claims 1 to 10, characterized in that when performing the local statistics or the curve approximation each point or Bildbe-reieh the gradient matrix is used only once to determine a center of gravity or edge segment.

12. The method according to any one of claims 1 to 11, characterized in that for a locally limited amount of image data only a center of gravity is determined if their density exceeds a predetermined threshold.

13. A data carrier, characterized in that stored on it a program for carrying out the method claimed in 40 to claims 1 to 12. Including 3 sheets of drawings 45 50 55