AT503279B1

AT503279B1 - METHOD FOR DETECTING EDGES IN PICTURES

Info

Publication number: AT503279B1
Application number: AT0182505A
Authority: AT
Inventors: Konrad Dipl Ing Mayer; Harald Dipl Ing Dr Penz
Original assignee: Arc Seibersdorf Res Gmbh
Priority date: 2005-11-08
Filing date: 2005-11-08
Publication date: 2008-01-15
Also published as: AT503279A1; DE102006050444A1

Description

2 AT 503 279 B12 AT 503 279 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.The invention relates to a method according to the preamble of claim 1.

Das menschliche Auge ist sensitiv auf in Bildern dargestellte Kanten und die Erkennung bzw. Erkennbarmachung von Kanten in einem Bild ist eine wesentliche Aufgabe für die Bildverarbeitung.The human eye is sensitive to edges represented in images and the recognition of edges in an image is an essential task for image processing.

Es ist bekannt für die Bildverarbeitung Filter einzusetzen, mit denen in der von einem Bild gewonnenen Werte- bzw. Bildpunktmatrix, insbesondere Intensitätsmatrix, für jedes einzelne dieser Pixel festgestellt werden kann, ob es auf einer Kante liegt. Es ist von Interesse, die Ausprägung bzw. Intensität dieses Kantenpixels bzw. der Kante zu überprüfen, deren Berechnung mittels einer Matrix von Gewichtungsfaktoren durchgeführt wird. Diese speziell aufgebaute Matrix wird als Kantenfilter bezeichnet. Aus dem Stand der Technik sind unterschiedliche Kantenfilter bekannt, so z.B. Sobel-Filter bzw. Prewitt-Filter und Roberts-Filter. Mit derartigen Filtern erfolgt eine Faltung für das jeweilige Pixel der Pixelmatrix und dessen Umgebungsbereich. Bei der Faltung wird somit der das Pixel umgebende Bereich in einer durch den Kantenfilter vorgegebenen Größe mitberücksichtigt. Üblich sind vor allem 3x3-Filter, d.h. Filter, die einen Bereich von 9 Pixel berücksichtigen, von denen das interessierende bzw. untersuchte Pixel das in der Mitte dieses Bereichs liegende Pixel ist. Diesem Pixel wird das Resultat des Filtervorganges zugeordnet. Jedes Pixel der Pixelmatrix wird demselben Filtervorgang unterzogen.It is known for image processing to use filters with which in the value or pixel matrix, in particular intensity matrix, obtained from an image, it can be ascertained for each individual pixel whether it lies on an edge. It is of interest to check the intensity of this edge pixel or edge, the calculation of which is performed by means of a matrix of weighting factors. This specially constructed matrix is referred to as an edge filter. From the prior art different edge filters are known, e.g. Sobel filter or Prewitt filter and Roberts filter. Such filters perform a convolution for the respective pixel of the pixel matrix and its surrounding area. During folding, the area surrounding the pixel is thus taken into account in a size predetermined by the edge filter. The most common are 3x3 filters, i. Filters that consider an area of 9 pixels, of which the pixel of interest is the pixel in the center of that area. This pixel is assigned the result of the filtering process. Each pixel of the pixel matrix is subjected to the same filtering process.

Es ergibt sich daraus, dass ein Filter für Randreihen der Pixelmatrix nicht gut eingesetzt werden kann, da dort der außerhalb des Randes der Matrix liegende Umgebungsbereich keine Pixel zur Verfügung stellen kann. Entweder werden derartige Randpixelreihen bei der Faltung außer Betracht gelassen oder es werden fixe Werte für die nicht vorhandenen Pixel vorgegeben, um den Umgebungsbereich zu vervollständigen.It follows that a filter for edge rows of the pixel matrix can not be used well because there the surrounding area outside the edge of the matrix can not provide pixels. Either such edge pixel rows are disregarded during convolution or fixed values for the nonexistent pixels are given to complete the surrounding area.

Diese Filter enthalten üblicherweise 3x3 Werte, die mit dem betrachteten 3x3 Pixel umfassenden Bereich gefaltet werden. Ein derartiger Filter umfasst zur Unterscheidung von horizontalen und vertikalen Kanten bzw. von Kanten, die orthogonal zueinander verlaufen, jeweils zwei Filtermatrizes, die jeweils mit dem 3x3 Pixel umfassenden Bereich gefaltet werden. Die erhaltenen beiden Resultate werden miteinander verknüpft; beispielsweise werden die Absolutbeträge dieser beiden Resultate addiert.These filters typically contain 3x3 values that are convolved with the considered 3x3 pixel area. Such a filter comprises in each case two filter matrices, which are each folded with the area comprising 3 × 3 pixels, for the purpose of distinguishing horizontal and vertical edges or edges which are orthogonal to one another. The obtained two results are linked together; For example, the absolute values of these two results are added together.

Der für das jeweils betrachtete Pixel erhaltene Verknüpfungswert dieser beiden Resultate wird in eine Kantenmatrix eingetragen und liefert eine Aussage, inwieweit das Pixel auf einer Kante liegt oder nicht. Zweckmäßig wird die gesamte erhaltene Matrix dieser Verknüpfungswerte ebenso wie einzelne Pixel einer weiteren Auswertung, z.B. einem Vergleich mit Schwellwerten, unterworfen.The link value of these two results obtained for the particular pixel under consideration is entered in an edge matrix and provides a statement as to how far the pixel lies on an edge or not. Suitably, the entire resulting matrix of these join values, as well as individual pixels, is subjected to further evaluation, e.g. subjected to a comparison with thresholds.

Die Anwendung bekannter Filter bzw. die erforderlichen Faltungsberechnungen erfordern jedoch einen beträchtlichen Rechenaufwand, sodass der Bedarf nach einem effizienten und trotzdem exakte und verwertbare Ergebnisse liefernden Filter besteht bzw. Bedarf an einem effizienten Verfahren zur Erkennung von Kanten besteht. Erfindungsgemäß ist ein derartiges Verfahren der eingangs genannten Art durch die im Kennzeichen des Anspruchs 1 angeführten Merkmale charakterisiert.However, the application of known filters or the required convolution calculations requires a considerable amount of computation, so that there is a need for an efficient and nevertheless exact and usable results-producing filter or there is a need for an efficient method for the detection of edges. According to the invention, such a method of the type mentioned is characterized by the features cited in the characterizing part of claim 1.

Der eingesetzte Filter ist ausgesprochen einfach aufgebaut und bietet aufgrund der Vielzahl der in ihm enthaltenen Nullen eine außergewöhnlich große Effizienz, da Multiplikationen mit Null nicht durchgeführt werden müssen. Damit sinkt die Rechendauer bei der Auswertung von Bildern bzw. Bildpixelmatrizen im Hinblick auf vorhandene oder nicht vorhandene Kanten. Der erfindungsgemäße Filter ist ausreichend resistent gegen Rauschen. Des weiteren besitzt dieser Filter keine Vorzugsrichtung, sodass senkrecht zueinander verlaufende Kanten exakt detektiert werden können. Schließlich sind das Kantenbild und die mit den erhaltenen Verknüpfungswerten gebildete Pixelmatrix nicht gegeneinander verschoben, sondern die Pixel in dem auszuwertenden Bild und in der Matrix der Verknüpfungswerte entsprechen einander lagemäßig. 3 AT 503 279 B1The filter used has a very simple structure and, due to the large number of zeros it contains, offers exceptionally high efficiency, since zero multiplication does not have to be performed. This reduces the calculation time in the evaluation of images or image pixel matrices with regard to existing or non-existent edges. The filter according to the invention is sufficiently resistant to noise. Furthermore, this filter has no preferred direction, so that mutually perpendicular edges can be detected exactly. Finally, the edge image and the pixel matrix formed with the obtained link values are not shifted from each other, but the pixels in the image to be evaluated and in the matrix of link values correspond to each other in position. 3 AT 503 279 B1

Unter dem Umgebungsbereich des jeweils ausgewerteten bzw. betrachteten Pixels werden die an das Pixel seitlich, oben und unten sowie in diagonaler Richtung angrenzenden Pixel verstanden.The surrounding region of the respectively evaluated or considered pixel is understood to mean the pixels adjoining the pixel laterally, above and below as well as in the diagonal direction.

Von Vorteil ist es, wenn die Verknüpfung der beiden durch die Anwendung der beiden Filtermatrizes des Filters erhaltenen Resultate zur Ermittlung des Verknüpfungswertes G mit folgenden Verknüpfungsgleichungen erfolgt: G = max (Η, V) G = max (Η, V) + A * min (Η, V) G = max (Η, V) + B * min (Η, V)2 / max (Η, V) oder G = (Η + V) / 2 + max (Η, V), H ist der Absolutbetrag des einen und V der Absolutbetrag des anderen Resultates beim Einsatz der beiden unterschiedlichen Filtermatrices.It is advantageous if the combination of the two results obtained by the application of the two filter matrices of the filter to determine the linkage value G takes place with the following linkage equations: G = max (Η, V) G = max (Η, V) + A * min (Η, V) G = max (Η, V) + B * min (Η, V) 2 / max (Η, V) or G = (Η + V) / 2 + max (Η, V), H the absolute value of one and V the absolute value of the other result when using the two different filter matrices.

Die letzte Berechnungsart bzw. Verknüpfungsgleichung erweist sich als besonders günstig, da viele moderne Prozessoren den Average-Operator als SIMD-Befehl unterstützen.The last calculation or join equation proves to be particularly favorable, since many modern processors support the average operator as a SIMD instruction.

Es zeigte sich, dass es von Vorteil ist, wenn für den Faktor A ein Wert zwischen 0,25 und 0,50, vorzugsweise zwischen 0,30 und 0,40, gewählt wird. Für den Faktor B wird ein Wert zwischen 0,30 und 0,55, vorzugsweise zwischen 0,35 und 0,50, gewählt.It has been shown that it is advantageous if the factor A is chosen to be between 0.25 and 0.50, preferably between 0.30 and 0.40. For the factor B, a value between 0.30 and 0.55, preferably between 0.35 and 0.50, is selected.

Von besonderen Vorteilen ist es, wenn auf die durch die Verknüpfungswerte G gebildete Wertematrix ein Maximumoperator angewendet wird. Soferne dieser Maximumoperator auf jeweils 2x2 Pixel angewandt wird und eine Reduktion von Zeilen und Spalten jeweils auf 50 % vornimmt, so ergibt sich der Vorteil, dass zur Berechnung jedes Pixel der sich nach Anwendung dieses Maximumoperators ergebenden Pixelmatrix alle 16 Pixel seiner 4x4-Umgebung der ursprünglichen Bildmatrix genau einmal herangezogen wurden.It is of particular advantage if a maximum operator is applied to the value matrix formed by the linking values G. Since this maximum operator is applied to 2 × 2 pixels in each case and the number of rows and columns is reduced to 50%, the advantage is that in order to calculate each pixel of the pixel matrix resulting from the application of this maximum operator, all 16 pixels of its 4x4 environment will be the original one Image matrix were used exactly once.

Als Beispiel wird unter Bezugnahme auf die Abbildungen 1 bis 5 auf eine erstellte Pixelmatrix eines aufgenommenen Bildes 2 1 2 10 5 2 10 6 2 10 6 1 8 8 2 7 .............................. und zwar auf das zweite Pixel der zweiten Spalte ein erfindungsgemäßer Filter angewendet. Betrachtet man dieses Pixel und seinen Umgebungsbereich, so ergibt sich folgende Faltungs- 4 AT 503 279 B1By way of example, with reference to Figures 1 to 5, a created pixel matrix of a captured image 2 1 2 10 5 2 10 6 2 10 6 1 8 8 2 7 ................ .............. and applied to the second pixel of the second column, a filter according to the invention. If one looks at this pixel and its surrounding area, the result is the following convolution 4 AT 503 279 B1

Operation für die erste Filtermatrix: 1x1 + 0x2 + 0x1 + 0x1 + 0x10 + 0x5 + 0x1 + 0x10 + (-1) x 6 = -5Operation for the first filter matrix: 1x1 + 0x2 + 0x1 + 0x1 + 0x10 + 0x5 + 0x1 + 0x10 + (-1) x 6 = -5

Wie in Fig. 1 dargestellt, berechnet die erste Filtermatrix die Differenz der beiden dem betrachteten zweiten Pixel in der zweiten Spalte diagonal links oben und rechts unten benachbarten Pixel. Nach Errechnung der Differenz wird der Absolutbetrag der Differenz gebildet. Für die zweite Filtermatrix ergibt sich für dieses Pixel folgende Faltungsoperation: 0x1 + 0x2 + (-1) x 1 +0x1 + 0x10 + 0x5 + 1x1 + 0x10 + 0x6 = 0As shown in FIG. 1, the first filter matrix calculates the difference of the two pixels adjacent to the second pixel under consideration in the second column diagonally left upper and lower right. After calculating the difference, the absolute amount of the difference is formed. For the second filter matrix, the following convolution operation results for this pixel: 0x1 + 0x2 + (-1) x 1 + 0x1 + 0x10 + 0x5 + 1x1 + 0x10 + 0x6 = 0

Wie in Fig. 2 dargestellt, berechnet die zweite Filtermatrix die Differenz der beiden dem betrachteten zweiten Pixel in der zweiten Spalte diagonal rechts oben und links unten benachbarten Pixel. Nach Errechnung der Differenz wird der Absolutbetrag der Differenz gebildet.As shown in FIG. 2, the second filter matrix computes the difference of the two pixels adjacent to the second pixel under consideration in the second column diagonally right top and bottom left. After calculating the difference, the absolute amount of the difference is formed.

Es ergibt sich für den Wert H = -5 der Absolutwert 5 und für den Wert V ergibt sich der Absolutwert 0. Wie in Fig. 3 dargestellt, werden diese beiden Werte mit einer der angeführten Verknüpfungsgleichungen verknüpft und man erhält einen Verknüpfungswert G für das interessierende Pixel.The absolute value is 5 for the value H = -5, and for the value V the absolute value is 0. As shown in FIG. 3, these two values are linked to one of the mentioned equation of linkage and a link value G is obtained for the one of interest Pixel.

Bei Verwendung der Verknüpfungsgleichung G = (H+V) 12 + max (Η, V) ergibt sich der Verknüpfungswert G=7,5 für das Pixel in der zweiten Spalte der zweiten Zeile. Dieser Verknüpfungswert G ist der Kantenwert des interessierenden Pixels und wird zur Beurteilung des Pixels herangezogen.Using the conjunction equation G = (H + V) 12 + max (Η, V), the join value G = 7.5 for the pixel in the second column of the second row. This linkage value G is the edge value of the pixel of interest and is used to evaluate the pixel.

Auf eine mit den Verknüpfungswerten G für die einzelnen Pixel erstellte Matrix der Verknüpfungswerte kann sodann vorteilhafterweise ein Maximumoperator angewendet werden, mit dem aus einem Pixelquadrat von 2x2 Pixeln das Maximum ermittelt wird. Diese ermittelten Maxima werden sodann zu einer neuen Pixelmatrix zusammengesetzt. Sofern ein Maximumoperator auf einen Pixelbereich von 2x2 Pixel angewendet wird, ergibt sich eine Reduktion der Pixel sowohl in den Spalten als auch in den Zeilen auf die Hälfte. Fig. 4 zeigt eine Reduzierung der Matrix der für die Pixelmatrix erhaltenen Kantenwerte auf die Hälfte der Zeilen und Spalten. Dabei werden die Kantenwerte von vier benachbarten Pixel durch einen vorgegebenen Operator, vorzugsweise den Maximumoperator, verknüpft. Die vier Pixel werden durch ein Pixel ersetzt, das allerdings im Zentrum der vier Pixel gelegen ist, d.h. um einen halben Pixelwert gegenüber jedem ursprünglichen Pixel diagonal verschoben ist.It is then advantageously possible to apply to a matrix of linkage values produced with the linkage values G for the individual pixels a maximum operator with which the maximum is determined from a pixel square of 2x2 pixels. These determined maxima are then assembled into a new pixel matrix. If a maximum operator is applied to a pixel area of 2x2 pixels, the pixels are reduced in both the columns and in the lines by half. Fig. 4 shows a reduction of the matrix of the edge values obtained for the pixel matrix to half of the rows and columns. The edge values of four adjacent pixels are linked by a given operator, preferably the maximum operator. The four pixels are replaced by one pixel, which, however, is located in the center of the four pixels, i. is shifted diagonally by half a pixel value from each original pixel.

Bei einer derartigen Verknüpfung des erfindungsgemäß vorgesehenen neuen Filters mit einem 2x2 Maximumoperator wird der Wert jedes zugehörigen Pixels des 4x4-Umgebungsbereiches in der aufgenommenen Bildmatrix genau einmal zur Berechnung des jeweiligen Pixelwertes der sich ergebenden Wertematrix eingesetzt, die sich nach Anwendung des Maximumoperators ergibt. Damit wird ein Verlust an Informationen vermieden. Sofern man mit dem erfindungsgemäßen eine erste und eine zweite Filtermatrix umfassenden Kantenfilter eine Berechnung der Kantenwerte vornimmt, so zeigt Fig. 5, dass bei Anwendung des Filters auf das zweite und das dritte Pixel der zweiten Zeile und auf das zweite und dritte Pixel der dritten Zeile für jedes dieser Pixel die jeweils diagonal liegenden vier Nachbarpixel berücksichtigt werden. D.h., dass 16 Pixel für die Berechnung der Kantenwerte der vier Pixel herangezogen werden. Der erfindungsgemäße Kantenfilter ermöglicht, dass jeweils für jedes der vier betrachteten Pixel jeweils vier unterschiedliche Nachbarpixel berücksichtigt werden, sodass jedes Pixel des betrachteten Pixelbereiches von 4x4 Pixel nur ein einziges Mal in die Berechnung eingeht. Wird auf die resultierenden vier Kantenwerte ein Maximumoperator angewendet, so erfolgt eine Reduktion auf ein Pixel gemäß Fig. 4, wobei sämtliche Werte von den 16 betrachteten Pixel zur Berechnung des Kantenwertes des resultierenden Pixel verwendet wurden, jedoch jedes Pixel mit seinem Wert nur ein einziges Mal für diese Berechnung herangezogen wurde.In such a combination of the inventively provided new filter with a 2x2 maximum operator, the value of each associated pixel of the 4x4 surrounding area in the captured image matrix is used exactly once to calculate the respective pixel value of the resulting value matrix, which results after application of the maximum operator. This avoids loss of information. If a calculation of the edge values is carried out with the edge filter comprising a first filter matrix and a second filter matrix according to the invention, then FIG. 5 shows that when the filter is applied to the second and the third pixel of the second row and to the second and third pixels of the third row for each of these pixels, the diagonally adjacent four neighboring pixels are taken into account. That is, 16 pixels are used to calculate the edge values of the four pixels. The edge filter according to the invention makes it possible to take into account in each case four different neighboring pixels for each of the four pixels considered, so that each pixel of the considered pixel region of 4x4 pixels only enters into the calculation once. When a maximum operator is applied to the resulting four edge values, a reduction is made to a pixel as shown in Fig. 4, using all values from the 16 pixels considered to calculate the edge value of the resulting pixel, but each pixel with its value only once was used for this calculation.

Claims

1. A method for detecting edges in images, wherein at least one edge filter is applied to the value matrix, in particular intensity matrix, of the image pixels derived from the recorded images, characterized in that the pixels subjected to the filtering and their Surrounding area are folded with a filter comprising a first filter matrix 1 0 0 0 0 0 0 0-1 and a second filter matrix 0 0-1 0 0 0 1 0 0, - that the respective pixel and the associated surrounding area with each of these Filter matrices is folded, - that the two results are combined with an arithmetic operation and - that the obtained link value (G) as a measure of the amount of the edge value of the respective pixel and / or the membership of the pixel is considered to an edge.

2. The method according to claim 1, characterized in that the combination of the two results is achieved by determining the absolute values of these results and calculating the value of the combination of these two absolute values with one of the following equations: a) G = max (Η, V ) or b) G = max (Η, V) + A * min (Η, V) or c) G = max (Η, V) + B * min (Η, V) 2 / max (Η, V) or d) G = (Η + V) / 2 + max (Η, V), where H and V represent the absolute values of the results and G the resulting value of the linkage and the factor A between 0.25 and 0.50, preferably between 0, 30 and 0.40, and the factor B is between 0.30 and 0.55, preferably between 0.35 and 0.50.

3. The method according to claim 1 or 2, characterized in that the filter is applied once to each pixel of the value matrix and its surrounding area.

4. The method according to any one of claims 1 to 3, characterized in that on pixels located at the edges of the pixel matrix, an application of the filter is omitted or given for pixels at the edges for the missing pixels in the surrounding area values.

5. The method according to any one of claims 1 to 4, characterized in that the link values (G) obtained for the individual pixels are arranged in a matrix and are folded with a maximum operator, preferably a 2x2 maximum operator.

6. The method according to claim 5, characterized in that simultaneously with the convolution with the maximum operator, a reduction of columns and / or rows of the matrix, in particular a reduction of the columns and rows in each case by 50% occurs.

7. The method according to any one of claims 1 to 6, characterized in that a Gaussian filter for smoothing the image is applied before the turn of the edge filter.

A computer program product having program code means stored on a computer readable medium for carrying out the method of any one of claims 1 to 7 when the program product is executed on a computer. For this purpose 1 sheet of drawings