DE102005017541A1

DE102005017541A1 - Verfahren zur Erkennung von kreisförmigen Objekten

Info

Publication number: DE102005017541A1
Application number: DE102005017541A
Authority: DE
Inventors: Michael Heinold; Robert Thiel
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2005-04-16
Filing date: 2005-04-16
Publication date: 2006-10-19

Abstract

Verfahren zur Erkennung von kreisförmigen Objekten in Bilddaten eines Bildsensors, wobei in einer Vorverarbeitungsstufe Kanten in den Bilddaten durch geeignete Filter hervorgehoben und zu mehreren Punkten, die jeweils einen Kantenpunkt repräsentieren, eine Tangente und die zugehörige Normale berechnet wird. Entlang der Normalen wird in doppelter Radiusdistanz von potentiellen Kreisen nach weiteren Kantenpunkten gesucht und bei einem positiven Ergebnis der Mittelpunkt zwischen den beiden Kantenpunkten markiert, indem ein zu Null initialisiertes Akkumulatorfeld um einen vorgegebenen Wert erhöht wird. Überschreitet die Anzahl der Markierungen in einem Bildbereich einen vorgegebenen Schwellwert, wird ein kreisförmiges Objekt identifiziert.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von kreisförmigen Objekten in Bilddaten eines Bildsensors in Echtzeit. Anwendung findet diese Erfindung z. B. in Kraftfahrzeugen zur Erkennung von runden Verkehrszeichen und deren Inhalt.

Zur Erkennung von kreisförmigen Objekten in Bilddaten wird in der Literatur die Hough Transformation für Kreise ausführlich beschriebenen (http://www.cis.rit.edu/class/simg782.old/talkHough/HoughLecCircles.html). Dieser Algorithmus ist in der Lage in einem binären Kantenbild Kreise eines bekannten Radius (R) zu finden. Die Vorgehensweise ist sehr einfach und wenig effizient. Für jedes Pixel, welches eine Kante repräsentiert, werden alle Punkte, die sich auf einer Kreislinie mit Radius r um diesen Pixel befinden markiert, d.h. in einem zu Null initialisierten Akkumulatorfeld wird der Wert um die Zahl a erhöht. Dadurch entstehen im Akkumulator an den Mittelpunkten von Kreisen des Radius r im Vergleich zur Umgebung hohe Werte.

Für viele Anwendungen z. B. die Verkehrszeichenerkennung sind verschiedene Radien in den Bilddaten zu suchen, da die Größe des Verkehrszeichens im Bild u. a. vom Abstand der Kamera zum Verkehrszeichen abhängt. In diesem Fall müsste die Hough Transformation n mal (für {r₀, r₁, .., r_n-1}) durchlaufen werden. Anschließend wären n Akkumulatorfelder auszuwerten, um die Kreise mit den richtigen Radien zu ermitteln. Dies ist rechentechnisch nicht in Echtzeit möglich.

Die Aufgabe der Erfindung liegt darin, ein Verfahren zur schnellen Erkennung von kreisförmigen Objekten in Bilddaten eines Bildsensors vorzustellen.

Diese Aufgabe wird gemäß eines Verfahrens des Patentanspruchs 1 gelöst. Die abhängigen Patentansprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.

Da aus Bildern nicht nur Kantenpositionen, sondern auch deren Richtung bestimmbar ist, kann die Hough Transformation so abgewandelt werden, dass die Richtungsinformationen zur Kreisfindung genutzt wird. Dazu werden zunächst die Bilddaten, die das Gesamtbild oder nur Ausschnitte davon wiedergeben, vorverarbeitet. Das Bild wird kantenorientiert segmentiert, d.h. durch spezielle Filteroperationen Kanten in den Bilddaten gefunden. Die Bilddaten werden richtungskodiert abgespeichert, d. h. zu jedem Kantenpunkt wird unter Berücksichtigung der Umgebung eine Tangente berechnet, die den Verlauf der Kante an diesem Kantenpunkt wiedergibt. Aufgrund der Geometrie eines Kreises liegt der Mittelpunkt immer auf der Normalen, die senkrecht durch die Tangente zum Kantenpunkt der Kreislinie verläuft. Somit ist es nicht mehr nötig, alle Punkte, die sich auf einer Kreislinie um einen Kantenpunkt befinden zu markieren. Es reicht aus, jeweils einen Punkt für den Radius r auf beiden Seiten der Normale zu markieren, d.h. in einem zu Null initialisierten Akkumulatorfeld wird der Wert um die Zahl a erhöht. Weitere falsche Kreismittelpunkt-Kandidaten werden eliminiert, wenn berücksichtigt wird, dass es zu jedem Kantenpunkt eines Kreises entlang seiner Normalen einen weiteren Kantenpunkt bei der doppelten Radiendistanz gibt. Wird auf der Normalen also ein zweiter Kantenpunkt bei der doppelten Radiusdistanz des potentiellen Kreises gefunden, wird nur der Mittelpunkt zwischen den beiden Kantenpunkten markiert. Überschreitet die Anzahl der Markierungen in einem Bildbereich, der sich einem oder mehreren benachbarten Bildpunkten zusammensetzt, einen vorgegebenen Schwellwert, wird ein kreisförmiges Objekt identifiziert. Zur weiteren Reduzierung von falschen Kreiskandidaten wird in einer bevorzugten Ausgestaltung des Verfahrens zusätzlich die Richtung der Tangente der beiden auf einer Normalen liegenden Kantenpunkte verglichen und es wird nur bei Übereinstimmung ein Kreismittelpunkt markiert. Vorzugsweise wird der Mittelpunkt des Bildbereichs, der sich einem oder mehreren benachbarten Bildpunkten zusammensetzt, und einen vorgegebenen Schwellwert im Akkumulatorfeld überschreitet als Kreismittelpunkt bestimmt. In einer vorteilhaften Ausgestaltung der Erfindung werden mittels zweier 2D isotroper Hochpassfilter die Kanten hervorgehoben und Tangenten zu den Kantenpunkten bestimmt, wobei horizontale und vertikale Sobeloperatoren bevorzugt angewendet werden.

Ausgehend vom Bildbereich mit erhöhten Akkumulatorwerten werden vorzugsweise mittels einer Mustererkennung die genauen Kreisparameter, d. h. Kreismittelpunkt und Radius ermittelt. Bedingt durch die endliche Pixelauflösung und die nur endlich genaue Richtungsinformation des Kantenpunkts ist der berechnete Punkt nicht immer exakt der Mittelpunkt des Kreises. Ist das kreisförmige Objekt anhand seiner Kontur identifiziert, können Schriftzeichen, Zahlen oder Muster im Kreis oder auf seiner Oberfläche mit vorher abgespeicherten Mustern verglichen und bei Übereinstimmung erkannt werden. In einer vorteilhaften Ausführungsform wird das beschriebene Verfahren zur Erkennung von runden Verkehrszeichen in Kraftfahrzeugen genutzt.

Um den Rechenaufwand bei der Erkennung kreisförmiger Objekte weiter zu minimieren, werden vorzugsweise horizontale und vertikale Kanten bezüglich einer vorgegebenen Bezugsachse nicht betrachtet. Dieses Vorgehen ist sinnvoll, wenn in den Bilddaten Kanten einer bestimmten Ausrichtung häufig einen anderen Ursprung als ein Verkehrszeichen haben. In der Umgebung eines Kraftfahrzeugs treten solche horizontalen und vertikalen Kanten z. B. bei Leitplanken, Ortsschildern oder anderen Fahrzeuge auf. Die Bezugsachse ergibt sich also aus der Umgebung und der Bildaufnehmerposition. In einer vorteilhaften Ausführungsform werden zur Erkennung von Verkehrszeichen nur Kreise mit bestimmten Radien, für die R_min < R < R_max gilt, als Verkehrszeichen erkannt. Diese Einschränkung ist vorteilhaft, um „echte" Verkehrszeichen am Straßenrand von ähnlichen Objekten, z.B. Aufklebern zur Geschwindigkeitsbeschränkung auf der Rückseite von Lastkraftwagen oder Autobussen zu unterscheiden.

Weitere Vorteile und Besonderheiten der Erfindung werden anhand eines Ausführungsbeispiels und von einer Abbildung beispielhaft näher erläutert.
Es zeigen:
1: Findung Richtung und Stärke einer Kante
2: Kreiserkennung mittels richtungskodierter Kantenpunkte: Entlang einer Normalen durch den Kantenpunkt wird nach einem gegenüberliegenden Kantenpunkt mit gleicher Richtungskodierung gesucht.
Als Ausführungsbeispiel der Erfindung wird die Erkennung von runden Verkehrszeichen in Bilddaten dargestellt. Das Verfahren umfasst im Wesentlichen fünf Schritte, die im Folgenden detailliert beschrieben werden.
1) Vorverarbeitung des Bildes: Kantenfilterung und Richtungskodierung der Bildpixel mittels Sobeloperator
Die Vorverarbeitung der Bilddaten, in diesem Beispiel handelt es sich um eine Grauwert-Aufnahme, ist in 1 dargestellt. Die Stärke und die Richtung eines Kantenpixels wird mit einem horizontalen und vertikalen Sobeloperator unter Berücksichtigung der benachbarten Werte bestimmt. Dabei wird die Differenz der Grauwerte von je übernächsten Zeilen bzw. Spalten gebildet, um die Empfindlichkeit des Verfahrens gegenüber kleinen Störungen zu reduzieren. Der Sobeloperator wird auf den betrachteten Pixel und seine 8 unmittelbaren Nachbarn angewendet. Dabei wird die Differenz der Grauwerte von gegenüberliegenden Pixeln der ersten und dritten Zeile bzw. Spalte gebildet und aufsummiert, wobei jeweils der Grauwert der mittleren Pixel doppelt gewichtet wird. Das Ergebnis der Rechenoperation ist eine Zahl S_v bzw. S_h, die ein Maß für die Stärke einerpotentiellen Kante in vertikaler bzw. horizontaler Richtung ist. Die Stärke der Kante in diesem Punkt berechnet sich zu
Übersteigt die Stärke der potentiellen Kante in einem Bildpunkt oder Bildbereich den vorgegeben Schwellwert, wird hier ein Kantenpunkt identifiziert. Eine alternatives, weniger Rechenzeit verbrauchendes Verfahren besteht darin, nur den Term d = |S_v| + |S_h| zu berechnen und darauf eine Schwellwertoperation zur Kantenfindung anzuwenden. Identifizierten Kantenpunkten wird zudem ein Winkel α als Richtungsinformation zugeordnet, die den Verlauf der Kante wiedergibt. Wie in 1 dargestellt, ergibt sich der Winkel α zwischen der Tangente durch den betrachteten Kantenpunkt und der vertikalen Raumrichtung sich zu
α = arctan(S_v/S_h).
2. Anwendung einer modifizierten Hough Transformation für Kreise auf relevante vorverarbeitete Bildausschnitte:
Aufgrund der Geometrie eines Kreises liegt der Mittelpunkt immer auf der Normalen, die senkrecht durch die Tangente an einem Punkt der Kreislinie verläuft. Zusätzlich weist jeder Kantenpunkt eines Kreises entlang der Normalen einen gegenüberliegenden Kantenpunkt mit übereinstimmender Richtung der Tangente auf. Zu jedem Kantenpixel wird also auf der Normalen ein weiteres Kantenpixel mit übereinstimmender Richtung der Tangente gesucht, bei einem positiven Resultat wird der Mittelpunkt zwischen den beiden Kantenpunkten markiert. Dieses Verfahren ist graphisch in 2 dargestellt. Rechts im Bild ist eine geradlinige Kante und eine dazugehörige Normale dargestellt. Entlang der Normalen wird nach weiteren Kantenpunkten mit gleicher Richtung gesucht. Links im Bild ist dieses Verfahren für einen Kreis dargestellt. Es wird entlang der Normalen auf doppelter Radiendistanz ein Kantenpunkt mit gleicher Richtung gefunden und der Kreismittelpunkt markiert. Die Markierung wird in einem zu Null initialisierten Akkumulatorfeld durchgeführt, alle Punkte, die als Kreismittelpunkt identifiziert werden, werden um einen Radiusabhängigen Wert a erhöht. Dadurch entstehen im Akkumulator an den Mittelpunkten von Kreisen im Vergleich zur Umgebung Punktwolken mit hohen Akkumulatorwerten. Kantenpunkte mit horizontaler oder vertikaler Tangente werden bei der Kreisfindung nicht berücksichtigt, um dadurch den Rechenaufwand zu minimieren.
3. Clustering des Akkumulators zur Bestimmung von Kreiskandidaten
Bedingt durch die endliche Pixelauflösung und die nur endlich genaue Richtungsinformation der Kanten ist der markierte Mittelpunkt im Akkumulator nicht immer exakt der Mittelpunkt des Kreises. Es werden also mehrere Pixel im Bereich des Mittelpunkts markiert bzw. deren Akkumulatorwerte erhöht. Ein Bereich mit hohen Akkumulatorwerten wird zu einem Objekt zusammengefasst, um Kreismittelpunkte besser identifizieren zu können.
4. Untersuchung aller gefundenen Kandidaten auf Kreise mit Radius R_min < R < R_max
Es werden nur Kreise mit bestimmten Radien, für die R_nun < R < R_max gilt, als Verkehrszeichen erkannt. Diese Einschränkung ist vorteilhaft um „echte" Verkehrszeichen am Straßenrand von ähnlichen Objekten, z.B. Aufklebern zur Geschwindigkeitsbeschränkung auf der Rückseite von Lastkraftwagen oder Autobussen zu trennen. R_min und R_max werden aus den Abbildungseigenschaften der Kamera bestimmt.
5. Erkennen des Inhalts innerhalb der Kreise bzw. Aussortieren der Kreise, welche keine zu erkennenden Verkehrszeichen sind
Ist das kreisförmige Objekt anhand seiner Kontur identifiziert, können Schriftzeichen, Zahlen oder Muster im Kreis oder auf seiner Oberfläche mit vorher abgespeicherten Mustern verglichen und bei Übereinstimmung erkannt werden. Wird der Inhalt eines Kreises nicht erkannt, wird das kreisförmige Objekt als kein Verkehrszeichen verworfen.

Claims

Verfahren zur Erkennung von kreisförmigen Objekten in Bilddaten eines Bildsensors, dadurch gekennzeichnet, dass in einer Vorverarbeitungsstufe Kanten in den Bilddaten durch geeignete Filter hervorgehoben und zu mehreren Punkten, die jeweils einen Kantenpunkt repräsentieren, eine Tangente und die zugehörige Normale berechnet und entlang der Normalen in doppelter Radiendistanz nach weiteren Kantenpunkten gesucht wird, wobei bei einem positiven Ergebnis der Mittelpunkt zwischen den beiden Kantenpunkten markiert wird, indem ein zu Null initialisiertes Akkumulatorfeld um einen vorgegebenen Wert erhöht wird, überschreitet die Anzahl der Markierungen in einem Bildbereich einen vorgegebenen Schwellwert, wird an dieser Stelle ein kreisförmiges Objekt identifiziert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zusätzlich die Richtung der Tangenten zweier auf einer Normalen liegender Kantenpunkte verglichen und nur bei gleicher oder nahezu gleicher Richtung der Punkt zwischen den beiden Kantenpunkten als Kreismittelpunkt markiert wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Mittelpunkt des Bildbereichs, der sich einem oder mehreren benachbarten Bildpunkten zusammensetzt, und einen vorgegebenen Schwellwert im Akkumulatorfeld überschreitet als Kreismittelpunkt bestimmt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass mittels zweier 2D isotroper Hochpassfilter Kanten im Bild hervorgehoben und die Richtung der Tangenten zu den Kantenpunkten berechnet werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die isotropen Hochpassfilter Sobeloperatoren sind.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ausgehend vom Mittelpunkt des Bildbereichs mit erhöhten Akkumulatorwerten mittels einer Mustererkennung die genauen Kreisparameter, d. h. Kreismittelpunkt und Radius ermittelt werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Inhalt der identifizierten Kreisfläche mit einem Mustererkennungsverfahren analysiert wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass es in Kraftfahrzeugen zur Erkennung von runden Verkehrszeichen genutzt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass Kantenpunkte mit horizontaler oder vertikaler Tangente bezüglich einer vorgegebenen Bezugsachse zur Kreiserkennung nicht betrachtet werden.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass nur Kreise mit einem Radius R_min < R < R_max als Verkehrszeichen erkannt werden