-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Kanten in einem mittels einer Kamera erzeugten Kamerabild. Weiter betrifft die Erfindung ein Fahrzeug mit einer Vorrichtung zur Erkennung von Kanten.
-
Insbesondere in industriellen Anwendungen und bei der autonomen Steuerung von Fahrzeugen kommt der präzisen Kantenerkennung zur Detektion von Objekten eine hohe wirtschaftliche Bedeutung zu. Die Grundaufgabe der Objekterkennung besteht darin, das zu detektierende Objekt vom Hintergrund unterscheiden. Ein grundsätzliches Problem besteht hierbei darin, Kanten zu erkennen, d. h. Übergänge zwischen einem noch zu dem Objekt gehörenden Bereich und einem Bereich, welcher bereits dem Hintergrund oder anderen Objekten zugeordnet werden kann.
-
Die Kanten bzw. Übergänge zwischen verschiedenen Objekten zeichnen sich durch unterschiedliche optische Merkmale auf verschiedenen Seiten der Kanten aus, seien es unterschiedliche Farbtöne, Grauwerte oder Helligkeiten. Zur Erkennung von Kanten können daher Gradienten berechnet werden, wobei beispielsweise für jedes Pixel die Differenz der Farbwerte oder Grauwerte der benachbarten Pixel berechnet wird. Ist die Umgebung des untersuchten Pixels im Wesentlichen homogen, so werden sich die Grauwerte bzw. Farbwerte zu einem großen Teil aufheben und die dadurch berechnete Differenz nimmt einem kleinen Wert an. Umgekehrt ist diese Differenz größer, falls sich die benachbarten Pixel auf unterschiedlichen Seiten des zu untersuchenden Pixels in ihren Grauwerten oder Farbwerten stärker unterscheiden. In diesem Fall wird die Differenz einen höheren Wert annehmen. Ein Kantendetektion-Filter, welcher ein derartiges Differenzverfahren umsetzt, ist der Sobel-Operator.
-
Von besonderer Relevanz ist die Kantendetektion bei Fahrassistenzsystemen, beispielsweise zur Erkennung von Fahrbahnmarkierungen. Eine zusätzliche Schwierigkeit ergibt sich aus der perspektivischen Abbildung des mit einer Fahrzeugkamera aufgenommenen Bereichs. Da weiter von der Kamera entfernte Abschnitte der Fahrbahnmarkierungen kleiner abgebildet werden als näher liegende Abschnitte, werden bei Anwendung desselben Filters auf das gesamte Kamerabild verschiedene Raumbereiche unterschiedlich stark gewichtet. Eine Lösung dieses Problems kann darin bestehen, eine sogenannte Bildpyramide zu erstellen. Hierbei wird die Auflösung des ursprünglichen Kamerabildes auf verschiedenen Ebenen schrittweise reduziert. Zur Auswertung von Kanten, welche sich in der Nähe der Kamera befinden, können höhere Pyramidenstufen mit geringerer Auflösung untersucht werden. Umgekehrt werden zur Detektion von weiter entfernt befindlichen Kanten niedrigere Pyramidenstufen mit höherer Auflösung untersucht. Durch geeignete Wahl der Pyramidenstufen sind die räumlichen Abmessungen der den Pixeln entsprechenden Raumbereiche dann ähnlich, jedoch nicht gleich. Üblicherweise wird ein Faktor 2 gewählt für das Auflösungs-Verhältnis zweier benachbarter Pyramidenstufen. In diesem Fall weicht die verfügbare Auflösung von der idealen Auflösung um bis zu Wurzel von 2 ab.
-
Zur Erzeugung der Pyramiden wird jedoch zusätzliche Rechenleistung benötigt. Zusätzlich geht die Verringerung der Auflösung auch mit einem Verlust von Informationen und daher einer geringeren Lokalisierungs- wie auch Erkennungspräzision einher.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine präzisere Kantendetektion zu ermöglichen.
-
Diese Aufgabe wird durch ein Verfahren zur Erkennung von Kanten mit den Merkmalen des Patentanspruchs 1, eine Vorrichtung zur Erkennung von Kanten mit den Merkmalen des Patentanspruchs 10 und ein Fahrzeug mit den Merkmalen des Patentanspruchs 15 gelöst.
-
Weitere bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche.
-
Gemäß einem ersten Aspekt schafft die vorliegende Erfindung demnach ein Verfahren zur Erkennung von Kanten in einem mittels einer Kamera erzeugten Kamerabild. Zunächst wird jedem Pixel des Kamerabildes in Abhängigkeit von Objektweiten eines in dem Pixel abgebildeten Raumbereichs mit Bezug zu der Kamera eine jeweilige Skalierungsgröße zugewiesen. Aus dem Kamerabild wird ein Integralbild erzeugt. Weiter werden die Pixel des Integralbildes zur Generierung eines Gradientenbildes mittels Haar-Wavelet-Transformationen transformiert. Hierbei wird eine Skalierung der Haar-Wavelets für jedes zu transformierende Pixel des Integralbildes unter Berücksichtigung der dem entsprechenden Pixel des Kamerabildes zugeordneten Skalierungsgröße bestimmt.
-
Gemäß einem zweiten Aspekt schafft die vorliegende Erfindung eine Vorrichtung zur Erkennung von Kanten in einem mittels einer Kamera erzeugten Kamerabild. Die Vorrichtung ist dazu ausgebildet, jedem Pixel des Kamerabildes in Abhängigkeit von Objektweiten eines in dem Pixel ausgebildeten Raumbereichs mit Bezug zu der Kamera eine jeweilige Skalierungsgröße zuzuordnen. Die Vorrichtung ist weiter dazu ausgebildet, ein Integralbild aus dem Kamerabild zu erzeugen und Haar-Wavelet-Transformationen auf die Pixel des Integralbildes anzuwenden, um Gradientenbilder zu generieren. Eine Skalierung der Haar-Wavelets wird für jedes zu transformierende Pixel des Integralbildes unter Berücksichtigung der dem entsprechenden Pixel des Kamerabildes zugeordneten Skalierungsgröße bestimmt. Die Vorrichtung erkennt unter Verwendung des Gradientenbildes Kanten in dem Kamerabild.
-
Gemäß einem dritten Aspekt betrifft die Erfindung ein Fahrzeug mit einer Fahrzeugkameraeinrichtung, welche dazu ausgebildet ist, ein Kamerabild einer Fahrzeugumgebung des Fahrzeugs zu erzeugen. Das Fahrzeug umfasst weiter eine Vorrichtung, welche dazu ausgebildet ist, Kanten in dem erzeugten Kamerabild zu erkennen.
-
Die Erfindung ermöglicht es, Kanten zu erkennen, ohne dass dafür die Auflösung reduziert werden muss. Vielmehr wird anhand der Informationen des Originalbilds eine Kantenerkennung durchgeführt, sodass Qualitätseinbußen sowohl bei der Lokalisierungs-, als auch bei der Erkennungspräzision vermieden werden können. Gleichwohl ermöglicht es die Erfindung, unterschiedliche Abbildungsmaßstäbe in verschiedenen Bereichen des Kamerabildes zu berücksichtigen. Vorzugsweise wird hierzu die Skalierung des Haar-Wavelets jeweils derart gewählt, dass eine Breite des Kernels der Haar-Wavelet-Transformation zu einer räumlichen Abmessung des in dem Pixel abgebildeten Raumbereichs in einem festen Verhältnis steht. Pixel, welche weiter entfernte Raumbereiche mit einer größeren Objektweite abbilden, werden mit einer Haar-Wavelet-Transformation mit einer geringeren Breite transformiert als Pixel, welche näher zur Kamera gelegene Raumbereiche abbilden. Vorzugsweise ist die Breite des Kernels, d. h. die Skalierung proportional zur räumlichen Abmessung des abgebildeten Raumbereichs. Dadurch wird eine einheitliche Auswertung der Raumbereiche gewährleistet. Die Erfindung ermöglicht somit die Kantendetektion mit einer hohen Lokalisierungs-Präzision. Die genauere Lokalisierung ist im Allgemeinen von Vorteil in Applikationen, in welchen die Kanten weiter verarbeitet werden. Des Weiteren kann die genauere Lokalisierung zu einer Verminderung von Erkennungsfehlern führen, das heißt zu weniger Falschalarmen oder fehlender Erkennung.
-
Die Verwendung von Haar-Wavelets ermöglicht weiter eine pixelgenaue Skalierung des Filters, wobei die Haar-Wavelets unabhängig von der Skalierung in konstanter Laufzeit berechnet werden können.
-
Die Verwendung von Haar-Wavelets ermöglicht es, dieselben Filter-Kernel wie bei der Sobel-Filterung zu modellieren bzw. zu berechnen. Alternativ können auch einfachere Filter verwendet werden, beispielsweise nur ein horizontales und vertikales Haar-Wavelet. Die Erfindung ermöglicht somit sowohl eine hohe Präzision in der Skalierung der Filter als auch in der Lokalisierung der Kanten.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird eine Vielzahl von Gradientenbildern nach dem obigen Verfahren generiert. Die Skalierung der Haar-Wavelets hängt zusätzlich von einem globalen Skalierungsfaktor ab, welcher für jedes Gradientenbild der Vielzahl von Gradientenbildern unterschiedlich bestimmt wird. Einerseits werden durch die Berücksichtigung der dem entsprechenden Pixel zugewiesenen Skalierungsgröße die Abbildungsverhältnisse berücksichtigt. Andererseits können durch eine Vielzahl von Gradientenbildern die jeweiligen räumlichen Bereiche unterschiedlich stark aufgelöst werden. Bei Verwendung von Haar-Wavelets mit kleineren Skalierungen, d. h. kleineren Breiten der verwendeten Kernel, werden die jeweiligen Kanten in kleineren Raumbereichen, d. h. Raumbereichen mit kleineren räumlichen Dimensionen, detektiert.
-
Anhand der Vielzahl von Gradientenbildern kann an einem Ort im Bild durch einen Vergleich der jeweiligen Gradienten zusätzlich die Homogenität der angrenzenden Flächen beurteilt werden. Da in unterschiedlichen Gradientenbildern unterschiedliche Skalen zur Kantenerkennung berücksichtigt werden, kann eine hohe Homogenität erkannt werden, falls die Gradienten unterschiedlicher Skalierung im Wesentlichen gleich sind. Umgekehrt wird bei größeren Abweichungen der Gradienten erkannt, dass die angrenzenden Flächen eine geringe Homogenität aufweisen, d. h. beispielsweise die Grauwerte oder Farbwerte sich mit zunehmendem Abstand von der Kante stark verändern.
Die Homogenität kann zusätzlich zur Erkennung von Objekten oder Kanten herangezogen werden. Beispielsweise weisen Fahrbahnmarkierungen über die gesamte Breite der Markierung einen im Wesentlichen homogenen Grauwert bzw. Farbwert auf. Gleichfalls ist die Fahrbahn üblicherweise in einem an die Spurmarkierungen angrenzenden Bereich ebenfalls im Wesentlichen homogen. Somit soll nur dann eine Spurmarkierung erkannt werden, falls erkannt wird, dass die angrenzenden Flächen homogen sind. Dadurch kann die Homogenität der an die Kante angrenzenden Bereiche bei der Kantendetektion berücksichtigt werden. Das Rauschen kann deutlich unterdrückt werden und das Verfahren weist dadurch eine geringere Anzahl von Falschidentifizierungen auf.
-
Gemäß einer Weiterbildung unterscheiden sich die globalen Skalierungsfaktoren um vorgegebene Faktoren. Beispielsweise können die Skalierungsfaktoren sich um Faktoren oder Potenzen von 2 unterscheiden.
-
Gemäß einer Weiterbildung des Verfahrens wird eine Homogenität der an die Kante angrenzenden Raumbereichen anhand der Vielzahl von Gradientenbildern ermittelt. Insbesondere kann für jedes der Vielzahl von Gradientenbildern eine entsprechende Gradientenstärke um die erkannte Kante herum bestimmt werden und die Homogenität kann unter Berücksichtigung der Gradientenstärken ermittelt werden. Sind die Gradientenstärken ähnlich, dann kann erkannt werden, dass eine große Homogenität vorliegt. Ein Verfahren zur Bestimmung des Homogenitätswerts ist die Berechnung der Kovarianz der Antworten der unterschiedlich skalierten Haar-Wavelet-Gradientenfilter eines Pixels. Alternativ kann die Bestimmung der unabhängigen Varianzen in x- und in y-Richtung vorgenommen werden. Diese Varianzen können beispielsweise mit dem Betrag des gemittelten Gradienten normiert werden, da diese erwartungsgemäß proportional mit der Intensität wachsen. Mittels einer angenommenen Normalverteilung der Varianzen kann ein Gütemaß der Homogenität abgeleitet werden. Des Weiteren kann der resultierende Kantenwert statistisch ermittelt werden unter Zuhilfenahme aller Skalierungen. Eine bevorzugte Weiterbildung bei der Ermittlung des resultierenden Kantenwerts ist die Nutzung von Wichtungen der Gradienten anhand Ihrer Störanfälligkeit. Der resultierende Kantenwert kann abschließend etwa mit der Güte multipliziert werden, um die Kanten mit schlechter Homogenitätsgüte auszublenden.
-
Gemäß einer weiteren Ausführungsform zur Bewertung, ob die Gradientenstärken ähnlich sind, wird vorzugsweise als Kriterium herangezogen, ob die Gradientenstärken gleich sind, um einen vorgegebenen Prozentsatz voneinander abweichen oder bei Berücksichtigung einer vorgegebenen Verteilung, etwa einer Normalverteilung, in vorgegebenen Perzentilen oder Quantilen liegen.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird eine Skalierung der Haar-Wavelets derart gewählt, dass eine Abmessung eines bei der Haar-Wavelet-Transformation berücksichtigten Raumbereichs kleiner ist als ein vorgegebener Wert. Der vorgegebene Wert kann beispielsweise die Breite oder ein Prozentsatz der Breite eines zu erkennenden Objekts sein, beispielsweise einer zu erkennenden Fahrbahnmarkierung. Dadurch wird verhindert, dass ungewollter Weise eine weitere Kante bei der Haar-Wavelet-Transformation berücksichtigt wird, wodurch die Ergebnisse verfälscht werden können.
-
Gemäß einer bevorzugten Weiterbildung des Verfahrens wird das Kamerabild von einer Fahrzeugkamera aufgenommen, wobei durch das Erkennen von Kanten Fahrbahnmarkierungen erkannt werden.
-
Gemäß einer Weiterbildung des Verfahrens ist das Kamerabild ein Grauwertbild oder ein Farbbild.
-
Vorzugsweise werden die Objektweiten der in den Pixeln des Kamerabildes abgebildeten Raumbereiche anhand der Ausrichtung der Kamera relativ zum Untergrund abgeschätzt. Die Objektweiten müssen somit nicht gemessen werden. Vielmehr kann beispielsweise unter der Annahme, dass der Untergrund im Wesentlichen planar ist, der jeweilige Abstand des in einem Pixel abgebildeten räumlichen Bereichs bereits aus trigonometrischen Überlegungen oder empirischen Messungen hergeleitet werden. Jedem Pixel oder Pixelbereich kann in einer Tabelle eine entsprechende Objektweite zugeordnet werden, wobei die Tabelle zur Zuweisung der jeweiligen Skalierungsgröße herangezogen wird. Die Abschätzung kann vorzugsweise anhand von Eigenschaften der Kamera, beispielsweise der Brennweite durchgeführt werden.
-
Gemäß einer Weiterbildung der Vorrichtung ist diese dazu ausgebildet, eine Vielzahl von Gradientenbildern zu erzeugen, wobei die Skalierung der Haar-Wavelets zusätzlich von einem globalen Skalierungsfaktor abhängt, welcher für jedes der Vielzahl von Gradientenbildern unterschiedlich bestimmt wird.
-
Gemäß einer Weiterbildung der Vorrichtung unterscheiden sich die globalen Skalierungsfaktoren um vorgegebene Faktoren.
-
Gemäß einer Weiterbildung der Vorrichtung ist diese dazu ausgebildet, eine Homogenität der an die Kante angrenzenden Bereiche anhand der Vielzahl von Gradientenbildern zu ermitteln.
-
Gemäß einer Weiterbildung der Vorrichtung ist diese dazu ausgebildet, für jedes der Vielzahl von Gradientenbildern eine entsprechende Gradientenstärke um die erkannte Kante herum zu bestimmen und die Homogenität der an die Kante angrenzenden Strukturen unter Berücksichtigung der Gradientenstärken zu ermitteln.
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert.
-
Es zeigen:
- 1 eine schematische Draufsicht auf ein Fahrzeug mit einer Vorrichtung zur Erkennung von Kanten gemäß einer Ausführungsform der Erfindung;
- 2 ein Kamerabild mit einer Vielzahl von Pixeln;
- 3 eine schematische Draufsicht auf eine Straße zur Erläuterung der Objektweiten und ein entsprechendes Kamerabild der Straße;
- 4 ein Integralbild mit einer Vielzahl von Pixeln Pixel;
- 5 ein Gradientenbild mit einer Vielzahl von Pixeln;
- 6 eine beispielhafte Illustration eines Haar-Wavelets; und
- 7 ein Flussdiagramm eines Verfahrens zur Erkennung von Kanten in einem Kamerabild.
-
Sofern sinnvoll lassen sich die beschriebenen Ausgestaltungen und Weiterbildungen beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen.
-
In 1 ist eine Draufsicht auf ein Fahrzeug 1 mit einer Vorrichtung 2 zur Erkennung von Kanten gemäß einer Ausführungsform der Erfindung illustriert. Das Fahrzeug 1 bewegt sich auf einer Fahrbahn 4 mit rechten und linken Fahrbahnmarkierungen bzw. Spurmarkierungen 5 mit einer festen Breite d. Das Fahrzeug 1 verfügt weiter über eine Fahrzeugkameraeinrichtung 3, welche eine Fahrzeugkamera oder bevorzugt eine Vielzahl von Fahrzeugkameras umfasst, und dazu ausgelegt ist, ein Kamerabild eines Fahrzeugumfelds des Fahrzeugs 1, d. h. insbesondere der Fahrbahn 4 und den Fahrbahnmarkierungen 5 zu erfassen.
-
Wie in 2 illustriert, weist das erfasste Kamerabild A eine Vielzahl von Pixeln aij auf, wobei den Pixeln Werte zugeordnet sind, beispielsweise Grauwerte oder Farbwerte.
-
Die Vorrichtung 2 umfasst eine Recheneinrichtung, etwa einen Mikroprozessor, welche dazu ausgelegt ist, jedem Pixel aij des Kamerabildes A eine jeweilige Skalierungsgröße zuzuordnen. Die Skalierungsgröße kann einem Flächeninhalt oder einer sonstigen räumlichen Abmessung, etwa einer Breite oder einem Umfang, eines in dem Pixel aij abgebildeten Raumbereichs entsprechen.
-
In 3 ist auf der linken Seite beispielhaft nochmals eine Draufsicht auf die in 1 illustrierte Straßenszene abgebildet, wobei ein erster Raumbereich R1 und ein zweiter Raumbereich R2 eingezeichnet sind. Die Raumbereiche R1, L2 weisen eine erste Objektweite d1 und eine zweite Objektweite d2 von der Kamera 3 auf. Die Objektweite entspricht einem räumlichen Abstand zwischen der Kameraeinrichtung 3 und dem Raumbereich R1, R2, bei größeren Raumbereichen vorzugsweise einem Zentrum des Raumbereichs.
-
Auf der rechten Seite der 3 ist das Kamerabild A illustriert, welches von der Kamera 3 erzeugt wird. Ein erstes Pixel a1 bildet den ersten Raumbereich R1 ab und ein zweites Pixel a2 bildet zweiten Raumbereich R2 ab. Aufgrund der perspektivischen Abbildung ist der in dem zweiten Pixel a2 abgebildete weiter entfernte zweite Raumbereich R2 größer als der in dem ersten Pixel a1 abgebildete näher an der Kamera 3 befindliche erste Raumbereich R1. Die unterschiedliche Größe der Raumbereiche R1, R2, d. h. beispielsweise der Flächeninhalt oder die Breite der Raumbereiche R1, R2, hängt für eine planare Fahrbahn 4 im Wesentlichen nur von dem Abstand d1, d2 der Raumbereiche R1, R2 von der Kamera 3 und der Orientierung der Kamera 3 relativ zur Fahrbahn 4 ab. Da bei einer festen Orientierung der Kamera 3 ein in einem bestimmten Pixel aij abgebildeter Raumbereich stets im Wesentlichen gleich große Raumdimensionen aufweist, kann daher die Vorrichtung 2 den Pixeln aij jeweils eine Skalierungsgröße zuordnen, welche der Größe des abgebildeten Raumbereichs entspricht. Die Zuordnung kann insbesondere fest vorgegeben sein und auf einem Speicher der Vorrichtung 2 abgelegt sein.
-
Die Vorrichtung 2 erzeugt aus dem Kamerabild A ein in 4 illustriertes Integralbild B mit Pixeln bij. Jedem Pixel bij des Integralbildes B wird somit die Summe sämtlicher Pixel aij des Kamerabildes A zwischen der Position des diesem Pixel bij des Integralbildes B entsprechenden Pixels aij des Kamerabildes A und dem Ursprung, beispielsweise dem linken oberen Eck des Kamerabildes A zugeordnet. Die Verwendung von Integralbildern erlaubt die einfachere Berechnung von Pixelsummen.
-
Weiter wird aus dem Integralbild B ein in 5 illustriertes Gradientenbild C mit Pixeln cij generiert. Zur Erzeugung eines Pixels cij des Gradientenbildes C wird eine Haar-Wavelet-Transformation auf das Integralbild B angewandt, wobei ein oder mehrere Kernel der Haar-Wavelet-Transformation derart gewählt sind, dass bei der Haar-Wavelet-Transformation das dem Pixel cij des Gradientenbildes C entsprechende Pixel bij des Integralbildes B sowie gegebenenfalls benachbarte Pixel bij des Integralbildes B berücksichtigt werden. Die Anzahl der berücksichtigten Pixel bij hängt von der Skalierung der verwendeten Haar-Wavelets, d. h. der Breite und Höhe ab. Die Breite und Höhe eines Wavelets bezeichnen einen Bereich, in welchem der Kernel einen von Null verschiedenen Wert annimmt. Das Pixel cij ist vektoriell, sofern mehrere Kernel verwendet werden. Bevorzugt werden zwei Kernels verwendet, welche jeweils die Kantenstärke entlang einer der zwei Bildkoordinatenachsen berechnen.
-
Diese Skalierung wählt die Vorrichtung 2 für jedes zu transformierende Pixel bij des Integralbildes B unter Berücksichtigung der dem entsprechenden Pixel aij des Kamerabildes A zugeordneten Skalierungsgröße. Beispielsweise kann die Skalierung indirekt proportional zur Größe des abgebildeten Raumbereichs sein, das heißt zur Skalierungsgröße des entsprechenden Pixels aij des Kamerabilds A. Das heißt, zur Berechnung jedes Pixels cij des Gradientenbildes C werden Pixel bij des Integralbildes B berücksichtigt, wobei den entsprechenden Pixeln aij des Kamerabildes A jeweils ein gleich großer Raumbereich entspricht.
-
In 6 ist ein beispielhaftes Haar-Wavelet abgebildet, welches zwischen 0 und 1/2 den Wert 1 annimmt, zwischen 1/2 und 1 den Wert minus 1 annimmt und bei sämtlichen anderen Werten den Wert Null annimmt. Durch Faltung des Haar-Wavelets mit den Werten der Pixel bij des Integralbildes B wird der entsprechende Wert des Pixels cij des Gradientenbildes C erzeugt. Zur Anwendung auf zweidimensionale Bilder kann entsprechend ein Produkt von in 6 illustrierten Haar-Wavelets angewandt werden. Die Erfindung ist weiter auch nicht auf das abgebildete Haar-Wavelet beschränkt sondern auch auf beliebige weitere Haar-Wavelets anwendbar.
-
Die Werte der Pixel bij des Integralbildes B werden als zweidimensionale Stufenfunktionen betrachtet. Die Änderung der Skalierung des Haar-Wavelets ändert dann den jeweiligen Wertebereich, welcher bei Faltung mit dem Haar-Wavelet mit einberechnet wird.
-
Haar-Wavelets sind zur Kantenerkennung geeignet, da durch die Haar-Wavelet-Transformation im Wesentlichen ein Gradient berechnet wird. Befindet sich die Kante bei 1/2, so ist der Wert des Pixels bij des Integralbildes B links von der Kante unterschieden von dem Wert des Pixels bij des Integralbildes B rechts von der Kante, sodass die Haar-Wavelet-Transformation einen Wert ungleich 0 erzeugt. Durch Änderung der Skalierung des Haar-Wavelets wird der Träger des Kernels des Haar-Wavelets, d. h. derjenige Bereich, in welchem das Haar-Wavelet einen von 0 verschiedenen Wert annimmt, verändert. Insbesondere wird dadurch die Anzahl der berücksichtigten Pixel bij des Integralbildes B variiert. Vorzugsweise wird die Skalierung derart gewählt, dass die räumliche Breite des in den entsprechenden Pixeln aij abgebildeten Raumbereichs kleiner ist als ein vorgegebener Schwellenwert, beispielsweise kleiner als eine typische Breite von Fahrbahnmarkierungen. Dadurch wird verhindert, dass sowohl ein Bereich links von einer Fahrbahnmarkierung als auch rechts von einer Fahrbahnmarkierung bei der Transformation mit einberechnet wird. Somit wird lediglich eine einzige Kante ausgewertet und es wird verhindert, dass zwei Kanten gleichzeitig ausgewertet werden, was zu einer Verschlechterung des Ergebnisses führen würde.
-
Die Skalierung wird vorzugsweise von den erwarteten Strukturgrößen abgeleitet, welche wiederum durch ein Modell der Umgebung bestimmt werden. Beispielsweise können anhand eines Straßenmodells die Größe und die Anordnungen von Fahrbahnmarkierungen vorgegeben werden.
-
Vorzugsweise ist die Vorrichtung 2 dazu ausgebildet, eine Vielzahl von Gradientenbildern C nach den oben beschriebenen Schritten zu erzeugen. Die Skalierung der Haar-Wavelets hängt vorzugsweise zusätzlich von einem globalen Skalierungsfaktor ab. Für ein erstes Gradientenbild C ist der globale Skalierungsfaktor derart gewählt, dass, wie oben beschrieben, die Pixel aij des Kamerabildes, welche den für die Haar-Wavelet-Transformation berücksichtigten Pixeln bij des Integralbildes B entsprechen, einen Raumbereich abbilden, welcher einen geringeren Durchmesser aufweist, als ein vorgegebener Wert, wie etwa die typische Breite einer Fahrbahnmarkierung. Zur Erzeugung eines zweiten Gradientenbildes C wird die Skalierung vorzugsweise halbiert, sodass lediglich halb so große Raumbereiche berücksichtigt werden. Die Skalierung wird zur Anwendung auf einen ganzzahligen Wert abgerundet. Wird die Skalierung abgerundet auf 0, wird der Pixel übersprungen und es wird kein Ergebnis erzeugt. Für jedes nachfolgende Gradientenbild wird die Skalierung sukzessive weiter um Faktoren von 2 verkleinert. Die Gradientenbilder C berücksichtigen somit verschieden große Raumbereiche.
Die Vorrichtung 2 ist nun dazu ausgelegt, anhand des Gradientenbildes C oder anhand der Vielzahl von Gradientenbildern C eine Kante in dem Kamerabild A zu erkennen. Kanten werden an Pixelpositionen erkannt, bei welchen die Werte der Pixel cij des Gradientenbildes C größer als ein vorgegebener Wert sind.
-
Bei einer Vielzahl von Gradientenbildern C kann die Vorrichtung 2 weiter erkennen, ob für jedes der Gradientenbilder C eine Kante erkannt wird. Ist dies der Fall, dann berechnet die Vorrichtung 2 für jedes der Gradientenbilder C entsprechende Gradientenstärken, beispielsweise einen über eine Vielzahl von in der Nähe der Kante befindlichen Pixeln cij des Gradientenbildes C gemittelten Wert. Die Vorrichtung 2 vergleicht weiter die ermittelten Gradientenstärken. Beispielsweise kann die Vorrichtung 2 eine Verteilung der Gradientenstärken berechnen und ermitteln, ob die Gradientenstärken jeweils in einem vorgegebenen Bereich um einen Erwartungswert herum verteilt sind. In diesem Fall erkennt die Vorrichtung 2, dass die an die Kante angrenzenden Bereiche homogen sind. Ein Maß für die Homogenität der an die Kante angrenzenden Bereiche kann beispielsweise anhand der Verteilung der Gradientenstärken von der Vorrichtung 2 berechnet werden.
-
In 7 ist ein Flussdiagramm eines Verfahrens zur Erkennung von Kanten in einem mittels einer Kamera erzeugten Kamerabild A illustriert. Das Kamerabild A kann vorzugsweise mittels einer Fahrzeugkamera eines Fahrzeugs erfasst werden. Insbesondere kann das Verfahren zum Erkennen von Fahrbahnmarkierungen ausgebildet sein.
-
In einem Verfahrensschritt S1 wird jedem Pixel aij des Kamerabildes A eine jeweilige Skalierungsgröße zugeordnet, welche von Objektweiten eines in dem Pixel aij abgebildeten Raumbereichs abhängt. Die Skalierungsgröße kann, wie oben beschrieben, eine Größe des abgebildeten Raumbereichs quantifizieren. Beispielsweise kann die Skalierungsgröße proportional zu einem Flächeninhalt, einem Durchmesser oder einem Umfang des abgebildeten Raumbereichs sein.
-
In einem weiteren Verfahrensschritt S2 wird aus dem Kamerabild A ein Integralbild B berechnet.
-
In einem Verfahrensschritt S3 werden die Pixel bij des erzeugten Integralbildes B mittels einer Haar-Wavelet-Transformation transformiert und somit werden entsprechende Pixel cij eines Gradientenbildes C erzeugt bzw. generiert. Die Anzahl der bei der Haar-Wavelet-Transformation berücksichtigten Pixel bij hängt für jedes zu transformierende Pixel bij des Integralbildes B von der Skalierungsgröße des entsprechenden Pixels aij des Kamerabildes A ab, welche sich an derselben Pixelposition befindet. Die Skalierung wird derart gewählt, dass für jede Haar-Wavelet-Transformation im Wesentlichen gleich große Raumbereiche berücksichtigt werden. In einem Verfahrensschritt S4 erfolgt dann eine Auswertung des entsprechenden Gradientenbildes C zur Erkennung von Kanten.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Vorrichtung
- 3
- Kameraeinrichtung
- 4
- Fahrbahn
- 5
- Fahrbahnmarkierung
- A
- Kamerabild
- aij
- Pixel des Kamerabildes
- B
- Integralbild
- bij
- Pixel des Integralbildes
- C
- Gradientenbild
- cij
- Pixel des Gradientenbildes
