-
Die Erfindung betrifft ein Verfahren zur Identifikation wenigstens eines Verkehrszeichens der im Oberbegriff des Patentanspruchs 1 angegebenen Art.
-
Aus der
DE 10 2016 208 621 A1 ist ein derartiges Verfahren zur Identifikation wenigstens eines Verkehrszeichens bekannt. Hierbei wird wenigstens ein Bild des Verkehrszeichens mittels einer Sensoreinrichtung eines Kraftfahrzeugs erfasst, indem zum Erfassen des Bilds mittels der Sensoreinrichtung von dem Verkehrszeichen reflektierte Strahlung im sichtbaren Wellenlängenbereich erfasst wird.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren der eingangs genannten Art zu verbessern.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Um ein Verfahren der im Oberbegriff des Patentanspruchs 1 angegebenen Art zu verbessern, ist es erfindungsgemäß vorgesehen, dass mittels der Sensoreinrichtung wenigstens ein zweites Bild des Verkehrszeichens erfasst wird, indem zum Erfassen des zweiten Bilds mittels der Sensoreinrichtung von dem Verkehrszeichen reflektierte Strahlung im infraroten Wellenlängenbereich erfasst wir. Dabei wird das Verkehrszeichen in Abhängigkeit von dem ersten Bild und in Abhängigkeit von dem zweiten Bild identifiziert. Im Rahmen des erfindungsgemäßen Verfahrens ist es somit vorgesehen, dass die Sensoreinrichtung des Kraftfahrzeugs vom Verkehrszeichen zurückgeworfene beziehungsweise reflektierte elektromagnetische Strahlung innerhalb zweier voneinander unterschiedlicher Wellenlängenbereiche als jeweiliges Bild erfasst. Die Bilder werden beispielsweise einer Bildanalyse unterzogen, wodurch Bildinformationen, welche die jeweiligen Bilder charakterisieren, gewonnen werden. Beispielsweise werden die Bilder beziehungsweise die Bildinformationen miteinander kombiniert, beispielsweise derart, dass die Bilder übereinander gelegt werden. In der Folge kann das Verkehrszeichen, insbesondere dessen Inhalt oder Bedeutung, besonders gut identifiziert werden, insbesondere dann, wenn das Verkehrszeichen, insbesondere dessen Inhalt, an sich übermalt ist.
-
Die Bilder beziehungsweise die Bildinformationen werden beispielsweise mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs übereinander gelegt, insbesondere gemäß wenigstens einem Algorithmus. Hierdurch wird beispielsweise wenigstens ein Gesamtbild geschaffen, welches die Bildinformationen sowohl aus dem sichtbaren Wellenlängenbereich als auch die Bildinformationen aus dem infraroten Wellenlängenbereich umfasst. Mittels des Verfahrens können auch Bedeutungen oder Inhalte von verschmutzten und/oder übermalten Verkehrszeichen erfasst und erkannt werden. Dadurch kann der Fahrer des Kraftfahrzeugs dabei unterstützt werden, Verkehrszeichen besonders zuverlässig zu identifizieren und zu klassifizieren, wenn ein Inhalt des jeweiligen Verkehrszeichens vom Fahrer selbst beziehungsweise von der Sensoreinrichtung innerhalb des sichtbaren Wellenlängenbereichs nicht eindeutig erkennbar ist. Hierzu wird beispielsweise wenigstens ein vom Fahrer optische wahrnehmbares Symbol, welches das identifizierte Verkehrszeichen charakterisiert oder repräsentiert, im Innenraum des Kraftfahrzeugs angezeigt.
-
Bei dem Erfassen der Strahlung im sichtbaren Wellenlängenbereich werden beispielsweise jene Anteile eines elektromagnetischen Wellenspektrums mittels der Sensoreinrichtung, insbesondere mittels einer Kamera der Sensoreinrichtung, erfasst, welche für das menschliche Auge sichtbar sind. Diese Anteile weisen Wellenlängen von ca. 380 nm bis ca. 780 nm auf. Die Strahlung im auch als Infrarotwellenlängenbereich bezeichneten infraroten Wellenlängenbereich wird beispielsweise auch als Wärmestrahlung bezeichnet und kann jene Anteile des Wellenspektrums umfassen, deren Wellenlängen zwischen ca. 1 mm und ca. 780 nm liegen.
-
Hintergrund der Erfindung ist, dass Verkehrszeichen, insbesondere Verkehrsschilder, durch Verschmutzung und/oder Vandalismus so verändert werden können, dass sie durch herkömmliche Verfahren und dabei für einen herkömmlichen Bilderkennungsalgorithmus nicht mehr möglich ist, das jeweilige Verkehrsschild zu klassifizieren beziehungsweise zu identifizieren. Um dieses Problem zu lösen, nutzt die Erfindung beispielsweise Techniken, die aus dem Bereich der Kunst und insbesondere aus dem Bereich der Analyse von Kunstwerken zum Einsatz kommen. Hierbei werden beispielsweise Infrarotbilder von Kunstwerken genutzt, um tiefere Farbschichten, die durch rein sichtbares Licht nicht optisch wahrgenommen werden können, darzustellen. Hierdurch können beispielsweise Bereiche sichtbar gemacht werden, die später durch den Künstler übermalt wurden und in der endgültigen Fassung des Kunstwerks nicht mehr mit dem menschlichen Auge erkennbar sind.
-
Der zuvor genannte Algorithmus kann beispielsweise eine Gewichtung von einzelnen Frequenzbereichen des jeweiligen Bilds vornehmen, um das Gesamtbild besonders vorteilhaft zu erzeugen, anhand dessen das Verkehrszeichen erkannt werden kann. In dem so erzeugten Gesamtbild können bei verschmutzten beziehungsweise übermalten Verkehrszeichen untenliegende Schichten, die verschmutzt beziehungsweise übermalt sind, sichtbar gemacht beziehungsweise erkannt werden. Hierdurch kann beispielsweise anhand des Gesamtbilds das Verkehrszeichen erkannt und korrekt klassifiziert werden. Hierzu wird beispielsweise das erzeugte Gesamtbild einem, insbesondere weiteren, Algorithmus insbesondere in Form eines Bilderkennungsalgorithmus unterzogen, mittels welchem das Verkehrszeichen identifiziert beziehungsweise klassifiziert wird. Das erfindungsgemäße Verfahren ermöglicht somit eine besonders hohe Erkennungsrate von Verkehrsschildern und in der Folge eine besonders hohe Sicherheit.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt die einzige Fig. eine schematische Darstellung eines erfindungsgemäßen Verfahrens.
-
Im Folgenden wird anhand der einzigen Fig. ein Verfahren zur Identifikation wenigstens eines Verkehrszeichens 10 erläutert. Das Verfahren wird während einer Fahrt eines insbesondere als Kraftwagen ausgebildeten Kraftfahrzeugs von dem Kraftfahrzeug und dabei beispielsweise mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs durchgeführt. Mit anderen Worten wird das Verfahren beispielsweise durchgeführt, während das nicht dargestellte Kraftfahrzeug entlang einer Fahrbahn fährt. Dabei passiert das Kraftfahrzeug das beispielsweise neben der Fahrbahn aufgestellte Verkehrszeichen 10. Das Kraftfahrzeug weist eine Sensoreinrichtung auf.
-
Bei einem ersten Schritt S1 des Verfahrens wird mittels der Sensoreinrichtung ein erstes Bild 12 des Verkehrszeichens 10 aufgenommen, indem eine reflektierte Strahlung im sichtbaren Wellenlängenbereich mittels der Sensoreinrichtung erfasst wird. Aus der Fig. ist erkennbar, dass das Verkehrszeichen beziehungsweise dessen Inhalt mit einer Übermalung 14 versehen ist, sodass der eigentliche Inhalt des Verkehrszeichens 10 und somit dessen Bedeutung nicht ohne weiteres im sichtbaren Wellenlängenbereich optisch wahrnehmbar sind. Durch die Übermalung 14 ist beispielsweise eine rein auf herkömmlichen Verfahren basierende, eindeutige Identifikation des Verkehrszeichens 10 erschwert oder unmöglich, da zwar eine charakteristische Form und eine Größe des Verkehrszeichens 10 erkennbar sind, aber ein Symbol 16 des Verkehrszeichens 10 teilweise durch die Übermalung 14 überdeckt ist.
-
Um nun das Verkehrszeichen 10, insbesondere das Symbol 16, trotz der Übermalung 14 identifizieren zu können, wird bei einem zweiten Schritt S2 des Verfahrens wenigstens ein zweites Bild 18 des Verkehrszeichens 10 durch die Sensoreinrichtung erfasst, indem mittels der Sensoreinrichtung von dem Verkehrszeichen 10 reflektierte Strahlung im infraroten Wellenlängenbereich erfasst werden. Hierbei werden neben der charakteristischen Form und der Größe des Verkehrszeichens 10 auch das jeweilige Symbol 16, welches von der gestrichelt dargestellten Übermalung 14 teilweise verdeckt ist, erfasst. Das erste Bild umfasst beispielsweise erste Bildinformationen, die die Übermalung 14 und einen neben der Übermalung 14 liegenden und somit nicht durch die Übermalung 14 überdeckten ersten Teil des Symbols 16 umfassen, da beispielsweise sowohl die Übermalung 14 als auch der erste Teil mit dem menschlichen Auge beziehungsweise im sichtbaren Wellenlängenbereich optisch wahrgenommen werden. Da jedoch ein durch die Übermalung 14 überdeckter zweiter Teil des Symbols 16 nicht im sichtbaren Wellenlängenbereich beziehungsweise nicht mit dem menschlichen Auge erfasst werden kann, wird der zweite Teil nicht durch die ersten Bildinformationen charakterisiert. Das zweite Bild umfasst beispielsweise zweite Bildinformationen, welche den zweiten Teil des Symbols 16 charakterisieren, da beispielsweise der zweite Teil im infraroten Wellenlängenbereich erfasst wurde.
-
Bei einem dritten Schritt S3 des Verfahrens wird das Verkehrszeichen 10 in Abhängigkeit von dem ersten Bild 12 und in Abhängigkeit von dem zweiten Bild 18 mittels der elektronischen Recheneinrichtung, beispielsweise durch Anwendung eines Algorithmus, identifiziert. Hierbei werden die beiden Bilder 12, 18 insbesondere mittels der Recheneinrichtung gewichtet übereinandergelegt, um ein beispielsweise ein Gesamtbild 20 zu erzeugen, welches sowohl die ersten als auch die zweiten Bildinformationen beider Wellenlängenbereiche beziehungsweise beider Bilder umfasst. Der Algorithmus kann zum Erzeugen des Gesamtbilds Wellenlängen- und/oder Frequenzbereiche der Bilder beziehungsweise der Bildinformationen gewichten, um das Verkehrszeichen 10 besonders zuverlässig, insbesondere durch Klassifikation, erkennen zu können.
-
Beispielsweise wird das erste Bild 12 mittels einer Kamera der Sensoreinrichtung erfasst, und das zweite Bild 18 wird beispielsweise mittels eines bezüglich der Kamera externen, zusätzlich zu der Kamera vorgesehenen Sensors der Sensoreinrichtung erfasst wird. Der Sensor ist beispielsweise eine zweite Kamera der Sensoreinrichtung.
-
Ferner ist es denkbar, dass zum Erfassen des ersten Bilds und zum Erfassen des zweiten Bilds dieselbe Kamera genutzt wird, deren Detektions- oder Erfassungsbereich somit nicht nur den sichtbaren Wellenlängenbereich, sondern auch zumindest Teile des infraroten Lichts beziehungsweise zumindest einen Teil des infraroten Wellenlängenbereiches abdeckt, das heißt umfasst. Hierbei kann vorgesehen sein, dass zum Beispiel das erste Bild 12 mittels eines Bildsensors einer Kamera der Sensoreinrichtung erfasst wird, und das zweite Bild 18 wird mittels eines in die Kamera integrierten, zusätzlich zu dem Bildsensor vorgesehenen Sensorelements der Kamera erfasst. Das Sensorelement kann dabei ein zweiter Bildsensor sein, welcher zusätzlich zu dem ersten Bildsensor vorgesehen ist.
-
Bezugszeichenliste
-
- 10
- Verkehrszeichen
- 12
- Bild
- 14
- Übermalung
- 16
- Symbol
- 18
- Bild
- 20
- Gesamtbild
- S1
- Schritt
- S2
- Schritt
- S3
- Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016208621 A1 [0002]
