-
TECHNISCHES GEBIET
-
Die Erfindung betrifft das Gebiet der Fahrassistenzsysteme. Die Erfindung betrifft im Besonderen ein Verfahren und eine Einrichtung zum Aufzeichnen von Verkehrszeichen in verdeckten Situationen.
-
TECHNISCHER HINTERGRUND
-
Moderne Fahrzeuge weisen eine Vielzahl verschiedener Fahrassistenzfunktionen auf, die den Fahrer bei der Routenplanung oder bei der Führung des Fahrzeuges unterstützen. Es sind insbesondere Verfahren und Systeme zur Verkehrszeichenerkennung durch eine Kamera bekannt. Die Verkehrszeichenerkennung kann von Bedeutung sein, um einem Fahrer frühzeitig Warnhinweise zu geben, wenn es dieser verpasst hat, ein Verkehrszeichen zu registrieren. Von besonderer Bedeutung ist die Erkennung von Verkehrszeichen, wenn diese nur temporär aufgestellt, mithin nicht in einer Navigationsdatenbank oder auf einem Server vorliegen.
-
Die
DE 199 38 267 B4 betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem über eine Videokamera Verkehrszeichen erfasst, nachfolgend gedeutet und innerhalb des Fahrzeugs angezeigt werden, wobei die erkannten Verkehrszeichen in einer navigierten elektronischen Streckenkarte standortbezogen abgespeichert werden. Damit wird die elektronische Streckenkarte um die Verkehrszeichen ergänzt. Um hierbei eine zweifelsfreie Abspeicherung zu gewährleisten, sind die erkannten Verkehrszeichen vor entsprechender standortkorrelierter Abspeicherung über eine Korrektureingabemöglichkeit durch den Fahrer verifizierbar bzw. korrigierbar. Bei Wiederbefahrung der Strecke werden dem Fahrer die Verkehrszeichen auf einer Anzeige optisch oder akustisch aus der elektronischen Streckenkarte generiert und zwar innerhalb des Fahrzeuges, insbesondere für den Fall, dass ein verdecktes Verkehrszeichen vorliegt. Problematisch bei diesem Verfahren ist jedoch ein verdecktes Verkehrszeichen beim erstmaligen Befahren.
-
Liegt ein verdecktes Verkehrszeichen vor, d.h. ist ein Verkehrszeichen für einen Fahrer nicht erkennbar, weil sich dieses in einem Bereich befindet, wo es optisch von der Entfernung her für den Fahrer erkennbar wäre, durch einen Lastkraftwagen verdeckt ist, so kann keine Verifikation oder Korrektur durch den Fahrer erfolgen, da dieser einen Vergleich zwischen dem direkt wahrgenommenen Verkehrszeichen und dem zur Anzeige gebrachten Verkehrszeichen wegen der Verdeckung nicht vornehmen kann. Folglich funktioniert obiges Verfahren nicht für den Fall, dass beim erstmaligen Befahren das Verkehrszeichen nicht zweifelsfrei erkannt werden kann. In diesem Fall kann die elektronische Streckenkarte um das Verkehrszeichen nicht ergänzt werden und somit liegt das Verkehrszeichen auch für zukünftige verdeckte Situationen noch nicht vor. Es kann mithin sein, dass das Verkehrszeichen für den Fahrer überhaupt nicht wahrnehmbar ist, entweder weil es zu weit entfernt ist oder weil es verdeckt ist oder weil die elektronische Streckenkarte dieses noch nicht beinhaltet und es dem Fahrer nicht im Fahrzeug akustisch oder visuell angezeigt werden kann.
-
OFFENBARUNG DER ERFINDUNG
-
Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Einrichtung zur elektronischen Erfassung von Verkehrszeichen anzugeben, welche zu verlässig sind und sicher arbeiten.
-
Diese Aufgabe wird mit einem Verfahren gemäß dem unabhängigen Verfahrensanspruch und einer Vorrichtung gemäß dem unabhängigen Vorrichtungsanspruch gelöst. Die abhängigen Ansprüche betreffen vorteilhafte Ausgestaltungen.
-
Ein Aspekt betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen. Das Verfahren beinhaltet das Erfassen eines Verkehrszeichens mittels einer in einem Fahrzeug befindlichen oder angebrachten Kamera aus einer Entfernung zwischen Kameralinse und dem Verkehrszeichen, bei der ein Erkennen des Verkehrszeichens durch einen Fahrer des Fahrzeugs mittels bloßen Auges nicht möglich ist. Das Verfahren beinhaltet des Weiteren das Speichern des erfassten Verkehrszeichens in einer Speichereinrichtung im Fahrzeug sowie das Feststellen, ob eine Verdeckung des Verkehrszeichens vorliegt bei einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen des Verkehrszeichens durch den Fahrer mittels bloßen Auges möglich wäre. Das Verfahren beinhaltet sodann dass das Darstellen des erfassten und gespeicherten Verkehrszeichens auf einem im Fahrzeug befindlichen Display zumindest dann, wenn festgestellt wurde, dass eine Verdeckung vorliegt.
-
Mithin wird eine Früherfassung eines Verkehrszeichens zu einem Zeitpunkt vorgenommen, in welchem es für den Fahrer nicht erkennbar ist. Unter erkennbar ist hier gemeint, dass das Verkehrszeichen durch den Fahrer zweifelsfrei identifiziert werden kann. Die Früherfassung kann jedoch frühestens zu einem Zeitpunkt, mithin bei einer entsprechenden Entfernung zwischen Kameralinse und Fahrzeug vorgenommen werden, bei der das Verkehrszeichen durch Zoomen und Fokussieren erkennbar wird, sei es mittels automatischer Verkehrszeichenerkennung oder manuell durch den Fahrer. Die Früherfassung dient für den Fall, dass eine Verdeckung des Verkehrszeichens, bspw. durch große Fahrzeuge wie Lastkraftwagen zu einem Zeitpunkt erfolgt, in welchem das Verkehrszeichen ohne die verdeckenden Fahrzeuge für den Fahrer zweifelsfrei erkennbar wäre. Da das Verkehrszeichen durch die Früherfassung in einem Speicher abgelegt wurde kann es auf einem Display innerhalb des Fahrzeugs, bspw. auf einem Display eines Kombigeräts oder auf einem Display eines Navigationsgerätes zur Anzeige gebracht werden. Insbesondere wird das Verkehrszeichen zumindest dann zur Anzeige gebracht, wenn festgestellt wurde, dass eine Verdeckung vorliegt. Alternativ kann durch eine Voreinstellung des Fahrers das Verkehrszeichen unabhängig von einer Verdeckung auf dem Display dargestellt werden.
-
Eine Verdeckung kann dadurch festgestellt werden, dass zunächst ein Abstand zwischen der Kameralinse der im Fahrzeug befindlichen oder einer am Fahrzeug angebrachten Kamera und dem Verkehrszeichen ermittelt wird. Wenn dieser Abstand einen Schwellwert unterschreitet, kann sodann festgestellt werden, dass eine Verdeckung vorliegt, wenn kein Verkehrszeichen mittels einer Verkehrszeichenerkennung erkannt werden konnte.
-
Durch die Früherfassung mittels der Kamera und das unmittelbare Speichern ist es auch nicht notwendig, dass das Verkehrszeichen bereits in einer elektronischen Streckenkarte vorliegt. Es kann jedoch eine elektronische Streckenkarte um mittels der Frühfassung und anschließender automatischer Erkennung identifizierte Verkehrszeichen erweitert werden, auch dann wenn eine Verdeckung des Verkehrszeichens bei erstmaligem Befahren einer Strecke mit dem Verkehrszeichen vorliegt. Die automatische Erkennung kann mittels eines Verfahrens zur Muster- und Farberkennung erfolgen. Eine Früherfassung des Verkehrszeichens ist insbesondere bei temporär zum Einsatz gebrachten Verkehrszeichen relevant, da diese regelmäßig in keiner elektronischen Streckenkarte vorliegen und eine Verdeckungssituation für einen Fahrer jederzeit möglich ist.
-
Die Früherfassung des Verkehrszeichens kann insbesondere durch Zoomen und Fokussieren erfolgen. Auf diese Weise kann das Verkehrszeichen, welches zunächst mit bloßem Auge nicht lesbar ist durch die Kamera herangezoomt, erkannt und lokal gespeichert werden, bspw. in der Head-Unit im Fahrzeug. Das Heranzoomen und die Fokussierung haben den Effekt, dass das Verkehrszeichen für den Fahrer zweifelsfrei erkennbar ist, wenn es auf einem Display dargestellt wird. Das Heranzoomen und die Fokussierung haben darüber hinaus den Effekt, dass das Verkehrszeichen mittels automatischer Erkennung besser erkannt werden kann. Die Früherfassung des Verkehrszeichens sollte mithin aus einer Entfernung zwischen Verkehrszeichen und Linse der Kamera erfolgen, bei der durch Heranzoomen und Focussierung eine Erkennung des Verkehrszeichens möglich ist. Die Entfernung sollte aber auch so gewählt werden, dass das Verkehrszeichen nicht verdeckt werden kann.
-
Das Erfassen des Verkehrszeichens kann das Aufnehmen einer Sequenz von Einzelbildern beinhalten. Die Verarbeitung kann mithin auf der Sequenz basieren. Das Darstellen des erfassten und gespeicherten Verkehrszeichens kann das Auswählen eines Bildes aus der Sequenz von Bildern entsprechend eines Auswahlkriteriums erfolgen. Das Auswahlkriterium kann ein bestimmter Qualitätsmaßstab sein. So kann bspw. das beste Bild ausgewählt werden.
-
Um nur die Verkehrszeichen von Interesse zu erfassen und dadurch die Bildverarbeitung gezielter und effizienter zu machen, können auch nur bestimmte Verkehrszeichen, die sich im Blickfeld der Kamera befinden, berücksichtig werden. Mithin kann das Erfassen eines Verkehrszeichens das Filtern von Verkehrszeichen nach einem oder mehreren Filterkriterien beinhalten. Die Filterkriterien können insbesondere sein der Ort, an welchem sich ein Verkehrszeichen befindet. Bspw. können nur Verkehrszeichen, die sich an der rechten Seite der Fahrbahn befinden oder nur die in Fahrrichtung Berücksichtigung finden. Es können Verkehrszeichen nach der Form der Verkehrszeichen oder nach der Form der Schilder, auf denen Sie angebracht sind, gefiltert werden. Bspw. können nur rechteckige Verkehrszeichen oder Schilder Berücksichtigung finden. Die Verkehrszeichen können nach der Größe der Verkehrszeichen oder nach der Größe der Schilder, auf denen sie sich befinden, gefiltert werden. Ein weiteres Filterkriterium ist der überwiegende im Bild vorhandene Farbanteil.
-
Es kann auch eine Filterung der Darstellung des Verkehrszeichens auf dem Display erfolgen. Hierbei können zunächst erfasste und gespeicherte Verkehrszeichen mit einer Vielzahl von in einer Datenbank gespeicherten relevanten Verkehrszeichen verglichen werden. Ergibt dieser Vergleich, dass es sich um ein relevantes Verkehrszeichen handelt, so wird dieses auf dem Display dargestellt.
-
Ein weiterer Aspekt betrifft ein Fahrassistenzsystem. Dieses hat eine Kamera und ist eingerichtet zum Erfassen eines Verkehrszeichens aus einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen mittels bloßen Auges nicht möglich ist. Dieses hat darüber hinaus eine Speichereinrichtung eingerichtet zum Speichern des erfassten Verkehrszeichens; sowie einen Prozessor, eingerichtet zum feststellen, ob eine Verdeckung des Verkehrszeichens vorliegt bei einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen mittels bloßen Auges möglich ist; und ein Display, eingerichtet zum Darstellen des erfassten und gespeicherten Verkehrszeichens zumindest dann, wenn festgestellt wurde, dass eine Verdeckung vorliegt.
-
Figurenliste
-
Die Erfindung wird im Folgenden an Hand von Ausführungsbeispielen mit Bezug auf Figuren beschrieben. Es zeigen
- 1 eine schematische Darstellung einer Verkehrssituation, in der ein Verkehrszeichen für einen Fahrer aufgrund der Entfernung nicht erkennbar ist;
- 2 eine schematische Darstellung einer Verkehrssituation, in der ein Verkehrszeichen für einen Fahrer aufgrund einer Verdeckung durch Lastkraftwagen nicht erkennbar ist;
- 3 eine schematische Darstellung eines Autobahnabschnitts mit einer Wechselzeichen-anlage und einem temporär aufgestellten Verkehrsschild; und
- 4 ein Flussdiagramm für ein Verfahren zur elektronischen Erkennung von Verkehrszeichen.
-
DETAILLIERTE BESCHREIBUNG
-
1 zeigt eine schematische Darstellung einer Verkehrssituation 100 auf einem Autobahnabschnitt 102 mit zwei Fahrspuren. Auf der rechten Fahrspur fährt ein Fahrzeug 110. Dem Fahrzeug 110 fahren auf der rechten Fahrspur zwei Lastkraftwagen 106, 108 voraus. In Sichtverbindung zu dem Fahrzeug 104 befindet sich in ein Verkehrsschild 104 in einer Entfernung, bei der das auf dem Verkehrsschild angebrachte Verkehrszeichen für den Fahrer des Fahrzeuges noch nicht erkennbar ist. Allerdings befindet sich das Verkehrsschild in einer Entfernung, bei der eine Sichtverbindung zwischen Fahrzeug und Verkehrsschild besteht. Aus diesem Grund kann bei dieser Entfernung eine Früherfassung des Verkehrsschildes mittels einer Kamera erfolgen. Dies wird in Zusammenhang mit dem Flussdiagramm in 4 beschrieben. Die Früherfassung des Verkehrsschildes 104 erfolgt durch fortlaufendes Erfassen mit einer Kamera 402. Hierbei wird der Raum vor dem Fahrzeug oder seitlich davon erfasst. Die Kamera weist einen Prozessor auf oder ist mit einem Prozessor verbunden. In dem Prozessor befindet sich ein Softwaremodul zum Erkennen von Verkehrsschildern 404, bspw. basierend auf einem Mustervergleichsverfahren. Wird beim fortlaufenden Erfassen der Umgebung ein Verkehrsschild 104 erkannt, so steuert das Softwaremodul die Kamera so an, dass ein Zoomen 406 des Verkehrsschildes 104 erfolgt. Das so herangezoomte Verkehrsschild wird in Schritt 408 aufgenommen und in Schritt 410 gespeichert.
-
2 zeigt eine Verdeckungssituation 200 auf dem Autobahnabschnitt 202. Das Fahrzeug 210 befindet sich in einer Entfernung zu dem Verkehrschild 204 bei der ein Erkennen des sich auf dem Verkehrsschildes 204 abgebildeten Verkehrszeichens für den Fahrer mit bloßem Auge möglich wäre, wenn das Verkehrschild 204 nicht durch die beiden Lastkraftwagen 206, 208 verdeckt wäre. Es wird angenommen, dass diese Verdeckungssituation zumindest seit einem Zeitpunkt bestand, wo ein Erkennen mittels bloßen Auges noch nicht möglich war. Folglich war es für den Fahrer des Fahrzeuges 210 überhaupt nicht möglich, das Verkehrszeichen zu erkennen. Allerdings hat zum Zeitpunkt der Verdeckung eine Früherfassung des Verkehrszeichens wie in Zusammenhang mit 1 beschrieben, bereits stattgefunden, so dass in diesem Zeitpunkt das frühzeitig erfasste und gespeicherte Verkehrszeichen dem Fahrer zur Anzeige gebracht werden kann. Dies wird wieder in Zusammenhang mit dem Flussdiagramm in 4 beschrieben.
-
In dem Prozessor befindet sich ein Softwaremodul zur Identifikation von Lastkraftwagen 412. Das Softwaremodul kann einen Algorithmus zur Mustererkennung beinhalten. Werden Lastkraftwagen auf fortlaufend mit der Kamera aufgenommenen Bildern identifiziert, so wird in Schritt 414 untersucht, ob eine Verdeckung durch Lastkraftwagen vorliegt. Wird in Schritt 414 ein Verdeckung bspw. dadurch festgestellt, dass keine Erkennung des Verkehrszeichen durch eine algorithmische Verkehrszeichenerkennung mehr erfolgen kann, obwohl dies von der Entfernung her noch möglich sein müsste, so wird das durch die Früherfassung gespeicherte Verkehrszeichen dem Fahrer in Schritt 416 angezeigt. Wird hingegen festgestellt, dass keine Verdeckung vorliegt, so wird das Verkehrszeichen in Schritt 418 dem Fahrer nur angezeigt, wenn dies vor vom Fahrer so vorabeingestellt wurde. Hierfür kann eine Ein/Ausgabeschnittstelle vorgesehen sein, welche mit dem Prozessor und mit der Kamera mittelbar verbunden ist, mit welcher die Fahrer die Vorabeinstellung vornehmen kann. Die Anzeige des Verkehrszeichens kann dabei optisch sein, oder aber auch akustisch unterstützt sein durch eine Lautsprecheransteuerung. Es kann vorgesehen sein, dass nur bestimmte Verkehrszeichen angezeigt oder aber überhaupt erst gespeichert werden. Dies wird weiter unten in Zusammenhang mit 3 erläutert.
-
Der Prozessor, welcher die Softwaremodule zum Erkennen von Verkehrsschildern, zur Identifikation von Lastkraftwagen und zum Feststellen einer Verdeckung ausführt, muss sich nicht in der Kamera befinden. Er kann alternativ an beliebiger Stelle im Fahrzeug installiert sein und mit der im Fahrzeug verbauten Kamera verschaltet sei.
-
Ein auf diese Weise durch Früherfassung erkanntes Verkehrszeichen kann in einer elektronischen Streckenkarte ergänzt werden. Die elektronische Streckenkarte kann in einem Navigationsrechner abgelegt sein, welcher mit dem Prozessor, welcher die Softwaremodule zum Erkennen von Verkehrsschildern oder Verkehrszeichen ausführt, verbunden sein kann. Durch eine Korrelation von Verkehrszeichenerkennung und Navigationssystem erfolgt eine ortsbezogene Verkehrszeichenzuordnung in Hinblick auf die elektronisch gespeicherte Streckenkarte.
-
3 zeigt eine schematische Darstellung eines Autobahnabschnitts 302 mit einer Wechselzeichenanlage 304 mit Wechselzeichen 306 und 308 und einem temporär aufgestellten Verkehrsschild 310. Im Softwaremodul zum Erkennen von Verkehrsschildern kann ein Filterverfahren ausgeführt werden, mit welchem bestimmte Verkehrsschilder oder Verkehrszeichen gefiltert werden. Dabei kann ein Abgleich mit einer in einem Speicher befindlichen Datenbank von relevanten Verkehrsschildern erfolgen. Bei einer über der Fahrbahn befindlichen Wechselzeichenanlage 304 kann davon ausgegangen werden, dass deren Verkehrszeichen 306, 308 grundsätzlich nicht durch einen Lastkraftwagen verdeckt werden können. Deswegen können Verkehrszeichen von Wechselzeichenanlagen herausgefiltert werden. Alternativ können dennoch bestimmte Verkehrszeichen von Wechselzeichenanlagen zu einer optischen oder akustischen Anzeige gebracht werden, bspw. wenn es sich um Geschwindigkeitsbegrenzungen handelt und festgestellt wird, dass eine Geschwindigkeitsüberschreitung des Fahrzeugs vorliegt. Verkehrszeichen von Wechselzeichenanlagen werden jedoch nicht mit der elektronischen Streckenkarte verknüpft.
-
Das temporäre Verkehrsschild 310 kann hingegen entsprechend seiner Form und Farbe ebenfalls einem Filterverfahren unterworfen werden. Hierbei können Verkehrszeichen herausgefiltert werden, die für die gegenwärtige Streckenplanung irrelevant sind, bspw. Umleitungsschilder, die zu einem Zielort umleiten, welcher nicht angefahren wird. Derartige Verkehrszeichen werden weder gespeichert, noch zur Anzeige gebracht noch in einer Datenbank hinterlegt.
-
Ein Aspekt betrifft ein Computerprogrammprodukt zum Ausführen des Verfahrens.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
