-
Die Erfindung betrifft ein Verfahren zur Erkennung manipulierter Verkehrszeichen mittels zumindest einer Kamera nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Prinzipiell sind Verfahren zur Verkehrszeichenerkennung aus dem Stand der Technik bekannt. Im Bereich der Automobilindustrie existieren Vorrichtungen zur Verkehrszeichenerkennung bspw. dazu, einen Fahrer auf eine an einem Ort und/oder an einem Tag und/oder zu einer Tageszeit geltende Geschwindigkeitsbeschränkung oder auf ein Überholverbot hinzuweisen. Häufig wird ein erkanntes Verkehrszeichen dem Fahrer auf einem Display im Instrumentencluster oder auf einem Display eines Navigationssystems angezeigt. Der Fahrer kann somit zu jeder Zeit überprüfen, welche Beschränkung gerade gültig ist, auch wenn er das Verkehrszeichen, z.B. wegen einer Ablenkung, nicht selbst wahrgenommen hat.
-
In der
DE 10 2016 208 621 A1 wird ein Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen gezeigt. Mittels einer Kamera und Bildanalyse wird das Verkehrszeichen erkannt und weitere, für den Insassen des Fahrzeugs nicht erkennbare Informationen ausgelesen. Diese Informationen sind auf dem Verkehrszeichen beispielsweise in Form eines QR-Codes angegeben, und sollen u. A. zur Verifikation des Aufstellortes dienen. Die ausgelesenen Informationen werden anschließend den Insassen des Fahrzeugs bereitgestellt, wodurch ein korrekt aufgestelltes Verkehrszeichen erkannt werden kann.
-
In der Realität kommt es jedoch immer wieder vor, dass Verkehrszeichen manipuliert werden. Dabei werden mutwillig falsche Verkehrszeichen an beliebigen Orten platziert, um die daran vorbeifahrenden Fahrzeuge gewollt falsch zu beeinflussen. Ebenso werden Verkehrszeichen teils durch Sprayfarbe oder auch durch Beklebungen entweder unkenntlich gemacht oder auch derart verändert, dass von diesem Verkehrszeichen anschließend entweder falsche Informationen oder gar keine Informationen mehr ausgehen.
-
Dabei ist insbesondere das Erkennen von plausibel sowie absichtlich manipulierten Verkehrszeichen schwierig. Besonders bei autonom fahrenden Fahrzeugen kann das Erkennen dieser manipulierten Verkehrszeichen und ein darauf folgendes entsprechendes autonomes handeln zu Fehlentscheidungen führen. Dies betrifft beispielsweise die angegebene zulässige Höchstgeschwindigkeit sowie temporäre oder ständige Park- oder Überholverbote.
-
Die Aufgabe der hier vorliegenden Erfindung besteht nun darin, ein Verfahren zur Erkennung manipulierter Verkehrszeichen zu schaffen, welches die zuvor genannten Nachteile überwindet.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1 und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Den Kern des erfindungsgemäßen Verfahrens bildet zumindest eine Kamera, mit der Bilder des Verkehrszeichens erfasst werden, wobei in Abhängigkeit eines Blickwinkels zwischen der Kamera und dem Verkehrszeichen eine perspektivische Transformation erfolgt. Dadurch wird der Einfluss des Blickwinkels korrigiert, wobei anschließend mittels einer fahrzeugexternen Auswerteeinheit die korrigierten Bilder ausgewertet werden, sodass Manipulationen der Verkehrszeichen erkannt werden.
-
Die zumindest eine Kamera kann dem Straßenfahrzeug derart angeordnet sein, dass bevorzugt die in Fahrtrichtung sowie seitlich neben dem Straßenfahrzeug erscheinenden Verkehrszeichen aufgenommen werden können. Da ein Abgleich der perspektivisch transformierten Bilder mit einer fahrzeugexternen Auswerteeinheit erfolgt, können manipulierte bzw. absichtlich falsch aufgestellte Verkehrszeichen erkannt werden. Im Fahrzeug wird beim Erkennen derartiger Manipulationen der Fahrer bzw. das autonom fahrende Fahrzeug nicht zum Handeln bewegt. Durch das beschriebene Verfahren kann die Robustheit und Zuverlässigkeit gegen feindliche Angriffe beim Auswerten der erkannten Verkehrszeichen, gegen sogenannte adversarial attacks, gesteigert werden. Dies gilt insbesondere für autonom fahrendende Fahrzeuge.
-
In der fahrzeugexternen Auswerteeinheit kann beispielsweise ein Abgleich des erkannten Verkehrszeichens mit einer Datenbank erfolgen. Die Datenbank kann alle dauerhaften sowie temporären Verkehrszeichenarten sowie deren Aufstellorte enthalten. So können manipulierte Verkehrszeichen einfach und schnell erkannt werden. Oft sind derartige Manipulationen bewusst derart gering gehalten, dass ein Fahrer weiterhin das Originalzeichen erkennen kann und die Manipulation nicht wahrnimmt. Mit dem beschriebenen Verfahren können jedoch auch derartig manipulierte Verkehrszeichen detektiert werden. Es ist dabei nicht nötig, das Verkehrszeichen an sich mit weiteren Merkmalen zur Überprüfung des Aufstellortes oder Abgleich des Inhalts zu versehen. Insbesondere kann ein derartiges Merkmal, wie beispielsweise ein Sensorfeld oder QR-Code ebenso manipuliert werden, sodass ein manipuliertes Verkehrszeichen dadurch nicht sicher erkannt werden könnte.
-
Bevorzugt können zumindest drei Kameras am Straßenfahrzeug angeordnet sein, die in unterschiedliche Richtungen ausgerichtet sind, wobei für jede Kamera eine perspektivische Transformation erfolgt. Dabei können alle Bilder der Kameras an die zentrale, fahrzeugexterne Auswerteeinheit gesendet und dort verglichen werden. So kann ein redundantes System bereitgestellt werden.
-
Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass mit mehreren Frontkameras des Straßenfahrzeugs die Bilder der Verkehrszeichen aufgenommen werden, wobei die Frontkameras auf verschiedenen Höhen am Straßenfahrzeug angeordnet sein können. So kann das Verkehrszeichen mit unterschiedlichen Blickwinkeln aufgenommen werden. Es können bspw. die Frontparkkameras, Augmented-Reality-Kameras (AR-Kamera), d. h. Kameras für die erweiterte Realität, sowie Multipurpose-Kameras, d. h. multifunktionale Kameras, genutzt werden.
-
Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass eine Information aus einer Navigationskarte für die Auswertung durch die fahrzeugexterne Auswerteeinheit herangezogen wird. Dadurch kann der Aufstellort weiter redundant überprüft werden.
-
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass eine Entscheidung über eine vorliegende oder nicht vorliegende Manipulation auf Basis einer Mehrheitsentscheidung der Kameras und/oder auf Basis der Navigationskarte erfolgt. Hat bspw. lediglich eine von drei Kameras das Verkehrszeichen erkannt, kann keine Mehrheitsentscheidung allein aus den Bildern der drei Kameras erfolgen. In diesem Fall können die Daten der Navigationskarte herangezogen werden, um den Aufstelltort des mit der einen Kamera identifizierten Verkehrszeichens zu überprüfen. Wird anhand der Navigationskarte der Aufstellort für das erkannte Verkehrszeichen verifiziert, kann das Verkehrszeichen als korrekt aufgestellt erkannt und an den Fahrer bzw. das autonom fahrende Fahrzeug übermittelt werden. Wird ein Verkehrszeichen hingegen von zwei der drei Kameras erkannt, kann eine Mehrheitsentscheidung allein durch die Auswertung der Kamerabilder, d. h. fahrzeugintern und ohne Hinzunahme von Navigationsdaten, erfolgen.
-
Weitere Vorteile des erfindungsgemäßen Verfahrens ergeben sich ferner aus den restlichen abhängigen Unteransprüchen und werden anhand der Ausführungsbeispiele deutlich, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine mögliche Ausführungsform des Verfahrens ;
- 2 eine weitere mögliche Ausführungsform des Verfahrens.
-
In der Darstellung der 1 ist eine mögliche Ausführungsform des Verfahrens 1 dargestellt. Zur Erkennung manipulierter Verkehrszeichen 2 sind in dieser Ansicht zwei Kameras 3 sichtbar, welche an einem Straßenfahrzeug 4 angeordnet sind. Die Blickwinkel 5 beider Kameras sind in der dargestellten Position des Straßenfahrzeugs 4 auf das Verkehrszeichen 2 ausgerichtet. Folglich können beide Kameras 3 das Verkehrszeichen 2 erkennen und aufnehmen. In Abhängigkeit des jeweiligen Blickwinkels 5 zwischen der jeweiligen Kamera 3 und dem Verkehrszeichen 2 erfolgt eine perspektivische Transformation, wobei der Einfluss des Blickwinkels 5 korrigiert wird. Mittels einer fahrzeugexternen Auswerteeinheit 6 werden die korrigierten Bilder ausgewertet, sodass Manipulationen der Verkehrszeichen 2 erkannt werden können. In der Ausführungsform nach 1 werden für die Auswertung mehrere Frontkameras des Straßenfahrzeugs 4 genutzt. Diese können auf verschiedenen Höhen am Straßenfahrzeug 4 angeordnet sein. So können z. B. die bereits vorhandenen Frontparkkameras oder andere bereits verbaute Kameras genutzt werden. Beispielsweise können mehr als zwei Kameras 3 eingesetzt werden, die an weiteren Positionen am oder im Fahrzeug angeordnet sein können.
-
Eine weitere Ausführungsvariante des Verfahrens 1 ist in 2 zu erkennen. Dieselben Bauteile sind dabei mit denselben Bezugszeichen versehen, sodass hierauf im Detail nicht weiter eingegangen werden muss. Im Unterschied zu 1 sind die beiden Kameras 3 an unterschiedlichen Positionen am Straßenfahrzeug 4 angeordnet. Eine Kamera 3 ist im Bereich des Rückspiegels angeordnet. Das dargestellte Verkehrszeichen 2 kann in dieser Position von beiden Kameras 3 erfasst und aufgenommen werden. Weiterhin ist eine Navigationskarte 7 im Fahrzeug gezeigt. Aus den GPS-Daten können weitere Informationen für die Auswertung durch die fahrzeugexterne Auswerteeinheit 6 herangezogen werden. Eine weitere Kamera 3 kann auf einer in dieser Darstellung nicht sichtbaren Seite des Straßenfahrzeugs 4 angeordnet sein. Eine Entscheidung über eine vorliegende oder nicht vorliegende Manipulation kann so auf Basis einer Mehrheitsentscheidung der Kameras 3 und/oder auf Basis der Navigationskarte 7 erfolgen.
-
Selbstverständlich lassen sich die beschriebenen Ausführungsvarianten des Verfahrens 1 in den 1 und 2 auch untereinander kombinieren, sodass verschiedene Möglichkeiten entstehen. So können beispielsweise die Kameras 3 an unterschiedlichen Positionen am oder im Straßenfahrzeug 4 angeordnet sein, sodass unterschiedliche Verkehrszeichen 2 in unterschiedlichen Höhen am Straßenrand oder auf Schilderbrücken erkannt werden können.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016208621 A1 [0003]
