-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Erkennung von Verkehrszeichen auf und/oder entlang der von einem Fahrzeug befahrenen Fahrbahn.
-
Ein Fahrzeug (wie z.B. ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Motorrad, ein E-Scooter, ein Luftfahrzeug, ein Wasserfahrzeug, etc.) kann ein oder mehrere Umfeldsensoren (z.B. Kameras und/oder einen Radioempfänger zum Empfang von Infrastruktur-zu-Fahrzeug-Nachrichten) umfassen, die eingerichtet sind, Umfelddaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen. Auf Basis der Umfelddaten können Verkehrszeichen im Umfeld des Fahrzeugs erkannt werden. Dabei kann ein Verkehrszeichen ein statisches Verkehrszeichen (etwa ein Verkehrsschild) oder ein dynamisches Verkehrszeichen (etwa eine Ampel) sein. Ferner können die jeweils erkannten Verkehrszeichentypen symbolisch auf einer Anzeigeeinheit (des Fahrzeugs oder eines Anwendergeräts, etwa eines Smartphones, des Fahrers des Fahrzeugs) angezeigt und/oder akustisch beschrieben werden, um den Fahrer des Fahrzeugs beim Steuern des Fahrzeugs zu unterstützen.
-
Die Verkehrszeichenerkennung eines Fahrzeugs kann ggf. fehlerhaft sein, was zu einem reduzierten Komfort für den Fahrer des Fahrzeugs und/oder zu einem Vertrauensverlust des Fahrers in die automatische Verkehrszeichenerkennung führen kann.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, den Komfort und/oder die Sicherheit eines Fahrerassistenzsystems zur Verkehrszeichenerkennung zu erhöhen.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine (Steuer-) Vorrichtung zur Erkennung eines Verkehrszeichens auf oder an der von einem (Kraft-) Fahrzeug befahrenen Fahrbahn beschrieben. Die Vorrichtung ist eingerichtet, Verkehrszeichendaten in Bezug auf das Verkehrszeichen zu ermitteln. Die Verkehrszeichendaten können Sensordaten von einer oder mehreren Umfeldsensoren (insbesondere von einer Umfeldkamera) des Fahrzeugs umfassen. Die Verkehrszeichendaten können kontinuierlich und/oder wiederholt während der Fahrt des Fahrzeugs auf der Fahrbahn erfasst werden. Auf Basis der Verkehrszeichendaten kann ein Verkehrszeichen erkannt werden (z.B. unter Verwendung eines Obj ekterkennungsalgorithmus).
-
Beispielhafte Verkehrszeichen sind: ein Verkehrsschild, ein Warndreieck, eine Ampel, ein von einer Person (etwa von einem Polizisten) bewirktes Verkehrszeichen (wie z.B. das Winken mit einer Kelle), ein von einem anderen Fahrzeug (etwa von einem Polizeifahrzeug) bewirktes Verkehrszeichen (wie z.B. eine Anzeige auf einem Bildschirm des Fahrzeugs), etc.
-
Eine Fahrbahn kann allgemein als ein Weg verstanden werden, der von einem Fahrzeug befahren werden kann, wie z.B. ein asphaltierter Weg oder ein Kiesweg oder ein Parkplatz für ein Kraftfahrzeug, oder ein Schifffahrtsweg für ein Wasserfahrzeug, oder ein Gleis für einen Zug, etc.
-
Die Vorrichtung ist ferner eingerichtet, auf Basis der Verkehrszeichendaten den Verkehrszeichentyp des Verkehrszeichens zu ermitteln. Zu diesem Zweck kann ein (ggf. Maschinen-erlernter) Typ-Erkennungs-Algorithmus verwendet werden. Die Vorrichtung kann eingerichtet sein, den Verkehrszeichentyp des Verkehrszeichens aus einer Vielzahl von unterschiedlichen Verkehrszeichentypen auszuwählen. Die Vielzahl von unterschiedlichen Verkehrszeichentypen kann umfassen (insbesondere für ein Kraftfahrzeug): ein Verkehrszeichen in Bezug auf eine Geschwindigkeitsbegrenzung; ein Verkehrszeichen in Bezug auf ein Überholverbot; ein Verkehrszeichen in Bezug auf die Befahrbarkeit einer Fahrspur; und/oder ein Verkehrszeichen in Bezug auf eine Vorfahrtsregel. Das Verkehrszeichen bzw. der Verkehrszeichentyp können mit einer Verkehrsregel assoziiert sein, die auf einem bestimmten Fahrbahnabschnitt der Fahrbahn gilt, der auf das Verkehrszeichen folgt und/oder der dem Verkehrszeichen vorausging (z.B. auf einem Fahrbahnabschnitt von 100 Metern oder mehr, oder 200 Metern oder mehr). Beispielsweise zeigt ein Verkehrszeichen in Bezug auf eine Geschwindigkeitsbegrenzung eine Geschwindigkeitsbegrenzung für einen folgenden Fahrbahnabschnitt an. Andererseits zeigt ein Verkehrszeichen in Bezug auf eine Aufhebung einer Geschwindigkeitsbegrenzung eine Geschwindigkeitsbegrenzung für einen vorausgehenden Fahrbahnabschnitt an.
-
Des Weiteren ist die Vorrichtung eingerichtet, eine Verkehrszeichenausgabe für den ermittelten Verkehrszeichentyp zu bewirken. Das Fahrzeug kann eine Ausgabeeinheit, insbesondere eine Anzeigeeinheit, etwa einen Bildschirm und/oder ein Head-Up Display, umfassen, und die Vorrichtung kann eingerichtet sein, die Verkehrszeichenausgabe über die Ausgabeeinheit auszugeben, insbesondere anzuzeigen. Die Verkehrszeichenausgabe kann ein Symbol für den erkannten Verkehrszeichentyp umfassen. Alternativ oder ergänzend kann die Verkehrszeichenausgabe akustisch erfolgen (z.B. durch Ausgabe einer Melodie), etwa über einen Lautsprecher des Fahrzeugs.
-
Die Vorrichtung ist ferner eingerichtet, eine Zusatzausgabe in Bezug auf die Verkehrszeichendaten (über die Ausgabeeinheit des Fahrzeugs) zu bewirken. Die Zusatzausgabe kann Information umfassen, aus der hervorgeht, auf welcher Daten-Grundlage (z.B. auf welchen Quelldaten) der Verkehrszeichentyp ermittelt wurde. Alternativ oder ergänzend kann die Zusatzausgabe Information in Bezug auf den Teil der Verkehrszeichendaten (z.B. der Quelldaten) umfassen, der als Daten-Grundlage zur Ermittlung des Verkehrszeichentyps genutzt wurde.
-
Es wird somit eine Vorrichtung beschrieben, die zusätzlich zu dem erkannten Verkehrszeichentyp eines Verkehrszeichens eine Zusatzausgabe bewirkt, aus der die Daten-Grundlage für die Ermittlung des Verkehrszeichentyps hervorgeht. So können der Komfort und die Sicherheit eines Fahrerassistenzsystems zur Verkehrszeichenerkennung erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, eine Nutzereingabe eines Nutzers des Fahrzeugs zu erfassen (z.B. über eine Benutzerschnittstelle des Fahrzeugs). Die Zusatzausgabe kann ggf. (erst) in Reaktion auf die Nutzereingabe bewirkt werden. Die Zusatzausgabe kann somit ggf. selektiv auf Anfrage durch den Nutzer des Fahrzeugs bereitgestellt werden. So kann der Komfort des Fahrerassistenzsystems weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, während der Fahrt auf der Fahrbahn wiederholt Verkehrszeichendaten (insbesondere Sensordaten) in Bezug auf Verkehrszeichen an oder auf der Fahrbahn zu erfassen. Es kann dem Nutzer des Fahrzeugs ermöglicht werden, an einem Anfragezeitpunkt eine Zusatzausgabe in Bezug auf die Verkehrszeichendaten für ein Zeit- und/oder Streckenintervall zu bewirken, das sich ausgehend von dem Anfragezeitpunkt um eine bestimmte Zeitdauer (z.B. 20 Sekunden oder mehr) und/oder für einen bestimmten Streckenabschnitt (z.B. 100 Meter oder mehr) in die Vergangenheit erstreckt. Es kann somit dem Nutzer ermöglicht werden, die Daten-Grundlage für die Verkehrszeichenerkennung für ein bestimmtes zurückliegendes Intervall anzufragen und zu überprüfen. So können der Komfort und die Sicherheit des Fahrerassistenzsystems weiter erhöht werden.
-
Die Verkehrszeichendaten können ein oder mehrere Bilder umfassen, die von zumindest einer (frontseitigen) Kamera des Fahrzeugs erfasst wurden. Die Vorrichtung kann eingerichtet sein, den Verkehrszeichentyp auf Basis der ein oder mehreren Bilder zu ermitteln. Die Zusatzausgabe kann (als Daten-Grundlage für die Verkehrszeichenerkennung) die ein oder mehrere Bilder umfassen, die von der zumindest einen (frontseitigen) Kamera des Fahrzeugs erfasst wurden.
-
Die Vorrichtung kann insbesondere eingerichtet sein, während der Fahrt des Fahrzeugs auf der Fahrbahn eine Sequenz von Bildern zu ermitteln, die von der Kamera des Fahrzeugs erfasst wird. Als Verkehrszeichendaten (für das bestimmte Verkehrszeichen) kann dann eine Teilsequenz aus der Sequenz von Bildern ermittelt werden, in denen das Verkehrszeichen und der Verkehrszeichentyp jeweils erkennbar sind. Es können somit die Bilder selektiert werden, auf denen das Verkehrszeichen zu erkennen ist. Es kann dann eine Zusatzausgabe bewirkt werden, die (ggf. nur) die Teilsequenz von Bildern umfasst (z.B. als ein Video).
-
Durch die Ausgabe von ein oder mehreren Bildern als Daten-Grundlage kann es dem Nutzer in besonders effizienter Weise ermöglicht werden, den erkannten Verkehrszeichentyp zu überprüfen. So können der Komfort und die Sicherheit weiter erhöht werden.
-
Wie bereits weiter oben dargelegt, kann das Verkehrszeichen mit einer Verkehrsregel assoziiert sein, die auf einem bestimmten Fahrbahnabschnitt der Fahrbahn gilt, der auf das Verkehrszeichen folgt. Die Vorrichtung kann eingerichtet sein, die Verkehrszeichenausgabe während der gesamten Fahrt auf dem bestimmten Fahrbahnabschnitt zu bewirken. Die Verkehrszeichenausgabe kann somit während der gesamten Gültigkeit der mit dem Verkehrszeichen assoziierten Verkehrsregel ausgegeben werden.
-
Die Vorrichtung kann ferner eingerichtet sein, es dem Nutzer des Fahrzeugs während der gesamten Fahrt auf dem bestimmten Fahrbahnabschnitt zu ermöglichen, auf Anfrage die Zusatzausgabe zu bewirken. Die Zusatzausgabe kann somit während der gesamten Gültigkeit der mit dem Verkehrszeichen assoziierten Verkehrsregel bewirkt werden. So können der Komfort und die Sicherheit weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, es dem Nutzer des Fahrzeugs zu ermöglichen, die Zusatzausgabe und/oder die Verkehrszeichenausgabe in Bezug auf ein Verkehrszeichen auch dann noch zu bewirken, wenn das Fahrzeug den bestimmten Fahrbahnabschnitt (für den das Verkehrszeichen galt) bereits passiert hat. Es kann z.B. dem Nutzer ermöglicht werden, die Verkehrszeichenausgabe und/oder die Zusatzausgabe im Anschluss an eine Fahrt zu bewirken, etwa um es dem Nutzer im Nachhinein zu ermöglichen, zu überprüfen, ob das Verkehrszeichen übersehen wurde.
-
Die Verkehrszeichenausgabe und/oder die Zusatzausgabe sind somit ggf. nicht auf das zuletzt erkannte Verkehrszeichen beschränkt. Es können ggf. eine Verkehrszeichenausgabe und/oder eine Zusatzausgabe zu einem beliebigen in der Vergangenheit erkannten Verkehrszeichen erfolgen. Beispielsweise kann sich der Fahrer nach einer Fahrt die Reise auf einer Straßenkarte visualisieren lassen, wobei dabei die erkannten Verkehrszeichen dargestellt werden (z.B. jeweils als relativ kleines Bild im Straßenkartenbild). Ferner kann dabei jeweils der Geltungsbereich des jeweiligen Verkehrszeichens dargestellt werden (z.B. durch Darstellen des Geltungsbereichs eines Verkehrszeichens in einer bestimmten Farbe).
-
Mit anderen Worten, das Verkehrszeichen kann mit einer Verkehrsregel assoziiert sein, die auf einem bestimmten Fahrbahnabschnitt der Fahrbahn gilt. Die Vorrichtung kann eingerichtet sein, auf Anfrage (des Nutzers) die Verkehrszeichenausgabe und/oder die Zusatzausgabe für das Verkehrszeichen zu bewirken, auch nachdem das Fahrzeug bereits den bestimmten Fahrbahnabschnitt passiert hat. So kann der Komfort für den Nutzer weiter erhöht werden.
-
Wie bereits weiter oben dargelegt, kann die Vorrichtung eingerichtet sein, den Verkehrszeichentyp anhand eines Typ-Erkennungs-Algorithmus zu ermitteln. Ferner kann die Vorrichtung eingerichtet sein, (über die Benutzerschnittstelle) eine Rückmeldung des Nutzers dahingehend zu erfassen, dass ein Fehler in Bezug auf den ermittelten Verkehrszeichentyp vorliegt. Ggf. kann die Rückmeldung auch den korrekten Verkehrszeichentyp anzeigen. Es können daraufhin die Verkehrszeichendaten (ggf. zusammen mit dem korrekten Verkehrszeichentyp) für eine Anpassung des Typ-Erkennungs-Algorithmus bereitgestellt werden, insbesondere einer Fahrzeug-externen Einheit bereitgestellt werden (z.B. über eine Datenschnittstelle des Fahrzeugs). Der Typ-Erkennungs-Algorithmus kann dann auf Basis der Verkehrszeichendaten (ggf. zusammen mit dem korrekten Verkehrszeichentyp) angepasst werden. So kann die Güte der Verkehrszeichenerkennung weiter erhöht werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene (Steuer-) Vorrichtung umfasst.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Erkennung eines Verkehrszeichens auf oder an einer von einem Fahrzeug befahrenen Fahrbahn beschrieben. Das Verfahren umfasst das Ermitteln von Verkehrszeichendaten in Bezug auf das Verkehrszeichen, sowie das Ermitteln, auf Basis der Verkehrszeichendaten, eines Verkehrszeichentyps des Verkehrszeichens. Das Verfahren umfasst ferner das Bewirken einer Verkehrszeichenausgabe für den ermittelten Verkehrszeichentyp, und das Bewirken einer Zusatzausgabe in Bezug auf die Verkehrszeichendaten.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf ein oder mehreren Prozessoren (z.B. auf zumindest einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 ein beispielhaftes Fahrzeug mit einer automatischen Verkehrszeichenerkennung;
- 2a eine beispielhafte Verkehrssituation;
- 2b eine beispielhafte Verkehrszeichenanzeige und eine beispielhafte Zusatzausgabe; und
- 3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Erkennung von Verkehrszeichen.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Erhöhung des Komforts und/oder der Sicherheit einer automatischen Verkehrszeichenerkennung eines Fahrzeugs. In diesem Zusammenhang zeigt 1 ein beispielhaftes Fahrzeug 100 das ein oder mehrere Umfeldsensoren 102 umfasst, die eingerichtet sind, Sensordaten in Bezug auf das (frontseitige) Umfeld des Fahrzeugs 100 zu erfassen. Die ein oder mehreren Umfeldsensoren 102 können insbesondere ein oder mehrere Kameras umfassen, die eingerichtet sind, Kameradaten (z.B. eine zeitliche Sequenz von Bildern) in Bezug auf das (frontseitige) Umfeld des Fahrzeugs 100 zu erfassen.
-
Eine (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 102 ein Verkehrszeichen in dem (frontseitigen) Umfeld des Fahrzeugs 100 zu erkennen. Ein Verkehrszeichen kann z.B. ein Verkehrsschild sein. Das Verkehrszeichen kann an oder auf der Fahrbahn angeordnet sein, auf der das Fahrzeug 100 fährt. Das Verkehrszeichen kann ausgebildet sein, Fahrern von Fahrzeugen 100, die auf der Fahrbahn mit dem Verkehrszeichen fahren, eine Verkehrsregel (z.B. eine Geschwindigkeitsbegrenzung oder eine Vorfahrtsregel) anzuzeigen, die bei der Fahrt auf der Fahrbahn gilt.
-
Die Vorrichtung 101 kann eingerichtet sein, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 102 den Typ des erkannten Verkehrszeichens und/oder die mit dem Verkehrszeichen assoziierte Verkehrsregel zu ermitteln. Beispielhafte Typen und/oder Verkehrsregeln von Verkehrszeichen sind z.B.
- • eine Geschwindigkeitsbegrenzung auf eine bestimmte Fahrgeschwindigkeit;
- • ein Stopp-Schild; und/oder
- • ein Vorfahrtschild.
-
Zur Erkennung eines Verkehrszeichens und/oder zur Ermittlung des Typs eines Verkehrszeichens kann z.B. ein Bilderkennungsalgorithmus auf ein oder mehrere Bilder angewendet werden, die von einer Umfeldkamera 102 des Fahrzeugs 100 erfasst wurden. Die Daten-Grundlage für die Erkennung eines Verkehrszeichens und/oder für die Ermittlung des Typs des Verkehrszeichens kann somit ein oder mehrere Bilder einer Umfeldkamera 102 umfassen.
-
Die Vorrichtung 101 kann eingerichtet sein, Information in Bezug auf ein erkanntes Verkehrszeichen und/oder in Bezug auf den ermittelten Typ des Verkehrszeichens über eine Ausgabeeinheit 104 des Fahrzeugs 100 auszugeben. Insbesondere kann über die Ausgabeeinheit 104 ein Symbol für den ermittelten Typ des Verkehrszeichens angezeigt werden, etwa ein Symbol für eine erkannte Geschwindigkeitsbegrenzung.
-
2a zeigt eine beispielhafte Fahrsituation, bei der das Fahrzeug 100 auf einer Fahrbahn 200 auf das Verkehrszeichen 201, das am Rand der Fahrbahn 200 ist, zufährt. Von den ein oder mehreren Umfeldsensoren 102 können Sensordaten, insbesondere Kameradaten, in Bezug auf das Verkehrszeichen 201 erfasst werden. Ferner kann auf Basis der Sensordaten der Typ des Verkehrszeichens 201 ermittelt werden. Der erkannte Verkehrszeichentyp kann dann, wie beispielhaft in 2b dargestellt, in einer Verkehrszeichenausgabe 211 angezeigt werden. Dabei wird der Verkehrszeichentyp typischerweise auch dann in der Verkehrszeichenausgabe 211 angezeigt, wenn das Fahrzeug 100 bereits an dem Verkehrszeichen 201 vorbeigefahren ist, insbesondere dann, wenn mit dem Verkehrszeichen 201 eine Verkehrsregel, etwa eine Geschwindigkeitsbegrenzung, assoziiert ist, die für einen bestimmten Fahrbahnabschnitt in Fahrtrichtung hinter dem Verkehrszeichen 201 gilt.
-
Es kann vorkommen, dass der Fahrer des Fahrzeugs 100 den in der Verkehrszeichenausgabe 211 angezeigten Verkehrszeichentyp infrage stellt, z.B. weil der Fahrer das Verkehrszeichen 201 übersehen hat oder weil die mit dem Verkehrszeichentyp assoziierte Verkehrsregel von ein oder mehreren anderen Fahrzeugen auf der Fahrbahn 200 nicht befolgt wird.
-
Das Fahrzeug 100 kann ein Bedienelement 103 umfassen, das es dem Fahrer des Fahrzeugs 100 ermöglicht, eine Zusatzausgabe 212, zusätzlich zu der Verkehrszeichenausgabe 211, zu bewirken. Die Zusatzausgabe 212 kann dabei Information in Bezug auf die Daten, insbesondere die Sensordaten, umfassen, die als Grundlage für die Erkennung des Verkehrszeichens 201 und/oder für die Ermittlung des Typs des Verkehrszeichens 201 verwendet wurden. Beispielsweise kann als Zusatzausgabe 212 das Kamerabild ausgegeben werden, auf dem das Verkehrszeichen 201 erkannt wurde.
-
Es kann somit dem Fahrer des Fahrzeugs 100 ermöglicht werden, anhand der Zusatzausgabe 212 zu überprüfen, ob die Verkehrszeichenausgabe 211 korrekt ist oder nicht. So können der Komfort und die Fahrsicherheit des Fahrzeugs 100 erhöht werden.
-
Es wird somit ein Verkehrszeichenerkennungssystem beschrieben, das dem Fahrer nicht nur die ausgewertete Kamerainformation darstellt (wie z.B. eine erkannte Geschwindigkeitsbegrenzung), sondern auch die Rohdaten der Kamera 102, auf denen die Auswertung erfolgte (z.B. das konkrete Foto bzw. Bild, auf dem das Verkehrszeichen 201 erkannt wurde). Dabei können diese Rohdaten wahlweise nur auf Anfrage durch den Fahrer oder automatisch dargestellt werden.
-
Darüber hinaus kann das System ausgebildet sein, um Rohdaten falsch erkannter Verkehrszeichen 201 zu markieren und zum Anlernen des Erkennungsalgorithmus zu verwenden. Die Rückmeldung des Fahrers des Fahrzeugs 100 kann somit dazu verwendet werden, gelabelte Trainingsdaten bereitzustellen, um den von dem Fahrzeug 100 verwendeten Erkennungsalgorithmus weiter anzulernen.
-
Ein Verkehrszeichenerkennungssystem kann ausgebildet sein, auf Aufforderung durch den Fahrer (z.B. per (Touchscreen-) Knopfdruck, per (Hand-)Bewegung, durch akustische Eingabe oder durch eine anderweitige Eingabe), und/oder automatisch, die originale Filmsequenz des zuletzt erkannten Verkehrszeichens 201 auf einem Bildschirm (z.B. auf einem Head-Up Display) anzuzeigen (als Zusatzanzeige 212). Alternativ oder zusätzlich können wahlweise andere erkannte oder alle erkannten Verkehrszeichen 201 angezeigt werden (z.B. alle Verkehrszeichen 201 der letzten 30 Sekunden).
-
Ein Verkehrszeichenerkennungssystem umfasst typischerweise eine optische Kamera 102. Die Kamera 102 erfasst permanent Bilder, welche zu einem Film bzw. Video zusammengefügt werden können. Die für ein Verkehrszeichen 201 relevante Filmsequenz kann die Sequenz von Bildern der Kamera 102 sein, ab dem Bild, auf dem das Verkehrszeichen 201 erstmalig detektiert wird, und bis zu dem letzten Bild, bis zu dem das Verkehrszeichen 201 in der Sequenz von Bildern ununterbrochen detektiert wurde. Diese Filmsequenz oder ein Teil dieser Sequenz (z.B. ein einzelnes Bild) oder mehrere Sequenzen können dem Fahrer als Zusatzausgabe 212 angezeigt werden, damit der Fahrer entscheiden kann, welches Verkehrszeichen 201 tatsächlich vorhanden war und für den von dem Fahrzeug 100 befahrenen Fahrbahnabschnitt gilt.
-
Darüber hinaus kann das System ausgebildet sein, Rohdaten falsch erkannter Verkehrszeichen 201 zu markieren und einer Fahrzeug-externen Einheit (z.B. einem Backend-Server) bereitzustellen. Dazu kann der Fahrer eine Eingabe (Knopfdruck, akustisch, usw.) tätigen, woraufhin das System die erfasste Bildsequenz zusammen mit GPS-Koordinaten (und/oder anderen Navigationsinformationen wie z.B. Straßenname laut digitaler Karte) an einen entfernten Server sendet (direkt per Funk, oder via USB-Stick oder App auf einem Smartphone oder auf einem sonstigen Datenträger). Alternativ oder zusätzlich kann der Fahrer eine Sprachnachricht aufnehmen und/oder eine Textnachricht und/oder eine andere Form von Nachricht verfassen, welche ebenfalls an den Server gesendet wird. In dieser Nachricht kann der Fahrer die erlebte Situation genauer beschreiben und insbesondere das erwartete Verhalten und das tatsächliche Verhalten des Systems beschreiben.
-
3 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 300 zur Erkennung eines Verkehrszeichens 201 auf oder an einer von einem Fahrzeug 100 befahrenen Fahrbahn 200. Das Verkehrszeichen 201 kann ein Verkehrsschild sein.
-
Das Verfahren 300 umfasst das Ermitteln 301 von Verkehrszeichendaten in Bezug auf das Verkehrszeichen 201. Die Verkehrszeichendaten können Sensordaten von ein oder mehreren Umfeldsensoren 102 (insbesondere von einer Umfeldkamera) des Fahrzeugs 100 umfassen. Das Verkehrszeichen 201 kann anhand der Verkehrszeichendaten erkannt werden (unter Verwendung eines Obj ekterkennungs-Algorithmus).
-
Das Verfahren 300 umfasst ferner das Ermitteln 302, auf Basis der Verkehrszeichendaten, des Verkehrszeichentyps des Verkehrszeichens 201. Der Verkehrszeichentyp kann anhand eines Typ-Erkennungs-Algorithmus erkannt werden. Dabei kann ein Verkehrszeichentyp aus einer vordefinierten Menge von unterschiedlichen Verkehrszeichentypen ausgewählt werden. Mit den einzelnen Verkehrszeichentypen kann jeweils eine Verkehrsregel für einen auf das Verkehrszeichen nachfolgenden Fahrbahnabschnitt der Fahrbahn 200 assoziiert sein.
-
Des Weiteren umfasst das Verfahren 300 das Bewirken 303 einer Verkehrszeichenausgabe 211 für den ermittelten Verkehrszeichentyp. Die Verkehrszeichenausgabe 211 kann auf einer Ausgabeeinheit 104 (z.B. auf einem Bildschirm und/oder auf einem Head-Up Display) des Fahrzeugs 100 bewirkt werden. Die Verkehrszeichenausgabe 211 kann ein Symbol umfassen, durch das der ermittelte Verkehrszeichentyp und/oder die damit assoziierte Verkehrsregel dargestellt wird (etwa ein Symbol für eine Geschwindigkeitsbegrenzung).
-
Das Verfahren 300 umfasst ferner das Bewirken 304 einer Zusatzausgabe 212 in Bezug auf die Verkehrszeichendaten. Die Zusatzausgabe 212 kann auf der Ausgabeeinheit 104 des Fahrzeugs 100 ausgegeben werden. Die Zusatzausgabe 212 kann Information in Bezug auf die Daten-Grundlage für die Ermittlung des Verkehrszeichentyps umfassen. Die Zusatzausgabe 212 kann insbesondere die Sensordaten (etwa die Kameradaten) umfassen, die als Grundlage für die Ermittlung des Verkehrszeichentyps verwendet wurden.
-
Durch die in diesem Dokument beschriebenen Maßnahmen können der Komfort und die Sicherheit eines Verkehrszeichenerkennungssystems eines Fahrzeugs 100 erhöht werden.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
