-
Die vorliegende Erfindung betrifft eine Fahrerassistenzvorrichtung für ein Kraftfahrzeug nach dem Oberbegriff des Anspruchs 1 sowie ein Verfahren zur Überprüfung einer etwaigen Fehlerkennung eines mit der Fahrerassistenzvorrichtung erkannten Verkehrszeichens nach dem Oberbegriff des Anspruchs 6.
-
Zunehmendes Verkehrsaufkommen, das Kontrollieren einer Gefahrensituation oder die Bedienung von Bedienelementen im Kraftfahrzeug erfordern die erhöhte Aufmerksamkeit eines Fahrzeugführers eines Kraftfahrzeugs, sodass möglicherweise ein Verkehrszeichen durch den Fahrzeugführer nicht zur Kenntnis genommen wird. Fahrerassistenzsysteme zur Verkehrszeichenerkennung dienen dazu, den Fahrzeugführer stets über Verkehrszeichen zu informieren und somit einen Sicherheitsgewinn und Komfortzuwachs für den Fahrzeugführer zu erzielen. Zur Verkehrszeichenerkennung umfasst das Fahrerassistenzsystem z. B. eine Kamera, die das Vorfeld des Kraftfahrzeugs bildtechnisch erfasst, sowie eine Auswerteeinrichtung zur Auswertung potenziell enthaltener Verkehrszeichen in den der Kamera erfassten Bildern. Jedoch können beispielsweise ungünstige Aufnahmewinkel, geringe Pixelfehler auf einem Bildsensor der Kamera oder eine verschmutzte Windschutzscheibe dazu führen, dass das Verkehrszeichen in dem Bild durch die Auswerteeinrichtung möglicherweise nicht korrekt erkannt wird.
-
Beispielsweise ist aus der Druckschrift
WO 2008 135 295 A1 ein Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung bekannt, bei dem in Abhängigkeit der Wahrscheinlichkeit der Richtigkeit der Erfassung des Verkehrszeichens oder dessen Regelungsgehalt die Ausgabe zwischen einer ersten Ausgabeform bei geringerer Wahrscheinlichkeit und einer zweiten Ausgabeform bei höherer Wahrscheinlichkeit veränderbar ist.
-
Der Erfindung liegt die Aufgabe zugrunde, eine Fahrerassistenzvorrichtung vorzuschlagen, die eine Verkehrszeichenerkennung mit einer möglichst geringen Fehlerkennungsquote bereitstellt.
-
Diese Aufgabe wird durch eine Fahrerassistenzvorrichtung mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 6 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.
-
Erfindungsgemäß wird somit eine Fahrerassistenzvorrichtung zur Verkehrszeichenerkennung für ein Kraftfahrzeug vorgeschlagen. Die Fahrerassistenzvorrichtung umfasst eine Kamera zur Erfassung eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs. Bei dem Umgebungsbereich handelt es sich insbesondere um das Fahrzeugvorfeld. Bevorzugt ist die Kamera eine Frontkamera, somit insbesondere eine im Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe anzuordnende und in Fahrtrichtung gerichtete Kamera. Vorzugsweise wird der Umgebungsbereich mittels der Kamera zumindest während der Fahrt kontinuierlich aufgenommen.
-
Die Fahrerassistenzvorrichtung umfasst eine Auswerteeinrichtung, wobei die Kamera mit der Auswerteeinrichtung zur Übermittlung des erfassten Bildes verbunden ist. Die Auswerteeinrichtung ist ausgebildet, ein in dem von der Kamera übermittelten Bild enthaltenes Verkehrszeichen zu erkennen. Beispielsweise ist die Auswerteeinrichtung ausgebildet, die Verkehrszeichenbotschaft, den Verkehrszeichentyp, das Verkehrszeichensymbol und/oder die Verkehrszeichenfarbe des erkannten Verkehrszeichens auszuwerten.
-
Vorzugsweise wird zur Verkehrszeichenerkennung jedes der übermittelten Bilder auf ein potenziell enthaltenes Verkehrszeichen durch die Auswerteeinrichtung geprüft. Insbesondere erfolgt die Verkehrszeichenerkennung mittels eines Farb- und/oder Musteralgorithmus. Bei einem durch die Auswerteeinrichtung erkannten Verkehrszeichen ist bevorzugt, dass das Verkehrszeichensymbol oder die durch das Verkehrszeichen übermittelte Information dem Fahrzeugführer z. B. über ein Display mitgeteilt wird.
-
Die Auswerteeinrichtung ist ausgebildet, eine Überprüfung auf eine etwaige Fehlerkennung des erkannten Verkehrszeichens vorzunehmen. Somit ist das Ergebnis des erkannten Verkehrszeichens durch die Auswerteeinrichtung verifizierbar. Die Verifizierung stellt eine zuverlässigkeitserhöhende Maßnahme zur Verkehrszeichenerkennung dar und liefert auf diese Weise einen Sicherheitsgewinn für den Fahrzeugführer und die Verkehrsteilnehmer. Zugleich kann bei einer gehäuften, z. B. nach drei Fehlerkennungen von Verkehrszeichen die fehlerhafte Verkehrszeichenerkennung ausgewertet und hierauf z. B. durch die Anforderung einer Komponentenprüfung reagiert werden.
-
Das aus dem Bild erkannte Verkehrszeichen ist durch die Auswerteeinrichtung mittels eines Vergleichs mit einem der Fahrerassistenzvorrichtung extern hinterlegten Verkehrszeicheninhalts überprüfbar. Besonders bevorzugt ist der extern hinterlegte Verkehrszeicheninhalt ein dem Kraftfahrzeug, in dem die Fahrerassistenzvorrichtung anordbar oder angeordnet ist, extern hinterlegter Verkehrszeicheninhalt. Besonders bevorzugt umfasst der extern hinterlegte Verkehrszeicheninhalt die Verkehrszeichenbotschaft oder ist als diese ausgebildet. Rein beispielhaft sei hier das Verkehrszeichen „Stopp“ zu nennen, bei dem ausschließlich die zu übermittelnde Botschaft „Stopp“ als Verkehrszeicheninhalt hinterlegt ist. Alternativ oder optional ergänzend kann jedoch ebenso vorgesehen sein, dass der Verkehrszeicheninhalt beispielsweise den Verkehrszeichentyp, das Verkehrszeichensymbol und/oder die Verkehrszeichenfarbe des erkannten Verkehrszeichens umfasst.
-
Der extern hinterlegte Verkehrszeicheninhalt ist mit einer dem Verkehrszeicheninhalt zugehörigen Lageposition, mit anderen Worten mit dem ermittelten Standort des zu vergleichenden Verkehrszeichens verknüpft. Die Lageposition ist z. B. durch Positionsdaten, insbesondere durch GPS-Daten angegeben. Insbesondere ist der Verkehrszeicheninhalt mit der zugehörigen Lageposition auf einem externen Datenserver in einer Datenbank hinterlegt.
-
Die Fahrerassistenzvorrichtung umfasst eine Kommunikationseinrichtung, wobei mittels der Kommunikationseinrichtung der extern hinterlegte Verkehrszeicheninhalt abrufbar ist. Besonders bevorzugt ist die Kommunikationseinrichtung über ein Netzwerk, beispielsweise über ein Mobilfunknetz mit dem externen Datenserver verbunden.
-
Das aus dem Bild erkannte Verkehrszeichen ist mit der dem erkannten Verkehrszeichen zugehörigen Lageposition, mit anderen Worten mit dem ermittelten Standort des aus dem Bild erkannten Verkehrszeichens verknüpft. Die Lageposition ist beispielsweise durch Positionsdaten, insbesondere durch GPS-Daten angegeben. Bevorzugt umfasst die Fahrerassistenzvorrichtung ein Ortungssystem, besonders bevorzugt ein GPS-Ortungssystem. Beispielsweise wird mittels der aus dem Ortungssystem ermittelten Position des Kraftfahrzeugs die Lageposition des erkannten Verkehrszeichens aus dem Bild bestimmt, insbesondere errechnet.
-
Zur Abfrage des zu vergleichenden extern hinterlegten Verkehrszeicheninhalts ist die Lageposition des Verkehrszeichens über die Kommunikationseinrichtung insbesondere an den Datenserver mit dem in der Datenbank extern hinterlegten Verkehrszeicheninhalt aussendbar. Mittels der ausgesandten Lageposition kann die redundante Lageposition in der externen Datenbank abgefragt und bei Vorhandensein des mit der abgefragten Lageposition verknüpften Verkehrszeicheninhalts an die Kommunikationseinrichtung übermittelt werden. Auf diese Weise ist ein Vergleich des erkannten Verkehrszeichens mit dem extern hinterlegten Verkehrszeicheninhalt erzielt.
-
Durch die Abfrage des von der Fahrerassistenzvorrichtung externen Verkehrszeicheninhalts erfolgt vorteilhafterweise eine von der Auswerteeinrichtung unabhängige Verkehrszeichenverifikation, sodass fehlerhafte Erkennungsergebnisse durch die Auswerteeinrichtung kompensierbar sind. Folglich ist die Verfügbarkeit von korrekt erkannten Verkehrszeichen mit einer hohen Verlässlichkeit umsetzbar.
-
Bei einer bevorzugten Ausführungsform ist vorgesehen, dass die Kommunikationseinrichtung zum Abrufen des extern hinterlegten Verkehrszeicheninhalts mit einem Backend-Server verbindbar ist. Somit ist der Backend-Server, auch bekannt als Cloud, als der externe Datenserver ausgebildet. Auf diese Weise erfolgen die Übermittlung der Lageposition des erkannten Verkehrszeichens und/oder des Verkehrszeicheninhalts über eine Vehicle-to-Infrastruktur-Kommunikation. Vorzugsweise ist der Backend-Server zum Datenaustausch von Verkehrszeicheninhalten und zugehörigen Lagepositionen mit mehreren Kraftfahrzeugen verbindbar. Beispielsweise hinterlegt der Backend-Server einen durch eines der Kraftfahrzeuge erkannten und übermittelten Verkehrszeicheninhalt mit verknüpfter Lageposition. Bei Abfrage des hinterlegten Verkehrszeicheninhalts durch eines der insbesondere nachfolgenden Kraftfahrzeuge gibt der Backend-Server das abgefragte hinterlegte Verkehrszeichen aus. Beispielsweise sind die Verkehrszeicheninhalte durch den Backend-Server in einem begrenzten Zeitfenster hinterlegt und/oder abrufbar. Hieraus ergibt sich der Vorteil, dass durch die Fahrerassistenzvorrichtung ausschließlich aktuelle Eingaben zu den Verkehrszeichen abrufbar sind. Somit sind auch dynamische Verkehrszeichen wie z. B. Verkehrszeichen an einer Wanderbaustelle berücksichtigt und die Verkehrszeichenverifikation mit einer geringen Fehlerquote erzielt.
-
Alternativ oder optional ergänzend ist vorgesehen, dass die Kommunikationseinrichtung zum Abrufen des extern hinterlegten Verkehrszeicheninhalts mit einem oder mehreren Datenservern anderer, insbesondere vorausgefahrener Kraftfahrzeuge verbindbar ist. Auf diese Weise erfolgen die Übermittlung der Lageposition des erkannten Verkehrszeichens und/oder des Verkehrszeicheninhalts über eine Vehicle-to-Vehicle-Kommunikation. Somit ist eine direkte Abfrage des Verkehrszeicheninhalts auf schnelle und zuverlässige Weise umgesetzt.
-
Bevorzugt ist, dass die Überprüfung der etwaigen Fehlerkennung im Echtzeitbetrieb erfolgt. Unter der Überprüfung im Echtzeitbetrieb ist insbesondere eine Überprüfung unter störfreien Bedingungen, im Speziellen eine Überprüfung von weniger als 1 Sekunde zu verstehen.
-
Weiterhin ist bevorzugt, dass die Überprüfung der etwaigen Fehlerkennung sporadisch erfolgt. Unter der sporadischen Überprüfung ist vorzugsweise eine Überprüfung nicht jedes der erkannten Verkehrszeichen, sondern insbesondere eine vereinzelte Überprüfung, im Speziellen die Überprüfung bei lediglich nicht zweifelsfrei erkannten Verkehrszeichen durch die Auswerteeinrichtung zu verstehen. Durch die sporadische Überprüfung ist der für die Überprüfung erforderliche Rechenaufwand auf das Nötigste beschränkt.
-
Einen weiteren Gegenstand der Erfindung betrifft ein Verfahren zur Überprüfung einer etwaigen Fehlerkennung eines mit einer Fahrerassistenzvorrichtung mit den Merkmalen des Anspruchs 1 erkannten Verkehrszeichens. Die Kamera erfasst den Umgebungsbereich des Kraftfahrzeugs und übermittelt die erfassten Bilder an die Auswerteeinrichtung. Die Auswerteeinrichtung erkennt ein potenziell in dem von der Kamera übermittelten Bild enthaltenes Verkehrszeichen. Die Auswerteeinrichtung kann das erkannte Verkehrszeichen auf etwaige Fehlerkennung überprüfen. Es ist bevorzugt, dass die Auswerteeinrichtung die Überprüfung sporadisch, beispielsweise bei mindestens jedem dritten und/oder höchstens bei jedem zehnten erkannten Verkehrszeichen vornimmt. Bei einer bevorzugten Weiterbildung nimmt die Auswerteeinrichtung eine Überprüfung bei einer nicht zweifelsfrei korrekten Verkehrszeichenerkennung des erkannten Verkehrszeichens vor.
-
Das Ergebnis der nicht zweifelsfrei korrekten Verkehrszeichenerkennung wird beispielsweise durch einen Wahrscheinlichkeitsrechnung ausgegeben. Für den Vergleich des erkannten Verkehrszeichens ruft die Kommunikationseinrichtung den extern hinterlegten Verkehrszeicheninhalt ab, wobei die Kommunikationseinrichtung zur Abfrage des zu vergleichenden extern hinterlegten Verkehrszeicheninhalts die dem erkannten Verkehrszeichen zugehörige Lageposition aussendet. Somit erfolgt eine Verifizierung des erkannten Verkehrszeichens unter Berücksichtigung des extern hinterlegten Verkehrszeicheninhalts. Beispielsweise wird die Lageposition an den Datenserver, im Speziellen an den Datenserver mindestens eines weiteren, vorausgefahrenen Kraftfahrzeugs über eine Vehicle-to-Vehicle-Kommunikation, alternativ oder optional ergänzend an den Backend-Server über eine Vehicle-to-Infrastruktur-Kommunikation ausgesandt. Die Kommunikationseinrichtung der Fahrerassistenzvorrichtung empfängt den vom externen Datenserver übermittelten Verkehrszeicheninhalt.
-
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung. Dabei zeigen:
-
1 eine erfindungsgemäße Fahrerassistenzvorrichtung in einer Blockdarstellung;
-
2 ein Kraftfahrzeug mit der Fahrerassistenzvorrichtung aus 1, wobei die Überprüfung einer etwaigen Fehlerkennung eines durch die Fahrerassistenzvorrichtung erkannten Verkehrszeichens schematisch dargestellt ist.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt in einer schematischen Blockdarstellung eine Fahrerassistenzvorrichtung 1 zur Verkehrszeichenerkennung, die in einem Kraftfahrzeug 2 angeordnet ist. Die Fahrerassistenzvorrichtung 1 umfasst eine Kamera 3, welche zur Aufnahme eines Bildes eines Umgebungsbereichs des Kraftfahrzeugs 2 ausgebildet ist. Beispielsweise handelt es sich bei dem Umgebungsbereich um das Fahrzeugvorfeld des Kraftfahrzeugs 2. Die Kamera 3 ist zur Übermittlung des aufgenommenen Bilds mit einer Auswerteeinrichtung 4 der Fahrerassistenzvorrichtung 1 verbunden. Die Auswerteeinrichtung 4 ist ausgebildet, aus den von der Kamera 3 aufgenommenen Bildern mittels eines Verkehrszeichenalgorithmus potenziell enthaltene Verkehrszeichen 5 zu erkennen.
-
Nun kann es vorkommen, dass ein Verkehrsschild z. B. aufgrund einer verschmutzten Windschutzscheibe durch die Auswerteeinrichtung 4 inkorrekt erkannt worden ist. Vor diesem Hintergrund ist erfindungsgemäß vorgesehen, dass die Auswerteeinrichtung 4 eine Überprüfung auf eine etwaige Fehlerkennung des erkannten Verkehrszeichens 5 vornehmen kann. Beispielsweise erfolgt die Überprüfung bei jedem erkannten Verkehrszeichen 5, alternativ sporadisch, insbesondere bei einem Hinweis auf eine nicht einwandfreie Verkehrszeichenerkennung. Ein wesentlicher Kerngedanke der Erfindung ist es, durch die Überprüfung auf etwaige Fehlerkennung eine von der Fahrerassistenzvorrichtung 2 unabhängige Verifikation des erkannten Verkehrszeichens 5 durchzuführen und auf diese Weise eine Verkehrszeichenerkennung mit einer hohen Verlässlichkeitsrate zu erzielen. Der mögliche Überprüfungsvorgang auf etwaige Fehlerkennung des erkannten Verkehrszeichens 5 wird beispielhaft anhand 2 näher erläutert.
-
In 2 ist das Kraftfahrzeug 2 mit der erfindungsgemäßen Fahrerassistenzvorrichtung 1, folgend als Ego-Kraftfahrzeug 2 bezeichnet, dargestellt. Durch die Kamera 3 wird der Umgebungsbereich des Kraftfahrzeugs 2 erfasst und die erfassten Bilder an die Auswerteeinrichtung 4 übermittelt. Die Auswerteeinrichtung 4 ist ausgebildet, das Verkehrszeichen 5, hier beispielhaft ein 80 km/h Temposchild, aus den mit dem Verkehrszeichen 5 übermittelten Bildern zu erkennen. Zur Überprüfung des erkannten Verkehrszeichens 5 auf etwaige Fehlerkennung ist die Auswerteeinrichtung 4 ausgebildet, das aus dem Bild erkannte Verkehrszeichen 5 mittels eines Vergleichs mit einem dem Kraftfahrzeug 2 extern hinterlegten Verkehrszeicheninhalt zu überprüfen. Beispielsweise umfasst der extern hinterlegte Verkehrszeicheninhalt die Verkehrszeichenbotschaft oder ist als diese ausgebildet. Bei der Verkehrszeichenbotschaft handelt es sich bei diesem Ausführungsbeispiel um das Tempolimit 80 km/h.
-
Der Verkehrszeicheninhalt ist auf einem Datenserver in einer Datenbank mit einer vom Verkehrszeicheninhalt ermittelten Lageposition, d. h. mit der Standortinformation des Verkehrszeichens 5 extern hinterlegt. Die Auswerteeinrichtung 4 ist ausgebildet, die ermittelte Lageposition des erkannten und zu vergleichenden Verkehrszeichens 5 an den Datenserver 7 auszusenden. Anhand der übermittelten Positionsdaten wird der bei der Datenbank hinterlegte Verkehrszeicheninhalt des redundanten Verkehrszeichens 5 abgefragt und bei Vorhandensein in der Datenbank an die Kommunikationseinrichtung 6 ausgesandt. Die Kommunikationseinrichtung 6 übermittelt den eingegangen Verkehrszeicheninhalt an die Auswerteeinrichtung 6, welche daraufhin die Übereinstimmung durch den Vergleich des übermittelten und eigens erkannten Verkehrszeicheninhalts des Verkehrszeichens 5 überprüft. Bei fehlender Übereinstimmung kann z. B. mittels einer Wahrscheinlichkeitsrechnung ermittelt werden, welches der Ergebnisse mit einer höheren Wahrscheinlichkeit korrekt ist. Sollten beispielsweise mehrere an die Auswerteeinrichtung 6 übermittelte Verkehrszeicheninhalte miteinander übereinstimmen und das durch die Auswerteeinrichtung 4 erkannte Verkehrszeichen 5 mit diesen Ergebnissen nicht übereinstimmen, so kann das durch die Auswerteeinrichtung 4 ermittelte Ergebnis verworfen und stattdessen die übermittelten Verkehrszeicheninhalte herangezogen werden.
-
Es ist vorgesehen, dass das Ego-Kraftfahrzeug 2 zur Abfrage des extern hinterlegten Verkehrszeicheninhalts über ein Netzwerk wie z. B. ein Funknetz mit mindestens einem anderen, insbesondere zum Ego-Kraftfahrzeug 2 vorausgefahrenes Kraftfahrzeug 8 verbindbar oder verbunden ist. Das mindestens eine andere Kraftfahrzeug 8 ist zur Verkehrszeichenerkennung ausgebildet und umfasst den Datenserver 7 mit dem in der Datenbank hinterlegten Verkehrszeicheninhalt sowie der zugehörigen Lageposition. In 2 sind rein beispielhaft zwei solche Kraftfahrzeuge 8 gezeigt. Durch die hierdurch umgesetzte Vehicle-to-Vehicle-Kommunikation ist eine unmittelbare und schnelle Übertragung des abgefragten Verkehrszeicheninhalts erzielt.
-
Bei diesem Ausführungsbeispiel ist weiterhin vorgesehen, dass das Ego-Kraftfahrzeug 2 zur Abfrage des extern hinterlegten Verkehrszeicheninhalts über ein Netzwerk mit mindestens einem Backend-Server 9 verbindbar oder verbunden ist, sodass eine Vehicle-to-Infrastruktur-Kommunikation umgesetzt ist. Der Backend-Server 9 sammelt die von den Kraftfahrzeugen übermittelten Verkehrszeicheninhalte, sodass für die Anforderung möglichst vieler ermittelter Verkehrszeicheninhalte zum Verkehrszeichen 5 nur eine Abfrage an den Backend-Server 9 erforderlich ist.
-
Bezugszeichenliste
-
- 1
- Fahrerassistenzvorrichtung
- 2
- Kraftfahrzeug
- 3
- Kamera
- 4
- Auswerteeinrichtung
- 5
- Verkehrszeichen
- 6
- Kommunikationseinrichtung
- 7
- Datenserver
- 8
- Weitere Kraftfahrzeuge
- 9
- Backend-Server
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
