-
Die Erfindung betrifft eine Verkehrszeichenerkennung an Bord eines Kraftfahrzeugs. Insbesondere betrifft die Erfindung eine Verkehrszeichenerkennung mittels mehrerer unterschiedlicher Kameras.
-
Stand der Technik
-
Eine Verkehrszeichenerkennung an Bord eines Kraftfahrzeugs erfasst ein Bild einer nach vorn gerichteten Kamera und versucht, in dem erfassten Bild ein Verkehrszeichen zu identifizieren. Das Verkehrszeichen kann beispielsweise eine Lichtzeichenanlage (Ampel) oder ein Schild umfassen. Im Fall der Lichtzeichenanlage kann auch ein aktueller Zustand ausgewertet werden, d.h., es kann bestimmt werden, welches Signal mittels der Lichtzeichenanlage aktuell gegeben wird. Die abgetastete Information wird dem Fahrer des Kraftfahrzeugs üblicherweise optisch dargeboten. Es sind auch andere Möglichkeiten der Benachrichtigung möglich, beispielsweise kann eine haptische oder akustische Warnung erfolgen, falls das Kraftfahrzeug eine Regel wie eine geltende Geschwindigkeitsbeschränkung, die aus einem erfassten Verkehrszeichen abgeleitet wurde, übertritt.
-
Ein Sichtbereich der Kamera, die das Bild für die Verkehrszeichen liefert, ist üblicherweise auf einen vorbestimmten Winkel eingeschränkt. Ändert das Kraftfahrzeug seine Richtung, beispielsweise während eines Abbiegevorgangs, so kann ein Verkehrszeichen sowohl durch den Fahrer als auch durch das Erkennungssystem schlecht erfassbar sein. In der Folge kann der Fahrer nicht über eine geltende Verkehrsregelung orientiert sein, sodass trotz dem Einsatz des Erkennungssystems die Gefahr besteht, dass der Fahrer das Kraftfahrzeug regelwidrig führt.
-
WO 2011/105710 A3 betrifft ein Anzeigesystem mit einer nach vorne gerichteten und zwei seitlich orientierten Kameras. Wird ein Blinkersignal festgestellt, das eine Richtungsänderung des Kraftfahrzeugs erkennen lässt, so wird auf einem Monitor das Bild der zugehörigen seitlich orientierten Kamera dargestellt, ansonsten wird das Bild der nach vorne orientierten Kamera angezeigt.
-
US 2010/0033571 A1 zeigt eine Technik zur Bestimmung eines künstlichen Horizonts, um ein Verkehrszeichen auch dann detektieren zu können, wenn es in einer Kurve liegt.
-
US 5 530 421 zeigt ein Monitorsystem mit mehreren Kameras, deren Bilder in Abhängigkeit eines bestimmten Fahrzustandes auf einem Monitor dargestellt werden. Insbesondere wird ein Blinkersignal verwendet, um das Bild einer nach rechts oder nach links gerichteten Kamera auszuwählen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren, ein Computerprogrammprodukt, eine Vorrichtung und ein System zur verbesserten Verkehrszeichenerkennung anzugeben.
-
Die Erfindung löst diese Aufgaben mittels eines Verfahrens, eines Computerprogrammprodukts, einer Vorrichtung und eines Systems mit den Merkmalen der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
-
Offenbarung der Erfindung
-
Ein erfindungsgemäßes Verfahren zur Fahrerunterstützung an Bord eines Kraftfahrzeugs umfasst Schritte des Bestimmens einer bevorstehenden Richtungsänderung des Kraftfahrzeugs auf der Basis von Informationen eines Navigationssystems, des Auswählens eines Kamerabildes einer Frontkamera oder einer Seitenkamera in Abhängigkeit der bestimmten Richtungsänderung und des Bestimmens eines Verkehrszeichens in der Umgebung des Kraftfahrzeugs auf der Basis des ausgewählten Kamerabildes.
-
Durch die Berücksichtigung der Informationen des Navigationssystems kann in verbesserter Weise bestimmt werden, ob und wenn ja in welche Richtung eine Bewegungsänderung des Kraftfahrzeugs bevorsteht. Durch Auswählen der Kamera mit dem korrespondierenden Blickwinkel kann in verbesserter Weise ein Bild bereitgestellt werden, in dem sich ein Verkehrszeichen befindet, das für die Weiterfahrt des Kraftfahrzeugs relevant ist. Besonders dann, wenn im Bereich einer Kreuzung eine unübersichtliche Verkehrssituation gegeben ist, oder wenn nach dem Richtungswechsel mehrere Verkehrszeichen sichtbar sind, von denen nur einige zu beachten sind, kann das Verfahren den Fahrer unterstützen. Der Fahrer kann insbesondere bei Abbiegevorgängen oder Spurwechseln davon entlastet werden, zusätzlich zur Straßenführung und dem herrschenden Verkehr ein lokal geltendes Verkehrszeichen zu identifizieren.
-
In einer bevorzugten Ausführungsform wird die Richtungsänderung zusätzlich auf der Basis eines Blinkersignals bestimmt. Das Blinkersignal kann in guter Näherung einen Aufschluss über die Intention des Fahrers des Kraftfahrzeugs geben, wobei die Information des Blinkersignals mit den Informationen des Navigationssystems korreliert werden können, um beispielsweise einen Anhaltevorgang, bei dem kein Verkehrszeichen zu erwarten ist, von einem Abbiegevorgang, der auf eine Strecke mit einem Verkehrszeichen führen kann, zu unterscheiden.
-
Das Navigationssystem kann zur Zielführung zu einem Bestimmungsort eingerichtet sein, wobei die Richtungsänderung auf der Basis einer vorbestimmten Route von einer gegenwärtigen Position des Kraftfahrzeugs zum Bestimmungsort bestimmt wird. Folgt der Fahrer der vorgegebenen Route, so kann die Bestimmung von Richtungsänderungen besonders einfach und effizient gelingen. Die Verkehrszeichenerkennung kann so noch effizienter durchgeführt werden.
-
In einer Ausführungsform wird die Richtungsänderung auf der Basis einer Position des Kraftfahrzeugs auf einem Straßennetz und Informationen über erlaubte Abbiegevorgänge bestimmt. So kann auf verbesserte Weise bestimmt werden, welche Richtungsänderungen möglich sind. In einer Ausführungsform können mehrere Richtungsänderungen spekulativ berücksichtigt werden, sodass Verkehrszeichen bereits erfasst werden können, noch bevor die Richtungsänderung des Kraftfahrzeugs endgültig feststeht.
-
In einer besonders bevorzugten Ausführungsform werden mehrere mögliche Richtungsänderungen bestimmt und für jede der Richtungsänderungen wird eine Wahrscheinlichkeit bestimmt, mit der sie durchgeführt werden wird. Die Richtungsänderung, die der Auswahl des Kamerabildes zugrunde liegt, kann dabei als diejenige bestimmt werden, welche die höchste Wahrscheinlichkeit aufweist. Diese Ausführungsform ist insbesondere mit der spekulativen Berücksichtigung mehrerer Richtungsänderungen kombinierbar. Dies kann dazu beitragen, die korrekte Richtungsänderung frühzeitig zu bestimmen, sodass zur Bestimmung von geltenden Verkehrszeichen mehr Zeit zur Verfügung steht bzw. die Erfassung von Verkehrszeichen mit verbesserter Genauigkeit durchgeführt werden kann.
-
In einer weiter bevorzugten Ausführungsform ist das Navigationssystem dazu eingerichtet, einen elektronischen Horizont zu bestimmen, der einen lokal einsehbaren oder relevanten Bereich eines bevorstehenden Straßenverlaufs repräsentiert. Dabei wird die Richtungsänderung im Bereich des elektronischen Horizonts bestimmt. Dies kann dazu beitragen, eine Priorisierung bevorstehender Möglichkeiten zur Richtungsänderung vorzunehmen, sodass eine verbesserte Bestimmung der Richtungsänderung möglich ist.
-
In einer Ausführungsform wird die Ausgabe eines Signals, das auf ein erkanntes Verkehrszeichen hinweist, verzögert, bis das Kraftfahrzeug die bestimmte Richtungsänderung durchgeführt hat. So kann vermieden werden, dass eine falsch bestimmte bevorstehende Richtungsänderung zu einem Hinweis auf ein Verkehrszeichen führt, welches für die tatsächlich eingeschlagene Richtung des Kraftfahrzeugs dann doch nicht relevant ist.
-
Ein Computerprogrammprodukt umfasst Programmcodemittel zur Durchführung des beschriebenen Verfahrens, wenn das Computerprogrammprodukt auf einer Verarbeitungseinrichtung abläuft oder auf einem computerlesbaren Datenträger gespeichert ist. Insbesondere kann das Computerprogrammprodukt dazu verwendet werden, eine herkömmliche Verkehrszeichenerkennung und ein herkömmliches Navigationssystem auf die oben beschriebene Weise miteinander zu verknüpfen. Dabei kann das Computerprogrammprodukt alternativ auf einer Verarbeitungseinrichtung des Navigationssystems, des Erkennungssystems oder auf einer dedizierten Verarbeitungseinrichtung ausgeführt werden.
-
Eine erfindungsgemäße Vorrichtung an Bord eines Kraftfahrzeugs umfasst eine erste Schnittstelle zum Bezug von Informationen von einem Navigationssystem, eine zweite Schnittstelle zur Verbindung mit einem Erkennungssystem für ein Verkehrszeichen im Bereich des Kraftfahrzeugs auf der Basis eines Kamerabildes und eine Verarbeitungseinrichtung zur Bestimmung einer bevorstehenden Richtungsänderung des Kraftfahrzeugs auf der Basis der vom Navigationssystem bezogenen Informationen und zur Auswahl eines Kamerabildes einer Frontkamera oder einer Seitenkamera für das Erkennungssystem auf der Basis der bestimmten Richtungsänderung.
-
Die Vorrichtung kann Gebrauch machen von Elementen oder Subsystemen, die an Bord eines bekannten Kraftfahrzeugs bereits installiert sind, um eine verbesserte Verkehrszeichenerkennung bereitzustellen. Entwicklungs- und Installationskosten für die Vorrichtung können so reduziert sein.
-
Ein erfindungsgemäßes System zur Fahrerunterstützung an Bord eines Kraftfahrzeugs umfasst eine Frontkamera, eine Seitenkamera, ein Navigationssystem und ein Erkennungssystem, das dazu eingerichtet ist, ein Verkehrszeichen in der Umgebung des Kraftfahrzeugs auf der Basis eines Kamerabildes zu bestimmen. Ferner ist eine Verarbeitungseinrichtung umfasst, die dazu eingereichtet ist, eine bevorstehende Richtungsänderung des Kraftfahrzeugs auf der Basis von Informationen des Navigationssystems zu bestimmen und auf der Basis der bestimmten Richtungsänderung ein Kamerabild einer der Kameras auszuwählen.
-
Kurze Beschreibung der Figuren
-
Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen:
-
1 ein Erkennungssystem für Verkehrszeichen an Bord eines Kraftfahrzeugs;
-
2 Situationen, in denen das Kraftfahrzeug von 1 die Richtung ändert, und
-
3 ein Ablaufdiagramm eines Verfahrens zur Verkehrszeichenerkennung an Bord des Kraftfahrzeugs von 1
darstellt.
-
Genaue Beschreibung von Ausführungsformen
-
1 zeigt ein Erkennungssystem 100 für Verkehrszeichen an Bord eines Kraftfahrzeugs 105. Das System 100 umfasst ein Erkennungssystem 110, ein Navigationssystem 115 und eine Auswahleinrichtung 120. Das Erkennungssystem 110 ist dazu eingerichtet, in einem Kamerabild von einer Kamera an Bord des Kraftfahrzeugs 105 ein Verkehrszeichen zu erkennen. An Bord des Kraftfahrzeugs 105 sind eine Frontkamera 125, eine linke Seitenkamera 130 und eine rechte Seitenkamera 135 angebracht. Die Kameras 125 bis 135 können noch weiteren Zwecken an Bord des Kraftfahrzeugs 105 dienen, beispielsweise zur Fahrerunterstützung beim Ein- oder Ausparken oder für eine Bereitstellung eines Rundumbildes für den Fahrer. Ein Hinweis auf ein durch das Erkennungssystem 110 erkanntes Verkehrszeichen kann mittels einer Ausgabeeinrichtung 140 ausgegeben werden, wobei die Ausgabeeinrichtung 140 ein akustisches, ein optisches oder ein haptisches Signal bereitstellen kann. Die Ausgabeeinrichtung 140 kann ebenfalls von anderen Systemen oder Assistenten an Bord des Kraftfahrzeugs 105 mitbenutzt werden; in einer anderen Ausführungsform ist die Ausgabeeinrichtung 140 exklusiv dem Erkennungssystem 110 zugeordnet.
-
Die Auswahleinrichtung 120 ist dazu eingerichtet, auszuwählen, von welcher der Kameras 125, 130 oder 135 ein Bild der Auswertung des Erkennungssystems 110 zugrunde liegen soll. In der dargestellten Ausführungsform ist eine Umschalteinrichtung 145 eingesetzt, um auf der Basis der getroffenen Auswahl der Auswahleinrichtung 120 eines der Bilder der Kameras 125 bis 135 an das Erkennungssystem 110 weiterzuleiten. Die Umschalteinrichtung 145 kann eigenständig oder, in einer anderen Ausführungsform, vom Erkennungssystem 110 umfasst sein. Die Umschalteinrichtung 145 ist mittels einer ersten Schnittstelle 150 mit der Auswahleinrichtung 120 verbunden. Eine zweite Schnittstelle 155 ist zur Verbindung der Auswahleinrichtung 120 mit dem Erkennungssystem 110 vorgesehen. Eine dritte Schnittstelle 160 dient zur Verbindung der Auswahleinrichtung 120 mit dem Navigationssystem 115.
-
In einer anderen Ausführungsform ist die Umschalteinrichtung 145 von der Auswahleinrichtung 120 umfasst, wobei die Kameras 125 bis 135 direkt mit der Auswahleinrichtung 120 verbunden sind und die Auswahleinrichtung 120 das ausgewählte Bild dem Erkennungssystem 110 bereit stellt. In noch einer anderen Ausführungsform ist die Umschalteinrichtung 145 vom Erkennungssystem 110 umfasst.
-
Das Navigationssystem 115 umfasst bevorzugterweise ein satellitengestütztes Navigationssystem wie GPS, GLONASS oder GALILEO. Ebenfalls bevorzugt ist, dass die Navigationseinrichtung 115 dazu eingerichtet ist, eine Route zwischen einer gegenwärtigen Position des Kraftfahrzeugs 105 und einem Bestimmungsort zu bestimmen und Hinweise zum Folgen der bestimmten Route an den Fahrer des Kraftfahrzeugs 105 ausgibt. Weiter ist bevorzugt, dass das Navigationssystem 115 über einen Speicher zur Aufnahme von Kartendaten verfügt, welche insbesondere Informationen über ein Straßennetz in der Umgebung des Kraftfahrzeugs 105 umfasst. Die Kartendaten können auch Informationen über Streckenverbote, beispielsweise Einbahnstraßen oder Abbiegeverbote, umfassen. Mittels der dritten Schnittstelle 160 können Informationen des Navigationssystems 115 der Auswahleinrichtung 120 zugänglich gemacht werden.
-
In einer bevorzugten Ausführungsform ist die Auswahleinrichtung 120 zusätzlich mit einem Blinkersignalgeber 165 verbunden, der ein Blinkersignal führt, welches der Fahrer des Kraftfahrzeugs 105 setzen kann, um eine Richtungsänderung bzw. einen Abbiegevorgang nach außen anzuzeigen.
-
2 zeigt mehrere exemplarische Situationen, in denen das Kraftfahrzeug 105 aus 1 die Richtung ändert. 2A zeigt das Kraftfahrzeug 105 auf einer abbiegenden Fahrstraße 205 ohne weitere Abzweigungen. Hinter einer Kurve liegt ein Verkehrszeichen 210, das ein Streckenverbot oder eine andere für die Fahrstraße 205 geltende Verkehrsregel, beispielsweise eine Geschwindigkeitsbeschränkung oder ein Überholverbot, anzeigt.
-
Der Verlauf der Fahrstraße 205 kann aus den Kartendaten des Navigationssystems 115 über die dritte Schnittstelle 160 von der Auswahleinrichtung 120 bezogen werden. Auf der Basis dieser Informationen wird in der dargestellten Situation eine Richtungsänderung nach rechts bestimmt, woraufhin die rechte Seitenkamera 135 in 1 mittels der Umschalteinrichtung 145 mit dem Erkennungssystem 110 verbunden wird. Die rechte Seitenkamera kann das Verkehrszeichen 210 bereits erfassen, bevor die Richtungsänderung des Kraftfahrzeugs 105 abgeschlossen ist. Dadurch kann das Verkehrszeichen 210 deutlich früher durch das Erkennungssystem 110 erfasst und ausgewertet werden als dies allein mit der Frontkamera 125 möglich wäre.
-
2B zeigt eine andere beispielhafte Situation, in der eine zweite Fahrstraße 215 von der Fahrstraße 205, die das Kraftfahrzeug 105 gerade benutzt, rechts abzweigt. Folgt das Kraftfahrzeug 105 der Fahrstraße 205 geradeaus, so gilt für das Kraftfahrzeug 105 das Verkehrszeichen 210, biegt es jedoch nach rechts auf die zweite Fahrstraße 215 ab, so gilt dort ein zweites Verkehrszeichen 220.
-
Ist im Navigationssystem 115 eine Route hinterlegt, die dem Fahrer des Kraftfahrzeugs 105 anzeigt, welcher der Fahrstraßen 205 oder 215 er folgen soll, so kann diese Fahrstraße 205, 215 als bevorstehende Richtung des Kraftfahrzeugs 105 durch die Auswahleinrichtung 120 bestimmt werden. Soll das Kraftfahrzeug 105 laut Route der Fahrstraße 215 folgen, so wird die rechte Seitenkamera 135 ausgewählt, andernfalls die Frontkamera 125.
-
Ist keine Route im Navigationssystem vorgesehen, so kann eine Wahrscheinlichkeit, mit der die Fahrstraßen 205, 215 benutzt werden, anhand von weiteren Informationen bestimmt werden. Die Fahrstraße 205, 215 mit der höchsten Wahrscheinlichkeit bildet dann die Grundlage für die durch die Auswahleinrichtung 120 bestimmte Richtungsänderung. Die Fahrstraße 205 kann beispielsweise als wahrscheinlich bestimmt werden, falls sie eine höhere Verkehrsbedeutung als die Fahrstraße 215 hat oder wenn die Geschwindigkeit des Kraftfahrzeugs 105 im Bereich der Kreuzung der Fahrstraßen 205 und 215 einen Abbiegevorgang unwahrscheinlich erscheinen lassen.
-
2C zeigt eine weitere Situation ähnlich der von 2B, jedoch mit einer zusätzlichen dritten Fahrstraße 225 zur Linken des Kraftfahrzeugs 105. Folgt das Kraftfahrzeug 105 der dritten Fahrstraße 225, so gilt dort ein drittes Verkehrszeichen 230. Die bevorstehende Fahrstraße 205, 215 oder 225 kann beispielsweise auf der Basis eines gesetzten Blinkersignals des Blinkersignalgebers 165 bestimmt und aus der bevorstehenden Fahrstraße 205, 215 oder 225 eine Richtungsänderung des Kraftfahrzeugs 105 abgeleitet werden.
-
In Situationen mit mehr als einer Möglichkeit für eine Richtungsänderung (2B, 2C) können auch mehrere Richtungsänderungen bestimmt und eine Auswertung der korrespondierenden Kamera 125 bis 135 spekulativ durchgeführt werden.
-
3 zeigt ein Ablaufdiagramm eines Verfahrens 300 zur verbesserten Verkehrszeichenerkennung. In einem optionalen Schritt 305 wird auf der Basis von Informationen des Navigationssystems 115 ein elektronischer Horizont bestimmt, wobei im Folgenden nur Informationen im Bereich des elektronischen Horizonts berücksichtigt werden.
-
In einem folgenden Schritt 310 wird bestimmt, ob eine Kursänderung möglich ist. Diese Bestimmung erfolgt vorzugsweise auf der Basis von Karteninformationen des Navigationssystems 115. In einer Ausführungsform werden Verbote wie beispielsweise ein Abbiegeverbot in diesem Schritt berücksichtigt.
-
In einem nachfolgenden Schritt 315 werden für alle möglichen Richtungsänderungen aus Schritt 310 Wahrscheinlichkeiten bestimmt. In einem anschließenden Schritt 320 wird eine bevorstehende Richtungsänderung des Kraftfahrzeugs 105 auf der Basis der vorliegenden Informationen bestimmt. Bevorzugterweise wird dabei diejenige Richtungsänderung ausgewählt, für welche die höchste Wahrscheinlichkeit bestimmt wurde. Die Auswahl in Schritt 320 kann zusätzlich auf der Basis eines Schritts 325 bestimmt werden, indem ein Blinkersignal des Blinkersignalgebers 165 ausgewertet wird, wie oben mit Bezug auf 2 beschrieben ist. Ferner kann in einem Schritt 330 eine Route, die im Navigationssystem 115 vorbestimmt ist, der Auswahl zusätzlich zugrunde gelegt werden. Es wird dann davon ausgegangen, dass das Kraftfahrzeug 105 der bestimmten Route folgt, woraus eine bevorstehende Richtungsänderung abgeleitet wird.
-
In einem Schritt 335 wird bestimmt, welche Richtungsänderung bevorsteht. Steht eine Richtungsänderung nach links bevor, so wird in einem Schritt 340 die linke Seitenkamera 130 ausgewählt. Steht eine Richtungsänderung nach rechts bevor, so wird in einem Schritt 345 die rechte Seitenkamera 135 ausgewählt. Keine Richtungsänderung nach rechts oder links hat eine Auswahl der Frontkamera 125 in einem Schritt 350 zur Folge.
-
Anschließend wird in einem Schritt 355 das Verkehrszeichen 210, 220 oder 230 durch das Erkennungssystem 110 erkannt und gegebenenfalls dem Fahrer des Kraftfahrzeugs 105 ein Hinweis mittels der Ausgabeeinrichtung 140 zur Anzeige gebracht. Die Ausgabe des Hinweises kann durch ein entsprechendes Steuersignal über die zweite Schnittstelle 155 durch die Auswahleinrichtung 120 verzögert werden, bis das Kraftfahrzeug 105 die bestimmte Richtungsänderung zu einem vorbestimmten Grad bereits durchgeführt hat. Dies kann insbesondere dann sinnvoll sein, wenn im Schritt 320 mehrere Richtungsänderungen als wahrscheinlich bestimmt wurden und eine spekulative Ausführung der Schritte 325 bis 350 für unterschiedliche Szenarien durchgeführt wurde.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2011/105710 [0004]
- US 2010/0033571 A1 [0005]
- US 5530421 [0006]
