-
Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem, das den Fahrer eines Kraftfahrzeugs bei der Beachtung von Verkehrszeichen unterstützt. Ein solches Fahrerassistenzsystem ist aus
DE 197 36 774 A1 bekannt. Dieses Dokument kritisiert die Unsicherheit videobasierter Verkehrszeichenerkennung und schlägt daher ein System vor, das sich darauf beschränkt, in einem von einer Kamera aufgenommenen Bild einen ein Verkehrzeichen enthaltenden Bildausschnitt zu ermitteln und diesen Bildausschnitt direkt dem Fahrer auf einem Anzeigefeld des Armaturenbretts darzustellen. Eine Entscheidung darüber, welchen Typs das Verkehrszeichen ist, obliegt daher dem Fahrer genauso wie die Entscheidung, wie er ggf. auf in dem Verkehrszeichen implizierte Ge- oder Verbote reagieren muss.
-
Der Bedeutungsgehalt von Verkehrszeichen ist häufig mitbestimmt durch Zusatzschilder. Das Vorhandensein eines solchen Zusatzschildes ist zwar in dem von dem herkömmlichen Fahrerassistenzsystem dargestellten Bildausschnitt erkennbar, nicht aber ein eventueller Schriftanteil des Zusatzschildes, aus dem seine Bedeutung entnommen werden könnte. Der Fahrer kann daher anhand des angezeigten Bildausschnitts nicht mit Sicherheit erkennen, ob ein dort wiedergegebenes Verkehrszeichen tatsächlich für ihn relevant ist oder nicht. Dadurch ist die Praxistauglichkeit des herkömmlichen Fahrerassistenzsystems erheblich eingeschränkt.
-
Aufgabe der Erfindung ist, ein Fahrerassistenzsystem anzugeben, das den Anforderungen der Praxis besser entspricht.
-
Die Aufgabe wird gelöst, indem bei einem Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera, einer Bildverarbeitungseinheit, die eingerichtet ist, in einem von der Kamera gelieferten Bild ein Verkehrszeichen zu erkennen, und einem ersten Anzeigefeld zum Wiedergeben eines von der Bildverarbeitungseinheit aus dem Bild der Kamera extrahierten Bildausschnitts die Bildverarbeitungseinheit eingerichtet ist, zu entscheiden, ob dem Verkehrszeichen ein Zusatzschild mit Schriftanteil zugeordnet ist, und ggf. den Schriftanteil als Bildausschnitt zu extrahieren und auf dem ersten Anzeigefeld lesbar wiederzugeben. Dies trägt der Tatsache Rechnung, dass die Bedeutungsgehalte von Schriftanteilen in Verkehrszeichen oder Zusatzschildern wesentlich vielschichtigere Bedeutungen haben können als die ideographischen Bestandteile, so dass eine computergestützte Bestimmung ihrer Bedeutung mit wesentlich größeren Unsicherheiten behaftet ist als die Typerkennung von ideographischen Verkehrszeichen. Da letztere vom Fahrer meist auch bei eingeschränktem Aufmerksamkeitsniveau korrekt wahrgenommen werden, ist die Sicherheit der Wahrnehmung bei Schriftanteilen geringer, so dass die Möglichkeit, sich anhand des angezeigten Bildausschnitts nachträglich des enthaltenen Texts zu vergewissern, dem Fahrer ein zuverlässiges Befolgen der von dem Verkehrszeichen implizierten Ge- und Verbote erleichtert.
-
Das Fahrerassistenzsystem kann ferner einen Speicher für Normalbilder von Verkehrszeichen umfassen, und die Bildverarbeitungseinheit kann eingerichtet sein, eine Typerkennung des in dem Bild erkannten Verkehrszeichens zu versuchen. Wenn sie bei erfolgreicher Typerkennung ein dem erkannten Typ entsprechendes Normalbild aus dem Speicher extrahiert und auf dem zweiten Anzeigefeld anzeigt, so bietet dies dem Fahrer die Möglichkeit, sich nachträglich auch des Typ eines bereits passierten Verkehrszeichens zu vergewissern. Indem anstelle eines Ausschnitts des von der Kamera gelieferten Bildes, in dem ein Verkehrszeichen in je nach Abstand zur Kamera variabler Größe und Perspektive sowie mit je nach Licht- und Sichtverhältnissen wechselndem Kontrast ein in Größe, Farben und Kontrast stets identisches Normalbild des typerkannten Verkehrszeichens angezeigt wird, wird die Erkennung des Verkehrszeichentyps für den Fahrer erheblich erleichtert.
-
Nur ausnahmsweise, wenn die Typerkennung durch die Bildverarbeitungseinheit nicht erfolgreich ist, kann vorgesehen werden, aus dem Bild der Kamera einen Bildausschnitt zu extrahieren, der das Verkehrszeichen und den zugeordneten Schriftanteil enthält, und diesen Bildabschnitt anzuzeigen.
-
Da in diesem Fall sowohl das Verkehrszeichen als auch ein Zusatzschild mit bestmöglicher Auflösung für den Fahrer sichtbar sein sollen, wird der das Verkehrszeichen und das Zusatzschild enthaltende Bildausschnitt vorzugsweise über erstes und zweites Anzeigefeld verteilt angezeigt.
-
Wenn eine automatische Typerkennung des Verkehrszeichens stattfindet, kann das Fahrerassistenzsystem zweckmäßigerweise ferner eingerichtet sein, um ein Warnsignal zu erzeugen, falls ein von dem erkannten Verkehrszeichen verbotenes Fahrmanöver wie etwa eine Überschreitung einer Geschwindigkeitsbegrenzung stattfindet oder absehbar ist.
-
Zweckmäßigerweise kann die Bildverarbeitungseinheit ferner eingerichtet sein, zu entscheiden, ob ein erkanntes Verkehrszeichen ein Wegweiser wie etwa die Zeichen nach laufender Nummer 43 bis 53, 58 bis 61 der Anlage 3 zu §42 (2) StVO oder etwa ein Ge- oder Verbotszeichen wie insbesondere die laufenden Nummern 16 bis 65 gemäß Anlage 2 zu §41 (1) StVO ist, um, wenn das Zeichen ein Wegweiser ist, einen es vollständig, einschließlich seines Schriftanteils, enthaltenden Bildausschnitt wiederzugeben.
-
Wegweiser unterliegen somit nicht der Typerkennung, wodurch sichergestellt ist, dass ihr Schriftanteil vollständig und frei von möglichen Fehlinterpretationen durch das Assistenzsystem dem Fahrer dargeboten wird.
-
Häufig enthält ein einzelnes von der Kamera geliefertes Bild mehrere Wegweiser, z. B., wenn Wegweiserbrücken an Autobahnen oder anderen mehrspurigen Schnellstraßen passiert werden, oder wenn an einer Abzweigung Wegweiser den verschiedenen möglichen Fahrtrichtungen zugeordnet sind. In einer solchen Situation ist es zweckmäßig, wenn die Bildverarbeitungseinheit eingerichtet ist, die mehreren Wegweiser jeweils einer Fahrspur der befahrenen Straße zuzuordnen und zum Anzeigen denjenigen Wegweiser auszuwählen, der der aktuell vom Fahrzeug befahrenen Fahrspur zugeordnet ist. So hat der Fahrer auch nach Passieren des Wegweisers die Möglichkeit, zu überprüfen, ob er sich auf der richtigen Fahrspur befindet.
-
Falls, wie im Falle einer Wegweiserbrücke oft der Fall, ein Wechseln der Fahrspur nach Passieren des Wegweisers noch möglich ist, kann sich der Fahrer nach einem Spurwechsel anhand der dann angepassten Anzeige vergewissern, ob er sich nun auf der richtigen Spur befindet.
-
Gegenstand der Erfindung ist ferner ein Verfahren zur Fahrerunterstützung in einem Kraftfahrzeug mit den Schritten:
- a) Erkennung eines Verkehrszeichens in einem von einer Kamera des Kraftfahrzeugs gelieferten Bild,
- b) Entscheiden, ob dem Verkehrszeichen ein Zusatzschild mit Schriftanteil zugeordnet ist, und wenn ja,
- c) Extrahieren des Schriftanteils als Bildausschnitt und Anzeigen des extrahieren Bildausschnitts auf einem Anzeigefeld.
-
Ein weiterer Erfindungsgegenstand ist ein Computerprogrammprodukt mit Programmcodemitteln, die einen Computer befähigen, als Bildverarbeitungseinheit in einem Fahrerassistenzsystem der oben beschriebenen Art zu arbeiten oder das oben beschriebene Verfahren auszuführen.
-
Noch ein Erfindungsgegenstand ist ein computerlesbarer Datenträger, auf dem Programmanweisungen aufgezeichnet sind, die einen Computer befähigen, in der oben beschriebenen Weise zu arbeiten.
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren. Aus dieser Beschreibung und den Figuren gehen auch Merkmale der Ausführungsbeispiele hervor, die nicht in den Ansprüchen erwähnt sind. Solche Merkmale können auch in anderen als den hier spezifisch offenbarten Kombinationen auftreten. Die Tatsache, dass mehrere solche Merkmale in einem gleichen Satz oder in einer anderen Art von Textzusammenhang miteinander erwähnt sind, rechtfertigt daher nicht den Schluss, dass sie nur in der spezifisch offenbarten Kombination auftreten können; stattdessen ist grundsätzlich davon auszugehen, dass von mehreren solchen Merkmalen auch einzelne weggelassen oder abgewandelt werden können, sofern dies die Funktionsfähigkeit der Erfindung nicht in Frage stellt. Es zeigen:
-
1 ein Blockschaltbild des erfindungsgemäßen Fahrerassistenzsystems;
-
2 ein Flussdiagramm eines in dem Fahrerassistenzsystem ausgeführten Arbeitsverfahrens;
-
3 einen Ausschnitt des Armaturenbretts eines mit dem erfindungsgemäßen Fahrerassistenzsystem ausgestatteten Fahrzeugs;
-
4 einen Ausschnitt aus einem von einer Kamera des Fahrzeugs aufgezeichneten Bild, der ein Verkehrsschild und ein Zusatzzeichen enthält;
-
5 das auf dem Anzeigeschirm des Armaturenbretts dargestellte Ergebnis der Verarbeitung des Bildausschnitts aus 4; und
-
6 einen verschiedene Wegweiser enthaltenden Bildausschnitt.
-
Das erfindungsgemäße Fahrerassistenzsystem umfasst eine Kamera 2, die in einem Fahrzeug, ausgerichtet auf eine vor dem Fahrzeug liegende Wegstrecke, eingebaut ist, einen Mikroprozessor 3 zur Verarbeitung von von der Kamera 2 gelieferten Bildern, einen Speicher 4 sowie einen Anzeigeschirm 1, der am Armaturenbrett des Fahrzeugs für den Fahrer sichtbar angebracht ist. Die Kamera 2 kann, wie aus dem eingangs zitierten Stand der Technik bekannt, hinter einer Frontscheibe des Kraftfahrzeugs angeordnet sein, um aus einer ähnlichen Blickrichtung wie der des Fahrers den voraus liegenden Weg zu überblicken.
-
Die Arbeitsweise des Mikroprozessors 3 wird anhand des Flussdiagramms der 2 erläutert. In regelmäßigen Abständen, etwa in Schritt S1, liest der Mikroprozessor 3 ein aktuelles Bild des vor dem Fahrzeug liegenden Wegs aus der Kamera 2 und überprüft in Schritt S2, ob darin ein Verkehrszeichen enthalten ist. Wenn nicht, kehrt das Verfahren zum Ausgangspunkt zurück und wiederholt nach vorgegebener Wartezeit den Schritt S1. Wenn ein Verkehrszeichen erkannt wird, wird in Schritt S3 entschieden, ob es sich um ein Ge- oder Verbotsschild einerseits oder einen Wegweiser andererseits handelt.
-
Im ersteren Falle wird in Schritt S4 der Typ des Verkehrsschilds identifiziert. In Schritt S5 wird überprüft, ob die Identifizierung mit einer ausreichenden Sicherheit gelungen ist. Wenn nicht, wird in Schritt S6 ein Ausschnitt des von der Kamera 2 gelieferten Bildes, wie etwa der in 4 wiedergegebene Bildausschnitt, der das Verkehrszeichen 5 sowie ggf. ein Zusatzschild 6 zu dem Verkehrszeichen 5 enthält, an den Anzeigeschirm 1 zur Wiedergabe übermittelt. Zur Wiedergabe des Bildausschnitts wird die gesamte Fläche des Anzeigeschirms 1 genutzt.
-
Wenn hingegen die Typidentifizierung des Verkehrsschilds 5 mit hinreichender Sicherheit gelungen ist, liest der Mikroprozessor 3 aus dem zugeordneten Speicher 4 ein Normalbild des identifizierten Verkehrszeichentyps und übermittelt dieses an den Anzeigeschirm 1 zur Wiedergabe auf einem ersten Anzeigefeld 1a (siehe 3) desselben. Im Vergleich zu dem in Schritt S6 übermittelten Bildausschnitt ist das Normalbild für den Fahrer einfacher wiederzuerkennen, da seine Größe und seine Farben immer dieselben sind und auf dem Anzeigefeld 1a mit idealem, von den Lichtverhältnissen außerhalb des Fahrzeugs unabhängigen Kontrast sowie frei von Unschärfen wiedergegeben wird, die sich im Falle des Bildausschnitts in Schritt S6 durch die begrenzte Auflösung der Kamera und die Kleinheit des wiedergegebenen Bildausschnitts ergeben.
-
Basierend auf dem erkannten Verkehrszeichentyp kann der Mikroprozessor 3 ein Warnsignal erzeugen, wenn ein mit der Bedeutung des Verkehrszeichens inkompatibles Fahrverhalten vorliegt oder absehbar ist. Das Warnsignal kann darin bestehen, dass das Normalbild 7 blinkend auf dem Anzeigefeld 1a wiedergegeben wird, z. B. um auf eine Übertretung einer Geschwindigkeitsbegrenzung hinzuweisen.
-
In Schritt S8 wird geprüft, ob das von der Kamera 2 gelieferte Bild zu dem identifizierten Verkehrszeichen noch ein Zusatzschild enthält. Wenn nicht, kehrt das Verfahren zum Ausgang zurück, um nach vorgegebener Wartezeit den Schritt S1 zu wiederholen. Anderenfalls wird Schritt S9 ein Bildausschnitt, der das Zusatzschild 6 enthält, an den Anzeigeschirm 1 zur Wiedergabe auf einem zweiten Anzeigefeld 1b desselben übermittelt. Schrift auf dem Zusatzschild 6 kann der Fahrer somit auf dem zweiten Anzeigefeld 1b ggf. selber lesen. 5 zeigt das Ergebnis einer solchen Verarbeitung, basierend auf dem Bildausschnitt der 4: das Verkehrszeichen 5 ist auf dem Anzeigefeld 1a durch sein Normalbild 7 ersetzt; das Zusatzschild 6 erscheint im Anzeigefeld 1b in fotografischer Wiedergabe.
-
Da der Mikroprozessor 3 keinen Versuch unternimmt, die im Schriftanteil enthaltenen Schriftzeichen zu identifizieren, kann der Fahrer durch eine eventuell fehlerhafte Identifizierung durch den Mikroprozessor 3 nicht irregeführt werden. Wenn die Sichtbedingungen gut genug und der Schriftanteil detailreich genug von der Kamera 2 erfasst worden ist, kann der Fahrer ihn auf dem Anzeigeschirm 1 eindeutig lesen; anderenfalls muss er eigenverantwortlich entscheiden, ob er das Verkehrszeichen 5 berücksichtigt, oder ob er annimmt, dass das Verkehrszeichen für ihn keine Gültigkeit besitzt. Dies kann z. B. der Fall sein, wenn ein von dem Verkehrszeichen beinhaltetes Verbot auf Gültigkeit nur bei besonderen Fahrbahnverhältnissen wie etwa Nässe oder Schnee eingeschränkt ist, die Fahrbahn aber trocken ist.
-
Falls in Schritt S3 festgestellt wird, dass das von der Kamera gelieferte Bild als Verkehrszeichen wenigstens einen Wegweiser enthält, dann extrahiert in Schritt S10 der Mikroprozessor aus dem Bild einen den Wegweiser enthaltenden Ausschnitt und übergibt diesen zur Wiedergabe an den Anzeigeschirm 1. Auch hier wird zur Wiedergabe die gesamte Ausdehnung des Anzeigeschirms 1 genutzt, d. h. das fotografische Abbild des Wegweisers kann sich, wenn sein Format dies erfordert, über beide Anzeigefelder 1a, 1b erstrecken.
-
Falls das von der Kamera 2 gelieferte Bild mehrere Wegweiser enthält und das Fahrzeug sich auf einem Weg mit mehreren Fahrspuren, etwa an einer Weggabelung oder auf einer mehrspurigen Schnellstraße, befindet, dann versucht der Mikroprozessor 3 in Schritt S10 unter den mehreren Wegweisern denjenigen zu ermitteln, der der aktuell vom Fahrzeug befahrenen Spur zugeordnet ist. Ein Beispiel für einen Ausschnitt eines von der Kamera gelieferten Bildes mit vier Wegweisern in Form einer Schilderbrücke über einer mehrspurigen Bundesstraße ist in 6 gezeigt. Wenn der Mikroprozessor 3 zu dem Ergebnis kommt, dass von dem vier erfassten Wegweisern 8 bis 11 der Wegweiser 9 zur vom Fahrzeug befahrenen Fahrspur gehört, extrahiert er aus dem Bild einen Ausschnitt, wie in 6 durch einen gestrichelten Rahmen 12 dargestellt, und übergibt diesen Ausschnitt zur Wiedergabe an den Anzeigeschirm 1. So kann der Fahrer auch nach Passieren der Schilderbrücke überprüfen, ob er sich auf der richtigen Fahrspur befindet.
-
Am Lenkrad oder am Armaturenbrett des Fahrzeugs können Bedienelemente, hier Tasten 13 beiderseits des Anzeigeschirms 1, vorgesehen sein, mit denen der Fahrer einen anderen der Wegweiser 8 bis 11 zur Wiedergabe auf dem Anzeigeschirm 1 auswählen kann. Falls etwa der nach Betätigen der rechten Taste 13 wiedergegebene Wegweiser 7 das Ziel des Fahrers anzeigt, weiß dieser, dass er auf die zu seiner rechten liegende Spur wechseln muss, um das Ziel zu erreichen.
-
Wenn nach der vorgegebenen Wartezeit, diesmal an einer mit S11 bezeichneten Stelle des Flussdiagramms der 1, der Mikroprozessor 3 ein neues Bild von der Kamera 2 einliest, folgt zunächst, wie bereits beschrieben, in S12 eine Überprüfung, ob Verkehrsschilder in dem Bild enthalten sind, und, falls ja, in Schritt S13 eine Überprüfung, ob es sich um Wegweiser oder um Ge- oder Verbotsschilder handelt. In letzterem Falle springt das Verfahren zu Schritt S4, in dem im hier betrachteten Stadium des Verfahrens wahrscheinlicheren Falle, dass die Wegweiser 8 bis 11 auch im neuen Bild enthalten sind, erreicht das Verfahren einen Schritt S14, in welchem anhand der ebenfalls im Bild enthaltenen Fahrbahn entschieden wird, ob das Fahrzeug zwischen dem aktuellen Bild und dem vorhergehenden seine Fahrspur gewechselt hat. Wenn beispielsweise das Fahrzeug sich eine Spur nach links bewegt hat, ersetzt der Mikroprozessor 3 in Schritt S15 den auf dem Anzeigeschirm 1 wiedergegebenen Bildausschnitt mit den Wegweiser 9 durch einen Bildausschnitt, der den der linken Spur zugeordneten Wegweiser 8 enthält. So kann der Fahrer nach einem Spurwechsel verifizieren, dass dieser richtig war.
-
Bezugszeichenliste
-
- 1
- Anzeigeschirm
- 2
- Kamera
- 3
- Mikroprozessor
- 4
- Speicher
- 5
- Verkehrszeichen
- 6
- Zusatzschild
- 7
- Normalbild
- 8
- Wegweiser
- 9
- Wegweiser
- 10
- Wegweiser
- 11
- Wegweiser
- 12
- Rahmen
- 13
- Taste
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
