DE60211503T2

DE60211503T2 - Vorrichtung zur automatischen Erkennung von Verkehrszeichen

Info

Publication number: DE60211503T2
Application number: DE60211503T
Authority: DE
Inventors: Oyvind Stromme
Original assignee: Accenture Global Services GmbH
Current assignee: Accenture Global Services GmbH
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2006-12-07
Anticipated expiration: 2022-07-10
Also published as: US6813545B2; EP1383098A1; DE60211503D1; EP1383098B1; ATE326748T1; US20040010352A1

Description

Technischer Bereich der Erfindung
Die vorliegende Erfindung betrifft generell ein Unterstützungssystem für den Fahrer eines Fahrzeugs, und insbesondere ein System zum Erinnern des Fahrers an die Präsenz von zumindest einigen speziellen Verkehrszeichen bzw. -schildern an dem Weg.
Hintergrund der Erfindung
Heutzutage werden Fahrer bereits durch automatische Systeme unterstützt, darunter Systeme zur örtlichen Bestimmung (GPS).
Jedoch, obwohl ein GPS-System aktualisiert werden kann in Hinsicht auf Modifikation der Straßen, enthält es keine erschöpfende Information über die Verkehrs-Signale. Der Hauptgrund ist, daß Verkehrssignale sich ohne Meldung an kartographische Organe ändern können. Ebenso kann ein Straßenarbeiter die Verkehrs-Signale verändern.
Es wäre nützlich, einem Fahrer zumindest einige wichtige Verkehrszeichen zu signalisieren. Dies könnte Unfälle aufgrund von Nachlässigkeit bzw. Fahrlässigkeit des Fahrers verhindern.
Die vorliegende Erfindung zielt auf das Bereitstellen eines solchen automatischen Verkehrszeichen-Erkennungssystems an einem Fahrzeug ab, um den Fahrer an die Präsenz von einigen Verkehrszeichen an der Straße zu erinnern.
Ein weiterer Zweck der Erfindung ist es, ein System bereitzustellen, welches Verkehrszeichen erkennt, selbst wenn einige von ihnen unlesbar bzw. unleserlich sind.
Es besteht ein technisches Problem bei der Erkennung der Präsenz von Verkehrszeichen an der Straße und, insbesondere bei der Erkennung von zwei aufeinander folgenden, an derselben Straße vorhandenen Verkehrszeichen. Tatsächlich haben nicht alle Verkehrszeichen dieselbe Größe, und ein größeres Verkehrszeichen, welches vom Fahrer gesehen wird, ist nicht notwendigerweise das erste Verkehrszeichen, welches entlang des Weges angetroffen wird.
DE 19829162 offenbart ein System zur Erkennung von Verkehrszeichen mit einer elektronischen Kamera.
Zusammenfassung der Erfindung
Um diese Zwecke und andere zu erreichen, stellt die vorliegende Erfindung ein System zum Erinnern eines Fahrers an die Präsenz eines besonderen Verkehrszeichens an dem Weg bereit, welches umfasst:
eine bilderfassende bzw. Bild-Einheit, die am Fahrzeug angebracht bzw. befestigt und auf die Straße vor dem Fahrzeug ausgerichtet ist;
eine automatische Erkennungseinheit von vor-registrierten Verkehrszeichen bzw. -schilder, die in einer Bibliothek bzw. Sammlung enthalten sind; und
einen Ton- und/oder visuellen Indikator eines identifizierten Verkehrszeichens bzw. -schilds, welches an der Straße vor dem Fahrzeug präsent ist.
Erfindungsgemäß nimmt das System periodische Bilder von der Straße vor dem Fahrzeug. Vorzugsweise hängt die Periodizität von der Geschwindigkeit des Fahrzeugs ab.
In jedem Land sind die Formen von Verkehrszeichen standartisiert, und verschiedene Symbole können auf jedem Zeichen angebracht sein. Zum Beispiel hat in Europa nur das "Stop"-Schild eine oktagonale Form, und nur das "Vorfahrt gewähren"-Schild hat die Form eines invertierten Dreiecks.
So wird jedes Bild in einem Form-Erkennungs-Prozessor analysiert, um die eventuelle Präsenz von Formen zu erkennen, die wie bzw. ähnlich wie in einer Datenbank vor-registrierte Zeichen aussehen. Diese Datenbank oder Bibliothek könnte nicht nur die Formen der Verkehrszeichen enthaften, sondern auch die Symbole innerhalb der Verkehrszeichen. Somit ist das System in der Lage, verschiedene Verkehrszeichen mit derselben Form zu unterscheiden.
Wenn das System die Präsenz von Verkehrszeichen vor dem Fahrzeug erkennt, wird ein Ton- und/oder visueller Indikator, welcher innerhalb des Fahrzeug vorgesehen ist, ausgelöst bzw. betätigt, um den Fahrer an die Präsenz von Verkehrszeichen an der Straße zu erinnern. Dann wird die Aufmerksamkeit des Fahrers angeregt.
Gemäß der vorliegenden Erfindung registriert das System zumindest zwei aufeinander folgende Bilder der Straße, um in der Lage zu sein, das erste kommende Verkehrszeichen aus zwei aufeinander folgenden, in einem Bild erfaßten Verkehrszeichen zu erkennen. Für diesen Zweck vergleicht das System die Abweichung der rechtwinkligen Koordinaten eines Referenzpunktes der beiden Zeichen-Bilder bzw. -Wiedergaben in zwei aufeinander folgenden Bildern, um die Ordnung zwischen zwei auf diese Weise analysierten Zeichen zu bestimmen. Dies kann auch benutzt werden, um die Entfernung, die das Fahrzeug vom nächsten Verkehrszeichen trennt, auszuwerten, durch Kombinieren der rechtwinkligen Koordinatenauswertung mit der Geschwindigkeit des Fahrzeugs.
Kurze Beschreibung der Zeichnungen
Die vorgenannten und andere Zwecke, Merkmale, Aspekte und Vorteile der Erfindung werden offenbar von der folgenden ausführlichen Beschreibung von Ausführungsformen, welche illustrativ, und nicht einschränkend im Bezug auf die begleitenden Zeichnungen angegeben werden, bei welchen:
1 schematisch eine Straße darstellt, an welcher Verkehrszeichen präsent sind;
2 eine Ausführungsform eines Systems der Verkehrszeichen-Erkennung gemäß der vorliegenden Erfindung illustriert;
3 partiell und schematisch eine Innen- bzw. Bord-Kabine eines Fahrzeugs entsprechend einer Ausführungsform der vorliegenden Erfindung darstellt;
4 ein Flußdiagramm ist, welches den Betrieb eines Systems entsprechend einer Ausführungsform der vorliegenden Erfindung illustriert; und
5 Formen von Verkehrszeichen illustriert, die durch ein System entsprechend der vorliegenden Erfindung zu erkennen sind.
Zur Klarheit sind nur die Elemente und Schritte, die für ein Verständnis der Erfindung nützlich sind, in den Bildern gezeigt worden, und werden im folgenden offenbart. Insbesondere werden die Programme und Schritte für eine Implementierung der Erfindung durch ein computerisiertes System nicht detailliert geschildert, da es den in diesem Bereich Erfahrenen leicht in den Sinn kommen wird.
1 stellt schematisch eine Straße R dar, an deren Seite zwei aufeinander folgende Verkehrszeichen S1, S2 angeordnet sind. Die Arten bzw. Typen der Zeichen S1 und S2 sind nicht sichtbar in der lateralen Ansicht von 1. Ein Fahrzeug V wird entlang der Straße R gefahren, und ist ausgerüstet mit einem System entsprechend einer Ausführungsform der vorliegenden Erfindung. In 1 ist nur die Kamera 1 zum Aufnehmen von aufeinander folgenden Bildern des Bereichs vor dem Fahrzeug gezeigt. Zur Klarheit ist die Kamera 1 extern am Fahrzeug V dargestellt worden. Alternativ kann die Kamera 1 innerhalb des Fahrzeugs V angeordnet werden und nach außen durch die Windschutzscheibe gerichtet werden, oder an einer beliebigen Stelle am Fahrzeug aufgehängt werden, die eine klare Sicht nach vorne davon ermöglicht.
2 illustriert eine Ausführungsform des Systems entsprechend der vorliegenden Erfindung. Die Kamera 1 ist verbunden mit einer zentralen Verarbeitungs- bzw. Recheneinheit 2 (CPU) zum Verarbeiten und Analysieren der aufeinander folgenden Bilder, die von der Kamera 1 aufgenommen wurden. Die Einheit 2 ist ebenfalls verbunden mit einem externen Speicher (z. B. einer Datenbank DB) 3, der eine Bibliothek von vorbestimmten bzw. -referenzierten Verkehrszeichen enthält. Die Einheit 2 regelt bzw. steuert ebenso einen Bildschirm 4 und/oder einen Lautsprecher 5.
Entsprechend einer bevorzugten Ausführungsform der vorliegenden Erfindung zieht die Einheit 2 auch die gemessene Geschwindigkeit des Fahrzeugs in Betracht. Folglich ist die Einheit 2 mit einem Geschwindigkeitsmesser (TM) 6 verbunden, der die Geschwindigkeit des Fahrzeugs V mißt.
Zusätzlich kann das System der vorliegenden Erfindung die Position des Fahrzeugs auf einer computerisierten Karte in Betracht ziehen. Folglich ist das System kombiniert mit Lokalisierungs-Mitteln, zum Beispiel einem GPS-System. Für diesen Zweck ist die Einheit 2 mit einer Antenne 7 zur Kommunikation mit Lokalisierungs-Satelliten verbunden.
3 stellt die Front der Fahrzeugkabine dar. Ein Bildschirm 4 ist angeordnet, um vom Fahrer gesehen zu werden, und ein Lautsprecher 5 ist im Instrumentenbrett vorgesehen. Diese zwei Elemente können mit anderen Systemen, z.B. dem Radiosystem des Fahrzeugs oder einem Bordcomputer des Fahrzeugs, geteilt werden.
In der Ausführungsform von 3 ist die Kamera 1 innerhalb des Fahrzeugs hinter der Windschutzscheibe WS angeordnet.
Die zentrale Recheneinheit 2 und externe oder interne Speicher (insbesondere die Datenbank 3) sind z.B. innerhalb des Instrumentenbretts oder an einer beliebigen anderen, vorteilhaften Stelle innerhalb des Fahrzeugs angeordnet.
4 ist ein Flußdiagramm einer beispielhaften Ausführungsform des Betriebs eines Systems zum Erinnern des Fahrers eines Fahrzeugs an die Präsenz eines speziellen Verkehrszeichens an dem Weg, entsprechend der Erfindung.
4 zeigt nicht die Initialisierungsschritte des Betriebsverfahrens, welche dem Fachmann nach der folgenden Erklärung offensichtlich sind. 4 stellt nur das Flußdiagramm der Analyse- und Kommunikations-Schleife des Betriebsverfahren dar, die für die Erfindung charakteristisch ist.
Der erste Schritt 10 besteht aus dem Aufnehmen bzw. Speichern eines aktuellen Bildes, aufgenommen von der Kamera 1 vor dem Fahrzeug.
Dann führt erfindungsgemäß die zentrale Recheneinheit 2 einen Form-Erkennungsschrit 11 durch, bestehend aus der Suche in einem digitalem Bild nach der Präsenz eines Bildbereichs mit einer Form entsprechend einer vor-registrierten Form entsprechend einem Verkehrszeichen.
5 illustriert die fünf gebräuchlichsten Formen von Verkehrszeichen (zumindest in Europa). Ein oktagonales Zeichen O entspricht immer einem "Stop"-Schild. Ein dreieckiges Schild T ist ein "Warnungs"-Schild. Ein invertiertes Dreieck IT entspricht immer einem "Vorfahrt gewähren"-Schild. Ein rundes Schild C ist ein "Verbots"- oder "Gemehmigungs"-Schild. Ein quadratisches oder rechteckiges Schild Q ist ein "Informations"-Schild.
Die fünf in 5 illustrierten Formen entsprechen den Basisformen, die entsprechend einer bevorzugten Ausführungsform der vorliegenden Erfindung, zu suchen sind. Diese Formen sind nicht nur in einer Frontalansicht vor-registriert, sondern auch in Winkelansichten, da die Zeichen oft an der Seite einer Straße R angeordnet sind (1).
Der Form-Such- und -Erkennungs-Schritt 11 der vorliegenden Erfindung verwendet konventionelle Bildverarbeitungsmethoden.
Um in der Lage zu sein, einige Formen und deren Orientierung zu identifizieren, muß die zentrale Recheneinheit 2 den Bezug bzw. die Referenz der Kamera 1 und den Bezug bzw. die Referenz der Straße R in Betracht ziehen.
Eine einfache Bildverarbeitungsmethode, wie ein einfacher Kanten- bzw. Rand-Erkennungs-Mechanismus könnte benutzt werden, um die vorliegende Erfindung zu implementieren. Ein Canny-Kanten- bzw. -Rand-Detektor (J. Canny: A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6, Nov. 1986), gefolgt von einem einfachen Pixel-zu-Pixel-Anpassen bzw. -Vergleichen bzw. Übereinstimmungs-Prüfen über das verarbeitete Bild sollte ausreichend sein. Da verschiedene Ansichten der Zeichen-Symbole gespeichert sind, sollte keine Transformations-Verarbeitung nötig sein.
Wenn keine Zeichenform entdeckt wird, kehrt das System zu Schritt 10 zurück. Wenn eine Zeichenform entdeckt wird, registriert das System bei Schritt 12 die rechtwinkligen Koordinaten X_i, Y_i eines Referenzpunktes der Form. Ein solcher Referenzpunkt ist vordefiniert und entspricht, z.B. und jeweils willkürlich:
für ein Oktagon, dem oberen linken Winkel;
für ein Dreieck, der oberen Ecke;
für ein invertiertes Dreieck, der linken Ecke;
für einen Kreis, der Mitte; und
für ein Rechteck, der oberen linken Ecke.
Diese Referenzpunkte der verschiedenen Formen sind in 5 mit Kreuzen identifiziert.
Zumindest wenn die entdeckte Form ein Dreieck, ein Kreis oder ein Rechteck ist, führt das System einen zusätzlichen Schritt 13 durch, um das Symbol zu identifizieren, das in dem Schild enthalten ist. Eine solche Identifikation kann durch einen Muster- oder Erkennungs-Algorithmus durchgeführt werden, der auf die detektierte Form angewandt wird. Eine solche Mustererkennung ist nicht notwendig für oktagonale und invertiert dreieckige Zeichen, welche jeweils immer ein "Stop" oder "Vorfahrt gewähren" indizieren.
Vorzugsweise wird auch eine Farberkennung durchgeführt, um zu überprüfen, daß eine erkannte Form tatsächlich ein Verkehrszeichen ist.
Wenn nur ein Zeichen im aktuellen Bild erkannt wird (Test 14, NbSIGN = 1), speichert (Block 15) das System die rechtwinkligen Koordinaten X, Y und den Typ (identifiant) des Verkehrszeichens. Dann besteht ein Hinweis-Schritt 16 (SOUND/VIEW) aus dem Anzeigen des Verkehrszeichens auf einem Bildschirm 4 des Fahrzeugs (z.B. das Zeichen "Stop" in 3) und/oder dem Übermitteln der interpretierten Information an den Fahrer durch einen Lautsprecher 5. Dann kehrt das System zu Schritt 10 zurück.
Wenn mehr als ein Verkehrszeichen in Schritt 14 erkannt und ermittelt worden ist, werden die entsprechenden rechtwinkligen Koordinaten und Typ gespeichert (Block 17: STORE{(Xi, Yi, TYPE)}).
Entsprechend einer Eigenschaft der vorliegenden Erfindung, ermittelt das System, welches Verkehrszeichen das erste an dem Weg des Fahrzeugs ist. Um den Rang der Verkehrszeichen zu erhalten, führt das System (Schritt 18, COMPARE PREV PICT) einen Vergleich mit den Koordinaten der Verkehrszeichen in dem aktuellen Bild mit Bezug auf deren Koordinaten im vorhergehenden Bild aus. Verschiedene Verfahren der Auswahl (Block 19, SELECT) können implementiert werden. Zum Beispiel kann das System einen Schwellenwert der Distanz verwenden, mit Bezug auf das Fahrzeug, um aufzuhören, den Fahrer zu informieren sobald das Verkehrsschild zu nah am Fahrzeug ist. Solch ein Distanz-Schwellenwert wird vorzugsweise auch verwendet, wenn nur ein Zeichen identifiziert ist.
Entsprechend einem weiteren Beispiel werden die verschiedenen Verkehrszeichen in ihrer jeweiligen Reihenfolge auf dem Bildschirm angezeigt bzw. indiziert, entweder eines nach dem anderen, oder gleichzeitig.
Entsprechend einer weiteren Ausführungsform trifft dies auch zu, wenn nur ein Verkehrszeichen entdeckt wurde und das System der Erfindung mit einem GPS-Lokalisierungs-System kombiniert ist, und mit der Karte der Umgebung. Dann werden Verkehrszeichen-Piktogramme an den jeweiligen Positionen in der Straßen-Darstellung auf dem Bildschirm 4 angezeigt. Aufeinander folgende Verkehrszeichen werden dann gleichzeitig angezeigt.
Entsprechend der vereinfachten Ausführungsform, die in 4 illustriert ist, wird das nähere Verkehrszeichen dem Fahrer indiziert (Block 20, SOUND/VIEW). Dann nimmt das System das nächste Bild auf und führt Schritt 10 erneut aus.
Die Frequenz der Bilder ist vorbestimmt, oder, entsprechend einer bevorzugten Ausführungsform, hängt von der Geschwindigkeit des Fahrzeugs ab. Es ist auch möglich, die Geschwindigkeits-Information zu verwenden, um die Bestimmung der relativen Positionen der Verkehrsschilder, die in aufeinander folgenden Bildern erscheinen, zu unterstützen.
Ein Vorteil der vorliegenden Erfindung ist, daß die Symbol-Erkennung optional ist. Einige Verkehrszeichen können aufgrund ihrer Form auch dann identifiziert werden, wenn sie unlesbare Texte enthalten. Auch wenn das Zeichen einem Dreieck, einem Kreis oder einem rechteckigen Schild bzw. Zeichen entspricht, kann das System den Fahrer über die Art bzw. Klasse oder den Typen des Zeichens informieren.
Die praktische Implementierung der Erfindung basierend auf der obigen funktionalen Beschreibung liegt innerhalb der Fähigkeiten eines Durchschnittsfachmanns.
Nachdem wir zumindest eine illustrative Ausführungsform der Erfindung beschrieben haben, werden dem Fachmann leicht verschiedene Änderungen, Abwandlungen und Verbesserungen einfallen. Solche Änderungen, Abwandlungen und Verbesserungen sollen in den Schutzbereich der Erfindung fallen. Entsprechend ist die obige Beschreibung nur exemplarisch und nicht als einschränkend gedacht. Die Erfindung ist nur limitiert wie definiert in den folgenden Ansprüchen und Äquivalenten hierzu.

Claims

System zum Erinnern eines Fahrers an die Präsenz bzw. das Vorhandensein zumindest eines besonderen Verkehrszeichens, umfassend: eine Bildeinheit (1), die am Fahrzeug angebracht und auf die Straße (R) vor dem Fahrzeug ausgerichtet ist; eine Datenbank (3), die zumindest eine vor-registrierte Form eines Verkehrszeichens enthält; eine automatische Erkennungseinheit (2) zum Erkennen und Identifizieren eines Verkehrszeichens in aufeinander folgenden Bildern durch Suchen von Bildbereichen mit einer Form, welche in der Datenbank enthalten ist; und einen Ton- (5) und/oder visuellen (4) Indikator eines identifizierten Verkehrsschildes, dadurch gekennzeichnet, daß eine Auswahl zwischen zwei identifizierten Zeichen in einem selben Bild durchgeführt wird durch Auswerten der Distanz zwischen dem Fahrzeug und den Zeichen, wobei die Auswertung in dem Vergleich der Variation der rechtwinkligen Koordinaten eines Referenzpunktes der Zeichen in zwei aufeinander folgenden Bildern besteht.
System nach Anspruch 1, in welchem die automatische Erkennungseinheit (2) auch die Farben einer identifizierten Form mit einem Satz von gespeicherten Farbinformationen vergleicht.
System nach Anspruch 1, in welchem die automatische Erkennungseinheit auch das in einer identifizierten Form enthaltene Symbol mit einem Satz von gespeicherten Symbolen vergleicht.
System nach Anspruch 1, in welchem die Datenbank für jede Form verschiedene Ansichtswinkel enthält.
System nach Anspruch 1, in welchem die Bildeinheit mit einer Frequenz betätigt bzw. ausgelöst wird, die von der Geschwindigkeit des Fahrzeugs abhängt.