-
QUERVERWEIS AUF EINE VERWANDTE ANMELDUNG
-
Diese Anmeldung beansprucht die Priorität der
Koreanischen Patentanmeldung Nr. 2016-0119197 , eingereicht am 19. September 2016, deren Offenbarung hiermit in ihrer Gesamtheit in die vorliegende Anmeldung einbezogen wird.
-
HINTERGRUND
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft das Erkennen von Verkehrszeichen an Straßen, und insbesondere eine Vorrichtung und ein Verfahren zum exakten Erkennen ergänzender Verkehrszeichen unter Verkehrszeichen allgemeinhin.
-
2. Diskussion des Standes der Technik
-
Zum Zwecks eines reibungslosen und sicheren Fahrens eines Fahrzeugs sind an den Straßen Verkehrszeichen installiert, die den Fahrern von Fahrzeugen Information übermitteln, welche diese zum Fahren des Fahrzeugs benötigen.
-
Verkehrszeichen lassen sich hinsichtlich ihrer Typen generell gemäß dem Aspekt unterteilen, ob sie Verkehrsinformation, Entfernungen, Witterungsbedingungen, Luftverschmutzungszustände, Verkehrsunfallsituationen oder administrative Information angeben, oder ob es sich um Verkehrszeichen zur Präsentation von Werbung handelt, etc.
-
Einhergehend mit der zunehmenden Anzahl von Fahrern mit eingeschränktem Sehvermögen sowie von älteren Fahrern besteht in jüngster Zeit ein verstärkter Wunsch nach einem sicheren Fahrassistenzsystem, das in der Lage ist, Verkehrszeichen betreffende Information präzise zur Verfügung zu stellen. Somit besteht ein erhöhter Bedarf an einer exakten Erkennung von Verkehrszeichen.
-
Unlängst ergab sich das Erfordernis, sicht-basierte Verkehrszeichenerkennungssysteme zu konzipieren, um intelligente fahrerlose Fahrzeuge entwickeln zu können, und somit entstand ein starkes Interesse an einem System zur Erkennung und Detektion von Verkehrszeichen.
-
Generell wurde bei der herkömmlichen Verkehrszeichenerkennung (TSR = traffic sign recognition) ein Verfahren verwendet, in dem ein Hauptverkehrszeichen in einem Eingabebild detektiert wird und ein Hauptverkehrszeichen in einem nachfolgenden Bild durch Erkennen dieses detektierten Hauptverkehrszeichens detektiert wird.
-
Neben dem Erkennen von Hauptverkehrszeichen haben sich Forschungsprojekte mit der Erkennung ergänzender Verkehrszeichen befasst. Ergänzende Verkehrszeichen wurden mit Hilfe verschiedener Verfahren detektiert, z.B. mittels eines Verfahren zum Detektieren einer Hough-Linie in einem interessierenden Bereich (ROI) unterhalb oder oberhalb des Hauptverkehrszeichens, eines Fenster-Verschiebungsverfahrens, bei dem sämtliche Bereiche eines Bilds untersucht werden, eines Verfahrens zum Detektieren eines Kandidaten an einer vorbestimmten Stelle, usw.
-
Ein detektiertes Zeichen wird durch Schablonenabgleich ("template matching") erkannt, d.h. durch ein Verfahren, dem ein lern-basierter Sortierer (z.B. AdaBoost, SVM, etc.) oder dgl. verwendet wird.
-
Derartige herkömmliche Techniken sind jedoch in ihrer Möglichkeit beschränkt, ergänzende Verkehrszeichen durch ein einfaches Sortierverfahren effektiv zu erkennen, da der Bereich des Erkennens ergänzender Verkehrszeichen auf Textinformation, Pfeile, Piktogramme etc. beschränkt ist oder in jedem Land nur eine begrenzte Anzahl von Klassen als Erkennungsbereich vorgegeben ist.
-
ÜBERBLICK ÜBER DIE ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Erkennen ergänzender Verkehrszeichen, die ein effektiveres und präziseres Erkennen ergänzender Verkehrszeichen ermöglichen, indem typische Formen ergänzender Verkehrszeichen auf der Basis vorbestimmter Formen oder auf der Basis von Vorwissen erkannt werden.
-
Die vorliegende Erfindung ist jedoch nicht darauf beschränkt, und Durchschnittsfachleuten auf dem Gebiet werden anhand der folgenden Beschreibung zusätzliche Aspekte ersichtlich sein.
-
Gemäß einem Aspekt der vorliegenden Erfindung umfasst ein von einem Prozessor durchgeführtes Verfahren zum Erkennen eines ergänzenden Verkehrszeichens das Detektieren eines Hauptverkehrszeichens in einem Bild, das Festlegen eines interessierenden Bereichs unter Verwendung der Position und der Größe des Hauptverkehrszeichens, das Detektieren eines Kandidaten für ein ergänzendes Verkehrszeichen eines vorbestimmten Typs in dem interessierenden Bereich, das Extrahieren von Merkmalen des Kandidaten für das ergänzende Verkehrszeichen und das Erkennen des Inhalts des Kandidaten für das ergänzende Verkehrszeichen unter Verwendung einer zuvor angelernten Einrichtung für maschinelles Lernen.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist eine mit einem oder mehreren Prozessoren versehene Vorrichtung zum Erkennen von ergänzenden Verkehrszeichen eine Bildaufnahmevorrichtung zum Aufnehmen eines Bilds der Umgebung des Fahrzeugs, einen Hauptverkehrszeichen-Detektor, der zum Detektieren eines Hauptverkehrszeichens in dem aufgenommenen Bild konfiguriert ist, einen Ergänzungs-Verkehrszeichen-Detektor, der konfiguriert ist zum Festlegen eines interessierenden Bereichs unter Verwendung der Position und der Größe des detektierten Hauptverkehrszeichens und zum Detektieren eines Kandidaten für ein ergänzendes Verkehrszeichen eines vorbestimmten Typs in dem interessierenden Bereich, und eine Ergänzungs-Verkehrszeichen-Erkennungseinheit, die konfiguriert ist zum Extrahieren von Merkmalen des detektierten Kandidaten für das ergänzende Verkehrszeichen und zum Erkennen des Inhalts des Kandidaten für das ergänzende Verkehrszeichen entsprechend den Merkmalen mittels einer zuvor angelernten Einrichtung für maschinelles Lernen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Diese und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden Durchschnittsfachleuten auf dem Gebiet anhand der folgenden detaillierten Beschreibung von Ausführungsbeispielen der Erfindung deutlicher ersichtlich, wobei in der Beschreibung auf die beigefügten Zeichnungen Bezug genommen wird, in denen Folgendes gezeigt ist:
-
1 zeigt ein Diagramm einer Struktur einer Hauptverkehrszeichen-Erkennungsvorrichtung gemäß dem Stand der Technik;
-
2 zeigt Beispiele ergänzender Verkehrszeichen;
-
3 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen ergänzender Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung;
-
4 zeigt ein Schaubild eines interessierenden Bereichs, der bei einem Verfahren zum Erkennen ergänzender Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung verwendet wird,
-
5 zeigt ein Flussdiagramm eines Verfahrens zum Detektieren eines Kandidaten für ein ergänzendes Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung;
-
6 zeigt eine Tabelle entsprechend ihrer Formen klassifizierter ergänzender Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung;
-
7 zeigt ein Schaubild eines Line-Voting-Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung;
-
8 zeigt ein Schaubild einer Struktur eines vorwissen-basierten interessierenden Bereichs gemäß einer Ausführungsform der vorliegenden Erfindung;
-
9 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 1;
-
10A und 10B zeigen Flussdiagramme eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 2;
-
11A und 11B zeigen Flussdiagramme eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 3;
-
12 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 4;
-
13 zeigt ein Schaubild zur Veranschaulichung eines Vorgangs zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung;
-
14 bis 16 zeigen Flussdiagramme von Verfahren zum Erkennen des Inhalts eines ergänzenden Verkehrszeichens auf der Basis von Vorwissen gemäß Ausführungsformen der vorliegenden Erfindung;
-
17 zeigt ein Blockschaltbild einer Vorrichtung zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung; und
-
18 zeigt ein Blockschaltbild eines Computersystems zum Durchführen eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
Vorteile und Merkmale der vorliegenden Erfindung sowie Verfahren zur Erzielung dieser Vorteile und Merkmale werden anhand der Ausführungsformen ersichtlich, die nachfolgend im Zusammenhang mit den beigefügten Zeichnungen beschrieben werden. Die vorliegende Erfindung ist jedoch nicht auf diese Ausführungsformen beschränkt und kann in zahlreichen unterschiedlichen Formen realisiert werden. Die hier beschriebenen Ausführungsformen dienen dem Zweck einer gründlichen und vollständigen Offenbarung und vermitteln Durchschnittsfachleuten auf dem Gebiet ein umfassendes Verständnis des Konzepts der Erfindung. Somit ist die Erfindung durch den Umfang der Ansprüche zu definieren. Die speziellen Ausdrücke, die hier verwendet werden, sind nicht im Sinne einer Beschränkung des Umfangs der Erfindung zu interpretieren und dienen nur zur Beschreibung von Ausführungsformen. Die Singular-Formen der Artikel "ein", "eine", und "der", "die", "das" sind dahingehend aufzufassen, dass sie auch die Plural-Formen umfassen, sofern der Kontext dies nicht ausdrücklich ausschließt. Ferner wird darauf hingewiesen, dass im Rahmen dieser Beschreibung die Ausdrücke "aufweisen" oder "mit" das Vorhandensein der in Verbindung mit dem Ausdruck genannten Bauteile, Schritte, Operationen und/oder Elemente angibt, dabei jedoch nicht das Vorhandensein oder Hinzufügen eines/einer oder mehrerer weiterer Bauteile, Schritte, Operationen, Elemente und/oder Gruppen derselben ausschließt.
-
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung im Zusammenhang mit den beigefügten Zeichnungen detailliert beschrieben.
-
1 zeigt ein Flussdiagramm zur Veranschaulichung eines mittels eines Verkehrszeichen-Erkennungsmoduls durchgeführten Verfahrens zum Erkennen eines Hauptverkehrszeichens gemäß dem relevanten Stand der Technik.
-
Ein Hauptverkehrszeichen-Detektor detektiert einen Bereich eines mittels einer Kamera erhaltenen Bilds, der einem Hauptverkehrszeichen entspricht, und erkennt den Inhalt des detektierten Hauptverkehrszeichens.
-
Ein Bereich eines nachfolgenden Einzelbilds, der dem Hauptverkehrszeichen entspricht, kann unter Verwendung des Ergebnisses des Erkennens des Inhalts des detektierten Hauptverkehrszeichens nachverfolgt werden. Die Hauptverkehrszeichen-Erkennung wird durch wiederholtes Detektieren und Erkennen eines Hauptverkehrszeichens in dem nachverfolgten Bereich durchgeführt.
-
Die Hauptverkehrszeichen-Erkennung kann leicht durchgeführt werden, da die Hauptverkehrszeichen normalerweise eine runde Form haben, während die ergänzenden Verkehrszeichen anders als die Hauptverkehrszeichen verschiedenartige Formen aufweisen und somit schwierig zu erkennen sind.
-
2 zeigt verschiedene Beispiele ergänzender Verkehrszeichen.
-
Ergänzende Verkehrszeichen können unterschiedliche Formen aufweisen und verschiedenartige Informationen übermitteln, die durch Schriftzeichen, Pfeile, Piktogramme oder Kombinationen derselben angezeigt werden.
-
Mit der vorliegenden Erfindung werden eine Vorrichtung und ein Verfahren zum Erkennen ergänzender Verkehrszeichen bereitgestellt, die in der Lage sind, die Rate des Erkennens verschiedenartiger Formen ergänzender Verkehrszeichen zu erhöhen.
-
3 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen ergänzender Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Zuerst wird ein Hauptverkehrszeichen detektiert, um eine ergänzendes Verkehrszeichen erkennen zu können (Schritt S310).
-
Üblicherweise ist ein ergänzendes Verkehrszeichen in einem spezifischen Bereich unterhalb eines Hauptverkehrszeichens angeordnet und hat eine rechteckige, insbesondere quadratische Form. Somit wird zuerst das Hauptverkehrszeichen detektiert, und anschließend wird ein interessierender Bereich relativ zu der Position des Hauptverkehrszeichens festgelegt, und es wird ein Bild des interessierenden Bereichs extrahiert, um ein ergänzendes Verkehrszeichen zu detektieren (Schritt S320).
-
4 zeigt ein Flussdiagramm eines Verhältnisses zwischen horizontalen und vertikalen Längen eines interessierenden Bereichs 420, das bestimmt wird, um den interessierenden Bereich 420 festzulegen und zu extrahieren, gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Bei einem Bild, das mittels einer Kamera oder dgl. erhalten wird, variiert die Größe des interessierenden Bereichs 420 entsprechend dem Größenverhältnis des Bildes oder dem Abstand zwischen einem Fahrzeug und einem Hauptverkehrszeichen 410 und sollte deshalb auf eine vorbestimmte Größe normiert werden.
-
Zu diesem Zweck wird gemäß 4 ein bestimmter Bereich in Bezug auf das Hauptverkehrszeichen 410 als interessierender Bereich 420 festgelegt, und es wird ein Bild dieses Bereiches extrahiert.
-
Im Detail betrachtet hat, wenn die horizontalen und vertikalen Längen des Hauptverkehrszeichens 410 w bzw. h sind, der interessierende Bereich 420 eine horizontale Länge von 1,4 w, die das 1,4-fache derjenigen des Hauptverkehrszeichens 410 beträgt, und eine vertikale Länge von 1,53 w, die das 1,53-fache derjenigen des Hauptverkehrszeichens 410 beträgt.
-
Das Hauptverkehrszeichen 410 und der interessierende Bereich 420 überlappen einander um 0,09 h in einer vertikalen Richtung. Ein rechteckiger Bereich, der sich um 0,2 w von einander gegenüberliegenden Seiten des Hauptverkehrszeichens 410 her erstreckt, wird als interessierender Bereich 420 festgelegt.
-
Nachdem der interessierende Bereich 420 festgelegt worden ist, wird ein ergänzendes Verkehrszeichen mit einer vorbestimmten rechteckigen, insbesondere quadratischen Form in dem interessierenden Bereich 420 detektiert (Schritt S330).
-
5 zeigt ein detailliertes Flussdiagramm eines Ablaufs zum Detektieren eines auf einer Rechteckform, insbesondere auf einer Quadratform basierenden ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Um ein auf einer Rechteckform, insbesondere auf einer Quadratform basierendes ergänzendes Verkehrszeichen in einem interessierenden Bereich zu detektieren, wird der interessierende Bereich auf eine vorbestimmte Größe normiert (Schritt S510). Das Normieren des interessierenden Bereichs wird durchgeführt, um das Auftreten des Problems zu verhindern, dass eine Größe eines ergänzenden Verkehrszeichens entsprechend der Größe eines Bilds variiert und somit nicht detektiert werden kann.
-
Beim Normieren des interessierenden Bereichs kann der interessierende Bereich nicht in der Größe verändert, sondern auch drehend neu ausgerichtet werden, um ein Hauptverkehrszeichen, falls dieses schräg photographiert worden ist, in eine aufrechte Orientierung zu versetzen.
-
6 zeigt eine Tabelle entsprechend ihrer Formen klassifizierter ergänzender Verkehrszeichen gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Beispielsweise wird, wenn ein interessierender Bereich auf eine Größe von 44×48 Pixeln normiert wird, ein ergänzendes Verkehrszeichen des Typs 1 auf eine Größe von 20×8 Pixeln normiert, ein ergänzendes Verkehrszeichen des Typs 2 auf eine Größe von 30×16 Pixeln normiert, ein ergänzendes Verkehrszeichen des Typs 3 auf eine Größe von 32×10 Pixeln normiert, und ein ergänzendes Verkehrszeichen des Typs 4 auf eine Größe von 16×16 Pixeln normiert.
-
Nachdem der interessierende Bereich normiert worden ist, werden sämtliche Ränder detektiert, die in dem interessierenden Bereich auftreten (Schritt S520).
-
An den detektierten Rändern wird ein Line-Voting in Bezug auf vorbestimmte rechteckige, insbesondere quadratische Formen ergänzender Verkehrszeichen vorgenommen (Schritt S530).
-
Anschließend wird eine Nicht-Maximum-Unterdrückung (NMS) an einer als Ergebnis der Durchführung des Line-Voting erstellten Voting-Karte vorgenommen (Schritt S540).
-
7 zeigt ein Schaubild zur Veranschaulichung eines Verfahrens zum Durchführen des Line-Voting an detektierten Rändern gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Bei der vorliegenden Ausführungsform können rechteckige, insbesondere quadratische ergänzende Verkehrszeichen in dem interessierenden Bereich detektiert werden, indem an den vertikalen Rändern und den horizontalen Rändern ein Line-Voting hinsichtlich der ergänzenden Verkehrszeichen der Typen 1 bis 4 vorgenommen wird.
-
Nachdem an den detektierten Rändern das Line-Voting hinsichtlich vorbestimmter rechteckiger, insbesondere quadratischer Formen ergänzender Verkehrszeichen durchgeführt worden ist, weisen diejenigen Ränder, die den vorbestimmten Formen ergänzender Verkehrszeichen ähnlich sind, hohe Werte auf, und somit können Ränder, deren Werte größer als ein vorbestimmter Schwellenwert unter den ähnlichen Rändern oder gleich diesem Schwellenwert sind, als Kandidaten für ergänzende Verkehrszeichen bestimmt werden.
-
Wenn die Kandidaten für ergänzende Verkehrszeichen bestimmt worden sind, wird an diesen Kandidaten ein lern-basierter Erkennungsvorgang für ergänzende Verkehrszeichen vorgenommen (Schritt S360), womit die rechteck-basierte, insbesondere quadrat-basierte Erkennung ergänzender Verkehrszeichen abgeschlossen ist.
-
Wenn in dem vorstehend beschriebenen Vorgang keine rechteck-basierten, insbesondere quadrat-basierten vorbestimmten ergänzenden Verkehrszeichen detektiert worden sind, werden vorwissen-basierte ergänzende Verkehrszeichen detektiert (Schritt S350).
-
Bei der vorwissen-basierten Detektion ergänzender Verkehrszeichen handelt es sich um ein Verfahren, bei dem, wenn das ergänzende Verkehrszeichen keine typische rechteckige Form hat und somit nicht durch ein Verfahren zum Detektieren eines rechteck-basierten, insbesondere quadrat-basierten ergänzenden Verkehrszeichens detektiert wird, ein ergänzendes Verkehrszeichen detektiert wird, indem im Voraus ein Bereich bezeichnet wird, in dem das ergänzende Verkehrszeichen möglicherweise erscheint.
-
8 zeigt ein Schaubild zur Veranschaulichung des Festlegens eines Bereiches zum Detektieren eines vorwissen-basierten interessierenden Bereichs gemäß einer Ausführungsform der vorliegenden Erfindung.
-
Wenn ein ergänzendes Verkehrszeichen keine vorbestimmte Form hat oder zusammen mit einem Hauptverkehrszeichen angezeigt wird, kann – im Gegensatz zur rechteck-basierten, insbesondere quadrat-basierten Detektion ergänzender Verkehrszeichen – das ergänzende Verkehrszeichen nicht detektiert werden, indem ein Line-Voting in einer vorbestimmten Form durchgeführt wird, und somit wird ein vorbestimmter Bereich verwendet, um das ergänzende Verkehrszeichen zu detektieren, ohne dass Ränder detektiert werden.
-
Ein erster Bereich 810 wird im Voraus als Bereich über einem Hauptverkehrszeichen bezeichnet. Ein zweiter Bereich 820 wird im Voraus als Bereich direkt unter einem Hauptverkehrszeichen bezeichnet. Ein dritter Bereich 830 wird im Voraus als rechteckiger Bereich direkt unter einem Hauptverkehrszeichen bezeichnet. Somit wird ein Kandidat für ein ergänzendes Verkehrszeichen in sämtlichen Bereichen bestimmt.
-
In diesem Fall wird zur Normierung dieses Kandidatenbereichs eine Größe des Hauptverkehrszeichens an eine vorbestimmte Größe angepasst, wie oben beschrieben.
-
Nachdem die Detektion der ersten, zweiten und dritten Bereiche 810 bis 830 abgeschlossen ist, wird die Detektion ergänzender Verkehrszeichen in diesen Bereichen durchgeführt (Schritt S360), und dann wird das Verfahren zum Erkennen ergänzender Verkehrszeichen beendet.
-
9 bis 12 zeigen Flussdiagramme gemäß Ausführungsformen der vorliegenden Erfindung ausgestalteter Verfahren zum Erkennen eines ergänzenden Verkehrszeichens entsprechend der Form des Verkehrszeichens, wenn das ergänzende Verkehrszeichen durch rechteck-basierte, insbesondere quadrat-basierte Detektion ergänzender Verkehrszeichen detektiert wird.
-
Um das ergänzende Verkehrszeichen entsprechend seiner Form zu detektieren, kann ein Schablonenabgleich durchgeführt werden, oder es kann ein Verfahren unter Verwendung eines lern-basierten Sortierers (z.B. AdaBoost, SVM, etc.) angewandt werden.
-
9 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 1.
-
Als ergänzendes Verkehrszeichen des Typs 1 können ein Gewichts-Zeichen oder ein Anhänger-Zeichen dargestellt werden. Somit wird entsprechend dem oben beschriebenen lern-basierten Erkennungsverfahren festgestellt, ob das ergänzende Verkehrszeichen des Typs 1 ein Anhänger-Zeichen ist (Schritt S910) und ob das ergänzende Verkehrszeichen des Typs 1 ein Gewichts-Zeichen ist (Schritt S920). Wenn erkannt wird, dass das ergänzende Verkehrszeichen des Typs 1 weder ein Anhänger-Zeichen noch ein Gewichts-Zeichen ist, kann das ergänzende Verkehrszeichen des Typs 1 als Hintergrund erkannt werden (Schritt S930).
-
Nachdem das Erkennen des ergänzenden Verkehrszeichens des Typs 1 abgeschlossen ist, wird das Ergebnis des Erkennungsvorgangs mittels eines aus inkorrekt klassifizierten Klassen und korrekt klassifizierten Klassen generierten Rejektors verifiziert, um zu bestimmen, ob der Erkennungsvorgang exakt durchgeführt wurde (Schritt S960).
-
10A und 10B zeigen Flussdiagramme eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 2.
-
Als ergänzendes Verkehrszeichen des Typs 2 können ein Lastwagen-Zeichen, ein Zugmaschinen-Zeichen, ein Anhänger-Zeichen, ein Anhänger- und Bus-Zeichen, ein Regen-Zeichen, ein Pfeil-Zeichen, ein Gewichts-Zeichen, ein Zeit-Zeichen, ein Distanz-Zeichen, ein Zonen-Zeichen, und ein generisches Zeichen dargestellt werden. Das Erkennen des ergänzenden Verkehrszeichens wird durch einen Lernvorgang durchgeführt, um festzustellen, ob es sich um eines dieser Zeichen handelt.
-
Zuerst wird festgestellt, ob das ergänzende Verkehrszeichen ein Zeichen in Form eines Piktogramms oder eines Texts ist (Schritt S1010). Dann wird das ergänzende Verkehrszeichen als der Piktogramm-Form oder der Text-Form zugehörig erkannt.
-
Wenn das das ergänzende Verkehrszeichen ein Zeichen in Form eines Piktogramms ist, wird festgestellt, ob dieses Zeichen ein Pfeil-Zeichen, ein Lastwagen-Zeichen, ein Zugmaschinen-Zeichen, ein Anhänger-Zeichen, ein Anhänger- und Bus-Zeichen oder ein Regen-Zeichen ist (Schritte S1020 bis S1040).
-
Wenn das ergänzende Verkehrszeichen ein Zeichen in Text-Form im Gegensatz zur Piktogramm-Form ist, wird festgestellt, ob dieses Zeichen ein Gewichts-Zeichen, ein Zeit-Zeichen, ein Distanz-Zeichen, ein Zonen-Zeichen oder ein generisches Zeichen ist (Schritte S1050 bis S1066).
-
Nachdem das Erkennen des ergänzenden Verkehrszeichens des Typs 2 beendet ist, wird das Ergebnis des Erkennungsvorgangs wie oben beschrieben verifiziert (Schritt S1080), womit der Erkennungsvorgang für das ergänzenden Verkehrszeichens des Typs 2 abgeschlossen wird.
-
11A und 11B zeigen Flussdiagramme eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 3.
-
Als ergänzendes Verkehrszeichen des Typs 3 können ein Zeichen in Piktogramm-Form wie z.B. ein Lastwagen-Zeichen oder ein Pfeil-Zeichen, oder ein Zeichen in Text-Form wie z.B. ein Gewichts-Zeichen, ein Zeit-Zeichen, ein Distanz-Zeichen, ein Zonen-Zeichen oder ein generisches Zeichen dargestellt werden.
-
Zuerst wird ein Erkennungsvorgang durchgeführt, um festzustellen, ob das ergänzende Verkehrszeichen ein Zeichen in Piktogramm-Form ist (Schritt S1110). Wenn das ergänzende Verkehrszeichen ein Zeichen in Piktogramm-Form ist, wird ein Erkennungsvorgang durchgeführt, um festzustellen, ob das ergänzende Verkehrszeichen ein Pfeil-Zeichen oder ein Lastwagen-Zeichen ist (Schritte S1120 bis S1126).
-
Wenn das ergänzende Verkehrszeichen ein Zeichen in Text-Form im Gegensatz zu einem Zeichen in Piktogramm-Form ist, wird ein Erkennungsvorgang durchgeführt, um festzustellen, ob das ergänzende Verkehrszeichen ein Gewichts-Zeichen, ein Zeit-Zeichen, ein Distanz-Zeichen, ein Zonen-Zeichen oder ein generisches Zeichen ist (Schritte S1130 bis S1148).
-
Wenn das Ergebnis des Erkennungsvorgangs darin besteht, dass das ergänzende Verkehrszeichen weder ein Zeichen in Piktogramm-Form noch ein Zeichen in Text-Form ist, wird das ergänzende Verkehrszeichen als Hintergrund erkannt (Schritt S1150). Dann wird das Ergebnis des Erkennungsvorgangs verifiziert (Schritt S1160), womit das Erkennen des ergänzenden Verkehrszeichens abgeschlossen wird.
-
12 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens des Typs 4.
-
Da nur ein Pfeil-Zeichen als ergänzendes Verkehrszeichen des Typs 4 dargestellt werden kann, wird dieses Zeichen als Hintergrund erkannt, wenn es nicht als Verkehrszeichen erkannt wird.
-
Somit wird festgestellt, ob das ergänzende Verkehrszeichen des Typs 4 ein Pfeil-Zeichen ist (Schritt S1210). Dann wird das ergänzende Verkehrszeichen des Typs 4 als Pfeil-Zeichen erkannt (Schritt S1220) oder als Hintergrund erkannt (Schritt S1230). Dann wird das Ergebnis des Erkennungsvorgangs verifiziert (Schritt S1240), womit das Erkennen des ergänzenden Verkehrszeichens abgeschlossen wird.
-
13 zeigt ein Schaubild zur Veranschaulichung eines gemäß einer Ausführungsform der vorliegenden Erfindung ausgestalteten Vorgangs zum Erkennen eines ergänzenden Verkehrszeichens in einem tatsächlichen Bild, wenn das ergänzende Verkehrszeichen in Form von vier Rechtecken, insbesondere von vier Quadraten erkannt wird.
-
Nachdem ein interessierender Bereich festgelegt worden ist, kann ein Bereich für einen Kandidaten für ein ergänzendes Verkehrszeichen detektiert werden, indem ein Rand aus diesem Bereich detektiert wird.
-
14 bis 16 zeigen Flussdiagramme gemäß Ausführungsformen der vorliegenden Erfindung ausgestalteter Verfahren zum Erkennen eines ergänzenden Verkehrszeichens in Bereichs-Einheiten, wenn das ergänzende Verkehrszeichen durch vorwissen-basierte Detektion ergänzender Verkehrszeichen detektiert wird.
-
14 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens in einem ersten Bereich, bei dem es sich um einen Bereich über einem Hauptverkehrszeichen handelt.
-
In dem ersten Bereich 810 kann ein Zonen-Zeichen über dem Hauptverkehrszeichen 410 dargestellt werden, wie 8 zeigt. Somit wird auf Basis eines Lernvorgangs festgestellt, ob das ergänzende Verkehrszeichen ein Zonen-Zeichen ist (Schritt S1410). Wenn festgestellt wird, dass das ergänzende Verkehrszeichen ein Zonen-Zeichen ist, wird das ergänzende Verkehrszeichen als Zonen-Zeichen erkannt (Schritt S1420). Wenn festgestellt wird, dass das ergänzende Verkehrszeichen kein Zonen-Zeichen ist, wird das ergänzende Verkehrszeichen als Hintergrund erkannt (Schritt S1430).
-
Nachdem der Erkennungsvorgang abgeschlossen ist, wird das Ergebnis des Erkennungsvorgangs verifiziert (Schritt S1440). Das Verifizieren des Ergebnisses des Erkennungsvorgangs ist im Wesentlichen das gleiche wie bei der rechteck-basierten, insbesondere quadrat-basierten Erkennung ergänzender Verkehrszeichen.
-
15 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens in einem zweiten Bereich 820, bei dem es sich um einen Bereich direkt unterhalb des in 8 gezeigten Hauptverkehrszeichens handelt.
-
In dem zweiten Bereich 820 können ein Zonen-Zeichen, ein Distanz-Zeichen oder ein Pfeil-Zeichen angezeigt werden. Es wird festgestellt, ob das ergänzende Verkehrszeichen ein Zonen-Zeichen ist, es wird ferner festgestellt, ob das ergänzende Verkehrszeichen ein Distanz-Zeichen ist, und es wird festgestellt, ob das ergänzende Verkehrszeichen ein Pfeil-Zeichen ist (Schritt S1510 bis S1432). Wenn das ergänzende Verkehrszeichen nicht als eines dieser Zeichen erkannt wird, wird es als Hintergrund erkannt (Schritt S1540). Dann wird das Ergebnis des Erkennungsvorgangs verifiziert (Schritt S1550), womit der Erkennungsvorgang abgeschlossen wird.
-
16 zeigt ein Flussdiagramm eines Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens in einem dritten Bereich 830, bei dem es sich um einen Bereich unterhalb des in 8 gezeigten Hauptverkehrszeichens handelt, der größer als der zweite Bereich 820 ist.
-
In dem dritten Bereich 830 können ein Pfeil-Zeichen oder ein Regen-Zeichen dargestellt werden. Somit wird festgestellt, ob das ergänzende Verkehrszeichen ein Pfeil-Zeichen ist, und dann wird festgestellt, ob das ergänzende Verkehrszeichen ein Regen-Zeichen ist (Schritte S1610 bis 1622). Wenn erkannt wird, dass das ergänzende Verkehrszeichen weder ein Pfeil-Zeichen noch ein Regen-Zeichen ist, wird das ergänzende Verkehrszeichen als Hintergrund erkannt (Schritt S1630). Dann wird das Ergebnis des Erkennungsvorgangs verifiziert (Schritt S1640), womit das Erkennen des ergänzenden Verkehrszeichens abgeschlossen wird.
-
Ein ergänzendes Verkehrszeichen, dessen Position und Form im Vergleich zu denjenigen eines Hauptverkehrszeichens nicht gleichförmig sind, kann auf eine einfachere Weise durch ein Verfahren zum Detektieren und Erkennen ergänzender Verkehrszeichen detektiert werden, wie oben beschrieben wurde.
-
17 zeigt ein Blockschaltbild der Weise, in der eine Vorrichtung 1700 zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung einen Vorgang zum Erkennen eines ergänzenden Verkehrszeichens durchführt.
-
Die Vorrichtung 1700 zum Erkennen ergänzender Verkehrszeichen weist eine Bilderfassungsvorrichtung 1710, einen Hauptverkehrszeichen-Detektor 1720, einen Detektor 1730 für ergänzende Verkehrszeichen und eine Erkennungseinheit 1740 für ergänzende Verkehrszeichen auf.
-
Die Bilderfassungsvorrichtung 1710 erfasst mit Hilfe einer Vorrichtung wie z.B. einer Kamera ein Bild der Umgebung eines Fahrzeugs. Der Hauptverkehrszeichen-Detektor 1720 detektiert ein Hauptverkehrszeichen in dem erfassten Bild.
-
Der Detektor 1730 für ergänzende Verkehrszeichen legt bezüglich des von dem Hauptverkehrszeichen-Detektor 1720 detektierten Hauptverkehrszeichen einen interessierenden Bereich fest und detektiert einen Kandidaten für das ergänzende Verkehrszeichen, indem er in dem interessierenden Bereich einen Rand detektiert und ein Line-Voting an diesem Rand vornimmt. Ein Vorgang zum Festlegen und Normieren des interessierenden Bereichs und ein Verfahren zum Detektieren eines Rands und zum Durchführen des Line-Voting sind bereits oben beschrieben worden.
-
Nachdem die Detektion des ergänzenden Verkehrszeichens abgeschlossen worden ist, gibt die Erkennungseinheit 1740 für ergänzende Verkehrszeichen entsprechend dem Ergebnis des Detektierens eines ergänzenden Verkehrszeichens ein Erkennungsergebnis aus. Ein Vorgang zum Erkennen eines ergänzenden Verkehrszeichens durch rechteck-basiertes, insbesondere quadrat-basiertes Erkennen ergänzender Verkehrszeichen und durch vorwissen-basiertes Erkennen ergänzender Verkehrszeichen ist bereits oben beschrieben worden.
-
Ein Verfahren zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung kann in einem Computersystem implementiert sein oder auf einem Aufzeichnungsmedium aufgezeichnet sein. Gemäß 18 kann das Computersystem mindestens einen Prozessor 1821, einen Speicher 1823, eine Benutzereingabevorrichtung 1826, einen Datenkommunikationsbus 1822, eine Benutzerausgabevorrichtung 1827 und eine Speichereinheit 1828 aufweisen. Diese Elemente können über den Datenkommunikationsbus 1822 miteinander in Datenverbindung treten.
-
Das mindestens eine Computersystem kann ferner ein Netz-Interface 1829 aufweisen, das mit einem Netz 1830 gekoppelt ist. Der mindestens eine Prozessor 1821 kann eine zentrale Verarbeitungseinheit (CPU) oder eine Halbleitervorrichtung sein, die Befehle ausführen kann, welche in dem Speicher 1823 und/oder der Speichereinheit 1828 gespeichert sind.
-
Der Speicher 1823 und die Speichereinheit 1828 können verschiedene Typen flüchtiger und nichtflüchtiger Medien aufweisen. Beispielsweise kann der Speicher 1823 einen Nurlesespeicher (ROM) 1824 und einen Direktzugriffsspeicher (RAM) 1825 aufweisen.
-
Somit kann ein Verfahren zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung als ein Verfahren ausgestaltet werden, das an einem Computer ausführbar ist. Bei Implementierung des gemäß einer Ausführungsform der Erfindung ausgestalteten Verfahrens zum Erkennen eines ergänzenden Verkehrszeichens an einer Computervorrichtung kann dieses Verfahren unter Verwendung dauerhafter computerlesbarer Befehle implementiert werden.
-
Gemäß der vorliegenden Erfindung kann einem Fahrer Verkehrszeichen-Information vermittelt werden, indem ein ergänzendes Verkehrszeichen effektiv und präzise erkannt wird. Somit ist das Fahren des Fahrzeugs für den Fahrer benutzerfreundlicher und sicherer, und es kann Information bereitgestellt werden, die einem autonomen Fahrzeug ein sicheres Fahren auf der korrekten Route ermöglicht.
-
Das vorstehend beschriebene Verfahren zum Erkennen eines ergänzenden Verkehrszeichens gemäß einer Ausführungsform der vorliegenden Erfindung kann als computerlesbarer Code in einem computerlesbaren Aufzeichnungsmedium hinterlegt sein. Bei dem computerlesbaren Aufzeichnungsmedium kann es sich um jedes Aufzeichnungsmedium handeln, das zur Speicherung von Daten geeignet ist, die von einem Computersystem gelesen werden können, z.B. ein Nurlesespeicher (ROM), ein Direktzugriffsspeicher (RAM), ein Magnetband, eine Magnetplatte, ein Flash-Speicher, eine optische Datenspeichervorrichtung, etc. Das computerlesbare Aufzeichnungsmedium kann auf Computersysteme verteilt sein, die über ein Netz miteinander verbunden sind, und die vorliegende Erfindung kann als computerlesbarer Code in verteilter Anordnung gespeichert und implementiert sein.
-
Obwohl hier Ausführungsformen der vorliegenden Erfindung im Zusammenhang mit den beigefügten Zeichnungen detailliert beschrieben wurden, stellen diese Ausführungsformen lediglich Beispiele dar, und Durchschnittsfachleuten auf dem technischen Gebiet, dem die Erfindung zugehört, wird ersichtlich sein, dass verschiedenartige Modifikationen und Änderungen an der Erfindung vorgenommen werden können, ohne vom Umfang der Erfindung abzuweichen. Somit ist der Umfang der Erfindung nicht auf diese Ausführungsformen beschränkt, sondern durch die folgenden Ansprüche zu definieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
