-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung in digitalen Bilddaten einer Umgebung. Gattungsbildende Verfahren und Vorrichtungen sind im Stand der Technik bekannt.
-
Die Verkehrszeichen Erkennung in digitalen Bilddaten basiert typischerweise auf einem zweistufigem Ansatz. Dabei erfolgt zunächst in den Bilddaten ein Ermitteln darin abgebildeter geometrischer Formen, wie Kreise, Rechtecke oder Dreiecke, die Verkehrszeichen darstellen können. Die entsprechenden Regionen der Bilddaten werden anschließend typischerweise mit einem Piktogramm-basierten Klassifikator auf bestimmte weitere Merkmale untersucht, um eine exakte Art des Verkehrszeichens zu bestimmen.
-
Ein solches gattungsgemäßes Verfahren geht beispielsweise aus der
DE 10 2009 048 066 A1 hervor. Beschrieben wird darin ein Verfahren zur Verkehrszeichenerkennung, welches die Bilddaten eines Sensors in einer Informationsverarbeitungseinheit analysiert und klassifiziert, wobei in einem ersten Verfahrensschritt auf der Grundlage der Ergebnisse einer Analyse wenigstens ein Bildausschnitt ermittelt wird, der mit hinreichender Wahrscheinlichkeit ein Objekt enthält, das ein Verkehrszeichen einer bestimmten Klasse von Verkehrszeichen ist, und in einem zweiten Verfahrensschritt dieser Bildausschnitt einem Klassifikator zugeführt wird, der auf der Basis des ausgewählten Bildausschnittes mittels eines lembasierten Algorithmus ein Verkehrszeichen aus der bestimmten Klasse erkennt. Dabei wird im ersten Verfahrensschritt ein klassenspezifisches Merkmal in dem Bildausschnitt identifiziert, ein modifizierter Bildausschnitt mit dem klassenspezifischen Merkmal in dessen Bildzentrum erzeugt, wobei die durch das Verschieben des klassenspezifischen Merkmals in das Bildzentrum entstehenden Bildbereiche mit geeigneten Bildpunkten aufgefüllt werden, und der modifizierte Bildausschnitt dem Klassifikator zugeführt.
-
Problematisch an den bekannten Verfahren ist die sogenannte „Falsch-Positiv-Rate”. Diese gibt die Rate an, mit der in den Bilddaten Verkehrsschilder erkannt werden, wo in weitestgehend ausreichend, um eine gute Klassifikationsrate bei gleichzeitig niedriger Falsch-Positiv Rate zu erreichen. Die Falsch-Positiv-Rate bei rechteckigen Strukturen, die in den Bilddaten abgebildet sind, ist dagegen deutlich größer. Dies liegt im Wesentlichen daran, dass rechteckige Strukturen, die keine Verkehrszeichen sind, im urbanen Umfeld viel häufiger anzutreffen sind, als runde Strukturen. Typische solche Strukturen sind Werbe- und Reklametafeln, Speisekarten, etc.
-
Die Aufgabe der Erfindung ist es, eine Verkehrszeichenerkennung mit einer geringeren Falsch-Positiv-Rate zur ermöglichen.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
-
Ein verfahrensgemäßer Aspekt der Aufgabe ist gelöst mit einem Verfahren zur Erkennung von Verkehrszeichen in Bilddaten. Das erfindungsgemäße Verfahren umfasst folgende Schritte. In einem ersten Schritt erfolgt in den Bilddaten ein Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In einem zweiten Schritt erfolgt in den segmentierten Bilddaten ein Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus. In einem dritten Schritt erfolgt ein Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. In einem vierten Schritt erfolgt im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, ein Aussondern bzw. Verwerfen des Objekts als potentielles Verkehrszeichen. In einem fünften Schritt erfolgt im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
-
Natürlich kann das Verfahren analog auch mit den alternativen Schritten: Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, Aussondern bzw. Verwerfen des Objekts als potentielles Verkehrszeichen, und im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als der vorgegebene Grenzwert ist, Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen, ausgeführt werden. Im Verlauf der weiteren Ausführungen wird jedoch nur auf erste Alternative Bezug genommen.
-
Die Erfindung basiert mithin auf der Idee, nach der Segmentierung eines Objekts in den Bilddaten, das aufgrund seiner Form/Kontur mit der ersten Wahrscheinlichkeit ein Verkehrszeichen sein könnte, und vor einer Anwendung eines bspw. Piktogramm-basierten Klassifikators, weitere Schritte zur Evidenzsteigerung und damit zur Verringerung der Falsch-Positiv-Rate einzufügen. Dabei wird erfindungsgemäß mittels eines Texterkennungsalgorithmus ein ggf. in den segmentierten Bilddaten abgebildeter Text ermittelt, und sofern ein solcher Text erkannt wurde, ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der erkannte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. Bevorzugt wird hingegen der Wahrscheinlichkeitswert dafür ermittelt, dass der erkannte Text auf einem Verkehrszeichen mit der zuvor ermittelten Form/Kontur abgebildet ist. Abhängig von dem ermittelten Wahrscheinlichkeitswert werden die segmentierten Bilddaten die das Objekt zeigen anschließend entweder als Verkehrszeichen ausgesondert, d. h. verworfen und nicht weiter berücksichtigt, oder zur eindeutigen Identifikation ein bestimmtes Verkehrszeichen einem der bekannten Klassifikatoren, insbesondere einem Piktogramm-basierten Klassifikator, zugeführt.
-
Das vorgeschlagene Verfahren ermöglicht eine signifikante Reduzierung der Falsch-Positiv-Rate und verringert gleichzeitig den Rechenaufwand und die Anforderungen an den meist Piktogramm-basierten Klassifikator, insbesondere bei rechteckigen Verkehrszeichen. Denn gerade auf rechteckigen Verkehrsschildern werden Informationen viel häufiger in Form von Text und weniger häufig als Piktogramme dargestellt. Ein Texterkennungsalgorithmus kann somit die segmentierten Bilddaten auf Textzeichen untersuchen. Dabei kann der Texterkennungsalgorithmus bevorzugt unterschiedliche Schrifttypen/Texttypen erkennen.
-
Der Begriff „Segmentieren” ist in der Bilddatenverarbeitung hinreichend bekannt und wird vorliegend fachüblich verstanden. Vorzugsweise erfolgt das Segmentieren im ersten Schritt mit einem kanten- und/oder einem regionenbasierten Segmentierungsverfahren.
-
Der Begriff „Texterkennungsalgorithmus” wird vorliegend im Sinne eines OCR-Algorithmus (OCR: engl. „Optical Charakter Recognition”) oder besonders bevorzugt als ICR-Algorithmus (ICR: engl. „Intelligent Charakter Recognition”) oder als IWR-Algorithmus (IWR: engl. Intelligent Word Recognition”) verstanden. Während der OCR-Algorithmus typischerweise lediglich der Erkennung einzelner Textzeichen dient, wird beim ICR- also auch beim IWR-Algorithmus der erkannte Text mit einer Textdatenbank verglichen, so dass eine verbesserte Texterkennung sogar unter Berücksichtigung unterschiedlicher Schrifttypen möglich ist. Für das Ermitteln des Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, wird bevorzugt ein Abgleich des ermittelten Textes mit einer Datenbank ausgeführt. Diese Datenbank enthält bspw. Text, der auf Verkehrszeichen abgebildet sein kann, oder Text, der nicht auf einem Verkehrszeichen abgebildet sein kann, oder eine Mischung von beidem. In einer solchen Datenbank ist bevorzugt jedem darin aufgeführten Text ein abrufbarer Wahrscheinlichkeitswert zugeordnet, der die Wahrscheinlichkeit angibt, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist. Somit kann die Datenbank Text, wie „Heute neu”, „Sonderangebot”, „Speisekarte”, „Super billig” enthalten, wobei jedem dieser Texte der Wahrscheinlichkeitswert 0 (Null) zugeordnet ist. Weiterhin kann die Datenbank Text wie „100 m”, „200 m” „300 m”, „km/h”, „Stop” oder „Ortsende” enthalten, denen jeweils ein sehr hoher Wahrscheinlichkeitswert (nahe oder gleich 1) zugeordnet ist, da solcher Texte mit hoher Wahrscheinlichkeit auf einem Verkehrszeichen abgebildet ist. Natürlich gibt es eine Vielzahl von Texten, die sowohl auf einem Verkehrsschild (insbesondere zur Kennzeichnung von Orten, Verkehrswegehinweisen etc.) als auch auf anderen Objekten, die keine Verkehrsschilder darstellen abgebildet sind. Solchen Texten würden in der Datenbank jeweils entsprechende Wahrscheinlichkeitswerte zwischen 0 und 1 zugeordnet.
-
Ein weiteres Indiz dafür, dass ein Text auf einem Verkehrsschild abgebildet sein könnte und damit einen höheren Wahrscheinlichkeitswert zugeordnet bekommt, ist bspw. ein gleichmäßiges Schriftbild und/oder eine kurze Textlänge. Dem Fachmann sind Schriftmerkmale, die weitere Indizien dafür, dass ein Text auf einem Verkehrsschild abgebildet sein könnte, bzw. dafür, dass ein Text nicht auf einem Verkehrsschild abgebildet sein könnte leicht zugänglich. Diese weiteren Indizien und Merkmale werden bevorzugt zur Vorgabe des entsprechenden Wahrscheinlichkeitswertes berücksichtigt.
-
Bevorzugt basiert die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Außenkontur des in den Bilddaten abgebildeten Objekts mit einer rechteckigen, runden oder dreieckigen Form von bekannten Verkehrsschildern. Die Soll-Übereinstimmung definiert bspw. akzeptable mögliche Abweichungen bei einer Registrierung des Objekts mit einer bspw. vorgegebenen Außenkontur eines Verkehrsschildes. Diese Abweichungen kommen bspw. durch optische Effekte bei der Aufnahme der Bilddaten zustande, bspw. wenn ein Verkehrsschild nicht frontal von vorne sondern in einem Winkel in den Bilddaten abgebildet ist. Entspricht die Form/Kontur des segmentierten Objekts der Form ein eines Verkehrsschildes, dann sind insbesondere Verhältnisse der Kantenlängen des Objekts und des Verkehrsschildes annähernd gleich. Weiterhin bevorzugt basiert die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Farben des in den segmentierten Bilddaten abgebildeten Objekts mit Farben von bekannten Verkehrsschildern. In diesem Fall werden bevorzugt mögliche Farbkombination sowie Flächenanteile pro Farbe für Verkehrsschilder vorgegeben und mit den segmentierten Bilddaten in denen das Objekt abgebildet ist verglichen. Das Objekt darf von diesen Vorgaben nur um vorgegebene Abweichungen abweichen, um als ein Objekt erkannt zu werden, dass mit der ersten Wahrscheinlichkeit ein Verkehrszeichen ist.
-
Bevorzugt wird in dem Fall, dass im zweiten Schritt kein Text in den segmentieren Bilddaten erkannt wird, anschließend ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen ausgeführt. Damit erfolgt im fünften Schritt eine Klassifizierung des Objekts wie sie im Stand der Technik bekannt ist.
-
Ein vorrichtungsgemäßer Aspekt der Aufgabe wird durch eine Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten und zur Ausführung eines vorstehend beschriebenen erfindungsgemäßen Verfahrens gelöst. Die erfindungsgemäße Vorrichtung umfasst: ein erstes Mittel, mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, ein zweites Mittels, mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, ein drittes Mittel, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
-
Wie vorstehend bereits ausgeführt wird die Aufgabe auch durch eine ebensolche Vorrichtung gelöst, die alternativ ein drittes Mittel, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel umfasst, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich dem vorgegebenen Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
-
Weitere vorteilhafte Ausführungsformen und Vorteile der erfindungsgemäßen Vorrichtung ergeben sich durch eine analoge und sinngemäße Übertragung der vorstehend in Zusammenhang mit dem erfindungsgemäßen Verfahren gemachten Ausführungen.
-
Ferner betrifft die Erfindung ein Kraftfahrzeug mit einer vorstehend beschriebenen Vorrichtung.
-
Zur Durchführung eines Verfahrens geeignet ist schließlich ein Computerprogramm, welches Programmcode-Mittel aufweist, um alle Schritte von jedem beliebigen der Ansprüche durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
-
Das Computerprogramm kann mit einfachen Mitteln in bereits bestehende Steuereinheiten eingelesen und verwendet werden, um eine entsprechend vorgeschlagene Verkehrszeichenerkennung durchzuführen.
-
Hierfür vorgesehen ist ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Das Computerprogrammprodukt kann dabei als auch Nachrüstoption in eine Steuereinheit integriert werden.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezug auf die Zeichnungen Ausführungsbeispiele beschrieben sind.
-
Es zeigen:
-
1 einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens, und
-
2 einen schematisierten Aufbau einer erfindungsgemäßen Vorrichtung.
-
1 zeigt einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens zur Erkennung von Verkehrszeichen in Bilddaten. Das erfindungsgemäße Verfahren umfasst folgende Schritte. In einem ersten Schritt 101 erfolgt in den Bilddaten ein Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In einem zweiten Schritt 102 erfolgt in den segmentierten Bilddaten ein Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus. In einem dritten Schritt 103 erfolgt ein Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. In einem vierten Schritt 104 erfolgt im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, ein Aussondern des Objekts als potentielles Verkehrszeichen. In einem fünften Schritt 105 erfolgt im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
2 zeigt einen schematisierten Aufbau einer erfindungsgemäßen Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten, umfassend: ein erstes Mittel 201, mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, ein zweites Mittels 202, mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, ein drittes Mittel 203, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel 204, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel 205, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 101–105
- Verfahrensschritte
- 201
- erstes Mittel
- 202
- zweites Mittel
- 203
- drittes Mittel
- 204
- viertes Mittel
- 205
- fünftes Mittel
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009048066 A1 [0003]
