DE102012023022A1 - Verfahren und Vorrichtung zur Verkehrszeichenerkennung - Google Patents

Verfahren und Vorrichtung zur Verkehrszeichenerkennung Download PDF

Info

Publication number
DE102012023022A1
DE102012023022A1 DE201210023022 DE102012023022A DE102012023022A1 DE 102012023022 A1 DE102012023022 A1 DE 102012023022A1 DE 201210023022 DE201210023022 DE 201210023022 DE 102012023022 A DE102012023022 A DE 102012023022A DE 102012023022 A1 DE102012023022 A1 DE 102012023022A1
Authority
DE
Germany
Prior art keywords
image data
traffic sign
text
probability value
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201210023022
Other languages
English (en)
Inventor
Johannes Huth
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to DE201210023022 priority Critical patent/DE102012023022A1/de
Priority to US14/087,008 priority patent/US9082022B2/en
Publication of DE102012023022A1 publication Critical patent/DE102012023022A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten. Das erfindungsgemäße Verfahren umfasst folgende Schritte. In einem ersten Schritt 101 erfolgt in den Bilddaten ein Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In einem zweiten Schritt 102 erfolgt in den segmentierten Bilddaten ein Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus. In einem dritten Schritt 103 erfolgt ein Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist. In einem vierten Schritt 104 erfolgt im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich einem vorgegebenen Grenzwert ist, ein Aussondern des Objekts als potentielles Verkehrszeichen. In einem fünften Schritt erfolgt im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung in digitalen Bilddaten einer Umgebung. Gattungsbildende Verfahren und Vorrichtungen sind im Stand der Technik bekannt.
  • Die Verkehrszeichen Erkennung in digitalen Bilddaten basiert typischerweise auf einem zweistufigem Ansatz. Dabei erfolgt zunächst in den Bilddaten ein Ermitteln darin abgebildeter geometrischer Formen, wie Kreise, Rechtecke oder Dreiecke, die Verkehrszeichen darstellen können. Die entsprechenden Regionen der Bilddaten werden anschließend typischerweise mit einem Piktogramm-basierten Klassifikator auf bestimmte weitere Merkmale untersucht, um eine exakte Art des Verkehrszeichens zu bestimmen.
  • Ein solches gattungsgemäßes Verfahren geht beispielsweise aus der DE 10 2009 048 066 A1 hervor. Beschrieben wird darin ein Verfahren zur Verkehrszeichenerkennung, welches die Bilddaten eines Sensors in einer Informationsverarbeitungseinheit analysiert und klassifiziert, wobei in einem ersten Verfahrensschritt auf der Grundlage der Ergebnisse einer Analyse wenigstens ein Bildausschnitt ermittelt wird, der mit hinreichender Wahrscheinlichkeit ein Objekt enthält, das ein Verkehrszeichen einer bestimmten Klasse von Verkehrszeichen ist, und in einem zweiten Verfahrensschritt dieser Bildausschnitt einem Klassifikator zugeführt wird, der auf der Basis des ausgewählten Bildausschnittes mittels eines lembasierten Algorithmus ein Verkehrszeichen aus der bestimmten Klasse erkennt. Dabei wird im ersten Verfahrensschritt ein klassenspezifisches Merkmal in dem Bildausschnitt identifiziert, ein modifizierter Bildausschnitt mit dem klassenspezifischen Merkmal in dessen Bildzentrum erzeugt, wobei die durch das Verschieben des klassenspezifischen Merkmals in das Bildzentrum entstehenden Bildbereiche mit geeigneten Bildpunkten aufgefüllt werden, und der modifizierte Bildausschnitt dem Klassifikator zugeführt.
  • Problematisch an den bekannten Verfahren ist die sogenannte „Falsch-Positiv-Rate”. Diese gibt die Rate an, mit der in den Bilddaten Verkehrsschilder erkannt werden, wo in weitestgehend ausreichend, um eine gute Klassifikationsrate bei gleichzeitig niedriger Falsch-Positiv Rate zu erreichen. Die Falsch-Positiv-Rate bei rechteckigen Strukturen, die in den Bilddaten abgebildet sind, ist dagegen deutlich größer. Dies liegt im Wesentlichen daran, dass rechteckige Strukturen, die keine Verkehrszeichen sind, im urbanen Umfeld viel häufiger anzutreffen sind, als runde Strukturen. Typische solche Strukturen sind Werbe- und Reklametafeln, Speisekarten, etc.
  • Die Aufgabe der Erfindung ist es, eine Verkehrszeichenerkennung mit einer geringeren Falsch-Positiv-Rate zur ermöglichen.
  • Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
  • Ein verfahrensgemäßer Aspekt der Aufgabe ist gelöst mit einem Verfahren zur Erkennung von Verkehrszeichen in Bilddaten. Das erfindungsgemäße Verfahren umfasst folgende Schritte. In einem ersten Schritt erfolgt in den Bilddaten ein Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In einem zweiten Schritt erfolgt in den segmentierten Bilddaten ein Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus. In einem dritten Schritt erfolgt ein Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. In einem vierten Schritt erfolgt im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, ein Aussondern bzw. Verwerfen des Objekts als potentielles Verkehrszeichen. In einem fünften Schritt erfolgt im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
  • Natürlich kann das Verfahren analog auch mit den alternativen Schritten: Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, Aussondern bzw. Verwerfen des Objekts als potentielles Verkehrszeichen, und im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als der vorgegebene Grenzwert ist, Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen, ausgeführt werden. Im Verlauf der weiteren Ausführungen wird jedoch nur auf erste Alternative Bezug genommen.
  • Die Erfindung basiert mithin auf der Idee, nach der Segmentierung eines Objekts in den Bilddaten, das aufgrund seiner Form/Kontur mit der ersten Wahrscheinlichkeit ein Verkehrszeichen sein könnte, und vor einer Anwendung eines bspw. Piktogramm-basierten Klassifikators, weitere Schritte zur Evidenzsteigerung und damit zur Verringerung der Falsch-Positiv-Rate einzufügen. Dabei wird erfindungsgemäß mittels eines Texterkennungsalgorithmus ein ggf. in den segmentierten Bilddaten abgebildeter Text ermittelt, und sofern ein solcher Text erkannt wurde, ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der erkannte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. Bevorzugt wird hingegen der Wahrscheinlichkeitswert dafür ermittelt, dass der erkannte Text auf einem Verkehrszeichen mit der zuvor ermittelten Form/Kontur abgebildet ist. Abhängig von dem ermittelten Wahrscheinlichkeitswert werden die segmentierten Bilddaten die das Objekt zeigen anschließend entweder als Verkehrszeichen ausgesondert, d. h. verworfen und nicht weiter berücksichtigt, oder zur eindeutigen Identifikation ein bestimmtes Verkehrszeichen einem der bekannten Klassifikatoren, insbesondere einem Piktogramm-basierten Klassifikator, zugeführt.
  • Das vorgeschlagene Verfahren ermöglicht eine signifikante Reduzierung der Falsch-Positiv-Rate und verringert gleichzeitig den Rechenaufwand und die Anforderungen an den meist Piktogramm-basierten Klassifikator, insbesondere bei rechteckigen Verkehrszeichen. Denn gerade auf rechteckigen Verkehrsschildern werden Informationen viel häufiger in Form von Text und weniger häufig als Piktogramme dargestellt. Ein Texterkennungsalgorithmus kann somit die segmentierten Bilddaten auf Textzeichen untersuchen. Dabei kann der Texterkennungsalgorithmus bevorzugt unterschiedliche Schrifttypen/Texttypen erkennen.
  • Der Begriff „Segmentieren” ist in der Bilddatenverarbeitung hinreichend bekannt und wird vorliegend fachüblich verstanden. Vorzugsweise erfolgt das Segmentieren im ersten Schritt mit einem kanten- und/oder einem regionenbasierten Segmentierungsverfahren.
  • Der Begriff „Texterkennungsalgorithmus” wird vorliegend im Sinne eines OCR-Algorithmus (OCR: engl. „Optical Charakter Recognition”) oder besonders bevorzugt als ICR-Algorithmus (ICR: engl. „Intelligent Charakter Recognition”) oder als IWR-Algorithmus (IWR: engl. Intelligent Word Recognition”) verstanden. Während der OCR-Algorithmus typischerweise lediglich der Erkennung einzelner Textzeichen dient, wird beim ICR- also auch beim IWR-Algorithmus der erkannte Text mit einer Textdatenbank verglichen, so dass eine verbesserte Texterkennung sogar unter Berücksichtigung unterschiedlicher Schrifttypen möglich ist. Für das Ermitteln des Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, wird bevorzugt ein Abgleich des ermittelten Textes mit einer Datenbank ausgeführt. Diese Datenbank enthält bspw. Text, der auf Verkehrszeichen abgebildet sein kann, oder Text, der nicht auf einem Verkehrszeichen abgebildet sein kann, oder eine Mischung von beidem. In einer solchen Datenbank ist bevorzugt jedem darin aufgeführten Text ein abrufbarer Wahrscheinlichkeitswert zugeordnet, der die Wahrscheinlichkeit angibt, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist. Somit kann die Datenbank Text, wie „Heute neu”, „Sonderangebot”, „Speisekarte”, „Super billig” enthalten, wobei jedem dieser Texte der Wahrscheinlichkeitswert 0 (Null) zugeordnet ist. Weiterhin kann die Datenbank Text wie „100 m”, „200 m” „300 m”, „km/h”, „Stop” oder „Ortsende” enthalten, denen jeweils ein sehr hoher Wahrscheinlichkeitswert (nahe oder gleich 1) zugeordnet ist, da solcher Texte mit hoher Wahrscheinlichkeit auf einem Verkehrszeichen abgebildet ist. Natürlich gibt es eine Vielzahl von Texten, die sowohl auf einem Verkehrsschild (insbesondere zur Kennzeichnung von Orten, Verkehrswegehinweisen etc.) als auch auf anderen Objekten, die keine Verkehrsschilder darstellen abgebildet sind. Solchen Texten würden in der Datenbank jeweils entsprechende Wahrscheinlichkeitswerte zwischen 0 und 1 zugeordnet.
  • Ein weiteres Indiz dafür, dass ein Text auf einem Verkehrsschild abgebildet sein könnte und damit einen höheren Wahrscheinlichkeitswert zugeordnet bekommt, ist bspw. ein gleichmäßiges Schriftbild und/oder eine kurze Textlänge. Dem Fachmann sind Schriftmerkmale, die weitere Indizien dafür, dass ein Text auf einem Verkehrsschild abgebildet sein könnte, bzw. dafür, dass ein Text nicht auf einem Verkehrsschild abgebildet sein könnte leicht zugänglich. Diese weiteren Indizien und Merkmale werden bevorzugt zur Vorgabe des entsprechenden Wahrscheinlichkeitswertes berücksichtigt.
  • Bevorzugt basiert die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Außenkontur des in den Bilddaten abgebildeten Objekts mit einer rechteckigen, runden oder dreieckigen Form von bekannten Verkehrsschildern. Die Soll-Übereinstimmung definiert bspw. akzeptable mögliche Abweichungen bei einer Registrierung des Objekts mit einer bspw. vorgegebenen Außenkontur eines Verkehrsschildes. Diese Abweichungen kommen bspw. durch optische Effekte bei der Aufnahme der Bilddaten zustande, bspw. wenn ein Verkehrsschild nicht frontal von vorne sondern in einem Winkel in den Bilddaten abgebildet ist. Entspricht die Form/Kontur des segmentierten Objekts der Form ein eines Verkehrsschildes, dann sind insbesondere Verhältnisse der Kantenlängen des Objekts und des Verkehrsschildes annähernd gleich. Weiterhin bevorzugt basiert die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Farben des in den segmentierten Bilddaten abgebildeten Objekts mit Farben von bekannten Verkehrsschildern. In diesem Fall werden bevorzugt mögliche Farbkombination sowie Flächenanteile pro Farbe für Verkehrsschilder vorgegeben und mit den segmentierten Bilddaten in denen das Objekt abgebildet ist verglichen. Das Objekt darf von diesen Vorgaben nur um vorgegebene Abweichungen abweichen, um als ein Objekt erkannt zu werden, dass mit der ersten Wahrscheinlichkeit ein Verkehrszeichen ist.
  • Bevorzugt wird in dem Fall, dass im zweiten Schritt kein Text in den segmentieren Bilddaten erkannt wird, anschließend ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen ausgeführt. Damit erfolgt im fünften Schritt eine Klassifizierung des Objekts wie sie im Stand der Technik bekannt ist.
  • Ein vorrichtungsgemäßer Aspekt der Aufgabe wird durch eine Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten und zur Ausführung eines vorstehend beschriebenen erfindungsgemäßen Verfahrens gelöst. Die erfindungsgemäße Vorrichtung umfasst: ein erstes Mittel, mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, ein zweites Mittels, mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, ein drittes Mittel, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
  • Wie vorstehend bereits ausgeführt wird die Aufgabe auch durch eine ebensolche Vorrichtung gelöst, die alternativ ein drittes Mittel, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel umfasst, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich dem vorgegebenen Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
  • Weitere vorteilhafte Ausführungsformen und Vorteile der erfindungsgemäßen Vorrichtung ergeben sich durch eine analoge und sinngemäße Übertragung der vorstehend in Zusammenhang mit dem erfindungsgemäßen Verfahren gemachten Ausführungen.
  • Ferner betrifft die Erfindung ein Kraftfahrzeug mit einer vorstehend beschriebenen Vorrichtung.
  • Zur Durchführung eines Verfahrens geeignet ist schließlich ein Computerprogramm, welches Programmcode-Mittel aufweist, um alle Schritte von jedem beliebigen der Ansprüche durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
  • Das Computerprogramm kann mit einfachen Mitteln in bereits bestehende Steuereinheiten eingelesen und verwendet werden, um eine entsprechend vorgeschlagene Verkehrszeichenerkennung durchzuführen.
  • Hierfür vorgesehen ist ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Das Computerprogrammprodukt kann dabei als auch Nachrüstoption in eine Steuereinheit integriert werden.
  • Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezug auf die Zeichnungen Ausführungsbeispiele beschrieben sind.
  • Es zeigen:
  • 1 einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens, und
  • 2 einen schematisierten Aufbau einer erfindungsgemäßen Vorrichtung.
  • 1 zeigt einen schematisierten Verfahrensablauf eines erfindungsgemäßen Verfahrens zur Erkennung von Verkehrszeichen in Bilddaten. Das erfindungsgemäße Verfahren umfasst folgende Schritte. In einem ersten Schritt 101 erfolgt in den Bilddaten ein Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In einem zweiten Schritt 102 erfolgt in den segmentierten Bilddaten ein Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus. In einem dritten Schritt 103 erfolgt ein Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem (beliebigen) Verkehrszeichen abgebildet ist. In einem vierten Schritt 104 erfolgt im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, ein Aussondern des Objekts als potentielles Verkehrszeichen. In einem fünften Schritt 105 erfolgt im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
    2 zeigt einen schematisierten Aufbau einer erfindungsgemäßen Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten, umfassend: ein erstes Mittel 201, mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, ein zweites Mittels 202, mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, ein drittes Mittel 203, mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, ein viertes Mittel 204, mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und ein fünftes Mittel 205, mit dem im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
  • Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
  • Bezugszeichenliste
  • 101–105
    Verfahrensschritte
    201
    erstes Mittel
    202
    zweites Mittel
    203
    drittes Mittel
    204
    viertes Mittel
    205
    fünftes Mittel
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009048066 A1 [0003]

Claims (15)

  1. Verfahren zur Erkennung von Verkehrszeichen in Bilddaten, mit folgenden Schritten: 1.1. in den Bilddaten Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, 1.2. in den segmentierten Bilddaten Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus, 1.3. Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, 1.4. im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich einem vorgegebenen Grenzwert ist, Aussondern des Objekts als potentielles Verkehrszeichen, und 1.5. im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
  2. Verfahren zur Erkennung von Verkehrszeichen in Bilddaten, mit folgenden Schritten: 2.1. in den Bilddaten Segmentieren eines Objekts, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, 2.2. in den segmentierten Bilddaten Ermitteln eines darin abgebildeten Textes, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst, mit einem Texterkennungsalgorithmus, 2.3. Ermitteln eines Wahrscheinlichkeitswertes dafür, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, 2.4. im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, Aussondern des Objekts als potentielles Verkehrszeichen, und 2.5. im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich dem vorgegebenen Grenzwert ist, Anwenden eines Klassifikators auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Außenkontur des in den Bilddaten abgebildeten Objekts mit einer rechteckigen, runden oder dreieckigen Form von bekannten Verkehrsschildern basiert.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die erste Wahrscheinlichkeit auf einer vorgegebenen Soll-Übereinstimmung der Farben des in den Bilddaten abgebildeten Objekts mit Farben von bekannten Verkehrsschildern basiert.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Segmentieren mit einem kanten- und/oder einem regionenbasierten Segmentierungsverfahren erfolgt.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Texterkennungsalgorithmus ein OCR-, und/oder ein ICR- und/oder ein IWR-Texterkennungsalgorithmus ist.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Wahrscheinlichkeitswert in Schritt 1.3./2.3 derart ermittelt wird, dass er die Wahrscheinlichkeit dafür angibt, dass der ermittelte Text auf dem Verkehrszeichen von Schritt 1.1./2.1 abgebildet ist.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass der Klassifikator zur Klassifikation von Piktogrammen ausgebildet ist.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass falls in Schritt 1.2/.2.2. kein Text erkannt wird, direkt anschließend an Schritt 1.2./2.2. Schritt 1.5./2.5. ausgeführt wird.
  10. Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten, umfassend: 10.1. ein erstes Mittel (201), mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, 10.2. ein zweites Mittels (202), mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, 10.3. ein drittes Mittel (203), mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text auf einem Verkehrszeichen abgebildet ist, 10.4. ein viertes Mittel (204), mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und 10.5. ein fünftes Mittel (205), mit dem im Falle, dass der Wahrscheinlichkeitswert größer als der vorgegebene Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
  11. Vorrichtung zur Erkennung von Verkehrszeichen in Bilddaten, umfassend: 11.1. ein erstes Mittel (201), mit dem in den Bilddaten ein Objekt segmentiert wird, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist, 11.2. ein zweites Mittels (202), mit dem mittels eines Texterkennungsalgorithmus in den segmentierten Bilddaten darin abgebildeter Text, der Zahlen und/oder Worte und/oder Abkürzungen und/oder Kombinationen daraus umfasst ermittelt wird, 11.3. ein drittes Mittel (203), mit dem ein Wahrscheinlichkeitswert dafür ermittelt wird, dass der ermittelte Text nicht auf einem Verkehrszeichen abgebildet ist, 11.4. ein viertes Mittel (204), mit dem im Falle, dass der Wahrscheinlichkeitswert größer als ein vorgegebener Grenzwert ist, das Objekts als potentielles Verkehrszeichen ausgesondert wird, und 11.5. ein fünftes Mittel (205), mit dem im Falle, dass der Wahrscheinlichkeitswert kleiner oder gleich dem vorgegebenen Grenzwert ist, ein Klassifikator auf die segmentierten Bilddaten zur Erkennung des Objekts als ein konkretes Verkehrszeichen angewendet wird.
  12. Vorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass der Texterkennungsalgorithmus ein OCR-, und/oder ein ICR- und/oder ein IWR-Texterkennungsalgorithmus ist.
  13. Kraftfahrzeug mit einer Vorrichtung gemäß einem der Ansprüche 9 bis 12.
  14. Computerprogramm zur Durchführung eines Verfahrens nach einem der Ansprüche 1–9.
  15. Computerprogrammprodukt, umfassend Computercode-Mittel, die auf einen computerlesbaren Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1–9 durchzuführen, wenn die Programmcode-Mittel auf einem Computer ausgeführt werden.
DE201210023022 2012-11-26 2012-11-26 Verfahren und Vorrichtung zur Verkehrszeichenerkennung Withdrawn DE102012023022A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE201210023022 DE102012023022A1 (de) 2012-11-26 2012-11-26 Verfahren und Vorrichtung zur Verkehrszeichenerkennung
US14/087,008 US9082022B2 (en) 2012-11-26 2013-11-22 Method and device for road sign recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210023022 DE102012023022A1 (de) 2012-11-26 2012-11-26 Verfahren und Vorrichtung zur Verkehrszeichenerkennung

Publications (1)

Publication Number Publication Date
DE102012023022A1 true DE102012023022A1 (de) 2014-05-28

Family

ID=50678754

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210023022 Withdrawn DE102012023022A1 (de) 2012-11-26 2012-11-26 Verfahren und Vorrichtung zur Verkehrszeichenerkennung

Country Status (2)

Country Link
US (1) US9082022B2 (de)
DE (1) DE102012023022A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205524A1 (de) 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts in einem Bild
DE102016003424A1 (de) * 2016-03-21 2017-09-21 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
DE102022125693A1 (de) 2022-10-05 2024-04-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs mit Berücksichtigung einer Farbverteilung sowie Fahrzeug

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI545041B (zh) * 2012-10-30 2016-08-11 原相科技股份有限公司 車用監測暨警示系統
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
US9530313B2 (en) * 2014-10-27 2016-12-27 Here Global B.V. Negative image for sign placement detection
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US11293762B2 (en) * 2019-06-18 2022-04-05 Here Global B.V. System and methods for generating updated map data
CN110647881B (zh) * 2019-09-19 2023-09-05 腾讯科技(深圳)有限公司 确定图像对应的卡片类型的方法、装置、设备及存储介质
US11605232B2 (en) * 2020-08-27 2023-03-14 Robert Bosch Gmbh System and method for road sign ground truth construction with a knowledge graph and machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19982422C1 (de) * 1998-11-14 2003-03-13 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19982422C1 (de) * 1998-11-14 2003-03-13 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205524A1 (de) 2015-03-26 2016-09-29 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts in einem Bild
KR20160115858A (ko) 2015-03-26 2016-10-06 주식회사 만도 이미지의 대상물을 분류하기 위한 방법 및 장치
US10115028B2 (en) 2015-03-26 2018-10-30 Mando Corporation Method and device for classifying an object in an image
DE102016003424A1 (de) * 2016-03-21 2017-09-21 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
US10339398B2 (en) 2016-03-21 2019-07-02 Elektrobit Automotive Gmbh Method and device for recognizing traffic signs
DE102016003424B4 (de) 2016-03-21 2023-09-28 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
DE102022125693A1 (de) 2022-10-05 2024-04-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs mit Berücksichtigung einer Farbverteilung sowie Fahrzeug

Also Published As

Publication number Publication date
US9082022B2 (en) 2015-07-14
US20140193033A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
DE102012023022A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE19982422C1 (de) Vorrichtung und Verfahren zur Verkehrszeichenerkennung
EP2483836B1 (de) Verfahren zur verkehrszeichenerkennung
DE102012023867A1 (de) Verkehrsampelerkennung
DE102014214448A1 (de) Vorrichtung und Verfahren zur Erkennung eines Verkehrszeichens
DE102013210375A1 (de) Auffinden von text in natürlichen szenen
DE102015205685A1 (de) Fahrbahnmarkierungserkennungseinrichtung
DE102011001037A1 (de) Fahrzeuginterne Vorrichtung zur Weiß-Linien-Erkennung
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE102008013789A1 (de) Vorrichtung, Verfahren und Programm zum Eliminieren von Zeichenstörungen
EP2320384B1 (de) Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen
DE102017215138A1 (de) Verfahren und Vorrichtung zum Erkennen ergänzender Verkehrszeichen
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems
DE102019204602B4 (de) Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten
DE102014207870A1 (de) Verfahren zur automatisierten Erstellung eines zwei technische Zeichnungen charakterisierenden Datensatzes
DE102015225415A1 (de) Verfahren und Vorrichtung zum Klassifizieren einer mittels eines distanzbasierten Detektionsverfahrens erkannten Parklücke auf Gültigkeit
DE102018222493A1 (de) Verfahren zur Validierung von Umfeldbilddaten, Vorrichtung, Computerprogramm und computerlesbares Speichermedium
DE102017207658A1 (de) Verfahren zum Identifizieren eines Fahrzeugs mit einem Zu-satzkennzeichen, und eine Vorrichtung zur Durchführung des Verfahrens
EP3323585A1 (de) Bauteil für ein kraftfahrzeug, insbesondere beleuchtungseinrichtung
DE102019207700A1 (de) Klassifikationsvorrichtung zur Objektdetektion in Umfeldsensordaten und Verfahren
DE102009009904A1 (de) Verfahren zur Identifizierung von Objekten
WO2020233991A1 (de) Verfahren zum betreiben eines tiefen neuronalen netzes
DE2026033C3 (de) Rasterverfahren zur Klassifizierung von Schriftzeichen
DE102013002375A1 (de) Verfahren zur Kalibrierung einer Kamera eines Kraftfahrzeugs
EP2887264B1 (de) Kreissegment- und Formdetektion

Legal Events

Date Code Title Description
R163 Identified publications notified
R082 Change of representative

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee