DE102014217877A1

DE102014217877A1 - Device and method for recognizing traffic signs

Info

Publication number: DE102014217877A1
Application number: DE102014217877.0A
Authority: DE
Inventors: Soon Wook Chung
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2013-09-09
Filing date: 2014-09-08
Publication date: 2015-03-12
Also published as: KR20150029122A

Abstract

Es wird eine Vorrichtung zum Erkennen eines an einer Straße befindlichen Verkehrszeichens offenbart. Die Vorrichtung weist auf: eine Informationserfassungseinheit, die ein von einer Frontkamera eines Fahrzeugs her erhaltenes Frontbild als Einzelbildeinheit erfasst; eine Bildverarbeitungseinheit (215), die Verkehrszeichen-Information, welche einen Bewegungsvektorwert und einen Bewegungsgeschwindigkeitswert des in dem Frontbild enthaltenen Verkehrszeichens mittels eines Objektdetektions-Algorithmus aus einer Differenz zwischen einem vorherigen Einzelbild und einem aktuellen Einzelbild detektiert; und einen Filter (231, 232), der ein irrelevantes Verkehrszeichen herausfiltert, indem er von einer in dem Fahrzeug angeordneten elektronischen Steuereinheit gelieferte Fahrzeug-Fahrinformation, zu der ein Gierratenwert und ein Fahrzeuggeschwindigkeitswert des Fahrzeugs zählen, mit der Verkehrszeichen-Information vergleicht.A device is disclosed for detecting a traffic sign on a road. The apparatus includes: an information acquiring unit that acquires a front image obtained from a front camera of a vehicle as a single image unit; an image processing unit (215) that detects traffic sign information that detects a motion vector value and a moving speed value of the traffic sign included in the front image by an object detection algorithm from a difference between a previous frame and a current frame; and a filter (231, 232) that filters out an irrelevant traffic sign by comparing the vehicle driving information supplied by an electronic control unit arranged in the vehicle including a yaw rate value and a vehicle speed value of the vehicle with the traffic sign information.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGENCROSS-REFERENCE TO RELATED APPLICATIONS

Diese Anmeldung beansprucht unter 35 U.S.C. § 119 die Priorität der Koreanischen Patentanmeldung Nr. 10-2013-0107862 , eingereicht am 9. September 2013 beim Korean Intellectual Property Office, deren Inhalt hiermit durch Verweis in seiner Gesamtheit in die vorliegende Anmeldung einbezogen wird. This application claims under 35 USC § 119 the priority of Korean Patent Application No. 10-2013-0107862 filed on Sep. 9, 2013 with the Korean Intellectual Property Office, the contents of which are hereby incorporated by reference in their entirety into the present application.

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Erkennen eines Verkehrszeichens an einer Straße und insbesondere eine Vorrichtung und ein Verfahren zum Erkennen von Verkehrszeichen, die für einen Fahrer relevante Information anzeigen, wie z.B. mehrerer Geschwindigkeitsbegrenzungsschilder an einer Straße, und zum Übermitteln der auf dem Verkehrszeichen angezeigten Information an ein Fahrzeug. The present invention relates to an apparatus and a method for recognizing a traffic sign on a road, and more particularly to an apparatus and a method for recognizing traffic signs indicative of information relevant to a driver, such as e.g. a plurality of speed limit signs on a road, and for transmitting the information displayed on the traffic sign to a vehicle.

HINTERGRUNDBACKGROUND

In jüngerer Zeit sind verschiedene Funktionalitäten entwickelt worden, bei denen zur Erleichterung des Fahrers eine am Fahrzeug installierte Frontkamera verwendet wird, um Warnfunktionen zu realisieren, mittels derer auf die Möglichkeit einer Spurabweichung, einer Fahrzeugkollision oder dgl. hingewiesen wird. Recently, various functions have been developed in which, for the convenience of the driver, a front-mounted camera installed on the vehicle is used to realize warning functions indicating the possibility of lane departure, vehicle collision, or the like.

Ferner existiert eine Geschwindigkeitsbegrenzungsverkehrszeichen-Erkennungsfunktion, die, während das Fahrzeug fährt, ein Geschwindigkeitsbegrenzungs-Verkehrszeichen an einer Straße mittels der Frontkamera des Fahrzeugs erkennt und dem Fahrer die entsprechende Information übermittelt, um eine gefährliche Situation wie z.B. überhöhte Geschwindigkeit zu vermeiden. Die Geschwindigkeitsbegrenzungszeichen-Erkennungsfunktion wird als Verkehrszeichenerkennungs-(traffic signal recognition TSR)Technik bezeichnet. Further, there exists a speed limit traffic sign recognition function which, while the vehicle is running, recognizes a speed limit traffic sign on a road by means of the front camera of the vehicle and transmits the corresponding information to the driver to detect a dangerous situation such as a vehicle. to avoid excessive speed. The speed limit sign recognition function is referred to as a traffic signal recognition (TSR) technique.

Die TSR-Technik ist derzeit im Handel erhältlich, und der existierende Geschwindigkeitsbegrenzungsverkehrszeichen-Erkennungs-Algorithmus weist eine allgemeine Erkennungsfunktionalität auf, die einen Bereich, in dem sich das Verkehrszeichen befindet, mittels eines Mustererkennungs-Algorithmus aus einem Grundbild heraus detektiert, den Inhalt des entsprechenden Verkehrszeichens in dem detektierten Bereich erkennt und dem Fahrer den Inhalt des entsprechenden Verkehrszeichens übermittelt, wenn das Fahrzeug während der Fahrt das entsprechende Verkehrszeichen passiert. The TSR technique is currently commercially available, and the existing speed limit traffic sign recognition algorithm has general recognition functionality that detects an area in which the traffic sign is located from a basic image by means of a pattern recognition algorithm, the content of the corresponding one Detects traffic sign in the detected area and transmits the contents of the corresponding traffic sign to the driver when the vehicle passes the corresponding traffic sign while driving.

Auf einer realen Straße jedoch sind den jeweiligen Fahrspuren verschiedene Verkehrszeichen zugeordnet, und im Fall einer Kreuzung erfasst die Frontkamera zusätzlich zu dem Geschwindigkeitsbegrenzungs-Verkehrszeichen, das einer Echtzeit-Richtung entspricht, in der sich das Fahrzeug momentan bewegt, auch solche Verkehrszeichen, die für Fahrzeuge installiert sind, welche sich in anderen Richtungen bewegen, und folglich werden oft mehrere Geschwindigkeitsbegrenzungs-Verkehrszeichen in ein Einzelbild einbezogen. However, on a real road, different traffic signs are assigned to the respective lanes, and in the case of an intersection, the front camera also detects such traffic signs for vehicles in addition to the speed limit traffic sign, which corresponds to a real-time direction in which the vehicle is currently moving are installed, which move in other directions, and consequently multiple speed limit traffic signs are often included in a single image.

Wie in 1 gezeigt kann ein Aufkleber 10 zur Angabe einer Höchstgeschwindigkeitsbegrenzung eines Fahrzeugs an einem Rückbereich des Fahrzeugs wie z.B. eines Busses oder eines großdimensionierten Lastwagens angebracht sein. As in 1 a sticker can be shown 10 indicating a maximum speed limit of a vehicle at a rear area of the vehicle such as a bus or a large-sized truck.

Da jedoch der am Rückbereich des Fahrzeugs angebrachte Aufkleber die gleiche Form aufweist wie das Verkehrszeichen an der Straße, besteht die Möglichkeit, dass der Aufkleber irrtümlicherweise als ein typisches Verkehrszeichen erkannt wird. However, since the sticker attached to the rear of the vehicle has the same shape as the traffic sign on the road, there is a possibility that the sticker is erroneously recognized as a typical traffic sign.

Wie oben aufgeführt ist die Verkehrszeichen-Erkennungstechnologie gemäß dem relevanten Stand der Technik sehr nützlich, wenn ein einzelnes Verkehrszeichen an einer realen Straße angeordnet ist, während es jedoch in den Fällen, in denen mehrere Verkehrszeichen an einer realen Straße angeordnet sind, schwierig ist, ein Verkehrszeichen zu bestimmen, das die für den Fahrer am meisten erforderliche Information zeigt, und dem Fahrer die für ein sicheres Fahren erforderliche Fahrinformation zu übermitteln. As mentioned above, according to the related art, traffic sign recognition technology is very useful when a single traffic sign is located on a real road, but it is difficult in cases where a plurality of traffic signs are arranged on a real road Determine traffic sign that shows the information most required for the driver, and to provide the driver with the driving information required for safe driving.

ÜBERBLICKOVERVIEW

Die vorliegende Erfindung wurde in dem Bestreben konzipiert, eine Vorrichtung und ein Verfahren zum Erkennen eines Verkehrszeichens an einer Straße bereitzustellen, mit denen irrelevante Verkehrszeichen herausgefiltert werden, wenn während eines Vorgangs zum Erkennen eines Verkehrszeichen-Musters, das in einem Bild vorhanden ist, dieses Bild mehrere Verkehrszeichen enthält. The present invention has been made in an effort to provide an apparatus and method for recognizing a traffic sign on a road, with which extraneous traffic signs are filtered out when, during an operation for recognizing a traffic sign pattern present in an image, that image contains several traffic signs.

Gemäß einer exemplarischen Ausführungsform der vorliegenden Erfindung wird eine Vorrichtung zum Erkennen eines an einer Straße befindlichen Verkehrszeichens geschaffen, die aufweist: eine Informationserfassungseinheit, die ein von einer Frontkamera eines Fahrzeugs her erhaltenes Frontbild als Einzelbildeinheit erfasst; eine Bildverarbeitungseinheit, die Verkehrszeichen-Information, welche einen Bewegungsvektorwert und einen Bewegungsgeschwindigkeitswert des in dem Frontbild enthaltenen Verkehrszeichens mittels eines Objektdetektions-Algorithmus aus einer Differenz zwischen einem vorherigen Einzelbild und einem aktuellen Einzelbild detektiert; und einen Filter, der ein irrelevantes Verkehrszeichen herausfiltert, indem er von einer im Fahrzeug angeordneten elektronischen Steuereinheit gelieferte Fahrzeug-Fahrinformation, zu der ein Gierratenwert und ein Fahrzeuggeschwindigkeitswert des Fahrzeugs zählen, mit der Verkehrszeichen-Information vergleicht. According to an exemplary embodiment of the present invention, there is provided an on-road traffic sign recognizing apparatus comprising: an information acquiring unit that acquires a front image obtained from a front camera of a vehicle as a single image unit; an image processing unit, the traffic sign information, which has a motion vector value and a Motion speed value of the traffic sign contained in the front image detected by means of an object detection algorithm from a difference between a previous frame and a current frame; and a filter that filters out an irrelevant traffic sign by comparing the vehicle driving information supplied by a vehicle-mounted electronic control unit that includes a yaw rate value and a vehicle speed value of the vehicle with the traffic sign information.

Gemäß einer weiteren exemplarischen Ausführungsform der vorliegenden Erfindung wird ein Verfahren zum Erkennen eines an einer Straße befindlichen Verkehrszeichens geschaffen, das folgende Schritte umfasst: Erfassen eines von einer Frontkamera eines Fahrzeugs her erhaltenen Frontbilds als Einzelbildeinheit; Detektieren eines Bewegungsvektorwerts und eines Bewegungsgeschwindigkeitswerts des in dem Frontbild enthaltenen Verkehrszeichens aus einer Differenz zwischen einem vorherigen Einzelbild und einem aktuellen Einzelbild mittels eines Objektdetektions-Algorithmus; und Herausfiltern eines irrelevanten Verkehrszeichens durch Vergleichen von Fahrzeug-Fahrinformation, zu der ein Gierratenwert und ein Fahrzeuggeschwindigkeitswert des Fahrzeugs zählen, mit der Verkehrszeichen-Information. According to another exemplary embodiment of the present invention, there is provided a method of recognizing a traffic signal on a road, comprising the steps of: detecting a front image obtained from a front camera of a vehicle as a single image unit; Detecting a motion vector value and a moving speed value of the traffic sign included in the front image from a difference between a previous frame and a current frame using an object detection algorithm; and filtering out an irrelevant traffic sign by comparing vehicle driving information including a yaw rate value and a vehicle speed value of the vehicle with the traffic sign information.

Die vorliegende Erfindung verhindert eine Situation, in der in einem Zustand, in dem an dem Fahrzeug ein Verkehrszeichenerkennungs-(TSR-)System installiert ist, der Fahrer aufgrund verschiedenartiger Fehlerkennungen eines Verkehrszeichens möglicherweise inkorrekte Information erhält, und die Erfindung verbessert die Zuverlässigkeit des Systems. The present invention prevents a situation in which, in a state in which a traffic sign recognition (TSR) system is installed on the vehicle, the driver may receive incorrect information due to various misrecognitions of a traffic sign, and the invention improves the reliability of the system.

KURZBESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

1 zeigt eine Ansicht eines Aufkleber-Bilds an der Rückseite eines großdimensionierten Fahrzeugs, gemäß einer exemplarischen Ausführungsform der vorliegenden Erfindung. 1 FIG. 12 is a view of a sticker image on the back of a large-sized vehicle, according to an exemplary embodiment of the present invention. FIG.

2 zeigt ein Blockschaltbild einer Vorrichtung zum Erkennen eines Verkehrszeichens, gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung. 2 FIG. 12 is a block diagram of a traffic sign recognition apparatus according to the exemplary embodiment of the present invention. FIG.

3 zeigt eine Ansicht einer Situation, bei der die Möglichkeit eines Problems an einer Zufahrtsstraße existiert, gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung. 3 FIG. 11 is a view showing a situation where the possibility of a problem exists on an access road according to the exemplary embodiment of the present invention. FIG.

4 ist ein Flussdiagramm einer Operation zum Erkennen eines Verkehrszeichens gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung. 4 FIG. 10 is a flowchart of a traffic sign detecting operation according to the exemplary embodiment of the present invention. FIG.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN DETAILED DESCRIPTION OF EMBODIMENTS

Vorteile und Merkmale der vorliegenden Erfindung und Verfahren zur Realisierung der Vorteile und Merkmale werden anhand der exemplarischen Ausführungsformen ersichtlich, die im Folgenden im Zusammenhang mit den beigefügten Zeichnungen detailliert beschrieben werden. Die vorliegende Erfindung ist jedoch nicht auf die hier aufgeführten exemplarischen Ausführungsformen beschränkt, sondern kann in verschiedenen Formen implementiert werden. Die hier beschriebenen exemplarischen Ausführungsformen sind lediglich dazu vorgesehen, den offenbarten Inhalt vollständig darzulegen und Fachleuten auf dem Gebiet ein umfassendes und hinreichendes Verständnis des Gehalts der vorliegenden Erfindung zu vermitteln. Somit ist die vorliegende Erfindung nur durch den Wortlaut der Ansprüche definiert. Advantages and features of the present invention and methods for realizing the advantages and features will become apparent from the exemplary embodiments which will be described in detail below with reference to the accompanying drawings. However, the present invention is not limited to the exemplary embodiments set forth herein, but may be implemented in various forms. The exemplary embodiments described herein are merely intended to fully set forth the contents disclosed and to provide those skilled in the art with a thorough and sufficient understanding of the content of the present invention. Thus, the present invention is defined only by the literal language of the claims.

Die in der vorliegenden Beschreibung verwendeten Ausdrücke dienen der Erläuterung der exemplarischen Ausführungsformen und sind nicht im Sinne einer Begrenzung der vorliegenden Erfindung zu verstehen. Falls in der vorliegenden Beschreibung nicht ausdrücklich anderweitig vermerkt, schließt eine Singular-Form auch die Plural-Form ein. Mit den Wörtern "aufweisen" und/oder "mit" werden in der vorliegenden Beschreibung nicht das Vorhandensein oder die Hinzufügung der aufgeführten Bestandteile, Schritte, Vorgänge und oder Vorrichtungen und/oder eines bzw. einer oder mehrerer anderer Bestandteile, Schritte, Vorgänge und oder Vorrichtungen ausschließen. Im Folgenden wird eine exemplarische Ausführungsform der vorliegenden Erfindung im Zusammenhang mit den beigefügten Zeichnungen detailliert beschrieben. The terms used in the present specification are intended to illustrate the exemplary embodiments and are not to be construed as limiting the present invention. Unless expressly stated otherwise in this specification, a singular form also includes the plural form. The words "comprise" and / or "with" in the present specification do not denote the presence or addition of the listed ingredients, steps, operations and or devices, and / or one or more other ingredients, steps, processes, and / or Exclude devices. Hereinafter, an exemplary embodiment of the present invention will be described in detail in conjunction with the accompanying drawings.

Die vorliegende Erfindung dient dazu, in einer realen Fahrzeug-Fahrsituation aus einer Anzahl an einer Straße angeordneter Verkehrszeichen ein Verkehrszeichen auszuwählen, das die für einen Fahrer am meisten relevante Information anzeigt, und die auf dem Verkehrszeichen angezeigte Information an einen Fahrer und ein Fahrzeug zu übermitteln. The present invention is to select, in a real vehicle driving situation, a traffic sign indicative of the most relevant information for a driver from a plurality of road signs arranged on a road, and to transmit the information displayed on the traffic sign to a driver and a vehicle ,

Insbesondere wird gemäß der vorliegenden Erfindung zur Vorbereitung auf einen Fall, dass inkorrekte Verkehrszeichen-Information übermittelt wird, und zur Verbesserung der Zuverlässigkeit eines Ergebniswerts der Verkehrszeichenerkennung (TSR) zunächst unter Nutzung dynamischer Information des Fahrzeugs ein unnötiges Verkehrszeichen-Muster in einem Bild herausgefiltert. Ferner wird ein zweiter Filtervorgang durchgeführt, in dem in einem Verkehrszeichen-Muster, das nach dem ersten Filtervorgang in dem Bild vorhanden ist, Formen von Figuren identifiziert werden. Für die Zwecke der nachstehenden Beschreibung wurde unter den Verkehrszeichen ein Geschwindigkeitsbegrenzungs-Verkehrszeichens gewählt. In particular, according to the present invention, in preparation for a case that incorrect traffic sign information is transmitted, and for improving the reliability of a result value of the traffic sign recognition (TSR), first, using dynamic information of the vehicle, an unnecessary traffic sign pattern in an image is filtered out. Further, a second filtering operation is performed in which shapes of figures are identified in a traffic sign pattern existing in the image after the first filtering operation. For the purposes of the following description, among the Traffic sign of a speed limit traffic sign chosen.

2 zeigt ein Blockschaltbild einer Vorrichtung zum Erkennen eines Verkehrszeichens gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung. 2 FIG. 12 is a block diagram of a traffic sign recognizing apparatus according to the exemplary embodiment of the present invention. FIG.

Gemäß 2 weist eine gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung ausgebildete Vorrichtung zum Erkennen eines Verkehrszeichens auf: eine Verkehrszeicheninformations-Erfassungseinheit 210, die ein von einer Frontkamera des Fahrzeugs her erhaltenes Bild verarbeitet und eine Liste an einer Straße befindlicher Verkehrszeichen generiert; eine Fahrinformations-Empfangseinheit 220, die das Fahrzeug betreffende Fahrinformation empfängt; einen ersten Filter 231, der eine Relativgeschwindigkeit des Fahrzeugs relativ zu einem in der Liste von Verkehrszeichen enthaltenen Verkehrszeichen berechnet und prüft, ob das Verkehrszeichen an der Straße installiert ist; einen zweiten Filter 232, der feststellt, ob sich das Verkehrszeichen, das mittels des ersten Filters 231 als an der Straße installiert erkannt worden ist, vor dem Fahrzeug befindet, und eine Verkehrsinformations-Extraktionseinheit 240, die unter den Verkehrszeichen, die als vor dem Fahrzeug befindlich identifiziert worden sind, ein Verkehrszeichen, das sich im kürzesten Abstand von dem Fahrzeug befindet, erkennt und auf dem erkannten Verkehrszeichen angezeigte Geschwindigkeits-Information extrahiert. Hier kann die Verkehrszeicheninformations-Erfassungseinheit 210 ferner eine Liste verschiedener Zeichen zusammenstellen, die an der Straße installiert sind, auf der das Fahrzeug momentan fährt. Die Liste kann entsprechend einem intelligenten Verkehrsnetzwerk-System erstellt werden, das im gesamten Stadtbereich eingerichtet ist. Zu diesem Zweck kann die Verkehrszeicheninformations-Erfassungseinheit 210 die Liste sämtlicher an der Straße installierter Verkehrszeichen mit Hilfe eines Nahfeldkommunikations-(NFC-)Moduls, das einen Kurz-Distanz-Kommunikationsvorgang durchführen kann, und/oder eines Infrarotkommunikationsmoduls und/oder eines Zigbee-Moduls und/oder einer speziell zugeordneten Kurz-Bereich-Kommunikations-(Dedicated Short Range Communicaton DSRC)Vorrichtung und/oder eines Ultrabreitband-(UWB-)Moduls und/oder eines drahtlosen LAN-(WLAN-)Moduls erstellen. According to 2 includes a traffic sign recognizing device configured in accordance with the exemplary embodiment of the present invention: a traffic sign information acquiring unit 210 which processes an image obtained from a front camera of the vehicle and generates a list of traffic signs on a road; a driving information receiving unit 220 receiving the vehicle-related driving information; a first filter 231 calculating a relative speed of the vehicle relative to a traffic sign included in the list of traffic signs and checking if the traffic sign is installed on the road; a second filter 232 that determines whether the traffic sign, which means the first filter 231 when installed on the road, is located in front of the vehicle, and a traffic information extraction unit 240 which recognizes, among the traffic signs identified as being in front of the vehicle, a traffic sign located at the shortest distance from the vehicle and extracts speed information displayed on the recognized traffic sign. Here, the traffic sign information acquiring unit 210 and compile a list of different signs installed on the road on which the vehicle is currently traveling. The list can be created according to a smart traffic network system that is set up throughout the city. For this purpose, the traffic sign information acquiring unit 210 the list of all road signs installed on the road using a near field communication (NFC) module that can perform a short-distance communication process and / or an infrared communication module and / or a Zigbee module and / or a specially assigned short-range Dedicated Short Range Communicaton (DSRC) device and / or an ultra-wideband (UWB) module and / or a wireless LAN (WLAN) module.

3 zeigt eine Ansicht zur Veranschaulichung eines Problems, das an einer Zufahrtsstraße auftreten kann, im Zusammenhang mit der exemplarischen Ausführungsform der vorliegenden Erfindung. 3 FIG. 11 is a view illustrating a problem that may occur on an access road in the context of the exemplary embodiment of the present invention. FIG.

Gemäß 3 kann, wenn ein Fahrzeug 330 geradeaus fährt, ein Geschwindkeits-Verkehrszeichen, bei dem es sich um ein Geschwindkeitsbegrenzungs-Verkehrszeichen (B) 320 handelt, das an einer Kreuzung und an einer Zufahrtsstraße installiert ist, in einem Bild der Frontkamera des Fahrzeugs angezeigt werden, während das Fahrzeug fährt. According to 3 can if a vehicle 330 driving straight ahead, a speed traffic sign, which is a speed limit traffic sign (B) 320 act, which is installed at an intersection and an access road, displayed in an image of the front camera of the vehicle while the vehicle is running.

Unter Annahme des Falls, dass ein Geschwindkeits-Verkehrszeichen (A) 310, das eine Begrenzung der Fahrgeschwindigkeit auf einer Autobahn anzeigt, auf welcher der Fahrer das Fahrzeug fährt, zusammen mit dem Geschwindkeitsbegrenzungs-Verkehrszeichen (B) 320 an einer Zufahrtsstraße zu der Kreuzung installiert ist, kann nicht festgestellt werden, welche Information unter der Information des Verkehrszeichens (A) 310 und der Information des Verkehrszeichens (B) 320 entsprechend dem existierenden Algorithmus übermittelt werden soll. Assuming the case that a speed traffic sign (A) 310 indicating a limitation of the driving speed on a highway on which the driver drives the vehicle, together with the speed limit traffic sign (B) 320 installed on an access road to the intersection, it is not possible to determine what information is under the information of the traffic sign (A) 310 and the information of the traffic sign (B) 320 should be transmitted according to the existing algorithm.

Beispielsweise benötigt das Fahrzeug 330, wenn es geradeaus fährt, die Information des Verkehrszeichens (A) 310, und wenn das Fahrzeug 330 von der Autobahn abfährt, benötigt es die Information des Verkehrszeichens (B) 320. For example, the vehicle needs 330 when driving straight ahead, the information of the traffic sign (A) 310 and if the vehicle 330 from the motorway, it requires the information of the traffic sign (B) 320 ,

Bei einem Muster-Erkennungsvorgang gemäß dem relevanten Stand der Technik können jedoch das Verkehrszeichen (A) 310 und das Verkehrszeichen (B) 320 möglicherweise nicht unterschieden werden. However, in a related art pattern recognition process, the traffic sign (A) may be used. 310 and the traffic sign (B) 320 may not be differentiated.

Deshalb wird gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung die Verwendbarkeit des Verkehrszeichens durch einen Filterungsvorgang bestimmt, der mittels der in 2 gezeigten ersten und zweiten Filter 231 und 232 vorgenommen wird. Therefore, according to the exemplary embodiment of the present invention, the usability of the traffic sign is determined by a filtering process using the methods described in U.S. Pat 2 shown first and second filters 231 and 232 is made.

Zur Feststellung der Verwendbarkeit des Verkehrszeichens erfasst die Verkehrszeicheninformations-Erfassungseinheit 210 ein Frontbild, das von der am Fahrzeug montierten Frontkamera aufgenommen wird, als Einzelbildeinheit. For determining the usability of the traffic sign, the traffic sign information acquiring unit detects 210 a front image taken by the vehicle-mounted front camera as a single image unit.

Eine Bildverarbeitungseinheit 215 empfängt das von der Verkehrszeicheninformations-Erfassungseinheit 210 erfasste Frontbild als Einzelbildeinheit und erhält mittels einer Objekterkennungstechnik wie z.B. eines Objektextraktions-Algorithmus Information über das in jedem Rahmen enthaltene Geschwindigkeits-Verkehrszeichen. Hier kann die Information über das Geschwindigkeits-Verkehrszeichen einen Pixel-Wert (oder eine Pixel-Koordinate), der das Geschwindigkeits-Verkehrszeichen in jedem Einzelbild identifiziert, und einen Bewegungsvektorwert und einen Bewegungsgeschwindigkeitswert des Geschwindigkeits-Verkehrszeichens enthalten, die aus einer Differenz zwischen einem vorherigen Einzelbild und einem aktuellen Einzelbild berechnet werden. An image processing unit 215 receives this from the traffic sign information acquiring unit 210 detected front image as a single image unit and obtained by means of an object recognition technique such as an object extraction algorithm information about the speed traffic signs contained in each frame. Here, the information about the speed traffic sign may include a pixel value (or a pixel coordinate) identifying the speed traffic sign in each frame, and a motion vector value and a motion speed value of the speed traffic sign that are a difference between a previous one Single image and a current frame are calculated.

Die Fahrinformations-Empfangseinheit 220 ist durch ein Controller-Area-Network-(CAN-)Kommunikationsnetz mit verschiedenartigen elektronischen Steuereinheiten in dem Fahrzeug verbunden, die in den Zeichnungen nicht gezeigt sind, und empfängt von den verschiedenartigen elektronischen Steuereinheiten Fahr-Information des Fahrzeugs wie z.B. eine Fahrzeuggeschwindigkeit und eine Gierrate. The driving information receiving unit 220 is connected through a controller area network (CAN) communication network to various electronic control units in the vehicle, not shown in the drawings, and receives driving information of the vehicle such as a vehicle speed and a yaw rate from the various electronic control units ,

Der erste Filter 231 filtert mittels des Bewegungsvektor-Werts und des Bewegungsgeschwindigkeits-Werts des von der Bildverarbeitungseinheit 215 übermittelten Geschwindigkeits-Verkehrszeichens irrelevante Verkehrszeichen heraus. The first filter 231 filters by means of the motion vector value and the motion speed value of the image processing unit 215 transmitted speed traffic sign out of irrelevant traffic signs.

Der erste Filter 231 kann Muster von Aufklebern, die an der Rückseite eines vorausfahrenden Fahrzeugs (eines großdimensionierten Fahrzeugs) angebracht sind, herausfiltern. The first filter 231 can filter out patterns of stickers affixed to the back of a preceding vehicle (a large-sized vehicle).

Das Geschwindigkeits-Verkehrszeichen, das an einer realen Straße installiert ist, ist fest am Boden angebracht. Somit wird bestätigt werden, dass sich Geschwindigkeits-Verkehrszeichen in dem Bild in einer Richtung bewegen, die der Fahrrichtung, in der sich das Fahrzeug bewegt, entgegengerichtet ist, und sich mit der gleichen Geschwindigkeit wie der Fahrgeschwindigkeit des Fahrzeugs bewegen. Im Fall des vorausfahrenden Fahrzeugs jedoch kann die entsprechende Geschwindigkeit und Richtung nicht als ein Wert präsentiert werden, der einem entsprechenden Wert des fahrenden Fahrzeugs entgegengesetzt ist. The speed traffic sign installed on a real road is fixedly attached to the ground. Thus, it will be confirmed that speed traffic signs move in the image in a direction opposite to the traveling direction in which the vehicle is moving, and move at the same speed as the traveling speed of the vehicle. However, in the case of the preceding vehicle, the corresponding speed and direction can not be presented as a value opposite to a corresponding value of the traveling vehicle.

Durch Verwendung der vorstehend erwähnten Merkmale kann der erste Filter 231 unnötige Muster von Aufklebern, die an der Rückseite des vorausfahrenden Fahrzeugs angebracht sind, herausfiltern. By using the above-mentioned features, the first filter 231 filter out unnecessary patterns of stickers affixed to the back of the vehicle in front.

Wenn beispielsweise ein durch Bildverarbeitung berechneter Bewegungsvektor-Wert (oder Bewegungsrichtungs-Wert) einem Fahrzeuggeschwindigkeitsrichtungs-Wert des momentan fahrenden Fahrzeugs entgegengesetzt ist und den gleichen Bewegungsgeschwindigkeits-Wert hat, wird erkannt, dass die an dem fahrenden Fahrzeug montierte Frontkamera ein fest am Boden angebrachtes Geschwindigkeits-Verkehrszeichen erfasst, und der erste Filter 231 stuft das Geschwindigkeits-Verkehrszeichen als ein relevantes Verkehrszeichen ein und akzeptiert das Geschwindigkeits-Verkehrszeichen. Der Bewegungsgeschwindigkeits-Wert kann hier als ein Wert definiert werden, der erzeugt wird, indem eine Differenz (Bewegungsstrecke in dem Bild) zwischen einem Koordinatenwert eines in dem vorherigen Einzelbild angezeigten Verkehrszeichens und einem Koordinatenwert eines in dem momentanen Einzelbild angezeigten Verkehrszeichens durch die Einzelbild-Frequenz dividiert wird. For example, when a motion vector value (or moving direction value) calculated by image processing is opposite to a vehicle speed direction value of the currently traveling vehicle and has the same moving speed value, it is recognized that the front camera mounted on the traveling vehicle has a fixed ground speed Traffic signs detected, and the first filter 231 classifies the speed traffic sign as a relevant traffic sign and accepts the speed traffic sign. The moving speed value may be defined here as a value generated by taking a difference (moving distance in the image) between a coordinate value of a traffic sign displayed in the previous frame and a coordinate value of a traffic sign displayed in the current frame by the frame rate divided.

Wenn hingegen der Bewegungsrichtungs-Wert (Bewegungsvektor-Wert) des an der Rückseite des vorausfahrenden Fahrzeugs angebrachten Geschwindigkeits-Verkehrszeichens gleich dem Fahrzeuggeschwindigkeitsrichtungs-Wert des momentan fahrenden Fahrzeugs ist und der Bewegungsgeschwindigkeits-Wert des an der Rückseite des vorausfahrenden Fahrzeugs angebrachten Geschwindigkeits-Verkehrszeichens gleich dem Fahrzeuggeschwindigkeitswert des momentan fahrenden Fahrzeugs oder kleiner als dieser ist, wird erkannt, dass die Frontkamera des derzeit fahrenden Fahrzeugs ein vorausfahrendes Fahrzeug erfasst, das sich in einer Richtung bewegt, die mit der Fahrtrichtung des Fahrzeugs identisch ist, und der erste Filter 231 stuft das Geschwindigkeits-Verkehrszeichen als irrelevantes Verkehrszeichen ein und filtert es heraus. On the other hand, when the moving direction value (motion vector value) of the speed traffic sign attached to the rear of the preceding vehicle is equal to the vehicle speed direction value of the current traveling vehicle and the moving speed value of the speed traffic sign attached to the rear of the preceding vehicle is equal to Vehicle speed value of the current running vehicle or smaller than this, it is recognized that the front camera of the currently running vehicle detects a preceding vehicle that moves in a direction that is identical to the direction of travel of the vehicle, and the first filter 231 classifies the speed traffic sign as an irrelevant traffic sign and filters it out.

Der erste Filter 231 als solcher kann irrelevante Verkehrszeichen-Information wie z.B. diejenige des Aufklebers, der an der Rückseite des großdimensionierten Fahrzeugs angebracht ist, herausfiltern, und zwar durch Verwendung des Bewegungsvektor-Werts des Geschwindigkeits-Verkehrszeichens, der durch Verarbeiten des Frontbilds berechnet wird, und durch Verwendung des Geschwindigkeitswerts des Geschwindigkeits-Verkehrszeichens, der aus einer Differenz zwischen dem vorherigen Einzelbild und dem aktuellen Einzelbild berechnet wird. The first filter 231 As such, irrelevant traffic sign information such as that of the sticker attached to the rear of the large-sized vehicle can be filtered out by using the motion vector value of the speed traffic sign calculated by processing the front image and by using the Speed value of the speed traffic sign calculated from a difference between the previous frame and the current frame.

Auch nachdem zunächst das irrelevante Geschwindigkeits-Verkehrszeichen-Muster wie oben beschrieben herausgefiltert worden ist, kann Information über eine Anzahl von Verkehrszeichen wie z.B. das entlang einer geradlinigen Fahrstraße angeordnete Verkehrszeichen und das an der Zufahrtsstraße zu der Kreuzung angeordnete Verkehrszeichen, die in 3 gezeigt sind, eingegeben werden, und somit ist es erforderlich, das Verkehrszeichen auszuwählen, das von dem Fahrzeug benötigt wird. Die Auswahl kann von dem zweiten Filter 232 vorgenommen werden. Even after initially filtering out the irrelevant speed traffic sign pattern as described above, information about a number of traffic signs such as the traffic sign arranged along a straight-line route and the traffic sign arranged on the access road to the intersection which is located in 3 are shown, and thus it is necessary to select the traffic sign needed by the vehicle. The selection may be from the second filter 232 be made.

Wenn der zweite Filtervorgang von dem zweiten Filter 232 vorgenommen wird, erfolgt dieser Filtervorgang unter Berücksichtigung der Tatsache, dass das Geschwindigkeits-Verkehrszeichen, welches für das tatsächlich fahrende Fahrzeug relevant ist, vertikal an der Straße installiert ist. If the second filtering process from the second filter 232 is made, this filtering process takes into account the fact that the speed traffic sign, which is relevant to the actual moving vehicle, is installed vertically on the road.

Gemäß 3 ist, während das Fahrzeug 330 geradeaus fährt, das Geschwindkeits-Verkehrszeichen (A) 310 vertikal an der geradlinigen Fahrstraße installiert, und das Geschwindkeitsbegrenzungs-Verkehrszeichen (B) 320 ist vertikal an einem gekrümmten Straßenabschnitt der Zufahrtsstraße installiert. According to 3 is while the vehicle is 330 driving straight ahead, the speed traffic sign (A) 310 installed vertically on the straight-lined driveway, and the speed limit traffic sign (B) 320 is installed vertically on a curved road section of the access road.

Im tatsächlichen Bild wird ein Seitenverhältnis des erkannten Verkehrszeichens berechnet, und es wird festgestellt, ob die Form des erkannten Verkehrszeichens annähernd einem Kreis entspricht, und folglich kann das an der geradlinigen Fahrstraße installierte Verkehrszeichen bestimmt werden. Beispielsweise kann das kreisförmige Verkehrszeichen als kreisförmiges Verkehrszeichen erkannt werden, wenn seine horizontalen und vertikalen Bemessungen einander gleich sind, und es kann als elliptisches Zeichen erkannt werden, wenn sich seine horizontalen und vertikalen Bemessungen voneinander unterscheiden. In the actual image, an aspect ratio of the detected traffic sign is calculated, and it is determined whether the shape of the recognized traffic sign Traffic sign corresponds approximately to a circle, and consequently, the traffic signs installed on the rectilinear route can be determined. For example, the circular traffic sign may be recognized as a circular traffic sign when its horizontal and vertical dimensions are equal to each other, and it may be recognized as an elliptical sign when its horizontal and vertical dimensions are different from each other.

Das Geschwindigkeits-Verkehrszeichen, das an der von dem Fahrzeug befahrenen Straße installiert ist, wird als annähernd kreisförmig erfasst, da dieses Geschwindigkeits-Verkehrszeichen vor der am Fahrzeug montierten Frontkamera erfasst wird; hingegen wird das an einer peripheren Straße wie z.B. der Zufahrtsstraße installierte Verkehrszeichen als annähernd elliptisch erfasst, da dieses Zeichen relativ zu einer Vorderseite der Frontkamera schräg erfasst wird. The speed traffic sign installed on the road traveled by the vehicle is detected to be approximately circular since this speed traffic sign is detected in front of the vehicle-mounted front camera; whereas this is done on a peripheral road such as The traffic sign installed on the access road is detected to be approximately elliptical, since this sign is obliquely detected relative to a front side of the front camera.

Deshalb kann anhand des Seitenverhältnisses des in dem Frontbild detektierten Geschwindigkeits-Verkehrszeichens festgestellt werden, ob es sich bei dem Verkehrszeichen um das an der Fahrstraße installierte Geschwindigkeits-Verkehrszeichen oder um das an der Zufahrtsstraße installierte Verkehrszeichen handelt. Dies bedeutet, dass, wenn das Fahrzeug das Verkehrszeichen erkennen soll, welches an der von dem Fahrzeug momentan befahrenen Straße installiert ist, dasjenige Verkehrszeichen herausgefiltert wird, bei dem eine Differenz zwischen den horizontalen und den vertikalen Bemessungen detektiert wird. Therefore, based on the aspect ratio of the speed traffic sign detected in the front image, it can be determined whether the traffic sign is the speed traffic sign installed on the traveling road or the road sign installed on the access road. This means that when the vehicle is to recognize the traffic sign installed on the road currently being traveled by the vehicle, that traffic sign is detected in which a difference between the horizontal and vertical dimensions is detected.

Dabei wird die Information des Verkehrszeichens (B) 320 mittels des zweiten Filters 232 auch in dem Fall entfernt, dass sich, während das Fahrzeug 330 geradeaus fährt, die Verkehrszeichen (A und B) 310 und 320 nicht gleichzeitig in dem Bilderfassungsbereich der Frontkamera befinden, sondern sich nur das Verkehrszeichen (B) 320 im Bilderfassungsbereich befindet; dadurch wird verhindert, dass die auf dem irrelevanten Verkehrszeichen (B) 320 angezeigte Fahrzeuggeschwindigkeitsbegrenzung dem auf der Autobahn fahrenden Fahrer mitgeteilt wird, wenn das Fahrzeug geradeaus fährt. In this case, the information of the traffic sign (B) 320 by means of the second filter 232 also removed in the case that, while the vehicle 330 driving straight ahead, the traffic signs (A and B) 310 and 320 not at the same time in the image capture area of the front camera, but only the traffic sign (B) 320 located in the image capture area; This will prevent that on the irrelevant traffic sign (B) 320 displayed vehicle speed limit is communicated to the driver driving on the highway when the vehicle is driving straight ahead.

Auch nachdem wie oben beschrieben der zweite Filterungsvorgang durch den zweiten Filter 232 durchgeführt worden ist, kann an der Straße möglicherweise noch eine Anzahl vertikal installierter Verkehrszeichen vorhanden sein. Also, as described above, the second filtering process by the second filter 232 may have been carried out on the road may still be a number of vertically installed traffic signs.

Beispielsweise können unterschiedliche Geschwindigkeitsbegrenzungen für die jeweiligen Fahrspuren auf der Autobahn bestehen, wie z.B. 100 km/h für eine erste Fahrspur und 80 km/h für eine zweite Fahrspur, und somit kann der Fall eintreten, dass Information einer Anzahl von Verkehrszeichen detektiert wird, obwohl auch der zweite Filterungsvorgang durchgeführt wird. For example, different speed limits may exist for the respective lanes on the highway, such as e.g. 100 km / h for a first lane and 80 km / h for a second lane, and thus the case may occur that information of a number of traffic signs is detected, although the second filtering operation is also performed.

In diesem Fall kann für die Verkehrsinformations-Extraktionseinheit 240 der vorliegenden Erfindung dasjenige Verkehrszeichen, das im geringsten Abstand zu einer in vertikaler Richtung verlaufenden Mittellinie detektiert wird, welche die Mitte des Frontbilds kreuzt, das relevanteste Zeichen sein. In this case, for the traffic information extraction unit 240 In the present invention, the traffic sign which is detected at the shortest distance from a center line extending in the vertical direction crossing the center of the front image is the most relevant one.

4 zeigt ein Flussdiagramm zur Veranschaulichung einer Operation zum Erkennen eines Verkehrszeichens gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung. 4 FIG. 12 is a flowchart illustrating a traffic sign recognizing operation according to the exemplary embodiment of the present invention. FIG.

Gemäß 4 wird, um aus einer Anzahl an einer Straße angeordneter Verkehrszeichen ein Verkehrszeichen zu bestimmen, das für einen Fahrer relevante Geschwindigkeitsbegrenzungs-Information anzeigt, zunächst ein von der am Fahrzeug montierten Frontkamera erfasstes Frontbild erstellt, und das erstellte Frontbild wird einem Bestimmungsvorgang unterzogen (S410). Dies bedeutet, dass ein in dem Frontbild enthaltenes Verkehrszeichen, das mittels einer Objektdetektionstechnik detektiert wird, bestimmt wird (S410). Zusätzlich wird durch das intelligente Verkehrsnetzwerk-System einer "Smart City" eine Liste sämtlicher an der Straße installierter Verkehrszeichen erstellt (S410). According to 4 For example, in order to determine a traffic sign indicative of speed limit information relevant to a driver from a number of road signs arranged on a road, a front image captured by the vehicle-mounted front camera is first made, and the created front image is subjected to a determination process (S410). That is, a traffic sign included in the front image detected by an object detection technique is determined (S410). In addition, the intelligent traffic network system of a "smart city" creates a list of all traffic signs installed on the road (S410).

Als Nächstes wird von verschiedenartigen elektronischen Steuereinheiten des Fahrzeugs her mittels CAN-Kommunikation Fahr-Information des Fahrzeugs (z.B. eine Fahrzeuggeschwindigkeit, eine Gierrate und dgl.) empfangen (S421), und es wird geprüft, ob das Verkehrszeichen fest an der Straße angebracht ist, indem das in der Liste von Verkehrszeichen enthaltene Verkehrszeichen mit einer Relativgeschwindigkeit des Fahrzeugs verglichen wird (S420). Next, from various electronic control units of the vehicle, by means of CAN communication, driving information of the vehicle (eg, a vehicle speed, a yaw rate, and the like) is received (S421), and it is checked whether the traffic sign is firmly attached to the road, by comparing the traffic sign included in the list of traffic signs with a relative speed of the vehicle (S420).

Da es sich bei dem Verkehrszeichen um ein fest am Boden angebrachtes Objekt handelt, wird in einer Situation, in der das Fahrzeug während seiner Fahrt das an der Straße positionierte Geschwindigkeits-Verkehrszeichen passiert, eine Bewegung erfasst, deren Richtung entgegengesetzt zu der Fahrgeschwindigkeits-Bewegungsrichtung des momentan fahrenden Fahrzeugs verläuft und deren Geschwindigkeit gleich der Geschwindigkeit des fahrenden Fahrzeugs ist. Since the traffic sign is an object fixedly attached to the ground, in a situation where the vehicle passes the speed traffic sign positioned on the road during its travel, a movement is detected whose direction is opposite to the traveling speed traveling direction of the vehicle currently running vehicle and whose speed is equal to the speed of the moving vehicle.

Im Fall des Aufklebers jedoch, der an dem sich zusammen mit dem Fahrzeug bewegenden großdimensionierten Fahrzeug angebracht ist, können die entsprechenden Geschwindigkeits- und Richtungswerte den Werten des fahrenden Fahrzeugs nicht entgegengesetzt sein, außer in einer Situation, in der das großdimensionierte Fahrzeug stoppt. However, in the case of the sticker affixed to the large-sized vehicle moving together with the vehicle, the corresponding speed and direction values may not be opposite to the values of the moving vehicle, except in one Situation in which the large-sized vehicle stops.

Bei der vorliegenden Erfindung wird während der Fahrt des Fahrzeugs nur die Information, die das Verkehrszeichen betrifft, aus der Verkehrszeichen-Information, die aufgrund des Verkehrszeichens und der Relativgeschwindigkeit des Fahrzeugs eingegeben wird, erhalten (S420). In the present invention, during the travel of the vehicle, only the information concerning the traffic sign is obtained from the traffic sign information input based on the traffic sign and the relative speed of the vehicle (S420).

Anschließend wird bestimmt, ob das Geschwindigkeits-Verkehrszeichen, das mittels des ersten Filters 231 als ein an der Straße stillstehendes Verkehrszeichen erkannt wird, vor dem Fahrzeug vorhanden ist (S430). It is then determined whether the speed traffic sign obtained by means of the first filter 231 is recognized as a roadside traffic sign in front of the vehicle (S430).

Zum Bestimmen des vor dem Fahrzeug vorhandenen Geschwindigkeits-Verkehrszeichens wird das Verkehrszeichen, das vertikal an der Straße installiert ist, bestimmt. To determine the speed traffic sign ahead of the vehicle, the traffic sign installed vertically on the road is determined.

Zu diesem Zweck wird gemäß der exemplarischen Ausführungsform der vorliegenden Erfindung der Filtervorgang unter Verwendung des Seitenverhältnisses des als Geschwindigkeits-Verkehrszeichen bestimmten Verkehrszeichens durchgeführt. Dies bedeutet, dass ein Vorgang durchgeführt wird, in dem dasjenige Verkehrszeichen herausgefiltert wird, dessen Form als elliptisch mit einer vertikalen Bemessung, die gleich einer horizontalen Länge oder um ein vorbestimmtes Verhältnis größer als diese ist, erkannt worden ist. For this purpose, according to the exemplary embodiment of the present invention, the filtering operation is performed by using the aspect ratio of the traffic sign designated as a traffic signal. This means that an operation is carried out in which the traffic sign whose shape has been recognized as elliptical with a vertical dimension equal to or greater than a horizontal length by a predetermined length is filtered out.

Dasjenige Geschwindigkeits-Verkehrszeichen, das vor dem Fahrzeug positioniert ist, wird als Kreisform gezeigt, da das Geschwindigkeits-Verkehrszeichen von der am fahrenden Fahrzeug montierten Frontkamera vor dem Fahrzeug erfasst wird. Im Gegensatz dazu wird das an der Zufahrtstraße oder dgl. positionierte Geschwindigkeits-Verkehrszeichen als elliptische Form gezeigt, da das Geschwindigkeits-Verkehrszeichen von der Frontkamera schräg erfasst wird. Das irrelevante Signal kann mittels der oben erwähnten Vorkehrungen herausgefiltert werden. That speed traffic sign which is positioned in front of the vehicle is shown as a circular shape, since the speed traffic sign is detected by the front camera mounted on the moving vehicle in front of the vehicle. In contrast, the speed traffic sign positioned on the access road or the like is shown as an elliptical shape because the speed traffic sign is obliquely detected by the front camera. The irrelevant signal can be filtered out by means of the above-mentioned precautions.

Unter den Geschwindigkeits-Verkehrszeichen, die von dem zweiten Filter 232 als vor dem Fahrzeug befindlich bestimmt worden sind, wird dasjenige Geschwindigkeits-Verkehrszeichen ermittelt, das sich im kürzesten Abstand von der die Mitte des Frontbilds vertikal schneidenden Mittellinie befindet (S440). Under the speed traffic sign coming from the second filter 232 are determined to be in front of the vehicle, the speed traffic sign which is at the shortest distance from the center line vertically intersecting the center of the front image is detected (S440).

Die Geschwindigkeits-Information, die auf dem kreisförmigen Verkehrszeichen angegeben ist, das sich im kürzesten Abstand von dem Fahrzeug befindet, wird als solche durch den ersten Filtervorgang, den zweiten Filtervorgang und einen Schritt zum Bestimmen eines Abstands extrahiert, und die Geschwindigkeits-Information wird an das Fahrzeug übermittelt (S450). As such, the speed information indicated on the circular traffic sign located at the shortest distance from the vehicle is extracted by the first filtering process, the second filtering process, and a step of determining a distance, and the speed information becomes the vehicle is transmitted (S450).

Mit der vorliegenden Erfindung kann, wenn in einer Situation, in der das Fahrzeug tatsächlich auf der Straße fährt, eine Anzahl von Verkehrsinformationszeichen zwecks sicheren Fahrens vorhanden ist, dasjenige Verkehrszeichen ausgewählt werden, welches die für den Fahrer am nützlichste Information anzeigt, und die auf dem gewählten Verkehrszeichen angezeigte Information kann an den Fahrer und ein Geschwindigkeitssteuersystem des Fahrzeugs übermittelt werden. With the present invention, when in a situation where the vehicle is actually traveling on the road, there are a number of traffic information signs for safe driving, that road sign indicating the information most useful to the driver can be selected selected information can be transmitted to the driver and a speed control system of the vehicle.

Obwohl hier eine exemplarische Ausführungsform der vorliegenden Erfindung zu Veranschaulichungszwecken beschrieben wurde, wird Fachleuten auf dem Gebiet ersichtlich sein, dass verschiedene Modifikationen und Änderungen möglich sind, ohne vom Umfang und Geist der Erfindung abzuweichen. Somit sind die offenbarten exemplarischen Ausführungsformen der vorliegenden Erfindung nicht im Sinn einer Beschränkung, sondern zur Veranschaulichung des technischen Gehalts der vorliegenden Erfindung vorgesehen, und der Umfang des technischen Gehalts der vorliegenden Erfindung ist durch die exemplarischen Ausführungsformen nicht beschränkt. Der Schutzumfang der vorliegenden Erfindung bemisst sich auf der Basis der angefügten Ansprüche, und es sollte ersichtlich sein, dass die vorliegende Erfindung den technischen Gehalt umfasst, der in einem mit den Ansprüchen identischen oder diesen äquivalenten Umfang liegt. Although an exemplary embodiment of the present invention has been described herein for purposes of illustration, those skilled in the art will appreciate that various modifications and changes are possible without departing from the scope and spirit of the invention. Thus, the disclosed exemplary embodiments of the present invention are not intended to be limiting, but rather to illustrate the technical content of the present invention, and the scope of the technical content of the present invention is not limited by the exemplary embodiments. The scope of the present invention is to be construed on the basis of the appended claims, and it should be understood that the present invention includes the technical content which is in an equivalent or equivalent scope to the claims.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

KR 10-2013-0107862 [0001]

Claims

An on-road traffic sign recognizing apparatus comprising: an information acquiring unit that acquires a front image obtained from a front camera of a vehicle as a single image unit; an image processing unit ( 215 ), the traffic sign information, which detects a motion vector value and a moving speed value of the traffic sign included in the front image by means of an object detection algorithm from a difference between a previous frame and a current frame; and a filter ( 231 . 232 ) that filters out an irrelevant traffic sign by comparing vehicle driving information supplied by an electronic control unit provided in the vehicle including a yaw rate value and a vehicle speed value of the vehicle with the traffic sign information.

Device according to claim 1, characterized in that the filter ( 231 ) allows the traffic sign to pass through a relevant traffic sign fixedly attached to the road when a moving direction value of the traffic sign depending on the motion vector value is opposite to a vehicle speed direction value of the vehicle and a moving speed value of the traffic sign included in the front image is equal to a speed value of the vehicle ,

A device according to claim 1, characterized in that the filter filters out the traffic sign as an irrelevant traffic sign attached to the rear of a preceding vehicle when a moving direction value of the traffic sign which depends on the motion vector value is equal to a vehicle speed direction value of the vehicle is dependent on a yaw rate value of the vehicle, and a moving speed value of the traffic sign included in the front image differs from a speed value of the vehicle.

Apparatus according to claim 1, characterized in that the image processing unit ( 215 ) Detects information about the traffic sign, which further includes a ratio between the horizontal and the vertical dimensions of the traffic sign.

Device according to claim 4, characterized in that the filter ( 231 . 232 ) filters out an irrelevant traffic sign on the basis of the ratio between the horizontal and vertical dimensions of the traffic sign.

Device according to claim 5, characterized in that the filter ( 231 . 232 ) lets the traffic sign pass as a relevant traffic sign if the horizontal and vertical dimensions of the traffic sign are equal to each other.

Device according to claim 5, characterized in that the filter ( 231 . 232 ) filters out the traffic sign as an irrelevant traffic sign if the horizontal and vertical dimensions of the traffic sign differ from one another.

Apparatus according to claim 7, characterized in that the traffic sign, the horizontal and vertical dimensions of which differ from each other, is an irrelevant traffic sign installed vertically on a curved road.

A method of detecting a road sign located on a road, comprising: Detecting a front image obtained from a front camera of a vehicle as a single image unit; Detecting a motion vector value and a moving speed value of the traffic sign included in the front image from a difference between a previous frame and a current frame using an object detection algorithm; and Filtering out an irrelevant traffic sign by comparing vehicle driving information including a yaw rate value and a vehicle speed value of the vehicle with the traffic sign information.

A method according to claim 9, characterized in that in filtering out the irrelevant traffic sign, the traffic sign is passed as a relevant traffic sign fixedly attached to the road, when a movement direction value of the traffic sign which is dependent on the motion vector value is opposite to a vehicle speed direction value of the vehicle and a moving speed value of the traffic sign included in the front image is equal to a speed value of the vehicle.

A method according to claim 9, characterized in that in filtering out the irrelevant traffic sign, the traffic sign is filtered out as an irrelevant traffic sign attached to the back of a preceding vehicle when a moving direction value of the traffic sign which is dependent on the motion vector value equals a vehicle speed direction value of Is a vehicle that is dependent on a yaw rate value of the vehicle, and a movement speed value of the in the Front image contained traffic sign different from a speed value of the vehicle.

A method according to claim 9, characterized in that detecting the motion vector value and the moving speed value comprises detecting a ratio between the horizontal and vertical dimensions of the traffic sign.

A method according to claim 12, characterized in that filtering out the irrelevant traffic sign comprises filtering out the irrelevant traffic sign on the basis of the ratio between the horizontal and vertical dimensions of the traffic sign.

A method according to claim 13, characterized in that filtering out the irrelevant traffic sign comprises allowing the traffic sign to pass as a relevant traffic sign when the horizontal and vertical dimensions of the traffic sign are equal to each other.

A method according to claim 13, characterized in that in filtering out the irrelevant traffic sign, the traffic sign is filtered out as an irrelevant traffic sign when the horizontal and vertical dimensions of the traffic sign differ from each other and the traffic sign whose horizontal and vertical dimensions are different from one another a curved road is vertically installed irrelevant traffic sign.