DE102012201724B4 - TRAFFIC SIGN RECOGNITION DEVICE - Google Patents

TRAFFIC SIGN RECOGNITION DEVICE Download PDF

Info

Publication number
DE102012201724B4
DE102012201724B4 DE102012201724.0A DE102012201724A DE102012201724B4 DE 102012201724 B4 DE102012201724 B4 DE 102012201724B4 DE 102012201724 A DE102012201724 A DE 102012201724A DE 102012201724 B4 DE102012201724 B4 DE 102012201724B4
Authority
DE
Germany
Prior art keywords
traffic sign
recognition device
sign
traffic
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012201724.0A
Other languages
German (de)
Other versions
DE102012201724A1 (en
Inventor
Masanari Takagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102012201724A1 publication Critical patent/DE102012201724A1/en
Application granted granted Critical
Publication of DE102012201724B4 publication Critical patent/DE102012201724B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Verkehrszeichenerkennungsvorrichtung (30), die an einem Kraftfahrzeug zu montieren ist, zum Erkennen eines Verkehrszeichens, das an einer Seite einer Straße oder oberhalb einer Straße, auf der das Fahrzeug des Fahrers, das mit der Verkehrszeichenerkennungsvorrichtung (30) ausgerüstet ist, fährt, aufrecht angebracht ist, wobei die Verkehrszeichenerkennungsvorrichtung (30) aufweist:eine Bilderhalteeinrichtung (20, S400) zum Erhalten von Bilddaten vor dem Kraftfahrzeug, die von einer fahrzeuginternen Kamera (20) aufgenommen werden;eine Erkennungseinrichtung (30, S402 bis S406) zum Erfassen eines Verkehrszeichens auf der Grundlage der Bilddaten, die von der Bilderhalteeinrichtung erhalten werden;eine Verkehrszeichenpositionserfassungseinrichtung (30, 36, S408, S424) zum Erfassen einer Position oder eines Orts des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird; undeine Bestimmungseinrichtung (30, 38, S410, S420 bis S428, S440 bis S444, S450) zum Bestimmen, ob das Verkehrszeichen, das von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist, auf der Grundlage der Position des Verkehrszeichens, die von der Verkehrszeichenpositionserfassungseinrichtung erfasst wird, und von Kartendaten, die in einer Kartendatenspeichereinrichtung (52) gespeichert sind, die Informationen hinsichtlich Verkehrszeichen speichert, wobei das permanente Verkehrszeichen ein Verkehrszeichen ist, das stets an der Straße angebracht ist, und das zeitweilige Verkehrszeichen ein Verkehrszeichen ist, das zeitweilig an der Straße angebracht ist.A traffic sign recognition device (30) to be mounted on a motor vehicle for recognizing a traffic sign erected on a side of a road or above a road on which the driver's vehicle equipped with the traffic sign recognition device (30) is traveling wherein the traffic sign recognition device (30) comprises:an image acquisition device (20, S400) for obtaining image data in front of the motor vehicle, which is picked up by an in-vehicle camera (20);a recognition device (30, S402 to S406) for detecting a traffic sign based on the image data obtained by the image obtaining means;a traffic sign position detecting means (30, 36, S408, S424) for detecting a position or a location of the traffic sign recognized by the recognizing means; anda determination device (30, 38, S410, S420 to S428, S440 to S444, S450) for determining whether the traffic sign recognized by the recognition device is a permanent traffic sign or a temporary traffic sign based on the position of the traffic sign, detected by the traffic sign position detecting means, and map data stored in map data storage means (52) storing information regarding traffic signs, wherein the permanent traffic sign is a traffic sign which is always posted on the road and the temporary traffic sign is a traffic sign , which is temporarily installed on the road.

Description

HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION

1. Gebiet der Erfindung1. Field of the Invention

Die vorliegende Erfindung betrifft Verkehrszeichenerkennungsvorrichtungen, die an Kraftfahrzeugen montiert und in der Lage sind, verschiedene Arten von Verkehrszeichen zu erfassen und zu erkennen, die an der Seite oder oberhalb von Straßen, auf denen die Kraftfahrzeuge fahren, aufrecht angebracht sind.The present invention relates to traffic sign recognition devices mounted on automobiles and capable of detecting and recognizing various types of traffic signs that are erected on the side or above roads on which the automobiles travel.

2. Beschreibung des Stands der Technik2. Description of the Prior Art

Es gibt eine Verkehrszeichenerkennungsvorrichtung, die für verschiedene Arten von Kraftfahrzeugen verwendet werden kann. Die Verkehrszeichenerkennungsvorrichtung, die an einem Kraftfahrzeug montiert ist, erfasst und erkennt verschiedene Verkehrszeichen. Derartige Verkehrszeichen stellen den Nutzern, beispielsweise dem Fahrer eines Kraftfahrzeugs, Informationen hinsichtlich Straßen zur Verfügung. Im Allgemeinen sind Verkehrszeichen an der Seite oder oberhalb von Straßen, auf denen die Kraftfahrzeuge der Fahrer fahren, aufrecht angebracht. Die Verkehrszeichenerkennungsvorrichtung erfasst und erkennt die Art des Verkehrszeichens auf der Grundlage von Bilddaten hinsichtlich einer Szene vor dem Kraftfahrzeug des Fahrers. Die JP 2008 - 276 291 A zeigt eine derartige herkömmliche Verkehrszeichenerkennungsvorrichtung.There is a traffic sign recognition device that can be used for various types of automobiles. The traffic sign recognition device mounted on an automobile detects and recognizes various traffic signs. Traffic signs of this type provide users, for example the driver of a motor vehicle, with information regarding roads. In general, road signs are erected upright at the side or above roads on which drivers' automobiles travel. The traffic sign recognition device detects and recognizes the type of traffic sign based on image data regarding a scene in front of the driver's automobile. The JP 2008 - 276 291 A shows such a conventional traffic sign recognition device.

Die Verkehrszeichenerkennungsvorrichtung, die in der JP 2008 - 276 291 A beschrieben ist, zeigt dem Fahrer eines Kraftfahrzeugs Informationen hinsichtlich Verkehrszeichen, die an der Seite oder oberhalb der Straßen aufrecht angebracht sind, innerhalb einer erfassbaren Zone auf der Grundlage der aufgenommenen Bilddaten. Die Erkennungsgenauigkeit derartiger Bilddaten entspricht einem Abstand zwischen dem Kraftfahrzeug des Fahrers und den erfassten Verkehrszeichen. Da die herkömmliche Verkehrszeichenerkennungsvorrichtung dem Fahrer des Kraftfahrzeugs die Informationen hinsichtlich der erkannten Verkehrszeichen direkt ohne jegliche Verarbeitung zeigt, besteht die Möglichkeit, dass dem Fahrer des Kraftfahrzeugs unrichtige Informationen hinsichtlich der erkannten Verkehrszeichen zur Verfügung gestellt werden.The traffic sign recognition device disclosed in the JP 2008 - 276 291 A shows the driver of a motor vehicle information on traffic signs erected at the side or above the roads within a detectable zone based on the captured image data. The recognition accuracy of such image data corresponds to a distance between the driver's motor vehicle and the detected traffic signs. Since the conventional traffic sign recognition apparatus directly shows the driver of the automobile the information on the recognized traffic sign without any processing, there is a possibility that incorrect information on the recognized traffic sign is provided to the driver of the automobile.

Die DE 10 2008 023 972 A1 offenbart ein Verfahren zur Erkennung von verkehrsrelevanten Informationen in einem fahrenden Fahrzeug, bei dem Sensordaten eines Sensors und Kartendaten eines Navigationssystems zur Erkennung interpretiert werden, wobei die Sensordaten in einer ersten Szeneninterpretation nach enthaltenen verkehrsrelevanten Informationen durchsucht und auf relevante Sensordaten verdichtet werden, die Kartendaten in einer zweiten Szeneninterpretation nach enthaltenen verkehrsrelevanten Informationen durchsucht und auf relevante Kartendaten verdichtet werden, und die relevanten Sensordaten und die relevanten Kartendaten einem Regelwerk zur Interpretation der Sensor- und Kartendaten zugeführt werden, wobei das Regelwerk die Sensordaten und die Kartendaten auswertet und daraufhin ein mit der Auswertung korrespondierendes Ausgabesignal ausgibt.The DE 10 2008 023 972 A1 discloses a method for detecting traffic-related information in a moving vehicle, in which sensor data from a sensor and map data from a navigation system are interpreted for detection, the sensor data being searched in a first scene interpretation for traffic-related information contained and compressed to relevant sensor data, the map data in a second scene interpretation is searched for contained traffic-relevant information and compressed to relevant map data, and the relevant sensor data and the relevant map data are fed to a set of rules for interpreting the sensor and map data, the set of rules evaluating the sensor data and the map data and then a corresponding with the evaluation output signal.

Die DE 199 38 267 A1 offenbart ein Verfahren zur navigierten Befahrbarkeit von elektronisch gespeicherten Straßennetzen für Kraftfahrzeuge, wobei erkannte Verkehrszeichen in einer navigierbaren elektronischen Streckenkarte standortbezogen abgespeichert werden.The DE 199 38 267 A1 discloses a method for navigating electronically stored road networks for motor vehicles, with recognized traffic signs being stored in relation to location in a navigable electronic route map.

Die DE 10 2007 055 208 A1 offenbart eine Fahrzeugnavigationsvorrichtung, die aufweist: eine Grundverkehrsregeldatentabelle, welche Grundverkehrsregeldaten speichert, die Straßensegmenten als Zielen zugeordnet sind; eine vorübergehende Verkehrsregeldatentabelle, welche getrennt von der Grundverkehrsregeldatentabelle erstellt wird und vorübergehende Verkehrsregeldaten enthält, die Straßensegmenten zugeordnet sind und mit Vorzug gegenüber den Grundverkehrsregeldaten angewendet werden; und eine Datenbestimmungseinheit, welche an jedem Straßensegment bestimmt, ob entweder die Grundverkehrsregeldaten oder die vorübergehenden Verkehrsregeldaten angewendet werden, was basierend auf einer Referenzinformation erfolgt, mit der die Verkehrsregeldatengültigkeit bestimmt wird. Die bestimmten Verkehrsregeldaten werden dann ausgegeben.The DE 10 2007 055 208 A1 discloses a vehicle navigation device comprising: a basic traffic regulation data table storing basic traffic regulation data associated with road segments as destinations; a temporary traffic regulation data table which is created separately from the basic traffic regulation data table and contains temporary traffic regulation data which are associated with road segments and are applied in preference to the basic traffic regulation data; and a data determination unit which determines at each road segment whether either the basic traffic regulation data or the temporary traffic regulation data is applied based on reference information used to determine the traffic regulation data validity. The determined traffic regulation data is then output.

ZUSAMMENFASSUNGSUMMARY

Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Verkehrszeichenerkennungsvorrichtung mit hoher Erkennungsgenauigkeit zu schaffen, die in der Lage ist, auf der Grundlage des Orts der Verkehrszeichen, die an der Seite oder oberhalb einer Straße, auf der die Kraftfahrzeuge der Fahrer fahren, aufrecht angebracht sind, ein permanentes Verkehrszeichen von einem zeitweiligen Verkehrszeichen zu unterscheiden. Die Aufgabe wird durch eine Verkehrszeichenerkennungsvorrichtung mit den Merkmalen des Anspruchs 1 gelöst. Die abhängigen Ansprüche sind auf vorteilhafte Weiterbildungen der Erfindung gerichtet.Therefore, an object of the present invention is to provide a traffic sign recognition device capable of high recognition accuracy, based on the location of traffic signs placed upright on the side or above a road on which drivers' automobiles are traveling are to distinguish a permanent traffic sign from a temporary traffic sign. The object is achieved by a traffic sign recognition device having the features of claim 1. The dependent claims are directed to advantageous developments of the invention.

Ein permanentes Verkehrszeichen könnte von einem zeitweiligen Verkehrszeichen im Hinblick auf das Folgende unterschieden werden. Ein derartiges permanentes Verkehrszeichen ist beispielsweise stets an der Seite einer Straße an demselben Ort aufrecht angebracht. Andererseits ist ein derartiges zeitweiliges Verkehrszeichen aufgrund beispielsweise von Bauarbeiten zeitweilig an einer Straße angebracht. Da ein derartiges permanentes Verkehrszeichen als Kartendaten in einer Kartendatenbank eines Fahrzeugnavigationssystems gespeichert wird, ist es im Allgemeinen möglich, dass die Verkehrszeichenerkennungsvorrichtung verschiedene Arten von Verkehrszeichen, die an der Seite oder oberhalb einer Straße aufrecht angebracht sind, mit hoher Genauigkeit durch Vergleichen der Art des erkannten Verkehrszeichens mit den Arten der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, erkennen.A permanent traffic sign could be distinguished from a temporary traffic sign with regard to the following. Such a permanent road sign, for example, is always erected on the side of a road at the same place. On the other hand, such a time Temporary traffic sign temporarily attached to a road due to construction work, for example. In general, since such a permanent traffic sign is stored as map data in a map database of a car navigation system, it is possible for the traffic sign recognition apparatus to recognize various types of traffic signs erected on the side or above a road with high accuracy by comparing the type of the detected Recognize road signs with the types of road signs stored in the map database.

Da ein derartiges zeitweiliges Verkehrszeichen zeitweilig an einer Straße angebracht ist, besitzt die Kartendatenbank andererseits keine Informationen hinsichtlich eines derartigen zeitweiligen Verkehrszeichens. Es ist daher unmöglich, die Art des erkannten Verkehrszeichens mit den Arten der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, zu vergleichen.On the other hand, since such a temporary traffic sign is temporarily posted on a road, the map database has no information regarding such a temporary traffic sign. It is therefore impossible to compare the type of traffic sign recognized with the types of traffic signs stored in the map database.

Es gibt jedoch ein zeitweiliges Verkehrszeichen, das anschließend an ein anderes zeitweiliges Verkehrszeichen entlang einer Vorwärtsrichtung des Kraftfahrzeugs installiert werden muss, aber nicht anschließend an ein permanentes Verkehrszeichen. However, there is a temporary traffic sign that must be installed contiguous to another temporary traffic sign along a forward direction of the motor vehicle, but not contiguous to a permanent traffic sign.

Wenn eine Verkehrszeichenerkennungsvorrichtung ein erkanntes zeitweiliges Verkehrszeichen feststellt, ist es außerdem möglich, Informationen hinsichtlich des erkannten zeitweiligen Verkehrszeichens in einer Kartendatenbank zu speichern. Wenn in diesem Fall die Verkehrszeichenerkennungsvorrichtung das zeitweilige Verkehrszeichen nach dem Speichern der Informationen hinsichtlich des zeitweiligen Verkehrszeichens in der Kartendatenbank an einem anderen Tag erfasst, ist es beispielsweise möglich, dass die Verkehrszeichenerkennungsvorrichtung das erkannte zeitweilige Verkehrszeichen durch Vergleichen mit den Informationen hinsichtlich der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, richtig feststellt.In addition, when a traffic sign recognition device detects a recognized temporary traffic sign, it is possible to store information regarding the recognized temporary traffic sign in a map database. In this case, if the traffic sign recognition device detects the temporary traffic sign after storing the information regarding the temporary traffic sign in the map database on another day, it is possible, for example, that the traffic sign recognition device detects the temporary traffic sign by comparing with the information regarding the traffic sign stored in stored in the map database correctly.

Es ist daher möglich, dass die Verkehrszeichenerkennungsvorrichtung ein zeitweiliges Verkehrszeichen mit hoher Genauigkeit durch Unterscheiden eines permanenten Verkehrszeichens von einem zeitweiligen Verkehrszeichen auf der Grundlage der Verwendung verschiedener Installationsbedingungen von zeitweiligen Verkehrszeichen und des Speicherns von Informationen hinsichtlich der zeitweiligen Verkehrszeichen in der Kartendatenbank erkennt.It is therefore possible for the traffic sign recognition device to recognize a temporary traffic sign with high accuracy by distinguishing a permanent traffic sign from a temporary traffic sign based on using various installation conditions of temporary traffic signs and storing information regarding the temporary traffic signs in the map database.

Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert. Die Verkehrszeichenerkennungsvorrichtung 30 erfasst und erkennt ein Verkehrszeichen. Das Verkehrszeichen ist an der Seite oder oberhalb einer Straße, auf der ein Kraftfahrzeug eines Fahrers, das mit der Verkehrszeichenerkennungsvorrichtung 30 ausgerüstet ist, fährt, aufrecht angebracht. Die Verkehrszeichenerkennungsvorrichtung 30 weist eine Bilderhalteeinrichtung bzw. Bilderlangungseinrichtung 20, eine Erkennungseinrichtung 30, eine Verkehrszeichenpositionserfassungseinrichtung 30, 36 und eine Feststellungseinrichtung bzw. Bestimmungseinrichtung 30, 38 auf. Die Funktion der Bilderhalteeinrichtung 20 wird durch den Schritt S400 ausgeführt. Die Funktion der Erkennungseinrichtung 30 wird durch die Schritte S402 bis S406 ausgeführt. Die Funktion der Verkehrszeichenpositionserfassungseinrichtung 30, 36 wird durch die Schritte S408 und S424 ausgeführt. Die Funktion der Bestimmungseinrichtung 30, 38 wird durch die Schritte S410, S420, S428, S440 bis S444 und S450 ausgeführt.The traffic sign recognition device 30 according to the exemplary embodiment of the present invention is mounted on an automobile. The traffic sign recognition device 30 detects and recognizes a traffic sign. The traffic sign is erected on the side or above a road on which a driver's automobile equipped with the traffic sign recognition device 30 runs. The traffic sign recognition device 30 has an image holding device or image acquisition device 20, a recognition device 30, a traffic sign position detection device 30, 36 and a determination device or determination device 30, 38. The function of the image capture device 20 is performed by step S400. The function of the recognizer 30 is performed through steps S402 to S406. The function of the traffic sign position detector 30, 36 is performed by steps S408 and S424. The function of the determination device 30, 38 is carried out by steps S410, S420, S428, S440 to S444 and S450.

Insbesondere erhält bzw. erlangt die Bilderhalteeinrichtung, beispielsweise eine fahrzeuginterne Kamera, Bilddaten vor dem Kraftfahrzeug, die von ihr aufgenommen werden. Die Erkennungseinrichtung erkennt ein Verkehrszeichen auf der Grundlage der Bilddaten, die von der Bilderhalteeinrichtung erhalten werden. Die Verkehrszeichenpositionserfassungseinrichtung erfasst eine Position oder einen Ort des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird. Die Bestimmungseinrichtung bestimmt auf der Grundlage der Position des Verkehrszeichens, das von der Verkehrszeichenpositionserfassungseinrichtung erkannt wird, und von Kartendaten, die in einer Kartendatenspeichereinrichtung 52 gespeichert sind, ob das Verkehrszeichen, das von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Die Kartendatenspeichereinrichtung speichert Informationen hinsichtlich Verkehrszeichen. Das permanente Verkehrszeichen ist ein Verkehrszeichen, das stets an oder auf der Seite einer Straße aufrecht angebracht ist, und das zeitweilige Verkehrszeichen ist ein Verkehrszeichen, das zeitweilig an oder auf der Seite der Straße aufrecht angebracht ist.In particular, the image holding device, for example an in-vehicle camera, receives or acquires image data in front of the motor vehicle, which it records. The recognition device recognizes a traffic sign based on the image data obtained from the image obtaining device. The traffic sign position detection device detects a position or a location of the traffic sign recognized by the detection device. The determining means determines whether the traffic sign recognized by the recognizing means is a permanent sign or a temporary sign based on the position of the traffic sign recognized by the traffic sign position detecting device and map data stored in a map data storage device 52. The map data storage device stores information regarding road signs. The permanent traffic sign is a traffic sign that is always erected on or on the side of a road, and the temporary traffic sign is a traffic sign that is temporarily erected on or on the side of the road.

Da ein permanentes Verkehrszeichen stets an derselben Position einer Straße angebracht ist und ein zeitweiliges Verkehrszeichen andererseits an einer unregelmäßigen bzw. wechselnden Position, die sich von der Position des permanenten Verkehrszeichens unterscheidet, angebracht ist, ist es möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 die Positionen des permanenten Verkehrszeichens und des zeitweiligen Verkehrszeichens auf der Grundlage der Position des erkannten Verkehrszeichens an der Straße und der Datenteile, die in der Kartendatenbank gespeichert sind, richtig erkennt. Außerdem ist es dadurch möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 mit hoher Genauigkeit richtig bestimmt, ob das erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist.Since a permanent traffic sign is always posted at the same position on a road and a temporary traffic sign, on the other hand, is posted at an irregular or changing position that differs from the position of the permanent traffic sign, it is possible for the traffic sign recognition device 30 to recognize the positions of the permanent traffic sign correctly recognizes the traffic sign and the temporary traffic sign based on the position of the recognized traffic sign on the road and the pieces of data stored in the map database. In addition, it is possible It is clear that the traffic sign recognition device 30 correctly determines whether the recognized traffic sign is a permanent traffic sign or a temporary traffic sign with high accuracy.

Somit erkennt die Verkehrszeichenerkennungsvorrichtung 30 verschiedene Verkehrszeichen durch Unterscheiden eines permanenten Verkehrszeichens von einem zeitweiligen Verkehrszeichen. Dieses macht es möglich, ein geeignetes Verfahren zum richtigen Bestimmen des erfassten zeitweiligen Verkehrszeichens auszuwählen und zu verwenden und die Erkennungsgenauigkeit zu erhöhen.Thus, the traffic sign recognition device 30 recognizes various traffic signs by distinguishing a permanent traffic sign from a temporary traffic sign. This makes it possible to select and use an appropriate method for correctly determining the detected temporary traffic sign and to increase the recognition accuracy.

Figurenlistecharacter list

Im Folgenden wird eine bevorzugte Ausführungsform der vorliegenden Erfindung mit Bezug auf die zugehörigen Zeichnungen beschrieben, die zeigen:

  • 1 ein Blockdiagramm, das ein Verkehrszeichenerkennungssystem, das mit einer Verkehrszeichenerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ausgerüstet ist, zeigt;
  • 2A eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung unrichtige Ergebnisse der Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens bereitstellt;
  • 2B eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung richtige Ergebnisse der Erkennung der permanenten Verkehrszeichen und des zeitweiligen Verkehrszeichens in einer Kartendatenbank speichert;
  • 3 eine Ansicht, die Bedingungen zeigt, in denen Verkehrszeichen an der Seite von Straßen aufrecht angebracht sind;
  • 4 ein Flussdiagramm, das einen Verkehrszeichenerkennungsprozess, der von der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung ausgeführt wird, zeigt;
  • 5 ein Flussdiagramm, das einen detaillierten Prozess zum Bestimmen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt; und
  • 6 ein Flussdiagramm, das einen detaillierten Prozess zum Bereitstellen von Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt.
A preferred embodiment of the present invention is described below with reference to the accompanying drawings, which show:
  • 1 12 is a block diagram showing a traffic sign recognition system equipped with a traffic sign recognition device according to an embodiment of the present invention;
  • 2A 12 is a view showing a case where the traffic sign recognition device provides incorrect results of recognition of permanent traffic signs and a temporary traffic sign;
  • 2 B 12 is a view showing a case where the traffic sign recognition device stores correct results of recognition of the permanent traffic sign and the temporary traffic sign in a map database;
  • 3 a view showing conditions in which road signs are erected at the side of roads;
  • 4 12 is a flowchart showing a traffic sign recognition process executed by the traffic sign recognition device according to the embodiment of the present invention;
  • 5 FIG. 14 is a flowchart showing a detailed process of determining a permanent traffic sign and a temporary traffic sign in the traffic sign recognition process described in FIG 4 is shown, shows; and
  • 6 FIG. 14 is a flowchart showing a detailed process of providing information regarding a speed limit traffic sign in the traffic sign recognition process described in FIG 4 is shown, shows.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

Im Folgenden werden verschiedene Ausführungsformen der vorliegenden Erfindung mit Bezug auf die zugehörigen Zeichnungen beschrieben. In der folgenden Beschreibung der verschiedenen Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder äquivalente Teile in den verschiedenen Diagrammen.Various embodiments of the present invention are described below with reference to the accompanying drawings. In the following description of the various embodiments, the same reference numbers designate the same or equivalent parts in the various diagrams.

Ausführungsformembodiment

Es folgt eine Beschreibung einer Verkehrszeichenerkennungsvorrichtung in einem Verkehrszeichenerkennungssystem gemäß einer Ausführungsform der vorliegenden Erfindung mit Bezug auf die 1 bis 6.A traffic sign recognition device in a traffic sign recognition system according to an embodiment of the present invention will be described with reference to FIG 1 until 6 .

1 ist ein Blockdiagramm, das das Verkehrszeichenerkennungssystem 10, das mit der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform der vorliegenden Erfindung ausgerüstet ist, zeigt. 1 12 is a block diagram showing the traffic sign recognition system 10 equipped with the traffic sign recognition device 30 according to the embodiment of the present invention.

Wie es in 1 gezeigt ist, weist das Verkehrszeichenerkennungssystem 10 eine fahrzeuginterne Kamera 20, eine Verkehrszeichenerkennungsvorrichtung 30, ein globales Positionierungssystem (GPS) 50, eine Kartendatenbank 52, eine Anzeigevorrichtung 60, einen Indikator 62 (Anzeige), einen Lautsprecher 64, etc. auf. Die Verkehrszeichenerkennungsvorrichtung 30 ist an einem Kraftfahrzeug montiert.like it in 1 As shown, traffic sign recognition system 10 includes an in-vehicle camera 20, a traffic sign recognition device 30, a global positioning system (GPS) 50, a map database 52, a display device 60, an indicator 62 (display), a speaker 64, etc. The traffic sign recognition device 30 is mounted on an automobile.

Die fahrzeuginterne Kamera 20 weist eine Linse 22 und einen Festkörperbildsensor 24 auf, der in der Lage ist, eine Szene vor dem Kraftfahrzeug zu erfassen. Der Festkörperbildsensor 24 empfängt Erfassungssignale des vorderen Bilds, die von der Linse 22 in der fahrzeuginternen Kamera 20 erhalten werden, und wandelt die empfangenen Erfassungssignale in vordere Bilddaten bzw. Vorderbilddaten um.The in-vehicle camera 20 includes a lens 22 and a solid-state image sensor 24 capable of capturing a scene in front of the motor vehicle. The solid-state image sensor 24 receives front image detection signals obtained from the lens 22 in the in-vehicle camera 20 and converts the received detection signals into front image data.

Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform weist einen Bilderstellungsabschnitt 32, einen Verkehrszeichenerfassungsabschnitt 34, einen Verkehrszeichenerkennungsabschnitt 36, einen Bestimmungsabschnitt 38, einen Informationssteuerabschnitt 40, einen Registrierungssteuerabschnitt 42, etc. auf.The traffic sign recognition device 30 according to the embodiment has an image creation section 32, a traffic sign detection section 34, a traffic sign recognition section 36, a determination section 38, an information control section 40, a registration control section 42, etc.

Es ist möglich, einen Mikrocomputer zu verwenden, der aus einer zentralen Verarbeitungseinheit (CPU), einem Speicher mit wahlfreiem Zugriff (RAM), einem Nur-LeseSpeicher (ROM), etc. besteht, um jeweils den Bilderstellungsabschnitt 32, den Verkehrszeichenerfassungsabschnitt 34, den Verkehrszeichenerkennungsabschnitt 36, den Bestimmungsabschnitt 38, den Informationsteuerabschnitt 40 und den Registrierungssteuerabschnitt 42 alleine oder zusammen zu realisieren.It is possible to use a microcomputer composed of a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), etc Traffic sign recognition section 36, den determination section 38, the information control section 40 and the registration control section 42 alone or together.

Der Bilderstellungsabschnitt 32 führt einen Prozess zum Extrahieren von Umrissen (oder Kanten) eines Objekts aus den vorderen Bilddaten, die von dem Festkörperbildsensor 24 in der Kameravorrichtung 20 erhalten werden, aus.The imaging section 32 performs a process of extracting outlines (or edges) of an object from the front image data obtained from the solid-state image sensor 24 in the camera device 20 .

Der Verkehrszeichenerfassungsabschnitt 34 erfasst ein Verkehrszeichen aus dem Umrissbild, das von dem Bilderstellungsabschnitt 32 erzeugt wird, wenn das erhaltene Umrissbild des erkannten Objekts eine ähnliche oder gleiche Gestalt wie ein Zeichen, das beispielsweise in dem ROM gespeichert ist, aufweist.The traffic sign detecting section 34 detects a traffic sign from the outline image generated by the image generating section 32 when the obtained outline image of the recognized object has a similar or same shape as a sign stored in the ROM, for example.

Der Verkehrszeichenerkennungsabschnitt 36 führt eine Bildanalyse der Bilddaten, die von dem Verkehrszeichenerfassungsabschnitt 34 als ein Verkehrszeichen erkannt werden, aus und erkennt die Art des Verkehrszeichens auf der Grundlage des Umrisses, der Farbe, des Schriftbilds und der Gestalt der Bilddaten.The traffic sign recognition section 36 performs image analysis of the image data recognized as a traffic sign by the traffic sign detection section 34 and recognizes the kind of the traffic sign based on the outline, color, typeface and shape of the image data.

Der Bestimmungsabschnitt 38 bestimmt, ob das Verkehrszeichen, das von dem Verkehrszeichenerkennungsabschnitt 36 erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Wenn das Bestimmungsergebnis angibt, dass das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, bestimmt der Bestimmungsabschnitt 38, ob die Erkennung richtig ist.The determination section 38 determines whether the traffic sign recognized by the traffic sign recognition section 36 is a permanent traffic sign or a temporary traffic sign. When the determination result indicates that the recognized traffic sign is a temporary traffic sign, the determination section 38 determines whether the recognition is correct.

Der Informationssteuerabschnitt 40 weist die Anzeigevorrichtung 60 an, das Verkehrszeichen, das derzeitig erkannt wird, anzuzeigen, wenn das Bestimmungsergebnis das richtige Verkehrszeichen angibt, weist den Indikator 62, der dem erkannten Verkehrszeichen entspricht, an sich einzuschalten, d. h. zu leuchten, und weist außerdem den Lautsprecher 64 an, Informationen hinsichtlich des erkannten Verkehrszeichens auszugeben. Wenn andererseits eine die Erkennung nicht richtig ist, werden dem Fahrer des Kraftfahrzeugs keine Informationen zur Verfügung gestellt. Die folgende Erläuterung zeigt ein Beispiel eines Geschwindigkeitsbegrenzungszeichens als ein Verkehrszeichen, dessen Informationen dem Fahrer des Kraftfahrzeugs zur Verfügung gestellt werden.The information control section 40 instructs the display device 60 to display the traffic sign currently being recognized, when the determination result indicates the correct traffic sign, instructs the indicator 62 corresponding to the recognized traffic sign to turn on per se, i.e. to turn on. H. to light up, and also instructs the speaker 64 to output information regarding the recognized traffic sign. On the other hand, if one of the detections is incorrect, no information is provided to the driver of the motor vehicle. The following explanation shows an example of a speed limit sign as a traffic sign whose information is provided to the driver of the motor vehicle.

Der Registrierungssteuerabschnitt 42 speichert die Art des zeitweiligen Verkehrszeichens, das richtig erkannt wird, in der Kartendatenbank (Karten-DB) 52. Wenn andererseits eine unrichtige Erkennung eines zeitweiligen Verkehrszeichens vorliegt, speichert der Registrierungssteuerabschnitt 42 die Informationen hinsichtlich der Art und der Koordinaten nicht in der Kartendatenbank 52.The registration control section 42 stores the type of temporary traffic sign that is correctly recognized in the map database (map DB) 52. On the other hand, when there is incorrect recognition of a temporary traffic sign, the registration control section 42 does not store the information on the type and coordinates in the Map database 52.

(Prozess zum Erkennen eines Verkehrszeichens)(process for recognizing a traffic sign)

2A ist eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung 30 unrichtige Ergebnisse einer Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens bereitstellt. 2B ist eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung 30 richtige Ergebnisse einer Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens in einer Kartendatenbank speichert. 2A 14 is a view showing a case where the traffic sign recognition device 30 provides incorrect results of recognition of permanent traffic signs and a temporary traffic sign. 2 B 14 is a view showing a case where the traffic sign recognition device 30 stores correct results of recognition of permanent traffic signs and a temporary traffic sign in a map database.

Wie es in den 2A und 2B gezeigt ist, enthalten die Kartendaten, die in der Kartendatenbank 52 gespeichert sind, Daten und Verbindungsglieder und Knoten, die Straßen ausdrücken. Das Verbindungsglied verbindet benachbarte Knoten, die Kreuzungen, Verzweigungen, Übergänge, etc. ausdrücken, miteinander. Eine Verbindung zwischen Knoten drückt eine Straße aus.Like it in the 2A and 2 B 1, the map data stored in the map database 52 includes data and links and nodes expressing roads. The link connects adjacent nodes expressing intersections, branches, transitions, etc. with each other. A connection between nodes expresses a road.

Jeder Verbindungsglieddatenteil enthält eine Identifikationsnummer, eine Länge des Verbindungsglieds, einen Längen- und Breitengrad einer Koordinate eines Startpunkts und eines Zielpunkts, die Art einer Straße wie beispielsweise Schnellstraße, Nationalstraße, etc., die Anzahl von Fahrbahnen bzw. Fahrspuren einer Straße, etc.Each piece of link data includes an identification number, a longitude of the link, a longitude and latitude, a coordinate of a starting point and a destination point, the kind of a road such as expressway, national road, etc., the number of lanes of a road, etc.

Jeder Knotendatenteil enthält eine Koordinate einer Straße, eine Identifikationsnummer eines Verbindungsglieds, das mit dem Knoten verbunden ist, Arten von Verkehrszeichen innerhalb einer vorbestimmten Zone, die von dem Knoten ausgehend gemessen wird, etc.Each piece of node data includes a coordinate of a road, an identification number of a link connected to the node, types of traffic signs within a predetermined zone measured from the node, etc.

Das permanente Verkehrszeichen ist, wie es zuvor beschrieben wurde, innerhalb einer vorbestimmten Zone, die von dem Knoten der Kartendaten, beispielsweise innerhalb einer 10 m-Zone, die von dem Knoten der Kartendaten ausgehend gemessen wird, an einer Straße angeordnet.As described above, the permanent traffic sign is arranged on a road within a predetermined zone measured from the node of the map data, for example, within a 10 m zone measured from the node of the map data.

Andererseits ist das zeitweilige Verkehrszeichen, wie es zuvor beschrieben wurde, außerhalb der vorbestimmten Zone, die von dem Knoten ausgehend gemessen wird, angeordnet.On the other hand, the temporary traffic sign as described above is located outside the predetermined zone measured from the node.

Die Verkehrszeichenerkennungsvorrichtung 30 kann den Ort eines erkannten Verkehrszeichens auf der Grundlage eines Abstands zu einem derzeitigen Ort des Kraftfahrzeugs des Fahrers, der mittels des GPS 50 erhalten wird, erfassen. Die Verkehrszeichenerkennungsvorrichtung 30 kann auf der Grundlage der Informationen hinsichtlich des Orts des Verkehrszeichens und der Kartendaten, die in der Kartendatenbank 52 gespeichert sind, überprüfen bzw. bestimmen, ob das erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist.The traffic sign recognition device 30 can detect the location of a recognized traffic sign based on a distance to a current location of the driver's automobile obtained using the GPS 50 . The traffic sign recognition device 30 can check or determine whether the recognized traffic sign is a traffic sign based on the information on the location of the traffic sign and the map data stored in the map database 52 chen is a permanent traffic sign or a temporary traffic sign.

Wenn das Bestimmungsergebnis angibt, dass das erkannte Verkehrszeichen eines der permanenten Verkehrszeichen ist, vergleicht die Verkehrszeichenerkennungsvorrichtung 30 die Art des erkannten Verkehrszeichens mit der Art der jeweiligen Verkehrszeichen, die bereits mit dem Knoten verbunden und in der Kartendatenbank 52 gespeichert sind. Es ist möglich, die Erkennungsgenauigkeit beim Erfassen des Verkehrszeichens auf der Grundlage der Bilddaten durch Erhöhen eines Erkennungsgewichts der Verkehrszeichen, die mit den Knoten verbunden sind, zu erhöhen.When the determination result indicates that the recognized road sign is one of the permanent road signs, the road sign recognition device 30 compares the type of the recognized road sign with the types of the respective road signs already associated with the node and stored in the map database 52 . It is possible to increase the recognition accuracy in detecting the road sign based on the image data by increasing a recognition weight of the road signs connected to the nodes.

Da ein zeitweiliges Verkehrszeichen zeitweilig an einer Straße angebracht ist, ist dieses andererseits in der Kartendatenbank 52 nicht gespeichert. Dementsprechend ist es notwendig, dass die Verkehrszeichenerkennungsvorrichtung 30 die Bilddaten, die von der Kamera 20 aufgenommen werden, analysiert, um ein derartiges zeitweiliges Verkehrszeichen richtig zu erkennen.On the other hand, since a temporary traffic sign is temporarily posted on a road, it is not stored in the map database 52 . Accordingly, it is necessary for the traffic sign recognition device 30 to analyze the image data picked up by the camera 20 in order to correctly recognize such a temporary traffic sign.

Wie es in 2A gezeigt ist, besteht, wenn die Kamera 20 ein Objekt aufnimmt, das einem Endzeichen einer Verkehrsbegrenzung ähnelt, beispielsweise ein zeitweiliges Verkehrszeichen, das „Ende oder Beendigung einer Geschwindigkeitsbegrenzung“ angibt, die Möglichkeit, dass die Verkehrszeichenerkennungsvorrichtung 30 keine richtige Erkennung durchführt, bei der das erfasste zeitweilige Verkehrszeichen eines der Endzeichen von Verkehrsbegrenzungen, beispielsweise ein Endzeichen einer Geschwindigkeitsbegrenzung, ist.like it in 2A As shown, if the camera 20 captures an object resembling a traffic limit end sign, such as a temporary traffic sign indicating "end or termination of a speed limit," there is a possibility that the traffic sign recognition device 30 will not perform proper recognition in which the detected temporary traffic signs is one of the end signs of traffic restrictions, for example a speed limit end sign.

Die Markierung bzw. das Zeichen, die bzw. das auf der oberen rechten Seite der 2A gezeigt ist, weist beispielsweise eine Stabgestalt auf und ähnelt einem Endzeichen einer Verkehrsbegrenzung, ist aber kein zeitweiliges Verkehrszeichen, da das Endzeichen einer Verkehrsbegrenzung eine kreisförmige Gestalt aufweist, wie es auf der mittleren rechten Seite der 2A gezeigt ist. Das heißt, die Markierung, die auf der oberen rechten Seite der 2A gezeigt ist, unterscheidet sich von dem zeitweiligen Endzeichen der Verkehrsbegrenzung, das auf der mittleren rechten Seite der 2A gezeigt ist. Es besteht jedoch die Möglichkeit, dass die Verkehrszeichenerkennungsvorrichtung 30 keine richtige Erkennung durchführt, so dass der Umriss der Markierung auf der oberen rechten Seite der 2A als gleich dem kreisförmigen Umriss des zeitweiligen Verkehrszeichens, das auf der mittleren rechten Seite der 2A gezeigt ist, erkannt wird, so dass daher die Markierung auf der oberen rechten Seite der 2A als gleich dem zeitweiligen Verkehrszeichen, das auf der mittleren rechten Seite der 2A gezeigt ist, erkannt wird.The mark or character that appears on the upper right side of the 2A is shown has, for example, a stick shape and resembles a traffic boundary end sign, but is not a temporary traffic sign since the traffic boundary end sign has a circular shape as shown on the center right side of FIG 2A is shown. That is, the mark that is on the upper right side of the 2A is different from the temporary traffic restriction stop sign shown on the center right side of the 2A is shown. However, there is a possibility that the traffic sign recognition device 30 does not perform proper recognition, so the outline of the mark on the upper right side of the 2A as equal to the circular outline of the temporary traffic sign displayed on the middle right side of the 2A is recognized, hence the mark on the upper right side of the 2A as equal to the temporary traffic sign displayed on the middle right side of the 2A is shown is recognized.

3 ist eine Ansicht, die Bedingungen zeigt, in denen Verkehrszeichen an der Seite von Straßen aufrecht angebracht sind. 3 14 is a view showing conditions where road signs are erected on the side of roads.

Wie es in 3 gezeigt ist, ist die Änderung einer Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Geschwindigkeitsbegrenzungszeichens unabhängig von der Art eines zuvor erkannten Geschwindigkeitsbegrenzungsverkehrszeichens wirksam, d. h. unabhängig davon, ob dieses ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist.like it in 3 As shown, changing a speed limit using a temporary speed limit sign is effective regardless of the type of previously recognized speed limit sign, ie whether it is a permanent speed limit sign or a temporary speed limit sign.

Andererseits ist es nur dann möglich, eine Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Endzeichens einer Verkehrsbegrenzung zu beenden, wenn das zuvor erkannte Geschwindigkeitsbegrenzungsverkehrszeichen ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist. Es ist jedoch nicht möglich, eine Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Endzeichens einer Verkehrsbegrenzung zu beenden, wenn das zuvor erkannte Geschwindigkeitsbegrenzungsverkehrszeichen ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen ist. Das heißt, wenn das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist und das zuvor erkannte Verkehrszeichen ein permanentes Geschwindigkeitsbegrenzungszeichen ist, kann bestimmt bzw. festgestellt werden, dass die Verkehrszeichenerkennungsvorrichtung die Erkennung, dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist, nicht richtig durchgeführt hat.On the other hand, it is only possible to end a speed limit using a temporary end traffic limit sign if the previously recognized speed limit traffic sign is a temporary speed limit traffic sign. However, it is not possible to end a speed limit using a temporary end traffic limit sign if the previously recognized speed limit traffic sign is a permanent speed limit traffic sign. That is, if the currently recognized traffic sign is a temporary traffic limit stop sign and the previously detected traffic sign is a permanent speed limit sign, it can be determined that the traffic sign recognition device is unable to recognize that the currently recognized traffic sign is a temporary traffic limit stop sign performed correctly.

Andererseits ist es, wie es in 2B gezeigt ist, möglich, ein Geschwindigkeitsbegrenzungsverkehrszeichen als ein zeitweiliges Verkehrszeichen unabhängig von der Art eines zuvor erkannten Verkehrszeichens, d. h. unabhängig davon, ob dieses ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, anzubringen. Wenn dementsprechend ein Geschwindigkeitsbegrenzungsverkehrszeichen als ein zeitweiliges Verkehrszeichen erkannt wird, ist es möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 die Art und die Koordinaten des erkannten zeitweiligen Verkehrszeichens als ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen in der Kartendatenbank 52 speichert. Dieses macht es möglich, ein zeitweiliges Verkehrszeichen mit hoher Genauigkeit durch Vergleichen des derzeitig erkannten Verkehrszeichens mit den Daten hinsichtlich des zeitweiligen Geschwindigkeitsbegrenzungsverkehrszeichens, die in der Kartendatenbank 52 gespeichert sind, zu erfassen.On the other hand, it is how it is in 2 B as shown, it is possible to apply a speed limit traffic sign as a temporary traffic sign regardless of the type of previously recognized traffic sign, ie whether this is a permanent speed limit traffic sign or a temporary speed limit traffic sign. Accordingly, when a speed limit traffic sign is recognized as a temporary traffic sign, it is possible for the traffic sign recognition device 30 to store the type and coordinates of the recognized temporary traffic sign in the map database 52 as a temporary speed limit traffic sign. This makes it possible to detect a temporary traffic sign with high accuracy by comparing the currently recognized traffic sign with the data stored in the map database 52 on the temporary speed limit traffic sign.

(Prozess zum Erkennen und Informieren über Verkehrszeichen)(Process for recognizing and informing about traffic signs)

Es folgt eine Beschreibung des Prozesses zum Erkennen eines Verkehrszeichens und zum Anzeigen des Erkennungsergebnisses für den Fahrer eines Kraftfahrzeugs, das mit dem Verkehrszeichenerkennungssystem 10, das die Verkehrszeichenerkennungsvorrichtung 30 aufweist, ausgerüstet ist, mit Bezug auf die 4 bis 6.The following is a description of the process of recognizing a traffic sign and displaying the recognition result to the driver of an automobile equipped with the traffic sign recognition system 10 having the traffic sign recognition device 30, with reference to FIG 4 until 6 .

4 ist ein Flussdiagramm, das den Prozess einer Hauptroutine zum Erkennen von Verkehrszeichen zeigt, der von der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform der vorliegenden Erfindung ausgeführt wird. 4 14 is a flowchart showing the process of a main routine for recognizing traffic signs, which is executed by the traffic sign recognition device 30 according to the embodiment of the present invention.

5 ist ein Flussdiagramm, das einen detaillierten Prozess zum Bestimmen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt. 6 ist ein Flussdiagramm, das einen detaillierten Prozess zum Bereitstellen von Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt. 4, 5 und 6 zeigen den Prozess zum Erkennen von Verkehrszeichen wie beispielsweise eines Geschwindigkeitsbegrenzungsverkehrszeichens und eines Endzeichens einer Verkehrsbegrenzung. In den 4 bis 6 gibt das Bezugszeichen „S“ einen Schritt in dem Prozess an, beispielsweise „Schritt S400“. Das heißt, 5 zeigt den detaillierten Prozess des Schritts S408, der in 4 gezeigt ist. 6 zeigt den detaillierten Prozess des Schritts S410, der in 4 gezeigt ist. 5 FIG. 12 is a flowchart showing a detailed process of determining a permanent traffic sign and a temporary traffic sign in the traffic sign recognition process described in FIG 4 is shown, shows. 6 FIG. 14 is a flowchart showing a detailed process for providing information regarding a speed limit traffic sign in the traffic sign recognition process described in FIG 4 is shown, shows. 4 , 5 and 6 show the process of recognizing traffic signs such as a speed limit traffic sign and a traffic limit end sign. In the 4 until 6 the reference character "S" indicates a step in the process, for example "step S400". That means, 5 shows the detailed process of step S408 shown in 4 is shown. 6 shows the detailed process of step S410 shown in 4 is shown.

Wie es in 4 gezeigt ist, empfängt die Verkehrszeichenerkennungsvorrichtung 30 Bilddaten, die von der Kamera 20 aufgenommen werden (Schritt S400). Die Verkehrszeichenerkennungsvorrichtung 30 führt einen Umrissextrahierungsprozess aus, der Umrisse aus den empfangenen Bilddaten extrahiert, und erstellt erfasste Bilddaten (Schritt S402). Die erfassten Bilddaten werden zum Erfassen eines Verkehrszeichens, das einen kreisförmigen Umriss aufweist, verwendet.like it in 4 1, the traffic sign recognition device 30 receives image data captured by the camera 20 (step S400). The traffic sign recognition device 30 performs an outline extraction process that extracts outlines from the received image data and creates captured image data (step S402). The captured image data is used to capture a traffic sign that has a circular outline.

Die Verkehrszeichenerkennungsvorrichtung 30 erfasst ein Verkehrszeichen, das einen kreisförmigen Umriss aufweist, anhand der Bilddaten, die durch den Umrissextrahierungsprozess verarbeitet werden (Schritt S404).The traffic sign recognition device 30 detects a traffic sign having a circular outline from the image data processed through the outline extracting process (step S404).

Die Verkehrszeichenerkennungsvorrichtung 30 führt einen Mustererkennungsprozess der erfassten Bilddaten für das Verkehrszeichen, das den kreisförmigen Umriss aufweist, aus. Der Mustererkennungsprozess erfasst, ob das erfasste Verkehrszeichen, das den kreisförmigen Umriss aufweist, ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S406).The traffic sign recognition device 30 performs a pattern recognition process of the acquired image data for the traffic sign having the circular outline. The pattern recognition process detects whether the detected traffic sign having the circular outline is a speed limit traffic sign or a speed limit end sign (step S406).

Wenn das Erfassungsergebnis des Schritts S406 angibt, dass das erkannte Verkehrszeichen das Geschwindigkeitsbegrenzungsverkehrszeichen oder das Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S406), erfasst die Verkehrszeichenerkennungsvorrichtung 30, ob dieses ein permanentes oder ein zeitweiliges Verkehrszeichen ist. Wenn das Erfassungsergebnis angibt, das das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, speichert die Verkehrszeichenerkennungsvorrichtung 30 das erkannte Verkehrszeichen in der Kartendatenbank 52 (Schritt S408).When the detection result of step S406 indicates that the recognized traffic sign is the speed limit traffic sign or the end speed limit sign (step S406), the traffic sign recognition device 30 detects whether it is a permanent traffic sign or a temporary traffic sign. When the detection result indicates that the recognized traffic sign is a temporary traffic sign, the traffic sign recognition device 30 stores the recognized traffic sign in the map database 52 (step S408).

Wenn das Erkennungsergebnis, dass das Endzeichen einer Geschwindigkeitsbegrenzung ein zeitweiliges Verkehrszeichen ist, richtig ist, weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60 an, das Geschwindigkeitsbegrenzungsverkehrszeichen nicht anzuzeigen, oder weist den Indikator 62 an, die Anzeige des Geschwindigkeitsbegrenzungszeichens auszuschalten. Außerdem stellt die Verkehrszeichenerkennungsvorrichtung 30 dem Fahrer des Kraftfahrzeugs mittels des Lautsprechers 64 Informationen „Ende einer Geschwindigkeitsbegrenzung“ zur Verfügung (Schritt S410).When the recognition result that the end sign of a speed limit is a temporary traffic sign is correct, the traffic sign recognition device 30 instructs the display device 60 not to display the speed limit traffic sign or instructs the indicator 62 to turn off the display of the speed limit sign. In addition, the traffic sign recognition device 30 provides information “end of a speed limit” to the driver of the motor vehicle via the speaker 64 (step S410).

Wenn andererseits das Erkennungsergebnis, dass das Endzeichen der Geschwindigkeitsbegrenzung ein zeitweiliges Verkehrszeichen ist, nicht richtig ist, weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60 an, die Informationen „Geschwindigkeitsbegrenzungsverkehrszeichen“ kontinuierlich anzuzeigen, oder weist den Indikator 62 an, kontinuierlich zu leuchten. Außerdem weist die Verkehrszeichenerkennungsvorrichtung 30 den Lautsprecher 64 an, kontinuierlich Toninformationen hinsichtlich der Geschwindigkeitsbegrenzung bereitzustellen. Die Verkehrszeichenerkennungsvorrichtung 30 löscht die Daten hinsichtlich des zeitweiligen Verkehrszeichens aus der Kartendatenbank 52 (Schritt S410). On the other hand, when the recognition result that the end sign of the speed limit is a temporary traffic sign is incorrect, the traffic sign recognition device 30 instructs the display device 60 to continuously display the information "speed limit traffic sign" or instructs the indicator 62 to continuously light. In addition, the traffic sign recognition device 30 instructs the speaker 64 to continuously provide audio information regarding the speed limit. The traffic sign recognition device 30 deletes the data regarding the temporary traffic sign from the map database 52 (step S410).

(Schritt zum Erkennen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens)(Step of recognizing a permanent road sign and a temporary road sign)

5 ist ein detailliertes Flussdiagramm, das einen detaillierten Prozess des Schritts S408, der in 4 gezeigt ist, zeigt. In Schritt S420, der in 5 gezeigt ist, bestimmt die Verkehrszeichenerkennungsvorrichtung 30 auf der Grundlage des Erfassungsergebnisses des Schritts S406, der in 4 gezeigt ist, ob das erkannte Verkehrszeichen ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist. 5 Fig. 12 is a detailed flowchart showing a detailed process of step S408 shown in 4 is shown, shows. In step S420, which occurs in 5 1, the traffic sign recognition device 30 determines based on the detection result of step S406 shown in FIG 4 shows whether the recognized traffic sign is on speed limit traffic sign or a speed limit end sign.

Wenn das Erfassungsergebnis des Schritts S420 ein negatives Ergebnis angibt („Nein“ in Schritt S420), das heißt, wenn das Erfassungsergebnis angibt, dass das erkannte Verkehrszeichen kein Geschwindigkeitsbegrenzungsverkehrszeichen und kein Endzeichen einer Geschwindigkeitsbegrenzung ist, beendet die Verkehrszeichenerkennungsvorrichtung 30 den Prozess der Hauptroutine, die in 4 gezeigt ist. In diesem Fall ändert die Verkehrszeichenerkennungsvorrichtung 30 die Informationen, die auf der Anzeigevorrichtung 60 und von dem Indikator 62 anzuzeigen sind, nicht, das heißt, wenn beispielsweise die Anzeigevorrichtung 60 oder der Indikator 62 die Informationen hinsichtlich des Geschwindigkeitsbegrenzungsverkehrszeichens bereitstellt, ändert die Verkehrszeichenerkennungsvorrichtung 30 die Anzeige der Anzeigevorrichtung 60 oder des Indikators 62 nicht. Außerdem weist die Verkehrszeichenerkennungsvorrichtung 30 den Lautsprecher 64 nicht an, Toninformationen auszugeben.When the detection result of step S420 indicates a negative result ("No" in step S420), that is, when the detection result indicates that the recognized traffic sign is not a speed limit traffic sign and a speed limit end sign, the traffic sign recognition device 30 ends the process of the main routine that in 4 is shown. In this case, the traffic sign recognition device 30 does not change the information to be displayed on the display device 60 and by the indicator 62, that is, for example, when the display device 60 or the indicator 62 provides the information regarding the speed limit traffic sign, the traffic sign recognition device 30 changes the display the display device 60 or the indicator 62 does not. In addition, the traffic sign recognition device 30 does not instruct the speaker 64 to output sound information.

Wenn andererseits das Erfassungsergebnis des Schritts S420 ein positives Ergebnis angibt („Ja“ in Schritt S420), das heißt, wenn das Erfassungsergebnis angibt, dass das erkannte Verkehrszeichen ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist, erhält die Verkehrszeichenerkennungsvorrichtung 30 die Informationen bezüglich Knoten um das Fahrzeug des Fahrers auf der Grundlage der Positionsinformationen des Fahrzeugs des Fahrers, die mittels des GPS 50 erhalten werden.On the other hand, when the detection result of step S420 indicates an affirmative result ("Yes" in step S420), that is, when the detection result indicates that the recognized traffic sign is a speed limit traffic sign or a speed limit end sign, the traffic sign recognition device 30 obtains the information regarding nodes um the driver's vehicle based on the position information of the driver's vehicle obtained by the GPS 50 .

Es ist beispielsweise möglich, den Abstand zwischen dem Fahrzeug des Fahrers und dem erkannten Verkehrszeichen auf der Grundlage einer Standardgröße des Verkehrszeichens und der Anzahl der Pixel in den Kartendaten zu berechnen.For example, it is possible to calculate the distance between the driver's vehicle and the recognized traffic sign based on a standard size of the traffic sign and the number of pixels in the map data.

Die Verkehrszeichenerkennungsvorrichtung 30 bestimmt auf der Grundlage des berechneten Abstands zu dem erkannten Verkehrszeichen und der Positionsinformationen des Fahrzeugs des Fahrers und der Positionsinformationen des Knotens, ob das erkannte Verkehrszeichen innerhalb eines vorbestimmten Abstands zu dem Knoten angeordnet ist (Schritt S424).The road sign recognition device 30 determines whether the recognized road sign is located within a predetermined distance from the node based on the calculated distance to the recognized road sign and the position information of the driver's vehicle and the position information of the node (step S424).

Wenn das Ergebnis in Schritt S424 ein positives Ergebnis angibt, das heißt, wenn es angibt, dass das erkannte Verkehrszeichen innerhalb des vorbestimmten Abstands angebracht ist („Ja“ in Schritt S424), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass das erkannte Verkehrszeichen ein permanentes Verkehrszeichen ist, das an der Seite der Straße aufrecht angebracht ist (Schritt S426).If the result in step S424 indicates an affirmative result, that is, if it indicates that the recognized traffic sign is within the predetermined distance ("Yes" in step S424), the traffic sign recognition device 30 determines that the recognized traffic sign is a permanent traffic sign , which is mounted upright on the side of the road (step S426).

Wenn andererseits das Ergebnis in Schritt S424 ein negatives Ergebnis angibt, das heißt, wenn es angibt, dass das erkannte Verkehrszeichen nicht innerhalb des vorbestimmten Abstands angebracht ist („Nein“ in Schritt S424), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, das für Bauarbeiten oder für Straßenverbesserungsarbeiten zeitweilig angebracht ist (Schritt S428). Da das zeitweilige Verkehrszeichen in der Kartendatenbank 52 nicht gespeichert ist, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Daten hinsichtlich der Art und der Koordinaten des zeitweiligen Verkehrszeichens (Schritt S430).On the other hand, when the result in step S424 indicates a negative result, that is, when it indicates that the recognized traffic sign is not placed within the predetermined distance ("No" in step S424), the traffic sign recognition device 30 determines that the recognized traffic sign is a temporary is a traffic sign temporarily posted for construction work or for road improvement work (step S428). Since the temporary traffic sign is not stored in the map database 52, the traffic sign recognition device 30 stores the data on the type and the coordinates of the temporary traffic sign (step S430).

In Schritt S432 speichert die Verkehrszeichenerkennungsvorrichtung 30 das derzeitige Bestimmungsergebnis hinsichtlich dessen, ob das derzeitig erkannte Verkehrszeichen das Geschwindigkeitsbegrenzungsverkehrszeichen oder das Endzeichen einer Geschwindigkeitsbegrenzung ist, und hinsichtlich dessen, ob das derzeitig erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Der Ablauf schreitet zum Schritt S410, der in 4 gezeigt ist, fort, d. h. zum Schritt S440, der in 6 gezeigt ist. In Schritt S432 speichert die Verkehrszeichenerkennungsvorrichtung 30 mindestens sowohl das vorherige Bestimmungsergebnis als auch das derzeitige Bestimmungsergebnis in dem RAM.In step S432, the traffic sign recognition device 30 stores the current determination result as to whether the currently recognized traffic sign is the speed limit sign or the end speed limit sign and as to whether the currently recognized traffic sign is a permanent traffic sign or a temporary traffic sign. The flow advances to step S410, which occurs in 4 is shown, ie to step S440 shown in FIG 6 is shown. In step S432, the traffic sign recognition device 30 stores at least both the previous determination result and the current determination result in the RAM.

(Prozess zum Informieren hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens)(Process of informing about a speed limit traffic sign)

Es folgt eine Beschreibung des Prozesses des Schritts S410 im Detail mit Bezug auf 6. Das heißt, der Prozess, der in 6 gezeigt ist, ist ein detaillierter Prozess des Schritts S410, der in 4 gezeigt ist.The process of step S410 is described in detail with reference to FIG 6 . That is, the process in 6 is a detailed process of step S410 shown in FIG 4 is shown.

In Schritt S440, der in 6 gezeigt ist, bestimmt die Verkehrszeichenerkennungsvorrichtung 30 auf der Grundlage des Bestimmungsergebnisses, das in Schritt S432, der in 5 gezeigt ist, gespeichert wird, ob das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist.In step S440, which occurs in 6 1, the traffic sign recognition device 30 determines based on the determination result made in step S432 shown in FIG 5 is shown, storing whether the currently recognized traffic sign is a temporary speed limit end sign.

Wenn das Bestimmungsergebnis ein negatives Ergebnis angibt („Nein“ in Schritt S440), das heißt, wenn das derzeitig erkannte Verkehrszeichen kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist, bestimmt bzw. erkennt die Verkehrszeichenerkennungsvorrichtung 30, dass das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist oder dass das derzeitig erkannte Verkehrszeichen ein permanentes Endzeichen einer Geschwindigkeitsbegrenzung ist. Dabei bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass die derzeitige Erkennung richtig ist. Der Ablauf schreitet zum Schritt S446 fort.If the determination result indicates a negative result (“No” in step S440), that is, if the currently recognized traffic sign is not a temporary end speed limit sign, the traffic sign recognition device 30 determines or recognizes that the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign is or that currently recognized traffic sign is a permanent speed limit stop sign. At this time, the traffic sign recognition device 30 determines that the current recognition is correct. Flow advances to step S446.

Wenn andererseits das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Ja“ in Schritt S440), erhält die Verkehrszeichenerkennungsvorrichtung 30 das vorherige Bestimmungsergebnis hinsichtlich dessen, ob das zuvor erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist (Schritt S442). Die Verkehrszeichenerkennungsvorrichtung 30 bestimmt, ob das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist (Schritt S444).On the other hand, if the currently recognized traffic sign is a temporary speed limit end sign ("Yes" in step S440), the traffic sign recognition device 30 obtains the previous determination result as to whether the previously recognized traffic sign is a permanent traffic sign or a temporary traffic sign (step S442). The traffic sign recognition device 30 determines whether the previously recognized traffic sign is a temporary traffic sign (step S444).

Wenn das Bestimmungsergebnis angibt, dass das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist („Ja“ in Schritt S444), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass die derzeitige Erkennung richtig ist, d. h. bestimmt, dass die derzeitige Ergebnis der Erkennung, dass das derzeitig erkannte Verkehrszeichen das zeitweilige Endzeichen einer Geschwindigkeitsbegrenzung ist, richtig ist. Der Ablauf schreitet zum Schritt S446 fort.If the determination result indicates that the previously recognized traffic sign is a temporary traffic sign ("Yes" in step S444), the traffic sign recognition device 30 determines that the current recognition is correct, i. H. determines that the current result of the recognition that the currently recognized traffic sign is the temporary speed limit end sign is correct. Flow advances to step S446.

Um den Informationserneuerungsprozess des Schritts S446 auszuführen, ist es beispielsweise Bedingung, dass das derzeitig erkannte Verkehrszeichen kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Nein“ in Schritt S440), d.h. dass beispielsweise das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, oder dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Ja“ in Schritt S440) und das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist („Ja“ in Schritt S444).In order to execute the information renewal process of step S446, it is a condition, for example, that the currently recognized traffic sign is not a temporary end speed limit sign ("No" in step S440), i.e. that, for example, the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign, or that the currently recognized road sign is a temporary speed limit end sign (“Yes” in step S440) and the previously recognized road sign is a temporary road sign (“Yes” in step S444).

Wenn das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, erneuert die Verkehrszeichenerkennungsvorrichtung 30 die derzeitigen Informationen, die derzeitig auf der Anzeigevorrichtung 60 oder von dem Indikator 62 angezeigt werden, oder die derzeitigen Toninformationen, die mittels des Lautsprechers 64 ausgegeben werden, durch neue Informationen hinsichtlich des derzeitig erkannten Geschwindigkeitsbegrenzungsverkehrszeichens (Schritt S446). In Schritt S446 werden, auch wenn die derzeitigen Informationen durch die neuen Informationen ersetzt werden, wie es oben beschrieben wurde, die obigen neuen Informationen in Schritt S456 auf der Anzeigevorrichtung 60 oder von dem Indikator 60 angezeigt und dem Fahrer des Kraftfahrzeugs mittels des Lautsprechers 64 zur Verfügung gestellt.If the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign, the traffic sign recognition device 30 renews the current information currently displayed on the display device 60 or by the indicator 62, or the current sound information output by the speaker 64 with new ones Information regarding the currently recognized speed limit sign (step S446). In step S446, although the current information is replaced with the new information as described above, the above new information is displayed on the display device 60 or by the indicator 60 in step S456 and is provided to the driver of the motor vehicle through the speaker 64 provided.

Wenn das derzeitig erkannte Verkehrszeichen ein permanentes Endzeichen einer Geschwindigkeitsbegrenzung oder ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist und wenn das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, löscht die Verkehrszeichenerkennungsvorrichtung 30 den Inhalt, der auf der Anzeige 60 oder von dem Indikator 62 angezeigt werden wird, oder erneuert den derzeitigen Toninhalt, der mittels des Lautsprechers 64 auszugeben ist, durch neuen Toninhalt „Ende einer Geschwindigkeitsbegrenzung“ (Schritt S446).If the currently recognized traffic sign is a permanent speed limit end sign or a temporary speed limit end sign and if the previously detected traffic sign is a temporary traffic sign, the traffic sign recognition device 30 deletes the content that will be displayed on the display 60 or by the indicator 62, or renews the current sound content to be output through the speaker 64 with new sound content "end of speed limit" (step S446).

Eine Variation der Zeit zum Bereitstellen der Informationen, die in Schritt S446 erneuert oder neu geschrieben werden, für den Fahrer des Kraftfahrzeugs verwirrt den Fahrer des Kraftfahrzeugs, so dass es vorteilhaft ist, wenn die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60, den Indikator 62 und den Lautsprecher 64 anweist, derartige Informationen des erkannten Verkehrszeichens, etc. zu einem vorbestimmten Informationszeitpunkt bereitzustellen (Schritt S448). Der vorbestimmte Informationszeitpunkt zum Bereitstellen derartiger erneuerter oder neu geschriebener Informationen ist der Zeitpunkt, zu dem das Fahrzeug des Fahrers beispielsweise das erkannte Verkehrszeichen erreicht. Die Verkehrszeichenerkennungsvorrichtung 30 berechnet den vorbestimmten Informationszeitpunkt, zu dem das Fahrzeug des Fahrers das erkannte Verkehrszeichen erreicht, auf der Grundlage der derzeitigen Fahrgeschwindigkeit des Fahrzeugs des Fahrers und des Abstands zwischen der derzeitigen Position des Fahrzeugs des Fahrers und dem erkannten Verkehrszeichen. Nach der Beendigung der Ausführung des Schritts S448 schreitet der Ablauf zum Schritt S456.A variation of the time for providing the information renewed or rewritten in step S446 to the driver of the motor vehicle confuses the driver of the motor vehicle, so it is advantageous if the traffic sign recognition device 30 includes the display device 60, the indicator 62 and the speaker 64 instructs to provide such information of the recognized traffic sign, etc. at a predetermined information timing (step S448). The predetermined information point in time for providing such renewed or newly written information is the point in time at which the driver's vehicle reaches the recognized traffic sign, for example. The traffic sign recognition device 30 calculates the predetermined information timing when the driver's vehicle reaches the recognized traffic sign based on the current running speed of the driver's vehicle and the distance between the current position of the driver's vehicle and the recognized traffic sign. After the completion of the execution of step S448, the flow advances to step S456.

Wenn das Bestimmungsergebnis in Schritt S444 angibt, dass das zuvor erkannte Verkehrszeichen ein permanentes und kein zeitweiliges Verkehrszeichen ist („Nein“ in Schritt S444), bestimmt die Verkehrszeichenerkennungsvorrichtung 30 das Vorhandensein eines unrichtigen Erkennungsergebnisses, dass das erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S450), da kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung anschließend an ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen angebracht ist.If the determination result in step S444 indicates that the previously recognized road sign is a permanent road sign and not a temporary road sign ("No" in step S444), the road sign recognition device 30 determines the presence of an incorrect recognition result that the recognized road sign is a temporary speed limit end sign ( Step S450) since there is no temporary end speed limit sign attached subsequent to a permanent speed limit traffic sign.

Die Verkehrszeichenerkennungsvorrichtung 30 erneuert die Informationen, die auf der Anzeigevorrichtung 60 oder von dem Indikator 62 anzuzeigen sind, nicht und speichert die vorherigen Informationen oder weist den Lautsprecher 64 an, dem Fahrer des Kraftfahrzeugs keine Toninformationen zur Verfügung zu stellen (Schritt S452). In Schritt S430, der in 5 gezeigt ist, löscht die Verkehrszeichenerkennungsvorrichtung 30 die Informationen hinsichtlich des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung aus der Kartendatenbank 52 im Hinblick auf die derzeitige unrichtige Erkennung (Schritt S454), da die Informationen des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung als derzeitige unrichtige Erkennung in der Kartendatenbank 52 gespeichert sind. Der Ablauf schreitet zum Schritt S456 fort.The traffic sign recognition device 30 does not renew the information to be displayed on the display device 60 or by the indicator 62 and stores the previous information or instructs the speaker 64 not to provide sound information to the driver of the motor vehicle to provide (step S452). In step S430, which occurs in 5 1, the traffic sign recognition device 30 deletes the information regarding the temporary speed limit end sign from the map database 52 in view of the current incorrect recognition (step S454) because the information of the temporary speed limit end sign is stored in the map database 52 as the current incorrect recognition. The flow advances to step S456.

In Schritt S456 weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60, den Indikator 62 oder den Lautsprecher 64 an, die Informationen hinsichtlich des derzeitig wirksamen Verkehrszeichens für den Fahrer des Kraftfahrzeugs entsprechend den Inhalten der Informationen, die in Schritt S446 oder Schritt S452 eingestellt wurden, bereitzustellen. Die Verkehrszeichenerkennungsvorrichtung 30 beendet den Prozess der Hauptroutine, die in 4 gezeigt ist.In step S456, the traffic sign recognition device 30 instructs the display device 60, the indicator 62, or the speaker 64 to provide the information on the currently effective traffic sign to the driver of the automobile according to the contents of the information set in step S446 or step S452. The traffic sign recognition device 30 ends the process of the main routine shown in FIG 4 is shown.

Es folgt eine Beschreibung der Beziehung zwischen den Vorrichtungen, die von der vorliegenden Ausführungsform verwendet werden, und Vorrichtungen oder Einrichtungen, die in den Ansprüchen genannt sind.The following is a description of the relationship between the devices used by the present embodiment and devices or means recited in claims.

Die Kamera 20 entspricht einer fahrzeuginternen Kamera, die Verkehrszeichenerkennungsvorrichtung 30 entspricht einer Verkehrszeichenpositionserkennungsvorrichtung. Das GPS 50 entspricht einer Fahrerfahrzeugpositionserfassungseinrichtung. Mindestens eines aus der Anzeigevorrichtung 60, dem Indikator 62 und dem Lautsprecher 64 entspricht einer Informationsbereitstellungseinrichtung. Die Kartendatenbank 52 entspricht einer Kartendatenspeichereinrichtung.The camera 20 corresponds to an in-vehicle camera, the traffic sign recognition device 30 corresponds to a traffic sign position recognition device. The GPS 50 corresponds to a driver's vehicle position detection device. At least one of the display device 60, the indicator 62 and the speaker 64 corresponds to an information provider. The map database 52 corresponds to map data storage means.

Außerdem entspricht der Bilderstellungsabschnitt 32 in der Verkehrszeichenerkennungsvorrichtung 30 einer Bilderhalteeinrichtung, und der Verkehrszeichenerfassungsabschnitt 34 und der Verkehrszeichenerkennungsabschnitt 36 entsprechen einer Erkennungseinrichtung. Der Bestimmungsabschnitt 38 entspricht einer Bestimmungseinrichtung. Der Informationssteuerabschnitt 40 entspricht einer Informationssteuereinrichtung. Der Registrierungssteuerabschnitt 42 entspricht einer Registrierungssteuereinrichtung.Also, in the traffic sign recognition device 30, the image creation section 32 corresponds to an image holding device, and the traffic sign detection section 34 and the traffic sign recognition section 36 correspond to a recognition device. The determination section 38 corresponds to determination means. The information control section 40 corresponds to information control means. The registration control section 42 corresponds to registration control means.

Außerdem entspricht der Prozess des Schritts S400, der in 4 gezeigt ist, der Funktion, die von der Bilderhalteeinrichtung ausgeführt wird. Die Prozesse der Schritte S402 bis S406, die in 4 gezeigt sind, entsprechen der Funktion, die von der Erkennungseinrichtung ausgeführt wird. Der Prozess des Schritts S408, der in 4 gezeigt ist, entspricht der Funktion, die von der Fahrerfahrzeugpositionserfassungseinrichtung, der Verkehrszeichenpositionserkennungsvorrichtung, der Bestimmungseinrichtung und der Registrierungssteuereinrichtung ausgeführt wird. Der Prozess des Schritts S410, der in 4 gezeigt ist, entspricht der Funktion, die von der Bestimmungseinrichtung, der Informationssteuereinrichtung und der Registrierungssteuereinrichtung ausgeführt wird.Also, the process of step S400 shown in 4 shown, the function performed by the image capture device. The processes of steps S402 to S406 in 4 are shown correspond to the function performed by the recognizer. The process of step S408 in 4 shown corresponds to the function performed by the driver's vehicle position detecting means, the traffic sign position recognizing means, the determining means, and the registration controlling means. The process of step S410 in 4 shown corresponds to the function performed by the determination means, the information control means, and the registration control means.

Die Prozesse der Schritte S420 bis S428 und des Schritts S432, die in 5 gezeigt sind, entsprechen der Funktion, die von der Fahrerfahrzeugpositionserfassungseinrichtung und der Verkehrszeichenpositionserkennungsvorrichtung ausgeführt wird. Der Prozess des Schritts S430, der in 5 gezeigt ist, entspricht der Funktion, die von der Registrierungssteuereinrichtung ausgeführt wird.The processes of steps S420 to S428 and step S432 shown in 5 shown correspond to the function performed by the driver's vehicle position detector and the traffic sign position detector. The process of step S430 in 5 is shown corresponds to the function performed by the registration controller.

Weiterhin entsprechen die Prozesse der Schritte S440 bis S444 und des Schritts S450, die in 6 gezeigt sind, der Funktion, die von der Bestimmungseinrichtung ausgeführt wird. Die Prozesse der Schritte S446, S448, S452 und S456, die in 6 gezeigt sind, entsprechen der Funktion, die von der Informationssteuereinrichtung ausgeführt wird. Der Prozess des Schritts S454, der in 6 gezeigt ist, entspricht der Funktion, die von der Registrierungssteuereinrichtung ausgeführt wird.Furthermore, the processes of steps S440 to S444 and step S450 shown in FIG 6 are shown, the function performed by the determining means. The processes of steps S446, S448, S452 and S456 shown in 6 shown correspond to the function performed by the information controller. The process of step S454 in 6 is shown corresponds to the function performed by the registration controller.

Wie es zuvor im Detail beschrieben wurde, bestimmt die Verkehrszeichenerkennungsvorrichtung 30, ob ein derzeitig erkanntes Verkehrszeichen, das anhand von aufgenommenen Bilddaten erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Wenn dementsprechend das derzeitig erkannte zeitweilige Verkehrszeichen ein Endzeichen einer Geschwindigkeitsbegrenzung und das zuvor erkannte Verkehrszeichen ein permanentes Verkehrszeichen ist, ist es, da ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung nur dann angebracht sein kann, wenn das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, auf der Grundlage der obigen Bedingungen möglich, zu bestimmen, dass das derzeitige Ergebnis der Erkennung, dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist, nicht richtig ist. Dieser Bestimmungsprozess kann die Erkennungsgenauigkeit beim Erkennen des Vorhandenseins eines zeitweiligen Endzeichens eines Verkehrszeichens, d. h. des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung, das an einer Straße angebracht ist, erhöhen.As described in detail above, the traffic sign recognition device 30 determines whether a currently recognized traffic sign, which is recognized from captured image data, is a permanent traffic sign or a temporary traffic sign. Accordingly, if the currently recognized temporary road sign is a speed limit end sign and the previously recognized road sign is a permanent road sign, since a temporary speed limit sign can only be appropriate if the previously recognized road sign is a temporary road sign, it is based on the above conditions, it is possible to determine that the current result of the recognition that the currently recognized traffic sign is a temporary speed limit end sign is incorrect. This determination process can improve the detection accuracy in detecting the presence of a temporary end sign of a traffic sign, i. H. of the temporary end of speed limit sign posted on a road.

Wenn die Verkehrszeichenerkennungsvorrichtung 30 eine richtige Erkennung eines derzeitig erkannten zeitweiligen Endzeichens eines Verkehrszeichens (zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung) ausführt, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Art und die Koordinaten des zeitweiligen Verkehrszeichens in der Kartendatenbank 52 ähnlich wie in dem Fall, in dem die richtige Erkennung des zeitweiligen Geschwindigkeitsbegrenzungsverkehrszeichens ausgeführt wird. Dadurch können die richtigen Informationen hinsichtlich des zeitweiligen Verkehrszeichens aus der Kartendatenbank 52 mit hoher Genauigkeit erhalten werden, wenn das Fahrzeug an derselben Position der Straße fährt und die Verkehrszeichenerkennungsvorrichtung 30 ein derzeitig erkanntes Verkehrszeichen mit dem zeitweiligen Verkehrszeichen, das aus der Kartendatenbank 52 erhalten wird, in Übereinstimmung zu bringen versucht.When the traffic sign recognition device 30 correctly recognizes a currently recognized temporary end sign of a traffic sign (temporary end sign of a speed limit), the Ver traffic sign recognition device 30 the type and coordinates of the temporary traffic sign in the map database 52 similar to the case where the correct recognition of the temporary speed limit traffic sign is carried out. Thereby, the correct information regarding the temporary traffic sign can be obtained from the map database 52 with high accuracy when the vehicle is running at the same position of the road and the traffic sign recognition device 30 recognizes a currently recognized traffic sign with the temporary traffic sign obtained from the map database 52 trying to bring agreement.

Weitere AusführungsformAnother embodiment

Es folgt eine Beschreibung einer weiteren Ausführungsform der Verkehrszeichenerkennungsvorrichtung.A description will be given of another embodiment of the traffic sign recognition device.

In der Struktur der Verkehrszeichenerkennungsvorrichtung 30 gemäß der zuvor geschriebenen Ausführungsform stellt die Informationssteuereinrichtung die Bedingung, unter der der Fahrer des Fahrzeugs hinsichtlich eines Verkehrszeichens informiert wird, auf der Grundlage des Bestimmungsergebnisses dahingehend, ob ein zeitweiliges Endzeichen eines Verkehrszeichens (wie beispielsweise ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung) richtig erkannt wird, ein. In dem Fall, in dem ein zeitweiliges Endzeichen eines Verkehrszeichens richtig erkannt wird, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Informationen hinsichtlich des richtig erkannten zeitweiligen Verkehrszeichens in der Kartendatenbank 52 ähnlich wie in dem Fall, in dem die Verkehrszeichenerkennungsvorrichtung 30 ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen richtig erkennt.In the structure of the traffic sign recognition device 30 according to the embodiment described above, the information controller sets the condition under which the driver of the vehicle is informed of a traffic sign based on the determination result as to whether a temporary end sign of a traffic sign (such as a temporary end sign of a speed limit ) is recognized correctly, a. In the case where a temporary end sign of a traffic sign is correctly recognized, the traffic sign recognition device 30 stores the information regarding the correctly recognized temporary traffic sign in the map database 52, similarly to the case where the traffic sign recognition device 30 correctly recognizes a temporary speed limit sign.

Das Konzept der vorliegenden Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise denkbar, dass die Verkehrszeichenerkennungsvorrichtung 30 Informationen hinsichtlich eines erkannten zeitweiligen Verkehrszeichens in der Kartendatenbank 52 unabhängig von einer Überprüfung, ob das erkannte zeitweilige Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist, speichert.However, the concept of the present invention is not limited to this. It is conceivable, for example, that the traffic sign recognition device 30 stores information regarding a recognized temporary traffic sign in the map database 52 independently of a check as to whether the recognized temporary traffic sign is a temporary end sign of a traffic restriction.

In der Struktur der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform, die zuvor beschrieben wurde, informiert die Informationsbereitstellungseinrichtung wie beispielsweise die Anzeigevorrichtung 60, der Indikator 62 und der Lautsprecher 64 hinsichtlich des Vorhandenseins eines Geschwindigkeitsbegrenzungsverkehrszeichens. Das Konzept der Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise denkbar, dass die Informationsbereitstellungseinrichtung zusätzliche Informationen zusätzlich zu den Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens oder andere Informationen als die Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens bereitstellt.In the structure of the traffic sign recognition device 30 according to the embodiment described above, the information providing means such as the display device 60, the indicator 62 and the speaker 64 informs of the presence of a speed limit traffic sign. However, the concept of the invention is not limited to this. For example, it is conceivable that the information providing device provides additional information in addition to the information regarding a speed limit traffic sign or information other than the information regarding a speed limit traffic sign.

Die Verkehrszeichenerkennungsvorrichtung 30 führt ein oder mehrere Steuerprogramme, die in dem ROM gespeichert sind, aus, um die Funktionen der Bilderhalteeinrichtung, der Erkennungseinrichtung, der Fahrerfahrzeugpositionserfassungseinrichtung, der Bestimmungseinrichtung, der Informationssteuereinrichtung und der Registrierungssteuereinrichtung zu realisieren. Das Konzept der vorliegenden Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise möglich, eine Hardwarevorrichtung mit einer zweckgebundenen Schaltung zu verwenden, um eine oder mehrere obige Funktionen anstelle der Steuerprogramme zu realisieren.The traffic sign recognition device 30 executes one or more control programs stored in the ROM to realize the functions of the image obtaining means, the recognizing means, the driver's vehicle position detecting means, the determining means, the information controlling means, and the registration controlling means. However, the concept of the present invention is not limited to this. For example, it is possible to use a hardware device with a dedicated circuit to realize one or more of the above functions instead of the control programs.

(Merkmale der Ausführungsform gemäß der vorliegenden Erfindung)(Features of the embodiment according to the present invention)

Wie es zuvor beschrieben wurde, weist die Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform außerdem die Informationssteuereinrichtung 30 und 40 auf. Der Funktion der Informationssteuereinrichtung wird durch die Schritte S446, S448, S452 und S456 ausgeführt. Die Informationssteuereinrichtung weist eine Informationsbereitstellungseinrichtung 60, 62 und 64 an, dem Fahrer des Fahrzeugs Informationen hinsichtlich des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird, zur Verfügung zu stellen. Insbesondere bestimmt die Bestimmungseinrichtung, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkennt, wenn das vorherige Verkehrszeichen, das zuvor von der Erkennungseinrichtung erkannt wurde, ein permanentes Verkehrszeichen ist und das Verkehrszeichen, das von der Erkennungseinrichtung derzeitig erkannt wird, ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist. Die Informationssteuereinrichtung weist die Informationsbereitstellungseinrichtung an, keine Informationen hinsichtlich des Verkehrszeichens, das von der Erkennungseinrichtung derzeitig erkannt wird, zur Verfügung zu stellen bzw. bereitzustellen, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung eine falsche Erkennung durchgeführt hat.As described above, the traffic sign recognition device according to the embodiment also includes the information controllers 30 and 40 . The function of the information controller is executed through steps S446, S448, S452 and S456. The information control means instructs information providing means 60, 62 and 64 to provide the driver of the vehicle with information on the road sign recognized by the recognition means. In particular, the determination device determines that the recognition device does not correctly recognize the currently recognized traffic sign if the previous traffic sign previously recognized by the recognition device is a permanent traffic sign and the traffic sign that is currently recognized by the recognition device is a temporary end sign of a traffic restriction is. The information control device instructs the information providing device not to provide information regarding the traffic sign currently recognized by the recognition device when the determination device determines that the recognition device has performed incorrect recognition.

In dem Fall, in dem die Erkennungseinrichtung ein zeitweiliges Verkehrszeichen richtig erkennt, weist die Informationssteuereinrichtung die Informationsbereitstellungseinrichtung an, dem Fahrer des Fahrzeugs Informationen hinsichtlich des derzeitig erkannten zeitweiligen Verkehrszeichens zur Verfügung zu stellen. Wenn andererseits die Erkennungseinrichtung ein zeitweiliges Verkehrszeichen nicht richtig erkennt, wird der Fahrer des Fahrzeugs weiterhin hinsichtlich des zuvor erkannten Verkehrszeichens informiert. Dieses macht es möglich, dem Fahrer des Fahrzeugs richtige Informationen hinsichtlich der Verkehrszeichen um das Fahrzeug des Fahrers zur Verfügung zu stellen.In the case where the recognition device correctly recognizes a temporary road sign, the information control device instructs the information providing device to provide the driver of the vehicle with information regarding the currently recognized temporary road sign. On the other hand, if the detection device does not correctly recognize a temporary traffic sign, the driver of the vehicle will continue to be informed of the previously recognized traffic sign. This makes it possible to provide the driver of the vehicle with correct information regarding traffic signs around the driver's vehicle.

Die Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform weist außerdem eine Registrierungssteuereinrichtung 30 und 42 auf. Der Funktion der Registrierungssteuereinrichtung wird durch die Schritte S430 und S454 ausgeführt. Die Registrierungssteuereinrichtung weist die Kartendatenspeichereinrichtung an, Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, zu speichern, wenn die Bestimmungseinrichtung bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, das zeitweilige Verkehrszeichen ist. Die Registrierungssteuereinrichtung weist die Kartendatenspeichereinrichtung an, keine Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, zu speichern, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkannt hat.The traffic sign recognition device according to the embodiment also includes registration controllers 30 and 42 . The function of the registration controller is performed through steps S430 and S454. The registration control means instructs the map data storage means to store information regarding the temporary road sign currently recognized by the recognition means when the determining means determines that the road sign currently recognized by the recognition means is the temporary road sign. The registration control device instructs the map data storage device not to store information regarding the temporary road sign currently recognized by the recognition device when the determination device determines that the recognition device has not correctly recognized the currently recognized traffic sign.

In der obigen Struktur und Funktion der Verkehrszeichenerkennungsvorrichtung weist die Registrierungssteuereinrichtung die Kartendatenspeichereinrichtung wie beispielsweise die Kartendatenbank 52 an, die Informationen hinsichtlich des richtig erkannten zeitweiligen Verkehrszeichens zu speichern, wenn die Erkennungseinrichtung das derzeitig erkannte zeitweilige Verkehrszeichen richtig erkennt. Wenn das Fahrzeug des Fahrers an derselben Position der Straße fährt, ist es dementsprechend möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 das zeitweilige Verkehrszeichen mit hoher Genauigkeit durch Vergleichen des richtig erkannten zeitweiligen Verkehrszeichens mit den Informationen hinsichtlich der Verkehrszeichen, die aus der Kartendatenspeichereinrichtung erhalten werden, erkennt.In the above structure and function of the traffic sign recognition apparatus, when the recognition device correctly recognizes the currently recognized temporary road sign, the registration control means instructs the map data storage means such as the map database 52 to store the information regarding the temporary road sign recognized correctly. Accordingly, when the driver's vehicle is running at the same position on the road, it is possible for the traffic sign recognition device 30 to recognize the temporary traffic sign with high accuracy by comparing the correctly recognized temporary traffic sign with the information on the traffic sign obtained from the map data storage device.

Außerdem bestimmt die Bestimmungseinrichtung in der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform auf der Grundlage der Informationen hinsichtlich der Position des derzeitig von der Erkennungseinrichtung erkannten Verkehrszeichens, die von der Verkehrszeichenpositionserfassungseinrichtung erkannt wird, nur dann, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, innerhalb einer vorbestimmten Zone, die von einem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist.In addition, in the traffic sign recognition device according to the embodiment, the determination device determines only that the traffic sign currently recognized by the recognition device is a permanent Traffic sign is when the traffic sign currently recognized by the recognition means is located within a predetermined zone measured from a node of the map data.

Die Bestimmungseinrichtung bestimmt nur dann, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein zeitweiliges Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, außerhalb der vorbestimmten Zone, die von dem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist.The determination device determines that the traffic sign currently recognized by the recognition device is a temporary traffic sign only when the traffic sign currently recognized by the recognition device is outside the predetermined zone measured from the node of the map data. is arranged.

Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform kann Verkehrszeichen mit hoher Genauigkeit unter Verwendung der Informationen hinsichtlich Knoten, die in der Kartendatenspeichereinrichtung gespeichert sind, auf der Grundlage der Differenz zwischen den Anbringungspositionen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens erkennen.The traffic sign recognition device 30 according to the embodiment can recognize traffic signs with high accuracy using the information on nodes stored in the map data storage device based on the difference between the posting positions of a permanent traffic sign and a temporary traffic sign.

Außerdem erfasst die Verkehrszeichenpositionserfassungseinrichtung in der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform die Position des Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, auf der Grundlage einer derzeitigen Position des Fahrzeugs des Fahrers, die von einer Fahrerfahrzeugpositionserhalteeinrichtung 30 und 50 erhalten wird, und des Abstands zwischen dem Fahrzeug des Fahrers und dem Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird. Die Funktion der Fahrerfahrzeugpositionserhalteeinrichtung wird durch die Schritte S408 und S424 ausgeführt.In addition, in the traffic sign recognition apparatus according to the embodiment, the traffic sign position detector detects the position of the traffic sign currently recognized by the detector based on a current position of the driver's vehicle obtained by driver vehicle position obtainers 30 and 50 and the distance between the vehicle of the driver and the traffic sign currently recognized by the recognition device. The function of the driver's vehicle position obtainer is performed through steps S408 and S424.

Wenn beispielsweise ein Kraftfahrzeug mit einem globalen Positionierungssystem (GPS) ausgerüstet ist, das als die Fahrerfahrzeugpositionserfassungseinrichtung dient, ist es möglich, die Position des derzeitig erkannten Verkehrszeichens auf der Grundlage des Abstands zwischen dem derzeitigen Ort des Fahrzeugs des Fahrers und der Position des erkannten Verkehrszeichens zu erfassen. Das heißt, es ist möglich, den Abstand zwischen dem Fahrzeug des Fahrers und dem derzeitig erkannten Verkehrszeichen auf der Grundlage der Anzahl der Pixel der Bilddaten und einer Standardgröße des richtig erkannten Verkehrszeichens oder auf der Grundlage des Erfassungsergebnisses, das durch eine Abstandsmessvorrichtung, die mit einer Laservorrichtung ausgerüstet und an dem Kraftfahrzeug montiert ist, erhalten wird, zu erfassen.For example, if an automobile is equipped with a global positioning system (GPS) serving as the driver's vehicle position detection device, it is possible to determine the position of the currently recognized traffic sign based on the distance between the current location of the driver's vehicle and the position of the recognized traffic sign capture. That is, it is possible to calculate the distance between the driver's vehicle and the currently recognized traffic sign based on the number of pixels of the image data and a standard size of the correctly recognized traffic sign, or based on the detection result measured by a distance measuring device equipped with a Laser device equipped and mounted on the motor vehicle is obtained to detect.

Wie es zuvor beschrieben wurde, ist es möglich, die Funktion der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform unter Verwendung von einer oder mehreren Hardwarevorrichtungen oder einer Kombination aus diesen, die zweckgebundene Funktionen und zweckgebundene Programme aufweisen, zu realisieren.As described above, it is possible to implement the function of the traffic sign recognition device 30 according to the embodiment using one or more hardware devices or a combination of these have dedicated functions and dedicated programs.

Claims (6)

Verkehrszeichenerkennungsvorrichtung (30), die an einem Kraftfahrzeug zu montieren ist, zum Erkennen eines Verkehrszeichens, das an einer Seite einer Straße oder oberhalb einer Straße, auf der das Fahrzeug des Fahrers, das mit der Verkehrszeichenerkennungsvorrichtung (30) ausgerüstet ist, fährt, aufrecht angebracht ist, wobei die Verkehrszeichenerkennungsvorrichtung (30) aufweist: eine Bilderhalteeinrichtung (20, S400) zum Erhalten von Bilddaten vor dem Kraftfahrzeug, die von einer fahrzeuginternen Kamera (20) aufgenommen werden; eine Erkennungseinrichtung (30, S402 bis S406) zum Erfassen eines Verkehrszeichens auf der Grundlage der Bilddaten, die von der Bilderhalteeinrichtung erhalten werden; eine Verkehrszeichenpositionserfassungseinrichtung (30, 36, S408, S424) zum Erfassen einer Position oder eines Orts des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird; und eine Bestimmungseinrichtung (30, 38, S410, S420 bis S428, S440 bis S444, S450) zum Bestimmen, ob das Verkehrszeichen, das von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist, auf der Grundlage der Position des Verkehrszeichens, die von der Verkehrszeichenpositionserfassungseinrichtung erfasst wird, und von Kartendaten, die in einer Kartendatenspeichereinrichtung (52) gespeichert sind, die Informationen hinsichtlich Verkehrszeichen speichert, wobei das permanente Verkehrszeichen ein Verkehrszeichen ist, das stets an der Straße angebracht ist, und das zeitweilige Verkehrszeichen ein Verkehrszeichen ist, das zeitweilig an der Straße angebracht ist.A traffic sign recognition device (30) to be mounted on a motor vehicle for recognizing a traffic sign erected on a side of a road or above a road on which the driver's vehicle equipped with the traffic sign recognition device (30) is traveling is, wherein the traffic sign recognition device (30) comprises: image obtaining means (20, S400) for obtaining image data in front of the motor vehicle picked up by an in-vehicle camera (20); a recognition device (30, S402 to S406) for detecting a traffic sign based on the image data obtained by the image obtaining device; a traffic sign position detecting means (30, 36, S408, S424) for detecting a position or a location of the traffic sign recognized by the recognizing means; and a determination device (30, 38, S410, S420 to S428, S440 to S444, S450) for determining whether the traffic sign recognized by the recognition device is a permanent traffic sign or a temporary traffic sign based on the position of the traffic sign, detected by the traffic sign position detecting means, and map data stored in a map data storage device (52) storing information regarding traffic signs, wherein the permanent traffic sign is a traffic sign that is always posted on the road, and the temporary traffic sign is a traffic sign , which is temporarily installed on the road. Verkehrszeichenerkennungsvorrichtung nach Anspruch 1, die außerdem eine Informationssteuereinrichtung (30, 40, S446, S448, S452, S456) zum Anweisen einer Informationsbereitstellungseinrichtung (60, 62, 64), dem Fahrer des Kraftfahrzeugs Informationen hinsichtlich des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird, bereitzustellen, aufweist, wobei die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkennt, wenn das vorherige Verkehrszeichen, das zuvor von der Erkennungseinrichtung erkannt wurde, ein permanentes Verkehrszeichen ist und das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist, und die Informationssteuereinrichtung die Informationsbereitstellungseinrichtung anweist, keine Informationen hinsichtlich des Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, bereitzustellen, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung eine unrichtige Erkennung durchführt.traffic sign recognition device claim 1 , which also has an information control device (30, 40, S446, S448, S452, S456) for instructing an information providing device (60, 62, 64) to provide the driver of the motor vehicle with information regarding the traffic sign recognized by the recognition device, wherein the determining device determines that the recognition device does not correctly recognize the currently recognized traffic sign if the previous traffic sign previously recognized by the recognition device is a permanent traffic sign and the traffic sign currently recognized by the recognition device is a temporary end sign of a traffic restriction and the information control means instructs the information providing means not to provide information regarding the traffic sign currently recognized by the recognition means when the determining means determines that the recognition means is performing incorrect recognition. Verkehrszeichenerkennungsvorrichtung nach Anspruch 1, die außerdem aufweist: eine Registrierungssteuereinrichtung (30, 42, S430, S454) zum Speichern von Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, in der Kartendatenspeichereinrichtung, wenn die Bestimmungseinrichtung bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, das zeitweilige Verkehrszeichen ist, und zum Nichtspeichern von Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, in der Kartendatenspeichereinrichtung, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkennt.traffic sign recognition device claim 1 further comprising: registration control means (30, 42, S430, S454) for storing information regarding the temporary road sign currently recognized by the recognition means in the map data storage means when the determining means determines that the road sign currently recognized by the recognized by the recognition device, which is temporary traffic sign, and for not storing information regarding the temporary traffic sign currently recognized by the recognition device in the map data storage device when the determination device determines that the recognition device does not correctly recognize the currently recognized traffic sign. Verkehrszeichenerkennungsvorrichtung nach Anspruch 1, die außerdem aufweist: eine Registrierungssteuereinrichtung (30, 42, S430, S454) zum Speichern von Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, in der Kartendatenspeichereinrichtung, wenn die Bestimmungseinrichtung bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein zeitweiliges Verkehrszeichen ist.traffic sign recognition device claim 1 further comprising: registration control means (30, 42, S430, S454) for storing information regarding the temporary road sign currently recognized by the recognition means in the map data storage means when the determining means determines that the road sign currently recognized by the Recognition device is recognized, is a temporary traffic sign. Verkehrszeichenerkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Bestimmungseinrichtung auf der Grundlage der Informationen hinsichtlich der Position des derzeitig von der Erkennungseinrichtung erkannten Verkehrszeichens, die von der Verkehrszeichenpositionserfassungseinrichtung erkannt wird, nur dann bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, innerhalb einer vorbestimmten Zone, die von einem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist, und nur dann bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein zeitweiliges Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von Erkennungseinrichtung erkannt wird, außerhalb der vorbestimmten Zone, die von dem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist.Traffic sign recognition device according to one of Claims 1 until 4 , wherein the determination means determines based on the information regarding the position of the traffic sign currently recognized by the recognition device, which is recognized by the traffic sign position detection device, that the traffic sign, which is currently recognized by the recognition device, is a permanent traffic sign only if the Traffic sign currently recognized by the recognition device is located within a predetermined zone measured from a node of the map data, and only then determines that the traffic sign currently recognized by the recognition device is a temporary traffic sign, when the traffic sign currently recognized by the recognition means is located outside the predetermined zone measured from the node of the map data. Verkehrszeichenerkennungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Verkehrszeichenpositionserfassungseinrichtung die Position des Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, auf der Grundlage einer derzeitigen Position des Fahrzeugs des Fahrers, die von einer Fahrerfahrzeugpositionserhalteeinrichtung (30, 50, S408, S424) erhalten wird, und des Abstands zwischen dem Fahrzeug des Fahrers und dem Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, erfasst.Traffic sign recognition device according to one of Claims 1 until 4 , wherein the traffic sign position detection device the position the road sign currently recognized by the recognition means based on a current position of the driver's vehicle obtained by driver vehicle position obtaining means (30, 50, S408, S424) and the distance between the driver's vehicle and the road sign, currently recognized by the recognition device.
DE102012201724.0A 2011-02-09 2012-02-06 TRAFFIC SIGN RECOGNITION DEVICE Active DE102012201724B4 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011025748A JP5423696B2 (en) 2011-02-09 2011-02-09 Sign recognition device
JP2011-025748 2011-02-09

Publications (2)

Publication Number Publication Date
DE102012201724A1 DE102012201724A1 (en) 2012-08-09
DE102012201724B4 true DE102012201724B4 (en) 2023-06-22

Family

ID=46547207

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012201724.0A Active DE102012201724B4 (en) 2011-02-09 2012-02-06 TRAFFIC SIGN RECOGNITION DEVICE

Country Status (2)

Country Link
JP (1) JP5423696B2 (en)
DE (1) DE102012201724B4 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (en) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Method and device for detecting variable message signs
JP2014229197A (en) * 2013-05-24 2014-12-08 株式会社デンソー Vehicle notification device
JP6170416B2 (en) * 2013-11-21 2017-07-26 本田技研工業株式会社 Road sign judgment device
ES2661400T3 (en) * 2014-05-15 2018-03-28 Continental Automotive Gmbh Method and apparatus for providing information data on entities along a route followed by a vehicle
JP6062473B2 (en) * 2015-03-17 2017-01-18 本田技研工業株式会社 Road sign judgment device and road sign judgment method
JP2016196233A (en) * 2015-04-03 2016-11-24 クラリオン株式会社 Road sign recognizing device for vehicle
JP6638373B2 (en) * 2015-12-17 2020-01-29 日本電気株式会社 Road information detection device, road information detection system, road information detection method and program
JP7031262B2 (en) 2017-12-04 2022-03-08 富士通株式会社 Imaging processing program, imaging processing method, and imaging processing device
JP7081316B2 (en) * 2018-06-08 2022-06-07 スズキ株式会社 Driving support device
JP7025293B2 (en) 2018-07-10 2022-02-24 トヨタ自動車株式会社 Vehicle position estimation device
US10838986B2 (en) 2018-07-12 2020-11-17 Here Global B.V. Method and system for classifying vehicle based road sign observations
DE102018131991A1 (en) * 2018-12-12 2020-06-18 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for operating a vehicle and vehicle
US10928828B2 (en) * 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
JP2023123036A (en) 2022-02-24 2023-09-05 トヨタ自動車株式会社 Driving support method and driving support system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938267A1 (en) 1999-08-12 2001-02-15 Volkswagen Ag Electronic detection of traffic signs in motor vehicles involves detecting signs with video camera, interpreting within vehicle and displaying them; signs are stored in electronic route map
DE10334620A1 (en) 2003-07-30 2005-02-17 Robert Bosch Gmbh Generating traffic information by interpreting traffic sign scenarios and navigation information in a vehicle
DE102007055208A1 (en) 2006-11-22 2008-05-29 Denso Corp., Kariya Car navigation device
JP2008276291A (en) 2007-04-25 2008-11-13 Calsonic Kansei Corp Method and apparatus for presenting sign recognition information
DE102008023972A1 (en) 2007-05-25 2008-11-27 Continental Teves Ag & Co. Ohg Method and device for identifying traffic-related information

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4063706B2 (en) * 2003-04-25 2008-03-19 株式会社エッチャンデス Visual device and its application
JP4831434B2 (en) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 Feature information collection device, feature information collection program, own vehicle position recognition device, and navigation device
JP2009223817A (en) * 2008-03-18 2009-10-01 Zenrin Co Ltd Method for generating road surface marked map

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19938267A1 (en) 1999-08-12 2001-02-15 Volkswagen Ag Electronic detection of traffic signs in motor vehicles involves detecting signs with video camera, interpreting within vehicle and displaying them; signs are stored in electronic route map
DE10334620A1 (en) 2003-07-30 2005-02-17 Robert Bosch Gmbh Generating traffic information by interpreting traffic sign scenarios and navigation information in a vehicle
DE102007055208A1 (en) 2006-11-22 2008-05-29 Denso Corp., Kariya Car navigation device
JP2008276291A (en) 2007-04-25 2008-11-13 Calsonic Kansei Corp Method and apparatus for presenting sign recognition information
DE102008023972A1 (en) 2007-05-25 2008-11-27 Continental Teves Ag & Co. Ohg Method and device for identifying traffic-related information

Also Published As

Publication number Publication date
JP5423696B2 (en) 2014-02-19
DE102012201724A1 (en) 2012-08-09
JP2012164254A (en) 2012-08-30

Similar Documents

Publication Publication Date Title
DE102012201724B4 (en) TRAFFIC SIGN RECOGNITION DEVICE
DE102017208124B4 (en) Method, apparatus and system for determining a road construction site
DE102005004112B4 (en) Car navigation system
DE102009054286B4 (en) Character recognition device
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
EP3529561B1 (en) System and method for generating digital road models from aerial or satellite images and from data captured by vehicles
DE102016203723A1 (en) Method and system for determining the pose of a vehicle
DE112006001703T5 (en) Road marking recognition system
DE102016222592A1 (en) Traffic sign recognition device and associated speed limiting method
DE102015116268B4 (en) Lane boundary line information acquisition device
DE102019127229A1 (en) SYSTEM AND METHOD FOR DETERMINING THE CONFIDENTIALITY OF A VEHICLE DATA SET
DE102013211696A1 (en) Method for completing and / or updating a digital road map, device for a motor vehicle and motor vehicle
DE102011082379A1 (en) Method for detecting navigation data for navigating vehicle, involves storing feature and position of feature as additional information to navigation data, or transmitting additional information to external processing unit
DE102012025067A1 (en) Driver assistance system for motor vehicle, has computing device to identify longitudinal markings mounted on road-way, and to determine wether identified traffic signs for motor vehicle are applied or not, based on longitudinal markings
DE102019208176A1 (en) VEHICLE DRIVING ASSISTANCE SYSTEM
DE102016124183A1 (en) DRIVING ASSIST APPARATUS FOR VEHICLE
DE112019000855T5 (en) VEHICLE CONTROL UNIT
DE102016213817A1 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
WO2013060505A1 (en) Apparatus and method for detecting objects in a stream of sensor data
DE112014007247T5 (en) track recognition
WO2018215156A1 (en) Method, devices, and computer-readable storage medium comprising instructions for determining applicable traffic regulations for a motor vehicle
DE102010048263A1 (en) Method for supporting driver of vehicle, involves planning automatic systemation by plan-interference parameter, and determining actual location parameter of location of vehicle
DE102008043756B4 (en) Method and control unit for providing traffic sign information
WO2020043246A1 (en) Localisation device for visually determining the location of a vehicle
EP3721371A1 (en) Method for position determination for a vehicle, controller and vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final