HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
1. Gebiet der Erfindung1. Field of the invention
Die vorliegende Erfindung betrifft Verkehrszeichenerkennungsvorrichtungen, die an Kraftfahrzeugen montiert und in der Lage sind, verschiedene Arten von Verkehrszeichen zu erfassen und zu erkennen, die an der Seite oder oberhalb von Straßen, auf denen die Kraftfahrzeuge fahren, aufrecht angebracht sind.The present invention relates to traffic sign recognition devices mounted on automobiles and capable of detecting and recognizing various kinds of traffic signs which are erected on the side or above roads on which the motor vehicles travel.
2. Beschreibung des Stands der Technik2. Description of the Related Art
Es gibt eine Verkehrszeichenerkennungsvorrichtung, die für verschiedene Arten von Kraftfahrzeugen verwendet werden kann. Die Verkehrszeichenerkennungsvorrichtung, die an einem Kraftfahrzeug montiert ist, erfasst und erkennt verschiedene Verkehrszeichen. Derartige Verkehrszeichen stellen den Nutzern, beispielsweise dem Fahrer eines Kraftfahrzeugs, Informationen hinsichtlich Straßen zur Verfügung. Im Allgemeinen sind Verkehrszeichen an der Seite oder oberhalb von Straßen, auf denen die Kraftfahrzeuge der Fahrer fahren, aufrecht angebracht. Die Verkehrszeichenerkennungsvorrichtung erfasst und erkennt die Art des Verkehrszeichens auf der Grundlage von Bilddaten hinsichtlich einer Szene vor dem Kraftfahrzeug des Fahrers. Das japanische Patentdokument 1, d. h. die japanische Patentoffenlegungsschrift Nr. JP 2008-276291 , zeigt eine derartige herkömmliche Verkehrszeichenerkennungsvorrichtung.There is a traffic sign recognition device that can be used for various types of automobiles. The traffic sign recognition device, which is mounted on a motor vehicle, detects and recognizes various traffic signs. Such traffic signs provide the users, for example the driver of a motor vehicle, with information regarding roads. In general, traffic signs are mounted upright on the side or above the roads where the motor vehicles of the drivers drive. The traffic sign recognition device detects and recognizes the kind of the traffic sign on the basis of image data regarding a scene in front of the driver's motor vehicle. Japanese Patent Document 1, ie, the Japanese Patent Laid-Open Publication No. JP 2008-276291 shows such a conventional traffic sign recognition device.
Die Verkehrszeichenerkennungsvorrichtung, die in dem japanischen Patentdokument 1 beschrieben ist, zeigt dem Fahrer eines Kraftfahrzeugs Informationen hinsichtlich Verkehrszeichen, die an der Seite oder oberhalb der Straßen aufrecht angebracht sind, innerhalb einer erfassbaren Zone auf der Grundlage der aufgenommenen Bilddaten. Die Erkennungsgenauigkeit derartiger Bilddaten entspricht einem Abstand zwischen dem Kraftfahrzeug des Fahrers und den erfassten Verkehrszeichen. Da die herkömmliche Verkehrszeichenerkennungsvorrichtung dem Fahrer des Kraftfahrzeugs die Informationen hinsichtlich der erkannten Verkehrszeichen direkt ohne jegliche Verarbeitung zeigt, besteht die Möglichkeit, dass dem Fahrer des Kraftfahrzeugs unrichtige Informationen hinsichtlich der erkannten Verkehrszeichen zur Verfügung gestellt werden.The traffic sign recognition apparatus described in Japanese Patent Document 1 shows the driver of a motor vehicle information regarding traffic signs which are erected on the side or above the roads upright, within a detectable zone based on the captured image data. The recognition accuracy of such image data corresponds to a distance between the motor vehicle of the driver and the detected traffic signs. Since the conventional traffic sign recognition device directly displays the information regarding the detected traffic signs to the driver of the motor vehicle without any processing, there is a possibility that the driver of the motor vehicle may be provided with incorrect information regarding the recognized traffic signs.
ZUSAMMENFASSUNGSUMMARY
Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Verkehrszeichenerkennungsvorrichtung mit hoher Erkennungsgenauigkeit zu schaffen, die in der Lage ist, auf der Grundlage des Orts der Verkehrszeichen, die an der Seite oder oberhalb einer Straße, auf der die Kraftfahrzeuge der Fahrer fahren, aufrecht angebracht sind, ein permanentes Verkehrszeichen von einem zeitweiligen Verkehrszeichen zu unterscheiden.Therefore, it is an object of the present invention to provide a traffic recognition apparatus with high recognition accuracy capable of being erected on the basis of the location of traffic signs which are erected on the side or above a road on which the drivers' vehicles drive are to distinguish a permanent traffic sign from a temporary traffic sign.
Ein permanentes Verkehrszeichen könnte von einem zeitweiligen Verkehrszeichen im Hinblick auf das Folgende unterschieden werden. Ein derartiges permanentes Verkehrszeichen ist beispielsweise stets an der Seite einer Straße an demselben Ort aufrecht angebracht. Andererseits ist ein derartiges zeitweiliges Verkehrszeichen aufgrund beispielsweise von Bauarbeiten zeitweilig an einer Straße angebracht. Da ein derartiges permanentes Verkehrszeichen als Kartendaten in einer Kartendatenbank eines Fahrzeugnavigationssystems gespeichert wird, ist es im Allgemeinen möglich, dass die Verkehrszeichenerkennungsvorrichtung verschiedene Arten von Verkehrszeichen, die an der Seite oder oberhalb einer Straße aufrecht angebracht sind, mit hoher Genauigkeit durch Vergleichen der Art des erkannten Verkehrszeichens mit den Arten der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, erkennen.A permanent traffic sign could be distinguished from a temporary traffic sign in view of the following. For example, such a permanent traffic sign is always upright on the side of a road at the same place. On the other hand, such a temporary traffic sign is temporarily attached to a road due to, for example, construction works. Since such a permanent traffic sign is stored as map data in a map database of a car navigation system, it is generally possible for the traffic sign recognizing device to have various kinds of traffic signs erected on the side or above a road with high accuracy by comparing the kind of the recognized one Detect traffic sign with the types of traffic signs that are stored in the map database.
Da ein derartiges zeitweiliges Verkehrszeichen zeitweilig an einer Straße angebracht ist, besitzt die Kartendatenbank andererseits keine Informationen hinsichtlich eines derartigen zeitweiligen Verkehrszeichens. Es ist daher unmöglich, die Art des erkannten Verkehrszeichens mit den Arten der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, zu vergleichen.On the other hand, since such a temporary traffic sign is temporarily attached to a road, the map database has no information regarding such a temporary traffic sign. It is therefore impossible to compare the kind of traffic sign recognized with the types of road signs stored in the map database.
Es gibt jedoch ein zeitweiliges Verkehrszeichen, das anschließend an ein anderes zeitweiliges Verkehrszeichen entlang einer Vorwärtsrichtung des Kraftfahrzeugs installiert werden muss, aber nicht anschließend an ein permanentes Verkehrszeichen. Wenn eine Verkehrszeichenerkennungsvorrichtung ein erkanntes zeitweiliges Verkehrszeichen feststellt, ist es außerdem möglich, Informationen hinsichtlich des erkannten zeitweiligen Verkehrszeichens in einer Kartendatenbank zu speichern. Wenn in diesem Fall die Verkehrszeichenerkennungsvorrichtung das zeitweilige Verkehrszeichen nach dem Speichern der Informationen hinsichtlich des zeitweiligen Verkehrszeichens in der Kartendatenbank an einem anderen Tag erfasst, ist es beispielsweise möglich, dass die Verkehrszeichenerkennungsvorrichtung das erkannte zeitweilige Verkehrszeichen durch Vergleichen mit den Informationen hinsichtlich der Verkehrszeichen, die in der Kartendatenbank gespeichert sind, richtig feststellt.However, there is a temporary traffic sign that needs to be installed subsequent to another temporary traffic sign along a forward direction of the motor vehicle but not subsequent to a permanent traffic sign. In addition, when a traffic sign recognition device detects a recognized temporary traffic sign, it is possible to store information regarding the detected temporary traffic sign in a map database. In this case, if in this case the traffic sign recognition device detects the temporary traffic sign after storing the information regarding the temporary traffic sign in the map database on another day, it is possible for the traffic sign recognizing device to recognize the recognized temporary traffic sign by comparing with the information regarding the traffic signs shown in FIG the map database are stored correctly.
Es ist daher möglich, dass die Verkehrszeichenerkennungsvorrichtung ein zeitweiliges Verkehrszeichen mit hoher Genauigkeit durch Unterscheiden eines permanenten Verkehrszeichens von einem zeitweiligen Verkehrszeichen auf der Grundlage der Verwendung verschiedener Installationsbedingungen von zeitweiligen Verkehrszeichen und des Speicherns von Informationen hinsichtlich der zeitweiligen Verkehrszeichen in der Kartendatenbank erkennt.Therefore, it is possible for the traffic sign recognition device to provide a temporary traffic sign with high accuracy by distinguishing a permanent traffic sign from detects a temporary traffic sign based on the use of various installation conditions of temporary traffic signs and storing information regarding the temporary traffic signs in the map database.
Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung ist an einem Kraftfahrzeug montiert. Die Verkehrszeichenerkennungsvorrichtung 30 erfasst und erkennt ein Verkehrszeichen. Das Verkehrszeichen ist an der Seite oder oberhalb einer Straße, auf der ein Kraftfahrzeug eines Fahrers, das mit der Verkehrszeichenerkennungsvorrichtung 30 ausgerüstet ist, fährt, aufrecht angebracht. Die Verkehrszeichenerkennungsvorrichtung 30 weist eine Bilderhalteeinrichtung bzw. Bilderlangungseinrichtung 20, eine Erkennungseinrichtung 30, eine Verkehrszeichenpositionserfassungseinrichtung 30, 36 und eine Feststellungseinrichtung bzw. Bestimmungseinrichtung 30, 38 auf. Die Funktion der Bilderhalteeinrichtung 20 wird durch den Schritt S400 ausgeführt. Die Funktion der Erkennungseinrichtung 30 wird durch die Schritte S402 bis S406 ausgeführt. Die Funktion der Verkehrszeichenpositionserfassungseinrichtung 30, 36 wird durch die Schritte S408 und S424 ausgeführt. Die Funktion der Bestimmungseinrichtung 30, 38 wird durch die Schritte S410, S420, S428, S440 bis S444 und S450 ausgeführt.The traffic sign recognition device 30 According to the exemplary embodiment of the present invention is mounted on a motor vehicle. The traffic sign recognition device 30 captures and recognizes a traffic sign. The traffic sign is on the side or above a road on which a motor vehicle of a driver with the traffic sign recognition device 30 equipped, drives, upright mounted. The traffic sign recognition device 30 has an image holding device or image acquisition device 20 , a detection device 30 , a traffic sign position detecting device 30 . 36 and a determiner 30 . 38 on. The function of the picture holder 20 is executed by the step S400. The function of the recognition device 30 is executed through steps S402 to S406. The function of the traffic sign position detecting device 30 . 36 is executed through steps S408 and S424. The function of the determination device 30 . 38 is executed through steps S410, S420, S428, S440 to S444 and S450.
Insbesondere erhält bzw. erlangt die Bilderhalteeinrichtung, beispielsweise eine fahrzeuginterne Kamera, Bilddaten vor dem Kraftfahrzeug, die von ihr aufgenommen werden. Die Erkennungseinrichtung erkennt ein Verkehrszeichen auf der Grundlage der Bilddaten, die von der Bilderhalteeinrichtung erhalten werden. Die Verkehrszeichenpositionserfassungseinrichtung erfasst eine Position oder einen Ort des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird. Die Bestimmungseinrichtung bestimmt auf der Grundlage der Position des Verkehrszeichens, das von der Verkehrszeichenpositionserfassungseinrichtung erkannt wird, und von Kartendaten, die in einer Kartendatenspeichereinrichtung 52 gespeichert sind, ob das Verkehrszeichen, das von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Die Kartendatenspeichereinrichtung speichert Informationen hinsichtlich Verkehrszeichen. Das permanente Verkehrszeichen ist ein Verkehrszeichen, das stets an oder auf der Seite einer Straße aufrecht angebracht ist, und das zeitweilige Verkehrszeichen ist ein Verkehrszeichen, das zeitweilig an oder auf der Seite der Straße aufrecht angebracht ist.In particular, the image retaining device, for example an in-vehicle camera, obtains or obtains image data in front of the motor vehicle that are captured by it. The recognizer recognizes a traffic sign on the basis of the image data obtained from the image holding means. The traffic sign position detecting means detects a position or a location of the traffic sign recognized by the recognizing means. The determining means determines based on the position of the traffic sign recognized by the traffic sign position detecting means and map data stored in a map data memory means 52 whether the traffic sign recognized by the recognizer is a permanent traffic sign or a temporary traffic sign. The map data storage device stores information regarding traffic signs. The permanent traffic sign is a traffic sign always mounted upright on or on the side of a road, and the temporary traffic sign is a traffic sign temporarily erected on or at the side of the road.
Da ein permanentes Verkehrszeichen stets an derselben Position einer Straße angebracht ist und ein zeitweiliges Verkehrszeichen andererseits an einer unregelmäßigen bzw. wechselnden Position, die sich von der Position des permanenten Verkehrszeichens unterscheidet, angebracht ist, ist es möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 die Positionen des permanenten Verkehrszeichens und des zeitweiligen Verkehrszeichens auf der Grundlage der Position des erkannten Verkehrszeichens an der Straße und der Datenteile, die in der Kartendatenbank gespeichert sind, richtig erkennt. Außerdem ist es dadurch möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 mit hoher Genauigkeit richtig bestimmt, ob das erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist.Since a permanent traffic sign is always attached to the same position of a road and a temporary traffic sign on the other hand is disposed at an irregular position other than the position of the permanent traffic sign, it is possible for the traffic sign recognition device 30 recognize the positions of the permanent traffic sign and the temporary traffic sign based on the position of the recognized traffic sign on the road and the data parts stored in the map database correctly. In addition, it is possible that the traffic sign recognition device 30 correctly determines with high accuracy whether the recognized traffic sign is a permanent traffic sign or a temporary traffic sign.
Somit erkennt die Verkehrszeichenerkennungsvorrichtung 30 verschiedene Verkehrszeichen durch Unterscheiden eines permanenten Verkehrszeichens von einem zeitweiligen Verkehrszeichen. Dieses macht es möglich, ein geeignetes Verfahren zum richtigen Bestimmen des erfassten zeitweiligen Verkehrszeichens auszuwählen und zu verwenden und die Erkennungsgenauigkeit zu erhöhen.Thus, the traffic sign recognition device recognizes 30 different traffic signs by distinguishing a permanent traffic sign from a temporary traffic sign. This makes it possible to select and use a suitable method for properly determining the detected temporary traffic sign and to increase the recognition accuracy.
KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS
Im Folgenden wird eine bevorzugte Ausführungsform der vorliegenden Erfindung mit Bezug auf die zugehörigen Zeichnungen beschrieben, die zeigen:Hereinafter, a preferred embodiment of the present invention will be described with reference to the accompanying drawings, in which:
1 ein Blockdiagramm, das ein Verkehrszeichenerkennungssystem, das mit einer Verkehrszeichenerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ausgerüstet ist, zeigt; 1 FIG. 3 is a block diagram showing a traffic sign recognition system equipped with a traffic sign recognition apparatus according to an embodiment of the present invention; FIG.
2A eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung unrichtige Ergebnisse der Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens bereitstellt; 2A FIG. 13 is a view showing a case where the traffic sign recognition device provides incorrect results of permanent traffic sign recognition and a temporary traffic sign; FIG.
2B eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung richtige Ergebnisse der Erkennung der permanenten Verkehrszeichen und des zeitweiligen Verkehrszeichens in einer Kartendatenbank speichert; 2 B Fig. 12 is a view showing a case where the traffic sign recognition device stores correct results of recognition of the permanent traffic signs and the temporary traffic sign in a map database;
3 eine Ansicht, die Bedingungen zeigt, in denen Verkehrszeichen an der Seite von Straßen aufrecht angebracht sind; 3 a view showing conditions in which traffic signs are erected on the side of roads upright;
4 ein Flussdiagramm, das einen Verkehrszeichenerkennungsprozess, der von der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung ausgeführt wird, zeigt; 4 FIG. 10 is a flowchart showing a traffic sign recognition process executed by the traffic sign recognizing apparatus according to the embodiment of the present invention; FIG.
5 ein Flussdiagramm, das einen detaillierten Prozess zum Bestimmen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt; und 5 5 is a flowchart showing a detailed process for determining a permanent traffic sign and a temporary traffic sign in the traffic sign recognition process incorporated in FIG 4 shown shows; and
6 ein Flussdiagramm, das einen detaillierten Prozess zum Bereitstellen von Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt. 6 FIG. 10 is a flowchart showing a detailed process of providing information regarding a speed limit traffic sign in the traffic sign recognition process described in FIG 4 shown shows.
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS
Im Folgenden werden verschiedene Ausführungsformen der vorliegenden Erfindung mit Bezug auf die zugehörigen Zeichnungen beschrieben. In der folgenden Beschreibung der verschiedenen Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder äquivalente Teile in den verschiedenen Diagrammen.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. In the following description of the various embodiments, like reference characters designate like or equivalent parts throughout the several diagrams.
Ausführungsformembodiment
Es folgt eine Beschreibung einer Verkehrszeichenerkennungsvorrichtung in einem Verkehrszeichenerkennungssystem gemäß einer Ausführungsform der vorliegenden Erfindung mit Bezug auf die 1 bis 6.The following is a description of a traffic sign recognition device in a traffic sign recognition system according to an embodiment of the present invention with reference to FIG 1 to 6 ,
1 ist ein Blockdiagramm, das das Verkehrszeichenerkennungssystem 10, das mit der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform der vorliegenden Erfindung ausgerüstet ist, zeigt. 1 is a block diagram illustrating the traffic sign recognition system 10 Using the traffic sign recognition device 30 equipped according to the embodiment of the present invention shows.
Wie es in 1 gezeigt ist, weist das Verkehrszeichenerkennungssystem 10 eine fahrzeuginterne Kamera 20, eine Verkehrszeichenerkennungsvorrichtung 30, ein globales Positionierungssystem (GPS) 50, eine Kartendatenbank 52, eine Anzeigevorrichtung 60, einen Indikator 62 (Anzeige), einen Lautsprecher 64, etc. auf. Die Verkehrszeichenerkennungsvorrichtung 30 ist an einem Kraftfahrzeug montiert.As it is in 1 is shown has the traffic sign recognition system 10 an in-vehicle camera 20 , a traffic sign recognition device 30 , a global positioning system (GPS) 50 , a map database 52 , a display device 60 , an indicator 62 (Display), a speaker 64 , etc. on. The traffic sign recognition device 30 is mounted on a motor vehicle.
Die fahrzeuginterne Kamera 20 weist eine Linse 22 und einen Festkörperbildsensor 24 auf, der in der Lage ist, eine Szene vor dem Kraftfahrzeug zu erfassen. Der Festkörperbildsensor 24 empfängt Erfassungssignale des vorderen Bilds, die von der Linse 22 in der fahrzeuginternen Kamera 20 erhalten werden, und wandelt die empfangenen Erfassungssignale in vordere Bilddaten bzw. Vorderbilddaten um.The in-vehicle camera 20 has a lens 22 and a solid state image sensor 24 who is able to capture a scene in front of the motor vehicle. The solid state image sensor 24 receives detection signals of the front image coming from the lens 22 in the in-vehicle camera 20 and converts the received detection signals into front image data and front image data, respectively.
Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform weist einen Bilderstellungsabschnitt 32, einen Verkehrszeichenerfassungsabschnitt 34, einen Verkehrszeichenerkennungsabschnitt 36, einen Bestimmungsabschnitt 38, einen Informationssteuerabschnitt 40, einen Registrierungssteuerabschnitt 42, etc. auf.The traffic sign recognition device 30 according to the embodiment has an image forming section 32 a traffic sign detecting section 34 , a traffic sign recognition section 36 , a determination section 38 , an information control section 40 , a registration control section 42 , etc. on.
Es ist möglich, einen Mikrocomputer zu verwenden, der aus einer zentralen Verarbeitungseinheit (CPU), einem Speicher mit wahlfreiem Zugriff (RAM), einem Nur-Lese-Speicher (ROM), etc. besteht, um jeweils den Bilderstellungsabschnitt 32, den Verkehrszeichenerfassungsabschnitt 34, den Verkehrszeichenerkennungsabschnitt 36, den Bestimmungsabschnitt 38, den Informationsteuerabschnitt 40 und den Registrierungssteuerabschnitt 42 alleine oder zusammen zu realisieren.It is possible to use a microcomputer consisting of a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), etc., respectively, around the image forming section 32 , the traffic sign detecting section 34 , the traffic sign recognition section 36 , the determination section 38 , the information control section 40 and the registration control section 42 to realize alone or together.
Der Bilderstellungsabschnitt 32 führt einen Prozess zum Extrahieren von Umrissen (oder Kanten) eines Objekts aus den vorderen Bilddaten, die von dem Festkörperbildsensor 24 in der Kameravorrichtung 20 erhalten werden, aus.The picture-making section 32 performs a process of extracting outlines (or edges) of an object from the front image data obtained from the solid state image sensor 24 in the camera device 20 to be obtained.
Der Verkehrszeichenerfassungsabschnitt 34 erfasst ein Verkehrszeichen aus dem Umrissbild, das von dem Bilderstellungsabschnitt 32 erzeugt wird, wenn das erhaltene Umrissbild des erkannten Objekts eine ähnliche oder gleiche Gestalt wie ein Zeichen, das beispielsweise in dem ROM gespeichert ist, aufweist.The traffic sign detecting section 34 detects a traffic sign from the outline image that is from the image creation section 32 is generated when the obtained outline image of the recognized object has a similar or the same shape as a character stored in, for example, the ROM.
Der Verkehrszeichenerkennungsabschnitt 36 führt eine Bildanalyse der Bilddaten, die von dem Verkehrszeichenerfassungsabschnitt 34 als ein Verkehrszeichen erkannt werden, aus und erkennt die Art des Verkehrszeichens auf der Grundlage des Umrisses, der Farbe, des Schriftbilds und der Gestalt der Bilddaten.The traffic sign recognition section 36 performs image analysis of the image data acquired by the traffic sign detecting section 34 recognized as a traffic sign, and recognizes the type of traffic sign based on the outline, color, typeface, and shape of the image data.
Der Bestimmungsabschnitt 38 bestimmt, ob das Verkehrszeichen, das von dem Verkehrszeichenerkennungsabschnitt 36 erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Wenn das Bestimmungsergebnis angibt, dass das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, bestimmt der Bestimmungsabschnitt 38, ob die Erkennung richtig ist.The determination section 38 determines whether the traffic sign coming from the traffic sign recognition section 36 is detected, is a permanent traffic sign or a temporary traffic sign. If the determination result indicates that the recognized traffic sign is a temporary traffic sign, the determining section determines 38 whether the recognition is correct.
Der Informationssteuerabschnitt 40 weist die Anzeigevorrichtung 60 an, das Verkehrszeichen, das derzeitig erkannt wird, anzuzeigen, wenn das Bestimmungsergebnis das richtige Verkehrszeichen angibt, weist den Indikator 62, der dem erkannten Verkehrszeichen entspricht, an sich einzuschalten, d. h. zu leuchten, und weist außerdem den Lautsprecher 64 an, Informationen hinsichtlich des erkannten Verkehrszeichens auszugeben. Wenn andererseits eine die Erkennung nicht richtig ist, werden dem Fahrer des Kraftfahrzeugs keine Informationen zur Verfügung gestellt. Die folgende Erläuterung zeigt ein Beispiel eines Geschwindigkeitsbegrenzungszeichens als ein Verkehrszeichen, dessen Informationen dem Fahrer des Kraftfahrzeugs zur Verfügung gestellt werden.The information control section 40 has the display device 60 indicating the traffic sign that is currently detected when the determination result indicates the correct traffic sign indicates the indicator 62 , which corresponds to the recognized traffic sign to turn on, ie to light, and also has the speaker 64 to output information regarding the recognized traffic sign. On the other hand, if the recognition is not correct, information is not provided to the driver of the motor vehicle. The following explanation shows an example of a speed limit sign as a traffic sign whose Information is provided to the driver of the motor vehicle.
Der Registrierungssteuerabschnitt 42 speichert die Art des zeitweiligen Verkehrszeichens, das richtig erkannt wird, in der Kartendatenbank (Karten-DB) 52. Wenn andererseits eine unrichtige Erkennung eines zeitweiligen Verkehrszeichens vorliegt, speichert der Registrierungssteuerabschnitt 42 die Informationen hinsichtlich der Art und der Koordinaten nicht in der Kartendatenbank 52.The registration control section 42 stores the type of temporary traffic sign that is recognized correctly in the map database (map DB) 52 , On the other hand, if there is an incorrect recognition of a temporary traffic sign, the registration control section stores 42 the information regarding the type and coordinates is not in the map database 52 ,
(Prozess zum Erkennen eines Verkehrszeichens)(Process for recognizing a traffic sign)
2A ist eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung 30 unrichtige Ergebnisse einer Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens bereitstellt. 2B ist eine Ansicht, die einen Fall zeigt, bei dem die Verkehrszeichenerkennungsvorrichtung 30 richtige Ergebnisse einer Erkennung von permanenten Verkehrszeichen und eines zeitweiligen Verkehrszeichens in einer Kartendatenbank speichert. 2A FIG. 14 is a view showing a case where the traffic sign recognition device. FIG 30 provides incorrect results of detection of permanent traffic signs and a temporary traffic sign. 2 B FIG. 14 is a view showing a case where the traffic sign recognition device. FIG 30 stores correct results of recognition of permanent traffic signs and a temporary traffic sign in a map database.
Wie es in den 2A und 2B gezeigt ist, enthalten die Kartendaten, die in der Kartendatenbank 52 gespeichert sind, Daten und Verbindungsglieder und Knoten, die Straßen ausdrücken. Das Verbindungsglied verbindet benachbarte Knoten, die Kreuzungen, Verzweigungen, Übergänge, etc. ausdrücken, miteinander. Eine Verbindung zwischen Knoten drückt eine Straße aus.As it is in the 2A and 2 B shown contains the map data contained in the map database 52 stored, data and links and nodes expressing roads. The link connects adjacent nodes expressing intersections, branches, transitions, etc. with each other. A connection between nodes expresses a road.
Jeder Verbindungsglieddatenteil enthält eine Identifikationsnummer, eine Länge des Verbindungsglieds, einen Längen- und Breitengrad einer Koordinate eines Startpunkts und eines Zielpunkts, die Art einer Straße wie beispielsweise Schnellstraße, Nationalstraße, etc., die Anzahl von Fahrbahnen bzw. Fahrspuren einer Straße, etc.Each link data part includes an identification number, a link length, a latitude and longitude of a coordinate of a start point and a destination, the kind of a road such as a freeway, national road, etc., the number of lanes of a road, etc.
Jeder Knotendatenteil enthält eine Koordinate einer Straße, eine Identifikationsnummer eines Verbindungsglieds, das mit dem Knoten verbunden ist, Arten von Verkehrszeichen innerhalb einer vorbestimmten Zone, die von dem Knoten ausgehend gemessen wird, etc.Each node data part includes a coordinate of a road, an identification number of a link connected to the node, kinds of traffic signs within a predetermined zone measured from the node, etc.
Das permanente Verkehrszeichen ist, wie es zuvor beschrieben wurde, innerhalb einer vorbestimmten Zone, die von dem Knoten der Kartendaten, beispielsweise innerhalb einer 10 m-Zone, die von dem Knoten der Kartendaten ausgehend gemessen wird, an einer Straße angeordnet.The permanent traffic sign is, as described above, within a predetermined zone located on a road from the node of the map data, for example, within a 10 m zone measured from the node of the map data.
Andererseits ist das zeitweilige Verkehrszeichen, wie es zuvor beschrieben wurde, außerhalb der vorbestimmten Zone, die von dem Knoten ausgehend gemessen wird, angeordnet.On the other hand, as described above, the temporary traffic sign is located outside the predetermined zone measured from the node.
Die Verkehrszeichenerkennungsvorrichtung 30 kann den Ort eines erkannten Verkehrszeichens auf der Grundlage eines Abstands zu einem derzeitigen Ort des Kraftfahrzeugs des Fahrers, der mittels des GPS 50 erhalten wird, erfassen. Die Verkehrszeichenerkennungsvorrichtung 30 kann auf der Grundlage der Informationen hinsichtlich des Orts des Verkehrszeichens und der Kartendaten, die in der Kartendatenbank 52 gespeichert sind, überprüfen bzw. bestimmen, ob das erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist.The traffic sign recognition device 30 may determine the location of a recognized traffic sign based on a distance to a current location of the driver's motor vehicle by means of the GPS 50 is received. The traffic sign recognition device 30 may be based on the information regarding the location of the traffic sign and the map data contained in the map database 52 are stored, check or determine whether the detected traffic sign is a permanent traffic sign or a temporary traffic sign.
Wenn das Bestimmungsergebnis angibt, dass das erkannte Verkehrszeichen eines der permanenten Verkehrszeichen ist, vergleicht die Verkehrszeichenerkennungsvorrichtung 30 die Art des erkannten Verkehrszeichens mit der Art der jeweiligen Verkehrszeichen, die bereits mit dem Knoten verbunden und in der Kartendatenbank 52 gespeichert sind. Es ist möglich, die Erkennungsgenauigkeit beim Erfassen des Verkehrszeichens auf der Grundlage der Bilddaten durch Erhöhen eines Erkennungsgewichts der Verkehrszeichen, die mit den Knoten verbunden sind, zu erhöhen.When the determination result indicates that the recognized traffic sign is one of the permanent traffic signs, the traffic sign recognition device compares 30 the type of traffic sign detected with the type of traffic signs already connected to the node and in the map database 52 are stored. It is possible to increase the recognition accuracy in detecting the traffic sign on the basis of the image data by increasing a recognition weight of the traffic signs connected to the nodes.
Da ein zeitweiliges Verkehrszeichen zeitweilig an einer Straße angebracht ist, ist dieses andererseits in der Kartendatenbank 52 nicht gespeichert. Dementsprechend ist es notwendig, dass die Verkehrszeichenerkennungsvorrichtung 30 die Bilddaten, die von der Kamera 20 aufgenommen werden, analysiert, um ein derartiges zeitweiliges Verkehrszeichen richtig zu erkennen.On the other hand, since a temporary traffic sign is temporarily attached to a road, it is in the map database 52 not saved. Accordingly, it is necessary that the traffic sign recognition device 30 the image data taken by the camera 20 analyzed to properly detect such a temporary traffic sign.
Wie es in 2A gezeigt ist, besteht, wenn die Kamera 20 ein Objekt aufnimmt, das einem Endzeichen einer Verkehrsbegrenzung ähnelt, beispielsweise ein zeitweiliges Verkehrszeichen, das „Ende oder Beendigung einer Geschwindigkeitsbegrenzung” angibt, die Möglichkeit, dass die Verkehrszeichenerkennungsvorrichtung 30 keine richtige Erkennung durchführt, bei der das erfasste zeitweilige Verkehrszeichen eines der Endzeichen von Verkehrsbegrenzungen, beispielsweise ein Endzeichen einer Geschwindigkeitsbegrenzung, ist.As it is in 2A is shown when the camera 20 picking up an object that resembles a stop mark of a traffic limit, such as a temporary traffic sign indicating "end or termination of a speed limit," the possibility that the Traffic sign detection device 30 does not perform a correct recognition, in which the detected temporary traffic sign is one of the end signs of traffic restrictions, for example a limit sign of a speed limit.
Die Markierung bzw. das Zeichen, die bzw. das auf der oberen rechten Seite der 2A gezeigt ist, weist beispielsweise eine Stabgestalt auf und ähnelt einem Endzeichen einer Verkehrsbegrenzung, ist aber kein zeitweiliges Verkehrszeichen, da das Endzeichen einer Verkehrsbegrenzung eine kreisförmige Gestalt aufweist, wie es auf der mittleren rechten Seite der 2A gezeigt ist. Das heißt, die Markierung, die auf der oberen rechten Seite der 2A gezeigt ist, unterscheidet sich von dem zeitweiligen Endzeichen der Verkehrsbegrenzung, das auf der mittleren rechten Seite der 2A gezeigt ist. Es besteht jedoch die Möglichkeit, dass die Verkehrszeichenerkennungsvorrichtung 30 keine richtige Erkennung durchführt, so dass der Umriss der Markierung auf der oberen rechten Seite der 2A als gleich dem kreisförmigen Umriss des zeitweiligen Verkehrszeichens, das auf der mittleren rechten Seite der 2A gezeigt ist, erkannt wird, so dass daher die Markierung auf der oberen rechten Seite der 2A als gleich dem zeitweiligen Verkehrszeichen, das auf der mittleren rechten Seite der 2A gezeigt ist, erkannt wird.The marker or mark on the upper right side of the 2A for example, has a bar shape and is similar to an end sign of a traffic boundary, but is not a temporary traffic sign because the end sign of a traffic boundary has a circular shape as shown on the middle right side of FIG 2A is shown. That is, the marker on the upper right side of the 2A is different from the temporary stop sign of the traffic limit, which is on the middle right side of the 2A is shown. However, there is a possibility that the traffic sign recognition device 30 does not perform proper detection, so that the outline of the marker on the upper right side of the 2A as equal to the circular outline of the temporary traffic sign, which is on the middle right side of the 2A is shown, so that therefore the mark on the upper right side of 2A as equal to the temporary traffic sign on the middle right side of the 2A is shown is detected.
3 ist eine Ansicht, die Bedingungen zeigt, in denen Verkehrszeichen an der Seite von Straßen aufrecht angebracht sind. 3 is a view showing conditions in which traffic signs are erected upright on the side of roads.
Wie es in 3 gezeigt ist, ist die Änderung einer Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Geschwindigkeitsbegrenzungszeichens unabhängig von der Art eines zuvor erkannten Geschwindigkeitsbegrenzungsverkehrszeichens wirksam, d. h. unabhängig davon, ob dieses ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist.As it is in 3 is shown, the change of a speed limit using a temporary speed limit sign is effective regardless of the type of a previously detected speed limit traffic sign, ie, whether it is a permanent speed limit traffic sign or a temporary speed limit traffic sign.
Andererseits ist es nur dann möglich, eine Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Endzeichens einer Verkehrsbegrenzung zu beenden, wenn das zuvor erkannte Geschwindigkeitsbegrenzungsverkehrszeichen ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist. Es ist jedoch nicht möglich, eine Geschwindigkeitsbegrenzung unter Verwendung eines zeitweiligen Endzeichens einer Verkehrsbegrenzung zu beenden, wenn das zuvor erkannte Geschwindigkeitsbegrenzungsverkehrszeichen ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen ist. Das heißt, wenn das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist und das zuvor erkannte Verkehrszeichen ein permanentes Geschwindigkeitsbegrenzungszeichen ist, kann bestimmt bzw. festgestellt werden, dass die Verkehrszeichenerkennungsvorrichtung die Erkennung, dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist, nicht richtig durchgeführt hat.On the other hand, if the previously recognized speed limit traffic sign is a temporary speed limit traffic sign, it is only possible to terminate a speed limit using a temporary end sign of a traffic boundary. However, it is not possible to terminate a speed limit using a traffic end temporary stop when the previously detected speed limit traffic sign is a permanent speed limit traffic sign. That is, if the currently recognized traffic sign is a temporary stop sign of a traffic boundary and the previously recognized traffic sign is a permanent speed limit sign, it can be determined that the traffic sign recognition device is not detecting that the currently recognized traffic sign is a temporary stop sign of a traffic boundary done correctly.
Andererseits ist es, wie es in 2B gezeigt ist, möglich, ein Geschwindigkeitsbegrenzungsverkehrszeichen als ein zeitweiliges Verkehrszeichen unabhängig von der Art eines zuvor erkannten Verkehrszeichens, d. h. unabhängig davon, ob dieses ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, anzubringen. Wenn dementsprechend ein Geschwindigkeitsbegrenzungsverkehrszeichen als ein zeitweiliges Verkehrszeichen erkannt wird, ist es möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 die Art und die Koordinaten des erkannten zeitweiligen Verkehrszeichens als ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen in der Kartendatenbank 52 speichert.On the other hand, it is how it is in 2 B is shown, it is possible to attach a speed limit traffic sign as a temporary traffic sign regardless of the type of a previously recognized traffic sign, that is, irrespective of whether it is a permanent speed limit traffic sign or a temporary speed limit traffic sign. Accordingly, when a speed limit traffic sign is recognized as a temporary traffic sign, it is possible for the traffic sign recognition device 30 the type and coordinates of the detected temporary traffic sign as a temporary speed limit traffic sign in the map database 52 stores.
Dieses macht es möglich, ein zeitweiliges Verkehrszeichen mit hoher Genauigkeit durch Vergleichen des derzeitig erkannten Verkehrszeichens mit den Daten hinsichtlich des zeitweiligen Geschwindigkeitsbegrenzungsverkehrszeichens, die in der Kartendatenbank 52 gespeichert sind, zu erfassen.This makes it possible to obtain a temporary traffic sign with high accuracy by comparing the currently recognized traffic sign with the data regarding the temporary speed limit traffic sign included in the map database 52 are stored to capture.
(Prozess zum Erkennen und Informieren über Verkehrszeichen)(Process for recognizing and informing traffic signs)
Es folgt eine Beschreibung des Prozesses zum Erkennen eines Verkehrszeichens und zum Anzeigen des Erkennungsergebnisses für den Fahrer eines Kraftfahrzeugs, das mit dem Verkehrszeichenerkennungssystem 10, das die Verkehrszeichenerkennungsvorrichtung 30 aufweist, ausgerüstet ist, mit Bezug auf die 4 bis 6.The following is a description of the process of recognizing a traffic sign and displaying the recognition result to the driver of a motor vehicle associated with the traffic sign recognition system 10 containing the traffic sign recognition device 30 equipped, with respect to the 4 to 6 ,
4 ist ein Flussdiagramm, das den Prozess einer Hauptroutine zum Erkennen von Verkehrszeichen zeigt, der von der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform der vorliegenden Erfindung ausgeführt wird. 4 FIG. 10 is a flowchart showing the process of a main traffic signal recognizing routine executed by the traffic signal recognizing device 30 is carried out according to the embodiment of the present invention.
5 ist ein Flussdiagramm, das einen detaillierten Prozess zum Bestimmen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt. 6 ist ein Flussdiagramm, das einen detaillierten Prozess zum Bereitstellen von Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens in dem Verkehrszeichenerkennungsprozess, der in 4 gezeigt ist, zeigt. 4, 5 und 6 zeigen den Prozess zum Erkennen von Verkehrszeichen wie beispielsweise eines Geschwindigkeitsbegrenzungsverkehrszeichens und eines Endzeichens einer Verkehrsbegrenzung. In den 4 bis 6 gibt das Bezugszeichen „S” einen Schritt in dem Prozess an, beispielsweise „Schritt S400”. Das heißt, 5 zeigt den detaillierten Prozess des Schritts S408, der in 4 gezeigt ist. 6 zeigt den detaillierten Prozess des Schritts S410, der in 4 gezeigt ist. 5 FIG. 10 is a flowchart illustrating a detailed process for determining a permanent traffic sign and a temporary traffic sign in the traffic sign recognition process incorporated in FIG 4 shown shows. 6 FIG. 10 is a flowchart illustrating a detailed process for providing information regarding a speed limit traffic sign in the traffic sign recognition process disclosed in FIG 4 shown shows. 4 . 5 and 6 show the process of recognizing traffic signs such as a speed limit traffic sign and an end sign of a traffic boundary. In the 4 to 6 the reference character "S" indicates a step in the process, for example, "step S400". This means, 5 FIG. 14 shows the detailed process of step S408, which is described in FIG 4 is shown. 6 shows the detailed process of step S410, which is in 4 is shown.
Wie es in 4 gezeigt ist, empfängt die Verkehrszeichenerkennungsvorrichtung 30 Bilddaten, die von der Kamera 20 aufgenommen werden (Schritt S400). Die Verkehrszeichenerkennungsvorrichtung 30 führt einen Umrissextrahierungsprozess aus, der Umrisse aus den empfangenen Bilddaten extrahiert, und erstellt erfasste Bilddaten (Schritt S402). Die erfassten Bilddaten werden zum Erfassen eines Verkehrszeichens, das einen kreisförmigen Umriss aufweist, verwendet.As it is in 4 is shown receives the traffic sign recognition device 30 Image data taken by the camera 20 are recorded (step S400). The traffic sign recognition device 30 executes an outline extracting process that extracts outlines from the received image data, and creates acquired image data (step S402). The captured image data is used to detect a traffic sign having a circular outline.
Die Verkehrszeichenerkennungsvorrichtung 30 erfasst ein Verkehrszeichen, das einen kreisförmigen Umriss aufweist, anhand der Bilddaten, die durch den Umrissextrahierungsprozess verarbeitet werden (Schritt S404). The traffic sign recognition device 30 detects a traffic sign having a circular outline based on the image data processed by the outline extraction process (step S404).
Die Verkehrszeichenerkennungsvorrichtung 30 führt einen Mustererkennungsprozess der erfassten Bilddaten für das Verkehrszeichen, das den kreisförmigen Umriss aufweist, aus. Der Mustererkennungsprozess erfasst, ob das erfasste Verkehrszeichen, das den kreisförmigen Umriss aufweist, ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S406).The traffic sign recognition device 30 performs a pattern recognition process of the acquired image data for the traffic sign having the circular outline. The pattern recognition process detects whether the detected traffic sign having the circular outline is a speed limit traffic sign or an end sign of a speed limit (step S406).
Wenn das Erfassungsergebnis des Schritts S406 angibt, dass das erkannte Verkehrszeichen das Geschwindigkeitsbegrenzungsverkehrszeichen oder das Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S406), erfasst die Verkehrszeichenerkennungsvorrichtung 30, ob dieses ein permanentes oder ein zeitweiliges Verkehrszeichen ist. Wenn das Erfassungsergebnis angibt, das das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, speichert die Verkehrszeichenerkennungsvorrichtung 30 das erkannte Verkehrszeichen in der Kartendatenbank 52 (Schritt S408).When the detection result of step S406 indicates that the recognized traffic sign is the speed limit traffic sign or the end sign of a speed limit (step S406), the traffic sign recognition device detects 30 whether this is a permanent or a temporary traffic sign. When the detection result indicates that the recognized traffic sign is a temporary traffic sign, the traffic sign recognition device stores 30 the recognized traffic sign in the map database 52 (Step S408).
Wenn das Erkennungsergebnis, dass das Endzeichen einer Geschwindigkeitsbegrenzung ein zeitweiliges Verkehrszeichen ist, richtig ist, weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60 an, das Geschwindigkeitsbegrenzungsverkehrszeichen nicht anzuzeigen, oder weist den Indikator 62 an, die Anzeige des Geschwindigkeitsbegrenzungszeichens auszuschalten. Außerdem stellt die Verkehrszeichenerkennungsvorrichtung 30 dem Fahrer des Kraftfahrzeugs mittels des Lautsprechers 64 Informationen „Ende einer Geschwindigkeitsbegrenzung” zur Verfügung (Schritt S410).If the recognition result that the end sign of a speed limit is a temporary traffic sign is correct, the traffic sign recognition device has 30 the display device 60 to not display the speed limit traffic sign, or assign the indicator 62 to switch off the display of the speed limit sign. In addition, the traffic sign recognition device provides 30 the driver of the motor vehicle by means of the speaker 64 Information "End of a speed limit" available (step S410).
Wenn andererseits das Erkennungsergebnis, dass das Endzeichen der Geschwindigkeitsbegrenzung ein zeitweiliges Verkehrszeichen ist, nicht richtig ist, weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60 an, die Informationen „Geschwindigkeitsbegrenzungsverkehrszeichen” kontinuierlich anzuzeigen, oder weist den Indikator 62 an, kontinuierlich zu leuchten. Außerdem weist die Verkehrszeichenerkennungsvorrichtung 30 den Lautsprecher 64 an, kontinuierlich Toninformationen hinsichtlich der Geschwindigkeitsbegrenzung bereitzustellen. Die Verkehrszeichenerkennungsvorrichtung 30 löscht die Daten hinsichtlich des zeitweiligen Verkehrszeichens aus der Kartendatenbank 52 (Schritt S410).On the other hand, if the recognition result that the end mark of the speed limit is a temporary traffic sign is incorrect, the traffic sign recognizer has 30 the display device 60 to continuously display the information "speed limit traffic signs" or has the indicator 62 to light up continuously. In addition, the traffic sign recognition device 30 the speaker 64 to provide continuous sound information regarding the speed limit. The traffic sign recognition device 30 deletes the data regarding the temporary traffic sign from the map database 52 (Step S410).
(Schritt zum Erkennen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens)(Step for recognizing a permanent traffic sign and a temporary traffic sign)
5 ist ein detailliertes Flussdiagramm, das einen detaillierten Prozess des Schritts S408, der in 4 gezeigt ist, zeigt. In Schritt S420, der in 5 gezeigt ist, bestimmt die Verkehrszeichenerkennungsvorrichtung 30 auf der Grundlage des Erfassungsergebnisses des Schritts S406, der in 4 gezeigt ist, ob das erkannte Verkehrszeichen ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist. 5 FIG. 12 is a detailed flowchart illustrating a detailed process of step S408, which is described in FIG 4 shown shows. In step S420, which is in 5 is shown determines the traffic sign recognition device 30 based on the detection result of the step S406 described in 4 It is shown whether the recognized traffic sign is a speed limit traffic sign or an end sign of a speed limit.
Wenn das Erfassungsergebnis des Schritts S420 ein negatives Ergebnis angibt („Nein” in Schritt S420), das heißt, wenn das Erfassungsergebnis angibt, dass das erkannte Verkehrszeichen kein Geschwindigkeitsbegrenzungsverkehrszeichen und kein Endzeichen einer Geschwindigkeitsbegrenzung ist, beendet die Verkehrszeichenerkennungsvorrichtung 30 den Prozess der Hauptroutine, die in 4 gezeigt ist. In diesem Fall ändert die Verkehrszeichenerkennungsvorrichtung 30 die Informationen, die auf der Anzeigevorrichtung 60 und von dem Indikator 62 anzuzeigen sind, nicht, das heißt, wenn beispielsweise die Anzeigevorrichtung 60 oder der Indikator 62 die Informationen hinsichtlich des Geschwindigkeitsbegrenzungsverkehrszeichens bereitstellt, ändert die Verkehrszeichenerkennungsvorrichtung 30 die Anzeige der Anzeigevorrichtung 60 oder des Indikators 62 nicht. Außerdem weist die Verkehrszeichenerkennungsvorrichtung 30 den Lautsprecher 64 nicht an, Toninformationen auszugeben.If the detection result of the step S420 indicates a negative result ("No" in step S420), that is, if the detection result indicates that the recognized traffic sign is not a speed limit traffic sign and an end sign of a speed limit, the traffic sign recognition device ends 30 the process of the main routine, which in 4 is shown. In this case, the traffic sign recognition device changes 30 the information displayed on the display device 60 and the indicator 62 are not, that is, for example, when the display device 60 or the indicator 62 The information regarding the speed limit traffic sign changes the traffic sign recognition device 30 the display of the display device 60 or the indicator 62 Not. In addition, the traffic sign recognition device 30 the speaker 64 not to output sound information.
Wenn andererseits das Erfassungsergebnis des Schritts S420 ein positives Ergebnis angibt („Ja” in Schritt S420), das heißt, wenn das Erfassungsergebnis angibt, dass das erkannte Verkehrszeichen ein Geschwindigkeitsbegrenzungsverkehrszeichen oder ein Endzeichen einer Geschwindigkeitsbegrenzung ist, erhält die Verkehrszeichenerkennungsvorrichtung 30 die Informationen bezüglich Knoten um das Fahrzeug des Fahrers auf der Grundlage der Positionsinformationen des Fahrzeugs des Fahrers, die mittels des GPS 50 erhalten werden.On the other hand, if the detection result of the step S420 indicates a positive result ("Yes" in step S420), that is, if the detection result indicates that the recognized traffic sign is a speed limit traffic sign or an end sign of a speed limit, the traffic sign recognition device obtains 30 the information regarding nodes around the driver's vehicle based on the position information of the driver's vehicle obtained by means of the GPS 50 to be obtained.
Es ist beispielsweise möglich, den Abstand zwischen dem Fahrzeug des Fahrers und dem erkannten Verkehrszeichen auf der Grundlage einer Standardgröße des Verkehrszeichens und der Anzahl der Pixel in den Kartendaten zu berechnen.For example, it is possible to calculate the distance between the driver's vehicle and the recognized traffic sign on the basis of a standard size of the traffic sign and the number of pixels in the map data.
Die Verkehrszeichenerkennungsvorrichtung 30 bestimmt auf der Grundlage des berechneten Abstands zu dem erkannten Verkehrszeichen und der Positionsinformationen des Fahrzeugs des Fahrers und der Positionsinformationen des Knotens, ob das erkannte Verkehrszeichen innerhalb eines vorbestimmten Abstands zu dem Knoten angeordnet ist (Schritt S424).The traffic sign recognition device 30 determines on the basis of the calculated distance to the recognized traffic sign and the position information of the driver's vehicle and the position information of the node, whether the recognized traffic sign within a predetermined distance to the node is arranged (step S424).
Wenn das Ergebnis in Schritt S424 ein positives Ergebnis angibt, das heißt, wenn es angibt, dass das erkannte Verkehrszeichen innerhalb des vorbestimmten Abstands angebracht ist („Ja” in Schritt S424), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass das erkannte Verkehrszeichen ein permanentes Verkehrszeichen ist, das an der Seite der Straße aufrecht angebracht ist (Schritt S426).If the result in step S424 indicates a positive result, that is, if it indicates that the recognized traffic sign is located within the predetermined distance ("Yes" in step S424), the traffic sign recognition device determines 30 in that the recognized traffic sign is a permanent traffic sign mounted upright on the side of the road (step S426).
Wenn andererseits das Ergebnis in Schritt S424 ein negatives Ergebnis angibt, das heißt, wenn es angibt, dass das erkannte Verkehrszeichen nicht innerhalb des vorbestimmten Abstands angebracht ist („Nein” in Schritt S424), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass das erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, das für Bauarbeiten oder für Straßenverbesserungsarbeiten zeitweilig angebracht ist (Schritt S428). Da das zeitweilige Verkehrszeichen in der Kartendatenbank 52 nicht gespeichert ist, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Daten hinsichtlich der Art und der Koordinaten des zeitweiligen Verkehrszeichens (Schritt S430).On the other hand, if the result in step S424 indicates a negative result, that is, if it indicates that the recognized traffic sign is not located within the predetermined distance ("No" in step S424), the traffic sign recognition device determines 30 in that the recognized traffic sign is a temporary traffic sign temporarily affixed for construction work or for road improvement work (step S428). As the temporary traffic sign in the map database 52 is not stored, stores the traffic sign recognition device 30 the data regarding the type and coordinates of the temporary traffic sign (step S430).
In Schritt S432 speichert die Verkehrszeichenerkennungsvorrichtung 30 das derzeitige Bestimmungsergebnis hinsichtlich dessen, ob das derzeitig erkannte Verkehrszeichen das Geschwindigkeitsbegrenzungsverkehrszeichen oder das Endzeichen einer Geschwindigkeitsbegrenzung ist, und hinsichtlich dessen, ob das derzeitig erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Der Ablauf schreitet zum Schritt S410, der in 4 gezeigt ist, fort, d. h. zum Schritt S440, der in 6 gezeigt ist. In Schritt S432 speichert die Verkehrszeichenerkennungsvorrichtung 30 mindestens sowohl das vorherige Bestimmungsergebnis als auch das derzeitige Bestimmungsergebnis in dem RAM.In step S432, the traffic sign recognition device stores 30 the current determination result as to whether the currently recognized traffic sign is the speed limit traffic sign or the end sign of a speed limit, and whether the currently recognized traffic sign is a permanent traffic sign or a temporary traffic sign. The flow advances to step S410 which is in 4 , ie, to step S440 shown in FIG 6 is shown. In step S432, the traffic sign recognition device stores 30 at least both the previous determination result and the current determination result in the RAM.
(Prozess zum Informieren hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens)(Process for informing about speed limit traffic sign)
Es folgt eine Beschreibung des Prozesses des Schritts S410 im Detail mit Bezug auf 6. Das heißt, der Prozess, der in 6 gezeigt ist, ist ein detaillierter Prozess des Schritts S410, der in 4 gezeigt ist.The following is a description of the process of step S410 in detail with reference to FIG 6 , That is, the process that is in 6 is a detailed process of step S410, which is shown in FIG 4 is shown.
In Schritt S440, der in 6 gezeigt ist, bestimmt die Verkehrszeichenerkennungsvorrichtung 30 auf der Grundlage des Bestimmungsergebnisses, das in Schritt S432, der in 5 gezeigt ist, gespeichert wird, ob das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist.In step S440, which is in 6 is shown determines the traffic sign recognition device 30 on the basis of the determination result obtained in step S432, which is in 5 is shown, whether the currently detected traffic sign is a temporary end sign of a speed limit.
Wenn das Bestimmungsergebnis ein negatives Ergebnis angibt („Nein” in Schritt S440), das heißt, wenn das derzeitig erkannte Verkehrszeichen kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist, bestimmt bzw. erkennt die Verkehrszeichenerkennungsvorrichtung 30, dass das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist oder dass das derzeitig erkannte Verkehrszeichen ein permanentes Endzeichen einer Geschwindigkeitsbegrenzung ist. Dabei bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass die derzeitige Erkennung richtig ist. Der Ablauf schreitet zum Schritt S446 fort.If the determination result indicates a negative result ("No" in step S440), that is, if the currently recognized traffic sign is not a temporary stop sign of a speed limit, the traffic sign recognition device determines 30 in that the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign or that the currently recognized traffic sign is a permanent end sign of a speed limit. In doing so, the traffic sign recognition device determines 30 that the current detection is correct. The flow advances to step S446.
Wenn andererseits das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Ja” in Schritt S440), erhält die Verkehrszeichenerkennungsvorrichtung 30 das vorherige Bestimmungsergebnis hinsichtlich dessen, ob das zuvor erkannte Verkehrszeichen ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist (Schritt S442). Die Verkehrszeichenerkennungsvorrichtung 30 bestimmt, ob das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist (Schritt S444).On the other hand, if the currently detected traffic sign is a temporary stop sign of a speed limit ("Yes" in step S440), the traffic sign recognition apparatus obtains 30 the previous determination result as to whether the previously recognized traffic sign is a permanent traffic sign or a temporary traffic sign (step S442). The traffic sign recognition device 30 determines whether the previously recognized traffic sign is a temporary traffic sign (step S444).
Wenn das Bestimmungsergebnis angibt, dass das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist („Ja” in Schritt S444), bestimmt die Verkehrszeichenerkennungsvorrichtung 30, dass die derzeitige Erkennung richtig ist, d. h. bestimmt, dass die derzeitige Ergebnis der Erkennung, dass das derzeitig erkannte Verkehrszeichen das zeitweilige Endzeichen einer Geschwindigkeitsbegrenzung ist, richtig ist. Der Ablauf schreitet zum Schritt S446 fort.When the determination result indicates that the previously recognized traffic sign is a temporary traffic sign ("Yes" in step S444), the traffic sign recognition apparatus determines 30 in that the current recognition is correct, ie determines that the current result of the recognition that the currently recognized traffic sign is the temporary stop sign of a speed limit is correct. The flow advances to step S446.
Um den Informationserneuerungsprozess des Schritts S446 auszuführen, ist es beispielsweise Bedingung, dass das derzeitig erkannte Verkehrszeichen kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Nein” in Schritt S440), d. h. dass beispielsweise das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, oder dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist („Ja” in Schritt S440) und das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist („Ja” in Schritt S444).For example, in order to execute the information renewal process of step S446, it is a condition that the currently recognized traffic sign is not a temporary stop sign of a speed limit ("No" in step S440), that is, "NO". H. for example, that the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign, or that the currently recognized traffic sign is a temporary stop sign of a speed limit ("Yes" in step S440) and the previously recognized traffic sign is a temporary traffic sign ("Yes" in step S444) ).
Wenn das derzeitig erkannte Verkehrszeichen ein permanentes oder ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen ist, erneuert die Verkehrszeichenerkennungsvorrichtung 30 die derzeitigen Informationen, die derzeitig auf der Anzeigevorrichtung 60 oder von dem Indikator 62 angezeigt werden, oder die derzeitigen Toninformationen, die mittels des Lautsprechers 64 ausgegeben werden, durch neue Informationen hinsichtlich des derzeitig erkannten Geschwindigkeitsbegrenzungsverkehrszeichens (Schritt S446). In Schritt S446 werden, auch wenn die derzeitigen Informationen durch die neuen Informationen ersetzt werden, wie es oben beschrieben wurde, die obigen neuen Informationen in Schritt S456 auf der Anzeigevorrichtung 60 oder von dem Indikator 60 angezeigt und dem Fahrer des Kraftfahrzeugs mittels des Lautsprechers 64 zur Verfügung gestellt.If the currently recognized traffic sign is a permanent or a temporary speed limit traffic sign, the traffic sign recognition device renews 30 the current information currently on the display device 60 or from the indicator 62 or the current sound information by means of the loudspeaker 64 output with new information regarding the currently detected speed limit traffic sign (step S446). In step S446, even if the current information is replaced with the new information as described above, the above new information is displayed on the display device in step S456 60 or from the indicator 60 displayed and the driver of the motor vehicle by means of the speaker 64 made available.
Wenn das derzeitig erkannte Verkehrszeichen ein permanentes Endzeichen einer Geschwindigkeitsbegrenzung oder ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist und wenn das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, löscht die Verkehrszeichenerkennungsvorrichtung 30 den Inhalt, der auf der Anzeige 60 oder von dem Indikator 62 angezeigt werden wird, oder erneuert den derzeitigen Toninhalt, der mittels des Lautsprechers 64 auszugeben ist, durch neuen Toninhalt „Ende einer Geschwindigkeitsbegrenzung” (Schritt S446).If the currently recognized traffic sign is a permanent limit sign of a speed limit or a temporary stop sign of a speed limit and if the previously recognized traffic sign is a temporary traffic sign, the traffic sign recognition device deletes 30 the content on the ad 60 or from the indicator 62 will be displayed or renews the current sound content by means of the loudspeaker 64 is to be output by new sound content "end of speed limit" (step S446).
Eine Variation der Zeit zum Bereitstellen der Informationen, die in Schritt S446 erneuert oder neu geschrieben werden, für den Fahrer des Kraftfahrzeugs verwirrt den Fahrer des Kraftfahrzeugs, so dass es vorteilhaft ist, wenn die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60, den Indikator 62 und den Lautsprecher 64 anweist, derartige Informationen des erkannten Verkehrszeichens, etc. zu einem vorbestimmten Informationszeitpunkt bereitzustellen (Schritt S448). Der vorbestimmte Informationszeitpunkt zum Bereitstellen derartiger erneuerter oder neu geschriebener Informationen ist der Zeitpunkt, zu dem das Fahrzeug des Fahrers beispielsweise das erkannte Verkehrszeichen erreicht. Die Verkehrszeichenerkennungsvorrichtung 30 berechnet den vorbestimmten Informationszeitpunkt, zu dem das Fahrzeug des Fahrers das erkannte Verkehrszeichen erreicht, auf der Grundlage der derzeitigen Fahrgeschwindigkeit des Fahrzeugs des Fahrers und des Abstands zwischen der derzeitigen Position des Fahrzeugs des Fahrers und dem erkannten Verkehrszeichen. Nach der Beendigung der Ausführung des Schritts S448 schreitet der Ablauf zum Schritt S456.A variation of the time for providing the information, which is renewed or rewritten in step S446, for the driver of the motor vehicle confuses the driver of the motor vehicle, so that it is advantageous if the traffic sign recognition device 30 the display device 60 , the indicator 62 and the speaker 64 instructs to provide such information of the recognized traffic sign, etc. at a predetermined information timing (step S448). The predetermined information time for providing such renewed or rewritten information is the time when the driver's vehicle, for example, reaches the recognized traffic sign. The traffic sign recognition device 30 calculates the predetermined information time at which the driver's vehicle reaches the recognized traffic sign based on the current driving speed of the driver's vehicle and the distance between the current position of the driver's vehicle and the recognized traffic sign. After completion of the execution of step S448, the flow advances to step S456.
Wenn das Bestimmungsergebnis in Schritt S444 angibt, dass das zuvor erkannte Verkehrszeichen ein permanentes und kein zeitweiliges Verkehrszeichen ist („Nein” in Schritt S444), bestimmt die Verkehrszeichenerkennungsvorrichtung 30 das Vorhandensein eines unrichtigen Erkennungsergebnisses, dass das erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist (Schritt S450), da kein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung anschließend an ein permanentes Geschwindigkeitsbegrenzungsverkehrszeichen angebracht ist.When the determination result in step S444 indicates that the previously recognized traffic sign is a permanent and not a temporary traffic sign ("No" in step S444), the traffic sign recognition apparatus determines 30 the presence of an incorrect recognition result, that the recognized traffic sign is a temporary stop sign of a speed limit (step S450), since no temporary stop sign of a speed limit subsequent to a permanent speed limit traffic sign is attached.
Die Verkehrszeichenerkennungsvorrichtung 30 erneuert die Informationen, die auf der Anzeigevorrichtung 60 oder von dem Indikator 62 anzuzeigen sind, nicht und speichert die vorherigen Informationen oder weist den Lautsprecher 64 an, dem Fahrer des Kraftfahrzeugs keine Toninformationen zur Verfügung zu stellen (Schritt S452). In Schritt S430, der in 5 gezeigt ist, löscht die Verkehrszeichenerkennungsvorrichtung 30 die Informationen hinsichtlich des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung aus der Kartendatenbank 52 im Hinblick auf die derzeitige unrichtige Erkennung (Schritt S454), da die Informationen des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung als derzeitige unrichtige Erkennung in der Kartendatenbank 52 gespeichert sind. Der Ablauf schreitet zum Schritt S456 fort.The traffic sign recognition device 30 renews the information displayed on the display device 60 or from the indicator 62 not and stores the previous information or assigns the speaker 64 to provide the driver of the motor vehicle with no sound information (step S452). In step S430, which is in 5 is shown, clears the traffic sign recognition device 30 the information regarding the temporary end mark of a speed limit from the map database 52 in view of the current incorrect recognition (step S454), since the information of the temporary end character of a speed limit as present incorrect recognition in the map database 52 are stored. The flow advances to step S456.
In Schritt S456 weist die Verkehrszeichenerkennungsvorrichtung 30 die Anzeigevorrichtung 60, den Indikator 62 oder den Lautsprecher 64 an, die Informationen hinsichtlich des derzeitig wirksamen Verkehrszeichens für den Fahrer des Kraftfahrzeugs entsprechend den Inhalten der Informationen, die in Schritt S446 oder Schritt S452 eingestellt wurden, bereitzustellen. Die Verkehrszeichenerkennungsvorrichtung 30 beendet den Prozess der Hauptroutine, die in 4 gezeigt ist.In step S456, the traffic sign recognition device 30 the display device 60 , the indicator 62 or the speaker 64 to provide the information regarding the currently effective traffic sign to the driver of the motor vehicle in accordance with the contents of the information set in step S446 or step S452. The traffic sign recognition device 30 terminates the process of the main routine, which in 4 is shown.
Es folgt eine Beschreibung der Beziehung zwischen den Vorrichtungen, die von der vorliegenden Ausführungsform verwendet werden, und Vorrichtungen oder Einrichtungen, die in den Ansprüchen genannt sind.The following is a description of the relationship between the devices used by the present embodiment and devices or devices mentioned in the claims.
Die Kamera 20 entspricht einer fahrzeuginternen Kamera, die Verkehrszeichenerkennungsvorrichtung 30 entspricht einer Verkehrszeichenpositionserkennungsvorrichtung. Das GPS 50 entspricht einer Fahrerfahrzeugpositionserfassungseinrichtung. Mindestens eines aus der Anzeigevorrichtung 60, dem Indikator 62 und dem Lautsprecher 64 entspricht einer Informationsbereitstellungseinrichtung. Die Kartendatenbank 52 entspricht einer Kartendatenspeichereinrichtung.The camera 20 corresponds to an in-vehicle camera, the traffic sign recognition device 30 corresponds to a traffic sign position detecting device. The GPS 50 corresponds to a driver's vehicle position detection device. At least one of the display device 60 , the indicator 62 and the speaker 64 corresponds to an information providing device. The map database 52 corresponds to a map data storage device.
Außerdem entspricht der Bilderstellungsabschnitt 32 in der Verkehrszeichenerkennungsvorrichtung 30 einer Bilderhalteeinrichtung, und der Verkehrszeichenerfassungsabschnitt 34 und der Verkehrszeichenerkennungsabschnitt 36 entsprechen einer Erkennungseinrichtung. Der Bestimmungsabschnitt 38 entspricht einer Bestimmungseinrichtung. Der Informationssteuerabschnitt 40 entspricht einer Informationssteuereinrichtung. Der Registrierungssteuerabschnitt 42 entspricht einer Registrierungssteuereinrichtung.In addition, the image forming section corresponds 32 in the traffic sign recognition device 30 an image holding device, and the traffic sign detecting section 34 and the traffic sign recognition section 36 correspond to a detection device. The determination section 38 corresponds to a determination device. The information control section 40 corresponds to an information control device. The registration control section 42 corresponds to a registration control device.
Außerdem entspricht der Prozess des Schritts S400, der in 4 gezeigt ist, der Funktion, die von der Bilderhalteeinrichtung ausgeführt wird. Die Prozesse der Schritte S402 bis S406, die in 4 gezeigt sind, entsprechen der Funktion, die von der Erkennungseinrichtung ausgeführt wird. Der Prozess des Schritts S408, der in 4 gezeigt ist, entspricht der Funktion, die von der Fahrerfahrzeugpositionserfassungseinrichtung, der Verkehrszeichenpositionserkennungsvorrichtung, der Bestimmungseinrichtung und der Registrierungssteuereinrichtung ausgeführt wird. Der Prozess des Schritts S410, der in 4 gezeigt ist, entspricht der Funktion, die von der Bestimmungseinrichtung, der Informationssteuereinrichtung und der Registrierungssteuereinrichtung ausgeführt wird. In addition, the process of step S400 corresponds to that in FIG 4 is shown the function performed by the picture holder. The processes of steps S402 to S406 described in 4 are shown correspond to the function performed by the recognizer. The process of step S408, which is in 4 is shown corresponds to the function performed by the driver's vehicle position detecting device, the traffic sign position detecting device, the determining device, and the registration control device. The process of step S410, which is in 4 is shown corresponds to the function performed by the determination means, the information control means and the registration control means.
Die Prozesse der Schritte S420 bis S428 und des Schritts S432, die in 5 gezeigt sind, entsprechen der Funktion, die von der Fahrerfahrzeugpositionserfassungseinrichtung und der Verkehrszeichenpositionserkennungsvorrichtung ausgeführt wird. Der Prozess des Schritts S430, der in 5 gezeigt ist, entspricht der Funktion, die von der Registrierungssteuereinrichtung ausgeführt wird.The processes of steps S420 to S428 and step S432 shown in FIG 5 are shown correspond to the function performed by the driver's vehicle position detecting device and the traffic sign position detecting device. The process of step S430, which is in 5 is shown corresponds to the function performed by the registration controller.
Weiterhin entsprechen die Prozesse der Schritte S440 bis S444 und des Schritts S450, die in 6 gezeigt sind, der Funktion, die von der Bestimmungseinrichtung ausgeführt wird. Die Prozesse der Schritte S446, S448, S452 und S456, die in 6 gezeigt sind, entsprechen der Funktion, die von der Informationssteuereinrichtung ausgeführt wird. Der Prozess des Schritts S454, der in 6 gezeigt ist, entspricht der Funktion, die von der Registrierungssteuereinrichtung ausgeführt wird.Further, the processes of steps S440 to S444 and step S450 corresponding to FIG 6 shown the function performed by the determining means. The processes of steps S446, S448, S452, and S456 described in FIG 6 are shown correspond to the function performed by the information controller. The process of step S454, which is in 6 is shown corresponds to the function performed by the registration controller.
Wie es zuvor im Detail beschrieben wurde, bestimmt die Verkehrszeichenerkennungsvorrichtung 30, ob ein derzeitig erkanntes Verkehrszeichen, das anhand von aufgenommenen Bilddaten erkannt wird, ein permanentes Verkehrszeichen oder ein zeitweiliges Verkehrszeichen ist. Wenn dementsprechend das derzeitig erkannte zeitweilige Verkehrszeichen ein Endzeichen einer Geschwindigkeitsbegrenzung und das zuvor erkannte Verkehrszeichen ein permanentes Verkehrszeichen ist, ist es, da ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung nur dann angebracht sein kann, wenn das zuvor erkannte Verkehrszeichen ein zeitweiliges Verkehrszeichen ist, auf der Grundlage der obigen Bedingungen möglich, zu bestimmen, dass das derzeitige Ergebnis der Erkennung, dass das derzeitig erkannte Verkehrszeichen ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung ist, nicht richtig ist. Dieser Bestimmungsprozess kann die Erkennungsgenauigkeit beim Erkennen des Vorhandenseins eines zeitweiligen Endzeichens eines Verkehrszeichens, d. h. des zeitweiligen Endzeichens einer Geschwindigkeitsbegrenzung, das an einer Straße angebracht ist, erhöhen.As described in detail above, the traffic sign recognition device determines 30 whether a currently recognized traffic sign, which is detected on the basis of recorded image data, is a permanent traffic sign or a temporary traffic sign. Accordingly, if the currently detected temporary traffic sign is an end sign of a speed limit and the previously recognized traffic sign is a permanent traffic sign, since a temporary end sign of a speed limit may be appropriate only if the previously recognized traffic sign is a temporary traffic sign, it is above conditions, it is possible to determine that the current result of the recognition that the currently detected traffic sign is a temporary stop sign of a speed limit is not correct. This determination process may increase the recognition accuracy in recognizing the presence of a temporary end character of a traffic sign, ie, the temporary end sign of a speed limit, which is attached to a road.
Wenn die Verkehrszeichenerkennungsvorrichtung 30 eine richtige Erkennung eines derzeitig erkannten zeitweiligen Endzeichens eines Verkehrszeichens (zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung) ausführt, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Art und die Koordinaten des zeitweiligen Verkehrszeichens in der Kartendatenbank 52 ähnlich wie in dem Fall, in dem die richtige Erkennung des zeitweiligen Geschwindigkeitsbegrenzungsverkehrszeichens ausgeführt wird. Dadurch können die richtigen Informationen hinsichtlich des zeitweiligen Verkehrszeichens aus der Kartendatenbank 52 mit hoher Genauigkeit erhalten werden, wenn das Fahrzeug an derselben Position der Straße fährt und die Verkehrszeichenerkennungsvorrichtung 30 ein derzeitig erkanntes Verkehrszeichen mit dem zeitweiligen Verkehrszeichen, das aus der Kartendatenbank 52 erhalten wird, in Übereinstimmung zu bringen versucht.When the traffic sign recognition device 30 performs proper recognition of a currently recognized temporary end mark of a traffic sign (temporary stop sign of a speed limit), stores the traffic sign recognition device 30 the type and coordinates of the temporary traffic sign in the map database 52 similar to the case where the correct recognition of the temporary speed limit traffic sign is performed. This allows the correct information regarding the temporary traffic sign from the map database 52 be obtained with high accuracy when the vehicle is driving at the same position of the road and the traffic sign recognition device 30 a currently recognized traffic sign with the temporary traffic sign coming from the map database 52 is trying to reconcile.
Weitere AusführungsformFurther embodiment
Es folgt eine Beschreibung einer weiteren Ausführungsform der Verkehrszeichenerkennungsvorrichtung.The following is a description of another embodiment of the traffic sign recognition apparatus.
In der Struktur der Verkehrszeichenerkennungsvorrichtung 30 gemäß der zuvor geschriebenen Ausführungsform stellt die Informationssteuereinrichtung die Bedingung, unter der der Fahrer des Fahrzeugs hinsichtlich eines Verkehrszeichens informiert wird, auf der Grundlage des Bestimmungsergebnisses dahingehend, ob ein zeitweiliges Endzeichen eines Verkehrszeichens (wie beispielsweise ein zeitweiliges Endzeichen einer Geschwindigkeitsbegrenzung) richtig erkannt wird, ein. In dem Fall, in dem ein zeitweiliges Endzeichen eines Verkehrszeichens richtig erkannt wird, speichert die Verkehrszeichenerkennungsvorrichtung 30 die Informationen hinsichtlich des richtig erkannten zeitweiligen Verkehrszeichens in der Kartendatenbank 52 ähnlich wie in dem Fall, in dem die Verkehrszeichenerkennungsvorrichtung 30 ein zeitweiliges Geschwindigkeitsbegrenzungsverkehrszeichen richtig erkennt.In the structure of the traffic sign recognition device 30 According to the above-described embodiment, the information control means sets the condition in which the driver of the vehicle is notified of a traffic sign on the basis of the determination result as to whether a temporary end character of a traffic sign (such as a temporary stop sign of a speed limit) is correctly recognized , In the case where a temporary end character of a traffic sign is recognized correctly, the traffic sign recognition device stores 30 the information regarding the correctly recognized temporary traffic sign in the map database 52 similar to the case where the traffic sign recognition device 30 correctly recognizes a temporary speed limit traffic sign.
Das Konzept der vorliegenden Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise denkbar, dass die Verkehrszeichenerkennungsvorrichtung 30 Informationen hinsichtlich eines erkannten zeitweiligen Verkehrszeichens in der Kartendatenbank 52 unabhängig von einer Überprüfung, ob das erkannte zeitweilige Verkehrszeichen ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist, speichert.However, the concept of the present invention is not limited thereto. It is conceivable, for example, that the traffic sign recognition device 30 Information regarding a detected temporary traffic sign in the map database 52 regardless of a check whether the detected temporary traffic sign is a temporary stop sign of a traffic restriction stores.
In der Struktur der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform, die zuvor beschrieben wurde, informiert die Informationsbereitstellungseinrichtung wie beispielsweise die Anzeigevorrichtung 60, der Indikator 62 und der Lautsprecher 64 hinsichtlich des Vorhandenseins eines Geschwindigkeitsbegrenzungsverkehrszeichens. Das Konzept der Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise denkbar, dass die Informationsbereitstellungseinrichtung zusätzliche Informationen zusätzlich zu den Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens oder andere Informationen als die Informationen hinsichtlich eines Geschwindigkeitsbegrenzungsverkehrszeichens bereitstellt.In the structure of the traffic sign recognition device 30 according to the embodiment, previously described, informs the information providing device such as the display device 60 , the indicator 62 and the speaker 64 regarding the presence of a speed limit traffic sign. However, the concept of the invention is not limited thereto. For example, it is conceivable that the information providing device provides additional information in addition to the speed limit traffic sign information or other information than the speed limit traffic sign information.
Die Verkehrszeichenerkennungsvorrichtung 30 führt ein oder mehrere Steuerprogramme, die in dem ROM gespeichert sind, aus, um die Funktionen der Bilderhalteeinrichtung, der Erkennungseinrichtung, der Fahrerfahrzeugpositionserfassungseinrichtung, der Bestimmungseinrichtung, der Informationssteuereinrichtung und der Registrierungssteuereinrichtung zu realisieren. Das Konzept der vorliegenden Erfindung ist jedoch nicht darauf beschränkt. Es ist beispielsweise möglich, eine Hardwarevorrichtung mit einer zweckgebundenen Schaltung zu verwenden, um eine oder mehrere obige Funktionen anstelle der Steuerprogramme zu realisieren.The traffic sign recognition device 30 executes one or more control programs stored in the ROM to realize the functions of the image holding device, the recognizing device, the driver's vehicle position detecting device, the determining device, the information control device, and the registration control device. However, the concept of the present invention is not limited thereto. For example, it is possible to use a hardware device having a dedicated circuit to realize one or more of the above functions instead of the control programs.
(Merkmale der Ausführungsform gemäß der vorliegenden Erfindung)(Features of the embodiment according to the present invention)
Wie es zuvor beschrieben wurde, weist die Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform außerdem die Informationssteuereinrichtung 30 und 40 auf. Der Funktion der Informationssteuereinrichtung wird durch die Schritte S446, S448, S452 und S456 ausgeführt. Die Informationssteuereinrichtung weist eine Informationsbereitstellungseinrichtung 60, 62 und 64 an, dem Fahrer des Fahrzeugs Informationen hinsichtlich des Verkehrszeichens, das von der Erkennungseinrichtung erkannt wird, zur Verfügung zu stellen. Insbesondere bestimmt die Bestimmungseinrichtung, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkennt, wenn das vorherige Verkehrszeichen, das zuvor von der Erkennungseinrichtung erkannt wurde, ein permanentes Verkehrszeichen ist und das Verkehrszeichen, das von der Erkennungseinrichtung derzeitig erkannt wird, ein zeitweiliges Endzeichen einer Verkehrsbegrenzung ist. Die Informationssteuereinrichtung weist die Informationsbereitstellungseinrichtung an, keine Informationen hinsichtlich des Verkehrszeichens, das von der Erkennungseinrichtung derzeitig erkannt wird, zur Verfügung zu stellen bzw. bereitzustellen, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung eine falsche Erkennung durchgeführt hat.As described above, the traffic sign recognizing apparatus according to the embodiment also has the information control device 30 and 40 on. The operation of the information controller is performed by steps S446, S448, S452, and S456. The information control device has an information providing device 60 . 62 and 64 to provide the driver of the vehicle with information regarding the traffic sign recognized by the recognition device. In particular, the determining means determines that the recognizing means does not correctly recognize the currently recognized traffic sign if the previous traffic sign previously recognized by the recognizing means is a permanent traffic sign and the traffic sign currently recognized by the recognizing means is a temporary end sign of a traffic boundary is. The information control means instructs the information providing means not to provide information regarding the traffic sign currently detected by the recognizer when the determining means determines that the recognizer has made an erroneous recognition.
In dem Fall, in dem die Erkennungseinrichtung ein zeitweiliges Verkehrszeichen richtig erkennt, weist die Informationssteuereinrichtung die Informationsbereitstellungseinrichtung an, dem Fahrer des Fahrzeugs Informationen hinsichtlich des derzeitig erkannten zeitweiligen Verkehrszeichens zur Verfügung zu stellen. Wenn andererseits die Erkennungseinrichtung ein zeitweiliges Verkehrszeichen nicht richtig erkennt, wird der Fahrer des Fahrzeugs weiterhin hinsichtlich des zuvor erkannten Verkehrszeichens informiert. Dieses macht es möglich, dem Fahrer des Fahrzeugs richtige Informationen hinsichtlich der Verkehrszeichen um das Fahrzeug des Fahrers zur Verfügung zu stellen.In the case where the recognizer correctly recognizes a temporary traffic sign, the information controller instructs the information providing facility to provide the driver of the vehicle with information regarding the currently recognized temporary traffic sign. On the other hand, if the recognizer does not correctly recognize a temporary traffic sign, the driver of the vehicle is further informed of the previously recognized traffic sign. This makes it possible to provide the driver of the vehicle with correct information regarding the traffic signs around the driver's vehicle.
Die Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform weist außerdem eine Registrierungssteuereinrichtung 30 und 42 auf. Der Funktion der Registrierungssteuereinrichtung wird durch die Schritte S430 und S454 ausgeführt. Die Registrierungssteuereinrichtung weist die Kartendatenspeichereinrichtung an, Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, zu speichern, wenn die Bestimmungseinrichtung bestimmt, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, das zeitweilige Verkehrszeichen ist. Die Registrierungssteuereinrichtung weist die Kartendatenspeichereinrichtung an, keine Informationen hinsichtlich des zeitweiligen Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, zu speichern, wenn die Bestimmungseinrichtung bestimmt, dass die Erkennungseinrichtung das derzeitig erkannte Verkehrszeichen nicht richtig erkannt hat.The traffic sign recognition device according to the embodiment further includes a registration control device 30 and 42 on. The function of the registration controller is executed through steps S430 and S454. The registration control means instructs the map data storage means to store information regarding the temporary traffic sign currently detected by the recognition means when the determination means determines that the traffic sign currently being recognized by the recognition means is the temporary traffic sign. The registration control means instructs the map data storage means not to store information regarding the temporary traffic sign currently detected by the recognition means when the determination means determines that the recognition means has not correctly recognized the currently recognized traffic sign.
In der obigen Struktur und Funktion der Verkehrszeichenerkennungsvorrichtung weist die Registrierungssteuereinrichtung die Kartendatenspeichereinrichtung wie beispielsweise die Kartendatenbank 52 an, die Informationen hinsichtlich des richtig erkannten zeitweiligen Verkehrszeichens zu speichern, wenn die Erkennungseinrichtung das derzeitig erkannte zeitweilige Verkehrszeichen richtig erkennt. Wenn das Fahrzeug des Fahrers an derselben Position der Straße fährt, ist es dementsprechend möglich, dass die Verkehrszeichenerkennungsvorrichtung 30 das zeitweilige Verkehrszeichen mit hoher Genauigkeit durch Vergleichen des richtig erkannten zeitweiligen Verkehrszeichens mit den Informationen hinsichtlich der Verkehrszeichen, die aus der Kartendatenspeichereinrichtung erhalten werden, erkennt.In the above structure and function of the traffic sign recognition device, the registration control device has the map data storage device such as the map database 52 to store the information regarding the correctly recognized temporary traffic sign when the recognizer correctly recognizes the currently detected temporary traffic sign. Accordingly, when the driver's vehicle is driving at the same position of the road, it is possible for the traffic sign recognition device 30 recognize the temporary traffic sign with high accuracy by comparing the properly recognized temporary traffic sign with the information regarding the traffic signs obtained from the map data storage device.
Außerdem bestimmt die Bestimmungseinrichtung in der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform auf der Grundlage der Informationen hinsichtlich der Position des derzeitig von der Erkennungseinrichtung erkannten Verkehrszeichens, die von der Verkehrszeichenpositionserfassungseinrichtung erkannt wird, nur dann, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein permanentes Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, innerhalb einer vorbestimmten Zone, die von einem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist.In addition, in the traffic sign recognizing device according to the embodiment, the determining means determines only on the basis of the information regarding the position of the traffic sign currently recognized by the recognizing means, which is recognized by the traffic sign position detecting means, that the traffic sign currently recognized by the recognizer is a permanent traffic sign when the traffic sign currently detected by the recognizer is located within a predetermined zone measured from a node of the map data.
Die Bestimmungseinrichtung bestimmt nur dann, dass das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, ein zeitweiliges Verkehrszeichen ist, wenn das Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird, außerhalb der vorbestimmten Zone, die von dem Knoten der Kartendaten ausgehend gemessen wird, angeordnet ist.The determining means determines only that the traffic sign currently recognized by the recognizer is a temporary traffic sign when the traffic sign currently detected by the recognizer is outside the predetermined zone measured from the node of the map data, is arranged.
Die Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform kann Verkehrszeichen mit hoher Genauigkeit unter Verwendung der Informationen hinsichtlich Knoten, die in der Kartendatenspeichereinrichtung gespeichert sind, auf der Grundlage der Differenz zwischen den Anbringungspositionen eines permanenten Verkehrszeichens und eines zeitweiligen Verkehrszeichens erkennen.The traffic sign recognition device 30 According to the embodiment, traffic signs can be recognized with high accuracy using the information regarding nodes stored in the map data storage device based on the difference between the attachment positions of a permanent traffic sign and a temporary traffic sign.
Außerdem erfasst die Verkehrszeichenpositionserfassungseinrichtung in der Verkehrszeichenerkennungsvorrichtung gemäß der Ausführungsform die Position des Verkehrszeichens, das derzeitig von der Erkennungseinrichtung erkannt wird, auf der Grundlage einer derzeitigen Position des Fahrzeugs des Fahrers, die von einer Fahrerfahrzeugpositionserhalteeinrichtung 30 und 50 erhalten wird, und des Abstands zwischen dem Fahrzeug des Fahrers und dem Verkehrszeichen, das derzeitig von der Erkennungseinrichtung erkannt wird. Die Funktion der Fahrerfahrzeugpositionserhalteeinrichtung wird durch die Schritte S408 und S424 ausgeführt.In addition, the traffic sign position detecting device in the traffic sign recognizing device according to the embodiment detects the position of the traffic sign currently recognized by the recognizing device based on a current position of the driver's vehicle that is from a driver's vehicle position obtaining device 30 and 50 and the distance between the driver's vehicle and the traffic sign currently recognized by the recognizer. The operation of the driver's vehicle position obtaining device is performed by the steps S408 and S424.
Wenn beispielsweise ein Kraftfahrzeug mit einem globalen Positionierungssystem (GPS) ausgerüstet ist, das als die Fahrerfahrzeugpositionserfassungseinrichtung dient, ist es möglich, die Position des derzeitig erkannten Verkehrszeichens auf der Grundlage des Abstands zwischen dem derzeitigen Ort des Fahrzeugs des Fahrers und der Position des erkannten Verkehrszeichens zu erfassen. Das heißt, es ist möglich, den Abstand zwischen dem Fahrzeug des Fahrers und dem derzeitig erkannten Verkehrszeichen auf der Grundlage der Anzahl der Pixel der Bilddaten und einer Standardgröße des richtig erkannten Verkehrszeichens oder auf der Grundlage des Erfassungsergebnisses, das durch eine Abstandsmessvorrichtung, die mit einer Laservorrichtung ausgerüstet und an dem Kraftfahrzeug montiert ist, erhalten wird, zu erfassen.For example, when a motor vehicle is equipped with a global positioning system (GPS) serving as the driver's vehicle position detecting device, it is possible to determine the position of the currently recognized traffic sign based on the distance between the current location of the driver's vehicle and the position of the recognized traffic sign to capture. That is, it is possible to determine the distance between the driver's vehicle and the currently recognized traffic sign on the basis of the number of pixels of the image data and a standard size of the correctly recognized traffic sign or based on the detection result obtained by a distance measuring device provided with a Laser device equipped and mounted on the motor vehicle, is obtained to detect.
Wie es zuvor beschrieben wurde, ist es möglich, die Funktion der Verkehrszeichenerkennungsvorrichtung 30 gemäß der Ausführungsform unter Verwendung von einer oder mehreren Hardwarevorrichtungen oder einer Kombination aus diesen, die zweckgebundene Funktionen und zweckgebundene Programme aufweisen, zu realisieren.As described above, it is possible to function the traffic sign recognition device 30 according to the embodiment, using one or more hardware devices or a combination thereof having dedicated functions and dedicated programs.
Während oben spezielle Ausführungsformen der vorliegenden Erfindung beschrieben wurden, sind verschiedene Modifikationen und Alternativen dieser Details im Lichte der Lehre der Beschreibung möglich. Der Bereich der Erfindung wird durch die zugehörigen Ansprüche angegeben.While specific embodiments of the present invention have been described above, various modifications and alternatives of these details are possible in light of the teaching of the specification. The scope of the invention is indicated by the appended claims.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
-
JP 2008-276291 [0002] JP 2008-276291 [0002]
