WO2014032660A1 - Verfahren zur elektronischen erkennung von verkehrszeichen - Google Patents

Verfahren zur elektronischen erkennung von verkehrszeichen Download PDF

Info

Publication number
WO2014032660A1
WO2014032660A1 PCT/DE2013/200033 DE2013200033W WO2014032660A1 WO 2014032660 A1 WO2014032660 A1 WO 2014032660A1 DE 2013200033 W DE2013200033 W DE 2013200033W WO 2014032660 A1 WO2014032660 A1 WO 2014032660A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
recognition
vehicle
traffic sign
pattern
Prior art date
Application number
PCT/DE2013/200033
Other languages
English (en)
French (fr)
Inventor
Ulrich STÄHLIN
Alfred Eckert
Thomas Raste
Original Assignee
Continental Teves Ag & Co. Ohg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves Ag & Co. Ohg filed Critical Continental Teves Ag & Co. Ohg
Priority to DE201311004195 priority Critical patent/DE112013004195A5/de
Publication of WO2014032660A1 publication Critical patent/WO2014032660A1/de

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station

Definitions

  • the invention relates to a method for the electronic detection of traffic signs, in which from the image data of a camera arranged in a vehicle traffic-sign-type basic patterns of a traffic sign are detected.
  • the DE 10 2008 043 756 Al describes a traffic Laneer ⁇ identifier wirelessly transmitted in the traffic signs data about the nature and position of individual road signs from a database in the system of traffic sign recognition of the vehicle and are stored in a traffic sign storage so that it again while driving can be read out, in such a way that according to the current position of the vehicle, which is provided, for example.
  • a GPS receiver of the vehicle the traffic sign is read out with the same position from the traffic sign memory and is provided as traffic sign information to the driver of the vehicle. This is how such a traffic Character recognition without a camera for optical detection and recognition of traffic signs from the direct vehicle environment.
  • AI system for traffic sign recognition can also be combined with a camera-based traffic sign recognition, so that, for example, a comparison of the real with the camera detected traffic signs with the stored traffic sign data of the traffic sign memory is possible to determine appropriate changes and the To make drivers aware of this.
  • AI traffic sign recognition is that the stored traffic sign data is always up to date with respect to the position data, especially in changed or new lanes. If there is no current route data with associated traffic sign data, the traffic sign recognition relies solely on the optical recognition by means of a camera and the associated pattern recognition, so that in such cases in which it is not possible to fall back on stored traffic sign data, improved traffic sign recognition is not achieved.
  • the object of the invention is to provide a method for the electronic detection of traffic signs, which leads to a comparison with the prior art higher detection rate.
  • Pattern recognition is performed by means of a pattern recognition algorithm from the external server unit, and
  • the data of the detected traffic sign are transmitted to the communication unit of the vehicle.
  • the recognized traffic sign can be displayed on a display unit of the vehicle accordingly.
  • the pattern recognition algorithm used in this server unit for the pattern recognition constantly up-to-date, whereby the recognition rate can be significantly increased.
  • all further developments with regard to traffic sign recognition can be imaged by means of the server unit, so that the traffic sign recognition of the vehicle is always state-of-the-art with regard to such further developments.
  • the recognized traffic sign is preferably transmitted to the communication unit by the server unit not only in the event of successful pattern recognition, but also in the case of a successful pattern recognition
  • This information can therefore be used for statistical purposes in the vehicle.
  • a pattern recognition is carried out with ⁇ means of a pattern recognition algorithm of an object recognition ⁇ unit of the vehicle before the transmission of the data of Grundmus- ters to the external server unit, and only in case of non ⁇ recognize a traffic sign data of the basic pattern is transmitted to the external server unit.
  • the detection frequency of the carried out by the object recognition ⁇ unit of the vehicle pattern recognition and the detection frequency of the carried out by the external server unit pattern recognition is first determined, then the abundance ratio of the detection frequency of whether ⁇ jekterkennungsritt the vehicle and the detection Frequently ⁇ ness of formed external server unit and then displayed the value of the frequency ratio on the display unit of Fahr ⁇ zeugs. This information is provided to the driver, on the basis of which the driver can estimate himself, when an update of the pattern recognition algorithm would be worthwhile.
  • the information is a notice message on the display unit of the driver of the vehicle provided that an up ⁇ date may be caused, its implementation can be initiated by the driver of the external server unit Thus, it remains the driver left, at which time an update is carried out.
  • pattern recognition algorithms for recognizing country-specific traffic signs are transmitted from the server unit to the communication unit. This is another technicallyverbesse ⁇ tion, since the recognition of road signs and the new country must be guaranteed after a crossing of borders. Alternatively, it is a further development according to vorgese ⁇ hen that for the detection of country-specific road signs from the server unit the necessary recognition parameters for the pattern recognition algorithm of the vehicle are transmitted in order also to ensure the reliable detection of traffic ⁇ sign of the country reached after crossing a national border.
  • a dynamic adjustment of the set up by the object recognition unit pattern recognition algorithms thus possible that in dependence of the of the detected from the communication unit via ⁇ mediated basic pattern of the traffic sign, the server unit information to the communication unit übermit ⁇ telt, so that on the basis of this information, Object recognition unit that uses the pattern recognition algorithms necessary for recognizing the traffic sign or sets the recognition parameters for the pattern recognition algorithm that are required for recognition of the traffic sign.
  • a location system of the vehicle preferably according to the GPS system
  • a comparison of the location of the vehicle with the locations of traffic signs determined from the road map is carried out, - upon non-recognition of a basic pattern of an expected Ver the associated image data traffic sign by means of the communication unit to the external server unit transmits the ⁇ , and
  • the external server unit performs an evaluation of the image data with regard to a traffic sign-type basic pattern of a traffic sign and / or a traffic sign by ⁇ means of a pattern recognition algorithm.
  • the result of this evaluation can then be transmitted back to the communication unit of the vehicle, for example the recognized traffic sign or the information of not recognizing a traffic sign.
  • the electronic road map can be available in the vehicle or the traffic sign data associated with the current position of the vehicle can also be received from an external data source via the communication unit.
  • the verification of the traffic sign data in particular the position data from the digital road map based on the sol chen position data corresponding and generated by the camera th image data leads both to improve the Erkennungssi safety as well as to increased traffic safety.
  • the wireless communication of the communication unit with the external Ser unified by a mobile or satellite or wireless or Bluetooth or Internet connection is established, preferably wireless communication can be secured by cryptographic methods.
  • the server unit can be further developed according to education as a server connected via a network ⁇ share server or as a cloud server ⁇ .
  • inventive method can be formed in addition to the detection of traffic signs and traffic lights, road markings, vehicle silhouettes or object silhouettes.
  • Figure 1 is a schematic representation of a deviszei ⁇ chenerkennungssystem, which consists of a vehicle with an image recording system for traffic sign recognition and an external server unit, and
  • FIG. 2 shows a flow chart for carrying out the method according to the invention with the traffic character recognition system shown in FIG.
  • a traffic sign recognition system in Figure 1 10, in particular a motor vehicle comprising an imaging system 1 with a camera 2, which may be formed as a color camera, a Whether ⁇ jekterkennungsaku 3 for detecting objects, in particular traffic signs, wherein said object detection unit 3 a Memory 4 is assigned.
  • the object recognition unit 3 uses the image data of the vehicle environment generated by the camera 2 to generate traffic- signal-type basic patterns of a traffic sign which are stored in the memory.
  • the object detection unit 3 may also be designed so that not only traffic signals, but also other objects such as. Traffic lights, road markings, Fahrbahnbe- deferrals, preceding vehicles whosesammlungsilhouet ⁇ th and taillights, headlights and object silhouettes of a general nature can be identified, etc. ,
  • the display 5 of the vehicle 10 may, for example, be part of a central display and control unit of the vehicle 10 or an instrument cluster of the vehicle 10.
  • the vehicle has a driver assistance system 8, which the information is supplied with respect to the recognized road sign and / or further in the vehicle environment erkann ⁇ ter objects, which in turn controls actuators 8a to perform the respective driver assistance function.
  • the driver assistance system 8 the information for example. Via rate-limiting traffic signs supplied ⁇ leads are automatically adjust the current speed of the vehicle 10 to the recognized Anlagenge- speed via the control of the actuators 8a voreh ⁇ men.
  • This driver assistance system 8 may also be formed as Spurhalteassis- assistance system, the required for the tracking information is supplied in terms of detected lane markings or road boundaries and possibly makes intervention in the braking and / or steering system of the driving ⁇ zeugs 10 via the adjusting members 8a.
  • a navigation system 6 with a digital map and a GPS system as a location system is installed in the vehicle.
  • a communication unit 7 is provided, which communicates wirelessly over a radio link 9 with an external server unit 9, so both Since ⁇ th send to this server unit 9 and can also receive data from it.
  • a first method step S1 the vehicle environment is detected by the camera 2 and image data is generated therefrom, which are supplied to the object recognition unit 3 for evaluation. From these image data are first from the object detection unit 3 in accordance with process step S2 traffic signs typical pattern of traffic ⁇ sign, as recognized round or square shapes or patterns of certain size or detected before by a classifier the object recognition unit 3 according to a method step S3, the basic pattern is classified more accurately.
  • step S4 In a detection of a traffic sign (step S4) according to method step S5, the information about the recognized traffic signs ⁇ ses from the object detection unit 3.
  • the display 5 is fed and is there as information to the driver of the vehicle 10 are available. This is followed by a return to step S1.
  • the data of the detected basic pattern to the communication unit 7 are fed in accordance with a method step S6, which communicates this data to the ex- ternal server unit 9 via the radio link 9a.
  • a pattern recognition algorithm is used for evaluating this received data, with which a more complex pattern recognition is carried out than would be possible in the vehicle 10.
  • step S8 the result from method step S6 is transmitted to the communication unit 7 of the vehicle 10, which feeds the received data to the object recognition unit 3.
  • step S5 If the external server unit 9 has detected a traffic sign, this road sign is displayed on the display 5 provides Darge ⁇ (step S5).
  • the detection frequency of the carried out by the reerken ⁇ -drying unit 3 of the vehicle 10 Mustererken ⁇ voltages, and the detection frequency of the unified from the external Ser- 9 performed pattern recognition is determined and formed the abundance ratio of the two values of these detection ⁇ frequencies.
  • the value of the frequency ratio is displayed on the display 5 of the vehicle 10 and is available to the driver as information.
  • the driver can decide whether an update of the traffic sign recognition software is necessary because it may be too low the value of the frequency ratio.
  • This value of the frequency ratio may also refer to a period of time, thereby the driver of the vehicle 10 to an estimation made ⁇ handy when an update of the traffic sign recognition software ⁇ worthwhile.
  • An update can also automatically via the communication unit 7 and the server unit 9 are carried out when the value of the frequency ratio is less than a pre give ⁇ ner frequency threshold. This can be performed such that the driver of the vehicle 10 avoiding a NOTES, the information is provided on the display 5 that an update external server unit is 9 for Availability checked ⁇ supply whose execution is initiated by the driver for confirmation.
  • step S6 not only an evaluation of the transmitted basic pattern is performed, but it is also checked whether the unrecognized traffic sign could not be recognized by the object recognition unit 3, since the vehicle has 10 now moved over the border into another country whose traffic sign Mustererkennungsalgo ⁇ algorithm used in the object recognition unit 3 can not detect.
  • step S9 the information is transmitted to the communication unit 7 that is available for detecting the ⁇ ser country-specific road signs, a corresponding pattern recognition algorithm or recognition moieties of the Mustererkennungsalgo ⁇ algorithm used in the object detection unit 3 for downloading.
  • the information necessary for detection of these country-specific traffic sign recognition parameters are transmitted for those used in the object detection unit 3 pattern recognition algorithm of the driving ⁇ zeugs 10 by such a download, so that the recognition parameters of the pattern recognition algorithm to be changed so that the pattern recognition process of object detection unit 3 better adapted to the peculiarities of the traffic signs in the respective country and thus a better recognition rate is achieved, while also the processor load of a micro ⁇ processor of the object recognition unit 3 can be reduced.
  • Such a download can be made automatically via the radio link 9a of the communication device 7 with the external server unit 9 are performed or only after display on the display 5, so that the driver is given the opportunity to initiate such a download.
  • a further possibility to keep the pattern recognition algorithms used in the object recognition unit 3 up to date, or to update or supplement them in such a way that the country-specific traffic signs then detected can be detected after crossing national borders, is that depending on the recognized the basic pattern transmitted by the communication unit 7 traffic sign, the server unit transmits 9 information to the communication unit 7, so that based on the ⁇ ser information, the object recognition unit 3 uses the information necessary for He identifier ⁇ of the traffic sign pattern recognition ⁇ algorithms or the information necessary for recognition of the traffic sign recognition parameters sets the pattern recognition algorithm.
  • a dynamic ANPAS ⁇ solution of pattern recognition algorithm of the reerkennungsein ⁇ unit 3 is realized so that there is always the correct recognition ⁇ algorithms are run to detect the traffic signs.
  • This dynamic adaptation of the required pattern recognition algorithms also takes place via the radio link 9a with the server unit 9.
  • the sequence of the method according to FIG. 2 can be carried out in such a way that only the traffic- standard basic pattern of a traffic sign is recognized in the object recognition unit 3 and subsequently the data of this basic pattern is transmitted to the external server unit 9 for recognition of the traffic sign. ie the classification is always performed by the server unit 9.
  • the vehicle 10 of Figure 1 also includes a navigation ⁇ system 6 with a GPS receiver for determining the current position of the vehicle 10 as well as a digital map, the ne ⁇ ben routings also contains traffic sign information, that is information about present on the traveled route traffic signs.
  • each current position of the vehicle 10 can be assigned the traffic signs indicated in the digital map and compared with the image data generated by the camera 2. Now, the case may arise that in a certain position of the vehicle 10 image data are generated by the camera 2, which would have to include a traffic sign due to the traffic sign information of the digital map. Although a traffic sign is expected, the object recognition unit 3 will not ashess Lake typical
  • Basic pattern of a traffic sign detected In this case, the complete image data are transmitted to the external server unit 9 via the communication unit 7 for evaluation. There, both the evaluation with respect to the traffic sign typical basic pattern of a traffic sign and its detection is performed by means of a pattern recognition algorithm and the result via the radio link 9a as ⁇ the communication unit 7 back, so that this information can be displayed on the display 5.
  • the application of the method according to the invention is not limited to the detection of traffic signs, but can also be applied to other objects, such as traffic lights, lane markings, lane boundaries, vehicles in front, their vehicle silhouettes, as well as taillights, headlights and object silhouettes.
  • the wireless radio communication 9a of the communication unit 7 to the external server unit 9 may be constructed with the following Techno ⁇ technologies:
  • WLAN IEEE 802.1 la / b / g / n / ac / .
  • the wireless radio communication 9a can be secured by cryptographic methods (eg AES, ECC, RC2, Blowfish, Twofish, DES, Triple DES, SHA, ...) to make malicious changes to the data and thus to avoid misinformation of the driver.
  • cryptographic methods eg AES, ECC, RC2, Blowfish, Twofish, DES, Triple DES, SHA, Certainly to make malicious changes to the data and thus to avoid misinformation of the driver.
  • a dedicated server unit 9 instead of a dedicated server unit 9 also distributed server or so-called cloud systems can be used to ⁇ . Also possible are free accessible via the Internet server.
  • the advantages of the process according to the invention are al ⁇ lem is that first takes place in a first step a recognition respect of traffic signs typical basic patterns and in a second stage, if appropriate in the vehicle no detection is possible, the recognition is performed outside the vehicle. This allows a much more elaborate pattern recognition algorithm can be used and thereby be achieved ei ⁇ ne much higher recognition rate than if the traffic sign recognition would only be performed with the recognition unit stored in the object pattern recognition algorithm. Another advantage is that a future security of the traffic sign recognition system is guaranteed as further developments can be used by the server unit der forms ⁇ .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, erfindungsgemäß ist vorgesehen, dass über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit (9) übermittelt werden, mittels eines Mustererkennungsalgorithmus von der externen Servereinheit (9) eine Mustererkennung durchgeführt wird, und als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden und insbesondere auf einer Anzeigeeinheit (5) ein entsprechendes Verkehrszeichen dargestellt wird.

Description

Verfahren zur elektronischen Erkennung von Verkehrszeichen
Die Erfindung betrifft ein Verfahren zur elektronischen Er- kennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden.
Bereits viele Fahrzeuge, insbesondere Kraftfahrzeuge sind mit einer elektronischen Verkehrszeichenerkennung ausgestattet. So ist bspw. aus der DE 198 52 631 AI ein Verfahren zur Verkehrszeichenerkennung bekannt, bei dem mittels eines digita¬ len Bildsensors Bilder, die potentiell Verkehrszeichen ent¬ halten können, aufgenommen werden. Zur Analyse der von dem Bildsensor gelieferten Bilddaten in Echtzeit ist das Fahrzeug mit einer Objekterkennungseinheit ausgestattet, welche einen Mustererkennungsalgorithmus auf die Bilddaten zur Erkennung eines Verkehrszeichens anwendet. Die erkannten Verkehrszei¬ chen werden in einer vereinfachten Darstellung auf einer An- zeigeeinheit dargestellt.
Die DE 10 2008 043 756 AI beschreibt eine Verkehrszeichener¬ kennung, bei der Verkehrszeichendaten über die Art und Position einzelner Verkehrszeichen von einer Datenbank drahtlos in das System der Verkehrszeichenerkennung des Fahrzeugs übertragen und dort in einem Verkehrszeichenspeicher gespeichert werden, so dass sie während der Fahrt wieder ausgelesen werden können, und zwar so, dass entsprechend der aktuellen Position des Fahrzeugs, die bspw. von einem GPS-Empfänger des Fahrzeugs bereitgestellt wird, das Verkehrszeichen mit der gleichen Position aus dem Verkehrszeichenspeicher ausgelesen wird und als Verkehrszeicheninformation dem Fahrer des Fahrzeugs bereitgestellt wird. Damit kommt eine solche Verkehrs- Zeichenerkennung ohne eine Kamera zur optischen Erfassung und Erkennung von Verkehrszeichen aus der direkten Fahrzeugumgebung aus .
Dieses gemäß der DE 10 2008 043 756 AI bekannte System zur Verkehrszeichenerkennung kann auch mit einer kamerabasierten Verkehrszeichenerkennung kombiniert werden, so dass bspw. ein Vergleich der mit der Kamera real erkannten Verkehrszeichen mit den gespeicherten Verkehrszeichendaten des Verkehrszeichenspeichers möglich wird, um entsprechende Veränderungen festzustellen und den Fahrer hierauf aufmerksam machen zu können .
Voraussetzung für eine hohe Zuverlässigkeit dieses aus der DE 10 2008 043 756 AI bekannten Verkehrszeichenerkennung ist, dass die gespeicherten Verkehrszeichendaten immer aktuell hinsichtlich der Positionsdaten, insbesondere bei geänderten oder neuen Fahrbahnen sind. Sind keine aktuellen Streckendaten mit zugehörigen Verkehrszeichendaten vorhanden, ist die Verkehrszeichenerkennung allein auf die optische Erkennung mittels einer Kamera und der zugehörigen Mustererkennung angewiesen, so dass in solchen Fällen, bei denen nicht auf gespeicherte Verkehrszeichendaten zurückgegriffen werden kann, keine verbesserte Verkehrszeichenerkennung erreicht wird.
Aufgabe der Erfindung ist es, ein Verfahren zur elektronischen Erkennung von Verkehrszeichen zu schaffen, welches zu einer gegenüber dem Stand der Technik höheren Erkennungsrate führt .
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkma¬ len des Patentanspruchs 1. Ein solches Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grund¬ muster eines Verkehrszeichens erkannt werden, zeichnet sich erfindungsgemäß dadurch aus, dass
- über eine Kommunikationseinrichtung des Fahrzeugs zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit übermittelt wer¬ den,
- mittels eines Mustererkennungsalgorithmus von der externen Servereinheit eine Mustererkennung durchgeführt wird, und
- als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit des Fahrzeugs übermittelt werden. Das erkannte Verkehrszeichen kann auf ei- ner Anzeigeeinheit des Fahrzeugs entsprechend dargestellt werden .
Damit werden in dem Fahrzeug lediglich die Grundmuster von Verkehrszeichen aus den Bilddaten der Kamera erfasst und de- tektiert, wobei die eigentliche Klassifizierung des übermit¬ telten Grundmusters in die externe Servereinheit ausgelagert ist .
So ist es möglich, den in dieser Servereinheit für die Mus- tererkennung verwendeten Mustererkennungsalgorithmus ständig aktuell zu halten, wodurch sich die Erkennungsrate deutlich steigern lässt. Insbesondere können alle Weiterentwicklungen hinsichtlich einer Verkehrszeichenerkennung mittels der Servereinheit abgebildet werden, so dass die Verkehrszeichener- kennung des Fahrzeugs auch hinsichtlich solcher Weiterentwicklungen sich ständig auf dem neuesten Stand der Technik befindet . Vorzugsweise werden von der Servereinheit nicht nur bei einer erfolgreichen Mustererkennung das erkannte Verkehrszeichen an die Kommunikationseinheit übermittelt, sondern auch das
Nichterkennen eines Verkehrszeichens als Ergebnis der Muster- erkennung. Damit können diese Informationen zu statistischen Zwecken im Fahrzeug verwendet werden.
In einer vorteilhaften Ausgestaltung der Erfindung ist es vorgesehen, dass vor der Übermittlung der Daten des Grundmus- ters an die externe Servereinheit eine Mustererkennung mit¬ tels eines Musterkennungsalgorithmus einer Objekterkennungs¬ einheit des Fahrzeugs durchgeführt wird, und erst bei Nicht¬ erkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit übermittelt wird. Damit ist es mög- lieh in der Servereinheit eine aufwändigere Mustererkennung durchzuführen, die so in der Objekterkennungseinheit des Fahrzeugs nicht möglich wäre, da in einer solchen Servereinheit größere Rechenkapazitäten als in der Objekterkennungs¬ einheit zur Verfügung gestellt werden können und die Muster- erkennung Echtzeit erfolgen muss.
Gemäß einer weiteren Ausgestaltung der Erfindung wird zunächst die Erkennungshäufigkeit der von der Objekterkennungs¬ einheit des Fahrzeugs durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit durchgeführten Mustererkennungen bestimmt, anschließend das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Ob¬ jekterkennungseinheit des Fahrzeugs und der Erkennungshäufig¬ keit der externen Servereinheit gebildet und dann der Wert des Häufigkeitsverhältnisses auf der Anzeigeeinheit des Fahr¬ zeugs angezeigt. Damit werden dem Fahrer Informationen bereitgestellt, anhand derer der Fahrer selbst abschätzen kann, wann sich ein Update des Mustererkennungsalgorithmus lohnen würde .
Besonders vorteilhaft ist es gemäß einer Weiterbildung der Erfindung dann, wenn bei einem Wert des Häufigkeitsverhält¬ nisses, welcher kleiner als ein vorgegebener Häufigkeitsschwellwert ist ein Update des Mustererkennungsalgorithmus durch die externe Servereinheit durchgeführt wird. Dieses Up¬ date kann vorzugsweise automatisch durchgeführt werden. Dies führt zu einem hohen Komfort.
Alternativ ist es weiterbildungsgemäß vorgesehen, dass mit einer Hinweismeldung auf der Anzeigeeinheit dem Fahrer des Fahrzeugs die Information bereitgestellt wird, dass ein Up¬ date veranlasst werden kann, dessen Durchführung durch den Fahrer über die externe Servereinheit initiiert werden kann Damit bleibt es dem Fahrer überlassen, zu welchem Zeitpunkt ein Update durchgeführt wird.
In einer weiteren Ausgestaltung der Erfindung werden Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit an die Kommunikationseinheit übermittelt. Dies stellt eine weitere Komfortverbesse¬ rung dar, da nach einem Überfahren von Landesgrenzen die Erkennung von Verkehrszeichen auch des neuen Landes gewährleistet sein muss. Alternativ ist es weiterbildungsgemäß vorgese¬ hen, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus des Fahrzeugs übermittelt werden, um damit ebenso die sichere Erkennung von Verkehrs¬ zeichen des nach dem Überfahren einer Landesgrenze erreichten Landes sicherzustellen. Besonders vorteilhaft ist es jedoch gemäß einer Weiterbildung der Erfindung, wenn die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungsparameter erst dann von der Servereinheit an die Kom- munikationseinheit übermittelt werden, wenn zuvor von der Kommunikationseinheit die Daten eines nichterkannten Grund¬ musters übermittelt werden und die Servereinheit hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus des Fahrzeugs nicht erkannt werden kann.
Eine dynamische Anpassung der von der Objekterkennungseinheit einzusetzenden Mustererkennungsalgorithmen ist gemäß einer anderen Ausgestaltung der Erfindung dadurch möglich, dass in Abhängigkeit des aus dem von der Kommunikationseinheit über¬ mittelten Grundmuster erkannten Verkehrszeichens die Servereinheit Informationen an die Kommunikationseinheit übermit¬ telt, so dass anhand dieser Informationen die Objekterkennungseinheit die zur Erkennung des Verkehrszeichens erforder- liehen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt.
Nach einer besonders vorteilhaften Ausgestaltung der Erfin- dung ist vorgesehen, dass
- aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden,
- mittels eines Ortungssystems des Fahrzeugs, vorzugsweise nach dem GPS-System ein Abgleich des Standortes des Fahrzeugs mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird, - bei Nichterkennung eines Grundmusters eines erwarteten Ver kehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit an die externe Servereinheit übermittelt wer¬ den, und
- von der externen Servereinheit eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eines Verkehrszeichens mit¬ tels eines Mustererkennungsalgorithmus durchführt wird.
Das Ergebnis dieser Auswertung kann dann wieder an die Kommu nikationseinheit des Fahrzeugs übermittelt werden, so zum Bsp. das erkannte Verkehrszeichen oder die Information des Nichterkennens eines Verkehrszeichens.
Die elektronische Straßenkarte kann im Fahrzeug zur Verfügun stehen oder es können auch die zur aktuellen Position des Fahrzeugs gehörigen Verkehrszeichendaten aus einer externen Datenquelle über die Kommunikationseinheit empfangen werden.
Die Verifizierung der Verkehrszeichendaten, insbesondere der Positionsdaten aus der digitalen Straßenkarte anhand der sol chen Positionsdaten entsprechenden und von der Kamera erzeug ten Bilddaten führt sowohl zur Verbesserung der Erkennungssi cherheit als auch zu einer erhöhten Verkehrssicherheit.
Gemäß einer Weiterbildung der Erfindung wird die drahtlose Kommunikation der Kommunikationseinheit mit der externen Ser vereinheit durch eine Mobilfunk- oder Satelliten- oder WLAN- oder Bluetooth- oder Internet-Verbindung aufgebaut, wobei vorzugsweise die drahtlose Kommunikation durch kryptografi- sche Methoden gesichert werden kann. Die Servereinheit kann weiterbildungsgemäß als über ein Netz¬ werk verbundene verteile Server oder als Cloud-Server aufge¬ baut werden.
Schließlich kann das erfindungsgemäße Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten bzw. Objektsilhouetten ausgebildet werden.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispie¬ len unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen:
Figur 1 eine schematische Darstellung eines Verkehrszei¬ chenerkennungssystem, welches aus einem Fahrzeug mit einem Bildaufnahmesystem zur Verkehrszeichenerkennung sowie einer externen Servereinheit besteht, und
Figur 2 ein Ablaufdiagramm zur Durchführung des erfindungsgemäßen Verfahrens mit dem in Figur 1 dargestellten Verkehrs zeichenerkennungsSystem.
Das in Figur 1 schematisch als Teil eines Verkehrszeichenerkennungssystems dargestellte Fahrzeug 10, insbesondere ein Kraftfahrzeug umfasst ein Bildaufnahmesystem 1 mit einer Kamera 2, die als Farbkamera ausgebildet sein kann, eine Ob¬ jekterkennungseinheit 3 zur Erkennung von Objekten, insbesondere Verkehrszeichen, wobei der Objekterkennungseinheit 3 ein Speicher 4 zugeordnet ist. Zur Objekterkennung werden von der Objekterkennungseinheit 3 aus den von der Kamera 2 erzeugten Bilddaten der Fahrzeugumgebung zunächst verkehrszeichentypi¬ sche Grundmuster eines Verkehrszeichens, welche in dem Spei- eher 4 abgelegt sind, detektiert, bevor anschließend von ei¬ nem Klassifikator der Objekterkennungseinheit 3 mittels eines hinterlegten Mustererkennungsalgorithmus anhand des Grundmus¬ ters ein bestimmtes Verkehrszeichen als Ergebnis der Muster- erkennung erkannt werde kann. Falls ein Verkehrszeichen erkannt wird, wird dieses anschließend einem Display 5 als An¬ zeigeeinheit zugeführt, welches mit der Objekterkennungsein¬ heit 3 verbunden ist. Das erkannte Verkehrszeichen wird einem Fahrer des Fahrzeugs 10 als Information zur Verfügung ge- stellt.
Die Objekterkennungseinheit 3 kann auch so ausgebildet sein, dass nicht nur Verkehrszeichen, sondern auch weitere Objekte wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbe- grenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouet¬ ten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten allgemeiner Art usw. erkannt werden können.
Das Display 5 des Fahrzeugs 10 kann bspw. ein Teil einer zentralen Anzeige- und Bedieneinheit des Fahrzeugs 10 oder ein Kombiinstrument des Fahrzeugs 10 darstellen.
Desweiteren weist das Fahrzeug 10 ein Fahrerassistenzsystem 8 auf, welchem die Informationen hinsichtlich des erkannten Verkehrszeichens und/oder weiterer im Fahrzeugumfeld erkann¬ ter Objekte zugeführt werden, welches seinerseits Stellorgane 8a zur Durchführung der entsprechenden Fahrerassistenzfunktion ansteuert. So kann das Fahrerassistenzsystem 8, dem die Informationen bspw. über geschwindigkeitsbegrenzende Verkehrszeichen zuge¬ führt werden, eine automatische Anpassung der aktuellen Geschwindigkeit des Fahrzeugs 10 an die erkannte Höchstge- schwindigkeit über die Steuerung der Stellorgane 8a vorneh¬ men .
Dieses Fahrerassistenzsystem 8 kann auch als Spurhalteassis- tenzsystem ausgebildet sein, dem die für die Spurhaltung erforderlichen Informationen hinsichtlich erkannter Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen zugeführt werden und ggf. Eingriffe in das Brems- und/oder Lenksystem des Fahr¬ zeugs 10 über die Stellorgane 8a vornimmt.
Ferner ist in dem Fahrzeug auch ein Navigationssystem 6 mit einer digitalen Karte und einem GPS-System als Ortungssystem installiert . Schließlich ist in dem Fahrzeug 10 eine Kommunikationseinheit 7 vorgesehen, die drahtlos über eine Funkverbindung 9a mit einer externen Servereinheit 9 kommuniziert, also sowohl Da¬ ten an diese Servereinheit 9 senden als auch Daten von derselben empfangen kann.
Im Folgenden wird anhand der Figuren 1 und 2 als Ausführungs¬ beispiel der Erfindung das erfindungsgemäße Verfahren erläu¬ tert . Wie bereits oben ausgeführt, wird in einem ersten Verfahrens¬ schritt Sl von der Kamera 2 die Fahrzeugumgebung erfasst und hiervon Bilddaten erzeugt, die der Objekterkennungseinheit 3 zur Auswertung zugeführt werden. Aus diesen Bilddaten werden zunächst von der Objekterkennungseinheit 3 gemäß Verfahrens- schritt S2 verkehrszeichentypische Grundmuster von Verkehrs¬ zeichen, wie runde oder eckige Formen bzw. Muster bestimmter Größe erkannt bzw. detektiert, bevor von einem Klassifikator der Objekterkennungseinheit 3 gemäß einem Verfahrensschritt S3 das Grundmuster genauer klassifiziert wird.
Bei einer Erkennung eines Verkehrszeichen (Verfahrensschritt S4) wird gemäß Verfahrensschritt S5 die Information über die¬ ses erkannte Verkehrszeichen von der Objekterkennungseinheit 3 dem Display 5 zugeführt und steht dort als Information dem Fahrer des Fahrzeugs 10 zur Verfügung. Anschließend erfolgt ein Rücksprung auf Verfahrensschritt Sl.
Wird allerdings von dem Klassifikator der Objekterkennungs¬ einheit 3 kein Verkehrszeichen erkannt, so werden gemäß einem Verfahrensschritt S6 die Daten des erkannten Grundmusters der Kommunikationseinheit 7 zugeführt, die diese Daten an die ex- terne Servereinheit 9 über die Funkverbindung 9a übermittelt.
In dieser Servereinheit 9 kommt ein Mustererkennungsalgorithmus zur Auswertung dieser empfangenen Daten zur Anwendung, mit dem eine aufwändigere Mustererkennung durchgeführt wird, als es im Fahrzeug 10 möglich wäre.
In einem nachfolgenden Verfahrensschritt S8 wird das Ergebnis aus dem Verfahrensschritt S6 an die Kommunikationseinheit 7 des Fahrzeugs 10 übermittelt, welche die empfangenen Daten der Objekterkennungseinheit 3 zuführt.
Falls die externe Servereinheit 9 ein Verkehrszeichen erkannt hat, wird dieses Verkehrszeichen auf dem Display 5 darge¬ stellt (Verfahrensschritt S5) . Als Ergebnis der von der ex- fernen Servereinheit 9 durchgeführten Mustererkennung wird auch das Nichterkennen eines Verkehrszeichens übermittelt und steht als Information der Objekterkennungseinheit 3 für sta¬ tistische Zwecke zur Verfügung. So wird die Erkennungshäufigkeit der von der Objekterken¬ nungseinheit 3 des Fahrzeugs 10 durchgeführten Mustererken¬ nungen und die Erkennungshäufigkeit der von der externen Ser- vereinheit 9 durchgeführten Mustererkennungen bestimmt und das Häufigkeitsverhältnis der beiden Werte dieser Erkennungs¬ häufigkeiten gebildet. Der Wert des Häufigkeitsverhältnisses wird auf dem Display 5 des Fahrzeugs 10 angezeigt und steht dem Fahrer als Information zur Verfügung.
Anhand dieser Information kann der Fahrer entscheiden, ob ein Update der Verkehrszeichenerkennungssoftware erforderlich ist, da ihm evtl. der Wert des Häufigkeitsverhältnisses zu gering erscheint. Dieser Wert des Häufigkeitsverhältnisses kann sich auch auf einen bestimmten Zeitraum beziehen, um dadurch dem Fahrer des Fahrzeugs 10 eine Abschätzung zu ermög¬ lichen, wann sich ein Update der Verkehrszeichenerkennungs¬ software lohnt. Ein Update kann auch automatisch über die Kommunikationseinheit 7 und die Servereinheit 9 durchgeführt werden, wenn der Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebe¬ ner Häufigkeitsschwellwert ist. Dies kann derart durchgeführt werden, dass dem Fahrer des Fahrzeugs 10 mit einer Hinweis- meidung auf dem Display 5 die Information bereitgestellt wird, dass ein Update der externen Servereinheit 9 zur Verfü¬ gung steht, dessen Durchführung durch den Fahrer nach einer Bestätigung initiiert wird. Mit dem Verfahrensschritt S6 wird nicht nur eine Auswertung des übermittelten Grundmusters durchgeführt, sondern es wird auch geprüft, ob das nicht erkannte Verkehrszeichen von der Objekterkennungseinheit 3 nicht erkannt werden konnte, da sich das Fahrzeug 10 inzwischen über die Landesgrenze in ein anderes Land bewegt hat, dessen Verkehrszeichen der in der Objekterkennungseinheit 3 verwendete Mustererkennungsalgo¬ rithmus nicht erkennen kann.
Falls dies gemäß Verfahrensschritt S7 zutrifft, wird in einem nachfolgenden Verfahrensschritt S9 die Information an die Kommunikationseinheit 7 übermittelt, dass zur Erkennung die¬ ser landesspezifischen Verkehrszeichen ein entsprechender Mustererkennungsalgorithmus oder Erkennungsanteile des in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgo¬ rithmus zum Downloaden bereit steht.
Auch ist es möglich, dass über einen solchen Download die zur Erkennung dieser landesspezifischen Verkehrszeichen erforderlichen Erkennungsparameter für den in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmus des Fahr¬ zeugs 10 übermittelt werden, wodurch die Erkennungsparameter des Mustererkennungsalgorithmus so geändert werden, dass der Mustererkennungsprozess der Objekterkennungseinheit 3 besser an die Eigenheiten des Verkehrszeichen in dem jeweiligen Land angepasst und damit eine bessere Erkennungsrate erzielt wird, wobei sich gleichzeitig auch die Prozessorlast eines Mikro¬ prozessors der Objekterkennungseinheit 3 reduzieren lässt.
Nach einer Installation der zur Erkennung der landesspezifischen Verkehrszeichen erforderlichen Mustererkennungsalgorithmen oder entsprechenden Erkennungsparameter gemäß Verfahrensschritt S10 erfolgt ein Rücksprung auf den Verfahrens- schritt Sl.
Ein solcher Download kann automatisch über die Funkverbindung 9a der Kommunikationseinrichtung 7 mit der externen Server- einheit 9 durchgeführt werden oder erst nach Anzeige auf dem Display 5, so dass dem Fahrer die Möglichkeit gegeben wird, einen solchen Download zu initiieren.
Eine weitere Möglichkeit die in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmen auf dem aktuellsten Stand zu halten, bzw. diese so zu aktualisieren oder zu ergänzen, dass nach dem Überfahren von Landesgrenzen die dann detektierten landesspezifischen Verkehrszeichen erkannt werden können, besteht darin, dass in Abhängigkeit des aus dem von der Kommunikationseinheit 7 übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit 9 Informationen an die Kommunikationseinheit 7 übermittelt, so dass anhand die¬ ser Informationen die Objekterkennungseinheit 3 die zur Er¬ kennung des Verkehrszeichens erforderlichen Mustererkennungs¬ algorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt. Damit wird eine dynamische Anpas¬ sung des Mustererkennungsalgorithmus der Objekterkennungsein¬ heit 3 realisiert, so dass ständig die richtigen Erkennungs¬ algorithmen zur Erkennung der Verkehrszeichen durchlaufen werden. Auch diese dynamische Anpassung der erforderlichen Mustererkennungsalgorithmen erfolgt über die Funkverbindung 9a mit der Servereinheit 9.
Der Ablauf des erfindungsgemäßen Verfahrens gemäß Figur 2 kann gemäß einer Abwandlung so durchgeführt werden, dass in der Objekterkennungseinheit 3 immer nur das verkehrszeichen¬ typische Grundmuster eines Verkehrszeichens erkannt wird und anschließend die Daten dieser Grundmuster zur Erkennung des Verkehrszeichens an die externe Servereinheit 9 übermittelt wird, d. h. die Klassifikation wird immer von der Servereinheit 9 durchgeführt. Das Fahrzeug 10 gemäß Figur 1 umfasst auch ein Navigations¬ system 6 mit einem GPS-Empfänger zur Bestimmung der aktuellen Position des Fahrzeugs 10 sowie eine digitalen Karte, die ne¬ ben Streckenführungen auch Verkehrszeicheninformationen enthält, also Informationen über an der befahrenen Strecke vorhandenen Verkehrszeichen.
Somit kann jeder aktuellen Position des Fahrzeugs 10 die in der digitalen Karte angegebenen Verkehrszeichen zugeordnet werden und mit den von der Kamera 2 erzeugten Bilddaten verglichen werden. Nun kann der Fall auftreten, dass in einer bestimmten Position des Fahrzeugs 10 Bilddaten von der Kamera 2 erzeugt werden, die aufgrund der Verkehrszeicheninformatio¬ nen der digitalen Karte ein Verkehrszeichen beinhalten müss- ten. Obwohl ein Verkehrszeichen erwartet wird, wird von der Objekterkennungseinheit 3 kein verkehrszeichentypisches
Grundmuster eines Verkehrszeichens erkannt. In diesem Fall werden die kompletten Bilddaten zur Auswertung an die externe Servereinheit 9 über die Kommunikationseinheit 7 übermittelt. Dort wird sowohl die Auswertung hinsichtlich des verkehrszeichentypischen Grundmusters eines Verkehrszeichens als auch dessen Erkennung mittels eines Mustererkennungsalgorithmus durchgeführt und das Ergebnis über die Funkverbindung 9a wie¬ der der Kommunikationseinheit 7 zurückübermittelt, so dass diese Information auf dem Display 5 angezeigt werden kann.
Die Anwendung des erfindungsgemäßen Verfahrens ist nicht nur auf die Erkennung von Verkehrszeichen beschränkt, sondern kann auch auf weitere Objekte, wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbegrenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouetten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten angewendet werden. Die drahtlose Funkkommunikation 9a der Kommunikationseinheit 7 mit der externen Servereinheit 9 kann mit folgenden Techno¬ logien aufgebaut werden:
- Mobilfunk (GPRS, EDGE, UMTS, LTE, ...)
Satellitentelefon
WLAN (IEEE 802.1 la/b/g/n/ac/...)
Bluetooth (z.B. zu einem Smartphone) Die drahtlose Funkkommunikation 9a kann hierbei durch krypto- grafische Methoden gesichert werden (z.B. AES, ECC, RC2, Blowfish, Twofish, DES, Triple-DES, SHA, ...) , um böswillige Veränderungen der Daten und damit Falschinformation des Fahrers zu vermeiden.
Anstelle einer dedizierten Servereinheit 9 können auch verteilte Server oder sogenannten Cloud-Systeme verwendet wer¬ den. Ebenfalls möglich sind frei per Internetverbindung erreichbare Server.
Die Vorteile des erfindungsgemäßen Verfahrens liegen vor al¬ lem darin, dass zunächst in einer ersten Stufe eine Erkennung hinsichtlich von verkehrszeichentypischen Grundmustern erfolgt und in einer zweiten Stufe, falls in dem Fahrzeug keine Erkennung möglich ist, die Erkennung außerhalb des Fahrzeugs durchgeführt wird. Dadurch kann ein wesentlich aufwendigerer Mustererkennungsalgorithmus eingesetzt werden und dadurch ei¬ ne deutlich höhere Erkennungsrate erreicht werden, als wenn die Verkehrszeichenerkennung lediglich mit dem in der Objekt- erkennungseinheit hinterlegten Mustererkennungsalgorithmus durchgeführt würde. Ein weiterer Vorteil besteht darin, dass eine Zukunftssicherheit des Verkehrszeichenerkennungssystems garantiert ist, da Weiterentwicklungen durch die verwendete Servereinheit abge¬ bildet werden können.
Bezugs zeichen
1 Bildaufnahmesystem
2 Kamera
3 Objekterkennungseinheit
4 Speicher der Objekterkennungseinheit 3
5 Anzeigeeinheit, Display
6 Navigationssystem
7 Kommunikationseinheit
8 Fahrerassistenzsystem.
9 externe Servereinheit
9a Funkverbindung
10 Fahrzeug

Claims

Patentansprüche
1. Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, dadurch gekennzeichnet, dass
- über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Serverein¬ heit (9) übermittelt werden,
- mittels eines Mustererkennungsalgorithmus von der exter¬ nen Servereinheit (9) eine Mustererkennung durchgeführt wird, und
- als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Ergebnis der Mustererkennung das Nichterkennen eines Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
- vor Übermittlung der Daten des Grundmusters an die externe Servereinheit (9) mittels eines Musterkennungsalgo- rithmus einer Objekterkennungseinheit (3) des Fahrzeugs (10) eine Mustererkennung durchgeführt wird, und
- bei Nichterkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit (9) übermittelt wird .
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass
- die Erkennungshäufigkeit der von der Objekterkennungs¬ einheit (3) des Fahrzeugs (10) durchgeführten Mustererken¬ nungen und die Erkennungshäufigkeit der von der externen Servereinheit (9) durchgeführten Mustererkennungen bestimmt wird, und
- das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Objekterkennungseinheit (3) des Fahrzeugs (10) und der Erkennungshäufigkeit der externen Servereinheit (9) gebil¬ det wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einem Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebener Häufigkeitsschwellwert ein Update des Mustererkennungsalgorithmus durch die externe Serverein¬ heit (9) durchgeführt wird.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) an die Kommunikationseinheit übermittelt werden.
7. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus der Objekterkennungseinheit (3) des Fahrzeugs (10) über¬ mittelt werden.
8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungspa- rameter dann von der Servereinheit (9) an die Kommunikati¬ onseinheit (7) übermittelt werden, wenn zuvor von der Kommunikationseinheit (7) die Daten eines nichterkannten Grundmusters übermittelt werden und die Servereinheit (9) hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus der Objekterkennungs¬ einheit (3) des Fahrzeugs (10) nicht erkannt werden kann.
9. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass in Abhängigkeit des aus dem von der Kommunikationseinheit (7) übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit (9) Informatio¬ nen an die Kommunikationseinheit (7) übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit (3) die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
- aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden,
- mittels eines GPS-Ortungssystems (6) des Fahrzeugs (10) ein Abgleich des Standortes des Fahrzeugs (10) mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird,
- bei Nichterkennung eines Grundmusters eines erwarteten Verkehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit (7) an die externe Servereinheit (9) übermittelt werden, und - von der externen Servereinheit (9) eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eine Verkehrs¬ zeichens mittels eines Mustererkennungsalgorithmus durch¬ führt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Servereinheit (9) als über ein Netzwerk verbundene verteile Server oder als Cloud- Server aufgebaut ist.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch zur Erkennung von Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten und/oder Objektsilhouetten ausgebildet ist.
13. Fahrzeug (10) umfassend Einrichtungen zur elektronischen Erkennung von Verkehrszeichen, umfassend ein Bildaufnahmesystem (1), welches ausgebildet ist, aus den Bild¬ daten einer in dem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster zu erkennen, insbesondere nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass
- eine Kommunikationseinrichtung (7) zum Senden und Empfangen von Daten an eine externe Servereinheit (10) vorge¬ sehen ist, mit welcher die Daten des erkannten Grundmusters drahtlos an die Servereinheit (9) zur Durchführung einer Verkehrszeichenerkennung übermittelt wird, und
- die Kommunikationseinheit (7) ausgebildet ist, als Er¬ gebnis die Daten des von der Servereinheit (9) erkannten Verkehrszeichens zu empfangen.
PCT/DE2013/200033 2012-08-27 2013-07-10 Verfahren zur elektronischen erkennung von verkehrszeichen WO2014032660A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201311004195 DE112013004195A5 (de) 2012-08-27 2013-07-10 Verfahren zur elektronischen Erkennung von Verkehrszeichen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012107886.6A DE102012107886A1 (de) 2012-08-27 2012-08-27 Verfahren zur elektronischen Erkennung von Verkehrszeichen
DE102012107886.6 2012-08-27

Publications (1)

Publication Number Publication Date
WO2014032660A1 true WO2014032660A1 (de) 2014-03-06

Family

ID=49080620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200033 WO2014032660A1 (de) 2012-08-27 2013-07-10 Verfahren zur elektronischen erkennung von verkehrszeichen

Country Status (2)

Country Link
DE (2) DE102012107886A1 (de)
WO (1) WO2014032660A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149971A1 (de) * 2014-03-31 2015-10-08 Robert Bosch Gmbh Verfahren zur analyse einer verkehrsumfeldsituation eines fahrzeugs
US10733484B2 (en) 2018-03-22 2020-08-04 Here Global B.V. Method, apparatus, and system for dynamic adaptation of an in-vehicle feature detector
CN113286055A (zh) * 2021-05-25 2021-08-20 郑州信大捷安信息技术股份有限公司 一种基于安全交通标志的车辆安全驾驶方法和系统
US11263549B2 (en) 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014212781A1 (de) * 2014-07-02 2016-01-07 Continental Automotive Gmbh Verfahren zum Ermitteln und Bereitstellen einer Landmarke zur Positionsbestimmung für ein Fahrzeug
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
DE102017200654A1 (de) 2017-01-17 2018-07-19 Audi Ag Verfahren zum Bereitstellen von sensorbasierten Fahrzeugfunktionen in einem Kraftfahrzeug sowie Kraftfahrzeug-Recheneinrichtung und Kraftfahrzeug
DE102017200655A1 (de) 2017-01-17 2018-07-19 Audi Ag Verfahren zum Bereitstellen von aktuatorbasierten Fahrzeugfunktionen in einem Kraftfahrzeug sowie Kraftfahrzeug-Recheneinrichtung und Kraftfahrzeug
DE102017206887A1 (de) 2017-04-25 2018-10-25 Audi Ag Berechnungssystem und Verfahren zum Betrieb eines Berechnungssystems
CN108257401B (zh) * 2018-01-31 2021-06-25 张转 避免汽车因为阳光直射而看不清红绿灯的装置和方法
DE102018219984B3 (de) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20090092287A1 (en) * 2006-07-31 2009-04-09 Jorge Moraleda Mixed Media Reality Recognition With Image Tracking
DE102008043756A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zum Bereitstellen einer Verkehrszeicheninformation
US20110249867A1 (en) * 2010-04-13 2011-10-13 International Business Machines Corporation Detection of objects in digital images
WO2013152929A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
DE10338455A1 (de) * 2003-08-21 2005-04-14 Robert Bosch Gmbh Fahrerinformationsvorrichtung
US20090285445A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab System and Method of Translating Road Signs
DE102009016580A1 (de) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
DE102010030068A1 (de) * 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (de) 1998-11-14 2000-05-25 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
US20090092287A1 (en) * 2006-07-31 2009-04-09 Jorge Moraleda Mixed Media Reality Recognition With Image Tracking
DE102008043756A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Verfahren und Steuergerät zum Bereitstellen einer Verkehrszeicheninformation
US20110249867A1 (en) * 2010-04-13 2011-10-13 International Business Machines Corporation Detection of objects in digital images
WO2013152929A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Lernverfahren zur automatisierten erkennung von verkehrszeichen, verfahren zur bestimmung eines aktualisierten parametersatzes für eine klassifikation von einem verkehrszeichen und verkehrszeichenerkennungssystem

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SILAPACHOTE P ET AL: "Automatic Sign Detection and Recognition in Natural Scenes", COMPUTER VISION AND PATTERN RECOGNITION, 2005 IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 25 June 2005 (2005-06-25), pages 1 - 8, XP031259665, ISBN: 978-0-7695-2372-9 *
WONG HWEE LING ET AL: "Traffic sign recognition model on mobile device", COMPUTERS&INFORMATICS (ISCI), 2011 IEEE SYMPOSIUM ON, IEEE, 20 March 2011 (2011-03-20), pages 267 - 272, XP031902567, ISBN: 978-1-61284-689-7, DOI: 10.1109/ISCI.2011.5958925 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149971A1 (de) * 2014-03-31 2015-10-08 Robert Bosch Gmbh Verfahren zur analyse einer verkehrsumfeldsituation eines fahrzeugs
CN106537480A (zh) * 2014-03-31 2017-03-22 罗伯特·博世有限公司 用于分析车辆的交通环境状况的方法
US10733484B2 (en) 2018-03-22 2020-08-04 Here Global B.V. Method, apparatus, and system for dynamic adaptation of an in-vehicle feature detector
US11263549B2 (en) 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
CN113286055A (zh) * 2021-05-25 2021-08-20 郑州信大捷安信息技术股份有限公司 一种基于安全交通标志的车辆安全驾驶方法和系统
CN113286055B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于安全交通标志的车辆安全驾驶方法和系统

Also Published As

Publication number Publication date
DE102012107886A1 (de) 2014-02-27
DE112013004195A5 (de) 2015-05-13

Similar Documents

Publication Publication Date Title
WO2014032660A1 (de) Verfahren zur elektronischen erkennung von verkehrszeichen
EP3688742B1 (de) System zur erzeugung und/oder aktualisierung eines digitalen modells einer digitalen karte
WO2010115831A1 (de) Datenverarbeitungssystem und verfahren zum bereitstellen mindestens einer fahrerassistenzfunktion
DE102015207977A1 (de) Verfahren zur Übermittlung einer verkehrsrelevanten Information und kooperatives Fahrzeug
DE102019002487A1 (de) Verfahren zur Überprüfung eines Umfelderfassungssensors eines Fahrzeugs und Verfahren zum Betrieb eines Fahrzeugs
EP2953111A1 (de) Verfahren und Vorrichtung zur Ermittlung freier Abstellplätze auf LKW-Parkplätzen und Mitteilung an LKW-Fahrer
EP2766891A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems und verfahren zum bearbeiten von fahrzeugumfelddaten
DE102015213538A1 (de) Verfahren und System zum Warnen vor einer Falschfahrt eines Fahrzeugs
DE102016218934A1 (de) Verfahren zum Datenaustausch und Datenfusionierung von Umfelddaten
DE102016003424A1 (de) Verfahren und Vorrichtung zum Erkennen von Verkehrszeichen
EP2662848A2 (de) Verfahren zur Erstellung eines Fahrprofils
DE102020210515A1 (de) Verfahren zur Überprüfung von detektierten Veränderungen für ein Umfeldmodell einer digitalen Umgebungskarte
EP3695192A1 (de) Verfahren zur kartierung eines streckenabschnitts
DE102015221183A1 (de) Verfahren und Vorrichtung zur Zuordnung von Verkehrsteilnehmern und Kommunikations-Identifikatoren
DE102015218962A1 (de) Verfahren und System zur Bereitstellung von Nutzinformation über Verkehrsteilnehmer
DE102015213526A1 (de) Verfahren und System zum Warnen eines Fahrers eines Fahrzeugs
DE102015218970A1 (de) Verfahren und System zum Vergleich von Eigenschaften eines Verkehrsteilnehmers
DE102017202255A1 (de) Verfahren zum Aktualisieren einer digitalen Karte einer kraftfahrzeugexternen Servervorrichtung
DE102019114626A1 (de) System und Verfahren zur Hardware-Überprüfung in einem Kraftfahrzeug
EP3510577B1 (de) Konzept zum erfassen eines umfelds eines kraftfahrzeugs
DE102016203959A1 (de) Infrastrukturerkennungsvorrichtung für ein Fahrzeug, Verfahren zum Erzeugen eines Signals und Verfahren zum Bereitstellen einer Reparaturinformation
EP3063748A1 (de) Verfahren und vorrichtung zum bereitstellen einer ereignismeldung bezüglich eines einem fahrzeug bevorstehenden ereignisses
DE112020002070T5 (de) Fahrzeugvorrichtung, fahrzeugprogramm und speichermedium davon
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
EP3688737A1 (de) Verfahren und einrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13753549

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112013004195

Country of ref document: DE

Ref document number: 1120130041952

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013004195

Country of ref document: DE

Effective date: 20150513

122 Ep: pct application non-entry in european phase

Ref document number: 13753549

Country of ref document: EP

Kind code of ref document: A1