DE102012107886A1 - Method for the electronic detection of traffic signs - Google Patents

Method for the electronic detection of traffic signs Download PDF

Info

Publication number
DE102012107886A1
DE102012107886A1 DE102012107886.6A DE102012107886A DE102012107886A1 DE 102012107886 A1 DE102012107886 A1 DE 102012107886A1 DE 102012107886 A DE102012107886 A DE 102012107886A DE 102012107886 A1 DE102012107886 A1 DE 102012107886A1
Authority
DE
Germany
Prior art keywords
recognition
vehicle
unit
pattern
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102012107886.6A
Other languages
German (de)
Inventor
Ulrich Stählin
Alfred Eckert
Thomas Raste
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Priority to DE102012107886.6A priority Critical patent/DE102012107886A1/en
Priority to DE201311004195 priority patent/DE112013004195A5/en
Priority to PCT/DE2013/200033 priority patent/WO2014032660A1/en
Publication of DE102012107886A1 publication Critical patent/DE102012107886A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station

Abstract

Die Erfindung betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, erfindungsgemäß ist vorgesehen, dass über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit (9) übermittelt werden, mittels eines Mustererkennungsalgorithmus von der externen Servereinheit (9) eine Mustererkennung durchgeführt wird, und als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden und insbesondere auf einer Anzeigeeinheit (5) ein entsprechendes Verkehrszeichen dargestellt wird.The invention relates to a method for the electronic recognition of traffic signs, in which basic patterns of a traffic sign typical of traffic signs are recognized from the image data of a camera (2) arranged in a vehicle (10); according to the invention, it is provided that a communication device (7) of the vehicle (10 ) for sending and receiving data, the data of the recognized basic pattern are transmitted wirelessly to an external server unit (9), a pattern recognition is carried out by the external server unit (9) using a pattern recognition algorithm, and as a result of the pattern recognition, the data of the recognized traffic sign is sent to the Communication unit (7) of the vehicle (10) are transmitted and in particular a corresponding traffic sign is displayed on a display unit (5).

Description

Die Erfindung betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden. The invention relates to a method for the electronic detection of traffic signs, in which from the image data of a vehicle arranged in a vehicle traffic sign typical basic pattern of a traffic sign are detected.

Bereits viele Fahrzeuge, insbesondere Kraftfahrzeuge sind mit einer elektronischen Verkehrszeichenerkennung ausgestattet. So ist bspw. aus der DE 198 52 631 A1 ein Verfahren zur Verkehrszeichenerkennung bekannt, bei dem mittels eines digitalen Bildsensors Bilder, die potentiell Verkehrszeichen enthalten können, aufgenommen werden. Zur Analyse der von dem Bildsensor gelieferten Bilddaten in Echtzeit ist das Fahrzeug mit einer Objekterkennungseinheit ausgestattet, welche einen Mustererkennungsalgorithmus auf die Bilddaten zur Erkennung eines Verkehrszeichens anwendet. Die erkannten Verkehrszeichen werden in einer vereinfachten Darstellung auf einer Anzeigeeinheit dargestellt. Many vehicles, especially motor vehicles, are equipped with electronic traffic sign recognition. So is, for example, from the DE 198 52 631 A1 a method for traffic sign recognition is known in which by means of a digital image sensor images that can potentially contain traffic signs are recorded. In order to analyze the image data supplied by the image sensor in real time, the vehicle is equipped with an object recognition unit which applies a pattern recognition algorithm to the image data for recognition of a traffic sign. The detected traffic signs are displayed in a simplified representation on a display unit.

Die DE 10 2008 043 756 A1 beschreibt eine Verkehrszeichenerkennung, bei der Verkehrszeichendaten über die Art und Position einzelner Verkehrszeichen von einer Datenbank drahtlos in das System der Verkehrszeichenerkennung des Fahrzeugs übertragen und dort in einem Verkehrszeichenspeicher gespeichert werden, so dass sie während der Fahrt wieder ausgelesen werden können, und zwar so, dass entsprechend der aktuellen Position des Fahrzeugs, die bspw. von einem GPS-Empfänger des Fahrzeugs bereitgestellt wird, das Verkehrszeichen mit der gleichen Position aus dem Verkehrszeichenspeicher ausgelesen wird und als Verkehrszeicheninformation dem Fahrer des Fahrzeugs bereitgestellt wird. Damit kommt eine solche Verkehrszeichenerkennung ohne eine Kamera zur optischen Erfassung und Erkennung von Verkehrszeichen aus der direkten Fahrzeugumgebung aus. The DE 10 2008 043 756 A1 describes a traffic sign recognition in which traffic sign data on the type and position of individual traffic signs from a database wirelessly transmitted to the system of traffic sign recognition of the vehicle and stored there in a traffic sign memory so that they can be read out again while driving, in such a way that according to the current position of the vehicle, which is for example provided by a GPS receiver of the vehicle, the traffic sign with the same position is read from the traffic sign memory and is provided as traffic sign information to the driver of the vehicle. Thus comes out such a traffic sign recognition without a camera for optical detection and detection of traffic signs from the direct vehicle environment.

Dieses gemäß der DE 10 2008 043 756 A1 bekannte System zur Verkehrszeichenerkennung kann auch mit einer kamerabasierten Verkehrszeichenerkennung kombiniert werden, so dass bspw. ein Vergleich der mit der Kamera real erkannten Verkehrszeichen mit den gespeicherten Verkehrszeichendaten des Verkehrszeichenspeichers möglich wird, um entsprechende Veränderungen festzustellen und den Fahrer hierauf aufmerksam machen zu können. This according to the DE 10 2008 043 756 A1 known system for traffic sign recognition can also be combined with a camera-based traffic sign recognition, so that, for example, a comparison of real with the camera detected traffic signs with the stored traffic sign data of the traffic sign memory is possible to determine appropriate changes and to make the driver aware of this.

Voraussetzung für eine hohe Zuverlässigkeit dieses aus der DE 10 2008 043 756 A1 bekannten Verkehrszeichenerkennung ist, dass die gespeicherten Verkehrszeichendaten immer aktuell hinsichtlich der Positionsdaten, insbesondere bei geänderten oder neuen Fahrbahnen sind. Sind keine aktuellen Streckendaten mit zugehörigen Verkehrszeichendaten vorhanden, ist die Verkehrszeichenerkennung allein auf die optische Erkennung mittels einer Kamera und der zugehörigen Mustererkennung angewiesen, so dass in solchen Fällen, bei denen nicht auf gespeicherte Verkehrszeichendaten zurückgegriffen werden kann, keine verbesserte Verkehrszeichenerkennung erreicht wird. Prerequisite for a high reliability of this from the DE 10 2008 043 756 A1 known traffic sign recognition is that the stored traffic sign data is always up-to-date with respect to the position data, especially with changed or new lanes. If there is no current route data with associated traffic sign data, the traffic sign recognition relies solely on the optical recognition by means of a camera and the associated pattern recognition, so that in such cases in which it is not possible to fall back on stored traffic sign data, improved traffic sign recognition is not achieved.

Aufgabe der Erfindung ist es, ein Verfahren zur elektronischen Erkennung von Verkehrszeichen zu schaffen, welches zu einer gegenüber dem Stand der Technik höheren Erkennungsrate führt. The object of the invention is to provide a method for the electronic detection of traffic signs, which leads to a comparison with the prior art higher detection rate.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1. This object is achieved by a method having the features of patent claim 1.

Ein solches Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, zeichnet sich erfindungsgemäß dadurch aus, dass

  • – über eine Kommunikationseinrichtung des Fahrzeugs zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit übermittelt werden,
  • – mittels eines Mustererkennungsalgorithmus von der externen Servereinheit eine Mustererkennung durchgeführt wird, und
  • – als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit des Fahrzeugs übermittelt werden. Das erkannte Verkehrszeichen kann auf einer Anzeigeeinheit des Fahrzeugs entsprechend dargestellt werden.
Such a method for the electronic detection of traffic signs, in which from the image data of a camera arranged in a vehicle traffic signs typical basic pattern of a traffic sign are recognized, according to the invention is characterized in that
  • Via a communication device of the vehicle for transmitting and receiving data, the data of the detected basic pattern are transmitted wirelessly to an external server unit,
  • - Pattern recognition is performed by means of a pattern recognition algorithm from the external server unit, and
  • - As a result of the pattern recognition, the data of the detected traffic sign are transmitted to the communication unit of the vehicle. The recognized traffic sign may be displayed on a display unit of the vehicle accordingly.

Damit werden in dem Fahrzeug lediglich die Grundmuster von Verkehrszeichen aus den Bilddaten der Kamera erfasst und detektiert, wobei die eigentliche Klassifizierung des übermittelten Grundmusters in die externe Servereinheit ausgelagert ist. Thus, in the vehicle, only the basic patterns of traffic signs are detected and detected from the image data of the camera, wherein the actual classification of the transmitted basic pattern is outsourced to the external server unit.

So ist es möglich, den in dieser Servereinheit für die Mustererkennung verwendeten Mustererkennungsalgorithmus ständig aktuell zu halten, wodurch sich die Erkennungsrate deutlich steigern lässt. Insbesondere können alle Weiterentwicklungen hinsichtlich einer Verkehrszeichenerkennung mittels der Servereinheit abgebildet werden, so dass die Verkehrszeichenerkennung des Fahrzeugs auch hinsichtlich solcher Weiterentwicklungen sich ständig auf dem neuesten Stand der Technik befindet. Thus, it is possible to constantly keep the pattern recognition algorithm used in this pattern recognizer server unit up-to-date, which can significantly increase the recognition rate. In particular, all further developments with regard to traffic sign recognition can be imaged by means of the server unit, so that the traffic sign recognition of the vehicle is always state-of-the-art with regard to such further developments.

Vorzugsweise werden von der Servereinheit nicht nur bei einer erfolgreichen Mustererkennung das erkannte Verkehrszeichen an die Kommunikationseinheit übermittelt, sondern auch das Nichterkennen eines Verkehrszeichens als Ergebnis der Mustererkennung. Damit können diese Informationen zu statistischen Zwecken im Fahrzeug verwendet werden. The recognized traffic sign is preferably transmitted to the communication unit by the server unit not only in the case of a successful pattern recognition, but also the non-recognition of a traffic sign as a result of the pattern recognition. So that information can be too used for statistical purposes in the vehicle.

In einer vorteilhaften Ausgestaltung der Erfindung ist es vorgesehen, dass vor der Übermittlung der Daten des Grundmusters an die externe Servereinheit eine Mustererkennung mittels eines Musterkennungsalgorithmus einer Objekterkennungseinheit des Fahrzeugs durchgeführt wird, und erst bei Nichterkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit übermittelt wird. Damit ist es möglich in der Servereinheit eine aufwändigere Mustererkennung durchzuführen, die so in der Objekterkennungseinheit des Fahrzeugs nicht möglich wäre, da in einer solchen Servereinheit größere Rechenkapazitäten als in der Objekterkennungseinheit zur Verfügung gestellt werden können und die Mustererkennung Echtzeit erfolgen muss. In an advantageous embodiment of the invention, it is provided that before the transmission of the data of the basic pattern to the external server unit pattern recognition by means of a pattern recognition algorithm of an object recognition unit of the vehicle is performed, and only when not recognizing a traffic sign, the data of the basic pattern is transmitted to the external server unit , This makes it possible to carry out a more complex pattern recognition in the server unit, which would not be possible in the object recognition unit of the vehicle, since larger computing capacities than in the object recognition unit can be made available in such a server unit and pattern recognition must take place in real time.

Gemäß einer weiteren Ausgestaltung der Erfindung wird zunächst die Erkennungshäufigkeit der von der Objekterkennungseinheit des Fahrzeugs durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit durchgeführten Mustererkennungen bestimmt, anschließend das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Objekterkennungseinheit des Fahrzeugs und der Erkennungshäufigkeit der externen Servereinheit gebildet und dann der Wert des Häufigkeitsverhältnisses auf der Anzeigeeinheit des Fahrzeugs angezeigt. Damit werden dem Fahrer Informationen bereitgestellt, anhand derer der Fahrer selbst abschätzen kann, wann sich ein Update des Mustererkennungsalgorithmus lohnen würde. According to another aspect of the present invention, first, the frequency of recognition of the pattern recognition performed by the object recognition unit of the vehicle and the recognition frequency of the pattern recognition performed by the external server unit are determined, then the frequency ratio of the recognition frequency of the object recognition unit of the vehicle and the recognition frequency of the external server unit is formed and then Value of the frequency ratio displayed on the display unit of the vehicle. This provides the driver with information that the driver can use to estimate when it would be worthwhile to update the pattern recognition algorithm.

Besonders vorteilhaft ist es gemäß einer Weiterbildung der Erfindung dann, wenn bei einem Wert des Häufigkeitsverhältnisses, welcher kleiner als ein vorgegebener Häufigkeitsschwellwert ist ein Update des Mustererkennungsalgorithmus durch die externe Servereinheit durchgeführt wird. Dieses Update kann vorzugsweise automatisch durchgeführt werden. Dies führt zu einem hohen Komfort. According to an embodiment of the invention, it is particularly advantageous if, for a value of the frequency ratio which is smaller than a predefined frequency threshold value, an update of the pattern recognition algorithm is carried out by the external server unit. This update can preferably be carried out automatically. This leads to a high level of comfort.

Alternativ ist es weiterbildungsgemäß vorgesehen, dass mit einer Hinweismeldung auf der Anzeigeeinheit dem Fahrer des Fahrzeugs die Information bereitgestellt wird, dass ein Update veranlasst werden kann, dessen Durchführung durch den Fahrer über die externe Servereinheit initiiert werden kann. Damit bleibt es dem Fahrer überlassen, zu welchem Zeitpunkt ein Update durchgeführt wird. Alternatively, it is provided according to further development that the information is provided to the driver of the vehicle with an information message on the display unit, that an update can be initiated, the implementation of which can be initiated by the driver via the external server unit. This leaves it to the driver, at which time an update is performed.

In einer weiteren Ausgestaltung der Erfindung werden Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit an die Kommunikationseinheit übermittelt. Dies stellt eine weitere Komfortverbesserung dar, da nach einem Überfahren von Landesgrenzen die Erkennung von Verkehrszeichen auch des neuen Landes gewährleistet sein muss. Alternativ ist es weiterbildungsgemäß vorgesehen, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus des Fahrzeugs übermittelt werden, um damit ebenso die sichere Erkennung von Verkehrszeichen des nach dem Überfahren einer Landesgrenze erreichten Landes sicherzustellen. In a further embodiment of the invention, pattern recognition algorithms for recognizing country-specific traffic signs are transmitted from the server unit to the communication unit. This represents a further improvement in comfort, since after crossing national borders, the recognition of traffic signs must be ensured even in the new country. Alternatively, it is provided according to the further development that the required recognition parameters for the pattern recognition algorithm of the vehicle are transmitted by the server unit for the purpose of recognizing country-specific traffic signs in order to ensure the secure recognition of traffic signs of the land reached after crossing a national border.

Besonders vorteilhaft ist es jedoch gemäß einer Weiterbildung der Erfindung, wenn die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungsparameter erst dann von der Servereinheit an die Kommunikationseinheit übermittelt werden, wenn zuvor von der Kommunikationseinheit die Daten eines nichterkannten Grundmusters übermittelt werden und die Servereinheit hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus des Fahrzeugs nicht erkannt werden kann. However, according to a development of the invention, it is particularly advantageous if the pattern recognition algorithms for recognizing the country-specific traffic signs or the recognition parameters are only transmitted from the server unit to the communication unit when the data of a non-recognized basic pattern is previously transmitted by the communication unit and the server unit is therefrom a traffic sign of a country recognizes which can not be recognized by the pattern recognition algorithm of the vehicle.

Eine dynamische Anpassung der von der Objekterkennungseinheit einzusetzenden Mustererkennungsalgorithmen ist gemäß einer anderen Ausgestaltung der Erfindung dadurch möglich, dass in Abhängigkeit des aus dem von der Kommunikationseinheit übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit Informationen an die Kommunikationseinheit übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt. A dynamic adaptation of the pattern recognition algorithms to be used by the object recognition unit is possible according to another embodiment of the invention in that the server unit transmits information to the communication unit as a function of the traffic sign detected by the basic pattern transmitted by the communication unit, so that the object recognition unit uses this information to identify it the traffic sign required pattern recognition algorithms or sets the necessary recognition of the traffic signs recognition parameters for the pattern recognition algorithm.

Nach einer besonders vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass

  • – aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden,
  • – mittels eines Ortungssystems des Fahrzeugs, vorzugsweise nach dem GPS-System ein Abgleich des Standortes des Fahrzeugs mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird,
  • – bei Nichterkennung eines Grundmusters eines erwarteten Verkehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit an die externe Servereinheit übermittelt werden, und
  • – von der externen Servereinheit eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eines Verkehrszeichens mittels eines Mustererkennungsalgorithmus durchführt wird.
According to a particularly advantageous embodiment of the invention, it is provided that
  • - information about the location of traffic signs is provided from an electronic road map,
  • By means of a location system of the vehicle, preferably according to the GPS system, a comparison of the location of the vehicle with the locations of traffic signs determined from the road map is carried out,
  • - If a basic pattern of an expected traffic sign is not recognized, the associated image data is transmitted to the external server unit by means of the communication unit, and
  • - By the external server unit, an evaluation of the image data with respect to a traffic sign-type basic pattern of a traffic sign and / or a traffic sign is performed by means of a pattern recognition algorithm.

Das Ergebnis dieser Auswertung kann dann wieder an die Kommunikationseinheit des Fahrzeugs übermittelt werden, so zum Bsp. das erkannte Verkehrszeichen oder die Information des Nichterkennens eines Verkehrszeichens. The result of this evaluation can then be transmitted again to the communication unit of the vehicle, for example the recognized traffic sign or the information of not recognizing a traffic sign.

Die elektronische Straßenkarte kann im Fahrzeug zur Verfügung stehen oder es können auch die zur aktuellen Position des Fahrzeugs gehörigen Verkehrszeichendaten aus einer externen Datenquelle über die Kommunikationseinheit empfangen werden. The electronic road map can be available in the vehicle or the traffic sign data associated with the current position of the vehicle can also be received from an external data source via the communication unit.

Die Verifizierung der Verkehrszeichendaten, insbesondere der Positionsdaten aus der digitalen Straßenkarte anhand der solchen Positionsdaten entsprechenden und von der Kamera erzeugten Bilddaten führt sowohl zur Verbesserung der Erkennungssicherheit als auch zu einer erhöhten Verkehrssicherheit. The verification of the traffic sign data, in particular the position data from the digital road map based on the image data corresponding to such position data and generated by the camera leads both to improving the reliability of detection and to increased traffic safety.

Gemäß einer Weiterbildung der Erfindung wird die drahtlose Kommunikation der Kommunikationseinheit mit der externen Servereinheit durch eine Mobilfunk- oder Satelliten- oder WLAN- oder Bluetooth- oder Internet-Verbindung aufgebaut, wobei vorzugsweise die drahtlose Kommunikation durch kryptografische Methoden gesichert werden kann. According to one embodiment of the invention, the wireless communication of the communication unit with the external server unit is established by a mobile or satellite or WLAN or Bluetooth or Internet connection, wherein preferably the wireless communication can be secured by cryptographic methods.

Die Servereinheit kann weiterbildungsgemäß als über ein Netzwerk verbundene verteile Server oder als Cloud-Server aufgebaut werden. The server unit can be further developed according to education as distributed over a network sharing server or as a cloud server.

Schließlich kann das erfindungsgemäße Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten bzw. Objektsilhouetten ausgebildet werden. Finally, the inventive method can be formed in addition to the detection of traffic signs and traffic lights, road markings, vehicle silhouettes or object silhouettes.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen: The invention will be explained in more detail by means of embodiments with reference to the accompanying figures. Show it:

1 eine schematische Darstellung eines Verkehrszeichenerkennungssystem, welches aus einem Fahrzeug mit einem Bildaufnahmesystem zur Verkehrszeichenerkennung sowie einer externen Servereinheit besteht, und 1 a schematic representation of a traffic sign detection system, which consists of a vehicle with an image sensing system for traffic sign recognition and an external server unit, and

2 ein Ablaufdiagramm zur Durchführung des erfindungsgemäßen Verfahrens mit dem in 1 dargestellten Verkehrszeichenerkennungssystem. 2 a flowchart for performing the method according to the invention with the in 1 illustrated traffic sign recognition system.

Das in 1 schematisch als Teil eines Verkehrszeichenerkennungssystems dargestellte Fahrzeug 10, insbesondere ein Kraftfahrzeug umfasst ein Bildaufnahmesystem 1 mit einer Kamera 2, die als Farbkamera ausgebildet sein kann, eine Objekterkennungseinheit 3 zur Erkennung von Objekten, insbesondere Verkehrszeichen, wobei der Objekterkennungseinheit 3 ein Speicher 4 zugeordnet ist. Zur Objekterkennung werden von der Objekterkennungseinheit 3 aus den von der Kamera 2 erzeugten Bilddaten der Fahrzeugumgebung zunächst verkehrszeichentypische Grundmuster eines Verkehrszeichens, welche in dem Speicher 4 abgelegt sind, detektiert, bevor anschließend von einem Klassifikator der Objekterkennungseinheit 3 mittels eines hinterlegten Mustererkennungsalgorithmus anhand des Grundmusters ein bestimmtes Verkehrszeichen als Ergebnis der Mustererkennung erkannt werde kann. Falls ein Verkehrszeichen erkannt wird, wird dieses anschließend einem Display 5 als Anzeigeeinheit zugeführt, welches mit der Objekterkennungseinheit 3 verbunden ist. Das erkannte Verkehrszeichen wird einem Fahrer des Fahrzeugs 10 als Information zur Verfügung gestellt. This in 1 schematically illustrated as part of a traffic sign detection system vehicle 10 in particular a motor vehicle comprises an image recording system 1 with a camera 2 , which may be formed as a color camera, an object recognition unit 3 for recognizing objects, in particular traffic signs, wherein the object recognition unit 3 a memory 4 assigned. For object recognition are from the object recognition unit 3 from the camera 2 generated image data of the vehicle environment first traffic sign-type basic pattern of a traffic sign, which in the memory 4 are stored, detected, before subsequently by a classifier of the object recognition unit 3 can be recognized by means of a stored pattern recognition algorithm based on the basic pattern a particular traffic sign as a result of the pattern recognition. If a traffic sign is detected, this is then a display 5 supplied as a display unit, which with the object recognition unit 3 connected is. The recognized traffic sign becomes a driver of the vehicle 10 provided as information.

Die Objekterkennungseinheit 3 kann auch so ausgebildet sein, dass nicht nur Verkehrszeichen, sondern auch weitere Objekte wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbegrenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouetten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten allgemeiner Art usw. erkannt werden können. The object recognition unit 3 can also be designed so that not only traffic signs but also other objects such as traffic lights, lane markings, lane boundaries, vehicles in front, their vehicle silhouettes, as well as taillights, headlights and object silhouettes general nature, etc. can be detected.

Das Display 5 des Fahrzeugs 10 kann bspw. ein Teil einer zentralen Anzeige- und Bedieneinheit des Fahrzeugs 10 oder ein Kombiinstrument des Fahrzeugs 10 darstellen. the display 5 of the vehicle 10 can, for example, a part of a central display and control unit of the vehicle 10 or an instrument cluster of the vehicle 10 represent.

Desweiteren weist das Fahrzeug 10 ein Fahrerassistenzsystem 8 auf, welchem die Informationen hinsichtlich des erkannten Verkehrszeichens und/oder weiterer im Fahrzeugumfeld erkannter Objekte zugeführt werden, welches seinerseits Stellorgane 8a zur Durchführung der entsprechenden Fahrerassistenzfunktion ansteuert. Furthermore, the vehicle points 10 a driver assistance system 8th to which the information regarding the detected traffic sign and / or further detected in the vehicle environment objects are supplied, which in turn actuators 8a to execute the corresponding driver assistance function.

So kann das Fahrerassistenzsystem 8, dem die Informationen bspw. über geschwindigkeitsbegrenzende Verkehrszeichen zugeführt werden, eine automatische Anpassung der aktuellen Geschwindigkeit des Fahrzeugs 10 an die erkannte Höchstgeschwindigkeit über die Steuerung der Stellorgane 8a vornehmen. So can the driver assistance system 8th to which the information is supplied, for example via speed-limiting traffic signs, an automatic adaptation of the current speed of the vehicle 10 to the detected maximum speed via the control of the actuators 8a make.

Dieses Fahrerassistenzsystem 8 kann auch als Spurhalteassistenzsystem ausgebildet sein, dem die für die Spurhaltung erforderlichen Informationen hinsichtlich erkannter Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen zugeführt werden und ggf. Eingriffe in das Brems- und/oder Lenksystem des Fahrzeugs 10 über die Stellorgane 8a vornimmt. This driver assistance system 8th It can also be designed as a lane departure warning system, to which the information required for tracking is supplied with regard to recognized lane markings or lane boundaries and, if necessary, intervention in the braking and / or steering system of the vehicle 10 via the actuators 8a performs.

Ferner ist in dem Fahrzeug auch ein Navigationssystem 6 mit einer digitalen Karte und einem GPS-System als Ortungssystem installiert. Further, in the vehicle is also a navigation system 6 installed with a digital map and a GPS system as a location system.

Schließlich ist in dem Fahrzeug 10 eine Kommunikationseinheit 7 vorgesehen, die drahtlos über eine Funkverbindung 9a mit einer externen Servereinheit 9 kommuniziert, also sowohl Daten an diese Servereinheit 9 senden als auch Daten von derselben empfangen kann. Finally, in the vehicle 10 a communication unit 7 provided wirelessly via a radio link 9a with an external server unit 9 communicates, both data to this server unit 9 send as well as receive data from it.

Im Folgenden wird anhand der 1 und 2 als Ausführungsbeispiel der Erfindung das erfindungsgemäße Verfahren erläutert. The following is based on the 1 and 2 as an embodiment of the invention, the inventive method explained.

Wie bereits oben ausgeführt, wird in einem ersten Verfahrensschritt S1 von der Kamera 2 die Fahrzeugumgebung erfasst und hiervon Bilddaten erzeugt, die der Objekterkennungseinheit 3 zur Auswertung zugeführt werden. Aus diesen Bilddaten werden zunächst von der Objekterkennungseinheit 3 gemäß Verfahrensschritt S2 verkehrszeichentypische Grundmuster von Verkehrszeichen, wie runde oder eckige Formen bzw. Muster bestimmter Größe erkannt bzw. detektiert, bevor von einem Klassifikator der Objekterkennungseinheit 3 gemäß einem Verfahrensschritt S3 das Grundmuster genauer klassifiziert wird. As already stated above, in a first method step S1, the camera is used 2 detects the vehicle environment and generates image data, that of the object recognition unit 3 be supplied for evaluation. From this image data are first from the object recognition unit 3 According to method step S2, traffic sign-type basic patterns of traffic signs, such as round or angular shapes or patterns of a specific size, are detected or detected, before by a classifier of the object recognition unit 3 according to a method step S3, the basic pattern is classified more accurately.

Bei einer Erkennung eines Verkehrszeichen (Verfahrensschritt S4) wird gemäß Verfahrensschritt S5 die Information über dieses erkannte Verkehrszeichen von der Objekterkennungseinheit 3 dem Display 5 zugeführt und steht dort als Information dem Fahrer des Fahrzeugs 10 zur Verfügung. Anschließend erfolgt ein Rücksprung auf Verfahrensschritt S1. In a recognition of a traffic sign (method step S4), the information about this recognized traffic sign from the object recognition unit according to method step S5 3 the display 5 fed and is there as information the driver of the vehicle 10 to disposal. Subsequently, a jump back to method step S1.

Wird allerdings von dem Klassifikator der Objekterkennungseinheit 3 kein Verkehrszeichen erkannt, so werden gemäß einem Verfahrensschritt S6 die Daten des erkannten Grundmusters der Kommunikationseinheit 7 zugeführt, die diese Daten an die externe Servereinheit 9 über die Funkverbindung 9a übermittelt. However, this is done by the classifier of the object recognition unit 3 If no traffic sign is recognized, the data of the detected basic pattern of the communication unit are determined according to a method step S6 7 fed this data to the external server unit 9 over the radio connection 9a transmitted.

In dieser Servereinheit 9 kommt ein Mustererkennungsalgorithmus zur Auswertung dieser empfangenen Daten zur Anwendung, mit dem eine aufwändigere Mustererkennung durchgeführt wird, als es im Fahrzeug 10 möglich wäre. In this server unit 9 a pattern recognition algorithm is used for the evaluation of this received data, with which a more elaborate pattern recognition is carried out than in the vehicle 10 it is possible.

In einem nachfolgenden Verfahrensschritt S8 wird das Ergebnis aus dem Verfahrensschritt S6 an die Kommunikationseinheit 7 des Fahrzeugs 10 übermittelt, welche die empfangenen Daten der Objekterkennungseinheit 3 zuführt. In a subsequent method step S8, the result from method step S6 is sent to the communication unit 7 of the vehicle 10 which transmits the received data of the object recognition unit 3 supplies.

Falls die externe Servereinheit 9 ein Verkehrszeichen erkannt hat, wird dieses Verkehrszeichen auf dem Display 5 dargestellt (Verfahrensschritt S5). Als Ergebnis der von der externen Servereinheit 9 durchgeführten Mustererkennung wird auch das Nichterkennen eines Verkehrszeichens übermittelt und steht als Information der Objekterkennungseinheit 3 für statistische Zwecke zur Verfügung. If the external server unit 9 a traffic sign has detected, this traffic sign will be on display 5 shown (step S5). As a result of the external server unit 9 Pattern recognition is also transmitted the non-recognition of a traffic sign and is available as information of the object recognition unit 3 available for statistical purposes.

So wird die Erkennungshäufigkeit der von der Objekterkennungseinheit 3 des Fahrzeugs 10 durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit 9 durchgeführten Mustererkennungen bestimmt und das Häufigkeitsverhältnis der beiden Werte dieser Erkennungshäufigkeiten gebildet. Der Wert des Häufigkeitsverhältnisses wird auf dem Display 5 des Fahrzeugs 10 angezeigt und steht dem Fahrer als Information zur Verfügung. Thus, the recognition frequency becomes that of the object recognition unit 3 of the vehicle 10 performed pattern recognition and the recognition frequency of the external server unit 9 pattern identifications determined and formed the frequency ratio of the two values of these detection frequencies. The value of the frequency ratio is shown on the display 5 of the vehicle 10 displayed and is available to the driver as information.

Anhand dieser Information kann der Fahrer entscheiden, ob ein Update der Verkehrszeichenerkennungssoftware erforderlich ist, da ihm evtl. der Wert des Häufigkeitsverhältnisses zu gering erscheint. Dieser Wert des Häufigkeitsverhältnisses kann sich auch auf einen bestimmten Zeitraum beziehen, um dadurch dem Fahrer des Fahrzeugs 10 eine Abschätzung zu ermöglichen, wann sich ein Update der Verkehrszeichenerkennungssoftware lohnt. On the basis of this information, the driver can decide whether an update of the traffic sign recognition software is necessary because it may be too low the value of the frequency ratio. This value of the frequency ratio may also refer to a certain period of time, thereby to the driver of the vehicle 10 to provide an estimate of when it pays to update the traffic sign recognition software.

Ein Update kann auch automatisch über die Kommunikationseinheit 7 und die Servereinheit 9 durchgeführt werden, wenn der Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebener Häufigkeitsschwellwert ist. Dies kann derart durchgeführt werden, dass dem Fahrer des Fahrzeugs 10 mit einer Hinweismeldung auf dem Display 5 die Information bereitgestellt wird, dass ein Update der externen Servereinheit 9 zur Verfügung steht, dessen Durchführung durch den Fahrer nach einer Bestätigung initiiert wird. An update can also be done automatically via the communication unit 7 and the server unit 9 be performed when the value of the frequency ratio is less than a predetermined frequency threshold value. This can be done in such a way that the driver of the vehicle 10 with a message on the display 5 the information provided is an update of the external server unit 9 is available, the implementation of which is initiated by the driver after a confirmation.

Mit dem Verfahrensschritt S6 wird nicht nur eine Auswertung des übermittelten Grundmusters durchgeführt, sondern es wird auch geprüft, ob das nicht erkannte Verkehrszeichen von der Objekterkennungseinheit 3 nicht erkannt werden konnte, da sich das Fahrzeug 10 inzwischen über die Landesgrenze in ein anderes Land bewegt hat, dessen Verkehrszeichen der in der Objekterkennungseinheit 3 verwendete Mustererkennungsalgorithmus nicht erkennen kann. With method step S6 not only an evaluation of the transmitted basic pattern is performed, but it is also checked whether the unrecognized traffic sign from the object recognition unit 3 could not be detected, because the vehicle 10 meanwhile has moved across the border into another country, whose traffic sign is the one in the object recognition unit 3 used pattern recognition algorithm can not recognize.

Falls dies gemäß Verfahrensschritt S7 zutrifft, wird in einem nachfolgenden Verfahrensschritt S9 die Information an die Kommunikationseinheit 7 übermittelt, dass zur Erkennung dieser landesspezifischen Verkehrszeichen ein entsprechender Mustererkennungsalgorithmus oder Erkennungsanteile des in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmus zum Downloaden bereit steht. If this is the case according to method step S7, the information is sent to the communication unit in a subsequent method step S9 7 conveys that for the detection of these country-specific traffic signs, a corresponding pattern recognition algorithm or detection components of the in the object recognition unit 3 used pattern recognition algorithm is available for downloading.

Auch ist es möglich, dass über einen solchen Download die zur Erkennung dieser landesspezifischen Verkehrszeichen erforderlichen Erkennungsparameter für den in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmus des Fahrzeugs 10 übermittelt werden, wodurch die Erkennungsparameter des Mustererkennungsalgorithmus so geändert werden, dass der Mustererkennungsprozess der Objekterkennungseinheit 3 besser an die Eigenheiten des Verkehrszeichen in dem jeweiligen Land angepasst und damit eine bessere Erkennungsrate erzielt wird, wobei sich gleichzeitig auch die Prozessorlast eines Mikroprozessors der Objekterkennungseinheit 3 reduzieren lässt. It is also possible that via such a download the detection parameters required for the recognition of these country-specific traffic signs for the in the object recognition unit 3 used pattern recognition algorithm of the vehicle 10 whereby the recognition parameters of the pattern recognition algorithm are changed such that the pattern recognition process of the object recognition unit 3 adapted better to the peculiarities of the traffic signs in each country and thus a better recognition rate is achieved, which at the same time also the processor load of a microprocessor of the object recognition unit 3 can be reduced.

Nach einer Installation der zur Erkennung der landesspezifischen Verkehrszeichen erforderlichen Mustererkennungsalgorithmen oder entsprechenden Erkennungsparameter gemäß Verfahrensschritt S10 erfolgt ein Rücksprung auf den Verfahrensschritt S1. After installation of the pattern recognition algorithms or corresponding detection parameters required for recognizing the country-specific traffic signs in accordance with method step S10, a return to method step S1 takes place.

Ein solcher Download kann automatisch über die Funkverbindung 9a der Kommunikationseinrichtung 7 mit der externen Servereinheit 9 durchgeführt werden oder erst nach Anzeige auf dem Display 5, so dass dem Fahrer die Möglichkeit gegeben wird, einen solchen Download zu initiieren. Such a download can be done automatically via the radio link 9a the communication device 7 with the external server unit 9 be carried out or only after display on the display 5 so that the driver is given the opportunity to initiate such a download.

Eine weitere Möglichkeit die in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmen auf dem aktuellsten Stand zu halten, bzw. diese so zu aktualisieren oder zu ergänzen, dass nach dem Überfahren von Landesgrenzen die dann detektierten landesspezifischen Verkehrszeichen erkannt werden können, besteht darin, dass in Abhängigkeit des aus dem von der Kommunikationseinheit 7 übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit 9 Informationen an die Kommunikationseinheit 7 übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit 3 die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt. Damit wird eine dynamische Anpassung des Mustererkennungsalgorithmus der Objekterkennungseinheit 3 realisiert, so dass ständig die richtigen Erkennungsalgorithmen zur Erkennung der Verkehrszeichen durchlaufen werden. Auch diese dynamische Anpassung der erforderlichen Mustererkennungsalgorithmen erfolgt über die Funkverbindung 9a mit der Servereinheit 9. Another possibility in the object recognition unit 3 used pattern recognition algorithms to keep up to date, or to update or supplement so that after crossing national borders then detected country-specific traffic signs can be detected, is that depending on the from the communication unit 7 transmitted traffic signs recognized the server unit 9 Information to the communication unit 7 so that, based on this information, the object recognition unit 3 applies the pattern recognition algorithms necessary for recognizing the traffic sign or sets the recognition parameters for the pattern recognition algorithm necessary for recognizing the traffic sign. This is a dynamic adaptation of the pattern recognition algorithm of the object recognition unit 3 realized, so that constantly the correct recognition algorithms are passed through to detect the traffic signs. This dynamic adaptation of the required pattern recognition algorithms also takes place via the radio link 9a with the server unit 9 ,

Der Ablauf des erfindungsgemäßen Verfahrens gemäß 2 kann gemäß einer Abwandlung so durchgeführt werden, dass in der Objekterkennungseinheit 3 immer nur das verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt wird und anschließend die Daten dieser Grundmuster zur Erkennung des Verkehrszeichens an die externe Servereinheit 9 übermittelt wird, d. h. die Klassifikation wird immer von der Servereinheit 9 durchgeführt. The course of the method according to the invention 2 According to a modification, it may be performed such that in the object recognition unit 3 only the traffic sign typical basic pattern of a traffic sign is detected and then the data of these basic pattern for the recognition of the traffic sign to the external server unit 9 is transmitted, ie the classification is always from the server unit 9 carried out.

Das Fahrzeug 10 gemäß 1 umfasst auch ein Navigationssystem 6 mit einem GPS-Empfänger zur Bestimmung der aktuellen Position des Fahrzeugs 10 sowie eine digitalen Karte, die neben Streckenführungen auch Verkehrszeicheninformationen enthält, also Informationen über an der befahrenen Strecke vorhandenen Verkehrszeichen. The vehicle 10 according to 1 also includes a navigation system 6 with a GPS receiver to determine the current position of the vehicle 10 as well as a digital map, which also contains traffic sign information in addition to routing, so information about existing on the route traveled traffic signs.

Somit kann jeder aktuellen Position des Fahrzeugs 10 die in der digitalen Karte angegebenen Verkehrszeichen zugeordnet werden und mit den von der Kamera 2 erzeugten Bilddaten verglichen werden. Nun kann der Fall auftreten, dass in einer bestimmten Position des Fahrzeugs 10 Bilddaten von der Kamera 2 erzeugt werden, die aufgrund der Verkehrszeicheninformationen der digitalen Karte ein Verkehrszeichen beinhalten müssten. Obwohl ein Verkehrszeichen erwartet wird, wird von der Objekterkennungseinheit 3 kein verkehrszeichentypisches Grundmuster eines Verkehrszeichens erkannt. In diesem Fall werden die kompletten Bilddaten zur Auswertung an die externe Servereinheit 9 über die Kommunikationseinheit 7 übermittelt. Dort wird sowohl die Auswertung hinsichtlich des verkehrszeichentypischen Grundmusters eines Verkehrszeichens als auch dessen Erkennung mittels eines Mustererkennungsalgorithmus durchgeführt und das Ergebnis über die Funkverbindung 9a wieder der Kommunikationseinheit 7 zurückübermittelt, so dass diese Information auf dem Display 5 angezeigt werden kann. Thus, any current position of the vehicle 10 the traffic signs indicated in the digital map are assigned and those of the camera 2 generated image data are compared. Now the case can occur that in a certain position of the vehicle 10 Image data from the camera 2 are generated, which would have to include a traffic sign due to the traffic sign information of the digital map. Although a traffic sign is expected, the object recognition unit will 3 no traffic sign typical basic pattern of a traffic sign detected. In this case, the complete image data is sent to the external server unit for evaluation 9 via the communication unit 7 transmitted. There, both the evaluation of the traffic sign typical basic pattern of a traffic sign as well as its detection is performed by means of a pattern recognition algorithm and the result via the radio link 9a again the communication unit 7 returned this information on the display 5 can be displayed.

Die Anwendung des erfindungsgemäßen Verfahrens ist nicht nur auf die Erkennung von Verkehrszeichen beschränkt, sondern kann auch auf weitere Objekte, wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbegrenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouetten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten angewendet werden. The application of the method according to the invention is not limited to the detection of traffic signs, but can also be applied to other objects, such as traffic lights, lane markings, lane boundaries, vehicles in front, their vehicle silhouettes, as well as taillights, headlights and object silhouettes.

Die drahtlose Funkkommunikation 9a der Kommunikationseinheit 7 mit der externen Servereinheit 9 kann mit folgenden Technologien aufgebaut werden:

  • – Mobilfunk (GPRS, EDGE, UMTS, LTE, ...)
  • – Satellitentelefon
  • – WLAN ( IEEE 802.11a/b/g/n/ac/... )
  • – Bluetooth (z.B. zu einem Smartphone)
The wireless radio communication 9a the communication unit 7 with the external server unit 9 can be built with the following technologies:
  • - Mobile radio (GPRS, EDGE, UMTS, LTE, ...)
  • - Satellite phone
  • - WIRELESS INTERNET ACCESS ( IEEE 802.11a / b / g / n / ac / ... )
  • - Bluetooth (eg to a smartphone)

Die drahtlose Funkkommunikation 9a kann hierbei durch kryptografische Methoden gesichert werden (z.B. AES, ECC, RC2, Blowfish, Twofish, DES, Triple-DES, SHA, ...), um böswillige Veränderungen der Daten und damit Falschinformation des Fahrers zu vermeiden. The wireless radio communication 9a can be secured by cryptographic methods (eg AES, ECC, RC2, Blowfish, Twofish, DES, Triple-DES, SHA, ...) to avoid malicious changes of the data and thus false information of the driver.

Anstelle einer dedizierten Servereinheit 9 können auch verteilte Server oder sogenannten Cloud-Systeme verwendet werden. Ebenfalls möglich sind frei per Internetverbindung erreichbare Server. Instead of a dedicated server unit 9 You can also use distributed servers or so-called cloud systems. Also possible are freely accessible via Internet connection server.

Die Vorteile des erfindungsgemäßen Verfahrens liegen vor allem darin, dass zunächst in einer ersten Stufe eine Erkennung hinsichtlich von verkehrszeichentypischen Grundmustern erfolgt und in einer zweiten Stufe, falls in dem Fahrzeug keine Erkennung möglich ist, die Erkennung außerhalb des Fahrzeugs durchgeführt wird. Dadurch kann ein wesentlich aufwendigerer Mustererkennungsalgorithmus eingesetzt werden und dadurch eine deutlich höhere Erkennungsrate erreicht werden, als wenn die Verkehrszeichenerkennung lediglich mit dem in der Objekterkennungseinheit hinterlegten Mustererkennungsalgorithmus durchgeführt würde. The advantages of the method according to the invention are, above all, that recognition first takes place in a first stage with regard to traffic-sign-type basic patterns, and in a second stage, if no recognition is possible in the vehicle, recognition is carried out outside the vehicle. As a result, a significantly more elaborate pattern recognition algorithm can be used and thus a significantly higher recognition rate can be achieved than if the traffic sign recognition were carried out only with the pattern recognition algorithm stored in the object recognition unit.

Ein weiterer Vorteil besteht darin, dass eine Zukunftssicherheit des Verkehrszeichenerkennungssystems garantiert ist, da Weiterentwicklungen durch die verwendete Servereinheit abgebildet werden können. A further advantage is that future-proofing of the traffic sign recognition system is guaranteed since further developments can be mapped by the server unit used.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Bildaufnahmesystem Imaging system
22
Kamera camera
33
Objekterkennungseinheit Object recognition unit
44
Speicher der Objekterkennungseinheit 3 Memory of the object recognition unit 3
55
Anzeigeeinheit, Display Display unit, display
66
Navigationssystem navigation system
77
Kommunikationseinheit communication unit
88th
Fahrerassistenzsystem. Driver assistance system.
99
externe Servereinheit external server unit
9a9a
Funkverbindung radio link
1010
Fahrzeugvehicle

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19852631 A1 [0002] DE 19852631 A1 [0002]
  • DE 102008043756 A1 [0003, 0004, 0005] DE 102008043756 A1 [0003, 0004, 0005]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • IEEE 802.11a/b/g/n/ac/... [0057] IEEE 802.11a / b / g / n / ac / ... [0057]

Claims (13)

Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, dadurch gekennzeichnet, dass – über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit (9) übermittelt werden, – mittels eines Mustererkennungsalgorithmus von der externen Servereinheit (9) eine Mustererkennung durchgeführt wird, und – als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden. Method for the electronic detection of traffic signs, in which the image data of a vehicle ( 10 ) arranged camera ( 2 ) traffic pattern-typical basic pattern of a traffic sign to be recognized, characterized in that - via a communication device ( 7 ) of the vehicle ( 10 ) for sending and receiving data, the data of the detected basic pattern wirelessly to an external server unit ( 9 ), by means of a pattern recognition algorithm from the external server unit ( 9 ) a pattern recognition is performed, and - as a result of the pattern recognition, the data of the recognized traffic sign to the communication unit ( 7 ) of the vehicle ( 10 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Ergebnis der Mustererkennung das Nichterkennen eines Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt wird. A method according to claim 1, characterized in that as a result of the pattern recognition the non-recognition of a traffic sign to the communication unit ( 7 ) of the vehicle ( 10 ) is transmitted. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass – vor Übermittlung der Daten des Grundmusters an die externe Servereinheit (9) mittels eines Musterkennungsalgorithmus einer Objekterkennungseinheit (3) des Fahrzeugs (10) eine Mustererkennung durchgeführt wird, und – bei Nichterkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit (9) übermittelt wird. Method according to claim 1 or 2, characterized in that - before transmission of the data of the basic pattern to the external server unit ( 9 ) by means of a pattern recognition algorithm of an object recognition unit ( 3 ) of the vehicle ( 10 ) a pattern recognition is performed, and - in the event of non-recognition of a traffic sign, the data of the basic pattern to the external server unit ( 9 ) is transmitted. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass – die Erkennungshäufigkeit der von der Objekterkennungseinheit (3) des Fahrzeugs (10) durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit (9) durchgeführten Mustererkennungen bestimmt wird, und – das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Objekterkennungseinheit (3) des Fahrzeugs (10) und der Erkennungshäufigkeit der externen Servereinheit (9) gebildet wird. A method according to claim 3, characterized in that - the recognition frequency of the of the object recognition unit ( 3 ) of the vehicle ( 10 ) and the recognition frequency of the external server unit ( 9 ) is determined, and the frequency ratio of the recognition frequency of the object recognition unit ( 3 ) of the vehicle ( 10 ) and the recognition frequency of the external server unit ( 9 ) is formed. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einem Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebener Häufigkeitsschwellwert ein Update des Mustererkennungsalgorithmus durch die externe Servereinheit (9) durchgeführt wird. Method according to claim 4, characterized in that, for a value of the frequency ratio smaller than a predetermined frequency threshold value, an update of the pattern recognition algorithm by the external server unit (FIG. 9 ) is carried out. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) an die Kommunikationseinheit übermittelt werden. Method according to one of claims 3 to 5, characterized in that pattern recognition algorithms for the recognition of country-specific traffic signs from the server unit ( 9 ) are transmitted to the communication unit. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus der Objekterkennungseinheit (3) des Fahrzeugs (10) übermittelt werden. Method according to one of claims 3 to 5, characterized in that for the recognition of country-specific traffic signs from the server unit ( 9 ) the required recognition parameters for the pattern recognition algorithm of the object recognition unit ( 3 ) of the vehicle ( 10 ). Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungsparameter dann von der Servereinheit (9) an die Kommunikationseinheit (7) übermittelt werden, wenn zuvor von der Kommunikationseinheit (7) die Daten eines nichterkannten Grundmusters übermittelt werden und die Servereinheit (9) hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus der Objekterkennungseinheit (3) des Fahrzeugs (10) nicht erkannt werden kann. Method according to claim 6 or 7, characterized in that the pattern recognition algorithms for recognizing the country-specific traffic signs or the recognition parameters are then output from the server unit ( 9 ) to the communication unit ( 7 ), if previously transmitted by the communication unit ( 7 ) the data of an unrecognized basic pattern are transmitted and the server unit ( 9 ) recognizes therefrom a traffic sign of a country which is dependent on the pattern recognition algorithm of the object recognition unit ( 3 ) of the vehicle ( 10 ) can not be recognized. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass in Abhängigkeit des aus dem von der Kommunikationseinheit (7) übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit (9) Informationen an die Kommunikationseinheit (7) übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit (3) die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt. Method according to one of claims 3 to 5, characterized in that depending on the from the communication unit ( 7 ) transmitted traffic signs recognized the server unit ( 9 ) Information to the communication unit ( 7 ), so that on the basis of this information, the object recognition unit ( 3 ) applies the pattern recognition algorithms necessary for recognizing the traffic sign or sets the recognition parameters for the pattern recognition algorithm necessary for recognizing the traffic sign. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden, – mittels eines GPS-Ortungssystems (6) des Fahrzeugs (10) ein Abgleich des Standortes des Fahrzeugs (10) mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird, – bei Nichterkennung eines Grundmusters eines erwarteten Verkehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit (7) an die externe Servereinheit (9) übermittelt werden, und – von der externen Servereinheit (9) eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eine Verkehrszeichens mittels eines Mustererkennungsalgorithmus durchführt wird. Method according to one of the preceding claims, characterized in that - from an electronic road map information regarding the location of traffic signs are provided, - by means of a GPS positioning system ( 6 ) of the vehicle ( 10 ) a comparison of the location of the vehicle ( 10 ) is carried out with the determined from the road map locations of traffic signs, - in case of non-recognition of a basic pattern of an expected traffic sign, the associated image data by means of the communication unit ( 7 ) to the external server unit ( 9 ), and - from the external server unit ( 9 ) an evaluation of the image data with respect to a traffic sign-type basic pattern of a traffic sign and / or a traffic sign is performed by means of a pattern recognition algorithm. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Servereinheit (9) als über ein Netzwerk verbundene verteile Server oder als Cloud-Server aufgebaut ist. Method according to one of the preceding claims, characterized in that the server unit ( 9 ) is set up as a server connected via a network or as a cloud server. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch zur Erkennung von Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten und/oder Objektsilhouetten ausgebildet ist. Method according to one of the preceding claims, characterized in that the method is also designed to detect traffic lights, road markings, vehicle silhouettes and / or object silhouettes in addition to the recognition of traffic signs. Fahrzeug (10) umfassend Einrichtungen zur elektronischen Erkennung von Verkehrszeichen, umfassend ein Bildaufnahmesystem (1), welches ausgebildet ist, aus den Bilddaten einer in dem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster zu erkennen, insbesondere nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass – eine Kommunikationseinrichtung (7) zum Senden und Empfangen von Daten an eine externe Servereinheit (10) vorgesehen ist, mit welcher die Daten des erkannten Grundmusters drahtlos an die Servereinheit (9) zur Durchführung einer Verkehrszeichenerkennung übermittelt wird, und – die Kommunikationseinheit (7) ausgebildet ist, als Ergebnis die Daten des von der Servereinheit (9) erkannten Verkehrszeichens zu empfangen. Vehicle ( 10 ) comprising means for the electronic detection of traffic signs, comprising an image acquisition system ( 1 ), which is formed from the image data of one in the vehicle ( 10 ) arranged camera ( 2 ) traffic pattern-type basic pattern, in particular according to one of claims 1 to 12, characterized in that - a communication device ( 7 ) for sending and receiving data to an external server unit ( 10 ) is provided, with which the data of the recognized basic pattern wirelessly to the server unit ( 9 ) is transmitted for carrying out a traffic sign recognition, and - the communication unit ( 7 ), as a result the data of the server unit ( 9 ) recognized traffic sign to receive.
DE102012107886.6A 2012-08-27 2012-08-27 Method for the electronic detection of traffic signs Withdrawn DE102012107886A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102012107886.6A DE102012107886A1 (en) 2012-08-27 2012-08-27 Method for the electronic detection of traffic signs
DE201311004195 DE112013004195A5 (en) 2012-08-27 2013-07-10 Method for the electronic detection of traffic signs
PCT/DE2013/200033 WO2014032660A1 (en) 2012-08-27 2013-07-10 Method for electronic recognition of traffic signs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012107886.6A DE102012107886A1 (en) 2012-08-27 2012-08-27 Method for the electronic detection of traffic signs

Publications (1)

Publication Number Publication Date
DE102012107886A1 true DE102012107886A1 (en) 2014-02-27

Family

ID=49080620

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102012107886.6A Withdrawn DE102012107886A1 (en) 2012-08-27 2012-08-27 Method for the electronic detection of traffic signs
DE201311004195 Withdrawn DE112013004195A5 (en) 2012-08-27 2013-07-10 Method for the electronic detection of traffic signs

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE201311004195 Withdrawn DE112013004195A5 (en) 2012-08-27 2013-07-10 Method for the electronic detection of traffic signs

Country Status (2)

Country Link
DE (2) DE102012107886A1 (en)
WO (1) WO2014032660A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016000919A1 (en) * 2014-07-02 2016-01-07 Continental Automotive Gmbh Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
EP3096264A1 (en) * 2015-05-20 2016-11-23 Hitachi, Ltd. Object detection system, object detection method, poi information creation system, warning system, and guidance system
CN108257401A (en) * 2018-01-31 2018-07-06 张转 The device and method that automobile is avoided not see traffic lights because of direct sunlight
DE102017200655A1 (en) 2017-01-17 2018-07-19 Audi Ag Method for providing actuator-based vehicle functions in a motor vehicle and motor vehicle computing device and motor vehicle
DE102017200654A1 (en) 2017-01-17 2018-07-19 Audi Ag Method for providing sensor-based vehicle functions in a motor vehicle and motor vehicle computing device and motor vehicle
DE102017206887A1 (en) 2017-04-25 2018-10-25 Audi Ag Calculation system and method for operating a calculation system
DE102018219984B3 (en) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Method and system for supporting an automated vehicle

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205953A1 (en) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Method for analyzing a traffic environment situation of a vehicle
US10733484B2 (en) 2018-03-22 2020-08-04 Here Global B.V. Method, apparatus, and system for dynamic adaptation of an in-vehicle feature detector
US11263549B2 (en) 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
CN113286055B (en) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 Safe vehicle driving method and system based on safe traffic signs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (en) 1998-11-14 2000-05-25 Daimler Chrysler Ag Device and method for traffic sign recognition
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
DE10338455A1 (en) * 2003-08-21 2005-04-14 Robert Bosch Gmbh Driver information device
US20090285445A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab System and Method of Translating Road Signs
DE102008043756A1 (en) 2008-11-14 2010-05-20 Robert Bosch Gmbh Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data
DE102009016580A1 (en) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Data processing system and method for providing at least one driver assistance function
DE102010030068A1 (en) * 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Method for processing e.g. image sequence in vehicle, involves transcoding image data received by vehicle, where transcoded image data is transmitted over wireless interface of vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063952B2 (en) * 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
DE102012206037A1 (en) * 2012-04-13 2013-10-17 Robert Bosch Gmbh A learning method for automatic recognition of traffic signs, method for determining an updated parameter set for a classification of a traffic sign and traffic sign recognition system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (en) 1998-11-14 2000-05-25 Daimler Chrysler Ag Device and method for traffic sign recognition
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
DE10338455A1 (en) * 2003-08-21 2005-04-14 Robert Bosch Gmbh Driver information device
US20090285445A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab System and Method of Translating Road Signs
DE102008043756A1 (en) 2008-11-14 2010-05-20 Robert Bosch Gmbh Traffic sign information providing method for e.g. driver assistance system in vehicle, involves storing traffic sign data, assigning stored data to actual position of vehicle, and providing traffic sign information based on assigned data
DE102009016580A1 (en) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Data processing system and method for providing at least one driver assistance function
DE102010030068A1 (en) * 2010-06-15 2011-12-15 Bayerische Motoren Werke Aktiengesellschaft Method for processing e.g. image sequence in vehicle, involves transcoding image data received by vehicle, where transcoded image data is transmitted over wireless interface of vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE 802.11a/b/g/n/ac/...

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462750B (en) * 2014-07-02 2019-11-19 大陆汽车有限公司 For determining and providing the method for the surface mark for being positioned to vehicle
CN106462750A (en) * 2014-07-02 2017-02-22 大陆汽车有限公司 Method for ascertaining and providing a landmark for the vehicle to determine its own position
US11512969B2 (en) 2014-07-02 2022-11-29 Continental Automotive Gmbh Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
WO2016000919A1 (en) * 2014-07-02 2016-01-07 Continental Automotive Gmbh Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
EP3096264A1 (en) * 2015-05-20 2016-11-23 Hitachi, Ltd. Object detection system, object detection method, poi information creation system, warning system, and guidance system
US9984303B2 (en) 2015-05-20 2018-05-29 Hitachi, Ltd. Object detection system, object detection method, POI information creation system, warning system, and guidance system
US11214207B2 (en) 2017-01-17 2022-01-04 Audi Ag Method for providing actuator-based vehicle functions in a motor vehicle, and motor vehicle computing device and motor vehicle
DE102017200655A1 (en) 2017-01-17 2018-07-19 Audi Ag Method for providing actuator-based vehicle functions in a motor vehicle and motor vehicle computing device and motor vehicle
WO2018134218A1 (en) 2017-01-17 2018-07-26 Audi Ag Method for providing actuator-based vehicle functions in a motor vehicle, and motor vehicle computing device and motor vehicle
US11505139B2 (en) 2017-01-17 2022-11-22 Audi Ag Method for providing sensor-based vehicle functions in a motor vehicle, and motor vehicle computing device and motor vehicle
WO2018134149A1 (en) 2017-01-17 2018-07-26 Audi Ag Method for providing sensor-based vehicle functions in a motor vehicle, and motor vehicle computing device and motor vehicle
DE102017200654A1 (en) 2017-01-17 2018-07-19 Audi Ag Method for providing sensor-based vehicle functions in a motor vehicle and motor vehicle computing device and motor vehicle
WO2018197110A1 (en) 2017-04-25 2018-11-01 Audi Ag Computing system and method for operating a computing system
CN110546697A (en) * 2017-04-25 2019-12-06 奥迪股份公司 Computing system and method for operating a computing system
DE102017206887A1 (en) 2017-04-25 2018-10-25 Audi Ag Calculation system and method for operating a calculation system
US11842640B2 (en) 2017-04-25 2023-12-12 Audi Ag Computing system and method for operating a computing system
CN108257401A (en) * 2018-01-31 2018-07-06 张转 The device and method that automobile is avoided not see traffic lights because of direct sunlight
DE102018219984B3 (en) * 2018-11-22 2020-03-26 Volkswagen Aktiengesellschaft Method and system for supporting an automated vehicle
EP3657386A1 (en) 2018-11-22 2020-05-27 Volkswagen AG Method and system for supporting an automated moving vehicle
US11520350B2 (en) 2018-11-22 2022-12-06 Volkswagen Aktiengesellschaft Process and system for supporting an autonomous vehicle

Also Published As

Publication number Publication date
DE112013004195A5 (en) 2015-05-13
WO2014032660A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
DE102012107886A1 (en) Method for the electronic detection of traffic signs
EP2149132B1 (en) Method and a device for identifying traffic-relevant information
DE102013011969A1 (en) Method for operating a motor vehicle and motor vehicle
DE102011084275A1 (en) Method for operating a driver assistance system and method for processing vehicle environment data
DE102012213344A1 (en) Method for driver assistance on board of motor vehicle, particularly for traffic sign recognition, involves determining direction change of motor vehicle, selecting camera image as function of direction change, and determining traffic sign
DE102015208228A1 (en) Diagnostic method for a visual sensor of a vehicle and vehicle with a visual sensor
DE102016205433A1 (en) Method, device, card management device and system for pinpoint localization of a motor vehicle in an environment
DE102011084084A1 (en) Display method and display system for a vehicle
DE102020210515A1 (en) Method for checking detected changes for an environment model of a digital environment map
EP3695192A1 (en) Method for mapping a route section
EP3769042A1 (en) System for generating confidence values in the back end
DE102016220581A1 (en) METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL
DE102018007659A1 (en) Method for updating an environment map for a motor vehicle
EP4078238A1 (en) Method and device for making sensor data more robust against adverse disruptions
DE102013210725A1 (en) Method and device for detecting traffic signs
EP3063748A1 (en) Method and apparatus for providing an event message with respect to an imminent event for a vehicle
DE102020004215A1 (en) Method for representing a traffic situation in a vehicle
DE102016225631A1 (en) Method and device for removing at least one landmark position of a landmark in a radar map
DE102019002161A1 (en) A method for updating an environment map of a motor vehicle by means of an updating system and updating system
DE102019001092A1 (en) Method for operating a driver assistance system, as well as electronic computing device, computer program product and data carrier
DE102018117830A1 (en) Digital environment map with sensor ranges
DE102016208488A1 (en) Method and device for locating a vehicle
DE102020211863A1 (en) Method and device for determining an electronic horizon for an assistance device for a vehicle
DE102016208239A1 (en) Method for determining dynamic 3D map data, method for determining analysis data, device, computer program and computer program product
DE102016205866A1 (en) Method for determining a pose of an at least partially automated vehicle using specially selected landmarks transmitted by a back-end server

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority
R118 Application deemed withdrawn due to claim for domestic priority

Effective date: 20150227