DE102007021577A1 - Method and device for traffic sign recognition - Google Patents

Method and device for traffic sign recognition Download PDF

Info

Publication number
DE102007021577A1
DE102007021577A1 DE102007021577A DE102007021577A DE102007021577A1 DE 102007021577 A1 DE102007021577 A1 DE 102007021577A1 DE 102007021577 A DE102007021577 A DE 102007021577A DE 102007021577 A DE102007021577 A DE 102007021577A DE 102007021577 A1 DE102007021577 A1 DE 102007021577A1
Authority
DE
Germany
Prior art keywords
image
traffic sign
images
components
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007021577A
Other languages
German (de)
Inventor
Lars-Peter Dipl.-Inform. Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Priority to DE102007021577A priority Critical patent/DE102007021577A1/en
Priority to PCT/EP2008/003745 priority patent/WO2008135295A1/en
Priority to EP08758434A priority patent/EP2149107A1/en
Publication of DE102007021577A1 publication Critical patent/DE102007021577A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung. Mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs werden durch ein Bilderfassungssystem (12) des Kraftfahrzeugs als Bildfolge erfasst. Das Bilderfassungssystem (12) erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten. Die Bilddaten werden verarbeitet, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden. Die ermittelten Bildbestandteile der Bilder werden überlagert, wobei mit Hilfe der überlagerten Bildbestandteile eine verbesserte Abbildung des Objekts erzeugt wird. Mit Hilfe der verbesserten Abbildung des Objekts wird eine Verkehrszeichenerkennung durchgeführt.The invention relates to a method and a device for traffic sign recognition. At least two images, each with an image of a region of the surroundings of a motor vehicle, are detected as an image sequence by an image acquisition system (12) of the motor vehicle. The image acquisition system (12) generates corresponding image data for each captured image of the image. The image data is processed, whereby the image components that can be assigned to this object in each image are determined for at least one object. The determined image components of the images are superimposed, with the help of the superimposed image components an improved image of the object is generated. With the help of the improved image of the object, a traffic sign recognition is performed.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung, bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem eines Kraftfahrzeugs als Bildfolge erfasst werden. Das Bilderfassungssystem erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten, die verarbeitet und zur Verkehrszeichenerkennung ausgewertet werden.The The invention relates to a method and a device for traffic sign recognition, in the at least two images, each with a picture of a Area of the environment of a motor vehicle through an image capture system a motor vehicle are detected as a sequence of images. The image capture system generates corresponding image data for each captured image of the image, which are processed and evaluated for traffic sign recognition.

Die durch ein Bilderfassungssystem zur Verkehrszeichenerkennung bereit gestellten Bilder haben insbesondere bei ungünstigen Umgebungsbedingungen, bei ungünstigen Aufnahmewinkeln, bei weit entfernten Verkehrszeichen und/oder bei hoher Eigengeschwindigkeit des Fahrzeugs nur eine ungenügende Qualität, um die Verkehrszeichenerkennung mit einer hohen Erkennungsgenauigkeit durchzuführen. Verschiedene Systeme zur Verkehrszeichenerkennung sind beispielsweise aus den Dokumenten EP 1 145 186 B1 , EP 1 383 098 B1 und EP 1 131 803 B1 bekannt. Diese Systeme analysieren die erfassten Bilder und führen eine Verkehrszeichenerkennung für die in den Bildern enthaltenen Verkehrszeichen durch.The images provided by an image acquisition system for traffic sign recognition have insufficient quality, particularly in unfavorable environmental conditions, unfavorable exposure angles, distant traffic signs and / or high vehicle speed, to perform traffic sign recognition with high recognition accuracy. Various systems for traffic sign recognition are, for example, from the documents EP 1 145 186 B1 . EP 1 383 098 B1 and EP 1 131 803 B1 known. These systems analyze the captured images and perform traffic sign recognition for the traffic signs contained in the images.

Ferner sind zur Verarbeitung von Bilddaten eine Vielzahl von Verfahren bekannt. Solche Verfahren sind beispielsweise im Dokument "Image super-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006 , beschrieben.Furthermore, a variety of methods are known for processing image data. Such methods are for example in the document Image Super-Resolution Survey, JD van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, October 2006 , described.

Aufgabe der Erfindung ist es, die zur Verkehrszeichenerkennung von einem Bilderfassungssystem bereitgestellten Abbildungen der Verkehrszei chen zu verbessern und eine hohe Erkennungsgüte bei der Verkehrszeichenerkennung zu erreichen.task The invention is the traffic sign recognition of a Image capture system provided illustrations of Verkehrszei chen to improve and a high recognition quality in traffic sign recognition to reach.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und einer Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.These The object is achieved by a method having the features of the patent claim 1 and a device with the features of claim 9 solved. Advantageous developments of the invention are specified in the dependent claims.

Durch ein Verfahren zur Verkehrszeichenerkennung mit den Merkmalen des Patentanspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 wird erreicht, dass aus einzeln aufgenommenen Bildern einer Bildfolge eine verbesserte Abbildung des Verkehrszeichens erzeugt wird, die dann als Grundlage für die Verkehrszeichenerkennung genutzt wird.By a method for traffic sign recognition with the features of Patent claim 1 and by a device with the features of claim 9 is achieved that from individually recorded Images of a sequence of images an improved illustration of the traffic sign is generated, which then serves as the basis for traffic sign recognition is being used.

Bei einer Weiterbildung der Erfindung wird zur Verkehrszeichenerkennung eine Klassifizierung des Objekts mit Hilfe eines bekannten Klassifizierungsverfahrens durchgeführt. Mit Hilfe des Klassifizierungsverfahrens zum Klassifizieren des Objekts als Verkehrszeichen wird zunächst ermittelt, ob das Objekt zur Gruppe der relevanten Verkehrszeichen gehört und wenn ja, um welches konkrete Verkehrszeichen es sich handelt.at a development of the invention is the traffic sign recognition a classification of the object using a known classification method carried out. With the help of the classification procedure to classify the object as a traffic sign is first determines whether the object belongs to the group of relevant traffic signs and if so, which specific traffic sign is concerned.

Ferner kann überprüft werden, ob das in jedem der Bilder ermittelte Objekt ein Verkehrszeichen ist oder ein Verkehrszeichen sein könnte. Das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und die Überlagerung der Bildbestandteile wird vorzugsweise nur dann durchgeführt, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte. Die Bildbestandteile kön nen insbesondere mit Hilfe eines Super-Resolution-Verfahrens überlagert werden.Further can be checked if that in each of the pictures detected object is a traffic sign or a traffic sign could be. Determining the image components of the object in the individual pictures and the superimposition of the picture components is preferably performed only when determined has been that the object is a traffic sign or could act. The picture components can Kings be superimposed in particular by means of a super-resolution method.

Um die relevanten Bildbestandteile überlagern zu können, kann eine eindeutige Zuordnung ein und desselben Objektes in zeitlich geordneten Bildern erfolgen, wobei die Bilder nicht zwingend unmittelbar aufeinander folgen müssen. Für diese optische Zuordnung existieren verschiedene Möglichkeiten, wie nachfolgend beispielhaft erläutert wird.Around to be able to superimpose the relevant image components, can be a unique assignment of one and the same object in time ordered images, the images are not necessarily immediate must follow each other. For this optical assignment There are different possibilities, as below is explained by way of example.

Zur Vereinfachung wird das Objekt als ortsfest angenommen, da es sich bei den relevanten Objekten um ortsfeste Verkehrszeichen handelt. Dadurch ist es möglich aufgrund der bekannten Eigenbewegung des Kraftfahrzeugs zwischen zwei Bildern die Positions- und Größenänderung des Objekts zwischen dem ersten und dem zweiten Bild zu ermitteln.to Simplification, the object is assumed to be stationary, since it is in the relevant objects are fixed traffic signs. This makes it possible due to the known proper motion the motor vehicle between two images, the position and size change of the object between the first and the second image.

Alternativ oder zusätzlich kann die Positionsänderung im Bild eines Objektes durch Vergleich von spezifischen Merkmalen, wie Form, Farbe und/oder Textureigenschaften, des Objektes im ersten Bild mit Kandidaten von Objekten im zweiten Bild ermittelt werden, wobei dasjenige Objekt im zweiten Bild ausgewählt wird, welches die ähnlichsten Eigenschaften besitzt und dadurch die größte Übereinstimmung mit dem im ersten Bild ermittelten Objekt aufweist.alternative or additionally, the position change in Image of an object by comparing specific features, like shape, color and / or texture properties of the object in the first one Image to be determined with candidates of objects in the second image where the object in the second image is selected, which possesses the most similar properties and thereby the biggest match with the im has the first image detected object.

Die dem Objekt im ersten Bild zugeordneten Bildbestandteile und die dem Objekt in mindestens einem zweiten Bild zugeordneten Bildbestandteile werden durch Skalierung und Translation derart angepasst, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden. Ferner kann beim Überlagern der Bildbestandteile die lokale Bildauflösung bzw. Bildqualität der Bildbestandteile des Objekts, vorzugsweise mit Hilfe eines Super-Resolution-Verfahrens, erhöht werden. Durch das Über lagern der Bildbestandteile des Objekts wird insbesondere die Bildschärfe der Abbildung des Objekts in der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht.The the image components assigned to the object in the first image and the become image components associated with the object in at least one second image adjusted by scaling and translation in such a way that and / or position differences of the image components compensated become. Furthermore, when superimposing the image components the local image resolution or image quality of the image components of the object, preferably by means of a super-resolution method, increase. By superimposing the image components of the object, in particular, the image sharpness of the image of the object in the by overlaying the image components the image generated by the object increases.

Die Vorrichtung mit den Merkmalen des Patentanspruchs 9 kann auf die gleiche Weise weitergebildet werden wie für das Verfahren nach Patentanspruch 1 angegeben. Insbesondere kann auch die Vorrichtung mit den Merkmalen des Patentanspruchs 9 mit den zur Weiterbildung des Verfahrens nach Patentanspruch 1 in den abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.The Device with the features of claim 9 can on the be trained in the same way as for the process specified according to claim 1. In particular, the device can also with the features of claim 9 with the training the method according to claim 1 in the dependent Claims specified or corresponding Device features are further developed.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand eines Ausführungsbeispieles näher erläutert.Further Features and advantages of the invention will become apparent from the following Description, which in conjunction with the attached Figures the invention based on an embodiment explained in more detail.

Es zeigen:It demonstrate:

1 ein Blockdiagramm eines Systems zur Bildaufnahme und Bildauswertung der Umgebung eines Kraftfahrzeugs; 1 a block diagram of a system for image acquisition and image evaluation of the environment of a motor vehicle;

2a bis 2e mehrere nacheinander aufgenommene Bilder mit der Abbildung desselben Verkehrszeichens; 2a to 2e several consecutively taken pictures with the image of the same traffic sign;

2f eine durch die Überlagerung von Bildbestandteilen der Bilder 2a bis 2f erzeugte Abbildung des Verkehrszeichens; 2f one through the superimposition of image components of the images 2a to 2f generated image of the traffic sign;

3a bis 3e nacheinander aufgenommene Abbildungen eines Verkehrszeichens; und 3a to 3e consecutively taken pictures of a traffic sign; and

3f eine aus Bildbestandteilen der Bilder 3a bis 3e zusammengesetzte Abbildung des Verkehrszeichens. 3f one of pictorial components of the pictures 3a to 3e composite illustration of traffic sign.

In 1 ist ein Blockdiagramm eines Bildaufnahme- und Auswertesystems 10 dargestellt, das in ein Kraftfahrzeug, insbesondere in einen PKW oder einen LKW, integriert ist. Das Bildaufnahme- und Auswertesystem 10 hat ein Kamerasystem 12, das eine Bildfolge mit Abbildungen zumindest eines Bereichs vor dem Fahrzeug erfasst und jeweils entsprechende Bilddaten erzeugt. Diese Bilddaten werden zu einer Bildverarbeitungseinheit 14 des Systems 10 übertragen und mit Hilfe von Steuerungs- und Verarbeitungsmodulen 16a bis 16d der Bildverarbeitungseinheit 14 analysiert und verarbeitet.In 1 is a block diagram of an image acquisition and evaluation system 10 represented, which is integrated in a motor vehicle, in particular in a car or a truck. The image acquisition and evaluation system 10 has a camera system 12 which captures an image sequence with images of at least one area in front of the vehicle and respectively generates corresponding image data. This image data becomes an image processing unit 14 of the system 10 transmitted and with the help of control and processing modules 16a to 16d the image processing unit 14 analyzed and processed.

Die Bildverarbeitungseinheit 14 ist über einen Fahrzeugbus 18 des Fahrzeugs mit weiteren Steuer- und Verarbeitungseinheiten 20 bis 26, wie dem Navigationssystem, dem Geschwindigkeitserfassungs- und/oder Regelungssystem, des Fahrzeugs verbunden, wobei die Bildverarbeitungseinheit 14 über den Fahrzeugbus 18 Daten mit diesen weiteren Steuereinheiten 20 bis 26 austauschen kann. Die Bildverarbeitungseinheit 14 ist weiterhin über eine geeignete Datenleitung mit einer Anzeige- und Warneinheit 28 sowie mit einer Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 verbunden. Ferner ist die Bildverarbeitungseinheit 14 über eine Datenleitung mit einem Permanentspeicher 32 verbunden. Ein solcher Permanentspeicher 32 kann beispielsweise ein Festplattenspeicher, ein Flashspeicher oder eine weitere Steuereinheit sein. Ferner kann der Permanentspeicher 32 auch durch ein Datenbanksystem des Kraftfahr zeugs bereitgestellt werden. Das Kamerasystem 12 kann eine Monokamera, mehrere Monokameras, ein Stereokamerasystem und/oder mehrere Stereokamerasysteme umfassen, wobei die einzelnen Kameras Graustufenbilder oder Farbbilder erzeugen. Als Fahrzeugbus 18 können übliche bekannte Bussysteme, wie ein LIN-Bus, ein CAN-Bus und/oder ein Flexray-Bus eingesetzt werden. Die Optiken der Kamera bzw. der Kameras des Kamerasystems 12 können insbesondere verschiedene Festbrennweiten oder eine insbesondere über ein Revolver-Objektivsystem oder ein Varioobjektivsystem einstellbare Brennweite aufweisen.The image processing unit 14 is via a vehicle bus 18 the vehicle with other control and processing units 20 to 26 as associated with the navigation system, the speed sensing and / or control system, of the vehicle, the image processing unit 14 over the vehicle bus 18 Data with these other control units 20 to 26 can exchange. The image processing unit 14 is still on a suitable data line with a display and warning unit 28 and with a speed control and / or limiting control 30 connected. Further, the image processing unit 14 via a data line with a permanent memory 32 connected. Such a permanent memory 32 For example, it can be a disk space, flash memory, or another controller. Furthermore, the non-volatile memory 32 be provided by a database system of the motor vehicle. The camera system 12 may comprise a monocamera, multiple monocameras, a stereo camera system, and / or multiple stereo camera systems, with each camera producing grayscale images or color images. As a vehicle bus 18 Conventionally known bus systems such as a LIN bus, a CAN bus and / or a Flexray bus can be used. The optics of the camera or cameras of the camera system 12 In particular, different fixed focal lengths or a focal length adjustable in particular via a revolver objective system or a zoom lens system may be used.

Über den Fahrzeugbus 18 kommuniziert die Bildverarbeitungseinheit 14 auch mit weiteren Sensoren und Empfangseinheiten, die insbesondere eine ad hoc Kommunikation mit weiteren Fahrzeugen und/oder mit Verkehrseinrichtungen, wie Lichtsignalanlagen, Schilderbrücken und/oder einzelnen Verkehrsschildern, aufnehmen können. Ferner werden über den Fahrzeugbus 18 Informationen über Signalzustände einzelner Aktoren und Sensoren, insbesondere über die Aktivierung der Fahrtrichtungsanzeiger des Fahrzeugs, übertragen.About the vehicle bus 18 communicates the image processing unit 14 also with other sensors and receiving units that can accommodate in particular an ad hoc communication with other vehicles and / or with traffic facilities, such as traffic lights, gantries and / or individual traffic signs. Furthermore, via the vehicle bus 18 Information about signal states of individual actuators and sensors, in particular on the activation of the direction indicators of the vehicle transmitted.

Mit Hilfe der durch das Kamerasystem 12 aufgenommenen Bildfolge werden durch eine Analyse der Bilddaten mit Hilfe der Bildverarbeitungseinheit 14 die Verkehrszeichen im Erfassungsbereich des Kamerasystems 12 ermittelt und klassifiziert. Durch das Klassifizieren der Verkehrszeichen mit Hilfe eines geeigneten Erkennungsverfahrens wird das abgebildete Verkehrszeichen als konkretes Verkehrszeichen identifiziert. Über die Anzeige- und Warneinheit 28 wird die Abbildung des Verkehrszeichens und/oder ein diesem Verkehrszeichen entsprechendes Symbol angezeigt.With the help of the camera system 12 recorded image sequence by an analysis of the image data using the image processing unit 14 the traffic signs in the detection area of the camera system 12 determined and classified. By classifying the traffic signs by means of a suitable recognition method, the imaged traffic sign is identified as a concrete traffic sign. About the display and warning unit 28 the map of the traffic sign and / or an icon corresponding to this traffic sign is displayed.

Zusätzlich oder alternativ kann auch eine Textinformation und/oder eine akustische Information ausgegeben werden. Ferner wird eine Verkehrsinformation insbesondere über eine Geschwindigkeitsbegrenzung oder eine Mindestgeschwindigkeit an die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 übergeben, wobei die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 ein Warnsignal bei Überschreitung der zulässigen Höchstgeschwindigkeit und/oder Unterschreitung einer Mindestgeschwindigkeit ausgeben kann. Alternativ können die Geschwindigkeitsbegrenzungen als maximale Begrenzungswerte einer Geschwindigkeitsregelung und/oder -begrenzung ggf. mit einem Offset zugrunde gelegt werden.Additionally or alternatively, text information and / or acoustic information can also be output. Furthermore, a traffic information in particular via a speed limit or a minimum speed to the speed control and / or limiting control 30 pass, wherein the speed control and / or limiting control 30 may emit a warning signal when exceeding the maximum permissible speed and / or falling below a minimum speed. Alternatively, the speed limits may be the maximum limit values of a speed range and / or limit may be based on an offset.

Ein weiteres Verarbeitungs- und Steuerungsmodul 16a bis 16d der Bildverarbeitungseinheit 14 ermittelt aufgrund der Abbildungen der Bildfolge die aktuelle Fahrspur des Fahrzeugs. Ein weiteres Verarbeitungsmodul 16a bis 16d ordnet die einer der ermittelten Fahrspuren eindeutig zuordenbaren Verkehrszeichen nur dieser Fahrspur zu, wobei diese nur einer Fahrspur zugeordneten Verkehrszeichen der Fahrspur zugeordnet im Permanentspeicher 32 gespeichert werden. Ferner können in dem Permanentspeicher 32 Vergleichsdaten für einen Mustervergleich zur Erkennung von Verkehrsschildern, insbesondere länderspezifische Muster von Verkehrszeichen, Symbole, die anstatt der Abbildungen der erkannten Verkehrszeichen auf der Anzeigeeinheit 28 ausgegeben werden können, sowie auszugebende Texte und/oder akustische Informationen gespeichert werden.Another processing and control module 16a to 16d the image processing unit 14 determines the current lane of the vehicle based on the images of the image sequence. Another processing module 16a to 16d assigns the one of the determined lanes clearly assignable traffic signs only this lane, which assigned to only one lane traffic signs associated with the lane in non-volatile memory 32 get saved. Furthermore, in the non-volatile memory 32 Comparative data for a pattern comparison for the detection of traffic signs, in particular country-specific patterns of traffic signs, symbols, instead of the images of the recognized traffic signs on the display unit 28 can be output as well as output texts and / or acoustic information.

Die negativen Einflüsse der Eigenschaften des abbildenden optischen Systems der Kamera (Windschutzscheibe, Abbildungsoptik, Bildsensor) auf die Bildqualität müssen entsprechend reduziert oder ganz beseitigt werden, um eine Verbesserung von Bildern mit einer Abbildung eines Verkehrszeichens auch bei unterschiedlichen Umgebungsbedingungen sicher zu erreichen. Jedoch sind diese Einflussfaktoren oft nur mit einem relativ hohen Aufwand dahingehend zu verbessern, dass Bilder mit einer konstant hohen Qualität von der Umgebung des Fahrzeugs, insbesondere von der Abbildung eines zu klassifizierenden Verkehrszeichens, aufgenommen werden können. Andere Einflussfaktoren, wie die Eigenschaften des Verkehrszeichens, können nicht durch Maßnahmen am Fahrzeug selbst beeinflusst werden. In der Praxis können aber insbesondere relativ schlechte Bildaufnahmen des Verkehrszeichens in Folge von Regen, Nebel, Nebelschwaden sowie von Schneefall nicht vermieden werden. Auch die Einflüsse der Fahrzeugbewegung in Folge des Fahrbahnverlaufs können nicht vermieden jedoch bei der Verarbeitung der Bilder zumindest teilweise berücksichtigt werden.The negative influences of the characteristics of the imaging optical System of the camera (windshield, imaging optics, image sensor) on the image quality must be reduced accordingly or be completely eliminated to improve images with a Illustration of a traffic sign even under different environmental conditions safe to reach. However, these influencing factors are often only with a relatively high effort to improve that Pictures with a consistently high quality of the environment of the vehicle, in particular the image of a to be classified Traffic sign, can be recorded. Other influencing factors, like the characteristics of the traffic sign, can not go through Measures can be influenced on the vehicle itself. In the However, in particular, relatively poor image recordings can be used in practice the traffic sign as a result of rain, fog, fog and of Snowfall can not be avoided. Also the influences of Vehicle movement as a result of the road course can not avoided, however, at least partially when processing the images be taken into account.

Veränderungen bzw. Verbesserungen der Optik, des Bildsensors und zusätzliche Maßnahmen zur Ausleuchtung des Bereichs, von dem mit Hilfe der Bilderfassungseinheit eine Abbildung erzeugt werden soll, sind oft mit hohen Kosten verbunden und führen nicht immer zum gewünschten Erfolg.changes or improvements of the optics, the image sensor and additional Measures to illuminate the area, with the help of the image acquisition unit is to be generated an image are often associated with high costs and do not always lead to desired success.

Zur Bildverbesserung der Abbildung des Verkehrszeichens wird das Verkehrszeichen als Objekt in mehreren nacheinander als Bildfolge aufgenommenen Bildern detektiert. Dies erfolgt insbesondere mit Hilfe eines bekannten Trackingverfahrens. In jedem dieser Bilder oder zumindest in einem Teil dieser Bilder werden Bildelemente des Verkehrszeichens ermittelt, die dann überlagert werden, sodass ein verbessertes Gesamtbild des Verkehrszeichens erzeugt wird. Bilddaten des verbesserten Gesamtbildes werden dann weiterverarbeitet, wobei das Verkehrszeichen ausgehend von den Bilddaten des verbesserten Gesamtbildes klassifiziert wird. Durch das Klassifizieren erfolgt eine Erkennung des Verkehrszeichens.to Picture improvement of the picture of the traffic sign becomes the traffic sign as an object in several successive recorded as a sequence of images Images detected. This is done in particular by means of a known Tracking method. In each of these pictures or at least in one Part of these pictures are determined by picture elements of the traffic sign. which are then superimposed, so an improved overall picture of the traffic sign is generated. Image data of the improved overall image are then processed further, the traffic sign starting is classified from the image data of the improved overall image. By classifying a recognition of the traffic sign takes place.

Das Überlagern der Bildbestandteile erfolgt insbesondere mit Hilfe eines Super-Resolution-Verfahrens. Vorzugsweise erfolgt vor oder bei der Überlagerung der Bildbestandteile eine Größen- und/oder Positionsanpassung, um die aus der Fahrzeugbewegung während und zwischen den Bildaufnahmen resultierenden Größen- und Positionsunterschiede zu kompensieren. Ferner kann mit Hilfe eines Vorklassifizierungsverfahrens das ermittelte Objekt vorklassifiziert werden, wobei die weitere Verarbeitung zur Verkehrszeichenerkennung bzw. zur Bildverbesserung mit Hilfe der Überlagerung der Bildbestandteile nur durchgeführt wird, wenn es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.Overlaying The image components are in particular using a super-resolution method. Preferably, before or during the superposition of the Image components a size and / or position adjustment, around the vehicle movement during and between the Image taken resulting size and position differences to compensate. Further, by means of a pre-classification process the determined object are pre-classified, the others Processing for traffic sign recognition or image enhancement with Help of overlay of image components only performed if the object is a traffic sign or could act.

In den 2a bis 2e sind nacheinander mit Hilfe des Kamerasystems 12 des Fahrzeugs aufgenommene Bilder dargestellt, die in Folge der relativ kleinen Abbildung des Verkehrszeichens in dem jeweiligen durch das Kamerasystem 12 aufgenommenen Gesamtbild ein relativ großes Bildrauschen aufweisen. Die Entfernung zwischen dem Verkehrszeichen und dem Fahrzeug bzw. dem Kamerasystem 12 reduziert sich zwischen den in gleichen Zeitabständen aufgenommenen Bildern 2a bis 2e kontinuierlich, wobei vorzugsweise eine konstante Fahrzeuggeschwindigkeit zwischen den Aufnahmezeitpunkten der Bilder 2a bis 2e vorliegt. Mit Hilfe eines Super-Resolution-Verfahrens werden Bildbestandteile der einzelnen Bilder 2a bis 2e nach einer entsprechenden Größenänderung der einzelnen Bildbestandteile des Verkehrszeichens überlagert und zu einem neuen Gesamtbild des Verkehrszeichens zusammengefügt, wobei aufgrund der Redundanz und der Ergänzung von lokalen Informationen eine Bildverbesserung erreicht wird, wie dies in 2f dargestellt ist.In the 2a to 2e are successively with the help of the camera system 12 represented by the vehicle images due to the relatively small image of the traffic sign in the respective by the camera system 12 recorded overall image have a relatively large image noise. The distance between the traffic sign and the vehicle or the camera system 12 reduces itself between the pictures taken at the same time intervals 2a to 2e continuously, preferably a constant vehicle speed between the recording times of the images 2a to 2e is present. With the help of a super-resolution-process image components of the individual images 2a to 2e superimposed upon a corresponding change in size of the individual image components of the traffic sign and combined to form a new overall picture of the traffic sign, which is due to the redundancy and the supplement of local information, an image improvement is achieved, as in 2f is shown.

In den 3a bis 3e sind weitere unter anderen Aufnahmebedingungen durch das Kamerasystem 12 aufgenommene Bilder anderer Abbildun gen des in den 2a bis 2e dargestellten Verkehrszeichens gezeigt, wobei die in den 3a bis 3e gezeigten Bilder eine relativ große Bewegungsunschärfe, insbesondere in Folge relativ großer Belichtungszeiten und der Eigenbewegung des Kamerasystems 12 während der Belichtung, aufweisen. Durch eine entsprechende Überlagerung, die im Wesentlichen auf die gleiche Weise wie die Überlagerung der in den 2a bis 2e erfolgt, werden die dem Verkehrszeichen zugeordneten Bildbestandteile der in den 3a bis 3e gezeigten Bilder zu dem in 3f gezeigten Bild überlagert. Sowohl das in 2f als auch in 3f gezeigte Bild haben eine für die Klassifizierung des Verkehrszeichens erheblich verbesserte Bildqualität gegenüber den jeweiligen Ursprungsbildern, sodass durch die Bilder der 2f und 3f eine wesentlich höhere Erkennungsqualität bei der Erkennung des Verkehrszeichens erreicht werden kann. Somit wird auch die Wahrscheinlichkeit erhöht, dass das durch die Klassifizierung erkannte Verkehrszeichen mit dem tatsächlich vorhandenen Verkehrszeichen übereinstimmt.In the 3a to 3e are more under other shooting conditions by the camera system 12 taken pictures of other Abbildun gene in the 2a to 2e shown traffic sign, wherein in the 3a to 3e shown images a relatively large motion blur, especially as a result of relatively large exposure times and the proper motion of the camera system 12 during exposure. By an appropriate overlay, in essentially the same way as the overlay of the in the 2a to 2e takes place, the image associated with the traffic sign parts of in the 3a to 3e shown pictures to the in 3f superimposed picture shown. Both the in 2f as well as in 3f shown image have a significantly improved image quality for the classification of the traffic sign compared to the respective source images, so that the images of the 2f and 3f a much higher recognition quality can be achieved in the recognition of the traffic sign. This also increases the likelihood that the traffic sign recognized by the classification matches the actually existing traffic sign.

Die sich im Fahrschlauch des Fahrzeugs befindenden zu klassifizierenden Objekte bewegen sich auf Grund der Relativbewegung des Fahrzeugs zwischen den Aufnahmezeitpunkten der Bilder bezogen auf die Bildebene des Kamerasystems 12. Diese Bewegung ist durch die unterschiedlichen Positionen desselben Objekts in mehreren nacheinander aufgenommenen Bildern sichtbar. Zur Überlagerung der Bildbestandteile eines Objekts aus mehreren Bildern der Bildfolge wird aus diesem Grund vorzugsweise die Position und/oder Größe der Bildbestandteile so angepasst, dass bei einer Überlagerung eine verbesserte Darstellung des Verkehrszeichens erreicht wird. Dadurch können zur Verkehrszeichenerkennung qualitativ hochwertige Bilder eines im Fahrschlauch angeordneten Verkehrszeichens erzeugt werden.The objects to be classified which are located in the driving path of the vehicle move on the basis of the relative movement of the vehicle between the recording times of the images relative to the image plane of the camera system 12 , This movement is visible through the different positions of the same object in several successive images. For overlaying the image constituents of an object from a plurality of images of the image sequence, the position and / or size of the image constituents is therefore preferably adjusted such that an overlaying of an improved representation of the traffic sign is achieved. As a result, high-quality images of a traffic signal arranged in the driving lane can be generated for traffic sign recognition.

Die Objekte in den Einzelbildern werden in Folge der beschriebenen Relativbewegung zwischen Fahrzeug und Objekt oft nur unscharf dargestellt. Dies ist insbesondere dann der Fall, wenn bei einer dunklen Umgebung eine relativ lange Belichtungszeit zur Bildaufnahme erforderlich ist. Durch das Überlagern von Aufnahmen einer Bildfolge und der dadurch erreichten Überlagerung von Bildbestandteilen desselben Objekts werden bildsignalspezifische Informationen in den entsprechenden lokalen Bildausschnitten ausgenutzt, wobei das Objekt insbesondere das zu klassifizierende Verkehrszeichen ist und somit eine qualitative Verbesserung des Bildes des Verkehrszeichens bewirkt.The Objects in the individual images become due to the described relative movement between vehicle and object often only shown out of focus. This is especially the case when in a dark environment a relatively long exposure time required for image acquisition is. By superimposing images of a sequence of images and the resulting superimposition of image components the same object is image signal specific information in exploited the corresponding local image excerpts, the Object is in particular the traffic sign to be classified and thus a qualitative improvement of the image of the traffic sign causes.

Bei der Verwendung von überlagerten bildsignalspezifischen Informationen zur qualitativen Verbesserung eines Bildes oder eines Bildbereiches erfolgt insbesondere eine vorteilhafte Ausnutzung der lokalen (z. B. bzgl. eines Pixels oder eines begrenzten mehrer Pixel umfassenden lokalen Bildbereiches) Variation eines Bildsignals in einer Bildfolge, wobei das Bildsignal stets von der gleichen Stelle eines Objektes emittiert wird. Dabei werden die Bilddaten mehrerer unabhängiger Bilder der Bildfolge genutzt, um das Bildsignal und die Variation zu ermitteln. Die Variation des Bildsignals überlagert zumindest Teile eines ungestörten Bildsignals bzw. eines ungestörten Bildes. Durch eine Analyse dieser Variationen kann mittels bekannter statistischer Methoden auf den ungestörten lokalen Bildsignalwert geschlossen werden. Im Kontext der relevanten Bildbestandteile eines Objektes ergibt dann die Ermittelung aller ungestörten lokalen Bildsignale in der Gesamtheit einen qualitativ verbesserten Bildbestandteil.at the use of superimposed image signal specific Information on the qualitative improvement of an image or a Image area is in particular an advantageous utilization the local (for example, with respect to a pixel or a limited several Pixel-comprising local image area) variation of an image signal in an image sequence, the image signal always being of the same Location of an object is emitted. At the same time, the image data becomes used several independent images of the image sequence to to determine the image signal and the variation. The variation of the Image signal superimposed at least parts of an undisturbed Image signal or an undisturbed image. Through an analysis These variations can be done by known statistical methods the undistorted local image signal value are closed. In the context of the relevant image components of an object results then the determination of all undistorted local image signals as a whole a qualitatively improved pictorial component.

Insbesondere ist es durch die Erfindung nicht zwingend erforderlich, sehr hochwertige teure Optiken mit einer hohen Lichtempfindlichkeit und niedriger Blendenzahl oder einen Bildsensor mit hoher Lichtempfindlichkeit einzusetzen oder eine Modifizierung der Windschutzscheibe, insbesondere durch lokale Verwendung von Klarglas, durchzuführen, um die erforderliche Bildverbesserung der Abbildung des Objekts zu erzielen. Durch eine vorteilhafte Ausnutzung bildsignalspezifischer Informationen, die in den einzelnen Bildern der Bildfolge enthalten sind, kann beim Überlagern der Bildbestandteile des Objekts insbesondere eine lokale Bildauflösung erhöht und die Bewegungsunschärfe der Abbildung des Objekts reduziert (herausgerechnet) werden.Especially it is not absolutely necessary by the invention, very high quality expensive optics with a high photosensitivity and lower F-number or an image sensor with high photosensitivity to insert or a modification of the windshield, in particular through local use of clear glass, to perform the to achieve required image enhancement of the image of the object. By an advantageous utilization of image signal-specific information, which are contained in the individual images of the image sequence, may overlay the image components of the object in particular a local image resolution increased and the motion blur of the picture of the object can be reduced (eliminated).

Die Bildverbesserung kann insbesondere mit Hilfe eines geeigneten Programms von einer Datenverarbeitungseinheit, insbesondere einem Signalprozessor oder einer anderen Steuereinheit, durchgeführt werden und ist für jedes Kamerasystem 12 bzw. jedes andere Bilderfassungssystem grundsätzlich anwendbar. Durch die erläuterte Vorgehensweise kann auch eine sichere Erkennung von Verkehrszeichen bei Dunkelheit sichergestellt werden. Die Bildverbesserung kann sowohl für Verkehrszeichen als auch für Verkehrszusatzzeichen erfolgen. Mit Hilfe der durchgeführten Bildverbesserung der Abbildung des Verkehrszeichens kann eine robuste Klassifikation mit einer höheren Performance und besserer Treffer- und Erkennungswahrscheinlichkeit erreicht werden.The image enhancement can in particular be carried out with the aid of a suitable program by a data processing unit, in particular a signal processor or another control unit, and is for each camera system 12 or any other imaging system in principle applicable. By the explained procedure, a secure detection of traffic signs in the dark can be ensured. The image enhancement can be done both for traffic signs and for additional traffic signs. With the aid of the image enhancement of the traffic sign image, a robust classification with a higher performance and better probability of detection and recognition can be achieved.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 1145186 B1 [0002] - EP 1145186 B1 [0002]
  • - EP 1383098 B1 [0002] - EP 1383098 B1 [0002]
  • - EP 1131803 B1 [0002] - EP 1131803 B1 [0002]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • - "Image super-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006 [0003] - Image super-resolution survey, JD van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, October 2006 [0003]

Claims (9)

Verfahren zur Verkehrszeichenerkennung, bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem (12) des Kraftfahrzeugs als Bildfolge erfasst werden, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt, die Bilddaten verarbeitet werden, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden, die ermittelten Bildbestandteile der Bilder überlagert werden, wobei mit Hilfe der überlagerten Bildbestandteile Bilddaten einer verbesserten Abbildung des Objekts erzeugt werden, und bei dem mit Hilfe der Bilddaten der verbesserten Abbildung des Objekts eine Verkehrszeichenerkennung durchgeführt wird.A traffic sign recognition method in which at least two images, each with a representation of an area of the surroundings of a motor vehicle, are captured by an image acquisition system ( 12 ) of the motor vehicle can be detected as a sequence of images, the image acquisition system ( 12 ) generates image data corresponding to each captured image of the image, the image data are processed, wherein the image components of the images determined for at least one object are assigned to this object in each image, the determined image components of the images are superimposed, with the aid of the superposed image components image data of an improved image of the object, and in which traffic sign recognition is performed using the image data of the improved image of the object. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass überprüft wird, ob das ermittelte Objekt ein Verkehrszeichen ist oder sein könnte, wobei das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und/oder die Überlagerung der Bildbestandteile vorzugsweise nur durchgeführt wird, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.Method according to claim 1, characterized in that that checks whether the detected object a traffic sign is or could be, wherein determining the image components of the object in the individual images and / or the superimposition of the image components preferably only is performed when it has been determined that it the object is or could be a traffic sign. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildbestandteile mit Hilfe eines Super-Resolution-Verfahrens überlagert werden.Method according to one of the preceding claims, characterized in that the image components with the help of a Super-resolution procedure be superimposed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt als ortsfest angenommen wird und dass die Positionsänderung eines Objekts im zweiten Bild gegenüber dem ersten Bild in Folge einer Eigenbewegung des Kraftfahrzeugs und/oder eine Größenänderung der Größe des Objekts in der Abbildung des zweiten Bildes gegenüber der Größe des Objekts im ersten Bild in Folge der Eigenbewegung des Kraftfahrzeugs ermittelt wird, wobei die Größe und/oder Position der Bildbestandteile derart angepasst wird, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden.Method according to one of the preceding claims, characterized in that the object is assumed to be stationary and that the position change of an object in the second Picture opposite the first picture as a result of a self-movement of the motor vehicle and / or a size change the size of the object in the image of the second Image versus the size of the object determined in the first image as a result of the proper motion of the motor vehicle being, the size and / or position of the image components is adjusted so that size and / or position differences the image components are compensated. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Überlagern der Bildbestandteile die lokale Bildauflösung der Bildbestandteile des Objekts im durch die Überlagerung resultierenden Bild des Objekts gegenüber den Einzelbildern vorzugsweise mit Hilfe eines Super-Resolution-Verfahrens erhöht wird.Method according to one of the preceding claims, characterized in that in the superimposition of the image components the local image resolution of the image components of the object in the image of the object resulting from the overlay with respect to the individual images, preferably by means of a super-resolution method is increased. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der durch die Überlagerung der Bildbestandteile erzeugten Abbildung des Objekts eine Klassifizierung des Objekts mit Hilfe eines Klassifizierungsverfahrens zur Verkehrszeichenerkennung durchgeführt wird.Method according to one of the preceding claims, characterized in that by means of the overlay The image component of the image produced a classification of the object Object using a classification method for traffic sign recognition is carried out. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mit Hilfe des Klassifizierungsverfahrens ermittelt wird, ob das Objekt ein Verkehrszeichen ist und/oder ob das Objekt ein konkretes Verkehrszeichen ist.Method according to Claim 6, characterized that the classification procedure is used to determine whether the object is a traffic sign and / or the object is a concrete one Traffic sign is. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildschärfe der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht wird.Method according to one of the preceding claims, characterized in that the sharpness of created the overlay of the image components of the object Figure is increased. Vorrichtung zur Verkehrszeichenerkennung mit einer Bilderfassungseinheit eines Kraftfahrzeugs, die mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Kraftfahrzeugs einer Bildfolge erfasst, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt, mit einer Verarbeitungseinheit (14), die die Bilddaten verarbeitet, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden, die die ermittelten Bildbestandteile der Bilder überlagert, und die mit Hilfe der überlagerten Bildbestandteile einer Verkehrszeichenerkennung durchführt.A traffic sign recognition device having an image acquisition unit of a motor vehicle, which captures at least two images each having a representation of a region of the surroundings of the motor vehicle of an image sequence, the image acquisition system ( 12 ) generates corresponding image data for each captured image of the image, with a processing unit ( 14 ), which processes the image data, wherein for at least one object, the image components that can be assigned to this object in each image are determined, which superimposes the ascertained image components of the images, and which performs traffic sign recognition with the aid of the superposed image components.
DE102007021577A 2007-05-08 2007-05-08 Method and device for traffic sign recognition Withdrawn DE102007021577A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102007021577A DE102007021577A1 (en) 2007-05-08 2007-05-08 Method and device for traffic sign recognition
PCT/EP2008/003745 WO2008135295A1 (en) 2007-05-08 2008-05-08 Method and device for recognising road signs
EP08758434A EP2149107A1 (en) 2007-05-08 2008-05-08 Method and device for recognising road signs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007021577A DE102007021577A1 (en) 2007-05-08 2007-05-08 Method and device for traffic sign recognition

Publications (1)

Publication Number Publication Date
DE102007021577A1 true DE102007021577A1 (en) 2008-11-13

Family

ID=39687083

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007021577A Withdrawn DE102007021577A1 (en) 2007-05-08 2007-05-08 Method and device for traffic sign recognition

Country Status (3)

Country Link
EP (1) EP2149107A1 (en)
DE (1) DE102007021577A1 (en)
WO (1) WO2008135295A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009030594A1 (en) 2009-06-26 2010-12-30 Volkswagen Ag Motor vehicle has image detecting device for detecting images of vehicle environment and for generating image data to detected images, where processing device is provided for processing image data to identify traffic signs

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015210117A1 (en) 2015-06-02 2016-12-08 Conti Temic Microelectronic Gmbh Driver assistance device for traffic sign recognition for a motor vehicle and a method for checking a possible misrecognition of a recognized with the driver assistance device traffic sign

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (en) * 1998-11-14 2000-05-25 Daimler Chrysler Ag Device and method for traffic sign recognition
WO2006022910A1 (en) * 2004-08-16 2006-03-02 Siemens Corporate Research, Inc. Method for traffic sign detection
EP1383098B1 (en) 2002-07-09 2006-05-17 Accenture Global Services GmbH System for automatic traffic sign recognition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100504594B1 (en) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 Method of restoring and reconstructing a super-resolution image from a low-resolution compressed image
US7492962B2 (en) * 2005-08-25 2009-02-17 Delphi Technologies, Inc. System or method for enhancing an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631A1 (en) * 1998-11-14 2000-05-25 Daimler Chrysler Ag Device and method for traffic sign recognition
EP1131803B1 (en) 1998-11-14 2002-06-05 DaimlerChrysler AG Device and method for recognizing traffic signs
EP1145186B1 (en) 1998-11-14 2004-02-18 DaimlerChrysler AG Method and apparatus for increasing the power of a traffic sign recognition system
EP1383098B1 (en) 2002-07-09 2006-05-17 Accenture Global Services GmbH System for automatic traffic sign recognition
WO2006022910A1 (en) * 2004-08-16 2006-03-02 Siemens Corporate Research, Inc. Method for traffic sign detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Image super-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006
Computer erkennt Verkehrszeichen.In:radio,fernsehen,elektronik, 2/97,S.7; *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009030594A1 (en) 2009-06-26 2010-12-30 Volkswagen Ag Motor vehicle has image detecting device for detecting images of vehicle environment and for generating image data to detected images, where processing device is provided for processing image data to identify traffic signs

Also Published As

Publication number Publication date
EP2149107A1 (en) 2010-02-03
WO2008135295A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
EP2150939B1 (en) Method and device for determining the position of a road sign
EP2179381B1 (en) Method and apparatus for recognizing traffic signs
EP3053097A1 (en) Method and apparatus for identifying road signs
DE102018212655A1 (en) Detection of the intention to move a pedestrian from camera images
EP3488607B1 (en) Camera device for recording an environmental area of a vehicle, and method for providing a driver assistance function
DE102016210632A1 (en) Method for checking a media loss of a motor vehicle and motor vehicle and system for carrying out such a method
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102009012758A1 (en) Device and method for detecting at least one object
DE102011082477A1 (en) Method and system for creating a digital image of a vehicle environment
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
WO2009086970A1 (en) Method and device for image detection for motor vehicles
DE102009036196A1 (en) Traffic sign recognition method for vehicle, involves recording traffic signs within surrounding of vehicle by optical detection unit, where estimated current relative position of traffic signs is selected or limited within surrounding
DE102007021577A1 (en) Method and device for traffic sign recognition
DE102007021579A1 (en) Traffic sign i.e. circular traffic sign, classifying method, involves classifying object in dependence of classification process and/or classification result, by another different classification process for classification of traffic sign
WO2022128013A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE102019118106B4 (en) Method for determining a visibility
DE102011081391A1 (en) Method and device for detecting disturbing objects in the ambient air of a vehicle
DE102008062154B4 (en) Control of a camera system of a motor vehicle and driver assistance system
DE102007008543A1 (en) Method and device for determining the state of motion of objects
DE102007021578A1 (en) Road sign classifying method, involves determining object, assigning image elements for each image of object, and accomplishing classification with help of determined image data, with which individual probability is determined
DE102008014630A1 (en) Method and device for processing image data
DE102020213267A1 (en) Brightness conversion of stereo images
DE102014218627A1 (en) Method and control device for operating an image sensor

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20131203