EP2149107A1 - Method and device for recognising road signs - Google Patents

Method and device for recognising road signs

Info

Publication number
EP2149107A1
EP2149107A1 EP08758434A EP08758434A EP2149107A1 EP 2149107 A1 EP2149107 A1 EP 2149107A1 EP 08758434 A EP08758434 A EP 08758434A EP 08758434 A EP08758434 A EP 08758434A EP 2149107 A1 EP2149107 A1 EP 2149107A1
Authority
EP
European Patent Office
Prior art keywords
image
traffic sign
components
images
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08758434A
Other languages
German (de)
French (fr)
Inventor
Lars-Peter Becker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Publication of EP2149107A1 publication Critical patent/EP2149107A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the invention relates to a method and a device for traffic sign recognition, in which at least two images, each with an image of a region of the surroundings of a motor vehicle, are detected as an image sequence by an image acquisition system of a motor vehicle.
  • the image acquisition system generates corresponding image data for each captured image of the image that is processed and evaluated for traffic sign recognition.
  • the images provided by an image acquisition system for traffic sign recognition have insufficient quality, particularly in unfavorable environmental conditions, unfavorable exposure angles, distant traffic signs and / or high vehicle speed, to perform traffic sign recognition with high recognition accuracy.
  • Various systems for traffic sign recognition are known, for example, from the documents EP 1 145 186 B1, EP 1 383 098 B1 and EP 1 131 803 B1. These systems analyze the captured images and perform traffic sign recognition for the traffic signs contained in the images.
  • the object of the invention is to provide the traffic signal recognition images provided by an image acquisition system of the traffic signs. improve their quality and to achieve a high recognition quality in traffic sign recognition.
  • a classification of the object by means of a known classification method is carried out for traffic sign recognition.
  • the classification method for classifying the object as a traffic sign it is first determined whether the object belongs to the group of relevant traffic signs and, if so, to which specific traffic sign it is.
  • the object detected in each of the images is a traffic sign or could be a traffic sign.
  • the determination of the image components of the object in the individual images and the superimposition of the image components is preferably carried out only when it has been determined that the object is or could be a traffic sign.
  • the pictorial components particular super-resolution procedure.
  • the object is assumed to be stationary, since the relevant objects are fixed traffic signs. This makes it possible to determine the position and size change of the object between the first and the second image due to the known proper motion of the motor vehicle between two images.
  • the position change in the image of an object can be determined by comparing specific features, such as shape, color and / or texture properties, of the object in the first image with candidates of objects in the second image, wherein the object in the second image is selected has the most similar properties and thus has the greatest agreement with the object found in the first image.
  • the image components assigned to the object in the first image and the image components assigned to the object in at least one second image are adjusted by scaling and translation such that differences in size and / or position of the image components are compensated. Furthermore, when superimposing the image constituents, the local image resolution or image quality of the image constituents of the object, preferably by means of a super-resolution method, can be increased. Through the over- storing the image components of the object, in particular, the image sharpness of the image of the object is increased in the image generated by the superimposition of the image components of the object.
  • the device with the features of claim 9 can be further developed in the same manner as specified for the method according to claim 1.
  • the device with the features of claim 9 can be further developed with the features specified for further development of the method according to claim 1 in the dependent claims or corresponding device features.
  • Fig. 1 is a block diagram of a system for image recording
  • FIGS. 2a to 2e show a plurality of successively recorded images with the image of the same traffic sign
  • Figures 2a to 2f generated illustration of the traffic sign; F ig. 3 a to 3 e successively taken pictures of a traffic sign; and
  • Fig. 3f is a composite of image components of the images 3a to 3e illustration of the traffic sign.
  • FIG. 1 shows a block diagram of an image acquisition and evaluation system 10 which is integrated in a motor vehicle, in particular in a car or a truck.
  • the image acquisition and evaluation system 10 has a camera system 12 which captures an image sequence with images of at least one area in front of the vehicle and respectively generates corresponding image data.
  • This image data is transmitted to an image processing unit 14 of the system 10 and analyzed and processed by means of control and processing modules 16a to 16d of the image processing unit 14.
  • the image processing unit 14 is connected via a vehicle bus 18 of the vehicle with further control and processing units 20 to 26, such as the navigation system, the speed detection and / or control system of the vehicle, the image processing unit 14 via the vehicle bus 18 data with these other control units 20 to 26 can exchange.
  • the image processing unit 14 is further connected via a suitable data line with a display and warning unit 28 and with a speed control and / or limiting controller 30.
  • the image processing unit 14 is connected to a non-volatile memory 32 via a data line.
  • a non-volatile memory 32 may be, for example, a hard disk memory, a flash memory or another control unit.
  • the permanent memory 32 can also be replaced by a database system of the motor vehicle be provided.
  • the camera system 12 can comprise a monocamera, a plurality of monocameras, a stereo camera system and / or a plurality of stereo camera systems, wherein the individual cameras generate grayscale images or color images.
  • a vehicle bus 18 conventional known bus systems, such as a LIN bus, a CAN bus and / or a Flexray bus can be used.
  • the optics of the camera or of the cameras of the camera system 12 can in particular have different fixed focal lengths or a focal length which is adjustable in particular via a revolving objective system or a variable objective system.
  • the image processing unit 14 also communicates with other sensors and receiving units, which can in particular record an ad hoc communication with other vehicles and / or with traffic facilities, such as traffic lights, gantries and / or individual traffic signs. Furthermore, information about signal states of individual actuators and sensors, in particular about the activation of the turn signals of the vehicle, is transmitted via the vehicle bus 18.
  • the traffic signs in the detection area of the camera system 12 are determined and classified by an analysis of the image data with the aid of the image processing unit 14.
  • the imaged traffic sign is identified as a concrete traffic sign.
  • the display and warning unit 28 displays the image of the traffic sign and / or a symbol corresponding to this traffic sign. Additionally or alternatively, text information and / or acoustic information can also be output.
  • traffic information is transmitted to the speed control and / or limiting control 30, in particular via a speed limit or a minimum speed, wherein the speed control and / or limiting control 30 can output a warning signal when the permissible maximum speed is exceeded and / or the minimum speed is not reached.
  • the speed limits may be used as the maximum limit values of a speed control and / or limit possibly with an offset.
  • a further processing and control module 16a to 16d of the image processing unit 14 determines the current lane of the vehicle based on the images of the image sequence.
  • a further processing module 16a to 16d allocates the traffic signs which can be assigned to one of the determined lanes only to this traffic lane, and these lane traffic signals assigned to the traffic lane are stored in the permanent memory 32. Further, in the non-volatile memory 32, comparison data for a pattern comparison for recognizing road signs, particularly country-specific patterns of traffic signs, symbols that can be output instead of the images of the recognized traffic signs on the display unit 28, as well as texts and / or acoustic information to be output are stored.
  • the traffic sign is detected as an object in a plurality of images taken one after the other as an image sequence. This is done in particular by means of a known tracking method. In each of these images or at least in a part of these images, image elements of the traffic sign are determined, which are then superimposed so that an improved overall image of the traffic sign is generated. Image data of the improved overall image is then further processed, the traffic sign being classified based on the image data of the improved overall image. By classifying a recognition of the traffic sign takes place. The superposition of the image components is carried out in particular by means of a super-resolution method.
  • a size and / or positional adjustment takes place in order to compensate for the size and positional differences resulting from the vehicle movement during and between the image recordings.
  • the determined object can be preclassified, the further processing for traffic sign recognition or for image improvement being carried out with the help of the superposition of the image components only if the object is or could be a traffic sign.
  • FIGS. 2 a to 2 e show successively recorded images with the aid of the camera system 12 of the vehicle, which have a relatively large image noise as a consequence of the relatively small image of the traffic sign in the respective overall image recorded by the camera system 12.
  • the distance between the traffic sign and the vehicle or the camera system 12 is continuously reduced between the images 2a to 2e recorded at the same time intervals, preferably with a constant vehicle speed between the recording times of the images 2a to 2e.
  • FIGS. 3 a to 3 e show further images of other images taken by the camera system 12 under different recording conditions. 2a to 2e shown, wherein the images shown in Figures 3a to 3e have a relatively large motion blur, especially as a result of relatively large exposure times and the proper movement of the camera system 12 during exposure.
  • the image components of the images associated with the traffic sign of the images shown in FIGS. 3a to 3e are superimposed to the image shown in FIG. 3f. Both the image shown in FIG. 2f and in FIG.
  • the objects to be classified located in the driving path of the vehicle move due to the relative movement of the vehicle between the recording times of the images with respect to the image plane of the camera system 12. This movement is visible through the different positions of the same object in several sequentially recorded images.
  • the position and / or size of the image constituents is therefore preferably adjusted such that an overlaying of an improved representation of the traffic sign is achieved.
  • high-quality images of a traffic signal arranged in the driving lane can be generated for traffic sign recognition.
  • the objects in the individual images are often displayed only blurred as a result of the described relative movement between the vehicle and the object.
  • image signal-specific information is utilized in the corresponding local image sections, the object being in particular the traffic sign to be classified and thus causing a qualitative improvement of the image of the traffic sign.
  • an advantageous utilization of the local image area e.g with respect to a pixel or a limited plurality of pixels
  • the image signal always being derived from the image signal same location of an object is emitted.
  • the image data of several independent images of the image sequence are used to determine the image signal and the variation.
  • the variation of the image signal superimposed at least parts of an undisturbed image signal or an undisturbed image.
  • the determination of all undistorted local image signals as a whole results in a qualitatively improved image component.
  • image signal-specific information which is contained in the individual images of the image sequence, when localizing the image components of the object, in particular a local image resolution can be increased and the motion blur of the image of the object can be reduced (eliminated).
  • the image enhancement can in particular be carried out with the aid of a suitable program by a data processing unit, in particular a signal processor or another control unit, and is fundamentally applicable to any camera system 12 or any other image acquisition system.
  • a data processing unit in particular a signal processor or another control unit
  • the image enhancement can be done both for traffic signs and for additional traffic signs.
  • a robust classification with a higher performance and better probability of detection and recognition can be achieved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

The invention relates to a method and a device for recognising road signs. At least two images each comprising a representation of a region of the surroundings of a motor vehicle are recorded as an image sequence by an image recording system (12) of the motor vehicle. The image recording system (12) generates corresponding image data for each recorded image of the representation. The image data is processed, whereby for at least one object, the image components that can be associated with said object in each image are determined. The determined image components of the images are superimposed, producing an improved representation of the object. Road signs are recognised by means of the improved representation of the object.

Description

Verfahren und Vorrichtung zur Verkehrszeichenerkennung Method and device for traffic sign recognition
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung, bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem eines Kraftfahrzeugs als Bildfolge erfasst werden. Das Bilderfassungssystem erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten, die verarbeitet und zur Verkehrszeichenerkennung ausgewertet werden.The invention relates to a method and a device for traffic sign recognition, in which at least two images, each with an image of a region of the surroundings of a motor vehicle, are detected as an image sequence by an image acquisition system of a motor vehicle. The image acquisition system generates corresponding image data for each captured image of the image that is processed and evaluated for traffic sign recognition.
Die durch ein Bilderfassungssystem zur Verkehrszeichenerkennung bereit gestellten Bilder haben insbesondere bei ungünstigen Umgebungsbedingungen, bei ungünstigen Aufnahmewinkeln, bei weit entfernten Verkehrszeichen und/oder bei hoher Eigengeschwindigkeit des Fahrzeugs nur eine ungenügende Qualität, um die Verkehrszeichenerkennung mit einer hohen Erkennungsgenauigkeit durchzuführen. Verschiedene Systeme zur Verkehrszeichenerkennung sind beispielsweise aus den Dokumenten EP 1 145 186 B l, EP 1 383 098 B l und EP 1 131 803 B l bekannt. Diese Systeme analysieren die erfassten Bilder und führen eine Verkehrszeichenerkennung für die in den Bildern enthaltenen Verkehrszeichen durch.The images provided by an image acquisition system for traffic sign recognition have insufficient quality, particularly in unfavorable environmental conditions, unfavorable exposure angles, distant traffic signs and / or high vehicle speed, to perform traffic sign recognition with high recognition accuracy. Various systems for traffic sign recognition are known, for example, from the documents EP 1 145 186 B1, EP 1 383 098 B1 and EP 1 131 803 B1. These systems analyze the captured images and perform traffic sign recognition for the traffic signs contained in the images.
Ferner sind zur Verarbeitung von Bilddaten eine Vielzahl von Verfahren bekannt. Solche Verfahren sind beispielsweise im Dokument "Image su- per-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006, beschrieben.Furthermore, a variety of methods are known for processing image data. Such methods are described, for example, in the document "Image super-resolution survey", J.D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, October 2006.
Aufgabe der Erfindung ist es, die zur Verkehrszeichenerkennung von einem Bilderfassungssystem bereitgestellten Abbildungen der Verkehrszei- chen zu verbessern und eine hohe Erkennungsgüte bei der Verkehrszeichenerkennung zu erreichen.The object of the invention is to provide the traffic signal recognition images provided by an image acquisition system of the traffic signs. improve their quality and to achieve a high recognition quality in traffic sign recognition.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und einer Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.This object is achieved by a method having the features of patent claim 1 and a device having the features of patent claim 9. Advantageous developments of the invention are specified in the dependent claims.
Durch ein Verfahren zur Verkehrszeichenerkennung mit den Merkmalen des Patentanspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 wird erreicht, dass aus einzeln aufgenommenen Bildern einer Bildfolge eine verbesserte Abbildung des Verkehrszeichens erzeugt wird, die dann als Grundlage für die Verkehrszeichenerkennung genutzt wird.By a method for traffic sign recognition with the features of claim 1 and by an apparatus having the features of claim 9 ensures that from individually recorded images of a sequence of images improved image of the traffic sign is generated, which is then used as a basis for traffic sign recognition.
Bei einer Weiterbildung der Erfindung wird zur Verkehrszeichenerkennung eine Klassifizierung des Objekts mit Hilfe eines bekannten Klassifizierungsverfahrens durchgeführt. Mit Hilfe des Klassifizierungsverfahrens zum Klassifizieren des Objekts als Verkehrszeichen wird zunächst ermittelt, ob das Objekt zur Gruppe der relevanten Verkehrszeichen gehört und wenn ja, um welches konkrete Verkehrszeichen es sich handelt.In a further development of the invention, a classification of the object by means of a known classification method is carried out for traffic sign recognition. With the aid of the classification method for classifying the object as a traffic sign, it is first determined whether the object belongs to the group of relevant traffic signs and, if so, to which specific traffic sign it is.
Ferner kann überprüft werden, ob das in jedem der Bilder ermittelte Objekt ein Verkehrszeichen ist oder ein Verkehrszeichen sein könnte. Das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und die Überlagerung der Bildbestandteile wird vorzugsweise nur dann durchgeführt, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte. Die Bildbestandteile kön- nen insbesondere mit Hilfe eines Super-Resolution- Verfahrens überlagert werden.Furthermore, it can be checked whether the object detected in each of the images is a traffic sign or could be a traffic sign. The determination of the image components of the object in the individual images and the superimposition of the image components is preferably carried out only when it has been determined that the object is or could be a traffic sign. The pictorial components particular super-resolution procedure.
Um die relevanten Bildbestandteile überlagern zu können, kann eine eindeutige Zuordnung ein und desselben Objektes in zeitlich geordneten Bildern erfolgen, wobei die Bilder nicht zwingend unmittelbar aufeinander folgen müssen. Für diese optische Zuordnung existieren verschiedene Möglichkeiten, wie nachfolgend beispielhaft erläutert wird.In order to be able to superimpose the relevant image components, an unambiguous assignment of one and the same object can take place in temporally ordered images, wherein the images do not necessarily have to follow one another directly. There are various possibilities for this optical assignment, as will be explained below by way of example.
Zur Vereinfachung wird das Objekt als ortsfest angenommen, da es sich bei den relevanten Objekten um ortsfeste Verkehrszeichen handelt. Dadurch ist es möglich aufgrund der bekannten Eigenbewegung des Kraftfahrzeugs zwischen zwei Bildern die Positions- und Größenänderung des Objekts zwischen dem ersten und dem zweiten Bild zu ermitteln. Alternativ oder zusätzlich kann die Positionsänderung im Bild eines Objektes durch Vergleich von spezifischen Merkmalen, wie Form, Farbe und/oder Textureigenschaften, des Objektes im ersten Bild mit Kandidaten von Objekten im zweiten Bild ermittelt werden, wobei dasjenige Objekt im zweiten Bild ausgewählt wird, welches die ähnlichsten Eigenschaften besitzt und dadurch die größte Übereinstimmung mit dem im ersten Bild ermittelten Objekt aufweist.For simplicity, the object is assumed to be stationary, since the relevant objects are fixed traffic signs. This makes it possible to determine the position and size change of the object between the first and the second image due to the known proper motion of the motor vehicle between two images. Alternatively or additionally, the position change in the image of an object can be determined by comparing specific features, such as shape, color and / or texture properties, of the object in the first image with candidates of objects in the second image, wherein the object in the second image is selected has the most similar properties and thus has the greatest agreement with the object found in the first image.
Die dem Objekt im ersten Bild zugeordneten Bildbestandteile und die dem Objekt in mindestens einem zweiten Bild zugeordneten Bildbestandteile werden durch Skalierung und Translation derart angepasst, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden. Ferner kann beim Überlagern der Bildbestandteile die lokale Bildauflösung bzw. Bildqualität der Bildbestandteile des Objekts, vorzugsweise mit Hilfe eines Super-Resolution- Verfahrens, erhöht werden. Durch das Über- lagern der Bildbestandteile des Objekts wird insbesondere die Bildschärfe der Abbildung des Objekts in der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht.The image components assigned to the object in the first image and the image components assigned to the object in at least one second image are adjusted by scaling and translation such that differences in size and / or position of the image components are compensated. Furthermore, when superimposing the image constituents, the local image resolution or image quality of the image constituents of the object, preferably by means of a super-resolution method, can be increased. Through the over- storing the image components of the object, in particular, the image sharpness of the image of the object is increased in the image generated by the superimposition of the image components of the object.
Die Vorrichtung mit den Merkmalen des Patentanspruchs 9 kann auf die gleiche Weise weitergebildet werden wie für das Verfahren nach Patentanspruch 1 angegeben. Insbesondere kann auch die Vorrichtung mit den Merkmalen des Patentanspruchs 9 mit den zur Weiterbildung des Verfahrens nach Patentanspruch 1 in den abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.The device with the features of claim 9 can be further developed in the same manner as specified for the method according to claim 1. In particular, the device with the features of claim 9 can be further developed with the features specified for further development of the method according to claim 1 in the dependent claims or corresponding device features.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand eines Ausführungsbeispieles näher erläutert.Further features and advantages of the invention will become apparent from the following description which, in conjunction with the accompanying figures, the invention using an exemplary embodiment explained in more detail.
Es zeigen:Show it:
Fig. 1 ein Blockdiagramm eines Systems zur Bildaufnahme undFig. 1 is a block diagram of a system for image recording and
Bildauswertung der Umgebung eines Kraftfahrzeugs;Image analysis of the environment of a motor vehicle;
Fig. 2a bis 2e mehrere nacheinander aufgenommene Bilder mit der Abbildung desselben Verkehrszeichens;FIGS. 2a to 2e show a plurality of successively recorded images with the image of the same traffic sign;
Fig. 2f eine durch die Überlagerung von Bildbestandteilen derFig. 2f a by the superposition of image components of
Bilder 2a bis 2f erzeugte Abbildung des Verkehrszeichens; F ig. 3 a bis 3e nacheinander aufgenommene Abbildungen eines Verkehrszeichens; undFigures 2a to 2f generated illustration of the traffic sign; F ig. 3 a to 3 e successively taken pictures of a traffic sign; and
Fig. 3f eine aus Bildbestandteilen der Bilder 3a bis 3e zusammengesetzte Abbildung des Verkehrszeichens.Fig. 3f is a composite of image components of the images 3a to 3e illustration of the traffic sign.
In Fig. 1 ist ein Blockdiagramm eines Bildaufnahme- und Auswertesystems 10 dargestellt, das in ein Kraftfahrzeug, insbesondere in einen PKW oder einen LKW, integriert ist. Das Bildaufnahme- und Auswertesystem 10 hat ein Kamerasystem 12, das eine Bildfolge mit Abbildungen zumindest eines Bereichs vor dem Fahrzeug erfasst und jeweils entsprechende Bilddaten erzeugt. Diese Bilddaten werden zu einer Bildverarbeitungseinheit 14 des Systems 10 übertragen und mit Hilfe von Steuerungs- und Verarbeitungsmodulen 16a bis 16d der Bildverarbeitungseinheit 14 analysiert und verarbeitet.1 shows a block diagram of an image acquisition and evaluation system 10 which is integrated in a motor vehicle, in particular in a car or a truck. The image acquisition and evaluation system 10 has a camera system 12 which captures an image sequence with images of at least one area in front of the vehicle and respectively generates corresponding image data. This image data is transmitted to an image processing unit 14 of the system 10 and analyzed and processed by means of control and processing modules 16a to 16d of the image processing unit 14.
Die Bildverarbeitungseinheit 14 ist über einen Fahrzeugbus 18 des Fahrzeugs mit weiteren Steuer- und Verarbeitungseinheiten 20 bis 26, wie dem Navigationssystem, dem Geschwindigkeitserfassungs- und/oder Regelungssystem, des Fahrzeugs verbunden, wobei die Bildverarbeitungseinheit 14 über den Fahrzeugbus 18 Daten mit diesen weiteren Steuereinheiten 20 bis 26 austauschen kann. Die Bildverarbeitungseinheit 14 ist weiterhin über eine geeignete Datenleitung mit einer Anzeige- und Warneinheit 28 sowie mit einer Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 verbunden. Ferner ist die Bildverarbeitungseinheit 14 über eine Datenleitung mit einem Permanentspeicher 32 verbunden. Ein solcher Permanentspeicher 32 kann beispielsweise ein Festplattenspeicher, ein Flashspeicher oder eine weitere Steuereinheit sein. Ferner kann der Permanentspeicher 32 auch durch ein Datenbanksystem des Kraftfahr- zeugs bereitgestellt werden. Das Kamerasystem 12 kann eine Monokame- ra, mehrere Monokameras, ein Stereokamerasystem und/oder mehrere Stereokamerasysteme umfassen, wobei die einzelnen Kameras Graustufenbilder oder Farbbilder erzeugen. Als Fahrzeugbus 18 können übliche bekannte Bussysteme, wie ein LIN-Bus, ein CAN-Bus und/oder ein Flexray- Bus eingesetzt werden. Die Optiken der Kamera bzw. der Kameras des Kamerasystems 12 können insbesondere verschiedene Festbrennweiten oder eine insbesondere über ein Revolver-Objektivsystem oder ein Vari- oobjektivsy stem einstellbare Brennweite aufweisen.The image processing unit 14 is connected via a vehicle bus 18 of the vehicle with further control and processing units 20 to 26, such as the navigation system, the speed detection and / or control system of the vehicle, the image processing unit 14 via the vehicle bus 18 data with these other control units 20 to 26 can exchange. The image processing unit 14 is further connected via a suitable data line with a display and warning unit 28 and with a speed control and / or limiting controller 30. Furthermore, the image processing unit 14 is connected to a non-volatile memory 32 via a data line. Such a non-volatile memory 32 may be, for example, a hard disk memory, a flash memory or another control unit. Furthermore, the permanent memory 32 can also be replaced by a database system of the motor vehicle be provided. The camera system 12 can comprise a monocamera, a plurality of monocameras, a stereo camera system and / or a plurality of stereo camera systems, wherein the individual cameras generate grayscale images or color images. As a vehicle bus 18 conventional known bus systems, such as a LIN bus, a CAN bus and / or a Flexray bus can be used. The optics of the camera or of the cameras of the camera system 12 can in particular have different fixed focal lengths or a focal length which is adjustable in particular via a revolving objective system or a variable objective system.
Über den Fahrzeugbus 18 kommuniziert die Bildverarbeitungseinheit 14 auch mit weiteren Sensoren und Empfangseinheiten, die insbesondere eine ad hoc Kommunikation mit weiteren Fahrzeugen und/oder mit Verkehrseinrichtungen, wie Lichtsignalanlagen, Schilderbrücken und/oder einzelnen Verkehrsschildern, aufnehmen können. Ferner werden über den Fahrzeugbus 18 Informationen über Signalzustände einzelner Aktoren und Sensoren, insbesondere über die Aktivierung der Fahrtrichtungsanzeiger des Fahrzeugs, übertragen.Via the vehicle bus 18, the image processing unit 14 also communicates with other sensors and receiving units, which can in particular record an ad hoc communication with other vehicles and / or with traffic facilities, such as traffic lights, gantries and / or individual traffic signs. Furthermore, information about signal states of individual actuators and sensors, in particular about the activation of the turn signals of the vehicle, is transmitted via the vehicle bus 18.
Mit Hilfe der durch das Kamerasystem 12 aufgenommenen Bildfolge werden durch eine Analyse der Bilddaten mit Hilfe der Bildverarbeitungseinheit 14 die Verkehrszeichen im Erfassungsbereich des Kamerasystems 12 ermittelt und klassifiziert. Durch das Klassifizieren der Verkehrszeichen mit Hilfe eines geeigneten Erkennungsverfahrens wird das abgebildete Verkehrszeichen als konkretes Verkehrszeichen identifiziert. Über die Anzeige- und Warneinheit 28 wird die Abbildung des Verkehrszeichens und/oder ein diesem Verkehrszeichen entsprechendes Symbol angezeigt. Zusätzlich oder alternativ kann auch eine Textinformation und/oder eine akustische Information ausgegeben werden. Ferner wird eine Verkehrsinformation insbesondere über eine Geschwindigkeitsbegrenzung oder eine Mindestgeschwindigkeit an die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 übergeben, wobei die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 ein Warnsignal bei Überschreitung der zulässigen Höchstgeschwindigkeit und/oder Unterschreitung einer Mindestgeschwindigkeit ausgeben kann. Alternativ können die Geschwindigkeitsbegrenzungen als maximale Begrenzungswerte einer Geschwindigkeitsregelung und/oder -begrenzung ggf. mit einem Offset zugrunde gelegt werden.With the aid of the image sequence recorded by the camera system 12, the traffic signs in the detection area of the camera system 12 are determined and classified by an analysis of the image data with the aid of the image processing unit 14. By classifying the traffic signs by means of a suitable recognition method, the imaged traffic sign is identified as a concrete traffic sign. The display and warning unit 28 displays the image of the traffic sign and / or a symbol corresponding to this traffic sign. Additionally or alternatively, text information and / or acoustic information can also be output. Furthermore, traffic information is transmitted to the speed control and / or limiting control 30, in particular via a speed limit or a minimum speed, wherein the speed control and / or limiting control 30 can output a warning signal when the permissible maximum speed is exceeded and / or the minimum speed is not reached. Alternatively, the speed limits may be used as the maximum limit values of a speed control and / or limit possibly with an offset.
Ein weiteres Verarbeitungs- und Steuerungsmodul 16a bis 16d der Bildverarbeitungseinheit 14 ermittelt aufgrund der Abbildungen der Bildfolge die aktuelle Fahrspur des Fahrzeugs. Ein weiteres Verarbeitungsmodul 16a bis 16d ordnet die einer der ermittelten Fahrspuren eindeutig zuor- denbaren Verkehrszeichen nur dieser Fahrspur zu, wobei diese nur einer Fahrspur zugeordneten Verkehrszeichen der Fahrspur zugeordnet im Permanentspeicher 32 gespeichert werden. Ferner können in dem Permanentspeicher 32 Vergleichsdaten für einen Mustervergleich zur Erkennung von Verkehrsschildern, insbesondere länderspezifische Muster von Verkehrszeichen, Symbole, die anstatt der Abbildungen der erkannten Verkehrszeichen auf der Anzeigeeinheit 28 ausgegeben werden können, sowie auszugebende Texte und/oder akustische Informationen gespeichert werden.A further processing and control module 16a to 16d of the image processing unit 14 determines the current lane of the vehicle based on the images of the image sequence. A further processing module 16a to 16d allocates the traffic signs which can be assigned to one of the determined lanes only to this traffic lane, and these lane traffic signals assigned to the traffic lane are stored in the permanent memory 32. Further, in the non-volatile memory 32, comparison data for a pattern comparison for recognizing road signs, particularly country-specific patterns of traffic signs, symbols that can be output instead of the images of the recognized traffic signs on the display unit 28, as well as texts and / or acoustic information to be output are stored.
Die negativen Einflüsse der Eigenschaften des abbildenden optischen Systems der Kamera (Windschutzscheibe, Abbildungsoptik, Bildsensor) auf die Bildqualität müssen entsprechend reduziert oder ganz beseitigt werden, um eine Verbesserung von Bildern mit einer Abbildung eines Verkehrszeichens auch bei unterschiedlichen Umgebungsbedingungen sicher zu erreichen. Jedoch sind diese Einflussfaktoren oft nur mit einem relativ hohen Aufwand dahingehend zu verbessern, dass Bilder mit einer konstant hohen Qualität von der Umgebung des Fahrzeugs, insbesondere von der Abbildung eines zu klassifizierenden Verkehrszeichens, aufgenommen werden können. Andere Einflussfaktoren, wie die Eigenschaften des Verkehrszeichens, können nicht durch Maßnahmen am Fahrzeug selbst beein- flusst werden. In der Praxis können aber insbesondere relativ schlechte Bildaufnahmen des Verkehrszeichens in Folge von Regen, Nebel, Nebelschwaden sowie von Schneefall nicht vermieden werden. Auch die Einflüsse der Fahrzeugbewegung in Folge des Fahrbahnverlaufs können nicht vermieden jedoch bei der Verarbeitung der Bilder zumindest teilweise berücksichtigt werden.The negative effects of the characteristics of the imaging optical system of the camera (windshield, imaging optics, image sensor) on the image quality must be correspondingly reduced or eliminated to ensure an improvement of images with a picture of a traffic sign even in different environmental conditions to reach. However, these influencing factors can often only be improved with a relatively high outlay such that images of a constantly high quality can be recorded by the surroundings of the vehicle, in particular by the image of a traffic sign to be classified. Other influencing factors, such as the characteristics of the traffic sign, can not be influenced by measures on the vehicle itself. In practice, however, in particular relatively poor image recordings of the traffic sign due to rain, fog, fog and snowfall can not be avoided. The influences of the vehicle movement as a result of the road course can not be avoided, but at least partially taken into account in the processing of the images.
Veränderungen bzw. Verbesserungen der Optik, des Bildsensors und zusätzliche Maßnahmen zur Ausleuchtung des Bereichs, von dem mit Hilfe der Bilderfassungseinheit eine Abbildung erzeugt werden soll, sind oft mit hohen Kosten verbunden und führen nicht immer zum gewünschten Erfolg.Changes or improvements of the optics, the image sensor and additional measures for illuminating the area, which is to be generated by means of the image acquisition unit an image, are often associated with high costs and do not always lead to the desired success.
Zur Bildverbesserung der Abbildung des Verkehrszeichens wird das Verkehrszeichen als Objekt in mehreren nacheinander als Bildfolge aufgenommenen Bildern detektiert. Dies erfolgt insbesondere mit Hilfe eines bekannten Trackingverfahrens. In jedem dieser Bilder oder zumindest in einem Teil dieser Bilder werden Bildelemente des Verkehrszeichens ermittelt, die dann überlagert werden, sodass ein verbessertes Gesamtbild des Verkehrszeichens erzeugt wird. Bilddaten des verbesserten Gesamtbildes werden dann weiterverarbeitet, wobei das Verkehrszeichen ausgehend von den Bilddaten des verbesserten Gesamtbildes klassifiziert wird. Durch das Klassifizieren erfolgt eine Erkennung des Verkehrszeichens. Das Überlagern der Bildbestandteile erfolgt insbesondere mit Hilfe eines Super-Resolution- Verfahrens. Vorzugsweise erfolgt vor oder bei der Ü- berlagerung der Bildbestandteile eine Größen- und/oder Positionsanpassung, um die aus der Fahrzeugbewegung während und zwischen den Bildaufnahmen resultierenden Größen- und Positionsunterschiede zu kompensieren. Ferner kann mit Hilfe eines Vorklassifizierungsverfahrens das ermittelte Objekt vorklassifiziert werden, wobei die weitere Verarbeitung zur Verkehrszeichenerkennung bzw. zur Bildverbesserung mit Hilfe der Überlagerung der Bildbestandteile nur durchgeführt wird, wenn es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.To improve the image of the traffic sign, the traffic sign is detected as an object in a plurality of images taken one after the other as an image sequence. This is done in particular by means of a known tracking method. In each of these images or at least in a part of these images, image elements of the traffic sign are determined, which are then superimposed so that an improved overall image of the traffic sign is generated. Image data of the improved overall image is then further processed, the traffic sign being classified based on the image data of the improved overall image. By classifying a recognition of the traffic sign takes place. The superposition of the image components is carried out in particular by means of a super-resolution method. Preferably, before or during the superimposition of the image constituents, a size and / or positional adjustment takes place in order to compensate for the size and positional differences resulting from the vehicle movement during and between the image recordings. Furthermore, with the aid of a preclassification method, the determined object can be preclassified, the further processing for traffic sign recognition or for image improvement being carried out with the help of the superposition of the image components only if the object is or could be a traffic sign.
In den Figuren 2a bis 2e sind nacheinander mit Hilfe des Kamerasystems 12 des Fahrzeugs aufgenommene Bilder dargestellt, die in Folge der relativ kleinen Abbildung des Verkehrszeichens in dem jeweiligen durch das Kamerasystem 12 aufgenommenen Gesamtbild ein relativ großes Bildrauschen aufweisen. Die Entfernung zwischen dem Verkehrszeichen und dem Fahrzeug bzw. dem Kamerasystem 12 reduziert sich zwischen den in gleichen Zeitabständen aufgenommenen Bildern 2a bis 2e kontinuierlich, wobei vorzugsweise eine konstante Fahrzeuggeschwindigkeit zwischen den Aufnahmezeitpunkten der Bilder 2a bis 2e vorliegt. Mit Hilfe eines SuperResolution-Verfahrens werden Bildbestandteile der einzelnen Bilder 2a bis 2e nach einer entsprechenden Größenänderung der einzelnen Bildbestandteile des Verkehrszeichens überlagert und zu einem neuen Gesamtbild des Verkehrszeichens zusammengefügt, wobei aufgrund der Redundanz und der Ergänzung von lokalen Informationen eine Bildverbesserung erreicht wird, wie dies in Figur 2f dargestellt ist.FIGS. 2 a to 2 e show successively recorded images with the aid of the camera system 12 of the vehicle, which have a relatively large image noise as a consequence of the relatively small image of the traffic sign in the respective overall image recorded by the camera system 12. The distance between the traffic sign and the vehicle or the camera system 12 is continuously reduced between the images 2a to 2e recorded at the same time intervals, preferably with a constant vehicle speed between the recording times of the images 2a to 2e. With the aid of a SuperResolution method, image components of the individual images 2a to 2e are superimposed after a corresponding change in size of the individual image components of the traffic sign and combined to form a new overall image of the traffic sign, whereby an image improvement is achieved due to the redundancy and the supplement of local information is shown in Figure 2f.
In den Figuren 3a bis 3 e sind weitere unter anderen Aufnahmebedingungen durch das Kamerasystem 12 aufgenommene Bilder anderer Abbildun- gen des in den Figuren 2a bis 2e dargestellten Verkehrszeichens gezeigt, wobei die in den Figuren 3a bis 3e gezeigten Bilder eine relativ große Bewegungsunschärfe, insbesondere in Folge relativ großer Belichtungszeiten und der Eigenbewegung des Kamerasystems 12 während der Belichtung, aufweisen. Durch eine entsprechende Überlagerung, die im Wesentlichen auf die gleiche Weise wie die Überlagerung der in den Figuren 2a bis 2e erfolgt, werden die dem Verkehrszeichen zugeordneten Bildbestandteile der in den Figuren 3a bis 3e gezeigten Bilder zu dem in Figur 3f gezeigten Bild überlagert. Sowohl das in Figur 2f als auch in Figur 3f gezeigte Bild haben eine für die Klassifizierung des Verkehrszeichens erheblich verbesserte Bildqualität gegenüber den jeweiligen Ursprungsbildern, sodass durch die Bilder der Figuren 2f und 3f eine wesentlich höhere Erkennungsqualität bei der Erkennung des Verkehrszeichens erreicht werden kann. Somit wird auch die Wahrscheinlichkeit erhöht, dass das durch die Klassifizierung erkannte Verkehrszeichen mit dem tatsächlich vorhandenen Verkehrszeichen übereinstimmt.FIGS. 3 a to 3 e show further images of other images taken by the camera system 12 under different recording conditions. 2a to 2e shown, wherein the images shown in Figures 3a to 3e have a relatively large motion blur, especially as a result of relatively large exposure times and the proper movement of the camera system 12 during exposure. By a corresponding superimposition, which takes place in substantially the same way as the superimposition of FIGS. 2a to 2e, the image components of the images associated with the traffic sign of the images shown in FIGS. 3a to 3e are superimposed to the image shown in FIG. 3f. Both the image shown in FIG. 2f and in FIG. 3f have a considerably improved image quality compared with the respective source images for the classification of the traffic sign, so that a significantly higher recognition quality can be achieved in the recognition of the traffic sign by the images of FIGS. 2f and 3f. This also increases the likelihood that the traffic sign recognized by the classification matches the actually existing traffic sign.
Die sich im Fahrschlauch des Fahrzeugs befindenden zu klassifizierenden Objekte bewegen sich auf Grund der Relativbewegung des Fahrzeugs zwischen den Aufnahmezeitpunkten der Bilder bezogen auf die Bildebene des Kamerasystems 12. Diese Bewegung ist durch die unterschiedlichen Positionen desselben Objekts in mehreren nacheinander aufgenommenen Bildern sichtbar. Zur Überlagerung der Bildbestandteile eines Objekts aus mehreren Bildern der Bildfolge wird aus diesem Grund vorzugsweise die Position und/oder Größe der Bildbestandteile so angepasst, dass bei einer Überlagerung eine verbesserte Darstellung des Verkehrszeichens erreicht wird. Dadurch können zur Verkehrszeichenerkennung qualitativ hochwertige Bilder eines im Fahrschlauch angeordneten Verkehrszeichens erzeugt werden. Die Objekte in den Einzelbildern werden in Folge der beschriebenen Relativbewegung zwischen Fahrzeug und Objekt oft nur unscharf dargestellt. Dies ist insbesondere dann der Fall, wenn bei einer dunklen Umgebung eine relativ lange Belichtungszeit zur Bildaufnahme erforderlich ist. Durch das Überlagern von Aufnahmen einer Bildfolge und der dadurch erreichten Überlagerung von Bildbestandteilen desselben Objekts werden bildsignalspezifische Informationen in den entsprechenden lokalen Bildausschnitten ausgenutzt, wobei das Objekt insbesondere das zu klassifizierende Verkehrszeichen ist und somit eine qualitative Verbesserung des Bildes des Verkehrszeichens bewirkt.The objects to be classified located in the driving path of the vehicle move due to the relative movement of the vehicle between the recording times of the images with respect to the image plane of the camera system 12. This movement is visible through the different positions of the same object in several sequentially recorded images. For overlaying the image constituents of an object from a plurality of images of the image sequence, the position and / or size of the image constituents is therefore preferably adjusted such that an overlaying of an improved representation of the traffic sign is achieved. As a result, high-quality images of a traffic signal arranged in the driving lane can be generated for traffic sign recognition. The objects in the individual images are often displayed only blurred as a result of the described relative movement between the vehicle and the object. This is especially the case when, in a dark environment, a relatively long exposure time is required for image acquisition. By superimposing images of a sequence of images and the resulting superimposition of image components of the same object, image signal-specific information is utilized in the corresponding local image sections, the object being in particular the traffic sign to be classified and thus causing a qualitative improvement of the image of the traffic sign.
Bei der Verwendung von überlagerten bildsignalspezifischen Informationen zur qualitativen Verbesserung eines Bildes oder eines Bildbereiches erfolgt insbesondere eine vorteilhafte Ausnutzung der lokalen (z.B. bzgl. eines Pixels oder eines begrenzten mehrer Pixel umfassenden lokalen Bildbereiches) Variation eines Bildsignals in einer Bildfolge, wobei das Bildsignal stets von der gleichen Stelle eines Objektes emittiert wird. Dabei werden die Bilddaten mehrerer unabhängiger Bilder der Bildfolge genutzt, um das Bildsignal und die Variation zu ermitteln. Die Variation des Bildsignals überlagert zumindest Teile eines ungestörten Bildsignals bzw. eines ungestörten Bildes. Durch eine Analyse dieser Variationen kann mittels bekannter statistischer Methoden auf den ungestörten lokalen Bildsignalwert geschlossen werden. Im Kontext der relevanten Bildbestandteile eines Objektes ergibt dann die Ermittelung aller ungestörten lokalen Bildsignale in der Gesamtheit einen qualitativ verbesserten Bildbestandteil. Insbesondere ist es durch die Erfindung nicht zwingend erforderlich, sehr hochwertige teure Optiken mit einer hohen Lichtempfindlichkeit und niedriger Blendenzahl oder einen Bildsensor mit hoher Lichtempfindlichkeit einzusetzen oder eine Modifizierung der Windschutzscheibe, insbesondere durch lokale Verwendung von Klarglas, durchzuführen, um die erforderliche Bildverbesserung der Abbildung des Objekts zu erzielen. Durch eine vorteilhafte Ausnutzung bildsignalspezifischer Informationen, die in den einzelnen Bildern der Bildfolge enthalten sind, kann beim Ü- berlagern der Bildbestandteile des Objekts insbesondere eine lokale Bildauflösung erhöht und die Bewegungsunschärfe der Abbildung des Objekts reduziert (herausgerechnet) werden.In the case of the use of superimposed image signal-specific information for the qualitative improvement of an image or an image area, in particular an advantageous utilization of the local image area (eg with respect to a pixel or a limited plurality of pixels) is effected in a sequence of images, the image signal always being derived from the image signal same location of an object is emitted. The image data of several independent images of the image sequence are used to determine the image signal and the variation. The variation of the image signal superimposed at least parts of an undisturbed image signal or an undisturbed image. By analyzing these variations, the undistorted local image signal value can be deduced by means of known statistical methods. In the context of the relevant image constituents of an object, the determination of all undistorted local image signals as a whole results in a qualitatively improved image component. In particular, it is not absolutely necessary by the invention to use very high-quality expensive optics with a high photosensitivity and low f-number or an image sensor with high photosensitivity or to modify the windshield, in particular by local use of clear glass, in order to achieve the required image enhancement of the image of the To achieve object. By advantageously utilizing image signal-specific information which is contained in the individual images of the image sequence, when localizing the image components of the object, in particular a local image resolution can be increased and the motion blur of the image of the object can be reduced (eliminated).
Die Bildverbesserung kann insbesondere mit Hilfe eines geeigneten Programms von einer Datenverarbeitungseinheit, insbesondere einem Signalprozessor oder einer anderen Steuereinheit, durchgeführt werden und ist für jedes Kamerasystem 12 bzw. jedes andere Bilderfassungssystem grundsätzlich anwendbar. Durch die erläuterte Vorgehensweise kann auch eine sichere Erkennung von Verkehrszeichen bei Dunkelheit sichergestellt werden. Die Bildverbesserung kann sowohl für Verkehrszeichen als auch für Verkehrszusatzzeichen erfolgen. Mit Hilfe der durchgeführten Bildverbesserung der Abbildung des Verkehrszeichens kann eine robuste Klassifikation mit einer höheren Performance und besserer Treffer- und Erkennungswahrscheinlichkeit erreicht werden. The image enhancement can in particular be carried out with the aid of a suitable program by a data processing unit, in particular a signal processor or another control unit, and is fundamentally applicable to any camera system 12 or any other image acquisition system. By the explained procedure, a secure detection of traffic signs in the dark can be ensured. The image enhancement can be done both for traffic signs and for additional traffic signs. With the aid of the image enhancement of the traffic sign image, a robust classification with a higher performance and better probability of detection and recognition can be achieved.

Claims

Ansprüche claims
1. Verfahren zur Verkehrszeichenerkennung,1. method for traffic sign recognition,
bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem (12) des Kraftfahrzeugs als Bildfolge erfasst werden, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt,in which at least two images, each with an image of a region of the surroundings of a motor vehicle, are detected as an image sequence by an image acquisition system (12) of the motor vehicle, the image acquisition system (12) generating corresponding image data for each captured image of the image,
die Bilddaten verarbeitet werden, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden,the image data are processed, whereby for at least one object the image components that can be assigned to this object in each image are determined,
die ermittelten Bildbestandteile der Bilder überlagert werden, wobei mit Hilfe der überlagerten Bildbestandteile Bilddaten einer verbesserten Abbildung des Objekts erzeugt werden,the determined image components of the images are superimposed, with the aid of the superposed image components image data of an improved image of the object being generated,
und bei dem mit Hilfe der Bilddaten der verbesserten Abbildung des Objekts eine Verkehrszeichenerkennung durchgeführt wird.and in which traffic sign recognition is performed using the image data of the improved image of the object.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass überprüft wird, ob das ermittelte Objekt ein Verkehrszeichen ist oder sein könnte, wobei das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und/oder die Überlagerung der Bildbestandteile vorzugsweise nur durchgeführt wird, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte. 2. The method according to claim 1, characterized in that it is checked whether the detected object is or could be a traffic sign, wherein the determination of the image components of the object in the individual images and / or the superimposition of the image components is preferably carried out only if found it has been said that the object is or could be a traffic sign.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildbestandteile mit Hilfe eines SuperResolution-Verfahrens überlagert werden.3. The method according to any one of the preceding claims, characterized in that the image components are superimposed by means of a SuperResolution method.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt als ortsfest angenommen wird und dass die Positionsänderung eines Objekts im zweiten Bild gegenüber dem ersten Bild in Folge einer Eigenbewegung des Kraftfahrzeugs und/oder eine Größenänderung der Größe des Objekts in der Abbildung des zweiten Bildes gegenüber der Größe des Objekts im ersten Bild in Folge der Eigenbewegung des Kraftfahrzeugs ermittelt wird, wobei die Größe und/oder Position der Bildbestandteile derart angepasst wird, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden.4. The method according to any one of the preceding claims, characterized in that the object is assumed to be stationary and that the change in position of an object in the second image with respect to the first image due to a self-motion of the motor vehicle and / or a resizing of the size of the object in the figure of the second image compared to the size of the object in the first image as a result of the self-motion of the motor vehicle is determined, wherein the size and / or position of the image components is adjusted so that size and / or position differences of the image components are compensated.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Überlagern der Bildbestandteile die lokale Bildauflösung der Bildbestandteile des Objekts im durch die Überlagerung resultierenden Bild des Objekts gegenüber den Einzelbildern vorzugsweise mit Hilfe eines Super-Resolution- Verfahrens erhöht wird.5. The method according to any one of the preceding claims, characterized in that in the superimposition of the image components, the local image resolution of the image components of the object is increased in the resulting by the overlapping image of the object relative to the individual images, preferably by means of a super-resolution method.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der durch die Überlagerung der Bildbestandteile erzeugten Abbildung des Objekts eine Klassifizierung des Objekts mit Hilfe eines Klassifizierungsverfahrens zur Verkehrszeichenerkennung durchgeführt wird. 6. The method according to any one of the preceding claims, characterized in that a classification of the object by means of a classification method for traffic sign recognition is performed by means of the image of the object generated by the superimposition of the image components.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass mit Hilfe des Klassifizierungsverfahrens ermittelt wird, ob das Objekt ein Verkehrszeichen ist und/oder ob das Objekt ein konkretes Verkehrszeichen ist.7. The method according to claim 6, characterized in that it is determined by means of the classification method, whether the object is a traffic sign and / or whether the object is a concrete traffic sign.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildschärfe der durch das Überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht wird.8. The method according to any one of the preceding claims, characterized in that the image sharpness of the image generated by the superposition of the image components of the object is increased.
9. Vorrichtung zur Verkehrszeichenerkennung9. Traffic sign recognition device
mit einer Bilderfassungseinheit eines Kraftfahrzeugs, die mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung des Kraftfahrzeugs einer Bildfolge erfasst, wobei das Bilderfassungssystem (12) zu jedem erfassten Bild der Abbildung entsprechende Bilddaten erzeugt,with an image acquisition unit of a motor vehicle, which captures at least two images each having a representation of a region of the surroundings of the motor vehicle of an image sequence, wherein the image acquisition system (12) generates corresponding image data for each acquired image of the image,
mit einer Verarbeitungseinheit (14),with a processing unit (14),
die die Bilddaten verarbeitet, wobei für mindestens ein Objekt die diesem Objekt in jedem Bild zuordenbaren Bildbestandteile ermittelt werden,processing the image data, wherein the image components that can be assigned to this object in each image are determined for at least one object,
die die ermittelten Bildbestandteile der Bilder überlagert,which superimposes the determined image components of the images,
und die mit Hilfe der überlagerten Bildbestandteile einer Verkehrszeichenerkennung durchführt. and which performs a traffic sign recognition with the help of the superimposed image components.
EP08758434A 2007-05-08 2008-05-08 Method and device for recognising road signs Withdrawn EP2149107A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007021577A DE102007021577A1 (en) 2007-05-08 2007-05-08 Method and device for traffic sign recognition
PCT/EP2008/003745 WO2008135295A1 (en) 2007-05-08 2008-05-08 Method and device for recognising road signs

Publications (1)

Publication Number Publication Date
EP2149107A1 true EP2149107A1 (en) 2010-02-03

Family

ID=39687083

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08758434A Withdrawn EP2149107A1 (en) 2007-05-08 2008-05-08 Method and device for recognising road signs

Country Status (3)

Country Link
EP (1) EP2149107A1 (en)
DE (1) DE102007021577A1 (en)
WO (1) WO2008135295A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009030594A1 (en) 2009-06-26 2010-12-30 Volkswagen Ag Motor vehicle has image detecting device for detecting images of vehicle environment and for generating image data to detected images, where processing device is provided for processing image data to identify traffic signs
DE102015210117A1 (en) 2015-06-02 2016-12-08 Conti Temic Microelectronic Gmbh Driver assistance device for traffic sign recognition for a motor vehicle and a method for checking a possible misrecognition of a recognized with the driver assistance device traffic sign

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19852631C2 (en) 1998-11-14 2001-09-06 Daimler Chrysler Ag Device and method for traffic sign recognition
ATE326748T1 (en) 2002-07-09 2006-06-15 Accenture Global Services Gmbh DEVICE FOR AUTOMATIC RECOGNITION OF TRAFFIC SIGNS
KR100504594B1 (en) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 Method of restoring and reconstructing a super-resolution image from a low-resolution compressed image
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
US7492962B2 (en) * 2005-08-25 2009-02-17 Delphi Technologies, Inc. System or method for enhancing an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008135295A1 *

Also Published As

Publication number Publication date
WO2008135295A1 (en) 2008-11-13
DE102007021577A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
EP2179381B1 (en) Method and apparatus for recognizing traffic signs
WO2015048954A1 (en) Method and apparatus for identifying road signs
EP2150939A1 (en) Method and device for determining the position of a road sign
EP2573709A2 (en) Method and apparatus for identifying motor vehicles for monitoring traffic
DE102018212655A1 (en) Detection of the intention to move a pedestrian from camera images
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
EP3642758B1 (en) Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle
EP3488607A1 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
DE102011082477A1 (en) Method and system for creating a digital image of a vehicle environment
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102018004782A1 (en) Method and device for detecting an environment, and vehicle with such a device
DE102011005780A1 (en) Method for determining distance between vehicle and object, involves using displayed size of imaged component of object and reference size of imaged component of object
EP2149107A1 (en) Method and device for recognising road signs
DE102007021579A1 (en) Traffic sign i.e. circular traffic sign, classifying method, involves classifying object in dependence of classification process and/or classification result, by another different classification process for classification of traffic sign
WO2014146864A1 (en) Method and apparatus for creating a recording of an object which lights up in a pulsed manner
DE102017208994A1 (en) Method for determining result image data
DE102016103037A1 (en) Method for checking the functionality of a camera-monitor system, camera-monitor system and motor vehicle
DE102019003061B4 (en) Device for testing an optical detection system for a motor vehicle, and a method for this
DE102012020778A1 (en) Method for labeling sequence of captured images, used in driver assistance system, involves performing previously captured image tracking operations in each keyframe and comparing output of previously captured image from each keyframe
DE102009047437A1 (en) Method and device for adapting image information of an optical system
DE102007008543A1 (en) Method and device for determining the state of motion of objects
DE102008014630A1 (en) Method and device for processing image data
DE102014218627A1 (en) Method and control device for operating an image sensor
DE102020213267A1 (en) Brightness conversion of stereo images
DE102015005363A1 (en) Method and device for augmented presentation and vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091124

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20110302

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20131203